KR20200063311A - 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법 - Google Patents

자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법 Download PDF

Info

Publication number
KR20200063311A
KR20200063311A KR1020180143381A KR20180143381A KR20200063311A KR 20200063311 A KR20200063311 A KR 20200063311A KR 1020180143381 A KR1020180143381 A KR 1020180143381A KR 20180143381 A KR20180143381 A KR 20180143381A KR 20200063311 A KR20200063311 A KR 20200063311A
Authority
KR
South Korea
Prior art keywords
performance enhancement
performance
recognition algorithm
unregistered
unit
Prior art date
Application number
KR1020180143381A
Other languages
English (en)
Inventor
김은석
이진언
김병민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020180143381A priority Critical patent/KR20200063311A/ko
Publication of KR20200063311A publication Critical patent/KR20200063311A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00718—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법이 개시된다. 본 발명의 자율주행용 영상인식 알고리즘 성능 강화 장치는 영상 내 객체를 인식하여 그라운드 트루쓰(Ground Truth)를 생성하는 자동 애노테이션부; 자동 애노테이션부에서 생성된 그라운드 트루쓰에 대한 사용자 단말로부터의 검수 결과에 따라 그라운드 트루쓰를 생성하는 수동 애노테이션툴; 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성하는 비젼 인식 알고리즘부; 수동 애노테이션툴에 의해 생성된 그라운드 트루쓰와 비젼 인식 알고리즘부에 의해 생성된 추론 데이터를 비교 분석하여 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하여 사용자 단말로 출력하는 성능 강화 모듈; 및 사용자 단말로부터의 모델 업데이트 명령에 따라, 비젼 인식 알고리즘부의 추론 데이터 생성을 위한 모델을 업데이트하는 모델 업데이트부를 포함하는 것을 특징으로 한다.

Description

자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING PERFORMANCE OF IMAGE RECOGNITION ALGORITHM FOR CONVERTING AUTONOMOUS DRIVING CONTROL}
본 발명은 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법에 관한 것으로서, 더욱 상세하게는 자율주행용 영상인식 알고리즘의 성능을 강화하기 위한 강화 포인트를 분석 및 추출하는 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법에 관한 것이다.
최근 들어, 무인 자율 주행시스템과 관련하여, 특히 로봇이나 자동차 분야에서의 자율 주행과 관련한 많은 연구가 이루어지고 있다.
일반적으로 자율 주행시스템은 도로맵 정보를 바탕으로 GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로상의 시작점부터 종료점까지 자동차의 주행을 자동으로 제어하면서 차량을 이동시킨다.
자율 주행시스템은 고속으로 움직이는 이동체(자동차 또는 로봇)의 주행환경을 실시간으로 인식 및 판단하기 위해, 스캐닝 장치, 카메라, 레이더 등과 같은 센서 장비들을 포함할 수 있다.
특히, 카메라로부터 입력된 영상을 처리하여 영상의 각종 객체를 인식하는 영상인식 알고리즘은 자율 주행시스템에서 매우 중요한 부분으로써, 다양한 객체를 정확하게 인식할 수 있는 성능을 반드시 확보하여야 한다.
그러나, 종래에는 영상인식 알고리즘에 대한 성능을 강화하는 기술이 충분히 제시되지 못하고, 영상 내 특정 객체를 인식하는 기술로만 주로 연구되고 있는 실정이다.
본 발명의 배경기술은 대한민국 공개특허공보 10-2018-0097966호(2018.09.03)의 '자율 주행을 위한 영상 처리 방법 및 장치'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 자율주행용 영상인식 알고리즘의 성능을 강화시키기 위한 강화 포인트를 분석 및 추출하는 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법을 제공하는 데 목적이 있다.
본 발명의 일 측면에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치는 영상 내 객체를 인식하여 그라운드 트루쓰(Ground Truth)를 생성하는 자동 애노테이션부; 상기 자동 애노테이션부에서 생성된 그라운드 트루쓰에 대한 사용자 단말로부터의 검수 결과에 따라 그라운드 트루쓰를 생성하는 수동 애노테이션툴; 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성하는 비젼 인식 알고리즘부; 상기 수동 애노테이션툴에 의해 생성된 그라운드 트루쓰와 상기 비젼 인식 알고리즘부에 의해 생성된 추론 데이터를 비교 분석하여 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하여 상기 사용자 단말로 출력하는 성능 강화 모듈; 및 상기 사용자 단말로부터의 모델 업데이트 명령에 따라, 상기 비젼 인식 알고리즘부의 추론 데이터 생성을 위한 모델을 업데이트하는 모델 업데이트부를 포함하는 것을 특징으로 한다.
본 발명의 상기 성능 강화 모듈은 영상 내 객체의 종류를 검출하는 객체 종류 검출부; 상기 객체 종류 검출부에 의해 검출된 객체의 종류에 대한 인식 속성을 검출하는 인식 속성 검출부; 및 상기 인식 속성 검출부에 의해 검출된 상기 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 적용하여 상기 분석 결과를 생성하는 성능 강화 분석부를 포함하는 것을 특징으로 한다.
본 발명의 상기 분석 결과는 상기 비젼 인식 알고리즘부의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 상기 성능 강화 대상은 상기 객체의 종류에 따라 각각 설정되는 것을 특징으로 한다.
본 발명의 상기 인식 속성은 상기 객체의 종류별로 상기 성능 강화 포인트 분석 방법이 사전에 설정되는 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소, 도로 표면 거칠기, 도로 양쪽 테두리선, 차선 및 도로 표면이면, 상기 인식 속성은 바운딩 박스(Bounding-Box), B-Spline 및 Subclass이며, 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU(Intersection of Union) 기반 Recall 방식이고, B-Spline의 성능 강화 포인트 분석 방법은 B-Spline error 기반 Recall 방식이며, Subclass의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이이면, 상기 인식 속성은 라이더(Rider) 바운딩 박스이고, 비히클(Vehicle) 바운딩 박스, 트랙킹(Tracking), 온 에고 레인(On-Ego lane) 및 무빙(Moving)이며, 라이더 바운딩 박스와 비히클 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU 기반 Recall 방식이고, 트래킹의 성능 강화 포인트 분석 방법은 상태 변화 기반 MOTA 방식이며, 온 에고 레인과 무빙의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거, 오토바이, 신호등, 표지판, 터널, 도로 위험물 및 도로 거칠기이면, 상기 인식 속성은 로케이션(Location), 디멘션(Dimension), 오리엔테이션(Orientation) 및 디스턴스(Distance)이며, 로케이션과 디멘션의 성능 강화 포인트 분석 방법은 Error-Rate 기반 Accuracy 방식이고 오리엔테이션의 성능 강화 포인트 분석 방법은 각-Error-rate 기반 Accuracy 방식이며 디스턴스의 성능 강화 포인트 분석 방법은 거리-Error-rate 기반 Accuracy 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체, 도로 영역 및 주행 가능 영역이면, 상기 인식 속성은 클래스 세그멘테이션(Class segmentation), 인스턴스 세그멘테이션(Instance Segmentation) 및 프리-스페이스 세그멘테이션(Free-space Segmentation)이며, 클래스 세그멘테이션과 인스턴스 세그멘테이션 및 프리-스페이스 세그멘테이션의 성능 강화 포인트 분석 방법은 Pixel-masking 기반 F1_score 방식인 것을 특징으로 한다.
본 발명의 일 측면에 따른 자율주행용 영상인식 알고리즘 성능 강화 방법은 자동 애노테이션부가 영상 내 객체를 인식하여 그라운드 트루쓰(Ground Truth)를 생성하는 단계; 수동 애노테이션툴이 상기 자동 애노테이션부에서 생성된 그라운드 트루쓰에 대한 사용자 단말로부터의 검수 결과에 따라 그라운드 트루쓰를 생성하는 단계; 비젼 인식 알고리즘부가 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성하는 단계; 성능 강화 모듈이 상기 수동 애노테이션툴에 의해 생성된 그라운드 트루쓰와 상기 비젼 인식 알고리즘부에 의해 생성된 추론 데이터를 비교 분석하여 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하여 상기 사용자 단말로 출력하는 단계; 및 모델 업데이트부가 상기 사용자 단말로부터 입력된 모델 업데이트 명령에 따라 상기 비젼 인식 알고리즘부의 추론 데이터 생성을 위한 모델을 업데이트하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하는 단계에서, 상기 성능 강화 모듈은 영상 내 객체의 종류를 검출하고, 검출된 객체의 종류에 대한 인식 속성을 검출한 후, 검출된 상기 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 적용하여 상기 분석 결과를 생성하는 것을 특징으로 한다.
본 발명의 상기 분석 결과는 상기 비젼 인식 알고리즘부의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 상기 성능 강화 대상은 상기 객체의 종류에 따라 각각 설정되는 것을 특징으로 한다.
본 발명의 상기 인식 속성은 상기 객체의 종류별로 상기 성능 강화 포인트 분석 방법이 사전에 설정되는 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소, 도로 표면 거칠기, 도로 양쪽 테두리선, 차선 및 도로 표면이면, 상기 인식 속성은 바운딩 박스(Bounding-Box), B-Spline 및 Subclass이며, 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU(Intersection of Union) 기반 Recall 방식이고, B-Spline의 성능 강화 포인트 분석 방법은 B-Spline error 기반 Recall 방식이며, Subclass의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이이면, 상기 인식 속성은 라이더(Rider) 바운딩 박스이고, 비히클(Vehicle) 바운딩 박스, 트랙킹(Tracking), 온 에고 레인(On-Ego lane) 및 무빙(Moving)이며, 라이더 바운딩 박스와 비히클 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU 기반 Recall 방식이고, 트래킹의 성능 강화 포인트 분석 방법은 상태 변화 기반 MOTA 방식이며, 온 에고 레인과 무빙의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거, 오토바이, 신호등, 표지판, 터널, 도로 위험물 및 도로 거칠기이면, 상기 인식 속성은 로케이션(Location), 디멘션(Dimension), 오리엔테이션(Orientation) 및 디스턴스(Distance)이며, 로케이션과 디멘션의 성능 강화 포인트 분석 방법은 Error-Rate 기반 Accuracy 방식이고 오리엔테이션의 성능 강화 포인트 분석 방법은 각-Error-rate 기반 Accuracy 방식이며 디스턴스의 성능 강화 포인트 분석 방법은 거리-Error-rate 기반 Accuracy 방식인 것을 특징으로 한다.
본 발명의 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체, 도로 영역 및 주행 가능 영역이면, 상기 인식 속성은 클래스 세그멘테이션(Class segmentation), 인스턴스 세그멘테이션(Instance Segmentation) 및 프리-스페이스 세그멘테이션(Free-space Segmentation)이며, 클래스 세그멘테이션과 인스턴스 세그멘테이션 및 프리-스페이스 세그멘테이션의 성능 강화 포인트 분석 방법은 Pixel-masking 기반 F1_score 방식인 것을 특징으로 한다.
본 발명의 일 측면에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법은 자율주행용 영상인식 알고리즘의 성능을 강화시키기 위한 강화 포인트를 분석 및 추출한다.
도 1 은 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 성능 강화 모듈의 블럭 구성도이다.
도 3 은 본 발명의 일 실시예에 따른 메트릭 분류 테이블을 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 메트릭간 Dependency 흐름을 예시적으로 나타낸 도면이다.
도 5 내지 도 8 은 본 발명의 일 실시예에 따른 성능 강화를 위한 대상 및 분석 방법을 개념적으로 나타낸 도면이다.
도 9 는 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 방법의 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다.
도 1 은 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 성능 강화 모듈의 블럭 구성도이며, 도 3 은 본 발명의 일 실시예에 따른 메트릭 분류 테이블을 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 메트릭간 Dependency 흐름을 예시적으로 나타낸 도면이며, 도 5 내지 도 8 은 본 발명의 일 실시예에 따른 성능 강화를 위한 대상 및 분석 방법을 개념적으로 나타낸 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치는 자동 애노테이션(Annontation)부(10), 수동 애노테이션툴(20), 비젼 인식 알고리즘부(Vision Recognition Algorithm;VRA)(40), 성능 강화 모듈(50), 모델 업데이트부(30) 및 사용자 단말(60)을 포함한다.
자동 애노테이션부(10)는 영상 내 객체를 인식하여 영상 내 객체 각각에 대한 그라운드 트루쓰(Ground Truth)를 생성한다. 그라운드 트루쓰는 영상 내 객체에 대한 설명(Labeling)을 포함하는 데이터이다.
여기서, 영상 내 객체에는 도로 마크, 도로 바운더리(Boundary), 차선, 자동차, 보행자, 자전거, 오토바이, 미등록 동적 물체, 미등록 정적 물체, 신호등, 표시판, 구조물, 도로 위험요소, 도로 표면 거칠기, 자동차 라이트, 도로 표면, 및 주행 가능 영역 중 적어도 하나가 포함될 수 있다.
수동 애노테이션툴(20)은 자동 애노테이션부(10)에서 생성된 그라운드 트루쓰에 대한 사용자 단말(60)로부터의 검수 결과에 따라 그라운드 트루쓰를 생성한다.
자동 애노테이션부(10)는 영상 내 객체를 인식하여 그라운드 트루쓰를 생성하는 데, 이 경우 영상 내 객체에 대한 인식 정확도가 낮을 수 있다. 이에, 수동 애노테이션툴(20)은 사용자 단말(60)에 자동 애노테이션부(10)의 그라운드 트루쓰를 출력하고, 이때 사용자 단말(60)로부터 그라운트 트루쓰에 대한 검수 결과를 입력받아 정확한 그라운드 트루쓰를 생성한다. 즉, 사용자는 사용자 단말(60)을 통해 자동 애노테이션부(10)에 의해 생성된 그라운트 트루쓰를 확인하고, 각 그라운트 트루쓰에 대한 정확도를 판단하여 잘못 인식된 객체에 대해 정확한 그라운트 트루쓰를 입력할 수 있다. 이에 따라, 수동 애노테이션툴(20)로부터 출력되는 그라운드 트루쓰는 사용자가 인식한 정확한 그라운드 트루쓰이다.
비젼 인식 알고리즘부(40)는 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성한다. 이러한 비젼 인식 알고리즘부(40)의영상 인식 알고리즘의 성능을 강화함으로써, 각 객체에 대한 인식 성능을 향상시킬 수 있다.
모델 업데이트부(30)는 성능 강화 모듈(50)에 의해 생성된 분석 결과에 따라 비젼 인식 알고리즘부(40)의 추론 데이터 생성을 위한 모델을 업데이트한다. 모델은 딥-러닝(Deap-Learning Maching) 알고리즘 코드를 트레이닝시킨 결과로 얻은 산출물이다. 분석 결과에 대해서는 후술한다.
즉, 모델 업데이트부(30)는 사용자 단말(60)로부터 입력된 모델 업데이트 명령이 입력되면, 이 모델 업데이트 명령에 따라 모델을 업데이트한다. 이 경우, 사용자는 사용자 단말(60)을 통해 출력되는 성능 강화 모듈(50)의 분석 결과를 토대로 모델 업데이트 명령을 생성하고, 모델 업데이트부(30)는 해당 모델 업데이트 명령에 따라 모델을 업데이트함으로써 비젼 인식 알고리즘부(40)의 성능을 강화할 수 있다.
사용자 단말(60)은 자동 애노테이션부(10)의 그라운드 트루쓰를 출력하고, 이때 수동 애노테이션툴(20)을 이용하여 정확한 그라운드 트루쓰를 생성한다. 또한, 사용자 단말(60)은 성능 강화 모듈(50)로부터 입력된 분석 결과를 출력하고 사용자로부터 모델 업데이트 명령을 입력받아 해당 모델 업데이트 명령을 모델 업데이트부(30)에 입력한다.
성능 강화 모듈(50)은 수동 애노테이션툴(20)에 의해 생성된 그라운드 트루쓰와 비젼 인식 알고리즘부(40)에 의해 생성된 추론 데이터를 비교 분석하여 비젼 인식 알고리즘부(40)의 인지 성능을 개선하기 위한 분석 결과를 생성한다.
도 2 를 참조하면, 성능 강화 모듈(50)은 객체 종류 검출부(51), 인식 속성 검출부(52) 및 성능 강화 분석부(53)를 포함한다.
객체 종류 검출부(51)는 영상 내 객체를 검출한다. 즉, 객체 종류 검출부(51)는 도로 마크, 도로 바운더리(Boundary), 차선, 자동차, 보행자, 자전거, 오토바이, 미등록 동적 물체, 미등록 정적 물체, 신호등, 표시판, 구조물, 도로 위험요소, 도로 표면 거칠기, 자동차 라이트, 도로 표면, 주행 가능 영역 중 어느 하나 이상을 검출한다. 이러한 객체의 종류 각각에 따른 성능 강화 대상은 사전에 설정되며, 각 객체의 종류별 성능 강화 대상은 도 3 에 도시된 바와 같다.
도 3 은 메트릭(Metric) 분류 테이블이며, 메트릭 분류 테이블에는 객체의 종류 및 객체의 종류별 성능 강화 대상이 나타나 있다. 여기서, 메트릭은 성능이 강화되어야할 요소를 찾기 위해서, 성능 강화 포인트 분석 방법을 가진 대상이다.
인식 속성 검출부(52)는 객체 종류 검출부에 의해 검출된 객체의 종류별로 사전에 인식 속성을 검출한다. 여기서, 인식 속성은 객체의 종류별로 성능 강화 포인트 분석 방법이 사전에 설정된다. 이에 성능 강화 포인트 분석 방법 각각이 해당 인식 속성별로 수행될 수 있다. 성능 강화 포인트 분석 방법에 대해서는 후술한다.
성능 강화 분석부(53)는 인식 속성 검출부(52)에 의해 검출된 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 이용하여 분석 결과를 생성한다. 아울러, 성능 강화 분석부(53)는 성능 강화 분석 방법을 이용하여 분석 결과를 생성하는 경우, 메트릭간 의존도(Dependancy)를 확인하고 의존도에 따라 성능 강화 분석 방법을 적용하여 분석 결과를 생성한다. 즉, 도 4 를 참조하면, 각각의 메트릭은 Dependent 메트릭과 Independant 메트릭이 존재하는데, 이들은 서로 간에 선행 여부에 대한 의존관계가 정의되어 있다.
예를 들어, SubClass-ID Metric의 경우, Bounding-Box Metric을 먼저 진행한 뒤에 수행된다. 추정한 객체에 대한 Data에서 어떤 객체가 그라운드 트루쓰의 객체를 가리키는지 알아야만, Subclass-ID를 적용할 수 있다.
또한, Lane의 Subclass-ID Metric의 경우, B-Spline Metric을 먼저 진행한 뒤에 수행된다. 마찬가지로, 추정된 객체 어떤 것이 그라운드 트루쓰의 어떤 객체를 가리키는지를 B-Spline이 지정한다.
분석 결과에는 비젼 인식 알고리즘부(40)의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나가 포함될 수 있다. 이러한 분석 결과는 후술한 성능 강화 포인트 분석 방법별로 다양한 형태로 생성될 수 있다.
성능 강화 포인트 분석 방법에는 IoU(Intersection of Union) 기반 Recall 방식, B-Spline error 기반 Recall 방식, 단순 비교 Hit-rate 방식, 상태 변화 기반 MOTA 방식, Error-Rate 기반 Accuracy 방식, 각-Error-rate 기반 Accuracy 방식, 거리-Error-rate 기반 Accuracy 방식, 및 Pixel-masking 기반 F1_score 방식이 포함될 수 있다. 참고로, 상기한 성능 강화 포인트 분석 방법은 상기한 실시예에 한정되는 것은 아니며, 다양한 성능 강화 포인트 분석 방법이 더 포함될 수 있다.
좀 더 구체적으로 설명하면, 도 5 를 참조하면, 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소, 도로 표면 거칠기, 도로 양쪽 테두리선, 차선 및 도로 표면이면, 인식 속성은 바운딩 박스(Bounding-Box), B-Spline 및 Subclass이다.
이 경우, 바운딩 박스의 성능강화 포인트 분석 방법은 IoU(Intersection of Union) 기반 Recall 방식이 채용될 수 있고, B-Spline의 성능 강화 포인트 분석 방법은 B-Spline error 기반 Recall 방식이 채용될 수 있으며, Subclass의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식이 채용될 수 있다.
여기서, 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소 및 도로 표면 거칠기의 성능 강화 대상은 바운딩 박스(Bounding Box;BB)와 서브클래스이고, 도로 양쪽 테두리선과 차선의 성능 강화 대상은 B-Spline과 서브클래스이며, 도로 표면의 성능 강화 대상은 서브클래스이다.
여기서, 바운딩 박스의 인식 속성은 객체 사각 테두리로써, 차선 객체는 B-Spline이 사용되고 도로 테두리-선 객체는 B-Spline이 사용된다. B-Spline은 차선 객체의 차선 중신 라인이며, 서브클래스는 객체 상세 종류이다.
IoU 기반 Recall 방식에서, Recall은 영상에 존재하는 모든 객체의 숫자분에 실제로 정확하게 추정한 객체의 숫자, 즉 전체 영상 내 존재하는 자동차들 중에 기계가 정확하게 찾아낸 자동차들의 숫자이며, IoU는 바운딩 박스 메트릭에서 사용되는 것으로써, 정답의 Box와 기계가 추정한 Box 간의 교집합 넓이를 영상에서 정답일때의 Box 넓이와 기계가 추정한 Box 넓이의 합으로 나눈 값이다. 즉, IoU는 Box를 기반으로 정답을 얼마나 잘 찾았는지를 나타내는 지표이다.
B-Spline Error 기반 Recall 방식에서, B-Spline Error은 레인을 얼마나 잘 찾는지를 알아내기 위해서, 레인을 부정확하게 찾았을 때의 오차값이다.
단순 비교 Hit-rate 방식에서, Hit-rate는 전체 후보군의 숫자 중 정확하게 찾아낸 후보의 숫자이다.
도 6 을 참조하면, 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이이면, 인식 속성은 라이더(Rider) 바운딩 박스이고, 비히클(Vehicle) 바운딩 박스, 트랙킹(Tracking), 온 에고 레인(On-Ego lane) 및 무빙(Moving)이다.
이 경우 라이더 바운딩 박스와 비히클 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU 기반 Recall 방식이 채용될 수 있고, 트래킹의 성능 강화 포인트 분석 방법은 상태 변화 기반 MOTA 방식이 채용될 수 있으며, 온 에고 레인과 무빙의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식이 채용될 수 있다.
여기서, 자동차와 보행자, 미등록 동적 물체 및 미등록 정적 물체의 성능 강화 대상은 트랙킹, 온-에고 레인 및 무빙이고, 자전거와 오토바이의 성능 강화 대상은 라이더 바운딩 박스, 비히클 바운딩 박스, 트랙킹, 온 에고 레인 및 무빙이다. 여기서, 라이더 비비의 인식 속성은 테두리이며, 비히클 바운딩 박스의 인식 속성은 오토바이와 자전거의 테두리이며, 트랙킹은 시계열 추적 ID이며, 온 에고 레인은 진행 차로 여부이며, 무빙은 움직임 여부이다.
상태 변화 기반 MOTA 방식은 객체 각각의 추적 성능을 검사하기 위해 MOTA 방식을 이용한다.
나머지, 성능 강화 포인트 분석 방식은 상기한 바와 같다.
도 7 을 참조하면, 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거, 오토바이, 신호등, 표지판, 터널, 도로 위험물 및 도로 거칠기이면, 인식 속성은 로케이션(Location), 디멘션(Dimension), 오리엔테이션(Orientation) 및 디스턴스(Distance)이다.
이 경우, 로케이션과 디멘션의 성능 강화 포인트 분석 방법은 Error-Rate 기반 Accuracy 방식이 채용될 수 있고, 오리엔테이션의 성능 강화 포인트 분석 방법은 각-Error-rate 기반 Accuracy 방식이 채용될 수 있으며 디스턴스의 성능 강화 포인트 분석 방법은 거리-Error-rate 기반 Accuracy 방식이 채용될 수 있다.
여기서, 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이의 성능 강화 대상은 로케이션, 디멘션 및 오리엔테이션이고, 신호등과 표지판, 터널 및 도로 위험과 및 도로 거칠기의 성능 강화 대상은 디스턴스이다. 로케이션의 인식 속성은 상대-위치 좌표(3D)이고, 디멘션의 인식 속성은 너비, 높이 및 길이(장축)이며, 오리엔테이션의 인식 속성은 진행 방향 및 요 디그리(Yaw Degree)이며, 디스턴스의 인식 속성은 대상까지의 상대-거리(float)이다.
Error-rate 기반 Accuracy 방식은 레인(Lane)의 경우, 인식 결과가 하나의 라인(Line)으로 출력되는데, 출력된 결과 해단 라인의 정확도를 검사하기 위한 목적으로 그라운드 트루쓰의 라인 정보와 타겟(Target)의 라인 정보간에 차이를 Error로 계산하는 방식이다.
각-Error-rate 기반 Accuracy 방식은 3-D 형태로 객체를 형상화 시킨 데이터에 대한 검사를 목적으로 수행하는 것으로써, 3-D로 형상화된 객체의 전방면이 향하는 방향이 정확하게 형성되었는지를 검사하기 위해서, 그라운드 트루쓰의 각도와 타겟(Target)의 각도간의 차이점을 계산해서 정확성을 수치화시키는 방식이다.
거리- Error-rate 기반 Accuracy 방식은 3-D 형태로 객체를 형상화 시킨 데이터에 대한 검사를 목적으로 하는 것으로써, 3-D로 형상화된 객체와 자차와의 거리가 정확하게 형성되었는지를 검사하기 위해서, 그라운드 트루쓰의 거리와 타겟의 거리값의 차이점을 계산해서 정확성을 수치화시키는 방식이다.
도 8 을 참조하면, 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체, 도로 영역 및 주행 가능 영역이면, 인식 속성은 클래스 세그멘테이션(Class segmentation), 인스턴스 세그멘테이션(Instance Segmentation) 및 프리-스페이스 세그멘테이션(Free-space Segmentation)이다.
이 경우, 클래스 세그멘테이션과 인스턴스 세그멘테이션 및 프리-스페이스 세그멘테이션의 성능 강화 포인트 분석 방법은 Pixel-masking 기반 F1_score 방식이 채용될 수 있다. 여기서, 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체 및 도로 영역의 성능 강화 대상은 인스턴스 세그먼트이고, 주행 가능 영역의 성능 강화 대상은 프리 스페이스 세그먼트이다.
참고로, 세그먼테이션에는 클래스 세그먼트(Class-Segmentation), 인스턴스 세그먼테이션(Instance-Segmentation) 및 프리 스페이스 세그먼테이션(Free-Space Segmentation)가 있다.
세그먼테이션은 영상의 Pixel 단위로 "자동차"의 Pixel인지 또는 "사람"의 Pixel인지에 대한 정답지를 만든 내용을 가리키는 산출물이다.
클래스 세그먼테이션은 "자동차"에 속하는 모든 영상상의 자동차들만을 특정 숫자로 기록한 세그먼테이션 이미지이고, 인스턴스 세그먼테이션은 "자동차"가 영상에 여러 대가 존재할 때 각각의 "자동차"를 1,2,3 등으로 서로 다르게 기록한 세그먼테이션 이미지이며, 프리 스페이스 세그먼테이션은 "자신의 자"가 운행할 수 있는 도로상의 모든 영역을 표시한 세그먼테이션 이미지이다.
한편, 사진영상에 각 객체별로 서로 다른 색상을 입히는 과정을 Pixel-masking(segmentation)이라 하는데, Pixel-masking 기반 F1_Score 방식은 F1 Score 방식을 이용하여 Pixel-masking의 정확도를 수치화시키는 방식이다. F1 Score 방식은 상기한 바와 같이 픽셀 단위로 서로 다르게 색상을 입힌 내용을 바탕으로 Pixel-masking의 정확도를 검사하는 용도로 사용된다.
이하 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 방법을 도 9 를 참조하여 상세하게 설명한다.
도 9 는 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 방법의 순서도이다.
도 9 를 참조하면, 먼저 자동 애노테이션부(10)는 영상 내 객체를 인식하여 영상 내 객체 각각에 대한 그라운드 트루쓰를 생성한다(S10).
이어, 수동 애노테이션툴(20)은 자동 애노테이션부(10)에서 생성된 그라운드 트루쓰에 대한 사용자 단말(60)로부터의 검수 결과에 따라 그라운드 트루쓰를 정확하게 보정한다(S20). 이에 따라, 수동 애노테이션툴(20)로부터 정확한 그라운드 트루쓰가 출력된다.
한편, 비젼 인식 알고리즘부(40)는 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성한다(S30).
성능 강화 모듈(50)은 수동 애노테이션툴(20)에 의해 생성된 그라운드 트루쓰와 비젼 인식 알고리즘부(40)에 의해 생성된 추론 데이터를 비교 분석하여 비젼 인식 알고리즘부(40)의 인지 성능을 개선하기 위한 분석 결과를 생성한다(S40).
즉, 객체 종류 검출부가 객체의 종류를 검출하고, 인식 속성 검출부(52)가 객체 종류 검출부에 의해 검출된 객체의 종류별로 사전에 인식 속성을 검출한다.
이어, 성능 강화 분석부(53)가 인식 속성 검출부(52)에 의해 검출된 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 적용하여 분석 결과를 생성한다. 이 경우, 메트릭간 의존도(Dependancy)를 확인하고 의존도에 따라 성능 강화 분석 방법을 적용하여 분석 결과를 생성한다.
여기서, 분석 결과에는 비젼 인식 알고리즘부(40)의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나가 포함될 수 있다.
성능 강화 포인트 분석 방법에는 IoU(Intersection of Union) 기반 Recall 방식, B-Spline error 기반 Recall 방식, 단순 비교 Hit-rate 방식, 상태 변화 기반 MOTA 방식, Error-Rate 기반 Accuracy 방식, 각-Error-rate 기반 Accuracy 방식, 거리-Error-rate 기반 Accuracy 방식, 및 Pixel-masking 기반 F1_score 방식이 포함될 수 있다.
이와 같이, 성능 강화 분석부(53)에 의해 분석 결과가 생성되면, 사용자 단말(60)은 해당 분석 결과를 출력(S50)하고, 모델 업데이트부(30)는 성능 강화 모듈(50)에 의해 생성된 분석 결과에 따른 사용자 단말(60)로부터의 모델 업데이트 명령에 따라, 비젼 인식 알고리즘부(40)의 추론 데이터 생성을 위한 모델을 업데이트한다(S60).
즉, 모델 업데이트부(30)는 사용자 단말(60)을 통해 분석 결과를 출력하고, 이 경우 사용자 단말(60)로부터 입력된 모델 업데이트 명령이 입력되면, 이 모델 업데이트 명령에 따라 모델을 업데이트한다. 이 경우, 사용자는 사용자 단말(60)을 통해 출력되는 성능 강화 모듈(50)의 분석 결과를 토대로 모델 업데이트 명령을 생성하고, 모델 업데이트부(30)는 사용자 단말(60)로부터 입력된 모델 업데이트 명령에 따라 모델을 업데이트함으로써 비젼 인식 알고리즘부(40)의 성능을 강화할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법은 자율주행용 영상인식 알고리즘의 성능을 강화시키기 위한 강화 포인트를 분석 및 추출한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 자동 애노테이션부 20: 수동 애노테이션툴
30: 모델 업데이트부 40: 비젼 인식 알고리즘부
50: 성능 강화 모듈 51: 객체 종류 검출부
52: 인식 속성 검출부 53: 성능 강화 분석부
60: 사용자 단말

Claims (18)

  1. 영상 내 객체를 인식하여 그라운드 트루쓰(Ground Truth)를 생성하는 자동 애노테이션부;
    상기 자동 애노테이션부에서 생성된 그라운드 트루쓰에 대한 사용자 단말로부터의 검수 결과에 따라 그라운드 트루쓰를 생성하는 수동 애노테이션툴;
    영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성하는 비젼 인식 알고리즘부;
    상기 수동 애노테이션툴에 의해 생성된 그라운드 트루쓰와 상기 비젼 인식 알고리즘부에 의해 생성된 추론 데이터를 비교 분석하여 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하여 상기 사용자 단말로 출력하는 성능 강화 모듈; 및
    상기 사용자 단말로부터의 모델 업데이트 명령에 따라, 상기 비젼 인식 알고리즘부의 추론 데이터 생성을 위한 모델을 업데이트하는 모델 업데이트부를 포함하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  2. 제 1 항에 있어서, 상기 성능 강화 모듈은
    영상 내 객체의 종류를 검출하는 객체 종류 검출부;
    상기 객체 종류 검출부에 의해 검출된 객체의 종류에 대한 인식 속성을 검출하는 인식 속성 검출부; 및
    상기 인식 속성 검출부에 의해 검출된 상기 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 적용하여 상기 분석 결과를 생성하는 성능 강화 분석부를 포함하는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  3. 제 1 항에 있어서, 상기 분석 결과는 상기 비젼 인식 알고리즘부의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나를 포함하는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  4. 제 3 항에 있어서, 상기 성능 강화 대상은 상기 객체의 종류에 따라 각각 설정되는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  5. 제 4 항에 있어서, 상기 인식 속성은 상기 객체의 종류별로 상기 성능 강화 포인트 분석 방법이 사전에 설정되는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  6. 제 5 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소, 도로 표면 거칠기, 도로 양쪽 테두리선, 차선 및 도로 표면이면, 상기 인식 속성은 바운딩 박스(Bounding-Box), B-Spline 및 Subclass이며, 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU(Intersection of Union) 기반 Recall 방식이고, B-Spline의 성능 강화 포인트 분석 방법은 B-Spline error 기반 Recall 방식이며, Subclass의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  7. 제 5 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이이면, 상기 인식 속성은 라이더(Rider) 바운딩 박스이고, 비히클(Vehicle) 바운딩 박스, 트랙킹(Tracking), 온 에고 레인(On-Ego lane) 및 무빙(Moving)이며, 라이더 바운딩 박스와 비히클 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU 기반 Recall 방식이고, 트래킹의 성능 강화 포인트 분석 방법은 상태 변화 기반 MOTA 방식이며, 온 에고 레인과 무빙의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  8. 제 5 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거, 오토바이, 신호등, 표지판, 터널, 도로 위험물 및 도로 거칠기이면, 상기 인식 속성은 로케이션(Location), 디멘션(Dimension), 오리엔테이션(Orientation) 및 디스턴스(Distance)이며, 로케이션과 디멘션의 성능 강화 포인트 분석 방법은 Error-Rate 기반 Accuracy 방식이고 오리엔테이션의 성능 강화 포인트 분석 방법은 각-Error-rate 기반 Accuracy 방식이며 디스턴스의 성능 강화 포인트 분석 방법은 거리-Error-rate 기반 Accuracy 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  9. 제 5 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체, 도로 영역 및 주행 가능 영역이면, 상기 인식 속성은 클래스 세그멘테이션(Class segmentation), 인스턴스 세그멘테이션(Instance Segmentation) 및 프리-스페이스 세그멘테이션(Free-space Segmentation)이며, 클래스 세그멘테이션과 인스턴스 세그멘테이션 및 프리-스페이스 세그멘테이션의 성능 강화 포인트 분석 방법은 Pixel-masking 기반 F1_score 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 장치.
  10. 자동 애노테이션부가 영상 내 객체를 인식하여 그라운드 트루쓰(Ground Truth)를 생성하는 단계;
    수동 애노테이션툴이 상기 자동 애노테이션부에서 생성된 그라운드 트루쓰에 대한 사용자 단말로부터의 검수 결과에 따라 그라운드 트루쓰를 생성하는 단계;
    비젼 인식 알고리즘부가 영상 인식 알고리즘을 이용하여 영상 내 객체에 대한 설명을 추론한 추론 데이터를 생성하는 단계;
    성능 강화 모듈이 상기 수동 애노테이션툴에 의해 생성된 그라운드 트루쓰와 상기 비젼 인식 알고리즘부에 의해 생성된 추론 데이터를 비교 분석하여 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하여 상기 사용자 단말로 출력하는 단계; 및
    모델 업데이트부가 상기 사용자 단말로부터 입력된 모델 업데이트 명령에 따라 상기 비젼 인식 알고리즘부의 추론 데이터 생성을 위한 모델을 업데이트하는 단계를 포함하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  11. 제 10 항에 있어서, 상기 비젼 인식 알고리즘부의 인지 성능을 개선하기 위한 분석 결과를 생성하는 단계에서,
    상기 성능 강화 모듈은 영상 내 객체의 종류를 검출하고, 검출된 객체의 종류에 대한 인식 속성을 검출한 후, 검출된 상기 인식 속성별로 기 설정된 성능 강화 포인트 분석 방법을 적용하여 상기 분석 결과를 생성하는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  12. 제 10 항에 있어서, 상기 분석 결과는 상기 비젼 인식 알고리즘부의 성능 강화를 위한 객체의 인식 속성, 성능 강화 실패 여부, 성능 강화 실패 이유 및 성능 강화 대상 중 적어도 하나를 포함하는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  13. 제 12 항에 있어서, 상기 성능 강화 대상은 상기 객체의 종류에 따라 각각 설정되는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  14. 제 13 항에 있어서, 상기 인식 속성은 상기 객체의 종류별로 상기 성능 강화 포인트 분석 방법이 사전에 설정되는 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  15. 제 14 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 자동차 라이트, 신호등, 표지판, 구조물, 미등록 동적 물체, 미등록 정적 물체, 도로 위험요소, 도로 표면 거칠기, 도로 양쪽 테두리선, 차선 및 도로 표면이면, 상기 인식 속성은 바운딩 박스(Bounding-Box), B-Spline 및 Subclass이며, 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU(Intersection of Union) 기반 Recall 방식이고, B-Spline의 성능 강화 포인트 분석 방법은 B-Spline error 기반 Recall 방식이며, Subclass의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  16. 제 14 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거 및 오토바이이면, 상기 인식 속성은 라이더(Rider) 바운딩 박스이고, 비히클(Vehicle) 바운딩 박스, 트랙킹(Tracking), 온 에고 레인(On-Ego lane) 및 무빙(Moving)이며, 라이더 바운딩 박스와 비히클 바운딩 박스의 성능 강화 포인트 분석 방법은 IoU 기반 Recall 방식이고, 트래킹의 성능 강화 포인트 분석 방법은 상태 변화 기반 MOTA 방식이며, 온 에고 레인과 무빙의 성능 강화 포인트 분석 방법은 단순 비교 Hit-rate 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  17. 제 14 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 미등록 동적 물체, 미등록 정적 물체, 자전거, 오토바이, 신호등, 표지판, 터널, 도로 위험물 및 도로 거칠기이면, 상기 인식 속성은 로케이션(Location), 디멘션(Dimension), 오리엔테이션(Orientation) 및 디스턴스(Distance)이며, 로케이션과 디멘션의 성능 강화 포인트 분석 방법은 Error-Rate 기반 Accuracy 방식이고 오리엔테이션의 성능 강화 포인트 분석 방법은 각-Error-rate 기반 Accuracy 방식이며 디스턴스의 성능 강화 포인트 분석 방법은 거리-Error-rate 기반 Accuracy 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
  18. 제 14 항에 있어서, 상기 객체의 종류가 자동차, 보행자, 자전거, 오토바이, 신호등, 표지판, 차선, 로드 마커, 미등록 동적 물체, 미등록 정적 물체, 도로 영역 및 주행 가능 영역이면, 상기 인식 속성은 클래스 세그멘테이션(Class segmentation), 인스턴스 세그멘테이션(Instance Segmentation) 및 프리-스페이스 세그멘테이션(Free-space Segmentation)이며, 클래스 세그멘테이션과 인스턴스 세그멘테이션 및 프리-스페이스 세그멘테이션의 성능 강화 포인트 분석 방법은 Pixel-masking 기반 F1_score 방식인 것을 특징으로 하는 자율주행용 영상인식 알고리즘 성능 강화 방법.
KR1020180143381A 2018-11-20 2018-11-20 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법 KR20200063311A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180143381A KR20200063311A (ko) 2018-11-20 2018-11-20 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180143381A KR20200063311A (ko) 2018-11-20 2018-11-20 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200063311A true KR20200063311A (ko) 2020-06-05

Family

ID=71088862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143381A KR20200063311A (ko) 2018-11-20 2018-11-20 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200063311A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915511A (zh) * 2020-07-06 2020-11-10 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
KR102205810B1 (ko) * 2020-07-07 2021-01-21 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법
CN115472031A (zh) * 2022-08-15 2022-12-13 北京罗克维尔斯科技有限公司 信息显示方法、装置、设备、介质、产品及车辆
KR20230076009A (ko) * 2021-11-23 2023-05-31 이인텔리전스 주식회사 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
CN111915511A (zh) * 2020-07-06 2020-11-10 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
KR102205810B1 (ko) * 2020-07-07 2021-01-21 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법
KR20230076009A (ko) * 2021-11-23 2023-05-31 이인텔리전스 주식회사 차량 전방의 객체 및 차선에 대한 사용자 데이터 셋 생성 방법 및 장치
CN115472031A (zh) * 2022-08-15 2022-12-13 北京罗克维尔斯科技有限公司 信息显示方法、装置、设备、介质、产品及车辆

Similar Documents

Publication Publication Date Title
US11458912B2 (en) Sensor validation using semantic segmentation information
KR20200063311A (ko) 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
CN111801711A (zh) 图像标注
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US20180373943A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US11341754B2 (en) Method and apparatus for auto calibration
CN111874006A (zh) 路线规划处理方法和装置
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
KR102541560B1 (ko) 객체 인식 방법 및 장치
CN111091037A (zh) 用于确定驾驶信息的方法和设备
JP4296287B2 (ja) 車両認識装置
JP2004265432A (ja) 走行環境認識装置
CN109753841B (zh) 车道线识别方法和装置
JP2010176592A (ja) 車両用運転支援装置
US12014555B2 (en) Vehicle localization based on lane templates
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
KR102568111B1 (ko) 도로 경계 추출 장치 및 방법
KR101706455B1 (ko) 도로표지판 검출 기반 주행 차로 추정 방법 및 장치
JP2662583B2 (ja) 車上距離検出装置
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치
US20230186638A1 (en) Device for determining a topography of a vehicle environment, vehicle and method
WO2020129247A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal