KR20220038857A - 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법 - Google Patents

자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법 Download PDF

Info

Publication number
KR20220038857A
KR20220038857A KR1020200121171A KR20200121171A KR20220038857A KR 20220038857 A KR20220038857 A KR 20220038857A KR 1020200121171 A KR1020200121171 A KR 1020200121171A KR 20200121171 A KR20200121171 A KR 20200121171A KR 20220038857 A KR20220038857 A KR 20220038857A
Authority
KR
South Korea
Prior art keywords
evaluation
scenario
autonomous driving
driving situation
data
Prior art date
Application number
KR1020200121171A
Other languages
English (en)
Inventor
권병헌
이종서
최은재
빈죤 키라칼
신유영
송영기
Original Assignee
주식회사 스프링클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스프링클라우드 filed Critical 주식회사 스프링클라우드
Priority to KR1020200121171A priority Critical patent/KR20220038857A/ko
Publication of KR20220038857A publication Critical patent/KR20220038857A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

국내 주행환경의 데이터를 근거로 자율주행 상황 인지 알고리즘의 평가가 가능하도록 하는 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법을 제시한다. 제시된 장치는 입력받은 시나리오 조건을 근거로 시나리오를 생성하는 시나리오 생성부; 상기 시나리오를 근거로 자율주행 정보를 획득하는 데이터 획득부; 상기 시나리오의 자율주행 정보를 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공하는 가공부; 및 상기 가공된 데이터를 근거로 자율주행 상황 인지 소프트웨어의 성능을 평가하는 평가부;를 포함한다.

Description

자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법{Autonomous driving situation recognition algorithm evaluation service device and method}
본 발명은 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법에 관한 것으로, 보다 상세하게는 자율주행의 인지, 판단, 제어 단계중에서 인지 알고리즘의 평가가 가능한 장치 및 방법에 관한 것이다.
자율주행은 크게 인지-판단-제어의 3단계로 수행된다.
인지 단계는 카메라, 라이다(LiDAR), 레이더(RADAR) 등의 다양한 센서를 이용하여 현재 차량의 위치, 진행 방향, 속도, 장애물, 신호 등과 같은 주변 환경을 인지한다.
판단 단계는 센서의 정보를 바탕으로 주행 경로를 생성하고, 장애물을 회피하고, 긴급상황에 급제동하는 등의 판단을 내리는 역할을 한다.
제어 단계는 인지와 판단을 바탕으로, 조향, 속도, 제동 등을 전자식으로 제어하여 자율주행을 구현하는 역할을 한다.
자율주행 인공지능 인식기술을 위한 데이터와 시스템을 구축하는데 많은 시간과 비용이 발생하여, 신규 진입 장벽이 높아 관련 산업의 활성화에 어려움이 있다.
KITTI 데이터 세트에서는 stereo, optical flow, odometry 등의 분야의 다양한 알고리즘을 벤치마킹하기 위한 실도로 주행 영상 DB를 제공하고 있으며, 차량에 LiDAR, GPS/INS 센서를 장착하고 실외의 장애물까지의 3차원 거리정보, 영상의 광류정보, 측위정보 등의 다양한 DB와 기준정보를 제공하다.
ApolloScape는 scene parsing, car instance, lane segmentation 등 분야의 데이터 세트을 제공하고 있으며, 고정 환경을 획득하기 위한 목적으로써 물체를 인식하고 있다. ApolloScape는 씨퀀스 단위로 연속된 데이터를 제공하며 라이다 정보만을 제공하고 있다.
NuScenes는 detection과 tracking 분야의 데이터 세를을 제공하고 있으나 다른 데이터 세트와는 다르게 카메라, 라이다, 레이더 정보까지 다양한 환경 데이터를 제공하고 있다. NuScenes는 씬(scene) 단위의 데이터를 제공하고 있으며, 훈련용 데이터와 검증용 데이터를 구분해 제공하고 있다.
기존 데이터 세트는 국외 환경에 맞는 다양한 환경의 실도로 DB를 제공하고 있으나, 국내 데이터 세트는 다양한 상황에서 수집하지 못해 국내 환경에 맞는 알고리즘 개발의 한계점이 있다.
대한민국 등록특허 제10-2070527호(자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 국내 주행환경의 데이터를 근거로 자율주행 상황 인지 알고리즘의 평가가 가능하도록 하는 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율주행 상황 인지 알고리즘 평가 서비스 장치는, 입력받은 시나리오 조건을 근거로 시나리오를 생성하는 시나리오 생성부; 상기 시나리오를 근거로 자율주행 정보를 획득하는 데이터 획득부; 상기 시나리오의 자율주행 정보를 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공하는 가공부; 및 상기 가공된 데이터를 근거로 자율주행 상황 인지 소프트웨어의 성능을 평가하는 평가부;를 포함한다.
상기 시나리오는, 주행 타입(drive type), 차량 타입(vehicle type), 서비스(service), 유스케이스(usecase), 교통 조건(traffic condition), 인프라 조건(infra condition), 및 도로 타입(road type) 중에서 하나 이상에 대한 세부 정보를 포함할 수 있다.
상기 데이터 획득부는, 상기 시나리오의 자율주행 정보의 획득 현황을 출력할 수 있다.
상기 가공부는, 상기 시나리오의 자율주행 정보를 일정한 가공 유형에 따라 가공할 수 있다.
상기 가공 유형은, 2D 바운딩 박스(2D Bounding Box), 2D 시맨틱 세그멘테이션(2D Semantic Segmentation), 3D 바운딩 박스(3D Bounding Box) 중에서 하나 이상일 수 있다.
상기 가공부는, 데이터 가공 작업 진행 현황을 출력할 수 있다.
상기 평가부는, 상기 자율주행 상황 인지 소프트웨어의 성능을 평가함에 있어서 제 1 평가지표 및 제 2 평가지표 중에서 하나 이상을 활용할 수 있다.
상기 제 1 평가지표는 mAP(Mean Average Precision)일 수 있고, 상기 제 2 평가지표는 2D TTC(Time to Collision)일 수 있다.
상기 평가부는, mAP 모드가 선택되면 상기 mAP를 활용하여 자율주행 상황 인지 소프트웨어에 대한 성능 평가를 수행할 수 있다.
상기 평가부는, 2D TTC 모드가 선택되면 상기 2D TTC를 활용하여 자율주행 인지 소프트웨어에 대한 성능 평가를 수행하되, 변화되는 TTC 가중치를 입력받아 상기 자율주행 인지 소프트웨어에 대한 성능 평가를 수행할 수 있다.
상기 평가부는, 상기 자율주행 상황 인지 소프트웨어의 평가를 통한 결과를 보고서 형태로 출력할 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 자율주행 상황 인지 알고리즘 평가 서비스 방법은, 시나리오 생성부가, 입력받은 시나리오 조건을 근거로 시나리오를 생성하는 단계; 데이터 획득부가, 상기 시나리오를 근거로 자율주행 정보를 획득하는 단계; 가공부가, 상기 시나리오의 자율주행 정보를 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공하는 단계; 및 평가부가, 상기 가공된 데이터를 근거로 자율주행 상황 인지 소프트웨어의 성능을 평가하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 국내 도로환경의 다양한 데이터 세트를 근거로 다양한 인지 알고리즘의 평가가 가능하고, 인지 알고리즘 평가를 통한 성능 향상을 시각적으로 확인할 수 있다.
즉, 더욱 다양한 조건(맑음, 비, 눈 등)의 국내 데이터 세트의 구축이 가능하며, 국내 도로환경 데이터 세트에 맞는 딥러닝이 가능하며, 또한 이용자의 인지 알고리즘의 평가 및 성능 향상을 위해 시각적 표현이 가능하다.
도 1은 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 장치가 적용된 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 장치의 내부 구성도이다.
도 3은 도 2에 도시된 시나리오 생성부의 설명에 채용되는 화면예이다.
도 4 내지 도 6은 도 2에 도시된 데이터 획득부의 설명에 채용되는 화면예이다.
도 7은 도 2에 도시된 가공부의 설명에 채용되는 화면예이다.
도 8 내지 도 11은 도 2에 도시된 평가부의 설명에 채용되는 화면이다.
도 12는 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 방법을 설명하기 위한 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 장치가 적용된 시스템의 구성도이다.
도 1의 시스템은 사용자 단말(100) 및 인지 알고리즘 평가 서비스 장치(200)를 포함한다.
사용자 단말(100)과 인지 알고리즘 평가 서비스 장치(200)는 소정의 네트워크(도시 생략)를 통해 상호 통신할 수 있다.
여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network;WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다.
또한, 네트워크는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
필요에 따라서, 네트워크는 유선 및 무선이 혼용된 네트워크일 수 있다.
사용자 단말(100)은 인지 알고리즘 평가 서비스 장치(200)에서의 시나리오 생성에 필요한 소스(source)가 되는 시나리오 조건을 설정하여 네트워크를 통해 업로드할 수 있다.
예를 들어, 시나리오 조건은 차로 및 차간 유지주행, 차로변경, 차량 앞지르기, 차로합류, 및 차로 분기의 종류로 나누어질 수 있고, 각각의 종류별로 하나 이상의 유스케이스(usecase)를 포함하고, 각각의 종류별 유스케이스(usecase)는 상세 조건이 설정될 수 있다.
여기서, 차로 및 차간 유지주행, 차량 앞지르기, 차로합류, 및 차로 분기는 직선로 차로 유지 주행, 곡선로 차로 유지 주행, 차량 추종, 교통 정체, 터널 진입, 터널 출구, 컷인 차량(Front behind), 컷인 차량(Frond), 컷아웃 차량, 합량 차량, 차로위반 주행차량, 공사 구간, 전방차량 긴급제동 등의 유스케이스(usecase)를 포함할 수 있다.
차로변경의 경우에는 교통 조건, 인프라 조건, 도로 타입, 자연환경(광원, 날씨), 차선 타입, 교통규제, 시스템 상태 등의 유스케이스를 포함할 수 있다.
이와 같이 사용자 단말(100)은 시나리오 조건의 각 종류별 유스케이스에 대한 상세 조건을 설정한 후에 해당 시나리오 조건을 네트워크를 통해 인지 알고리즘 평가 서비스 장치(100)에게로 업로드한다.
사용자 단말(100)은 휴대용 단말기 또는 휴대용 컴퓨터로 구현될 수 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 와이파이(Wi-Fi), LTE(Long Term Evolution) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다.
또한, 사용자 단말(100)은 스마트폰, 스마트 노트, 태블릿 PC, 웨어러블(wearable) 컴퓨터 등의 각종 스마트 기기일 수도 있다.
필요에 따라, 사용자 단말(100)은 스탠드얼론(stand alone)형 컴퓨터일 수도 있다.
필요에 따라, 상술한 사용자 단말(100)은 관리자 단말 또는 개발자 단말 등으로 명칭하여도 무방하다.
인지 알고리즘 평가 서비스 장치(200)는 사용자 단말(100)로부터의 시나리오 조건을 근거로 다양한 시나리오를 생성할 수 있다.
인지 알고리즘 평가 서비스 장치(200)는 생성된 시나리오별로 고유 식별 정보(ID)를 부여하고 관리한다.
인지 알고리즘 평가 서비스 장치(200)는 생성된 시나리오를 근거로 자율주행 차량에 설치된 센서로부터의 데이터(즉, 주행 정보)를 획득하고, 획득한 센서 데이터를 인지 소프트웨어 평가용 데이터세트 구성을 위한 데이터로 가공하고, 가공된 데이터를 소정의 평가 방식에 따라 자율주행 상황 인지 소프트웨어 평가를 행할 수 있다.
상술한 인지 알고리즘 평가 서비스 장치(200)는 자율주행 상황 인지 소프트웨어를 평가하는 서버 또는 컴퓨터라고 할 수 있다.
도 2는 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 장치의 내부 구성도이고, 도 3은 도 2에 도시된 시나리오 생성부의 설명에 채용되는 화면예이고, 도 4 내지 도 6은 도 2에 도시된 데이터 획득부의 설명에 채용되는 화면예이고, 도 7은 도 2에 도시된 가공부의 설명에 채용되는 화면예이고, 도 8 내지 도 11은 도 2에 도시된 평가부의 설명에 채용되는 화면이다.
인지 알고리즘 평가 서비스 장치(200)는 사용자 입력 수신부(1), 시나리오 생성부(10), 데이터 획득부(20), 가공부(30), 평가부(40), 및 제어부(50)를 포함할 수 있다.
사용자 입력 수신부(1)는 사용자 단말(100)로부터의 입력을 수신한다.
시나리오 생성부(10)는 사용자 단말(100)로부터의 시나리오 조건을 근거로 하나 이상의 시나리오를 생성할 수 있다.
예를 들어, 시나리오는 주행 타입(drive type), 차량 타입(vehicle type), 서비스(service), 유스케이스(usecase), 교통 조건(traffic condition), 인프라 조건(infra condition), 및 도로 타입(road type) 등에 대한 세부 정보를 포함할 수 있다. 주행 타입으로는 고속도로, 국도 등이 있을 수 있다. 차량 타입으로는 그랜저, 투산(tucson) 등이 있을 수 있다. 서비스로는 차로 및 차간 유지 등이 있을 수 있다. 교통 조건으로는 전방 120m내에 차량없음 등이 있을 수 있다. 인프라 조건으로는 주차 밀집 등이 있을 수 있고, 도로 타입으로는 주차장, 직선로 등이 있을 수 있다.
이와 같이 시나리오 생성부(10)는 시나리오를 생성함에 있어서, 적어도 주행환경(Driving Environment) 및 주변환경(Surrounding Environment)의 상황을 조합하여 시나리오를 생성한다. 여기서의 시나리오 생성은 시나리오 개발이라고 할 수 있다.
상술한 주행환경은 대상차량의 행동 및 도로현상의 조합이라고 할 수 있다. 대상차량의 행동은 현재 위치 및 상태에서 대상 차량의 움직임을 나타내는 것으로 경로 유지 또는 경로 변경 등을 의미할 수 있다. 도로현상은 도로의 뻗어진 모양 또는 경사도와 상태에 따라 분류한 것으로 직선로, 곡선로, 합류로, 분기로 등을 의미할 수 있다.
한편, 상술한 주변환경은 인식 대상의 위치 및 인식 대상의 행동의 조합이라고 할 수 있다. 인식 대상의 위치는 대상 차량을 중심으로 동적 객체의 위치를 기술하기 위한 것으로 도로 현상에 따라서 위치가 달라질 수 있다. 인식 대상의 행동은 인식 대상이 초기 위치에서 움직이는 방향 및 속력을 기술한 것으로 도로 현상과 관련하여 행동 범위 및 방향이 결정될 수 있다.
시나리오 생성부(10)는 생성한 시나리오를 저장하는데, 시나리오에 대해 고유 식별 정보(ID)를 부여한 후에 저장한다. 여기서, 저장은 별도의 DB에 저장하거나 자신의 내부의 메모리에 저장하는 것일 수 있다.
시나리오 생성부(10)는 생성한 시나리오를 데이터 획득부(20)에게로 전송한다. 이때, 시나리오 생성부(10)는 CSV 파일 포맷(예컨대, "senario_sg_200420.csv")에 따라 시나리오를 데이터 획득부(10)에게로 전송할 수 있다.
한편, 시나리오 생성부(10)는 사용자 입력 수신부(1)를 통해 사용자 단말(100)로부터의 시나리오 조회 요청을 수신하게 되면 그동안 사용자 단말(100)로부터 전송받은 시나리오 조건으로 생성한 시나리오(세부 정보 포함)를 해당 사용자 단말(100)에게로 보낼 수 있다. 그에 따라, 사용자는 시나리오를 확인할 수 있다. 만약, 도 3에서와 같이 사용자가 삭제를 희망하는 시나리오를 선택하였다면 시나리오 생성부(10)는 해당 시나리오를 삭제할 수 있다. 또한, 사용자 단말(100)로부터 시나리오 조건의 추가가 이루어진다면 시나리오 생성부(10)는 해당 시나리오 조건을 근거로 생성된 시나리오를 추가시킬 수도 있다.
필요에 따라, 사용자 단말(100)은 시나리오를 설명하는 그림을 시나리오 정보에 추가하여 업로드할 수 있으므로, 시나리오 생성부(10)는 생성한 시나리오별로 시나리오 설명용 그림을 추가하여 관리할 수 있다.
데이터 획득부(20)는 시나리오 생성부(10)로부터의 시나리오에 상응하는 자율주행 차량의 주행정보(즉, 자율주행 정보)를 획득할 수 있다. 이때, 데이터 획득부(20)는 자율주행차량에 설치된 카메라, 라이다(LiDAR), 레이더(RADAR), GPS, IMU 등의 센서를 통해 자율주행 정보를 획득할 수 있다.
예를 들어, 데이터 획득부(20)는 카메라, 라이다, 레이더 등의 다중 센서가 부착된 자율주행차량의 센서 데이터 로깅 시스템을 통해 자율주행 정보를 획득할 수 있다.
데이터 획득부(20)는 국내의 다양한 주행상황(고속도로, 주차구역, 일반 도로)의 실제 도로 데이터를 획득할 수 있다. 라이다는 측정 범위가 대략 120m 이상이고 VFOV는 +16.6°~ -16.6°일 수 있다. 레이더는 측정 범위가 대략 160m 정도이고 FOV는 90°이상일 수 있다. 카메라는 해상도가 대략 1928Hx1208V이고 HFOV는 대략 120°이고 Optical format은 대략 1/2.7”이고 출력은 대략 30 FPS일 수 있다.
바람직하게, 데이터 획득부(20)는 자율주행 상황 인지 소프트웨어 평가에 도움이 되는 주행정보 데이터를 획득하는 것이 좋다. 예를 들어, 복잡한 주행 환경 또는 사람이 접하기 어려운 환경 또는 교통사고가 많이 발생하는 환경이 설정된 시나리오이더라도 데이터 획득부(20)는 해당 시나리오의 자율주행 정보 데이터를 획득하는 것이 바람직하다.
여기서, 데이터 획득부(20)는 교통사고 가능성이 높은 상황은 안전요원과 도로통제가 이루어진 상황에서의 데이터를 획득함이 바람직하다. 만약, 도로통제가 불가능한 상황이면 실제 도로 상황과 유사한 PG(Proving Ground)에서의 데이터를 획득해야 할 것이다. 가급적, 데이터 획득부(20)는 다중 센서 시간 동기화를 거친 데이터를 획득함이 바람직하고, 캘리브레이션된 라이다 데이터 및 카메라 데이터를 획득함이 바람직하다.
또한, 데이터 획득부(20)는 도 4에 예시한 바와 같이 표 및 그래프 등을 통해 연도별 시나리오 획득 개수, 미획득 개수, 총 용량, 총 녹화시간, 총 프레임 수 등의 획득 현황을 생성할 수 있다.
데이터 획득부(20)는 생성한 획득 현황을 사용자 단말(100)에게로 보낼 수 있다. 만약, 사용자가 보다 구체적인 현황을 확인하기 위해 각 연도의 획득 개수 또는 미획득 개수 등을 클릭하면 데이터 획득부(20)는 그에 상응하는 시나리오 획득 현황을 전송할 수 있다. 도 5에는 사용자가 1차 연도 획득 개수를 클릭한 경우의 구체적인 현황을 예시하였다. 사용자가 1차 연도 획득 개수인 "11"을 클릭하면 11개의 획득 데이터가 디스플레이되어야 하는데, 도 5에는 10개만을 예시하였다.
데이터 획득부(20)는 획득한 시나리오별 자율주행 정보를 ROS Bag 파일로 변환하고, 변환된 ROS Bag 파일을 가공부(30)에게로 전송할 수 있다. 이때, 데이터 획득부(20)는 ROS Bag 파일의 전송 진행 정도(progress)를 나타내는 화면을 생성하여 사용자 단말(100)에게로 보낼 수 있다.
여기서, 전송되는 ROS Bag 파일의 파일명은 해당 시나리오의 고유 식별 정보(ID)와 동일할 수 있다. 그리고, 파일명의 시나리오 ID는 도로종류_서비스/어플리케이션_유즈케이스_시나리오.bag(예컨대, AVP_A1_UC1_S1.bag)으로 구성될 수 있다. 예를 들어, 데이터 획득부(20)는 ROS Bag 파일에 대한 정보를 CSV파일의 포맷에 따라 가공부(30)에게로 전송할 수 있다.
필요에 따라, 데이터 획득부(20)는 ROS Bag에서 변환된 원본 데이터를 ZIP 파일을 통해 가공부(30)에게로 보낼 수 있다. 이때, 데이터 획득부(20)는 원본 데이터의 전송 진행 정도(progress)를 나타내는 화면을 생성하여 사용자 단말(100)에게로 보낼 수 있다.
한편, 데이터 획득부(20)는 사용자 입력 수신부(1)를 통해 사용자 단말(100)로부터의 시나리오 다시 추출하기 요청을 수신함에 따라 그에 상응하는 일련의 동작을 수행할 수 있다. 예를 들어, 도 6에 예시한 바와 같이 사용자가 시나리오 다시 추출하기 버튼을 통해 희망하는 시나리오를 선택하면 데이터 획득부(20)는 해당 시나리오의 세부 정보, ROS Bag 파일 정보, 데이터, 및 차량 정보 등을 사용자 단말(100)에게로 보내어 확인할 수 있게 한다. 도 6에서, ROS Visualization 실행하기를 통해 시나리오 데이터를 확인할 수 있고, Data에서 획득 데이터 파일을 다운로드할 수 있고, 차량 정보를 통해 차량 정보 및 센서 특성을 확인할 수 있다.
도 2에서, 가공부(30)는 데이터 획득부(20)에서 획득한 시나리오별 자율주행 정보를 인공지능(AI) 또는 머신러닝을 통해 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공한다.
이를 위해, 가공부(30)는 데이터 가공 프로그램에서 소정의 가공 유형으로 시나리오별 자율주행 정보를 가공할 수 있다. 예를 들어, 데이터 가공 프로그램은 Smartworks사의 데이터 가공 프로그램 및 Deepen사의 데이터 가공 프로그램이 있을 수 있다. 데이터 가공 프로그램에서의 가공 유형은 2D 바운딩 박스(2D Bounding Box), 2D 시맨틱 세그멘테이션(2D Semantic Segmentation), 3D 바운딩 박스(3D Bounding Box) 중에서 하나 이상일 수 있다.
2D 바운딩 박스는 이미지 평면에서 원하는 객체 위에 2D 바운딩 박스를 그리는 라벨링 프로세스로서, 라벨링되는 객체로는 자동차, 버스, 보행자, 자전거 운전자, 동물, 낙하물, 신호등 등이 있을 수 있다. 2D 바운딩 박스는 길이 및 높이 치수의 객체의 윤곽선에 최대한 가깝게 그려진다.
2D 시맨틱 세그멘테이션은 이미지 평면에서 원하는 객체/클래스 위에 폴리곤을 그리는 라벨링 프로세스로서, 라벨링되는 객체/클래스로는 하늘, 초목, 도로, 차선, 자동차, 버스, 보행자, 자전거, 주차구역 등이 있을 수 있다. 폴리곤은 객체/클래스의 윤곽선에 최대한 가깝게 그려진다.
3D 바운딩 박스는 라이다(LiDAR)의 포인트클라우드(pointcloud)의 원하는 객체 위에 3D 바운딩 박스를 그리는 라벨링 프로세스로서, 라벨링되는 객체로는 자동차, 버스, 보행자, 자전거 운전자 등이 있을 수 있다. 3D 바운딩 박스는 길이, 폭 및 높이 치수의 물체 윤곽에 최대한 가깝게 그려진다.
이와 같이 가공부(30)는 데이터 가공 프로그램 및 가공 유형을 통해 시나리오별 자율주행 정보를 가공하게 되면 평가부(40)에서 필요로 하는 학습 및 평가 데이터 세트를 생성하게 된다. 여기서, 학습 및 평가 데이터 세트는 데이터(객체) 속성을 포함할 수 있다.
가공부(30)는 가공완료된 데이터 세트에 대한 Json 포맷의 파일을 생성하여 평가부(40)에게로 전송할 수 있다. 예를 들어, Json 포맷은 "TTAK.KO-11.0262 자율주행 인지 소프트웨어 평가를 위한 객체 속성 정의"를 통해 정의한 것으로서, Json 파일은 시나리오 당 하나의 파일로 구성되고, Json 포맷 내부 구성은 물체 단위로 구성할 수 있다. Json 포맷의 형식은 "detection_type"에 따라 2D 바운딩 박스, 2D 시맨틱 세그멘테이션, 3D 바운딩 박스가 추출될 수 있다.
부수적으로, 가공부(30)는 평가부(40)에서의 자율주행 상황 인지 소프트웨어 평가를 위한 정답지(즉, Json 포맷의 정답지)를 만들어 둘 수 있다.
물론, 가공부(30)는 데이터 가공 작업 진행 현황을 생성하여 사용자 단말(100)에게로 보낼 수 있다. 여기서, 데이터 가공 작업 진행 현황은 도 7에 예시한 바와 같이 Smartworks사의 데이터 가공 프로그램 및 Deepen사의 데이터 가공 프로그램에서 2D Bounding Box, 2D Semantic Segmentation, 3D Bounding Box의 데이터 가공 작업 진행 현황으로 나타날 수 있다.
가공부(30)는 사용자 입력 수신부(1)를 통해 사용자 단말(100)로부터의 가공된 시나리오의 조회 요청을 수신하게 되면 그동안 가공하였던 시나리오(세부 정보 포함)를 해당 사용자 단말(100)에게로 보낼 수 있다.
한편, 상술한 가공된 시나리오의 조회와는 다르게 좀더 세부적인 사항을 확인하고 싶을 경우가 있다. 즉, 가공부(30)는 사용자 입력 수신부(1)를 통해 사용자 단말(100)로부터의 시나리오 다시 추출하기 요청을 수신함에 따라 소정의 선택이 가능한 화면(도시 생략)을 제공할 수 있다. 예를 들어, 사용자가 화면(도시 생략)상의 시나리오 다시 추출하기 버튼을 통해 가공완료된 희망하는 시나리오를 선택하면 가공부(30)는 해당 시나리오의 시나리오 소스 정보, ROS Bag 파일 정보, 데이터, 및 차량 정보 등을 사용자 단말(100)에게로 보내어 확인할 수 있게 한다. 화면(도시 생략)상의 ROS Visualization 실행하기를 통해 시나리오 데이터를 확인할 수 있고, 화면(도시 생략)상의 Data에서 Json 파일을 다운로드할 수 있고, 화면(도시 생략)상의 차량 정보를 통해 차량 정보 및 센서 특성을 확인할 수 있다.
도 2에서, 평가부(40)는 가공부(30)에서 가공완료된 데이터 세트를 근거로 자율주행 상황 인지 소프트웨어(객체 검출 알고리즘이라고도 할 수 있음)를 실행시켜 상기 자율주행 상황 인지 소프트웨어(객체 검출 알고리즘이라고도 할 수 있음)의 성능(품질)을 평가할 수 있다. 여기서, 성능 평가 대상이 되는 자율주행 상황 인지 소프트웨어로는 YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector), R-FCN(Region-based Fully Convolutional Network), CRF(Cntiona Random Field) 등이 있을 수 있다. 그에 따라, 평가부(40)는 가공부(30)에서 가공완료된 데이터 세트(Json 파일)를 근거로 각각의 자율주행 상황 인지 소프트웨어의 성능을 평가할 수 있다.
평가부(40)에서의 평가방법은 하기와 같을 수 있다. 선정된 유스케이스별 영상을 실도로에서 취득하고 이를 데이터베이스화하여 표준 데이터 값인 GT(Ground Truth; 실제상황)를 확보한다. 시험대상장비는 유스케이스별 영상을 주입받은 후 도출된 객체 인지 경과값을 JSON 파일 포맷으로 출력한다. 이 결과물을 인지소프트웨어 검증플랫폼에 입력하여 실제 영상 정보의 표준데이터 값인 GT와 비교하여 품질평가를 수행한다.
한편, 평가부(40)의 평가를 위한 시험조건으로 하기와 같은 내용을 충족하는 것이 바람직하다. 시험 장소는 평탄하고 건조하며 깨끗한 아스팔트나 콘크리트 표면이어야 하고, 온도 범위는 대략 5℃ ~ 30℃ 사이에 있어야 하고, 풍속은 대략 5.4m/s(wind force 3) 미만이어야 하고, 수평 시정 범위는 대략 1km 이상이어야 한다. 자율주행 상황 인지 소프트웨어(알고리즘)의 품질을 평가하기 위하여 각 도로 환경(고속도로, 주차장, 일반도로)의 유스케이스에 해당하는 영상을 최대한 보유하여야 하고, 평가용 영상별 취득 당시 센서의 캘리브레이션 정보를 기록하고 보유하여야 하고, 평가용 영상은 각 일반카메라에 대해서는 대략 1920×1208의 해상도, AVM 카메라는 대략 1280×720의 해상도로 각 도로환경에 따라 소정의 FPS(Frame Per Second, 초당 프레임 수)를 제공해야 한다(고속도로의 경우 10FPS, 주차장의 경우 3FPS, 일반도로의 경우 10FPS).
또한, 평가부(40)의 평가를 위한 시험절차는 하기와 같을 수 있다.
1) 고속도로 유스케이스에 교통조건, 인프라조건, 도로타입, 차선타입을 적용하여 취득한 평가용 영상을 시험대상장비(자율주행 상황 인지 소프트웨어)에 주입한다.
2) 시험대상장비(자율주행 상황 인지 소프트웨어)를 구동시킨 후, 주입된 영상으로부터 인지한 객체 정보에 대해 JSON 파일로 출력한다.
3) 검증플랫폼에서 시험대상장비의 인지 결과물과 실제 영상 정보의 GT값을 비교한 평가 결과를 확인한다.
4) 2)에서 3)단계를 10회 정도 반복한다. 이때, 시험대상장비에서 소프트웨어 리세트를 수행하고 시험을 재수행해야 한다.
5) 10회 반복한 값의 결과값과 품질(성능) 평가 평균값을 평가표에 기록한다.
이와 같이, 평가부(40)는 평가용 영상에서 나타나는 모든 객체(예컨대, 30×30 pixel 이상 크기)에 대해 유형을 판별해 내는데, 품질(성능) 평가에 대해서는 소정의 평가지표를 참고하여 품질평가 점수를 기록한다.
여기서, 평가지표는 자율주행 상황 인지 소프트웨어(즉, 알고리즘)의 성능평가에 사용되는 지표가 될 수 있는데, 예를 들어 mAP(Mean Average Precision), 2D TTC(Time to Collision)를 사용할 수 있다. 따라서, 평가부(40)는 mAP 평가지표에 의한 평가 및 2D TTC 평가지표에 의한 평가 중에서 어느 하나를 선택하여 수행할 수 있다. 예를 들어, 평가부(40)는 사용자 단말(100)에서 mAP 모드를 선택하였을 경우에는 mAP 평가지표에 의한 평가를 수행하고, 사용자 단말(100)에서 2D TTC 모드를 선택하였을 경우에는 2D TTC 평가지표에 의한 평가를 수행할 수 있다.
물론, 필요에 따라, 모드 선택없이 평가부(40)는 mAP 평가지표에 의한 평가 및 2D TTC 평가지표에 의한 평가를 모두 수행하여 그 결과를 사용자 단말(100)에게로 전송할 수 있다.
상술한 mAP(Mean Average Precision)의 경우, 객체 검출 정확도는 평가용 영상으로부터 취득하여 작성 및 확정한 인지 결과의 GT(Ground Truth)값 및 시험대상장비(즉, 자율주행 상황 인지 소프트웨어)가 예측한 결과(Prediction)값 사이의 객체 유형 및 바운딩 박스 등의 객체 영역 비교를 통해 이루어진다.
객체 유형은 예를 들어 TTAK.KO-11.0262 "자율주행 인지 소프트웨어 평가를 위한 객체 속성 정의" 표준에서 분류한 객체 유형으로 정확히 검출하는지 확인할 수 있다. 객체 검출은 각 객체에 바운딩 박스(Bounding Box)를 설정하고 IoU(Intersection over Union)를 계산한다. IoU는 GT(Ground Truth)가 가지고 있는 객체 영역과 검출한 객체 영역의 "교집합/합집합"의 값이 되는데, 영역이 100% 일치하게 되면 "1"값을 가진다. 예를 들어, IoU가 0.5를 넘으면 정인식으로 인정할 수 있으므로, 본 발명의 실시예에서는 정인식의 기준을 IoU가 0.5 이상이면서 객체 유형 분류가 일치하였을 때로 정한다. 미인식은 IoU가 0.5미만이거나 객체 유형 분류가 일치하지 않을 때로 정할 수 있고, 오인식은 GT상에 존재하지 않은 객체를 검출하였을 때로 정할 수 있다.
한편, 상술한 2D TTC의 경우, 객체 인지 품질평가 점수는 객체 정확도 추정 및 중요도 점수에 TTC 가중치를 적용하여 점수를 산정할 수 있다. 객체 인지 품질평가 점수는 한 개의 프레임에 나타나는 각 객체별 점수를 의미하며, 종합적인 품질평가를 위해서는 유스케이스별 영상의 프레임별 모든 객체를 계산하여 점수를 산출하여야 한다. 식으로 표현하면, "객체인지 품질(성능)평가 점수 = (객체 정확도 추정) × (객체 유형별 중요도 점수) × (TTC 가중치)"이 된다.
상술한 객체 유형별 중요도 점수는 경찰정 정보를 참고하여 산정하였다. 즉, 2009년부터 2016년까지의 경찰청 교통사고 현황 통계를 조사한 결과 교통사고 사망자 중 40% 가량은 보행 중 교통사고를 당한 것으로 조사되었다. 추가적으로, 사고 유형별 통계를 참조하면 2018년 기준으로 차량 대 사람의 교통사고 건수 45,248건 중 1,443명의 사망자, 차량 대 차량의 교통사고 159,482건 사고 중 1,503명의 사망자가 발생한 것으로 조사되었다. 이는 보행자와 차량간의 교통사고 발생시의 보행자 사망률이 차량간의 교통사고 발생시의 보행자 사망률 보다 더 높다는 것을 나타내므로, 충돌 시 차량보다 보행자의 중요도 점수를 높게 산정해야 함을 의미하였다. 이를 통해 객체 유형에서 보행자의 중요도를 가장 높게 산정하였으며, 나머지 차량, 동물 및 차선 등에 대한 중요도를 산정하였다.
TTC(Time to Collision)란 차량 간 충돌까지의 남은 시간을 의미한다. 일반적으로 TTC는 상대 거리를 상대 속도로 나눈 값이다. Euro NCAP의 AEB(Autonomous Emergency Braking) Test Protocol에서는 차량이 전방 객체를 인지하고 1.6초 이내에 운전자에게 알림 경고와 자동제동 기능이 동작해야 한다고 규정하고 있다.
따라서, 인지 대상 객체와의 TTC가 1.6초 미만인 경우 위험 상황으로 가정하고 이 경우에는 상술한 TTC 가중치를 "30"으로 규정할 수 있다. TTC가 1.6 ~ 3.6이면 TTC 가중치를 "5"로 규정할 수 있고, TTC가 3.6 ~ 6.0이면 TTC 가중치를 "2"로 규정할 수 있다. TTC가 6초를 넘는 경우에는 자율주행 상황에서 충돌 가능성이 낮은 것으로 가정하고 이 경우에는 TTC 가중치를 "1"로 규정할 수 잇고, TTC가 0 이하인 경우는 충돌된 상황으로 추가적인 TTC 가중치를 규정하지 않는다.
물론, 상술한 설명에서는 TTC 가중치를 표준화된 값(즉, TTC에 따라 고정된 값)으로 하였으나, 바람직하게 본 발명의 실시예에서는 TTC 가중치를 TTC에 따라 고정된 것이 아니라 조절(변화)되는 것으로 한다. 여기서, TTC 가중치의 조절은 사용자(개발자 또는 관리자)의 키입력에 의해 가능하다. 평가부(40)는 조절된 TTC 가중치를 반영한 2D TTC 모드의 평가를 수행할 수 있다.
결국, 평가부(40)는 mAP 모드가 선택되면 mAP 평가지표를 활용하여 자율주행 상황 인지 소프트웨어에 대한 성능 평가를 수행할 수 있다. 이러한 경우, 평가부(40)는 평가 결과를 활용기관에게로 제공하여 인지 알고리즘의 성능 개선 및 연구용으로 활용하게 한다.
한편, 평가부(40)는 2D TTC 모드가 선택되면 2D TTC 평가지표를 활용하여 자율주행 인지 소프트웨어에 대한 성능 평가를 수행할 수 있다. 이때, 표준화된 TTC 가중치를 활용한 경우에는 평가부(40)는 평가 결과를 인증기관에게로 제공하고, 변화되는 TTC 가중치를 활용한 경우에는 평가부(40)는 평가 결과를 활용기관에게로 제공한다.
평가부(40)는 자율주행 상황 인지 소프트웨어의 평가를 통한 결과를 보고서 형태(도 8 참조)로 사용자 단말(100) 또는 인증기관, 활용기관에게로 제공할 수 있다.
또한, 평가부(40)는 시나리오별 평가 프로그램 결과를 누적하여 사용자 단말(100) 또는 인증기관, 활용기관에게로 보내줄 수 있다. 그에 따라, 사용자 단말(100)은 도 9에서와 같은 히스토리 화면을 통해 사용자 알고리즘의 성능 및 학습 효과를 시각적으로 확인가능하다.
물론, 도 9에서는 히스토리를 표로 표시하였으나, 도 10과 같은 그래프로도 표시할 수 있다. 도 10에서 해당 차수를 클릭하게 되면 각 객체에 대한 결과 그래프가 도 11에서와 같이 표시될 수 있다.
도 2에서, 제어부(50)는 인지 알고리즘 평가 서비스 장치(200)의 전체적인 동작을 제어한다.
도 12는 본 발명의 실시예에 따른 자율주행 상황 인지 알고리즘 평가 서비스 방법을 설명하기 위한 플로우차트이다.
먼저, 사용자 단말(100)이 시나리오 생성에 필요한 소스(source)가 되는 시나리오 조건을 설정하여 네트워크를 통해 인지 알고리즘 평가 서비스 장치(200)에게로 업로드한다. 여기서, 시나리오 조건은 차로 및 차간 유지주행, 차로변경, 차량 앞지르기, 차로합류, 및 차로 분기의 종류로 나누어질 수 있고, 각각의 종류별로 하나 이상의 유스케이스(usecase)를 포함할 수 있다. 각각의 종류별 유스케이스(usecase)는 상세 조건이 설정될 수 있다.
그에 따라, 인지 알고리즘 평가 서비스 장치(200)의 시나리오 생성부(10)는 입력받은 시나리오 조건을 근거로 하나 이상의 시나리오를 생성한다(S10). 예를 들어, 시나리오는 주행 타입(drive type), 차량 타입(vehicle type), 서비스(service), 유스케이스(usecase), 교통 조건(traffic condition), 인프라 조건(infra condition), 및 도로 타입(road type) 등에 대한 세부 정보를 포함할 수 있다.
이후, 인지 알고리즘 평가 서비스 장치(200)의 데이터 획득부(20)는 시나리오 생성부(10)로부터의 시나리오에 상응하는 자율주행 정보 데이터를 획득한다(S20). 바람직하게, 데이터 획득부(20)는 자율주행 상황 인지 소프트웨어 평가에 도움이 되는 주행정보 데이터를 획득하는 것이 좋다. 예를 들어, 복잡한 주행 환경 또는 사람이 접하기 어려운 환경 또는 교통사고가 많이 발생하는 환경이 설정된 시나리오이더라도 해당 시나리오의 주행정보 데이터를 획득하는 것이 바람직하다.
이어, 인지 알고리즘 평가 서비스 장치(200)의 가공부(30)는 데이터 획득부(20)에서 획득한 시나리오별 자율주행 정보 데이터를 인공지능(AI) 또는 머신러닝을 통해 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공한다(S30). 이를 위해, 가공부(30)는 데이터 가공 프로그램에서 소정의 가공 유형으로 시나리오별 주행정보 데이터를 가공할 수 있다. 예를 들어, 데이터 가공 프로그램은 Smartworks사의 데이터 가공 프로그램 및 Deepen사의 데이터 가공 프로그램이 있을 수 있다. 소정의 가공 유형은 2D 바운딩 박스(2D Bounding Box), 2D 시맨틱 세그멘테이션(2D Semantic Segmentation), 3D 바운딩 박스(3D Bounding Box) 중에서 하나 이상일 수 있다.
그리고 나서, 인지 알고리즘 평가 서비스 장치(200)의 평가부(40)는 가공부(30)에서 가공완료된 데이터 세트를 근거로 자율주행 상황 인지 소프트웨어(즉, 알고리즘)의 성능을 평가한다(S40). 이때, 평가부(40)는 mAP 평가지표에 의한 평가 및 2D TTC 평가지표에 의한 평가 중에서 어느 하나를 선택하여 수행할 수 있다. 예를 들어, 평가부(40)는 소정의 인증기관을 위한 평가를 수행하는 경우에는 2D TTC를 활용하되, 표준화된 가중치를 활용하여 수행할 수 있다. 평가부(40)는 소정의 활용기관을 위한 평가를 수행하는 경우에는 mAP를 활용하여 수행하거나 2D TTC의 가중치 변화를 활용하여 수행할 수 있다.
평가부(40)에서의 평가가 완료된 이후에는, 평가부(40)는 자율주행 상황 인지 소프트웨어의 평가를 통한 결과를 보고서 형태(도 8 참조)로 사용자 단말(100)에게로 제공한다.
또한, 상술한 본 발명의 자율주행 상황 인지 알고리즘 평가 서비스 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1 : 사용자 입력 수신부 10 : 시나리오 생성부
20 : 데이터 획득부 30 : 가공부
40 : 평가부 50 : 제어부
100 : 사용자 단말 200 : 인지 알고리즘 평가 서비스 장치

Claims (12)

  1. 입력받은 시나리오 조건을 근거로 시나리오를 생성하는 시나리오 생성부;
    상기 시나리오를 근거로 자율주행 정보를 획득하는 데이터 획득부;
    상기 시나리오의 자율주행 정보를 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공하는 가공부; 및
    상기 가공된 데이터를 근거로 자율주행 상황 인지 소프트웨어의 성능을 평가하는 평가부;를 포함하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  2. 제 1항에 있어서,
    상기 시나리오는,
    주행 타입(drive type), 차량 타입(vehicle type), 서비스(service), 유스케이스(usecase), 교통 조건(traffic condition), 인프라 조건(infra condition), 및 도로 타입(road type) 중에서 하나 이상에 대한 세부 정보를 포함하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  3. 제 1항에 있어서,
    상기 데이터 획득부는,
    상기 시나리오의 자율주행 정보의 획득 현황을 출력하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  4. 제 1항에 있어서,
    상기 가공부는,
    상기 시나리오의 자율주행 정보를 일정한 가공 유형에 따라 가공하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  5. 제 4항에 있어서,
    상기 가공 유형은,
    2D 바운딩 박스(2D Bounding Box), 2D 시맨틱 세그멘테이션(2D Semantic Segmentation), 3D 바운딩 박스(3D Bounding Box) 중에서 하나 이상인,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  6. 제 1항에 있어서,
    상기 가공부는,
    데이터 가공 작업 진행 현황을 출력하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  7. 제 1항에 있어서,
    상기 평가부는,
    상기 자율주행 상황 인지 소프트웨어의 성능을 평가함에 있어서 제 1 평가지표 및 제 2 평가지표 중에서 하나 이상을 활용하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  8. 제 7항에 있어서,
    상기 제 1 평가지표는 mAP(Mean Average Precision)이고,
    상기 제 2 평가지표는 2D TTC(Time to Collision)인,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  9. 제 8항에 있어서,
    상기 평가부는,
    mAP 모드가 선택되면 상기 mAP를 활용하여 자율주행 상황 인지 소프트웨어에 대한 성능 평가를 수행하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  10. 제 8항에 있어서,
    상기 평가부는,
    2D TTC 모드가 선택되면 상기 2D TTC를 활용하여 자율주행 인지 소프트웨어에 대한 성능 평가를 수행하되, 변화되는 TTC 가중치를 입력받아 상기 자율주행 인지 소프트웨어에 대한 성능 평가를 수행하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  11. 제 1항에 있어서,
    상기 평가부는,
    상기 자율주행 상황 인지 소프트웨어의 평가를 통한 결과를 보고서 형태로 출력하는,
    자율주행 상황 인지 알고리즘 평가 서비스 장치.
  12. 시나리오 생성부가, 입력받은 시나리오 조건을 근거로 시나리오를 생성하는 단계;
    데이터 획득부가, 상기 시나리오를 근거로 자율주행 정보를 획득하는 단계;
    가공부가, 상기 시나리오의 자율주행 정보를 자율주행 인지 소프트웨어 평가를 위한 데이터로 가공하는 단계; 및
    평가부가, 상기 가공된 데이터를 근거로 자율주행 상황 인지 소프트웨어의 성능을 평가하는 단계;를 포함하는,
    자율주행 상황 인지 알고리즘 평가 서비스 방법.
KR1020200121171A 2020-09-21 2020-09-21 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법 KR20220038857A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200121171A KR20220038857A (ko) 2020-09-21 2020-09-21 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200121171A KR20220038857A (ko) 2020-09-21 2020-09-21 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220038857A true KR20220038857A (ko) 2022-03-29

Family

ID=80997237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200121171A KR20220038857A (ko) 2020-09-21 2020-09-21 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220038857A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102558067B1 (ko) * 2022-11-30 2023-07-21 주식회사 리모프 움직이는 차량에서 메타버스 구현을 위한 3d 메타버스 컨텐츠 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070527B1 (ko) 2017-06-22 2020-01-28 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070527B1 (ko) 2017-06-22 2020-01-28 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102558067B1 (ko) * 2022-11-30 2023-07-21 주식회사 리모프 움직이는 차량에서 메타버스 구현을 위한 3d 메타버스 컨텐츠 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US10403138B2 (en) Traffic accident warning method and traffic accident warning apparatus
CN108417087B (zh) 一种车辆安全通行系统及方法
US11874119B2 (en) Traffic boundary mapping
KR102525227B1 (ko) 도로 정보 데이터를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7371157B2 (ja) 車両監視方法、装置、電子機器、記憶媒体、コンピュータプログラム、クラウド制御プラットフォームおよび車路連携システム
US10223910B2 (en) Method and apparatus for collecting traffic information from big data of outside image of vehicle
US9335178B2 (en) Method for using street level images to enhance automated driving mode for vehicle
US9460355B2 (en) Lateral sign placement determination
JP2022526805A (ja) 運転の早期警告方法、装置、電子機器およびコンピュータ記憶媒体
US20200309538A1 (en) System for producing and/or updating a digital model of a digital map
CN110716529A (zh) 一种自动驾驶测试用例自动生成方法和装置
CN113748316A (zh) 用于车辆遥测的系统和方法
US11096026B2 (en) Road network change detection and local propagation of detected change
Islam et al. Vision-based personal safety messages (PSMs) generation for connected vehicles
CN112598899A (zh) 一种数据处理方法和装置
US11961272B2 (en) Long range localization with surfel maps
US11209830B2 (en) Safety aware automated governance of vehicles
WO2022142870A1 (zh) 用于车联网的数据传输方法、装置、存储介质和系统
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
Broekman et al. Real-time traffic quantization using a mini edge artificial intelligence platform
KR20220038857A (ko) 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법
CN112532929A (zh) 路况信息确定方法及装置、服务器、存储介质
CN115817466A (zh) 一种碰撞风险评估方法及装置
US20220165151A1 (en) Traffic jam information providing device, traffic jam information processing method, and recording medium
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
E601 Decision to refuse application