KR102649368B1 - 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템 - Google Patents

가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템 Download PDF

Info

Publication number
KR102649368B1
KR102649368B1 KR1020220128912A KR20220128912A KR102649368B1 KR 102649368 B1 KR102649368 B1 KR 102649368B1 KR 1020220128912 A KR1020220128912 A KR 1020220128912A KR 20220128912 A KR20220128912 A KR 20220128912A KR 102649368 B1 KR102649368 B1 KR 102649368B1
Authority
KR
South Korea
Prior art keywords
vehicle
event
data
driving
virtual
Prior art date
Application number
KR1020220128912A
Other languages
English (en)
Inventor
강원율
성원우
Original Assignee
주식회사 자동차공학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 자동차공학연구소 filed Critical 주식회사 자동차공학연구소
Priority to KR1020220128912A priority Critical patent/KR102649368B1/ko
Application granted granted Critical
Publication of KR102649368B1 publication Critical patent/KR102649368B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 발명의 일 측면에 따른 자율주행자동차의 가상 공간에서의 가상 주행을 검증할 수 있도록 구성되는 가상 도로주행 공간에서 발생되는 가상 도로주행 사건의 설계 방법은, 데이터 수신부에 의해, 실제 도로를 주행한 제1 차량에 마련된 카메라가 획득한 블랙박스 영상 및 상기 블랙박스 영상에 대응되는 제1 차량 주행 데이터 및 상기 제1 차량의 주행 중에 발생된 사건에 관련된 제1 차량 사건 데이터를 수신하는 단계; 및 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 주행 데이터 및 상기 제1 차량 사건 데이터를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.

Description

가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템{DESIGN METHOD OF VIRTUAL ROAD DRIVING SCENARIO AND DESIGN SYSTEM OF VIRTUAL ROAD DRIVING SCENARIO}
본 발명은 자율주행자동차의 가상 도로주행의 검증에 이용되는 가상의 시나리오를 생성할 수 있는 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템에 관한 것이다.
자율주행자동차를 출시하기 위해서는 반드시 자율주행자동차에 닥칠 수 있는 여러 교통상황에서도 자율주행자동차가 올바르게 주행할 수 있다는 검증이 수행되어야 한다. 이러한 검증은 대표적으로 실차검증 및 가상검증으로 분류된다. 이 중 가상검증을 하기위해서는 실제도로를 기반으로 하는 가상의 도로가 필요하며, 이러한 가상의 도로에서의 신호등 점등, 타 차량들의 차선변경 및 변속 등의 사건을 정의할 수 있는 가상의 시나리오가 필요하다. 또한 이러한 가상의 도로와 가상의 시나리오들로 검증된 케이스(case)들이 누적될수록 가상검증의 유효성이 증가한다.
국내외 자율주행차 가상검증을 위한 가상의 도로와 시나리오를 정의한 대표적인 통합표준으로는 ASAM의 오픈드라이브(OpenDRIVE)와 오픈시나리오(OpenSCENARIO) 플랫폼이 존재한다. 종래에는 이러한 가상의 표준도로와 가상의 표준시나리오를 생성할 때 개발자의 수작업으로 진행했다. 그러나 검증을 위해 생성해야 하는 가상의 도로와 시나리오가 많아지면 많아질수록 수작업은 생산성이 떨어지며 가상검증에 대한 일정이 연기될 수 있다는 문제가 있다.
본 발명은 블랙박스 차량이 실제로 주행한 결과를 이용하여 자율주행자동차의 가상 주행을 검증할 수 있도록 구성되는 가상 도로주행 사건을 설계할 수 있는 가상 도로주행 사건의 설계 방법을 제공하기 위한 것이다.
또한, 본 발명은 생성된 가상 도로주행 사건의 데이터를 사용자의 수작업 없이 가상 주행을 검증하는 프로세서에 입력 가능하도록 자동으로 데이터 형식을 변환시킬 수 있는 가상 도로주행 사건의 설계 방법을 제공하기 위한 것이다.
또한, 본 발명은 실제 차량들에 발생된 사건들이 반영되어 실제 도로에서 발생되는 사건과 유사한 가상 사건이 발생되는 가상 도로주행 공간을 생성할 수 있는 가상 도로주행 사건의 설계 방법을 제공하기 위한 것이다.
개시된 발명의 일 측면에 따른 자율주행자동차의 가상 공간에서의 가상 주행을 검증할 수 있도록 구성되는 가상 도로주행 공간에서 발생되는 가상 도로주행 사건의 설계 방법은, 데이터 수신부에 의해, 실제 도로를 주행한 제1 차량에 마련된 카메라가 획득한 블랙박스 영상 및 상기 블랙박스 영상에 대응되는 제1 차량 주행 데이터 및 상기 제1 차량의 주행 중에 발생된 사건에 관련된 제1 차량 사건 데이터를 수신하는 단계; 및 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 주행 데이터 및 상기 제1 차량 사건 데이터를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 상기 데이터 수신부에 의해, 실제 도로를 주행하면서 상기 카메라에 촬영된 제2 차량의 제2 차량 주행 데이터 및 상기 제2 차량의 주행 중에 발생된 사건에 관련된 제2 차량 사건 데이터를 수신하는 단계; 및 위치정보 추출부에 의해, 상기 제1 차량 주행 데이터 및 상기 제2 차량 주행 데이터로부터 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제1 차량의 제1 차량 위치정보 및 상기 제2 차량의 제2 차량 위치정보를 추출하는 단계를 더 포함할 수 있다.
또한, 상기 가상 도로주행 사건을 생성하는 단계는, 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 위치정보, 상기 제2 차량 위치정보, 상기 제1 차량 사건 데이터 및 상기 제2 차량 사건 데이터를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 가상 도로주행 공간 생성부에 의해, 상기 제1 차량 위치정보 및 상기 블랙박스 영상을 기초로 상기 가상 도로주행 공간을 생성하는 단계를 포함할 수 있다.
또한, 상기 데이터 수신부에 포함된 컨버터에 의해, 상기 제1 차량 주행 데이터, 상기 제2 차량 주행 데이터, 상기 제1 차량 사건 데이터 및 상기 제2 차량 사건 데이터의 데이터 형식을 상기 제1 차량 위치정보 및 상기 제2 차량 위치정보를 추출하고 상기 가상 도로주행 사건을 생성하는데 필요한 데이터 형식으로 변환하는 단계; 및 상기 가상 도로주행 사건 생성부에 의해, 상기 생성된 가상 도로주행 사건의 데이터를 상기 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력하는 단계를 더 포함할 수 있다.
또한, 사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제1 차량에 발생된 제1 차량 사건의 종류를 결정하는 단계를 더 포함하고, 상기 가상 도로주행 사건을 생성하는 단계는, 상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 사건의 종류를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로, 상기 제2 차량에 발생된 제2 차량 사건이 상기 블랙박스 영상의 프레임들 중 적어도 하나에 상기 제2 차량이 나타나는 동안 발생된 사건인지 여부를 판단하는 단계; 및 상기 제2 차량 사건이 상기 블랙박스 영상에 상기 제2 차량이 나타나는 동안 발생된 사건이면, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제2 차량에 발생된 제2 차량 사건의 종류를 결정하는 단계를 더 포함하고, 상기 가상 도로주행 사건을 생성하는 단계는, 상기 가상 도로주행 사건 생성부에 의해, 상기 제2 차량 사건의 종류를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 상기 제1 차량 사건의 종류를 결정하는 단계는, 상기 사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제1 차량에 발생된 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건인지 여부를 판단하는 단계를 포함하고, 상기 제2 차량 사건의 종류를 결정하는 단계는, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제2 차량에 발생된 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건인지 여부를 판단하는 단계를 포함하고, 상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제1 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장하는 단계; 및 상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제2 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장하는 단계를 더 포함할 수 있다.
또한, 상기 제1 차량 사건의 종류를 결정하는 단계는, 상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건으로 판단되지 않으면, 상기 사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제1 차량에 발생된 제1 차량 사건이 상기 제1 차량이 속도를 변경한 사건으로 판단하는 단계를 포함하고, 상기 제2 차량 사건의 종류를 결정하는 단계는, 상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건으로 판단되지 않으면, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제2 차량에 발생된 제2 차량 사건이 상기 제2 차량이 속도를 변경한 사건으로 판단하는 단계를 포함하고, 주행 속도 연산부에 의해, 상기 확인 대상 프레임에서의 상기 제1 차량 위치정보 및 상기 제2 차량 위치정보를 기초로 상기 확인 대상 프레임에서의 상기 제1 차량의 속도 및 상기 제2 차량의 속도를 연산하는 단계; 상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 속도를 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제1 차량 사건을 속도 변경 사건으로 정의하여 메모리에 저장하는 단계; 및 상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 속도를 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제2 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장하는 단계를 더 포함할 수 있다.
또한, 상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 주행 데이터 및 상기 제2 차량 주행 데이터로부터 상기 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제1 차량 객체 정보 및 상기 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제2 차량 객체 정보를 추출하는 단계를 더 포함하고, 상기 가상 도로주행 사건을 생성하는 단계는: 상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량의 객체 정보를 기초로, 상기 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제1 차량 객체가 상기 가상 공간에 포함되도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계; 및 상기 가상 도로주행 사건 생성부에 의해, 상기 제2 차량의 객체 정보를 기초로, 상기 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제2 차량 객체가 상기 가상 공간에 포함되도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 상기 가상 도로주행 사건 생성부에 의해, 상기 가상 제1 차량 객체의 데이터 및 상기 가상 제2 차량 객체의 데이터를 상기 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력하는 단계를 더 포함할 수 있다.
또한, 상기 위치정보 추출부에 의해, 상기 블랙박스 영상에서 상기 제2 차량이 최초로 등장하는 프레임에 대응되는 상기 제2 차량 위치정보를 기초로, 상기 제2 차량의 최초 출현 위치를 결정하는 단계를 더 포함하고, 상기 가상 도로주행 사건을 생성하는 단계는, 상기 가상 도로주행 사건 생성부에 의해, 가상 제2 차량 객체가 상기 최초 출현 위치에 대응되는 상기 가상 공간의 위치에서 출현하도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계를 포함할 수 있다.
또한, 주행 속도 연산부에 의해, 상기 제2 차량이 최초로 등장하는 프레임인 최초 출현 프레임에서의 상기 제2 차량 위치정보와 상기 최초 출현 프레임의 직후 프레임에서의 상기 제2 차량 위치정보를 기초로 상기 제2 차량의 초기 속도를 연산하는 단계를 더 포함할 수 있다.
또한, 상기 제2 차량의 초기 속도를 연산하는 단계는, 상기 주행 속도 연산부에 의해, 상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 이상인지 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 제2 차량의 초기 속도를 연산하는 단계는, 상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 이상이면, 상기 제2 차량 위치정보 및 상기 프레임 레이트의 값을 기초로 상기 제2 차량의 초기 속도를 연산하는 단계를 포함할 수 있다.
또한, 상기 제2 차량의 초기 속도를 연산하는 단계는, 상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 미만이면, 상기 제2 차량 위치정보 및 상기 제2 차량이 포함된 프레임들의 개수를 기초로 상기 제2 차량의 초기 속도를 연산하는 단계를 포함할 수 있다.
또한, 상기 제2 차량 사건 데이터는, 상기 제2 차량의 주행 중에 발생된 사건마다 대응되는 사건 발생 프레임 및 상기 제2 차량에 발생된 사건의 종류에 관한 데이터를 포함하고, 관련 사건 여부 판단부에 의해, 상기 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
또한, 상기 가상 도로주행 사건을 생성하는 단계는, 상기 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하면, 상기 위치정보 추출부에 의해, 상기 제2 차량 주행 데이터로부터 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제2 차량 위치정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하지 않으면, 상기 관련 사건 여부 판단부에 의해, 아직 판단을 하지 않은 다른 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
또한, 개시된 발명의 일 측면에 따른 컴퓨터 프로그램은, 상기 가상 도로주행 사건의 설계 방법을 실행시키도록 컴퓨터로 판독 가능한 비일시적 기록매체에 저장될 수 있다.
개시된 발명의 일 측면에 따르면, 블랙박스 차량이 실제로 주행한 결과를 이용하여 자율주행자동차의 가상 주행을 검증할 수 있도록 구성되는 가상 도로주행 사건을 설계할 수 있다.
또한, 본 발명의 실시예에 의하면, 생성된 가상 도로주행 사건의 데이터를 사용자의 수작업 없이 가상 주행을 검증하는 프로세서에 입력 가능하도록 자동으로 데이터 형식을 변환시킬 수 있다.
또한, 본 발명의 실시예에 의하면, 실제 차량들에 발생된 사건들이 반영되어 실제 도로에서 발생되는 사건과 유사한 가상 사건이 발생되는 가상 도로주행 공간을 생성할 수 있다.
도 1은 일 실시예에 따른 가상 도로주행 사건의 설계 시스템의 구성도이다.
도 2는 일 실시예에 따른 컨버터에 의해 데이터 형식이 변환되는 것을 도시한 도면이다.
도 3은 일 실시예에 따른 가상 도로주행 사건의 설계 방법의 전체적인 순서도이다.
도 4는 일 실시예에 따라 종류가 결정된 사건을 기초로 가상 도로주행 사건을 설계하는 방법의 순서도이다.
도 5는 일 실시예에 따라 어느 한 확인 대상 프레임에서의 사건의 종류를 결정하는 방법의 순서도이다.
도 6은 일 실시예에 따른 제2 차량의 출현 위치 및 초기 속도가 반영된 가상 도로주행 사건을 생성하는 방법의 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '~부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '~부'가 하나의 구성요소로 구현되거나, 하나의 '~부'가 복수의 구성요소들을 포함하는 것도 가능하다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. 이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 가상 도로주행 사건의 설계 시스템의 구성도이다.
도 1을 참조하면, 가상 도로주행 사건의 설계 시스템(100)은 데이터 수신부(110), 컨버터(111), 위치정보 추출부(120), 가상 도로주행 공간 생성부(130), 가상 도로주행 사건 생성부(140), 사건 종류 판단부(150), 주행 속도 연산부(160) 및 관련 사건 여부 판단부(170)를 포함할 수 있다.
가상 도로주행 사건의 설계 시스템(100)은 수신한 블랙박스 영상(200), 블랙박스 영상(200)에 관련된 주행 데이터(300) 및 사건 데이터(400)에 대한 연산을 수행하여 가상 도로주행 공간(500) 및 가상 도로주행 사건(600)을 생성하도록 구성되는 시스템일 수 있다.
가상 도로주행 공간(500)은 자율주행자동차의 가상 공간에서의 가상 주행을 검증할 수 있도록 구성되는 가상의 공간일 수 있다. 즉, 가상 도로주행 공간(500)은 자율주행 자동차에 대한 가상검증을 수행하기 위해서 실제도로를 기반으로 생성된 가상도로가 포함된 가상 공간일 수 있다.
구체적으로, 가상 도로주행 공간(500)은 가상 자율주행자동차가 주행할 수 있도록 구성되는 가상도로가 마련되는 공간일 수 있다. 이때, 가상도로는 실제로 제1 차량이 주행한 실제 도로의 차선 개수, 차선 폭, 갓길, 도로 마크 및 신호등 등이 반영되어 실제 도로와 유사하도록 생성된 가상의 도로일 수 있다.
가상 도로주행 공간(500)은 가상 현실 장치(Virtual Reality Device)를 이용하여 사용자에게 표시되는 VR(Virtual Reality) 공간일 수 있다. 하지만, 일 실시예에 따른 가상 도로주행 공간(500)이 반드시 VR 공간으로서 VR 환경에서만 제공되는 것으로 한정되는 것은 아니다. 예를 들어, 가상 도로주행 공간(500)은 종래의 2D 디스플레이를 통해 표시되는 3D 공간일 수도 있으며, 어떠한 디스플레이에 표시되지 않으면서 자율주행자동차의 가상 주행을 검증할 수 있는 가상의 공간일 수도 있다.
가상 도로주행 사건(600)은 가상 도로주행 공간(500)에서 발생되는 사건일 수 있다. 즉, 가상 도로주행 사건(600)은 자율주행자동차의 가상 공간에서의 가상 주행을 검증할 수 있도록 가상 공간에서 발생되는 사건일 수 있다. 가상 도로주행 사건(600)은 제1 차량이 실제 도로를 주행할 때 발생된 실제 사건을 기반으로 생성되는 가상 공간에서의 가상 사건일 수 있다.
가상 도로주행 사건(600)은 가상 도로주행 공간(500)에 포함되어 있는 가상의 시험대상 자율주행차량에 발생되는 사건일 수 있다. 또한, 가상 도로주행 사건(600)은 가상 도로주행 공간(500)에 포함된 가상의 타 차량에 발생되는 사건일 수도 있다. 물론, 가상 도로주행 사건(600)이 반드시 차량에 발생되는 사건으로 한정되는 것은 아니다. 예를 들어, 가상 도로주행 사건(600)은 가상의 보행자의 이동과 같은 사건일 수도 있고, 가상의 신호등의 신호 변환과 같은 사건일 수도 있다.
가상 도로주행 사건의 설계 시스템(100)이 생성한 가상 도로주행 공간(500)의 데이터 및 가상 도로주행 사건(600)의 데이터는 자율주행자동차의 가상 주행을 검증할 수 있도록 구성되는 프로세서에 전달될 수 있다. 이때, 프로세서는 가상 도로주행 공간(500)의 데이터 및 가상 도로주행 사건(600)의 데이터를 기초로 해당 가상 도로주행 공간(500)에서 가상 도로주행 사건(600)이 발생하는 환경에서의 자율주행자동차의 가상 주행을 검증할 수 있다.
가상 도로주행 사건의 설계 시스템(100)은 서버에 마련되고, 적어도 하나 이상의 단말들과 유무선의 통신이 가능할 수 있다. 단말은 가상 도로주행 사건의 설계 시스템(100)을 이용하여 자율주행자동차의 가상 주행을 검증해보고자 하는 사용자가 사용하는 단말일 수 있다.
한편, 일 실시예에 따른 가상 도로주행 사건의 설계 시스템(100)이 반드시 서버에 마련되는 방식으로 한정되는 것은 아니다. 예를 들어, 가상 도로주행 사건의 설계 시스템(100)은 단말에 직접 마련되어 가상 주행의 검증에 이용될 수 있다. 즉, 사용자가 단말을 통해 자율주행자동차의 주행을 미리 검증할 수만 있다면 가상 도로주행 사건의 설계 시스템(100)이 어떠한 단말이나 서버에 마련되고 어떠한 방식으로 구동되더라도 상관없다.
데이터 수신부(110)는 블랙박스 영상(200), 제1 차량 주행 데이터(301), 제2 차량 주행 데이터(302), 제1 차량 사건 데이터(401) 및 제2 차량 사건 데이터(402)를 수신할 수 있다. 이때, 데이터 수신부(110)는 서버의 메모리에 미리 저장되어 있거나 단말을 통해 입력된 블랙박스 영상(200) 및 주행 데이터(300)를 전달받는 방식으로 데이터들을 수신할 수 있다.
블랙박스 영상(200)은 실제 도로를 주행한 제1 차량에 마련된 카메라가 획득한 영상일 수 있다. 이때, 블랙박스 영상(200)은 실제 도로를 주행하다가 사고상황이 발생한 제1 차량의 사고상황이 촬영된 블랙박스 영상(200)일 수 있으나, 제1 차량이 반드시 사고가 발생된 차량이거나 블랙박스 영상(200)이 반드시 사고 발생 순간의 영상으로 한정되는 것은 아니다.
제2 차량은 카메라가 장착된 제1 차량이 블랙박스 영상(200)을 촬영하면서 실제 도로를 주행할 때 제1 차량의 주위에서 실제 도로에 있던 주변 차량일 수 있다. 제2 차량의 개수는 한정되어 있지 않다. 예를 들어, 제2 차량은 한 개일 수도 있고, 2개 이상의 제2 차량이 존재하는 것도 가능하며, 심지어 제2 차량이 아예 존재하지 않은 경우도 가능할 수 있다.
주행 데이터(300)는 블랙박스 영상(200)에 대응되는 데이터로서, 블랙박스 영상(200)을 기반으로 생성된 데이터일 수 있다. 주행 데이터(300)는 가상 도로주행 공간(500)을 생성하기 위한 문서포맷으로 정의된 데이터일 수 있다.
주행 데이터는 제1 차량 주행 데이터(301) 및 제2 차량 주행 데이터(302)를 포함할 수 있다. 제1 차량 주행 데이터(301)는 제1 차량의 실제 주행을 기반으로 생성되는 주행 데이터일 수 있다. 제2 차량 주행 데이터(302)는 제2 차량의 실제 주행을 기반으로 생성되는 주행 데이터일 수 있다.
사건 데이터(400)는 블랙박스 영상(200)에 대응되는 데이터로서 각 차량의 주행 중에 발생된 사건에 관련된 데이터를 포함할 수 있다.
즉, 사건 데이터는 각 차량이 실제 도로를 주행하는 과정에서 각 차량에 발생되는 사건의 데이터를 포함할 수 있다. 예를 들어, 사건 데이터는 실제 도로를 주행하는 차량의 차선 변경, 속도 변경 및 변속과 같은 사건의 데이터를 포함할 수 있다.
물론, 사건 데이터가 반드시 차량에 발생되는 사건의 데이터로 한정되는 것은 아니다. 사건 데이터는 실제 도로의 보행자나 신호등과 같은 주변 환경에 발생된 사건의 데이터를 포함할 수도 있다. 예를 들어, 사건 데이터는 실제의 보행자의 이동과 같은 사건의 데이터일 수도 있고, 실제의 신호등의 신호 변환과 같은 사건의 데이터일 수도 있다.
제1 차량 사건 데이터(401)는 제1 차량의 주행 중에 발생된 사건에 관한 데이터일 수 있다. 제2 차량 사건 데이터(402)는 제2 차량의 주행 중에 발생된 사건에 관한 데이터일 수 있다.
즉, 제1 차량 사건 데이터(401)는 블랙박스 영상(200)을 촬영중인 제1 차량에 발생된 사건의 데이터일 수 있다. 제2 차량 사건 데이터(402)는 제2 차량에 발생된 사건의 데이터일 수 있다.
어느 한 제1 차량의 주행 데이터(300)는 해당 제1 차량의 고유한 ID를 포함할 수 있다. 또한 어느 한 제1 차량의 주행 데이터(301)는 실제 주행에서 블랙박스 영상(200)의 1프레임(frame)마다 대응되는 제1 차량 위치정보를 포함할 수 있다. 제1 차량 위치정보는 제1 차량의 실제 주행시의 2차원 평면좌표 정보 및 3차원 공간좌표 정보(position x, y, z좌표)를 포함할 수 있다. 즉, 제1 차량 위치정보는 각 프레임에서의 제1 차량의 2차원 평면좌표 정보 및 3차원 공간좌표 정보를 포함할 수 있다.
어느 한 제2 차량 주행 데이터(302)는 해당 제2 차량의 고유한 ID를 포함할 수 있다. 또한 어느 한 제2 차량 주행 데이터(302)는 실제 주행에서 블랙박스 영상(200)의 1프레임(frame)마다 대응되는 제2 차량 위치정보를 포함할 수 있다. 제2 차량 위치정보는 제2 차량의 실제 주행시의 2차원 평면좌표 정보 및 3차원 공간좌표 정보(position x, y, z좌표)를 포함할 수 있다. 즉, 제2 차량 위치정보는 각 프레임에서의 제2 차량의 2차원 평면좌표 정보 및 3차원 공간좌표 정보를 포함할 수 있다.
데이터 수신부(110)는 블랙박스 영상(200), 제1 차량 주행 데이터(301), 제2 차량 주행 데이터(302), 제1 차량 사건 데이터(401) 및 제2 차량 사건 데이터(402)를 위치정보 추출부(120) 및 가상 도로주행 공간 생성부(130)로 전달할 수 있다.
위치정보 추출부(120)는 제1 차량 주행 데이터(301)로부터 블랙박스 영상(200)의 각 프레임마다 대응되는 제1 차량의 차량 위치정보를 추출할 수 있다.
위치정보 추출부(120)는 제2 차량 주행 데이터(302)로부터 블랙박스 영상(200)의 각 프레임마다 대응되는 제2 차량의 차량 위치정보를 추출할 수 있다.
위치정보 추출부(120)는 추출된 제1 차량 위치정보 및 제2 차량 위치정보를 가상 도로주행 공간 생성부(130), 가상 도로주행 사건 생성부(140), 사건 종류 판단부(150), 주행 속도 연산부(160) 및 관련 사건 여부 판단부(170)로 전달할 수 있다.
가상 도로주행 공간 생성부(130)는 제1 차량 위치정보 및 블랙박스 영상(200)을 기초로 가상 도로주행 공간(500)을 생성할 수 있다.
가상 도로주행 공간 생성부(130)는 실제 도로의 기울어진 정도, 실제 도로의 총 길이 및 제1 차량이 주행 중 회전한 각도가 반영된 실제 도로에 유사한 형태의 가상 도로가 포함되는 가상 도로주행 공간(500)을 생성할 수 있다.
가상 도로주행 공간 생성부(130)는 생성되는 가상 도로에 대해 미리 설정된 개수의 차선(lane), 미리 설정된 폭의 차선, 미리 설정된 갓길 및 미리 설정된 도로 마크(roadMark)가 가상 객체로서 포함된 가상 도로주행 공간(500)을 생성할 수 있다. 실제 도로의 차선 개수, 차선 폭, 갓길에 대한 정보 및 도로 마크에 대한 정보는 미리 메모리에 저장되어 있을 수 있다. 가상 도로주행 사건의 설계 시스템(100)은 제1 차량이 몇 차선의 어느 차선에서 주행하고 있는지 검증할 수 있다. 검증이 끝나면 가상 도로주행 사건의 설계 시스템(100)은 이를 OpenDRIVE laneOffset 규격으로 작성할 수 있다.
가상 도로주행 공간 생성부(130)는 생성된 가상 도로주행 공간(500)의 데이터를 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력할 수 있다. 즉, 가상 도로주행 공간 생성부(130)는 오픈드라이브(OpenDRIVE)의 포맷으로 가상 도로주행 공간(500)의 데이터를 출력할 수 있다.
가상 도로주행 사건 생성부(140)는 제1 차량 주행 데이터(301) 및 제1 차량 사건 데이터(401)를 기초로 가상 도로주행 사건(600)을 생성할 수 있다.
구체적으로, 가상 도로주행 사건 생성부(140)는 제1 차량 위치정보, 제2 차량 위치정보, 제1 차량 사건 데이터(401) 및 제2 차량 사건 데이터(402)를 기초로 가상 도로주행 사건(600)을 생성할 수 있다.
가상 도로주행 사건 생성부(140)는 생성된 가상 도로주행 사건(600)의 데이터를 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력할 수 있다. 즉, 가상 도로주행 사건 생성부(140)는 오픈시나리오(OpenSCENARIO)의 포맷으로 가상 도로주행 사건(600)의 데이터를 출력할 수 있다.
한편, 생성될 가상 도로주행 공간(500)에는 가상 객체가 배치될 수 있다. 이렇게 배치된 가상 객체는 가상 도로주행 사건(600)에 따라 가상 도로주행 공간(500)에서 이동할 수 있다. 가상 객체는 제1 차량이 주행했을 때 실제로 존재했던 제1 차량, 제2 차량 및 보행자 등과 같은 실제 객체를 기반으로 생성될 수 있는 가상의 객체일 수 있다.
제1 차량 객체 정보는 실제 제1 차량의 제원에 관련된 정보일 수 있다. 제2 차량 객체 정보는 실제 제2 차량의 제원에 관련된 정보일 수 있다.
가상 도로주행 사건 생성부(140)는 제1 차량 주행 데이터(301)로부터 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제1 차량 객체 정보를 추출할 수 있다.
가상 도로주행 사건 생성부(140)는 제1 차량의 객체 정보를 기초로, 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제1 차량 객체가 가상 공간에 포함되도록 구성되는 가상 도로주행 사건(600)을 생성할 수 있다.
가상 도로주행 사건 생성부(140)는 제2 차량 주행 데이터(302)로부터 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제2 차량 객체 정보를 추출할 수 있다.
가상 도로주행 사건 생성부(140)는 제2 차량의 객체 정보를 기초로, 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제2 차량 객체가 가상 공간에 포함되도록 구성되는 가상 도로주행 사건(600)을 생성할 수 있다.
구체적으로, 가상 도로주행 사건 생성부(140)는 제1 차량, 제2 차량 및 주변 객체(Object)들의 종류(category)를 고려하여 객체 정보들을 추출할 수 있다. 객체들의 종류는 차(car), 트럭(truck), 버스(bus), 오토바이(motorcycle), 자전거(bicycle) 및 사람(person)이 있을 수 있으나 이에 한정되는 것은 아니다.
가상 도로주행 사건 생성부(140)는 제1 차량 객체 및 제2 차량 객체와 같은 가상 객체의 종류가 결정되었다면 이어서 각 객체의 색상(color)과 모델 제원(Bounding Box, Axles, propertie 등)의 엔티티(Entities)를 작성할 수 있다.
가상 도로주행 사건 생성부(140)는 객체의 타입(type), 모델 제원, 색상에 대한 데이터로 객체의 속성을 모두 정의했다면, 해당 객체가 블랙박스 영상(200)에서 최초에 출현한 프레임 인덱스에서의 해당 객체의 위치(position)를 미리 설정된 규격(ASAM OpenSCENARIO)으로 작성할 수 있다. 해당 객체가 사람(person)인 경우, 사람에 대해 정의한 후 해당 사람의 초기위치 및 경로(trajectory)를 작성하고, 차량이라면 우선 초기위치만 작성할 수 있다.
이렇게 가상 도로주행 사건 생성부(140)는 가상 제1 차량 객체의 데이터 및 가상 제2 차량 객체의 데이터를 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력할 수 있다.
도 2는 일 실시예에 따른 컨버터에 의해 데이터 형식이 변환되는 것을 도시한 도면이다.
도 2를 참조하면, 가상 도로주행 사건의 설계 시스템(100)은 입력된 데이터를 가상 도로주행 공간(500) 및 가상 도로주행 사건(600)의 생성에 적합한 데이터 형식으로 변환할 수 있다는 것을 확인할 수 있다.
자율주행자동차의 가상 검증에 이용되는 가상의 도로와 시나리오를 정의한 대표적인 통합표준으로는 ASAM의 오픈드라이브(OpenDRIVE) 및 오픈시나리오(OpenSCENARIO) 플랫폼이 존재한다. 종래에는 이러한 표준도로와 표준시나리오를 생성할 때 개발자가 수작업으로 생성을 했다. 그러나 검증을 위해 생성해야 하는 도로와 시나리오가 많아지면 많아질수록 수작업은 생산성이 떨어지며 가상검증에 대한 일정이 연기될 수 있었다. 즉, 종래에는 사용자가 컨버터 프로그램을 실행시키기 위해서는 어느 한 블랙박스 영상(Blackbox Video sample)(200)으로부터 추출된 주행 데이터(trajectory.json)(300) 및 사건 데이터(event.json)(400)를 직접 입력해야 했다. 하지만 파일이름을 사용자가 직접 입력하게 되면 사용자의 입장에서 파일이름 2개를 입력해야 하는 번거로움이 있다. 따라서 이러한 입력 데이터 생성작업을 자동화함으로써 가상 도로 환경의 생산성을 증대시킬 필요가 있다.
데이터 수신부(110)에 포함된 컨버터(111)는 제1 차량 주행 데이터(301), 제2 차량 주행 데이터(302), 제1 차량 사건 데이터(401) 및 제2 차량 사건 데이터(402)의 데이터 형식을 제1 차량 위치정보 및 제2 차량 위치정보를 추출하고 가상 도로주행 사건(600)을 생성하는데 필요한 데이터 형식으로 변환할 수 있다.
예를 들어, 컨버터(111)는 사용자가 컨버터 프로그램과 함께 위치한 폴더내에 주행 데이터(sample_trajectory.json)(300)와 사건 데이터(sample_event.json)(400)만 가지고 있으면, 샘플(sample)의 이름을 컨버터 프로그램에 입력하는 것만으로도 컨버팅이 되도록 구성될 수 있다. 이때, 컨버터(111)는 샘플(sample)의 이름만 입력받아도 xodr(OpenDRIVE), xosc(OpenSCENARIO) 파일을 생성할 수 있다.
이상에서 설명된 구성요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3은 일 실시예에 따른 가상 도로주행 사건의 설계 방법의 전체적인 순서도이다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.
도 1 및 도 3을 참조하면, 데이터 수신부(110)는 실제 도로를 주행한 제1 차량에 마련된 카메라가 획득한 블랙박스 영상(200), 제1 차량 주행 데이터(301)와 제2 차량 주행 데이터(302)를 포함하는 차량 주행 데이터(300) 및 제1 차량 사건 데이터(401)와 제2 차량 사건 데이터(402)를 포함하는 차량 사건 데이터를 수신할 수 있다(1001).
컨버터(111)는 제1 차량 주행 데이터(301), 제2 차량 주행 데이터(302), 제1 차량 사건 데이터(401) 및 제2 차량 사건 데이터(402)의 데이터 형식을 가상 도로주행 사건(600)을 생성하는데 필요한 데이터 형식으로 변환할 수 있다(1002).
구체적으로 컨버터(111)는 제1 차량 주행 데이터(301) 및 제2 차량 주행 데이터(302)를 기초로, 블랙박스 영상(200)의 모든 객체(object) 중 제1 차량의 경로(trajectory) 및 제2 차량의 경로(trajectory)를 찾아서 오픈드라이브(OpenDRIVE)의 규격으로 변환할 수 있다. 제1 차량의 경로 및 제2 차량의 경로는 프레임 인덱스(frame index) 및 각 프레임 인덱스마다 대응되는 차량 위치 정보(position x, y, z)의 값들이 나열되어 있는 데이터일 수 있다.
한편, 변환된 제1 차량 주행 데이터(301) 및 제2 차량 주행 데이터(302)의 데이터 형식이 반드시 오픈드라이브(OpenDRIVE)의 규격으로 한정되는 것은 아니다, 즉, 자율주행자동차의 가상 검증에 이용되는 가상의 도로와 시나리오를 정의한 또 다른 통합표준이 있다면, 컨버터(111)는 해당 통합표준의 규격에 맞는 데이터 형식으로 제1 차량 주행 데이터(301) 및 제2 차량 주행 데이터(302)의 데이터 형식을 변환할 수 있다.
컨버터(111)는 차량 사건 데이터에 존재하는 모든 객체(Object)들과 해당 객체(Object)들의 프레임 인덱스 정보들을 읽고, 해당 정보들을 미리 정해진 규격의 데이터로 변환할 수 있다. 이때 미리 정해진 규격은 ASAM OpenSCENARIO의 규격일 수 있으나, 반드시 규격이 이에 한정되는 것은 아니다.
구체적으로 컨버터(111)는 차량 사건 데이터(Sample_event.json) 파일의 데이터들을 파싱할 수 있다. 차량 사건 데이터에 정의된 내용의 사건들 각각의 데이터에는 각각 사건 발생 대상의 객체 ID(Object ID), 사건 발생 프레임, 사건 종류(event type)이 작성되어 있을 수 있다. 컨버터(111)는 이러한 사건들에 대해 미리 정해진 규격(ASAM OpenSCENARIO)으로 데이터 형식을 변환할 수 있다.
위치정보 추출부(120)는 제1 주행 데이터 및 제2 주행 데이터로부터 블랙박스 영상(200)의 각 프레임마다 대응되는 제1 차량 위치정보 및 제2 차량 위치정보를 추출할 수 있다(1003).
제1 차량 위치정보의 경우 블랙박스 카메라가 장착된 제1 차량의 주행에 관련된 위치정보이므로 블랙박스 영상(200)에 관련이 있다고 볼 수 있다. 하지만, 제2 차량 위치정보는 제2 차량의 주행에 관련된 위치정보이므로, 제2 차량 위치정보가 반드시 블랙박스 영상(200)에 관련이 있다고 단정할 수는 없다. 예를 들어, 특정한 프레임에서는 제2 차량이 블랙박스 영상(200)에 촬영되거나 제1 차량의 주변에서 제1 차량의 실제 주행에 영향을 주었을 수도 있으나, 다른 프레임에서는 제2 차량이 제1 차량의 실제 주행과 전혀 상관없이 전혀 다른 장소에 위치했을 수 있다. 이러한 경우까지 제2 차량의 위치정보를 추출하는 것은 데이터 낭비일 수 있고, 가상 도로주행 사건(600)의 생성 성능을 저하시킬 수 있다. 따라서 제1 차량의 실제 주행에 영향을 주었을 제2 차량의 주행에 관련된 위치정보만 추출하는 것이 바람직하다.
제2 차량 사건 데이터(402)는 제2 차량의 주행 중에 발생된 사건마다 대응되는 사건 발생 프레임 및 제2 차량에 발생된 사건의 종류에 관한 데이터를 포함할 수 있다.
관련 사건 여부 판단부(170)는 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 블랙박스 영상(200)의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단할 수 있다.
사건 발생 프레임들 중에서 블랙박스 영상(200)의 각 프레임에 대응되는 프레임이 존재하면, 위치정보 추출부(120)는 제2 차량 주행 데이터(302)로부터 블랙박스 영상(200)의 각 프레임마다 대응되는 제2 차량 위치정보를 추출할 수 있다.
사건 발생 프레임들 중에서 블랙박스 영상(200)의 각 프레임에 대응되는 프레임이 존재하지 않으면, 관련 사건 여부 판단부(170)에 의해, 아직 판단을 하지 않은 다른 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 블랙박스 영상(200)의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단할 수 있다.
이렇게 관련 사건 여부 판단부(170)는 블랙박스 영상(200)의 모든 제2 차량에 발생된 사건에 대해 블랙박스 영상(200)의 프레임과 관련이 있는지 여부를 판단할 수 있다.
가상 도로주행 사건 생성부(140)는 제1 차량 주행 데이터(301) 및 제2 차량 주행 데이터(302)로부터 제1 차량 및 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제1 차량 객체 정보 및 제2 차량 객체 정보를 추출할 수 있다(1004).
주행 속도 연산부(160)는 제2 차량이 최초로 등장하는 프레임인 최초 출현 프레임에서의 제2 차량 위치정보와 최초 출현 프레임의 직후 프레임에서의 제2 차량 위치정보를 기초로 제2 차량의 초기 속도를 연산할 수 있다(1005).
사건 종류 판단부(150)는 제1 차량 사건 데이터(401)를 기초로 블랙박스 영상(200)의 각 프레임마다 대응되는 제1 차량에 발생된 제1 차량 사건의 종류를 결정하고, 제2 차량 사건 데이터(402)를 기초로 블랙박스 영상(200)의 각 프레임마다 대응되는 제2 차량에 발생된 제2 차량 사건의 종류를 결정할 수 있다(1006).
가상 도로주행 사건 생성부(140)는 객체 정보, 제1 차량 및 제2 차량의 위치정보, 제2 차량의 최초 출현 위치 및 초기 속도, 제1 차량 사건 및 제2 차량 사건의 종류가 반영된 가상 도로주행 사건(600)을 생성할 수 있다(1007).
도 4는 일 실시예에 따라 종류가 결정된 사건을 기초로 가상 도로주행 사건을 설계하는 방법의 순서도이다.
도1 및 도 4를 참조하면, 사건 종류 판단부(150)는 제1 차량 사건 데이터(401)를 기초로 블랙박스 영상(200)의 각 프레임마다 대응되는 제1 차량에 발생된 제1 차량 사건의 종류를 결정할 수 있다(2001).
사건 종류 판단부(150)는 제2 차량 사건 데이터(402)를 기초로 블랙박스 영상(200)의 각 프레임마다 대응되는 제2 차량에 발생된 제2 차량 사건의 종류도 결정할 수 있다. 이때, 어떠한 제2 차량이 블랙박스 영상(200) 및 제1 차량의 주행에 관련된 차량인지 미리 판단하고, 블랙박스 영상(200) 및 제1 차량의 주행에 관련된 제2 차량에 발생된 사건에 대해서만 사건 종류를 판단하는 것이 바람직할 수 있다.
사건 종류 판단부(150)는 제2 차량 사건 데이터(402)에 정의되어 있는 사건 대상 객체 ID(Object ID)를 읽고, 대상 객체(Object)의 사건 발생 위치(position)를 찾기 위해서 사건 발생 당시의 프레임 인덱스(frame index)를 제2 차량 주행 데이터(Sample_trajectory.json)(302)에서 해당 제2 차량의 객체 ID와 함께 검색할 수 있다. 만약 검색에 실패할 경우, 사건 종류 판단부(150)는 그 다음 사건이 정의된 객체 ID를 계속해서 검색하여 정의할 수 있다. 만약 블랙박스 영상(200)에 관련된 프레임 인덱스가 검색되었다면, 이어서 해당 객체의 사건 종류(event type)를 읽을 수 있다.
사건 종류 판단부(150)는 어느 한 제2 차량 사건이 블랙박스 영상(200)에 관련된 사건인지 여부를 판단할 수 있다(2002). 구체적으로, 사건 종류 판단부(150)는 제2 차량 사건 데이터(402)를 기초로, 제2 차량에 발생된 제2 차량 사건이 블랙박스 영상(200)의 프레임들 중 적어도 하나에 제2 차량이 나타나는 동안 발생된 사건인지 여부를 판단할 수 있다.
제2 차량 사건이 블랙박스 영상(200)에 제2 차량이 나타나는 동안 발생된 사건이면(2002의 '예'), 사건 종류 판단부(150)는 제2 차량 사건 데이터(402)를 기초로 블랙박스 영상(200)의 각 프레임마다 대응되는 제2 차량에 발생된 제2 차량 사건의 종류를 결정할 수 있다(2003).
특정한 제2 차량에 대한 제2 차량 사건의 종류가 결정되면, 사건 종류 판단부(150)는 다른 제2 차량들의 제2 차량 사건들에 대해서 전부 사건의 종류가 결정되었는지 여부를 판단할 수 있다(2004).
또한, 제2 차량 사건이 블랙박스 영상(200)에 제2 차량이 나타나는 동안 발생된 사건이 아니면(2002의 '아니오'), 사건 종류 판단부(150)는 다른 제2 차량들의 제2 차량 사건들에 대해서 전부 사건의 종류가 결정되었는지 여부를 판단할 수 있다.
아직 제2 차량 사건의 종류에 대한 판단이 진행되지 않은 제2 차량이 존재하면(2004의 '아니오'), 사건 종류 판단부(150)는 또 다른 제2 차량 사건이 블랙박스 영상(200)에 관련된 사건인지 여부를 판단할 수 있다.
모든 제2 차량 사건의 종류에 대한 판단이 전부 완료되었다면(2004의 '예'), 가상 도로주행 사건 생성부(140)는 제1 차량 사건의 종류 및 제2 차량 사건의 종류를 기초로 가상 도로주행 사건(600)을 생성할 수 있다.
도 5는 일 실시예에 따라 어느 한 확인 대상 프레임에서의 사건의 종류를 결정하는 방법의 순서도이다.
도 1 및 도 5를 참조하면, 사건 종류 판단부(150)는 어느 한 확인 대상 프레임에서 제1 차량 또는 제2 차량에 발생된 사건의 종류를 판단할 수 있다(3001).
확인 대상 프레임은 블랙박스 영상(200)의 프레임들 중 특정한 연산이나 판단에 이용되는 프레임일 수 있다. 어느 한 블랙박스 영상(200)은 복수의 프레임들로 구성되어 있는데, 이때 어느 특정한 프레임에 대해서 연산이 수행되는 경우 해당 연산에 이용되는 프레임이 확인 대상 프레임일 수 있다.
어느 한 프레임이 확인 대상 프레임인 경우, 다른 프레임들은 타 프레임일 수 있다. 어느 한 프레임이 확인 대상 프레임으로 한번 정해졌다고 해당 프레임이 계속 확인 대상 프레임인 것은 아니며, 순서에 따라 다른 프레임이 확인 대상 프레임으로 정해지면 이전에 확인 대상 프레임이었던 프레임은 타 프레임이 될 수 있다.
타 프레임 중에는 직전 프레임 및 직후 프레임이 포함될 수 있다. 직전 프레임은 확인 대상 프레임보다 이전의 프레임일 수 있다. 직후 프레임은 확인 대상 프레임보다 이후의 프레임일 수 있다. 특정 연산 과정에서 확인 대상 프레임에 대한 연산이 종료되면 직후 프레임이 확인 대상 프레임이 되고, 본래 확인 대상 프레임이었던 프레임은 직전 프레임이 될 수 있다. 이렇게 블랙박스 영상(200)의 각 프레임들은 각각 모두 확인 대상 프레임으로써 연산에 이용될 수 있다.
사건 종류 판단부(150)는 확인 대상 프레임에서의 사건의 종류가 차량이 차선을 변경한 사건인지 여부를 판단할 수 있다(3002).
구체적으로, 사건 종류 판단부(150)는 제1 차량 사건 데이터(401)를 기초로 확인 대상 프레임에서 제1 차량에 발생된 제1 차량 사건이 제1 차량이 차선을 변경한 사건인지 여부를 판단할 수 있다. 또한, 사건 종류 판단부(150)는 제2 차량 사건 데이터(402)를 기초로 확인 대상 프레임에서 제2 차량에 발생된 제2 차량 사건이 제2 차량이 차선을 변경한 사건인지 여부를 판단할 수 있다.
확인 대상 프레임에서의 차량의 사건이 차선을 변경한 사건으로 판단되면(3002의 '예'), 사건 종류 판단부(150)는 확인 대상 프레임에서의 해당 차량의 사건을 차선 변경 사건으로 정의하여 메모리에 저장할 수 있다(3004).
구체적으로, 확인 대상 프레임에서의 제1 차량 사건이 제1 차량이 차선을 변경한 사건으로 판단되면, 사건 종류 판단부(150)는, 확인 대상 프레임에서의 제1 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장할 수 있다. 또한, 확인 대상 프레임에서의 제2 차량 사건이 제2 차량이 차선을 변경한 사건으로 판단되면, 확인 대상 프레임에서의 제2 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장할 수 있다.
확인 대상 프레임에서의 차량의 사건이 차선을 변경한 사건으로 판단되지 않으면(3002의 '아니오'), 사건 종류 판단부(150)는 확인 대상 프레임에서의 해당 차량의 사건을 속도 변경 사건으로 정의하여 메모리에 저장할 수 있다(3003).
구체적으로 확인 대상 프레임에서의 제1 차량 사건이 제1 차량이 차선을 변경한 사건으로 판단되지 않으면, 사건 종류 판단부(150)는 제1 차량 사건 데이터(401)를 기초로 확인 대상 프레임에서 제1 차량에 발생된 제1 차량 사건이 제1 차량이 속도를 변경한 사건으로 판단할 수 있다.
주행 속도 연산부(160)는 확인 대상 프레임에서의 제1 차량 위치정보를 기초로 확인 대상 프레임에서의 제1 차량의 속도를 연산할 수 있다. 확인 대상 프레임에서의 제1 차량 사건이 제1 차량이 속도를 변경한 사건으로 판단되면, 사건 종류 판단부(150)는 확인 대상 프레임에서의 제1 차량 사건을 속도 변경 사건으로 정의하여 메모리에 저장할 수 있다.
확인 대상 프레임에서의 제2 차량 사건이 제2 차량이 차선을 변경한 사건으로 판단되지 않으면, 사건 종류 판단부(150)는 제2 차량 사건 데이터(402)를 기초로 확인 대상 프레임에서 제2 차량에 발생된 제2 차량 사건이 제2 차량이 속도를 변경한 사건으로 판단할 수 있다.
주행 속도 연산부(160)는 확인 대상 프레임에서의 제2 차량 위치정보를 기초로 확인 대상 프레임에서의 제2 차량의 속도를 연산할 수 있다. 확인 대상 프레임에서의 제2 차량 사건이 제2 차량이 속도를 변경한 사건으로 판단되면, 주행 속도 연산부(160)는 확인 대상 프레임에서의 제2 차량 사건을 속도 변경 사건으로 정의하여 메모리에 저장할 수 있다.
한편, 전술한 방식은 하나의 예시일 뿐, 특정한 확인 대상 프레임에서 특정한 차량에 발생된 사건이 차선 변경이 아니라 판단된다고 반드시 해당 사건의 종류가 속도 변경으로 결정되는 것으로 한정되는 것은 아니다.
가상 도로주행 사건 생성부(140)는 블랙박스 영상(200)의 모든 프레임에 대한 사건의 종류가 결정되었는지 여부를 판단할 수 있다(3005).
아직 사건의 종류가 결정되지 않은 프레임이 남아있다고 판단되면(3005의 '아니오'), 사건 종류 판단부(150)는 다른 확인 대상 프레임에 대한 사건 종류 판단을 수행할 수 있다.
모든 프레임에 대한 사건 종류가 결정되었다고 판단되면(3005의 '예'), 가상 도로주행 사건 생성부(140)는 결정된 사건의 종류들이 반영된 가상 도로주행 사건(600)을 생성할 수 있다(3006).
한편, 실제로 주행한 제2 차량의 경우 블랙박스 영상(200)이 시작되는 최초 프레임에서 특정한 위치에 있었을 것이다. 따라서 가상 공간에서도 가상 제2 차량 객체 또한 블랙박스 영상(200)의 최초 프레임에서의 실제 제2 차량의 위치에서 출현하고, 실제 제2 차량의 속도가 반영된 초기 속도로 가상 공간에서 움직이는 것이 바람직할 수 있다.
도 6은 일 실시예에 따른 제2 차량의 출현 위치 및 초기 속도가 반영된 가상 도로주행 사건을 생성하는 방법의 순서도이다.
도 1 및 도 6을 참조하면, 위치정보 추출부(120)는 블랙박스 영상(200)에서 제2 차량이 최초로 등장하는 프레임에 대응되는 제2 차량 위치정보를 기초로, 제2 차량의 최초 출현 위치를 결정할 수 있다(4001).
이후, 주행 속도 연산부(160)는 제2 차량이 최초로 등장했을 때의 제2 차량의 초기 속도를 연산할 수 있다. 이때, 제2 차량의 초기 속도는 각 프레임에서의 제2 차량의 위치 변화와, 제2 차량이 등장한 프레임들의 개수를 기초로 연산될 수 있다. 즉, 주행 속도 연산부(160)는 제2 차량이 최초로 등장하는 프레임인 최초 출현 프레임에서의 제2 차량 위치정보와 최초 출현 프레임의 직후 프레임에서의 제2 차량 위치정보를 기초로 제2 차량의 초기 속도를 연산할 수 있다.
만약, 제2 차량이 블랙박스 영상(200)에 등장하는 시간이 총 1초 이상이면, 제2 차량의 이동 거리와 그 이동하는데 걸린 초단위의 시간을 기초로 제2 차량의 초기 속도를 연산할 수 있다. 하지만, 블랙박스 영상(200)에 제2 차량이 등장하는 시간이 1초보다 작으면 단순히 초단위의 시간을 기초로 제2 차량의 초기 속도를 연산하는 것은 부정확할 수 있다.
주행 속도 연산부(160)는 제2 차량이 포함된 프레임들의 개수가 블랙박스 영상(200)의 프레임 레이트 이상인지 여부를 판단할 수 있다(4002). 프레임 레이트는 블랙박스 영상(200)이 데이터를 표시하는 속도를 의미하고, 구체적으로 1초당 보여주는 이미지의 수를 나타내는 것일 수 있다.
제2 차량이 포함된 프레임들의 개수가 블랙박스 영상(200)의 프레임 레이트 이상이면(4002의 '예'), 주행 속도 연산부(160)는 제2 차량 위치정보 및 프레임 레이트의 값을 기초로 제2 차량의 초기 속도를 연산할 수 있다(4003).
제2 차량이 포함된 프레임들의 개수가 블랙박스 영상(200)의 프레임 레이트 미만이면(4002의 '아니오'), 주행 속도 연산부(160)는 제2 차량 위치정보 및 제2 차량이 포함된 프레임들의 개수를 기초로 제2 차량의 초기 속도를 연산할 수 있다(4004).
해당 제2 차량의 초기 속도 연산이 완료되면, 가상 도로주행 사건 생성부(140)는 블랙박스 영상(200)의 모든 제2 차량에 대한 초기 속도가 연산되었는지 여부를 판단할 수 있다(4005).
아직 초기속도의 연산이 수행되지 않은 제2 차량이 남아있다고 판단되면(4005의 '아니오'), 위치 정보 추출부는 다른 제2 차량의 최초 출현 위치를 결정하고, 주행 속도 연산부(160)는 다른 제2 차량의 주행 속도를 연산할 수 있다.
모든 제2 차량에 대한 초기 속도가 연산 되었다고 판단되면(4005의 '예'), 가상 도로주행 사건 생성부(140)는 모든 제2 차량의 출현 위치 및 초기 속도가 각각의 제2 차량 객체에 반영되도록 가상 도로주행 사건(600)을 생성할 수 있다(4006). 즉, 가상 도로주행 사건 생성부(140)는 가상 제2 차량 객체가 최초 출현 위치에 대응되는 가상 공간의 위치에서 출현하도록 구성되는 가상 도로주행 사건(600)을 생성할 수 있다.
데이터 수신부(110), 컨버터(111), 위치정보 추출부(120), 가상 도로주행 공간 생성부(130), 가상 도로주행 사건 생성부(140), 사건 종류 판단부(150), 주행 속도 연산부(160) 및 관련 사건 여부 판단부(170)는 가상 도로주행 사건의 설계 시스템(100)에 포함된 복수개의 프로세서 중 어느 하나의 프로세서를 포함할 수 있다. 또한, 지금까지 설명된 본 발명의 실시예에 따른 가상 도로주행 사건의 설계 시스템(100)의 구동 방법은, 프로세서에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다.
여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 부호 수정을 위한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 전술한 정보 표시 방법을 구현하기 위한 프로그램은, 프로세서에 의해 판독 가능한 비일시적 기록매체에 기록될 수 있다. 이때, 기록매체는 메모리일 수 있다.
메모리는 전술한 동작 및 후술하는 동작을 수행하는 프로그램을 저장할 수 있으며, 메모리는 저장된 프로그램을 실행시킬 수 있다. 프로세서와 메모리가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다. 메모리는 데이터를 일시적으로 기억하기 위한 S램(Static Random Access Memory, S-RAM), D랩(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다. 또한, 메모리는 제어 프로그램 및 제어 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다. 프로세서는 각종 논리 회로와 연산 회로를 포함할 수 있으며, 메모리로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 가상 도로주행 사건의 설계 시스템
110: 데이터 수신부
111: 컨버터
120: 위치정보 추출부
130: 가상 도로주행 공간 생성부
140: 가상 도로주행 사건 생성부
150: 사건 종류 판단부
160: 주행 속도 연산부
170: 관련 사건 여부 판단부
200: 블랙박스 영상
300: 차량 주행 데이터
301: 제1 차량 주행 데이터
302: 제2 차량 주행 데이터
400: 차량 사건 데이터
401: 제1 차량 사건 데이터
402: 제2 차량 사건 데이터
500: 가상 도로주행 공간
600: 가상 도로주행 사건

Claims (20)

  1. 자율주행자동차의 가상 공간에서의 가상 주행을 검증할 수 있도록 구성되는 가상 도로주행 공간에서 발생되는 가상 도로주행 사건의 설계 방법에 있어서,
    데이터 수신부에 의해, 실제 도로를 주행한 제1 차량에 마련된 카메라가 획득한 블랙박스 영상 및 상기 블랙박스 영상에 대응되는 제1 차량 주행 데이터 및 상기 제1 차량의 주행 중에 발생된 사건에 관련된 제1 차량 사건 데이터를 수신하는 단계;
    가상 도로주행 사건 생성부에 의해, 상기 제1 차량 주행 데이터 및 상기 제1 차량 사건 데이터를 기초로 상기 가상 도로주행 사건을 생성하는 단계;
    상기 데이터 수신부에 의해, 실제 도로를 주행하면서 상기 카메라에 촬영된 제2 차량의 제2 차량 주행 데이터 및 상기 제2 차량의 주행 중에 발생된 사건에 관련된 제2 차량 사건 데이터를 수신하는 단계; 및
    위치정보 추출부에 의해, 상기 제1 차량 주행 데이터 및 상기 제2 차량 주행 데이터로부터 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제1 차량의 제1 차량 위치정보 및 상기 제2 차량의 제2 차량 위치정보를 추출하는 단계를 포함하고,
    상기 제2 차량 사건 데이터는, 상기 제2 차량의 주행 중에 발생된 사건마다 대응되는 사건 발생 프레임 및 상기 제2 차량에 발생된 사건의 종류에 관한 데이터를 포함하고,
    관련 사건 여부 판단부에 의해, 상기 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단하는 단계; 및
    상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 주행 데이터 및 상기 제2 차량 주행 데이터로부터 상기 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제1 차량 객체 정보 및 상기 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나를 포함하는 제2 차량 객체 정보를 추출하는 단계를 더 포함하고,
    상기 가상 도로주행 사건을 생성하는 단계는:
    상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량의 객체 정보를 기초로, 상기 제1 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제1 차량 객체가 상기 가상 공간에 포함되도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계; 및
    상기 가상 도로주행 사건 생성부에 의해, 상기 제2 차량의 객체 정보를 기초로, 상기 제2 차량의 차종, 형상, 크기 및 색상 중 적어도 하나가 반영된 가상 제2 차량 객체가 상기 가상 공간에 포함되도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계를 포함하고,
    상기 위치정보 추출부에 의해, 상기 블랙박스 영상에서 상기 제2 차량이 최초로 등장하는 프레임에 대응되는 상기 제2 차량 위치정보를 기초로, 상기 제2 차량의 최초 출현 위치를 결정하는 단계를 더 포함하고,
    상기 가상 도로주행 사건을 생성하는 단계는,
    상기 가상 도로주행 사건 생성부에 의해, 가상 제2 차량 객체가 상기 최초 출현 위치에 대응되는 상기 가상 공간의 위치에서 출현하도록 구성되는 상기 가상 도로주행 사건을 생성하는 단계를 포함하고,
    주행 속도 연산부에 의해, 상기 제2 차량이 최초로 등장하는 프레임인 최초 출현 프레임에서의 상기 제2 차량 위치정보와 상기 최초 출현 프레임의 직후 프레임에서의 상기 제2 차량 위치정보를 기초로 상기 제2 차량의 초기 속도를 연산하는 단계를 더 포함하고,
    상기 제2 차량의 초기 속도를 연산하는 단계는:
    상기 주행 속도 연산부에 의해, 상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 이상인지 여부를 판단하는 단계;
    상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 이상이면, 상기 제2 차량 위치정보 및 상기 프레임 레이트의 값을 기초로 상기 제2 차량의 초기 속도를 연산하는 단계; 및
    상기 제2 차량이 포함된 프레임들의 개수가 상기 블랙박스 영상의 프레임 레이트 미만이면, 상기 제2 차량 위치정보 및 상기 제2 차량이 포함된 프레임들의 개수를 기초로 상기 제2 차량의 초기 속도를 연산하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상 도로주행 사건을 생성하는 단계는,
    가상 도로주행 사건 생성부에 의해, 상기 제1 차량 위치정보, 상기 제2 차량 위치정보, 상기 제1 차량 사건 데이터 및 상기 제2 차량 사건 데이터를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  4. 제1항에 있어서,
    가상 도로주행 공간 생성부에 의해, 상기 제1 차량 위치정보 및 상기 블랙박스 영상을 기초로 상기 가상 도로주행 공간을 생성하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  5. 제1항에 있어서,
    상기 데이터 수신부에 포함된 컨버터에 의해, 상기 제1 차량 주행 데이터, 상기 제2 차량 주행 데이터, 상기 제1 차량 사건 데이터 및 상기 제2 차량 사건 데이터의 데이터 형식을 상기 제1 차량 위치정보 및 상기 제2 차량 위치정보를 추출하고 상기 가상 도로주행 사건을 생성하는데 필요한 데이터 형식으로 변환하는 단계; 및
    상기 가상 도로주행 사건 생성부에 의해, 상기 생성된 가상 도로주행 사건의 데이터를 상기 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
  6. 제3항에 있어서,
    사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제1 차량에 발생된 제1 차량 사건의 종류를 결정하는 단계를 더 포함하고,
    상기 가상 도로주행 사건을 생성하는 단계는,
    상기 가상 도로주행 사건 생성부에 의해, 상기 제1 차량 사건의 종류를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  7. 제6항에 있어서,
    상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로, 상기 제2 차량에 발생된 제2 차량 사건이 상기 블랙박스 영상의 프레임들 중 적어도 하나에 상기 제2 차량이 나타나는 동안 발생된 사건인지 여부를 판단하는 단계; 및
    상기 제2 차량 사건이 상기 블랙박스 영상에 상기 제2 차량이 나타나는 동안 발생된 사건이면, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제2 차량에 발생된 제2 차량 사건의 종류를 결정하는 단계를 더 포함하고,
    상기 가상 도로주행 사건을 생성하는 단계는,
    상기 가상 도로주행 사건 생성부에 의해, 상기 제2 차량 사건의 종류를 기초로 상기 가상 도로주행 사건을 생성하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  8. 제7항에 있어서,
    상기 제1 차량 사건의 종류를 결정하는 단계는,
    상기 사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제1 차량에 발생된 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건인지 여부를 판단하는 단계를 포함하고,
    상기 제2 차량 사건의 종류를 결정하는 단계는,
    상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제2 차량에 발생된 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건인지 여부를 판단하는 단계를 포함하고,
    상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제1 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장하는 단계; 및
    상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제2 차량 사건을 차선 변경 사건으로 정의하여 메모리에 저장하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
  9. 제8항에 있어서,
    상기 제1 차량 사건의 종류를 결정하는 단계는,
    상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 차선을 변경한 사건으로 판단되지 않으면, 상기 사건 종류 판단부에 의해, 상기 제1 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제1 차량에 발생된 제1 차량 사건이 상기 제1 차량이 속도를 변경한 사건으로 판단하는 단계를 포함하고,
    상기 제2 차량 사건의 종류를 결정하는 단계는,
    상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 차선을 변경한 사건으로 판단되지 않으면, 상기 사건 종류 판단부에 의해, 상기 제2 차량 사건 데이터를 기초로 확인 대상 프레임에서 상기 제2 차량에 발생된 제2 차량 사건이 상기 제2 차량이 속도를 변경한 사건으로 판단하는 단계를 포함하고,
    주행 속도 연산부에 의해, 상기 확인 대상 프레임에서의 상기 제1 차량 위치정보 및 상기 제2 차량 위치정보를 기초로 상기 확인 대상 프레임에서의 상기 제1 차량의 속도 및 상기 제2 차량의 속도를 연산하는 단계;
    상기 확인 대상 프레임에서의 제1 차량 사건이 상기 제1 차량이 속도를 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제1 차량 사건을 속도 변경 사건으로 정의하여 메모리에 저장하는 단계; 및
    상기 확인 대상 프레임에서의 제2 차량 사건이 상기 제2 차량이 속도를 변경한 사건으로 판단되면, 상기 확인 대상 프레임에서의 제2 차량 사건을 속도 변경 사건으로 정의하여 메모리에 저장하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 가상 도로주행 사건 생성부에 의해, 상기 가상 제1 차량 객체의 데이터 및 상기 가상 제2 차량 객체의 데이터를 상기 가상 주행을 검증할 수 있도록 구성되는 프로세서에 입력 가능한 데이터 형식으로 변환하여 출력하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제1항에 있어서,
    상기 가상 도로주행 사건을 생성하는 단계는,
    상기 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하면, 상기 위치정보 추출부에 의해, 상기 제2 차량 주행 데이터로부터 상기 블랙박스 영상의 각 프레임마다 대응되는 상기 제2 차량 위치정보를 추출하는 단계를 포함하는, 가상 도로주행 사건의 설계 방법.
  19. 제1항에 있어서,
    상기 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하지 않으면, 상기 관련 사건 여부 판단부에 의해, 아직 판단을 하지 않은 다른 제2 차량에 발생된 사건들의 사건 발생 프레임들 중에서 상기 블랙박스 영상의 각 프레임에 대응되는 프레임이 존재하는지 여부를 판단하는 단계를 더 포함하는 가상 도로주행 사건의 설계 방법.
  20. 제1항, 제3항 내지 제9항, 제11항, 제18항 및 제19항 중 어느 한 항의 가상 도로주행 사건의 설계 방법을 실행시키도록 컴퓨터로 판독 가능한 비일시적 기록매체에 저장된 컴퓨터 프로그램.
KR1020220128912A 2022-10-07 2022-10-07 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템 KR102649368B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220128912A KR102649368B1 (ko) 2022-10-07 2022-10-07 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220128912A KR102649368B1 (ko) 2022-10-07 2022-10-07 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템

Publications (1)

Publication Number Publication Date
KR102649368B1 true KR102649368B1 (ko) 2024-03-19

Family

ID=90483126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220128912A KR102649368B1 (ko) 2022-10-07 2022-10-07 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템

Country Status (1)

Country Link
KR (1) KR102649368B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20190143151A (ko) * 2018-06-20 2019-12-30 이우용 자율주행 자동차의 자율주행 시스템
KR102391668B1 (ko) * 2019-11-27 2022-04-28 한국전자기술연구원 가상현실을 이용한 자율주행 ai 시뮬레이션 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20190143151A (ko) * 2018-06-20 2019-12-30 이우용 자율주행 자동차의 자율주행 시스템
KR102391668B1 (ko) * 2019-11-27 2022-04-28 한국전자기술연구원 가상현실을 이용한 자율주행 ai 시뮬레이션 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
강원율 외 5명. 자율주행 평가용 가상주행환경 구축 방법론에 대한 연구. 한국자동차공학회 논문집, 제29권, 제6호, 547-556 페이지. 2021.06.* *

Similar Documents

Publication Publication Date Title
US10482003B1 (en) Method and system for modifying a control unit of an autonomous car
KR102094341B1 (ko) 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
US20170330284A1 (en) Server for Real-Time Accident Documentation and Claim Submission
CN109101690A (zh) 用于渲染车辆自动驾驶模拟器中的场景的方法和装置
US20220198107A1 (en) Simulations for evaluating driving behaviors of autonomous vehicles
CN104103100A (zh) 驾驶行为分析系统
CN116529784A (zh) 用于增加激光雷达数据的方法和系统
So et al. Generating traffic safety test scenarios for automated vehicles using a big data technique
CN111985356A (zh) 交通违章的证据生成方法及装置、电子设备、存储介质
US20210192215A1 (en) Platform for the management and validation of contents of video images, picture or similar, generated by different devices
CN115755869B (zh) 一种自动泊车测试方法、装置、存储介质及设备
JP5962898B2 (ja) 運転評価システム、運転評価方法、及び運転評価プログラム
Karunakaran et al. Automatic lane change scenario extraction and generation of scenarios in OpenX format from real-world data
KR102598898B1 (ko) 가상 도로주행 공간의 설계 방법 및 가상 도로주행 공간의 설계 시스템
JP2022531361A (ja) 複雑な道路の活字のシーン属性注釈
US20220172606A1 (en) Systems and Methods for Extracting Data From Autonomous Vehicles
CN111881197A (zh) 一种仿真数据转换方法及装置
US11376961B2 (en) Method and system for demonstrating function of vehicle-mounted heads up display, and computer-readable storage medium
CN113468678B (zh) 一种自动驾驶算法准确度的计算方法及装置
KR102649368B1 (ko) 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템
CN114782924A (zh) 用于自动驾驶的交通灯检测方法、装置及电子设备
WO2021049062A1 (ja) 認識モデル配信システム及び認識モデルの更新方法
KR102695981B1 (ko) 가상 도로주행 사건의 설계 방법 및 가상 도로주행 사건의 설계 시스템
CN111881121A (zh) 一种自动驾驶数据填充方法和装置
JP2021071885A (ja) 領域切り出し方法および領域切り出しプログラム

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant