KR20210050150A - Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic - Google Patents
Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic Download PDFInfo
- Publication number
- KR20210050150A KR20210050150A KR1020190134415A KR20190134415A KR20210050150A KR 20210050150 A KR20210050150 A KR 20210050150A KR 1020190134415 A KR1020190134415 A KR 1020190134415A KR 20190134415 A KR20190134415 A KR 20190134415A KR 20210050150 A KR20210050150 A KR 20210050150A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- scenario
- driving environment
- image
- environment information
- Prior art date
Links
- 206010039203 Road traffic accident Diseases 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012360 testing method Methods 0.000 title abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000009795 derivation Methods 0.000 claims description 88
- 238000000605 extraction Methods 0.000 claims description 21
- 230000003068 static effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G06K9/00711—
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G06K9/00456—
-
- G06K2209/01—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
아래의 설명은 교통사고 영상 정보를 활용한 시나리오 도출 기술에 관한 것이다. The description below relates to a scenario derivation technology using traffic accident video information.
도로 주행환경, 교통상황, 운전자의 능력, 날씨와 기후, 보행자와 자전거 등 수없이 많은 변수들로 도로에서 일어날 수 있는 교통사고 유형은 무한대며 예측이 불가하다. 교통법규 위반차량, 뛰는 아이들, 도로무법자 김여사 등 도로의 잠재적 위협 및 예측 불가능한 다양한 위험들로 인하여 일일이 자율주행 테스트를 위한 시나리오를 도출하는 것은 어렵다.Road driving environment, traffic conditions, driver's ability, weather and climate, pedestrians and bicycles, and countless variables. The types of traffic accidents that can occur on the road are infinite and unpredictable. It is difficult to derive a scenario for a self-driving test individually due to the potential threats and various unpredictable dangers on the road, such as vehicles violating traffic laws, running children, and road outlaw Mrs. Kim.
이에, 자율주행을 위해서는 인간의 소중한 생명과 도로의 교통안전이 무조건 최우선이며, 자율주행차의 안전한 주행 테스트를 위해서는 신뢰성과 안전성 확보를 위한 다양한 자율주행 테스트 시나리오가 필요하다. Accordingly, for autonomous driving, the precious lives of humans and traffic safety on the road are unconditionally top priority, and for safe driving tests of autonomous vehicles, various autonomous driving test scenarios are needed to secure reliability and safety.
도로교통 운행환경정보 기반 교통사고 영상을 활용한 자율주행 테스트 시나리오를 도출하는 방법 및 시스템을 제공할 수 있다. A method and system for deriving an autonomous driving test scenario using traffic accident images based on road traffic operation environment information can be provided.
시나리오 도출 방법은, 도로 교통사고영상을 검색하는 단계; 상기 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석하는 단계; 상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출하는 단계; 및 상기 추출된 운행환경 정보 및 상기 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출하는 단계를 포함할 수 있다. The scenario derivation method includes the steps of searching for a road traffic accident image; Analyzing image information and text information included in the image information from the searched road traffic accident image; Extracting driving environment information and text information from the analyzed image information and text information included in the image information; And deriving a traffic accident scenario by mapping the extracted driving environment information and keyword information extracted from text information included in the analyzed image information.
상기 추출하는 단계는, 상기 도로 교통사고영상으로부터 영상 정보를 분석함에 따라 도로 정보, 정적 객체, 동적 객체, 이벤트를 포함하는 운행환경 정보를 추출하고, 상기 영상 정보의 영상 제목 또는 내용을 포함하는 텍스트 정보를 분석함에 따라 키워드를 추출하는 단계를 포함할 수 있다. The extracting comprises extracting driving environment information including road information, static objects, dynamic objects, and events by analyzing image information from the road traffic accident image, and text including the image title or content of the image information It may include the step of extracting the keyword as the information is analyzed.
상기 추출하는 단계는, 상기 추출된 운행환경 정보로부터 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성하는 단계를 포함할 수 있다. The extracting may include analyzing and extracting object information and event information from the extracted driving environment information to generate an object/event list.
상기 추출하는 단계는, 상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출함에 따라 키워드 목록 및 운행환경 정보 목록을 생성하는 단계를 포함할 수 있다. The extracting may include generating a keyword list and a driving environment information list by extracting driving environment information and text information from the analyzed image information and text information included in the image information.
상기 도출하는 단계는, 상기 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 상기 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑하는 단계를 포함할 수 있다. The deriving may include mapping the scenario information based on the sixth law using a list of driving environment information generated from the extracted driving environment information and a list of keywords generated by extracting text information included in the analyzed image information. It may include.
상기 도출하는 단계는, 상기 운행환경 정보 목록에 포함된 운행환경 정보 및 상기 키워드 목록에 포함된 키워드 정보를 육하원칙에 기반하여 분류하고, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보를 선택 및 조합하여 사고 시나리오를 도출하는 단계를 포함할 수 있다. In the deriving step, the driving environment information included in the driving environment information list and the keyword information included in the keyword list are classified based on the ground rules, and the driving environment information and keyword information classified based on the ground rules are selected, and Combining it may include the step of deriving an accident scenario.
상기 도출하는 단계는, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보에 대한 가중치에 따라 추출된 시나리오 정보를 이용하여 사고 시나리오를 도출하는 단계를 포함할 수 있다. The deriving may include deriving an accident scenario using scenario information extracted according to weights for the driving environment information and keyword information classified based on the land and ground principle.
시나리오 도출 시스템은, 도로 교통사고영상을 검색하는 검색부; 상기 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석하는 분석부; 상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출하는 추출부; 및 상기 추출된 운행환경 정보 및 상기 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출하는 도출부를 포함할 수 있다. The scenario derivation system includes: a search unit for searching a road traffic accident image; An analysis unit for analyzing image information and text information included in the image information from the searched road traffic accident image; An extraction unit for extracting driving environment information and text information from the analyzed image information and text information included in the image information; And a derivation unit for deriving a traffic accident scenario by mapping the extracted driving environment information and keyword information extracted from text information included in the analyzed image information.
상기 추출부는, 상기 도로 교통사고영상으로부터 영상 정보를 분석함에 따라 도로 정보, 정적 객체, 동적 객체, 이벤트를 포함하는 운행환경 정보를 추출하고, 상기 영상 정보의 영상 제목 또는 내용을 포함하는 텍스트 정보를 분석함에 따라 키워드를 추출할 수 있다. The extraction unit extracts driving environment information including road information, a static object, a dynamic object, and an event by analyzing the image information from the road traffic accident image, and includes text information including the image title or content of the image information. Keywords can be extracted as analyzed.
상기 추출부는, 상기 추출된 운행환경 정보로부터 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성할 수 있다. The extraction unit may generate an object/event list by analyzing and extracting object information and event information from the extracted driving environment information.
상기 추출하는 단계는, 상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출함에 따라 키워드 목록 및 운행환경 정보 목록을 생성할 수 있다. The extracting may generate a keyword list and a driving environment information list by extracting driving environment information and text information from the analyzed image information and text information included in the image information.
상기 도출부는, 상기 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 상기 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑할 수 있다. The derivation unit may map the scenario information based on the sixteenth principle by using a list of driving environment information generated from the extracted driving environment information and a list of keywords generated by extracting text information included in the analyzed image information.
상기 도출부는, 상기 운행환경 정보 목록에 포함된 운행환경 정보 및 상기 키워드 목록에 포함된 키워드 정보를 육하원칙에 기반하여 분류하고, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보를 선택 및 조합하여 사고 시나리오를 도출할 수 있다. The derivation unit classifies the driving environment information included in the driving environment information list and the keyword information included in the keyword list based on the ground rules, and selects and combines the driving environment information and keyword information classified based on the ground rules. Accident scenarios can be derived.
상기 도출부는, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보에 대한 가중치에 따라 추출된 시나리오 정보를 이용하여 사고 시나리오를 도출할 수 있다. The derivation unit may derive an accident scenario by using scenario information extracted according to weights for the driving environment information and keyword information classified based on the land and ground principle.
기존에 발생하였던 교통사고를 포함한 다양한 교통사고 시나리오 도출로 폭넓은 자율주행 테스트를 진행할 수 있다. A wide range of autonomous driving tests can be conducted by deriving various traffic accident scenarios, including traffic accidents that have occurred.
사고영상을 통해 도출된 사고 시나리오 기반으로 더 다양한 장소와 시간, 더 다양한 객체와 이벤트, 더 다양한 방법과 방식으로 실제 도로에서 발생 가능한 사고를 예측할 수 있고, 자율주행 테스트를 위한 가상의 사고 시나리오의 개발이 가능하다.Based on accident scenarios derived from accident images, it is possible to predict possible accidents on real roads in more various places and times, more various objects and events, and more various methods and methods, and development of virtual accident scenarios for autonomous driving tests. This is possible.
도출된 시나리오를 바탕으로 자율주행 소프트웨어를 설계하고, 교통사고 영상을 활용한 자율주행 테스트 시나리오 기반 가상 시뮬레이션을 통해 자율주행시스템의 안전성을 사전에 검증하여 실제 도로에서 발생 가능한 사고를 대비할 수 있다.The autonomous driving software can be designed based on the derived scenario, and the safety of the autonomous driving system can be verified in advance through a virtual simulation based on the autonomous driving test scenario using traffic accident images to prepare for possible accidents on the actual road.
교통사고 영상을 활용한 가상 시뮬레이션을 이용하여 교통사고에 대한 자율주행자동차의 인지 능력, 판단 능력, 제어 능력을 향상시키고, 다양한 시나리오 검증을 통해 신뢰성을 극대화할 수 있다. Using a virtual simulation using traffic accident images, the autonomous vehicle's cognitive ability, judgment ability, and control ability for traffic accidents can be improved, and reliability can be maximized through verification of various scenarios.
정부 또는 지자체 차원에서 기존에 발생하였던 교통사고들의 시나리오 분석으로 언제, 어디서, 어떻게, 왜 그러한 사고가 발생하였는지 근본적인 사고 원인을 분석하여 교통사고 원인을 제거 또는 감소하기 위한 사고방지 방법 및 개선 방안을 마련할 수 있다. Prepare accident prevention methods and improvement measures to eliminate or reduce the causes of traffic accidents by analyzing the underlying causes of accidents when, where, how, and why by analyzing the scenarios of existing traffic accidents at the level of the government or local governments. can do.
"생명 보호 및 교통안전" 및 "자율주행자동차 사고의 제로(Zero)화"에 기여할 수 있다. It can contribute to "life protection and traffic safety" and "zeroing of self-driving car accidents".
도 1은 일 실시예에 따른 시나리오 도출 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 시나리오 도출 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 시나리오 도출 시스템에서 운행환경 정보를 추출하는 것을 설명하기 위한 예이다.
도 4는 일 실시예에 따른 시나리오 도출 시스템에서 시나리오 도출 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 시나리오 도출 시스템에서 시나리오 도출 방법을 설명하기 위한 상세 흐름도이다.
도 6 내지 도 12는 일 실시예에 따른 시나리오 도출 시스템에서 시나리오를 도출하는 예를 나타낸 도면이다. 1 is a view for explaining the general operation of the scenario derivation system according to an embodiment.
2 is a block diagram illustrating a configuration of a scenario derivation system according to an embodiment.
3 is an example for explaining extraction of driving environment information in a scenario derivation system according to an embodiment.
4 is a flowchart illustrating a scenario derivation method in a scenario derivation system according to an embodiment.
5 is a detailed flowchart illustrating a scenario derivation method in the scenario derivation system according to an embodiment.
6 to 12 are diagrams illustrating an example of deriving a scenario in a scenario deriving system according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 시나리오 도출 시스템의 개괄적인 동작을 설명하기 위한 도면이다.1 is a view for explaining the general operation of the scenario derivation system according to an embodiment.
시나리오 도출 시스템은 블랙박스 영상, CCTV 영상 등 교통사고 영상들을 활용하여 실제 도로환경에서 발생 가능한 자율주행 테스트 시나리오들을 효율적으로 도출할 수 있다. 시나리오 도출 시스템은 도로 교통사고영상을 검색하고, 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석할 수 있다. 시나리오 도출 시스템은 분석된 영상 정보 및 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출하고, 추출된 운행환경 정보 및 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출할 수 있다. 이하, 아래의 설명을 통하여 시나리오를 도출하는 방법을 상세하게 설명하기로 한다. The scenario derivation system can efficiently derive autonomous driving test scenarios that can occur in an actual road environment by using traffic accident images such as black box images and CCTV images. The scenario derivation system may search for road traffic accident images, and analyze image information and text information included in the image information from the searched road traffic accident images. The scenario derivation system extracts driving environment information and text information from the analyzed image information and text information included in the image information, and maps keyword information extracted from the extracted driving environment information and text information included in the analyzed image information. Accordingly, a traffic accident scenario can be derived. Hereinafter, a method of deriving a scenario through the following description will be described in detail.
도 2는 일 실시예에 따른 시나리오 도출 시스템의 구성을 설명하기 위한 블록도이고, 도 4는 일 실시예에 따른 시나리오 도출 시스템에서 시나리오 도출 방법을 설명하기 위한 흐름도이다. 2 is a block diagram illustrating a configuration of a scenario derivation system according to an embodiment, and FIG. 4 is a flowchart illustrating a method of deriving a scenario in the scenario derivation system according to an embodiment.
시나리오 도출 시스템(100)의 프로세서는 검색부(210), 분석부(220), 추출부(230) 및 도출부(240)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 시나리오 도출 시스템(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 4의 시나리오 도출 방법이 포함하는 단계들(410 내지 451)을 수행하도록 시나리오 도출 시스템(100)을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The processor of the
프로세서는 시나리오 도출 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 시나리오 도출 시스템(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 시나리오 도출 시스템(100)을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 검색부(210), 분석부(220), 추출부(230) 및 도출부(240) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(410 내지 451)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다. The processor may load the program code stored in the program file for the scenario derivation method into the memory. For example, when a program is executed in the
단계(410)에서 검색부(210)는 도로 교통사고영상을 검색할 수 있다. 이때, 사용자가 전자 기기를 통하여 도로 교통사고영상과 관련된 검색어가 입력됨에 따라 검색어와 관련된 도로 교통사고영상이 검색 결과로 제공될 수 있다. 검색부(210)는 도로 교통사고영상을 수집 및 입력할 수 있다. In
단계(420)에서 분석부(220)는 검색된 도로 교통사고영상으로부터 영상 정보에 포함된 텍스트 정보를 분석할 수 있다. 단계(421)에서 추출부(230)는 영상 정보에 포함된 텍스트 정보로부터 텍스트 정보를 추출할 수 있다. 추출부(230)는 영상 정보의 영상 제목 또는 내용을 포함하는 텍스트 정보를 분석함에 따라 키워드를 추출할 수 있다. 단계(422)에서 추출부(230)는 영상 정보에 포함된 텍스트 정보로부터 텍스트 정보를 추출함에 따라 키워드 목록을 생성할 수 있다. In
단계(430)에서 분석부(220)는 검색된 도로 교통사고영상으로부터 영상 정보를 분석할 수 있다. 단계(431)에서 추출부(230)는 영상 정보로부터 운행환경 정보를 추출할 수 있다. 추출부(230)는 도로 교통사고영상으로부터 영상 정보를 분석함에 따라 도로 정보, 정적 객체, 동적 객체, 이벤트를 포함하는 운행환경 정보를 추출할 수 있다. 이때, 추출부(230)는 추출된 운행환경 정보로부터 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성할 수 있다(440, 441). 단계(432)에서 추출부(230)는 분석된 영상 정보로부터 운행환경 정보를 추출함에 따라 운행환경 정보 목록을 생성할 수 있다. In
도출부(240)는 추출된 운행환경 정보 및 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출할 수 있다(450, 451). 도출부(240)는 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 사고 시나리오를 맵핑할 수 있다. 추가적으로, 도출부(240)는 운행환경 정보로부터 추출된 객체/이벤트 목록까지 함께 맵핑할 수 있다. 도출부(240)는 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑할 수 있다. 도출부(240)는 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보에 대한 가중치에 따라 추출된 시나리오 정보를 이용하여 사고 시나리오를 도출할 수 있다. The
도 3은 일 실시예에 따른 시나리오 도출 시스템에서 운행환경 정보를 추출하는 것을 설명하기 위한 예이다. 3 is an example for explaining extraction of driving environment information in a scenario derivation system according to an embodiment.
시나리오 도출 시스템은 도로 교통사고영상과 관련된 운행환경 정보를 분석할 수 있다. 운행환경 정보(Operational Environment Information)란 운영설계도메인과 개념상 유사하지만 어떠한 자율주행 시스템 또는 자율주행 자동차가 안전한 자율주행을 위해 특정한 기능들을 수행하도록 설계하기 위해 필요한 특정 조건들을 도출하기 위한 것이다. 운영설계도메인(ODD, Operational Design Domain)은 어느 특정 자율주행 시스템 또는 특징이 주행 모드를 포함하지만 이에 국한되지 않는 기능을 수행하도록 설계된 특정 조건들을 의미한다. 운행환경 정보의 예는 다음과 같이 나타낼 수 있다. The scenario derivation system can analyze driving environment information related to road traffic accident images. Operational Environment Information is similar in concept to the operational design domain, but is intended to derive specific conditions necessary for designing any autonomous driving system or autonomous vehicle to perform specific functions for safe autonomous driving. Operational Design Domain (ODD) refers to specific conditions designed to perform a function in which a specific autonomous driving system or feature includes, but is not limited to, a driving mode. An example of driving environment information can be expressed as follows.
도로 정보: 도로의 종류, 유형, 구조, 표면, 가장자리 및 표식, 차선, 중앙분리대 등Road information: road type, type, structure, surface, edges and markings, lanes, median, etc.
정적 객체: 도로표지판, 교통신호등, 교통안전표지판, 정지/주차차량, 정적 장애물 등Static objects: road signs, traffic lights, traffic safety signs, stop/parking vehicles, static obstacles, etc.
동적 객체: 주행차량, 보행자, 자전거, 동물, 동적 장애물 등Dynamic objects: moving vehicles, pedestrians, bicycles, animals, dynamic obstacles, etc.
이벤트: 차량의 가속/감속/정지, 보행자 무단횡단, 장애물의 움직임 등Events: vehicle acceleration/deceleration/stop, pedestrian crossing, obstacle movement, etc.
시나리오 도출 시스템은 도로 교통사고영상의 영상 정보로부터 자동으로 차량의 식별 정보(예를 들면, 차종, 모델명 등), 신호표지판 문자 정보, 도로 차선 정보, 도로 주행환경 정보 등을 자동으로 인식할 수 있다. 시나리오 도출 시스템은 인식된 차량의 식별정보, 신호표지판 문자 정보, 도로 차선 정보, 도로 주행환경 정보를 운행환경 정보로 수집할 수 있다. The scenario derivation system can automatically recognize vehicle identification information (eg, vehicle type, model name, etc.), signal sign character information, road lane information, road driving environment information, etc. from image information of road traffic accident images. . The scenario derivation system may collect identification information of a recognized vehicle, character information on a signal sign, information on a road lane, and information on a road driving environment as driving environment information.
시나리오 도출 시스템은 수집된 운행환경 정보를 분석함에 따라 객체 및/또는 이벤트를 탐지할 수 있다. 예를 들면, 운행환경 정보 시스템은 수집된 운행환경 정보를 분석하여 분류된 정적 객체 또는 동적 객체를 각각의 객체 학습 모델을 통하여 학습시킴에 따라 정적 객체 또는 동적 객체를 식별할 수 있다. 또한, 운행환경 정보 시스템은 수집된 운행환경 정보를 분석하여 이벤트를 학습 모델을 통하여 학습시킴에 따라 이벤트를 식별할 수 있다. The scenario derivation system may detect objects and/or events by analyzing the collected driving environment information. For example, the driving environment information system may identify a static object or a dynamic object by analyzing the collected driving environment information and learning the classified static object or dynamic object through each object learning model. In addition, the driving environment information system may identify the event by analyzing the collected driving environment information and learning the event through a learning model.
구체적으로, 시나리오 도출 시스템은 입력된 도로주행 영상으로부터 객체를 감지할 수 있다. 예를 들면, 시나리오 도출 시스템은 도로주행 영상에 포함된 도로, 차량, 자전거, 건물, 표지판, 번호판, 버스정류장, 차선, 신호등 다양한 객체를 감지할 수 있다. 상세하게는, 시나리오 도출 시스템은 도로 인프라(정적 객체)와 도로 사용자/장애물(동적 객체)를 감지할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 신호판/신호등이 있는지 여부를 판단할 수 있고, 도로 차선이 있는지 여부를 판단할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 주행차량이 있는지 여부를 판단할 수 있고, 보행자/자전거가 있는지 여부를 판단할 수 있다.Specifically, the scenario derivation system may detect an object from the inputted road driving image. For example, the scenario derivation system may detect various objects such as roads, vehicles, bicycles, buildings, signs, license plates, bus stops, lanes, and traffic lights included in the road driving image. Specifically, the scenario derivation system may detect road infrastructure (static objects) and road users/obstacles (dynamic objects). In terms of road infrastructure, for example, the driving environment information system can determine whether there is a signal board/traffic light, and can determine whether there is a road lane. In terms of road users/obstacles, for example, the driving environment information system may determine whether there is a driving vehicle, and may determine whether there is a pedestrian/bicycle.
시나리오 도출 시스템은 감지된 객체를 분류할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 신호판/신호등이 존재할 경우, 어떤 종류의 신호판/신호등인지 분석할 수 있다. 또한, 시나리오 도출 시스템은 도로 차선이 존재할 경우, 어떤 종류의 차선인지 분류할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 주행차량이 존재할 경우, 어떤 종류의 주행차량인지 분석할 수 있다. 또한, 시나리오 도출 시스템은 보행자/자전거가 존재할 경우, 보행자/자전거를 분류할 수 있다. The scenario derivation system can classify the detected objects. In terms of road infrastructure, for example, the driving environment information system can analyze what kind of signal board/traffic light exists if there is a signal board/traffic light. In addition, the scenario derivation system can classify what kind of lane if there is a road lane. In terms of road users/obstacles, for example, the driving environment information system can analyze what kind of driving vehicle if there is a driving vehicle. In addition, the scenario derivation system can classify a pedestrian/bicycle when there is a pedestrian/bicycle.
시나리오 도출 시스템은 분류된 객체를 식별할 수 있다. 도로 인프라 측면에서 예를 들면, 운행환경 정보 시스템은 분석된 신호판/신호등이 무슨 뜻의 신호판/신호등인지 식별할 수 있다. 또한, 시나리오 도출 시스템은 분류된 차선의 뜻이 의미하는 바, 몇 차선인지 여부를 식별할 수 있다. 도로 사용자/장애물 측면에서 예를 들면, 운행환경 정보 시스템은 분석된 주행차량의 차종/모델명/기타 정보 등을 식별할 수 있다. 또한, 시나리오 도출 시스템은 분류된 보행자/자전거의 위치를 식별할 수 있다. 시나리오 도출 시스템은 객체를 식별함에 따라 객체와 관련된 객체 정보를 기록 및 저장할 수 있다. The scenario derivation system can identify classified objects. In terms of road infrastructure, for example, the driving environment information system can identify what the analyzed signal board/traffic light means. In addition, the scenario derivation system can identify the number of lanes as the meaning of the classified lanes means. In terms of road users/obstacles, for example, the driving environment information system can identify the vehicle type/model name/other information of the analyzed driving vehicle. In addition, the scenario derivation system can identify the location of the classified pedestrian/bicycle. The scenario derivation system may record and store object information related to the object as the object is identified.
도 3에 도시된 바와 같이, 시나리오 도출 시스템은 도로의 종류, 유형 및 구조, 차선 등을 인식할 수 있다. 예를 들면, 시나리오 도출 시스템은 각각의 블랙박스 영상으로부터 회전 교차로, 버스 정류장, 과속방지턱 및 횡단보도, 교차로, 2차선 도로, 우합류 도로 등을 인식할 수 있다. As shown in FIG. 3, the scenario derivation system can recognize the type, type and structure of roads, lanes, and the like. For example, the scenario derivation system may recognize a turn intersection, a bus stop, a speed bump and a crosswalk, an intersection, a two-lane road, a right-handed road, and the like from each black box image.
또한, 시나리오 도출 시스템은 도로의 표면, 도로의 구조, 도로의 가장자리 및 표식 등의 도로 정보를 인식할 수 있다. 시나리오 도출 시스템은 아스팔트 도로, 벽돌 도로, 콘크리트 도로 등의 도로의 표면, 직선 도로, 곡선 도로, 곡선 도로 등의 도로의 구조, 차선 분리봉 여부를 인식할 수 있다. 예를 들면, 영상정보로부터 아스팔트 도로, 직선 도로, 차선분리봉 없음을 판단할 수 있고, 다른 영상 정보로부터 벽돌 도로, 곡선 도로, 차선분리봉 있음을 판단할 수 있고, 또 다른 영상 정보로부터 콘크리트 도로, 곡선 도로, 차선분리봉 있음을 판단할 수 있다. 또한, 시나리오 도출 시스템은 차선 종류, 차선 수, 중앙분리대 및 차선장벽 여부를 도로 정보를 인식할 수 있다. 시나리오 도출 시스템은 각각의 블랙박스 영상으로부터 도로의 차선 종류, 차선 수, 중앙분리대 있음/없음, 차선장벽 있음/없음 등을 인식할 수 있다. In addition, the scenario derivation system can recognize road information such as the surface of the road, the structure of the road, the edge of the road, and marks. The scenario derivation system can recognize the surface of roads such as asphalt roads, brick roads, and concrete roads, the structure of roads such as straight roads, curved roads, and curved roads, and whether or not there are lane separation bars. For example, it is possible to determine the absence of an asphalt road, a straight road, or a lane separation bar from image information, a brick road, a curved road, and a lane separation bar from other image information, and a concrete road from another image information. , It can be judged that there is a curved road or a lane separation bar. In addition, the scenario derivation system may recognize road information regarding the type of lane, the number of lanes, the median divider, and whether there is a lane barrier. The scenario derivation system can recognize the type of road, the number of lanes, with/without center dividers, with/without lane barriers, etc. from each black box image.
또한, 시나리오 도출 시스템은 교차로, 대교/다리, 도로중앙기둥, 터널, 동적 표지판 등의 도로 정보를 인식할 수 있다. 시나리오 도출 시스템은 영상 정보로부터 복잡 교차로(예를 들면, 5 거리), 도로 중앙기둥, 동적 표지판, 대교/다리, 터널, 자막이 실시간으로 표시되는 동적 표지판의 존재 여부를 판단할 수 있다. In addition, the scenario derivation system can recognize road information such as intersections, bridges/bridges, road central pillars, tunnels, and dynamic signs. The scenario derivation system may determine whether or not there is a complex intersection (eg, 5 streets), a road center pillar, a dynamic sign, a bridge/bridge, a tunnel, and a dynamic sign in which subtitles are displayed in real time from the image information.
또한, 시나리오 도출 시스템은 정적 객체를 수집할 수 있다. 시나리오 도출 시스템은 영상 정보로부터 도로표지판, 교통신호등, 교통안전표지판 등 각종 표시를 정적 객체 정보로 인식할 수 있다. 이때, 도로 표지판의 종류, 교통안전표지판, 도로의 종류에 따른 노선 마크 등과 관련된 정보에 기초하여 정적 객체 정보를 인식할 수 있다. In addition, the scenario derivation system can collect static objects. The scenario derivation system can recognize various indications such as road signs, traffic lights, and traffic safety signs as static object information from image information. In this case, static object information may be recognized based on information related to the type of road sign, traffic safety sign, and route mark according to the type of road.
또한, 시나리오 도출 시스템은 동적 객체를 수집할 수 있다. 시나리오 도출 시스템은 영상 정보로부터 도로주행차량, 보행자, 자전거, 동물, 기타 장애물 등의 동적 객체 정보를 인식할 수 있다. 예를 들면, 동일한 도로 차선에서 주행 중인 선두 차량, 도로 옆차선에서 주행 중인 선두 차량, 선회하는 차량과 도로에 불법 주차한 정지 차량, 도로를 무단횡단하는 보행자(예를 들면, 성인, 남자, 직장인 등)을 동적 객체 정보를 인식할 수 있다. 또한, 시나리오 도출 시스템은 유모차, 장애우 전동휠체어, 오토바이, 캠핑 트레일러 등의 동적 객체 정보를 인식할 수 있다. In addition, the scenario derivation system may collect dynamic objects. The scenario derivation system can recognize dynamic object information such as road vehicles, pedestrians, bicycles, animals, and other obstacles from image information. For example, the leading vehicle driving in the same road lane, the leading vehicle driving in the lane next to the road, turning vehicles and stopped vehicles illegally parked on the road, pedestrians crossing the road without permission (e.g., adults, men, office workers Etc.) to recognize dynamic object information. In addition, the scenario derivation system may recognize dynamic object information such as a stroller, an electric wheelchair for the handicapped, a motorcycle, and a camping trailer.
도 5은 일 실시예에 따른 시나리오 도출 시스템에서 시나리오 도출 방법을 설명하기 위한 상세 흐름도이다. 5 is a detailed flowchart illustrating a scenario derivation method in the scenario derivation system according to an embodiment.
도 5는 도 4에서 설명한 시나리오 도출 방법을 보다 상세하게 설명하기 위한 흐름도이다. 도 4에 기재된 것과 유사하게 프로세스가 수행될 수 있다. 5 is a flowchart for explaining in more detail the method of deriving a scenario described in FIG. 4. A process can be performed similar to that described in FIG. 4.
시나리오 도출 시스템은 교통사고영상을 검색할 수 있다(410). 시나리오 도출 시스템은 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석할 수 있다(420, 430). The scenario derivation system may search for a traffic accident image (410). The scenario derivation system may analyze image information and text information included in the image information from the searched road traffic accident image (420, 430).
시나리오 도출 시스템은 키워드 추출 학습 모델(410)에 기반하여 영상 정보에 포함된 텍스트 정보를 분석할 수 있다. 이때, 키워드 추출 학습 모델(510)은 키워드 정보를 저장하고 있는 데이터베이스를 의미할 수 있고, 키워드 정보를 분류하기 위한 기준이 설정되어 있을 수 있다. 또한, 키워드 추출 학습 모델(510)은 키워드 정보를 학습하기 위하여 딥러닝 기반의 학습 모델을 구성할 수 있고, 구성된 학습 모델에 영상 정보에 포함된 텍스트 정보를 입력하여 학습시킴에 따라 키워드를 학습 결과로 획득할 수 있다. 이와 같이, 시나리오 도출 시스템은 도로 교통사고영상의 영상 정보에 포함된 텍스트 정보를 분석함에 따라 키워드 정보를 추출할 수 있다(421). 시나리오 도출 시스템은 추출된 키워드 정보를 이용하여 키워드 목록을 작성할 수 있다(422). The scenario derivation system may analyze text information included in the image information based on the keyword
시나리오 도출 시스템은 운행환경정보 학습 모델(530)에 기반하여 도로 교통사고영상의 영상 정보를 분석할 수 있다(430). 이때, 운행환경정보 학습 모델(530)은 운행환경정보를 저장하고 있는 데이터베이스를 의미할 수 있고, 운행환경정보를 분류하기 위한 기준이 설정되어 있을 수 있다. 또는, 운행환경정보 학습 모델(530)은 운행환경 정보를 학습하기 위하여 딥러닝 기반의 학습 모델을 구성할 수 있고, 구성된 학습 모델에 영상 정보를 입력하여 학습시킴에 따라 운행환경 정보를 학습 결과로 획득할 수 있다. 이와 같이, 시나리오 도출 시스템은 도로 교통사고영상의 영상 정보를 분석함에 따라 운행환경 정보를 추출할 수 있다(431). 시나리오 도출 시스템은 추출된 운행환경 정보를 이용하여 운행환경 정보 목록을 작성할 수 있다(432). 이때, 시나리오 도출 시스템은 추출된 운행환경 정보를 객체/이벤트 학습 모델(540)에 기반하여 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성할 수 있다(440, 441). 객체/이벤트 학습 모델(540)은 운행환경 정보로부터 객체/이벤트 정보를 추출/분석하기 위한 딥러닝 기반의 학습 모델을 구성할 수 있고, 구성된 학습 모델에 운행환경 정보를 입력하여 학습시킴에 따라 운행환경 정보로부터 객체 또는 이벤트를 학습 결과로 획득할 수 있다.The scenario derivation system may analyze image information of a road traffic accident image based on the driving environment information learning model 530 (430). In this case, the driving environment
시나리오 도출 시스템은 추출된 운행환경 정보 및 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출할 수 있다(450). 추가적으로, 시나리오 도출 시스템은 운행환경 정보로부터 추출된 객체/이벤트 목록까지 함께 맵핑할 수 있다. 시나리오 도출 시스템은 선택 및 조합 학습 모델(520)에 기반하여 교통사고 시나리오를 매핑할 수 있다. 선택 및 조합 학습 모델(520)은 교통사고 시나리오를 맵핑하기 위한 선택 및 조합 방법을 저장하고 있을 수 있다. 선택 및 조합 학습 모델(520)은 교통사고 시나리오를 맵핑하기 위한 선택 및 조합하기 위한 딥러닝 기반의 학습 모델을 구성할 수 있고, 구성된 학습 모델에 운행환경 정보, 텍스트 정보, 객체/이벤트 정보를 입력하여 학습시킴에 따라 학습 결과로 사고 시나리오가 맵핑될 수 있다. 시나리오 도출 시스템은 육하원칙에 기반하여 사고 시나리오를 도출할 수 있다(451). 시나리오 도출 시스템은 사고 시나리오가 맵핑됨에 따라 도출된 사고 시나리오를 사고 시나리오 데이터베이스(550)에 저장할 수 있다. The scenario derivation system may derive a traffic accident scenario by mapping the extracted driving environment information and keyword information extracted from text information included in the analyzed image information (450 ). In addition, the scenario derivation system can map the object/event list extracted from the driving environment information together. The scenario derivation system may map a traffic accident scenario based on the selection and
도 6 내지 도 12는 일 실시예에 따른 시나리오 도출 시스템에서 시나리오를 도출하는 예를 나타낸 도면이다. 6 to 12 are diagrams illustrating an example of deriving a scenario in a scenario deriving system according to an embodiment.
도 6 내지 도 12에서는 동영상 사이트에서 교통사고 관련 블랙박스 영상을 검색 및 수집하고, 게시된 영상을 활용하여 영상 제목 및 내용에 대한 사고 키워드 분석, 사고 발생 지점의 운행환경 정보 추출 및 분석, 사고 당사자인 객체(차량, 보행자, 자전거 등)와 해당 객체들의 이벤트(이동, 정지 등)를 탐지/추적 분석하여 교통사고 시나리오를 도출하는 것을 설명하기로 한다. 6 to 12, search and collect black box images related to traffic accidents from a video site, analyze accident keywords for the title and contents of the video using the posted images, extract and analyze driving environment information at the point of accident, and the person involved in the accident. Deriving a traffic accident scenario by detecting/tracking and analyzing human objects (vehicles, pedestrians, bicycles, etc.) and events (moving, stopping, etc.) of the objects will be described.
도 6을 참고하면, 도로 교통사고영상이 검색될 수 있다. 사용자는 전자 기기를 통하여 SNS, 컨텐츠 서비스, 포털 검색 등에 기초하여 도로 교통사고 영상 또는 도로 교통사고영상과 관련된 정보를 제공하는 인물을 검색할 수 있다. 예를 들면, 사용자는 YouTube에서 "블랙박스", "교통사고", "한문철" 등의 도로 교통사고 영상을 검색할 수 있다. Referring to FIG. 6, a road traffic accident image may be searched. A user may search for a person who provides information related to a road traffic accident image or a road traffic accident image based on an SNS, a content service, a portal search, or the like through an electronic device. For example, a user can search for road traffic accident videos such as "black box", "traffic accident", and "Hanmun-cheol" on YouTube.
도 7을 참고하면, 도로 교통사고영상을 수집할 수 있다. 이때, 영상 이미지 추출을 통한 정확한 교통사고 원인 분석을 위하여 영상을 다운로드할 수 있다. 또는 영상 이미지를 캡쳐할 수도 있다. 예를 들면, 사용자의 전자 기기에 영상을 다운로드할 수 있다. 이때, 사용자의 전자 기기에 영상을 다운로드한 영상 리스트가 표시될 수 있고, 영상 리스트에 영상의 크기, 영상의 재생 시간, 영상의 제목을 포함하는 영상 정보를 함께 표시할 수 있다. Referring to FIG. 7, road traffic accident images may be collected. In this case, the image may be downloaded for accurate analysis of the cause of a traffic accident through image extraction. Alternatively, you can capture a video image. For example, an image can be downloaded to the user's electronic device. In this case, a list of images that have downloaded an image may be displayed on the user's electronic device, and image information including a size of an image, a playback time of the image, and a title of the image may be displayed together in the image list.
도 8을 참고하면, 도로 교통사고영상의 영상 정보와 관련된 영상 제목, 게시글 등의 내용으로부터 키워드를 추출 및 분석하여 키워드 목록을 생성할 수 있다. 영상 정보에 포함된 텍스트 정보가 추출될 수 있고, 영상 정보와 관련된 게시글로부터 텍스트 정보가 추출될 수 있다. 예를 들면, 영상 정보와 관련된 게시글로부터 키워드를 분석함에 따라 횡단보도, 빨간불, 자전거, 무단횡단, 교통사고를 포함하`는 키워드 목록이 생성될 수 있다. Referring to FIG. 8, a keyword list may be generated by extracting and analyzing a keyword from content such as an image title and a post related to image information of a road traffic accident image. Text information included in the image information may be extracted, and text information may be extracted from a post related to the image information. For example, as keywords are analyzed from postings related to image information, a keyword list of'including crosswalks, red lights, bicycles, crosswalks, and traffic accidents' may be generated.
도 9를 참고하면, 도로 교통사고영상의 영상 정보를 분석할 수 있다. 도로 교통사고영상의 운행환경 정보를 분석하여 운행환경 정보 목록을 생성할 수 있다. 이때, 도로 교통사고영상은 원본의 도로 교통사고영상에 특정 처리된 가공된 도로 교통사고영상일 수 있다. 다시 말해서, 원본의 도로 교통사고영상에 자막 또는 블러 처리 등이 추가된 형태의 가공된 도로 교통사고영상일 수 있다. 도로 교통사고영상의 영상 정보를 분석할 수 있고, 영상 정보 내의 텍스트를 인식하여 운행환경정보를 분석할 수 있다. 예를 들면, 날씨: 낮/맑음, 교통신호등: 빨간불, 객체: 흰색 승용차, 객체: 자전거(어린이), 위치: 횡단보도, 도로: 교차로, 일자: 19.5.30. 19시경, 장소: 충남 공주시를 포함하는 운행환경정보 목록이 생성될 수 있다. Referring to FIG. 9, image information of a road traffic accident image may be analyzed. The driving environment information list can be generated by analyzing the driving environment information of the road traffic accident image. In this case, the road traffic accident image may be a processed road traffic accident image processed specifically to the original road traffic accident image. In other words, it may be a processed road traffic accident image in which a caption or blur process is added to the original road traffic accident image. The image information of the road traffic accident image can be analyzed, and the driving environment information can be analyzed by recognizing the text in the image information. For example, Weather: Day/Sunny, Traffic Light: Red Light, Object: White Car, Object: Bicycle (Child), Location: Pedestrian Crossing, Road: Intersection, Date: 19.5.30. Around 19 o'clock, place: A list of driving environment information including Gongju City, Chungcheongnam-do may be created.
도 10을 참고하면, 도로 교통사고영상의 영상 정보를 분석함에 따라 객체 또는 이벤트 정보를 추출할 수 있고, 추출된 객체 또는 이벤트 정보를 이용하여 탐지추적 목록을 작성할 수 있다. 도로 교통사고영상의 영상 정보를 분석함에 따라 운행환경정보 목록이 생성될 수 있고, 생성된 운행환경정보 목록에 포함된 객체 또는 이벤트를 추적할 수 있다. 예를 들면, 운행환경정보 목록에 객체로 흰색 자동차, 자전거(어린이)가 추출되어 포함되어 있을 수 있다. 흰색 자동차와 자전거(어린이)를 기 설정된 시간동안 추적할 수 있다. 예를 들면, 흰색 자동차와 자전거를 포함하는 객체를 인지 및 식별할 수 있다. 인지 및 식별된 객체의 이동(이벤트)을 탐지할 수 있다. 흰색 승용차가 우측 방향으로 이동하는 것을 탐지할 수 있고, 자전거가 앞쪽 방향으로 이동하는 것을 탐지할 수 있다. 탐지된 객체 이동(이벤트)를 추적할 수 있다. 이때, 흰색 승용차는 우측 방향으로 계속 이동함을 추적할 수 있고, 자전거는 앞쪽 방향으로 계속 이동하는 것을 추적할 수 있다. 그리고 나서, 객체의 겹침(이벤트)를 식별할 수 있다. 흰색 승용차와 자전거가 충돌(교통사고)하는 것을 식별할 수 있다. 그 후, 이벤트가 종료될 수 있다. 흰색 승용차와 자전거가 정지함을 확인할 수 있다. Referring to FIG. 10, object or event information may be extracted by analyzing image information of a road traffic accident image, and a detection tracking list may be created using the extracted object or event information. As the image information of the road traffic accident image is analyzed, a driving environment information list may be generated, and an object or event included in the generated driving environment information list may be tracked. For example, white cars and bicycles (children) may be extracted and included as objects in the driving environment information list. White cars and bicycles (children) can be tracked for a preset time. For example, objects including white cars and bicycles can be recognized and identified. The movement (event) of recognized and identified objects can be detected. It can detect a white car moving in the right direction, and it can detect a bicycle moving in the forward direction. Detected object movement (event) can be tracked. At this time, the white passenger car can track the movement in the right direction, and the bicycle can track the movement in the forward direction. Then, you can identify the overlap (event) of the object. It is possible to identify a collision (traffic accident) between a white car and a bicycle. After that, the event can be ended. You can see that white cars and bicycles stop.
도 11를 참고하면, 키워드 목록과 운행환경 정보 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑할 수 있다. 키워드 목록 및 운행환경 정보 목록에 존재하는 각각의 정보들을 육하원칙에 기반하여 분류할 수 있다. Referring to FIG. 11, scenario information based on ground and ground principles may be mapped using a keyword list and a driving environment information list. Each of the information existing in the keyword list and the driving environment information list can be classified based on the six-and-a-half principle.
도 12를 참고하면, 육하원칙에 기반하여 분류된 정보들을 키워드 가중치 선택 및 조합에 기초하여 사고 시나리오를 도출할 수 있다. 육하원칙에 기반하여 분류된 정보들을 기 설정된 기준, 예를 들면, 중복되는 단어들을 선택하여 사고 시나리오를 도출할 수 있다. 예를 들면, 육하원칙에 분류된 정보들이 기 설정된 횟수 이상 존재할 경우, 기 설정된 횟수 이상 존재하는 단어를 1순위로 지정할 수 있다. 또는, 구체적으로 존재하는 정보를 1순위로 지정할 수 있다. 예를 들면, 시간 정보 또는 일자 정보가 '19.05.30 19시경'과 같이 수치적으로 표현된 경우, 또는, 지역 정보가 '충남 공주시'와 같이 실제 존재하는 지역명일 경우, 추출할 수 있다. 이러한 조합에 의하여 육하원칙 기반의 사고 시나리오가 도출될 수 있다. Referring to FIG. 12, it is possible to derive an accident scenario based on keyword weight selection and combination of classified information based on the rule of thumb. An accident scenario can be derived by selecting a preset criterion, for example, overlapping words, for classified information based on the six-and-a-half principle. For example, when the information classified in the sixth rule exists more than a preset number of times, words that exist more than a preset number of times may be designated as first priority. Alternatively, information that specifically exists may be designated as the first priority. For example, when time information or date information is expressed numerically, such as '19.05.30 around 19:00', or when the area information is an actual area name such as'Gongju, Chungnam', it can be extracted. By this combination, an accident scenario based on the ground and ground principle can be derived.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and drawings as described above, various modifications and variations can be made from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.
Claims (14)
도로 교통사고영상을 검색하는 단계;
상기 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석하는 단계;
상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출하는 단계; 및
상기 추출된 운행환경 정보 및 상기 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출하는 단계
를 포함하는 시나리오 도출 방법. In the scenario derivation method,
Searching for a road traffic accident image;
Analyzing image information and text information included in the image information from the searched road traffic accident image;
Extracting driving environment information and text information from the analyzed image information and text information included in the image information; And
Deriving a traffic accident scenario by mapping keyword information extracted from the extracted driving environment information and text information included in the analyzed image information
A method of deriving a scenario that includes a.
상기 추출하는 단계는,
상기 도로 교통사고영상으로부터 영상 정보를 분석함에 따라 도로 정보, 정적 객체, 동적 객체, 이벤트를 포함하는 운행환경 정보를 추출하고, 상기 영상 정보의 영상 제목 또는 내용을 포함하는 텍스트 정보를 분석함에 따라 키워드를 추출하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 1,
The extracting step,
As the image information is analyzed from the road traffic accident image, driving environment information including road information, static objects, dynamic objects, and events is extracted, and text information including the image title or content of the image information is analyzed. Steps to extract
A method of deriving a scenario that includes a.
상기 추출하는 단계는,
상기 추출된 운행환경 정보로부터 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 2,
The extracting step,
Generating an object/event list by analyzing and extracting object information and event information from the extracted driving environment information
A method of deriving a scenario that includes a.
상기 추출하는 단계는,
상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출함에 따라 키워드 목록 및 운행환경 정보 목록을 생성하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 2,
The extracting step,
Generating a keyword list and a driving environment information list by extracting driving environment information and text information from the analyzed image information and text information included in the image information
A method of deriving a scenario that includes a.
상기 도출하는 단계는,
상기 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 상기 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 1,
The deriving step,
Mapping scenario information based on the ground rules using a list of driving environment information generated from the extracted driving environment information and a list of keywords generated by extracting text information included in the analyzed image information
A method of deriving a scenario that includes a.
상기 도출하는 단계는,
상기 운행환경 정보 목록에 포함된 운행환경 정보 및 상기 키워드 목록에 포함된 키워드 정보를 육하원칙에 기반하여 분류하고, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보를 선택 및 조합하여 사고 시나리오를 도출하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 5,
The deriving step,
The driving environment information included in the driving environment information list and the keyword information included in the keyword list are classified based on the ground and ground principles, and the driving environment information and keyword information classified based on the ground and ground principles are selected and combined to derive an accident scenario. Steps to do
A method of deriving a scenario that includes a.
상기 도출하는 단계는,
상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보에 대한 가중치에 따라 추출된 시나리오 정보를 이용하여 사고 시나리오를 도출하는 단계
를 포함하는 시나리오 도출 방법. The method of claim 6,
The deriving step,
Deriving an accident scenario by using the scenario information extracted according to the weight of the driving environment information and keyword information classified based on the land and ground principle.
A method of deriving a scenario that includes a.
도로 교통사고영상을 검색하는 검색부;
상기 검색된 도로 교통사고영상으로부터 영상 정보 및 영상 정보에 포함된 텍스트 정보를 분석하는 분석부;
상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출하는 추출부; 및
상기 추출된 운행환경 정보 및 상기 분석된 영상 정보에 포함된 텍스트 정보로부터 추출된 키워드 정보를 맵핑함에 따라 교통사고 시나리오를 도출하는 도출부
를 포함하는 시나리오 도출 시스템. In the scenario derivation system,
A search unit for searching road traffic accident images;
An analysis unit for analyzing image information and text information included in the image information from the searched road traffic accident image;
An extraction unit for extracting driving environment information and text information from the analyzed image information and text information included in the image information; And
A derivation unit for deriving a traffic accident scenario by mapping the extracted driving environment information and keyword information extracted from text information included in the analyzed image information
Scenario derivation system comprising a.
상기 추출부는,
상기 도로 교통사고영상으로부터 영상 정보를 분석함에 따라 도로 정보, 정적 객체, 동적 객체, 이벤트를 포함하는 운행환경 정보를 추출하고, 상기 영상 정보의 영상 제목 또는 내용을 포함하는 텍스트 정보를 분석함에 따라 키워드를 추출하는
것을 특징으로 하는 시나리오 도출 시스템.The method of claim 8,
The extraction unit,
As the image information is analyzed from the road traffic accident image, driving environment information including road information, static objects, dynamic objects, and events is extracted, and text information including the image title or content of the image information is analyzed. To extract
Scenario derivation system, characterized in that.
상기 추출부는,
상기 추출된 운행환경 정보로부터 객체 정보 및 이벤트 정보를 분석 및 추출하여 객체/이벤트 목록을 생성하는
것을 특징으로 하는 시나리오 도출 시스템.The method of claim 9,
The extraction unit,
Analyzing and extracting object information and event information from the extracted driving environment information to create an object/event list
Scenario derivation system, characterized in that.
상기 추출하는 단계는,
상기 분석된 영상 정보 및 상기 영상 정보에 포함된 텍스트 정보로부터 운행환경 정보 및 텍스트 정보를 추출함에 따라 키워드 목록 및 운행환경 정보 목록을 생성하는
것을 특징으로 하는 시나리오 도출 시스템.The method of claim 9,
The extracting step,
Generating a keyword list and a driving environment information list by extracting driving environment information and text information from the analyzed image information and text information included in the image information
Scenario derivation system, characterized in that.
상기 도출부는,
상기 추출된 운행환경 정보로부터 생성된 운행환경 정보 목록 및 상기 분석된 영상 정보에 포함된 텍스트 정보를 추출함에 따라 생성된 키워드 목록을 이용하여 육하원칙 기반의 시나리오 정보를 맵핑하는
것을 특징으로 하는 시나리오 도출 시스템.The method of claim 8,
The lead-out unit,
Mapping the scenario information based on the sixth principle by using a list of driving environment information generated from the extracted driving environment information and a list of keywords generated by extracting text information included in the analyzed image information.
Scenario derivation system, characterized in that.
상기 도출부는,
상기 운행환경 정보 목록에 포함된 운행환경 정보 및 상기 키워드 목록에 포함된 키워드 정보를 육하원칙에 기반하여 분류하고, 상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보를 선택 및 조합하여 사고 시나리오를 도출하는
것을 특징으로 하는 시나리오 도출 시스템.The method of claim 12,
The lead-out unit,
The driving environment information included in the driving environment information list and the keyword information included in the keyword list are classified based on the ground and ground principles, and the driving environment information and keyword information classified based on the ground and ground principles are selected and combined to derive an accident scenario. doing
Scenario derivation system, characterized in that.
상기 도출부는,
상기 육하원칙에 기반하여 분류된 운행환경 정보 및 키워드 정보에 대한 가중치에 따라 추출된 시나리오 정보를 이용하여 사고 시나리오를 도출하는
것을 특징으로 하는 시나리오 도출 시스템.
The method of claim 13,
The lead-out unit,
The accident scenario is derived by using the scenario information extracted according to the weight of the driving environment information and keyword information classified based on the above ground and ground principles.
Scenario derivation system, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190134415A KR102306085B1 (en) | 2019-10-28 | 2019-10-28 | Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190134415A KR102306085B1 (en) | 2019-10-28 | 2019-10-28 | Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210050150A true KR20210050150A (en) | 2021-05-07 |
| KR102306085B1 KR102306085B1 (en) | 2021-09-28 |
Family
ID=75916610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190134415A KR102306085B1 (en) | 2019-10-28 | 2019-10-28 | Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102306085B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792106A (en) * | 2021-08-18 | 2021-12-14 | 北京百度网讯科技有限公司 | Road state updating method and device, electronic equipment and storage medium |
| KR20220161785A (en) * | 2021-05-31 | 2022-12-07 | 영남대학교 산학협력단 | System and method of traffic accident detection |
| KR102643655B1 (en) * | 2022-09-23 | 2024-03-04 | 아주대학교산학협력단 | Autonomous driving simulation method and device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008261991A (en) * | 2007-04-11 | 2008-10-30 | Toyota Central R&D Labs Inc | Safety evaluation apparatus |
| KR101593676B1 (en) * | 2014-08-08 | 2016-02-15 | 고려대학교 산학협력단 | Method and device for perceiving driving situation |
| KR20160112580A (en) * | 2015-03-20 | 2016-09-28 | 주식회사 엠디테크 | Apparatus and method for reconstructing scene of traffic accident using OBD, GPS and image information of vehicle blackbox |
| KR20180126193A (en) * | 2017-05-17 | 2018-11-27 | 현대오토에버 주식회사 | Autonomous Driving Test System |
| JP2020123351A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． | Method and device for creating traffic scenario adapted to domain for virtual traveling environment for learning, testing, and verification of autonomous travel vehicle |
-
2019
- 2019-10-28 KR KR1020190134415A patent/KR102306085B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008261991A (en) * | 2007-04-11 | 2008-10-30 | Toyota Central R&D Labs Inc | Safety evaluation apparatus |
| KR101593676B1 (en) * | 2014-08-08 | 2016-02-15 | 고려대학교 산학협력단 | Method and device for perceiving driving situation |
| KR20160112580A (en) * | 2015-03-20 | 2016-09-28 | 주식회사 엠디테크 | Apparatus and method for reconstructing scene of traffic accident using OBD, GPS and image information of vehicle blackbox |
| KR20180126193A (en) * | 2017-05-17 | 2018-11-27 | 현대오토에버 주식회사 | Autonomous Driving Test System |
| JP2020123351A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． | Method and device for creating traffic scenario adapted to domain for virtual traveling environment for learning, testing, and verification of autonomous travel vehicle |
Non-Patent Citations (1)
| Title |
|---|
| I.R.Jenkins et al., 'Accident Scenario Generation with Recurrent Neural Networks,' 2018 21st International Conference on Intelligent Transportation SSystmes, 4-7 Nov.2018 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220161785A (en) * | 2021-05-31 | 2022-12-07 | 영남대학교 산학협력단 | System and method of traffic accident detection |
| CN113792106A (en) * | 2021-08-18 | 2021-12-14 | 北京百度网讯科技有限公司 | Road state updating method and device, electronic equipment and storage medium |
| CN113792106B (en) * | 2021-08-18 | 2024-05-28 | 北京百度网讯科技有限公司 | Road state updating method and device, electronic equipment and storage medium |
| KR102643655B1 (en) * | 2022-09-23 | 2024-03-04 | 아주대학교산학협력단 | Autonomous driving simulation method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102306085B1 (en) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Scholtes et al. | 6-layer model for a structured description and categorization of urban traffic and environment | |
| KR102440938B1 (en) | Method and device for creating traffic scenario with domain adaptation on virtual driving environment for testing, validating, and training autonomous vehicle | |
| US20200250067A1 (en) | Autonomous Vehicle Testing Systems and Methods | |
| Kaparias et al. | Analysis of pedestrian–vehicle traffic conflicts in street designs with elements of shared space | |
| Gazis et al. | The problem of the amber signal light in traffic flow | |
| KR102306085B1 (en) | Method and procedure for driving autonomous test scenario using traffic accident image based on operational environment information in road traffic | |
| US20170329332A1 (en) | Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object | |
| Barmpounakis et al. | Intelligent transportation systems and powered two wheelers traffic | |
| Iryo-Asano et al. | Analysis and modeling of pedestrian crossing behavior during the pedestrian flashing green interval | |
| Zyner et al. | Acfr five roundabouts dataset: Naturalistic driving at unsignalized intersections | |
| So et al. | Generating traffic safety test scenarios for automated vehicles using a big data technique | |
| KR102377044B1 (en) | Apparatus and method for evaluating walking safety risk, and recording media recorded program realizing the same | |
| Bella et al. | Driver-pedestrian interaction under legal and illegal pedestrian crossings | |
| Chaudhari et al. | Deriving pedestrian risk index by vehicle type and road geometry at midblock crosswalks under heterogeneous traffic conditions | |
| KR20210014239A (en) | Method and apparatus for collecting and analyzing operational environment information for autonomous vehicles using road images | |
| Twaddle et al. | Use of automated video analysis for the evaluation of bicycle movement and interaction | |
| CN114730492A (en) | Assertion vehicle detection model generation and implementation | |
| Noh et al. | SafetyCube: Framework for potential pedestrian risk analysis using multi-dimensional OLAP | |
| Zaki et al. | Comprehensive safety diagnosis using automated video analysis: Applications to an urban intersection in Edmonton, Alberta, Canada | |
| US20220172606A1 (en) | Systems and Methods for Extracting Data From Autonomous Vehicles | |
| Zheng et al. | Analyses of multiyear statewide secondary crash data and automatic crash report reviewing | |
| Alessandrini et al. | Automated road transport systems (ARTS)—The safe way to integrate automated road transport in urban areas | |
| Chae | Simulation of Pedestrian-vehicle Interactions at Roundabouts. | |
| Prakken | On making autonomous vehicles respect traffic law: a case study for dutch law | |
| HUNG | DATA-DRIVEN UNDERSTANDING OF AI-BASED TRAFFIC SIGNAL CONTROL AND ITS IMPLICATIONS ON LOW-CARBON URBAN TRANSPORT SYSTEMS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |