KR102065693B1 - Method and system for standardizing machine learning data for autonomous vehicles - Google Patents

Method and system for standardizing machine learning data for autonomous vehicles Download PDF

Info

Publication number
KR102065693B1
KR102065693B1 KR1020180129096A KR20180129096A KR102065693B1 KR 102065693 B1 KR102065693 B1 KR 102065693B1 KR 1020180129096 A KR1020180129096 A KR 1020180129096A KR 20180129096 A KR20180129096 A KR 20180129096A KR 102065693 B1 KR102065693 B1 KR 102065693B1
Authority
KR
South Korea
Prior art keywords
machine learning
autonomous vehicle
grid
information
grid map
Prior art date
Application number
KR1020180129096A
Other languages
Korean (ko)
Inventor
원종훈
임지웅
한형진
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180129096A priority Critical patent/KR102065693B1/en
Application granted granted Critical
Publication of KR102065693B1 publication Critical patent/KR102065693B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Abstract

The present invention relates to a method and system for standardizing machine learning data for autonomous vehicle and, more specifically, to a method and system capable of performing learning while reducing operation load by gridizing and standardizing data of machine learning in performing autonomous driving by recognizing situation around an autonomous vehicle. The system comprises: a cognitive information providing unit obtaining cognitive information by sensing surrounding environment of an autonomous vehicle; a cognitive information integration module coding the cognitive information; and a grid map generation module generating a grid map using the coded cognitive information.

Description

자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템{METHOD AND SYSTEM FOR STANDARDIZING MACHINE LEARNING DATA FOR AUTONOMOUS VEHICLES}METHOD AND SYSTEM FOR STANDARDIZING MACHINE LEARNING DATA FOR AUTONOMOUS VEHICLES}

본 발명은 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 자율 주행 차량이 주변의 상황을 인식하여 자율주행을 수행함에 있어서 기계학습의 데이터를 격자화 및 표준화 하여 연산부하를 감소시키면서 학습을 수행할 수 있는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for standardizing machine learning data for an autonomous vehicle. More particularly, the present invention relates to calculation and standardization of machine learning data in an autonomous vehicle performing autonomous driving by recognizing a surrounding situation. It relates to a method and system that can perform learning while reducing the load.

차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle 또는 Self-Driving Car)에 대한 개발이 활발하게 이루어 지고 있다.For the convenience of a user using a vehicle, various types of sensors, electronic devices, and the like are provided. In particular, research on the Advanced Driver Assistance System (ADAS) has been actively conducted for the convenience of the user's driving. In addition, the development of autonomous vehicles (Autonomous Vehicles or Self-Driving Cars) is being actively made.

기존 차량 및 자율 주행에 관한 시뮬레이터는 다양한 사고 환경을 설정하고 이에 대응하는 사고 대응 알고리즘을 설계할 수 있다. 특히, 시뮬레이터는 차량에 존재하는, 혹은 부착 가능한 센서를 기반으로 주행 환경 및 주행 알고리즘을 구현 할 수 있다. Existing vehicles and simulators for autonomous driving can set up various accident environments and design accident response algorithms. In particular, the simulator may implement a driving environment and a driving algorithm based on a sensor existing or attached to the vehicle.

기존 자율 주행을 위한 기계학습에 관한 기술은 자율 주행 차량의 각종 센서로부터 취득가능한 센서 데이터 및 차량의 상태를 기반으로 기계학습을 진행하였고, 이를 통해 차량의 행동 결정을 수행하였다. 특히 취득한 센서 데이터는 차량, 교통 신호, 차선, 보행자 등의 데이터로 인지 및 분류하여 자율 주행을 위한 기계학습에 이용되었다. 그러나 종래 기술에서는 이러한 인지 및 분류된 데이터에 대해 일관된 형식이 없고, 누락된 정보를 이용하여 자율 주행을 위한 기계학습을 수행하여 시스템의 부하가 과하다는 문제점이 있다.The existing technology for machine learning for autonomous driving proceeds with machine learning based on sensor data obtainable from various sensors of an autonomous vehicle and the state of the vehicle, thereby determining the behavior of the vehicle. In particular, the acquired sensor data was recognized and classified as data of vehicles, traffic signals, lanes, pedestrians, etc., and used for machine learning for autonomous driving. However, there is a problem in the prior art that there is no consistent format for such recognized and classified data, and the system load is excessive by performing machine learning for autonomous driving using the missing information.

따라서, 본 발명의 목적은 차량의 센서로부터 인지 및 분류한 데이터를 특정한 형식으로 통합하고, 생성된 데이터를 통해 가상의 Top View 형식의 2D/3D 격자형 맵을 생성 및 자율 주행을 위한 기계 학습에 사용하는 것으로, 일관된 형식으로 정보의 누락 없이 기계학습을 수행하는 기술을 제공하는 데 있다.Accordingly, an object of the present invention is to integrate data recognized and classified from a sensor of a vehicle into a specific format, and to generate a 2D / 3D lattice map in a virtual Top View format through the generated data and to machine learning for autonomous driving. It is to provide technology to perform machine learning in a consistent format without missing information.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 인지정보 제공부; 상기 인지정보를 코드화 하는 인지정보 통합 모듈; 및 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 격자형 맵 생성 모듈;을 포함할 수 있다.Machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention for solving the above problems is a cognitive information providing unit for obtaining the cognitive information by sensing the surrounding environment of the autonomous vehicle; Cognitive information integration module for encoding the recognition information; And a grid map generation module for generating a grid map using the encoded recognition information.

본 발명의 일 실시 예에 따르면, 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 학습부;를 더 포함할 수 있다.According to an embodiment of the present invention, the learning unit for performing a machine learning using the coded cognitive information; may further include.

본 발명의 일 실시 예에 따르면, 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다.According to an embodiment of the present disclosure, the recognition information may include state, vehicle, pedestrian, traffic signal, lane, and object information.

본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 모듈은 Top View 형식의 2D 또는 3D 격자형 맵을 생성할 수 있다.According to an embodiment of the present disclosure, the grid map generation module may generate a 2D or 3D grid map in a top view format.

본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 모듈은 상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시킬 수 있다.According to an embodiment of the present disclosure, the grid map generation module may increase the size of the grid in proportion to the speed of the autonomous vehicle.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계; 상기 인지정보를 코드화 하는 단계; 및 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계;를 포함할 수 있다.Machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention for solving the above problems is a step of obtaining the cognitive information by sensing the surrounding environment of the autonomous vehicle; Encoding the recognition information; And generating a grid map using the encoded recognition information.

본 발명의 일 실시 예에 따르면, 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계;를 더 포함할 수 있다.According to an embodiment of the present invention, the method may further include performing machine learning using the encoded recognition information.

본 발명의 일 실시 예에 따르면, 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다.According to an embodiment of the present disclosure, the recognition information may include state, vehicle, pedestrian, traffic signal, lane, and object information.

본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 단계는 Top View 형식의 2D 또는 3D 격자형 맵을 생성할 수 있다.According to an embodiment of the present disclosure, the grid map generation step may generate a 2D or 3D grid map in a top view format.

본 발명의 일 실시 예에 따르면, 상기 격자형 맵 생성 단계는 상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시킬 수 있다.According to an embodiment of the present disclosure, the generating of the grid map may increase the size of the grid in proportion to the speed of the autonomous vehicle.

본 발명의 End to End 기반 자율 주행을 위한 기계 학습용 인지 데이터 통합에 따르면, 인지된 정보에 대해 특정한 형식으로 통합함으로 써, 정보의 누락 없이 일관된 형식을 통해 End to End 방식으로 기계 학습을 수행한다는 효과가 있다. According to the cognitive data integration for machine learning for the end-to-end autonomous driving of the present invention, by integrating the recognized information into a specific format, the effect of performing machine learning in a consistent format without missing information by performing a consistent format There is.

또한, 자율주행 차량의 학습에 있어서 시스템의 부하를 감소시킬 수 있다. It is also possible to reduce the load on the system in the learning of autonomous vehicles.

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.On the other hand, the effects of the present invention is not limited to the above-mentioned effects, various effects may be included within the scope apparent to those skilled in the art from the following description.

도 1은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보를 통합하는 형식의 일 예시이다.
도 3은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보의 Type 및 Sign의 값의 예시이다.
도 4는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 5는 속도 변화에 따른 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.
도 6은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 적용의 예시이다.
도 7은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 흐름도이다.1 is a block diagram of a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.
2 is an example of a format for integrating cognitive information of the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.
3 is an example of values of Type and Sign of recognition information of a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.
4 is an example of a grid map implemented by a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.
5 is an example of a lattice map implemented by the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention according to a speed change.
6 is an example of the application of the machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention.
7 is a flowchart illustrating a method of standardizing machine learning data for an autonomous vehicle according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 '자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.Hereinafter, with reference to the accompanying drawings will be described in detail the 'machine learning data standardization method and system for autonomous driving vehicle' according to the present invention. The described embodiments are provided to enable those skilled in the art to easily understand the technical spirit of the present invention, and the present invention is not limited thereto. In addition, matters represented in the accompanying drawings may be different from the form actually embodied in the schematic drawings in order to easily explain the embodiments of the present invention.

한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다. In addition, each component expressed below is only an example for implementing this invention. Thus, other implementations may be used in other implementations of the invention without departing from the spirit and scope of the invention.

또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다. In addition, each component may be implemented by purely hardware or software configurations, but may also be implemented by a combination of various hardware and software components that perform the same function. In addition, two or more components may be implemented together by one hardware or software.

또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다. In addition, the expression "comprising" certain components merely refers to the presence of the components as an 'open' expression, and should not be understood as excluding additional components.

도 1은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 블록도이다.1 is a block diagram of a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1)은 인지정보 제공부(10), 인지정보 통합부(20) 및 학습부(30)를 포함할 수 있다.Referring to FIG. 1, the machine learning data standardization system 1 for an autonomous vehicle according to an embodiment of the present invention may include a cognitive information providing unit 10, a cognitive information integration unit 20, and a learning unit 30. It may include.

상기 인지정보 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 인지정보 제공부(10)는 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 인지정보 제공부(10)는 카메라, 라이다(lidar), 레이다(radar), 초음파(ultra-sonic) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다, 레이다 및 초음파는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다. The cognitive information providing unit 10 may detect the surrounding environment of the autonomous vehicle when the autonomous vehicle performs autonomous driving. The cognitive information providing unit 10 detects an image of the surroundings of the autonomous vehicle, an obstacle located around the autonomous vehicle, the number of lanes of the road on which the autonomous vehicle is running, an intersection, a location, and a change of a traffic light. can do. The recognition information provider 10 may recognize location information of the autonomous vehicle. The recognition information providing unit 10 may sense all information for performing autonomous driving. The cognitive information providing unit 10 may include a camera, a lidar, a radar, an ultrasonic wave, and a GPS / INS. The camera may capture an image in all directions including front, side, and rear of the autonomous vehicle. The lidar, radar, and ultrasonic waves may detect obstacles around the autonomous vehicle. The obstacle may include a vehicle, a building, a wall, a blocking rod, a bump, and the like. The GPS / INS may acquire and provide current location information of the autonomous vehicle.

상기 인지정보 제공부(10)가 획득한 정보들은 인지 정보라고 지칭할 수 있다. 상기 인지정보는 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다. 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다. 상기 물체는 차량 이외의 장애물들을 포함할 수 있다. Information obtained by the cognitive information providing unit 10 may be referred to as cognitive information. The recognition information may include an image, a distance to an obstacle, and location information of an autonomous vehicle. The recognition information may include state, vehicle, pedestrian, traffic signal, lane, and object information. The object may include obstacles other than the vehicle.

상기 인지정보 제공부(10)는 상기 인지정보를 상기 인지정보 통합부(20)에 전달할 수 있다.The recognition information providing unit 10 may deliver the recognition information to the recognition information integrating unit 20.

상기 인지정보 통합부(20)는 인지정보 통합 모듈(210) 및 격자형 맵 생성 모듈(220)을 포함할 수 있다.The cognitive information integrating unit 20 may include a cognitive information integrating module 210 and a grid map generation module 220.

상기 인지정보 통합 모듈(210)에서 전송되는 값을 수신할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 기계학습에 사용할 수 있는 형식으로 통합할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 코드화 할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 그 속성에 따른 값(Value)을 지정해 구분하여 코드화 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보 속에 따른 값을 지정하고, 속성에 따른 표시색을 지정하여 코드화할 수 있다.A value transmitted from the recognition information integration module 210 may be received. The cognitive information integration module 210 may integrate the cognitive information into a format that can be used for machine learning. The recognition information integration module 210 may encode the recognition information. The recognition information integration module 210 may classify and encode the recognition information by specifying a value according to its property. The recognition information integration module 210 may designate a value according to the recognition information and specify and code a display color according to an attribute.

상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 상기 인지정보 통합 모듈(210)에서 수신할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 이용해 상기 자율 주행 차량 주변환경의 격자형 맵을 생성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주변환경을 Top View 형식의 2D 또는 3D 격자형 맵으로 형성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 3D 격자형 맵을 생성해 차량의 높이와 장에물이 위치하는 높이에 의한 위험 여부를 판단 또는 경고할 수 있다. The grid map generation module 220 may receive the coded recognition information from the recognition information integration module 210. The grid map generation module 220 may generate a grid map of the surrounding environment of the autonomous vehicle by using the encoded recognition information. The grid map generation module 220 may form the surrounding environment of the autonomous vehicle as a 2D or 3D grid map in a top view format. The grid map generation module 220 may generate a 3D grid map to determine or warn of danger due to the height of the vehicle and the height of the object.

상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행 속도에 따라 상기 격자형 맵의 격자 크기를 조절할 수 있다. 상기 자율 주행 차량의 주행 속도에 비례하여 격자의 크기를 증가시킬 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행속도가 빠르면 격자의 크기가 크고 상기 자율 주행 차량의 주행속도가 느리면 격자의 크기가 작을 수 있다. The grid map generation module 220 may adjust the grid size of the grid map according to the traveling speed of the autonomous vehicle. The size of the grid may be increased in proportion to the traveling speed of the autonomous vehicle. The lattice map generation module 220 may have a large grid size when the speed of the autonomous vehicle is fast and a small grid size when the speed of the autonomous vehicle is slow.

상기 격자형 맵 생성 모듈(220)은 상기 격자형 맵에 상기 인지정보를 이용해 주변 환경을 격자로 표시할 수 있다. 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각 격자로 표시할 수 있다. 상기 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각의 색을 가지는 격자로 표시해 구분할 수 있다. The grid map generation module 220 may display a surrounding environment as a grid using the recognition information on the grid map. The grid map generation module 220 may display the recognized vehicle, pedestrian, traffic signal, lane, and object in a grid. The grid map generation module 220 may display the vehicle, the pedestrian, the traffic signal, the lane, and the object as a grid having respective colors to distinguish the grid.

상기 학습부(30)는 상기 코드화된 인지정보를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 코드화된 인지정보를 콘볼루션 뉴럴 네트워크(Convolution Neural Network, CNN) 및 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함한 다른 여러 네트워크를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1) 내부에 포함될 수 있다. 상기 학습부(30)는 별도의 서버로 포함될 수 있다.The learning unit 30 may perform machine learning using the coded cognitive information. The learning unit 30 may perform machine learning using the coded cognitive information using various other networks including a convolutional neural network (CNN) and a deep neural network (DNN). The learning unit 30 may be included in the machine learning data standardization system 1 for the autonomous vehicle. The learning unit 30 may be included as a separate server.

도 2는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보를 통합하는 형식의 일 예시이다.2 is an example of a format for integrating cognitive information of the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 인지 정보를 코드화 할 수 있다. 상기 인지정보를 ID, 타입(Type), 충돌(Collision), 좌표(Coordinate), 크기(Size), 벡터(Vector), 신호(sign)의 데이터로 코드화할 수 있다. 상기 ID 는 인식된 대상의 넘버링일 수 있다. 상기 타입은 인식된 대상의 종류에 따른 값을 포함할 수 있다. 상기 좌표는 격자형 맵에서의 위치를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 있다. 상기 크기는 상기 격자형 맵에서 차지하는 격자의 눈금 크기를 표시할 수 있고 x, y, z 축의 3개의 값을 포함할 수 있다. 상기 벡터는 상기 대상의 움직임에 대한 정보를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 상기 신호는 교통신호를 구분하여 값으로 표시할 수 있다.Referring to FIG. 2, the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention may encode the recognition information. The recognition information may be encoded into data of an ID, a type, a collision, a coordinate, a size, a vector, and a signal. The ID may be a numbering of the recognized object. The type may include a value according to the type of the recognized object. The coordinates may indicate a position in the grid map and may include three values of the x, y and z axes. have. The size may indicate the scale size of the grid occupied in the grid map and may include three values of the x, y, and z axes. The vector may display information on the movement of the object, and may include three values of x, y, and z axes. The signal may be displayed by dividing the traffic signal.

도 3은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템의 인지 정보의 Type 및 Sign의 값의 예시이다.3 is an example of values of Type and Sign of recognition information of a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.

도 3을 참조하면, 상기 타입은 차량(Vehicle), 보행자(pedestrian), 차선(lane), 신호등(sign), 물체(object)가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다. Referring to FIG. 3, the type of the vehicle, the pedestrian, the lane, the traffic light, and the object may have values of 0, 1, 2, 3, and 4, respectively. .

상기 차량의 경우 신호의 값은 신호가 없음, 좌측 깜빡이, 우측 깜빡이, 비상등, 브레이크등이 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.In the case of the vehicle, the signal value may be 0, 1, 2, 3, 4 without signal, left blinking, right blinking, emergency light, brake light, respectively.

상기 신호등의 경우 신호의 값은 적신호, 황신호, 청신호, 좌회전 신호, 우회전 신호가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.In the case of the traffic light signal, the red signal, the yellow signal, the green signal, the left turn signal, and the right turn signal may have values of 0, 1, 2, 3, and 4, respectively.

도 4는 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.4 is an example of a grid map implemented by a machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율 주행 차량을 중심으로 주변 환경에 따른 물체들을 감지해 격자형 맵을 생성할 수 있다. 상기 격자형 맵에 상기 주변 환경의 물체들을 격자형태로 표시할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 물체들을 그 크기에 따른 격자로 표시할 수 있다. Referring to FIG. 4, the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention may generate a grid map by detecting objects according to a surrounding environment around the autonomous vehicle. Objects of the surrounding environment may be displayed in a grid on the grid map. The machine learning data standardization system for the autonomous vehicle may display the objects in a grid according to their size.

상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 격자형 맵을 Top View 형식의 2D 또는 3D로 구현할 수 있다. 2D 로 격자형 맵을 구현하는 경우 상기 코드화된 인지정보에서 좌표, 크기, 벡터는 x, y, z 중 2가지 값만 이용될 수 있다. 3D로 격자형 맵을 구현하는 경우 물체의 높이 및 물체가 위치하는 높이를 인식할 수 있다. The machine learning data standardization system for the autonomous vehicle may implement the grid map in 2D or 3D in a top view format. When implementing a lattice map in 2D, only two values of coordinates, magnitudes, and vectors may be used in the coded recognition information. When the grid map is implemented in 3D, the height of the object and the height where the object is located can be recognized.

도 5는 속도 변화에 따른 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 시스템이 구현한 격자형 맵의 일 예시이다.5 is an example of a lattice map implemented by the machine learning data standardization system for an autonomous vehicle according to an embodiment of the present invention according to a speed change.

도 5를 참조하면, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 따라 격자형 맵의 격자의 크기를 조절할 수 있다. 상기 격자형 맵의 격자는 정사각형 형태일 수 있다. 상기 격자형 맵의 격자의 크기는 상기 격자의 한 변의 길이를 의미할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 비례하여 상기 격자의 크기를 키울 수 있다. 상기 자율주행 차량의 주행 속도가 빨라지면 상기 격자의 크기를 키우고, 상기 자율주행 차량의 주행 속도가 느려지면 상기 격자의 크기를 줄일 수 있다.Referring to FIG. 5, the machine learning data standardization system for the autonomous vehicle may adjust the size of the grid of the grid map according to the traveling speed of the autonomous vehicle. The grid of the grid map may have a square shape. The size of the grid of the grid map may mean the length of one side of the grid. The machine learning data standardization system for the autonomous vehicle may increase the size of the grid in proportion to the traveling speed of the autonomous vehicle. When the running speed of the autonomous vehicle increases, the size of the grid may be increased, and when the running speed of the autonomous vehicle becomes slow, the size of the grid may be reduced.

도 6은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 적용의 예시이다.6 is an example of the application of the machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 실제 환졍에서 주변환경을 인지해 인지정보를 생성할 수 있다. 생성된 상기 인지정보를 특정 형식으로 통합할 수 있다. 통합된 상기 인지정보를 이용해 기계학습을 하거나 격자형 맵을 형성할 수 있다. 상기 격자형 맵은 Top View 형식의 2D 또는 3D로 선택될 수 있다. 상기 기계학습을 통해 상기 자율주행 차량의 주변 환경에 대한 대응 방식을 학습할 수 있다.Referring to FIG. 6, the machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention may generate cognitive information by recognizing the surrounding environment in an actual environment. The generated recognition information may be integrated into a specific format. The integrated cognitive information may be used for machine learning or for forming a grid map. The grid map may be selected in 2D or 3D in the Top View format. Through the machine learning, it is possible to learn how to respond to the surrounding environment of the autonomous vehicle.

도 7은 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법의 흐름도이다.7 is a flowchart illustrating a method of standardizing machine learning data for an autonomous vehicle according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계(S710)를 포함할 수 있다.Referring to FIG. 7, the method for standardizing machine learning data for an autonomous vehicle according to an exemplary embodiment of the present disclosure may include obtaining sensing information by sensing a surrounding environment of an autonomous vehicle (S710).

S710 단계에서, 상기 인지정보 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 인지정보 제공부(10)는 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 인지정보 제공부(10)는 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 인지정보 제공부(10)는 카메라, 라이다(lidar), 레이다(radar), 초음파(ultra-sonic) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다, 레이다 및 초음파는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다. In operation S710, the cognitive information providing unit 10 may detect a surrounding environment of the autonomous vehicle when the autonomous vehicle performs autonomous driving. The cognitive information providing unit 10 detects an image of the surroundings of the autonomous vehicle, an obstacle located around the autonomous vehicle, the number of lanes of the road on which the autonomous vehicle is running, an intersection, a location, and a change of a traffic light. can do. The recognition information provider 10 may recognize location information of the autonomous vehicle. The recognition information providing unit 10 may sense all information for performing autonomous driving. The cognitive information providing unit 10 may include a camera, a lidar, a radar, an ultrasonic wave, and a GPS / INS. The camera may capture an image in all directions including front, side, and rear of the autonomous vehicle. The lidar, radar, and ultrasonic waves may detect obstacles around the autonomous vehicle. The obstacle may include a vehicle, a building, a wall, a blocking rod, a bump, and the like. The GPS / INS may acquire and provide current location information of the autonomous vehicle.

S710 단계에서, 상기 인지정보 제공부(10)가 획득한 정보들은 인지 정보라고 지칭할 수 있다. 상기 인지정보는 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다. 상기 인지정보는 상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함할 수 있다. 상기 물체는 차량 이외의 장애물들을 포함할 수 있다. In operation S710, the information acquired by the cognitive information providing unit 10 may be referred to as cognitive information. The recognition information may include an image, a distance to an obstacle, and location information of an autonomous vehicle. The recognition information may include state, vehicle, pedestrian, traffic signal, lane, and object information. The object may include obstacles other than the vehicle.

본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 인지정보를 코드화 하는 단계(S720)를 포함할 수 있다.Machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention may include the step of encoding the recognition information (S720).

S720 단계에서, 상기 인지정보 제공부(10)는 상기 인지정보를 상기 인지정보 통합부(20)에 전달할 수 있다.In operation S720, the cognitive information providing unit 10 may transmit the cognitive information to the cognitive information integrating unit 20.

S720 단계에서, 상기 인지정보 통합 모듈(210)에서 전송되는 값을 수신할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 기계학습에 사용할 수 있는 형식으로 통합할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 코드화 할 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보를 그 속성에 따른 값(Value)을 지정해 구분하여 코드화 수 있다. 상기 인지정보 통합 모듈(210)은 상기 인지정보 속에 따른 값을 지정하고, 속성에 따른 표시색을 지정하여 코드화할 수 있다.In operation S720, a value transmitted from the recognition information integration module 210 may be received. The cognitive information integration module 210 may integrate the cognitive information into a format that can be used for machine learning. The recognition information integration module 210 may encode the recognition information. The recognition information integration module 210 may classify and encode the recognition information by specifying a value according to its property. The recognition information integration module 210 may designate a value according to the recognition information and specify and code a display color according to an attribute.

S720 단계에서, 상기 인지정보를 ID, 타입(Type), 충돌(Collision), 좌표(Coordinate), 크기(Size), 벡터(Vector), 신호(sign)의 데이터로 코드화할 수 있다. 상기 ID 는 인식된 대상의 넘버링일 수 있다. 상기 타입은 인식된 대상의 종류에 따른 값을 포함할 수 있다. 상기 좌표는 격자형 맵에서의 위치를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 있다. 상기 크기는 상기 격자형 맵에서 차지하는 격자의 눈금 크기를 표시할 수 있고 x, y, z 축의 3개의 값을 포함할 수 있다. 상기 벡터는 상기 대상의 움직임에 대한 정보를 표시할 수 있고, x, y, z 축의 3개의 값을 포함할 수 있다. 상기 신호는 교통신호를 구분하여 값으로 표시할 수 있다.In operation S720, the recognition information may be encoded into data of an ID, a type, a collision, a coordinate, a size, a vector, and a signal. The ID may be a numbering of the recognized object. The type may include a value according to the type of the recognized object. The coordinates may indicate a position in the grid map and may include three values of the x, y and z axes. have. The size may indicate the scale size of the grid occupied in the grid map and may include three values of the x, y, and z axes. The vector may display information on the movement of the object, and may include three values of x, y, and z axes. The signal may be displayed by dividing the traffic signal.

S720 단계에서, 상기 타입은 차량(Vehicle), 보행자(pedestrian), 차선(lane), 신호등(sign), 물체(object)가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다. In operation S720, the vehicle may have a value of 0, 1, 2, 3, and 4 of a vehicle, a pedestrian, a lane, a signal, and an object, respectively.

S720 단계에서, 상기 차량의 경우 신호의 값은 신호가 없음, 좌측 깜빡이, 우측 깜빡이, 비상등, 브레이크등이 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.In operation S720, the signal value of the vehicle may be 0, 1, 2, 3, or 4 with no signal, left flickering, right flickering, emergency light, and brake light, respectively.

S720 단계에서, 상기 신호등의 경우 신호의 값은 적신호, 황신호, 청신호, 좌회전 신호, 우회전 신호가 각각 0, 1, 2, 3, 4의 값을 가질 수 있다.In operation S720, the signal value may be a red signal, a yellow signal, a green signal, a left turn signal, or a right turn signal of 0, 1, 2, 3, and 4, respectively.

본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계(S730)를 포함할 수 있다.The machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention may include generating a grid map using the encoded recognition information (S730).

S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 상기 인지정보 통합 모듈(210)에서 수신할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 코드화된 인지정보를 이용해 상기 자율 주행 차량 주변환경의 격자형 맵을 생성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주변환경을 Top View 형식의 2D 또는 3D 격자형 맵으로 형성할 수 있다. 상기 격자형 맵 생성 모듈(220)은 3D 격자형 맵을 생성해 차량의 높이와 장에물이 위치하는 높이에 의한 위험 여부를 판단 또는 경고할 수 있다. In operation S730, the grid map generation module 220 may receive the coded recognition information from the recognition information integration module 210. The grid map generation module 220 may generate a grid map of the surrounding environment of the autonomous vehicle by using the encoded recognition information. The grid map generation module 220 may form the surrounding environment of the autonomous vehicle as a 2D or 3D grid map in a top view format. The grid map generation module 220 may generate a 3D grid map to determine or warn of danger due to the height of the vehicle and the height of the object.

S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행 속도에 따라 상기 격자형 맵의 격자 크기를 조절할 수 있다. 상기 자율 주행 차량의 주행 속도에 비례하여 격자의 크기를 증가시킬 수 있다. 상기 격자형 맵 생성 모듈(220)은 상기 자율 주행 차량의 주행속도가 빠르면 격자의 크기가 크고 상기 자율 주행 차량의 주행속도가 느리면 격자의 크기가 작을 수 있다. In operation S730, the grid map generation module 220 may adjust the grid size of the grid map according to the driving speed of the autonomous vehicle. The size of the grid may be increased in proportion to the traveling speed of the autonomous vehicle. The lattice map generation module 220 may have a large grid size when the speed of the autonomous vehicle is fast and a small grid size when the speed of the autonomous vehicle is slow.

S730 단계에서, 상기 격자형 맵 생성 모듈(220)은 상기 격자형 맵에 상기 인지정보를 이용해 주변 환경을 격자로 표시할 수 있다. 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각 격자로 표시할 수 있다. 상기 상기 격자형 맵 생성 모듈(220)은 인식한 상기 차량, 보행자, 교통신호, 차선, 물체를 각각의 색을 가지는 격자로 표시해 구분할 수 있다. In operation S730, the grid map generation module 220 may display a surrounding environment as a grid using the recognition information on the grid map. The grid map generation module 220 may display the recognized vehicle, pedestrian, traffic signal, lane, and object in a grid. The grid map generation module 220 may display the vehicle, the pedestrian, the traffic signal, the lane, and the object as a grid having respective colors to distinguish the grid.

S730 단계에서, 상기 자율 주행 차량을 중심으로 주변 환경에 따른 물체들을 감지해 격자형 맵을 생성할 수 있다. 상기 격자형 맵에 상기 주변 환경의 물체들을 격자형태로 표시할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 물체들을 그 크기에 따른 격자로 표시할 수 있다. In operation S730, a grid map may be generated by detecting objects according to a surrounding environment around the autonomous vehicle. Objects of the surrounding environment may be displayed in a grid on the grid map. The machine learning data standardization system for the autonomous vehicle may display the objects in a grid according to their size.

S730 단계에서, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 격자형 맵을 Top View 형식의 2D 또는 3D로 구현할 수 있다. 2D 로 격자형 맵을 구현하는 경우 상기 코드화된 인지정보에서 좌표, 크기, 벡터는 x, y, z 중 2가지 값만 이용될 수 있다. 3D로 격자형 맵을 구현하는 경우 물체의 높이 및 물체가 위치하는 높이를 인식할 수 있다. In operation S730, the machine learning data standardization system for the autonomous vehicle may implement the grid map in 2D or 3D in a top view format. When implementing a lattice map in 2D, only two values of coordinates, magnitudes, and vectors may be used in the coded recognition information. When the grid map is implemented in 3D, the height of the object and the height of the object can be recognized.

S730 단계에서, 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 따라 격자형 맵의 격자의 크기를 조절할 수 있다. 상기 격자형 맵의 격자는 정사각형 형태일 수 있다. 상기 격자형 맵의 격자의 크기는 상기 격자의 한 변의 길이를 의미할 수 있다. 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템은 상기 자율주행 차량의 주행 속도에 비례하여 상기 격자의 크기를 키울 수 있다. 상기 자율주행 차량의 주행 속도가 빨라지면 상기 격자의 크기를 키우고, 상기 자율주행 차량의 주행 속도가 느려지면 상기 격자의 크기를 줄일 수 있다.In operation S730, the machine learning data standardization system for the autonomous vehicle may adjust the size of the grid of the grid map according to the traveling speed of the autonomous vehicle. The grid of the grid map may have a square shape. The size of the grid of the grid map may mean the length of one side of the grid. The machine learning data standardization system for the autonomous vehicle may increase the size of the grid in proportion to the traveling speed of the autonomous vehicle. When the running speed of the autonomous vehicle increases, the size of the grid may be increased, and when the running speed of the autonomous vehicle becomes slow, the size of the grid may be reduced.

본 발명의 일 실시 예에 따른 자율주행 차량을 위한 기계학습 데이터 표준화 방법은 상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계(S740)를 포함할 수 있다.Machine learning data standardization method for an autonomous vehicle according to an embodiment of the present invention may include the step (S740) to perform the machine learning using the coded recognition information.

S740 단계에서, 상기 학습부(30)는 상기 코드화된 인지정보를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 코드화된 인지정보를 콘볼루션 뉴럴 네트워크(Convolution Neural Network, CNN) 및 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 포함한 다른 여러 네트워크를 이용해 기계학습을 수행할 수 있다. 상기 학습부(30)는 상기 자율주행 차량을 위한 기계학습 데이터 표준화 시스템(1) 내부에 포함될 수 있다. 상기 학습부(30)는 별도의 서버로 포함될 수 있다.In operation S740, the learning unit 30 may perform machine learning using the coded cognitive information. The learning unit 30 may perform machine learning using the coded cognitive information using various other networks including a convolutional neural network (CNN) and a deep neural network (DNN). The learning unit 30 may be included in the machine learning data standardization system 1 for the autonomous vehicle. The learning unit 30 may be included as a separate server.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will understand that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (10)

자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 인지정보 제공부;
상기 인지정보를 상기 주변 환경의 속성에 따른 값을 지정하여 코드화 하는 인지정보 통합 모듈; 및
상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 격자형 맵 생성 모듈;을 포함하고,
상기 격자형 맵 생성 모듈은,
상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시키는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템.Cognitive information providing unit for obtaining the cognitive information by sensing the surrounding environment of the autonomous vehicle;
A cognitive information integrating module for encoding the cognitive information by designating a value according to an attribute of the surrounding environment; And
And a grid map generation module for generating a grid map using the encoded recognition information.
The grid map generation module,
The machine learning data standardization system for an autonomous vehicle, characterized in that for increasing the size of the grid in proportion to the speed of the autonomous vehicle. 제1항에 있어서,
상기 코드화된 인지정보를 이용해 기계학습을 수행하는 학습부;를 더 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템The method of claim 1,
A learning unit for performing a machine learning using the coded cognitive information; Machine learning data standardization system for a self-driving vehicle further comprising 제1항에 있어서,
상기 인지정보는,
상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템.The method of claim 1,
The recognition information,
Machine learning data standardization system for autonomous vehicles including condition, vehicle, pedestrian, traffic signal, lane, and object information. 제1항에 있어서,
상기 격자형 맵 생성 모듈은,
Top View 형식의 2D 또는 3D 격자형 맵을 생성하는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 시스템.The method of claim 1,
The grid map generation module,
Machine learning data standardization system for autonomous vehicles, characterized by generating 2D or 3D grid maps in Top View format. 삭제delete 자율 주행 차량의 주변 환경을 센싱해 인지정보를 획득하는 단계;
상기 인지정보를 상기 주변 환경의 속성에 따른 값을 지정하여 코드화 하는 단계; 및
상기 코드화된 인지정보를 이용해 격자형맵을 생성하는 단계;를 포함하고,
상기 격자형 맵 생성 단계는,
상기 자율 주행 차량의 속도에 비례해서 격자의 크기를 증가시키는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법.
Sensing the surrounding environment of the autonomous vehicle to obtain recognition information;
Encoding the recognition information by designating a value according to an attribute of the surrounding environment; And
Generating a grid map using the encoded recognition information;
The grid map generation step,
And a grid size is increased in proportion to the speed of the autonomous vehicle.
제6항에 있어서,
상기 코드화된 인지정보를 이용해 기계학습을 수행하는 단계;를 더 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법.The method of claim 6,
And performing machine learning using the encoded cognitive information. The method of claim 1, further comprising: machine learning data for an autonomous vehicle. 제6항에 있어서,
상기 인지정보는,
상태, 차량, 보행자, 교통신호, 차선, 물체 정보를 포함하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법.The method of claim 6,
The recognition information,
Method for standardizing machine learning data for autonomous vehicles including status, vehicle, pedestrian, traffic signal, lane, and object information. 제6항에 있어서,
상기 격자형 맵 생성 단계는,
Top View 형식의 2D 또는 3D 격자형 맵을 생성하는 것을 특징으로 하는 자율주행 차량을 위한 기계학습 데이터 표준화 방법.The method of claim 6,
The grid map generation step,
Method for standardizing machine learning data for autonomous vehicles, characterized by generating 2D or 3D grid maps in the Top View format. 삭제delete
KR1020180129096A 2018-10-26 2018-10-26 Method and system for standardizing machine learning data for autonomous vehicles KR102065693B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180129096A KR102065693B1 (en) 2018-10-26 2018-10-26 Method and system for standardizing machine learning data for autonomous vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180129096A KR102065693B1 (en) 2018-10-26 2018-10-26 Method and system for standardizing machine learning data for autonomous vehicles

Publications (1)

Publication Number Publication Date
KR102065693B1 true KR102065693B1 (en) 2020-01-13

Family

ID=69153320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180129096A KR102065693B1 (en) 2018-10-26 2018-10-26 Method and system for standardizing machine learning data for autonomous vehicles

Country Status (1)

Country Link
KR (1) KR102065693B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210108600A (en) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 Autonomous driving situation recognition program performance test method and apparatus for porceeding the same
KR102363719B1 (en) * 2021-06-30 2022-02-16 주식회사 모빌테크 Lane extraction method using projection transformation of 3D point cloud map
WO2024013143A1 (en) * 2022-07-12 2024-01-18 Robert Bosch Gmbh Method and device for machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084143A (en) * 2014-01-13 2015-07-22 한양대학교 산학협력단 Self-control driving device based on various driving environment in autonomous vehicle and path planning method for the same
KR20180040759A (en) * 2016-10-12 2018-04-23 한국전자통신연구원 Device for sharing and learning driving environment data for improving the intelligence judgments of autonomous vehicle and method thereof
KR20180050383A (en) * 2016-09-28 2018-05-14 바이두 유에스에이 엘엘씨 Combined with physical modeling and machine learning to simulate autonomous vehicle movement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150084143A (en) * 2014-01-13 2015-07-22 한양대학교 산학협력단 Self-control driving device based on various driving environment in autonomous vehicle and path planning method for the same
KR20180050383A (en) * 2016-09-28 2018-05-14 바이두 유에스에이 엘엘씨 Combined with physical modeling and machine learning to simulate autonomous vehicle movement
KR20180040759A (en) * 2016-10-12 2018-04-23 한국전자통신연구원 Device for sharing and learning driving environment data for improving the intelligence judgments of autonomous vehicle and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210108600A (en) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 Autonomous driving situation recognition program performance test method and apparatus for porceeding the same
KR102337034B1 (en) * 2020-02-26 2021-12-09 슈어소프트테크주식회사 Autonomous driving situation recognition program performance test method and apparatus for porceeding the same
KR102363719B1 (en) * 2021-06-30 2022-02-16 주식회사 모빌테크 Lane extraction method using projection transformation of 3D point cloud map
WO2023277371A1 (en) * 2021-06-30 2023-01-05 주식회사 모빌테크 Lane coordinates extraction method using projection transformation of three-dimensional point cloud map
WO2024013143A1 (en) * 2022-07-12 2024-01-18 Robert Bosch Gmbh Method and device for machine learning

Similar Documents

Publication Publication Date Title
US11574089B2 (en) Synthetic scenario generator based on attributes
US11568100B2 (en) Synthetic scenario simulator based on events
CN112166304B (en) Error detection of sensor data
US11150660B1 (en) Scenario editor and simulator
US10387733B2 (en) Processing apparatus, processing system, and processing method
US10139823B2 (en) Method and device for producing vehicle operational data based on deep learning techniques
US20210339741A1 (en) Constraining vehicle operation based on uncertainty in perception and/or prediction
CN114245885A (en) Top-down scene prediction based on motion data
US11472442B2 (en) Map consistency checker
CN112789481A (en) Trajectory prediction for top-down scenarios
WO2020264010A1 (en) Low variance region detection for improved detection
CN111133448A (en) Controlling autonomous vehicles using safe arrival times
US20200409387A1 (en) Image processing apparatus, image processing method, and program
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
WO2022104774A1 (en) Target detection method and apparatus
CN114072841A (en) Depth refinement from images
JP2016001463A (en) Processor, processing system, processing program, and processing method
US11526721B1 (en) Synthetic scenario generator using distance-biased confidences for sensor data
KR20200030305A (en) Learning data generation method for image processing, image processing method, and apparatus thereof
KR102065693B1 (en) Method and system for standardizing machine learning data for autonomous vehicles
KR102635265B1 (en) Apparatus and method for around view monitoring using lidar
US9779312B2 (en) Environment recognition system
CN113665570A (en) Method and device for automatically sensing driving signal and vehicle
WO2020264276A1 (en) Synthetic scenario generator based on attributes
CN116048060A (en) 3D surface structure estimation based on real world data using neural networks for autonomous systems and applications

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant