KR20200096096A - 라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치 - Google Patents

라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200096096A
KR20200096096A KR1020190147096A KR20190147096A KR20200096096A KR 20200096096 A KR20200096096 A KR 20200096096A KR 1020190147096 A KR1020190147096 A KR 1020190147096A KR 20190147096 A KR20190147096 A KR 20190147096A KR 20200096096 A KR20200096096 A KR 20200096096A
Authority
KR
South Korea
Prior art keywords
attention
vehicle
data
autonomous vehicle
computing device
Prior art date
Application number
KR1020190147096A
Other languages
English (en)
Other versions
KR102277531B1 (ko
Inventor
김계현
김용중
김인수
김학경
남운현
부석훈
성명철
여동훈
유우주
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200096096A publication Critical patent/KR20200096096A/ko
Application granted granted Critical
Publication of KR102277531B1 publication Critical patent/KR102277531B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 자율 주행 차량에 사용하기 위한 최적화된 자원 할당을 위한 방법 및 장치에 관한 것이다. 보다 상세하게는, 강화 학습에 의한 자율 주행 시 효율적으로 자원 할당을 수행하는 방법에 있어서, (a) 컴퓨팅 장치가, 적어도 하나의 어텐션 센서 데이터를 획득하면, 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터를 참조로 하여, 적어도 하나의 뉴럴 네트워크 연산을 수행함으로써 하나 이상의 어텐션 스코어를 계산하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 디텍션 네트워크로 하여금, 상기 어텐션 스코어를 참조로 하여, 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 상기 비디오 데이터를 참조로 하여, 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 하는 단계; (c) 상기 컴퓨팅 장치가, 드라이브 네트워크로 하여금, 상기 판단 데이터를 참조로 하여, 상기 자율 주행 차량을 운행하도록 하고, 운행 중인 상기 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상기 상황 데이터를 참조로 하여, 적어도 하나의 리워드를 생성하도록 하는 단계; (d) 상기 컴퓨팅 장치가, 상기 어텐션 네트워크로 하여금, 상기 리워드를 참조로 하여, 상기 뉴럴 네트워크 연산에 사용되는 하나 이상의 파라미터의 적어도 일부를 조정하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법 및 장치에 관한 것이다.

Description

라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치{METHOD AND DEVICE FOR OPTIMIZED RESOURCE ALLOCATION IN AUTONOMOUS DRIVING ON THE BASIS OF REINFORCEMENT LEARNING USING DATA FROM LIDAR, RADAR, AND CAMERA SENSOR}
본 발명은 자율 주행 차량에 사용하기 위한 방법 및 장치에 관한 것이다. 보다 상세하게는, 강화 학습에 의한 자율 주행 시 효율적으로 자원 할당을 수행하는 방법에 관한 것이다.
자율 주행 시스템은 전력 소모가 크므로, 전력을 절약하는 것이 중요하다. 자율 주행 시스템을 이루는 구성요소 중 하나인 카메라는, 그 전력 소모가 큰데, 특정한 경우, 즉 한적한 고속도로를 달리고 있어서 주변에 장애물이 존재하지 않는 경우 또는 특정 방향에는 장애물이 존재하지 않는 경우, 적은 수의 카메라만이 필요할 수 있다. 이와 같은 경우에 모든 카메라를 동작시키면 많은 전력이 낭비되는 큰 문제가 있다.
따라서, 이와 같은 전력 낭비를 줄이고, 전력과 같은 자원을 효율적으로 분배해 줄 수 있는 기술이 필요한데, CNN(Convolutional Neural Network)으로 이를 구현하고자 하면, 이와 같은 상황의 GT를 쉽게 정의할 수 없고, 따라서 로스를 명확하게 정의하기 어려우므로 학습이 어렵다. 따라서 GT를 필요로 하지 않는 딥 러닝 방법 중 하나인 강화 학습이 활용될 수 있다. 그러나, 강화 학습을 통해 이와 같은 기능을 학습하도록 하려면, 실제로 모듈을 동작시키면서 학습해야 한다. 예를 들어, 자율 주행의 경우, 강화 학습을 수행하기 위해서 차량이 실제로 주행해야 한다는 것이다. 하지만, 실제로 차량을 주행하면서 학습하는 경우, 차량 사고가 발생할 가능성이 높다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 강화 학습에 의한 자율 주행 시 효율적으로 자원 할당을 수행하여 자율 주행 차량의 전력 소모를 줄이는 것을 목적으로 한다.
본 발명은 자율 주행 차량이 강화 학습에 의해 자원 할당을 최적화하는 가상 공간을 제공함으로써 학습 과정에서의 잠재적인 위험 요소를 줄이는 것을 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 방법에 있어서, (a) 컴퓨팅 장치가, 적어도 하나의 어텐션 센서 데이터를 획득하면, 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터를 참조로 하여, 적어도 하나의 뉴럴 네트워크 연산을 수행함으로써 하나 이상의 어텐션 스코어를 계산하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 디텍션 네트워크로 하여금, 상기 어텐션 스코어를 참조로 하여, 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 상기 비디오 데이터를 참조로 하여, 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 하는 단계; (c) 상기 컴퓨팅 장치가, 드라이브 네트워크로 하여금, 상기 판단 데이터를 참조로 하여, 상기 자율 주행 차량을 운행하도록 하고, 운행 중인 상기 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상기 상황 데이터를 참조로 하여, 적어도 하나의 리워드를 생성하도록 하는 단계; (d) 상기 컴퓨팅 장치가, 상기 어텐션 네트워크로 하여금, 상기 리워드를 참조로 하여, 상기 뉴럴 네트워크 연산에 사용되는 하나 이상의 파라미터의 적어도 일부를 조정하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 뉴럴 네트워크 연산은, 상기 어텐션 센서 데이터가 입력되는 적어도 하나의 컨벌루션 레이어, 적어도 하나의 풀링 레이어, 적어도 하나의 FC 레이어 및 상기 어텐션 스코어가 출력되는 적어도 하나의 소프트맥스 레이어의 연산을 포함하여, 상기 자율 주행 차량 근처의 공간에 포함된 각 각도의 범위마다 적어도 하나의 주행 위험 레벨을 결정하도록 하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 상기 디텍션 네트워크로 하여금, 제1 임계치 이상의 상기 어텐션 스코어를 가지는 특정 각도 범위에 대응하는, 상기 자율 주행 차량에 설치된 특정 카메라의 특정 비디오 데이터를 획득하도록 하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 상기 디텍션 네트워크로 하여금, 적어도 하나의 영역이 적어도 하나의 ROI로 설정된 상기 비디오 데이터를 사용함으로써 상기 판단 데이터를 생성하도록 하되, 상기 영역은 제1 임계치 이상의 어텐션 스코어를 가지는 특정 각도 범위에 대응하는 영역인 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는, 상기 상황 데이터는, (i) 상기 자율 주행 차량으로부터 소정 거리내의 적어도 하나의 인접한 주변 차량의 적어도 하나의 차량 경적이 사용 중인지에 대한 정보, (ii) 상기 적어도 하나의 인접한 주변 차량의 속력 변화 정보, (iii) 상기 자율 주행 차량과 상기 인접한 주변 차량과의 적어도 하나의 사고 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 어텐션 센서 데이터는, 레이더를 사용하여 획득되거나, 라이더를 사용하여 획득되거나, 둘 모두를 사용하여 획득되고, 상기 라이더를 사용하거나 또는 상기 레이더 및 상기 라이더를 모두 사용하여 상기 어텐션 센서 데이터가 획득된 경우, 상기 컴퓨팅 장치가, 상기 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터에 포함된 3차원 좌표들을 참조로 하여, 적어도 하나의 희소 깊이 이미지(sparse depth image)를 생성하도록 하고, 상기 희소 깊이 이미지에 적어도 하나의 스무딩(smoothing) 연산을 적용하도록 하여 적어도 하나의 고밀도 깊이 이미지(dense depth image)를 생성하도록 하고, 상기 고밀도 깊이 이미지를 참조로 하여, 상기 뉴럴 네트워크 연산을 수행함으로써, 상기 어텐션 스코어를 계산하도록 하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 자율 주행 차량은 가상 공간에서 구현되도록 하고, 상기 가상 공간에서 상기 자율 주행 차량이 운행되는 과정을 통해 상기 파라미터의 적어도 일부가 조정되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 가상 공간에서 상기 자율 주행 차량으로부터 소정 거리 이내에 위치한 하나 이상의 가상 객체 간의 관계에 관한 정보를 참조로 하여, 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터가 획득되도록 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터의 변형이 프로그래밍된 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 가상 공간은, (i) 상기 자율 주행 차량으로부터 소정 거리 이내의 주변 차량이 제1 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 가상 공간에 있는 적어도 하나의 상기 주변 차량이 경적을 울리도록 프로그래밍되고, (ii) 상기 주변 차량이 제2 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 주변 차량의 속력을 줄이도록 프로그래밍되며, 상기 제1 임계 시간은 상기 제2 임계 시간에 비해 크거나 같은 것을 특징으로 하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 어텐션 네트워크로 하여금, 적어도 하나의 어텐션 센서 데이터를 참조로 하여, 적어도 하나의 뉴럴 네트워크 연산을 수행함으로써 하나 이상의 어텐션 스코어를 계산하도록 하는 프로세스; (II) 디텍션 네트워크로 하여금, 상기 어텐션 스코어를 참조로 하여, 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 상기 비디오 데이터를 참조로 하여, 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 하는 프로세스; (III) 드라이브 네트워크로 하여금, 상기 판단 데이터를 참조로 하여, 상기 자율 주행 차량을 운행하도록 하고, 운행 중인 상기 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상기 상황 데이터를 참조로 하여, 적어도 하나의 리워드를 생성하도록 하는 프로세스; (IV) 상기 어텐션 네트워크로 하여금, 상기 리워드를 참조로 하여, 상기 뉴럴 네트워크 연산에 사용되는 하나 이상의 파라미터의 적어도 일부를 조정하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 뉴럴 네트워크 연산은, 상기 어텐션 센서 데이터가 입력되는 적어도 하나의 컨벌루션 레이어, 적어도 하나의 풀링 레이어, 적어도 하나의 FC 레이어 및 상기 어텐션 스코어가 출력되는 적어도 하나의 소프트맥스 레이어의 연산을 포함하여, 상기 자율 주행 차량 근처의 공간에 포함된 각 각도의 범위마다 적어도 하나의 주행 위험 레벨을 결정하도록 하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 디텍션 네트워크로 하여금, 제1 임계치 이상의 상기 어텐션 스코어를 가지는 특정 각도 범위에 대응하는, 상기 자율 주행 차량에 설치된 특정 카메라의 특정 비디오 데이터를 획득하도록 하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 디텍션 네트워크로 하여금, 적어도 하나의 영역이 적어도 하나의 ROI로 설정된 상기 비디오 데이터를 사용함으로써 상기 판단 데이터를 생성하도록 하되, 상기 영역은 제1 임계치 이상의 어텐션 스코어를 가지는 특정 각도 범위에 대응하는 영역인 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 상황 데이터는, (i) 상기 자율 주행 차량으로부터 소정 거리내의 적어도 하나의 인접한 주변 차량의 적어도 하나의 차량 경적이 사용 중인지에 대한 정보, (ii) 상기 적어도 하나의 인접한 주변 차량의 속력 변화 정보, (iii) 상기 자율 주행 차량과 상기 인접한 주변 차량과의 적어도 하나의 사고 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 어텐션 센서 데이터는, 레이더를 사용하여 획득되거나, 라이더를 사용하여 획득되거나, 둘 모두를 사용하여 획득되고, 상기 라이더를 사용하거나 또는 상기 레이더 및 상기 라이더를 모두 사용하여 상기 어텐션 센서 데이터가 획득된 경우, 상기 프로세서가, 상기 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터에 포함된 3차원 좌표들을 참조로 하여, 적어도 하나의 희소 깊이 이미지(sparse depth image)를 생성하도록 하고, 상기 희소 깊이 이미지에 적어도 하나의 스무딩(smoothing) 연산을 적용하도록 하여 적어도 하나의 고밀도 깊이 이미지(dense depth image)를 생성하도록 하고, 상기 고밀도 깊이 이미지를 참조로 하여, 상기 뉴럴 네트워크 연산을 수행함으로써, 상기 어텐션 스코어를 계산하도록 하는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 자율 주행 차량은 가상 공간에서 구현되도록 하고, 상기 가상 공간에서 상기 자율 주행 차량이 운행되는 과정을 통해 상기 파라미터의 적어도 일부가 조정되는 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 가상 공간에서 상기 자율 주행 차량으로부터 소정 거리 이내에 위치한 하나 이상의 가상 객체 간의 관계에 관한 정보를 참조로 하여, 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터가 획득되도록 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터의 변형이 프로그래밍된 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
일 실시예에서, 상기 가상 공간은, (i) 상기 자율 주행 차량으로부터 소정 거리 이내의 주변 차량이 제1 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 가상 공간에 있는 적어도 하나의 상기 주변 차량이 경적을 울리도록 프로그래밍되고, (ii) 상기 주변 차량이 제2 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 주변 차량의 속력을 줄이도록 프로그래밍되며, 상기 제1 임계 시간은 상기 제2 임계 시간에 비해 크거나 같은 것을 특징으로 하는 컴퓨팅 장치가 제공된다.
본 발명은 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 방법을 제공함으로써 자율 주행 차량의 전력 소모를 줄일 수 있는 효과가 있다.
본 발명은 자율 주행 차량이 강화 학습에 의해 자원 할당을 최적화하여 가상 공간을 제공함으로써 학습 과정에서의 잠재적인 위험 요소를 줄일 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 강화 학습에 의한 자율 주행 시의 효율적인 자원 할당을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 강화 학습에 의한 자율 주행 시의 효율적인 자원 할당을 수행하는 과정을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 효율적인 자원 할당을 위해 수행되는 뉴럴 네트워크 연산의 일 예시를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 효율적인 자원 할당을 수행하기 위해 계산된 어텐션 스코어의 일 예시를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 강화 학습에 의한 자율 주행 시의 효율적인 자원 할당을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 컴퓨팅 장치(100)는, 어텐션 네트워크(130), 디텍션 네트워크(140) 및 드라이브 네트워크(150)를 포함할 수 있다. 어텐션 네트워크(130), 디텍션 네트워크(140) 및 드라이브 네트워크(150)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 프로세서, 메모리, 미디엄(medium) 또는 임의의 다른 컴퓨팅 컴포넌트의 임의의 조합을 포함하는 통합 장치를 배제하는 것은 아니다.
컴퓨팅 장치(100)의 구성은 상기와 같은 바, 이하 각각의 구성들이 어떻게 연동되어 동작하는지를 도 2를 참조로 하여 개괄적으로 살피도록 한다.
도 2는 본 발명의 일 실시예에 따라 강화 학습에 의한 자율 주행 시의 효율적인 자원 할당을 수행하는 과정을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 어텐션 네트워크(130)는, 추후 자세히 설명할 적어도 하나의 어텐션 센서 데이터를 획득하거나 타 장치로 하여금 획득하도록 지원할 수 있다. 어텐션 네트워크(130)는, 어텐션 센서 데이터를 이용하여 하나 이상의 어텐션 스코어를 계산하거나 타 장치로 하여금 계산하도록 지원할 수 있고, 디텍션 네트워크(140)는, 어텐션 스코어를 참조로 하여 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하는 프로세스, 획득된 비디오 데이터를 참조로 하여 적어도 하나의 자율 주행용 판단 데이터를 생성하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원할 수 있다. 이후, 드라이브 네트워크(150)는, 자율 주행용 판단 데이터를 참조로 하여 자율 주행 차량을 운행하는 프로세스, 운행 중인 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 지원할 수 있다. 그리고, 드라이브 네트워크(150)는 상황 데이터를 참조로 하여, 강화 학습에 사용된 적어도 하나의 리워드를 생성하거나 타 장치로 하여금 생성하도록 지원할 수 있다. 그리고, 어텐션 네트워크(130)는 리워드를 참조로 하여 뉴럴 네트워크 연산에서 하나 이상의 파라미터의 적어도 일부를 조정하거나 타 장치로 하여금 조정하도록 지원할 수 있다.
이상 개괄적인 본 발명의 흐름을 도 2를 통해 살핀 바, 본 발명의 구체적인 수행 방식을 이하 더욱 자세히 살피도록 한다.
먼저, 어텐션 센서 데이터가 획득되면, 컴퓨팅 장치(100)는, 어텐션 네트워크(130)로 하여금, 어텐션 센서 데이터를 참조로 하여 뉴럴 네트워크 연산을 수행하도록 할 수 있다.
여기서, 어텐션 센서 데이터란, 자율 주행 차량에 설치된 센서로부터 획득되는 데이터인데, 이는 레이더를 사용하여 획득되거나, 라이더(Lidar)를 사용하여 획득되거나, 레이더 및 라이더를 모두 사용하여 획득될 수 있다. 라이더를 사용하지 않고 레이더만을 사용하여 어텐션 센서 데이터를 획득한 경우에는, 어텐션 네트워크(130)는 곧바로 이를 참조로 하여 뉴럴 네트워크 연산을 수행할 수 있다. 하지만, 라이더를 사용한 경우, 즉 라이더와 레이더를 모두 사용하여 어텐션 센서 데이터를 획득한 경우 또는 레이더는 사용하지 않고 라이더를 사용하여 어텐션 센서 데이터를 획득한 경우, 뉴럴 네트워크 연산을 수행하기에는 데이터가 최적화된 상태가 아니므로, 이를 전처리하는 과정이 필요한 바, 전처리 과정에 대해 본다.
라이더에 의해 획득된 어텐션 센서 데이터는, 레이저 스캔 라인을 따라 레이저가 반사되는 지점까지의 거리를 측정하여 획득된 것이고, 자율 주행 차량을 중심으로 한 동심원 형태로 배열된 3차원 좌표를 포함한다. 전처리는 이와 같은 3차원 좌표를 이용하며, 3차원 좌표의 투영(projection) 및 스무딩(smoothing) 하는 과정을 포함한다. 구체적으로, 3차원 좌표를 가상의 평면 상에 투영하면 각 픽셀들의 각각의 거리에 대한 정보를 포함하는 희소 깊이 이미지가 생성된다. 이후, 희소 깊이 이미지의 중간중간 비어 있는 부분을 채우기 위해 희소 깊이 이미지에 적어도 하나의 스무딩 연산을 적용함으로써 고밀도 깊이 이미지가 생성될 수 있다. 어텐션 네트워크(130)는, 이와 같은 고밀도 깊이 이미지를 참조로 하여 뉴럴 네트워크 연산을 수행할 수 있다.
어텐션 네트워크(130)에 의해 이루어지는 뉴럴 네트워크 연산은 도 3을 통해 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 효율적인 자원 할당을 위해 수행되는 뉴럴 네트워크 연산의 일 예시를 나타낸 도면이다.
도 3을 참조하면, 뉴럴 네트워크 연산은 어텐션 센서 데이터 또는 이를 전처리한 고밀도 깊이 이미지가 입력되는 하나 이상의 컨벌루션 레이어, 컨벌루션 레이어의 결과에 적어도 하나의 풀링 연산을 적용하는 적어도 하나의 풀링 레이어, 풀링 레이어의 결과에 하나 이상의 FC 연산을 적용하는 하나 이상의 FC 레이어 및 상기 어텐션 스코어가 출력되는 적어도 하나의 소프트맥스 레이어를 포함한다. 물론 도 3에 제시된 구성은 일 예시로서, 각각의 레이어는 하나 이상의 다른 레이어로 대체되거나, 적어도 하나의 다른 레이어가 본 구성에 추가되거나, 특정 레이어가 삭제되는 것 역시 가능하다.
이와 같은 뉴럴 네트워크 연산은, 자율 주행 차량을 중심으로 하는 소정의 공간에 대하여, 각각의 각도 범위 별로 주행 시의 위험도를 점수화하여 판단하는 연산으로, 어텐션 스코어를 출력하기 위한 연산이다. 위험도는, 도 4를 참조로 하여 구체적으로 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 효율적인 자원 할당을 수행하기 위해 계산된 어텐션 스코어의 일 예시를 나타낸 도면이다.
도 4를 참조하면, 자율 주행 차량(200)의 주변을 나타낸 파노라마 이미지(220) 상에서 객체가 많은 일부 특정 방향에 대응하는 어텐션 스코어(210) 중 일부가 높게 측정되었음을 알 수 있다. 파노라마 이미지(220)는 이해를 돕기 위해 배치한 것으로, 실제로는 이와 같은 파노라마 이미지(220)가 아니라, 고밀도 깊이 이미지 또는 레이더로부터 획득된 어텐션 센서 데이터를 이용하여 어텐션 스코어가 생성될 것이다. 도 4의 예시적 어텐션 스코어(210)는 일부 특정 방향인 222 방향과 223 방향에 대응하는 어텐션 스코어 중 일부는 높게 도시되어 있다. 즉, 특정 방향에 많은 객체가 검출되는 경우, 하나 이상의 객체가 자율 주행 차량(200)을 향해 이동하거나, 그로부터 잠재적 위험이 높아질 가능성이 있으므로, 해당 방향의 주행 위험 레벨은 높은 것으로 결정되고, 그 방향에 대응하는 해당 각도 범위의 어텐션 스코어는 높게 계산되는 것이다. 이와 같은 어텐션 스코어(210)가 디텍션 네트워크(140)에 의해 계산되면 어떤 효과가 발생하는지는 추후 다시 도 4를 참조하여 다시 설명하기로 한다.
이와 같이 어텐션 스코어가 계산되면, 컴퓨팅 장치(100)가, 디텍션 네트워크(140)로 하여금, 어텐션 스코어를 참조로 하여, 자율 주행 차량(200)에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 비디오 데이터를 참조로 하여 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 할 수 있다.
즉, 자율 주행 차량에 설치된 카메라들 중 적어도 일부를 선택하여, 해당 카메라의 적어도 일부에 의해 촬영된 비디오를 이용하여 계산이 수행됨으로써, 모든 카메라를 사용하는 것에 비해 카메라에 사용되는 전력 소모를 최소화할 수 있다. 이 때, 잠재적 위험성이 존재하여 이에 대비해야 하는 일부 방향에 대응하는 카메라의 적어도 일부의 비디오를 이용하는 것이 안전성 제고에 도움이 되므로, 이를 위해 어텐션 스코어를 사용하는 것이다.
즉, 도 4를 다시 참조하면, 222 및 223 방향의 어텐션 스코어가 높은 바, 자율 주행 차량(200)의 222 및 223 방향을 촬영하는 카메라에 의한 비디오 데이터를 획득하게 되는 것이다. 카메라를 선택하는 기준이 되는 어텐션 스코어는, 그 값이 제1 임계치보다 큰지 여부에 따라 결정될 수 있다. 즉, 디텍션 네트워크(140)는, 어텐션 스코어가 제1 임계치 이상인 특정 각도 범위에 대응하는 자율 주행 차량(200)에 설치된 특정 카메라에 의해 생성된 특정 비디오 데이터를 획득하도록 할 수 있다는 것이다.
또는, 어텐션 스코어는 적어도 하나의 ROI, 즉 Region-of-Interest를 결정하는데 사용할 수도 있다. 도 4를 다시 예로 들면, 비디오 데이터 자체는 모든 카메라를 통해 획득하되, 실제로 연산을 적용할 ROI를 결정할 때, ROI 파노라마 이미지(230)에 도시된 바와 같이, 주행 위험 레벨이 높은 것으로 판단되는 방향의 이미지가 하나 이상의 ROI를 위한 소스로서 결정될 수 있다. 즉, 디텍션 네트워크(140)는, 어텐션 스코어가 제1 임계치 이상인 특정 각도 범위에 대응하는 하나 이상의 영역을 ROI로 설정한 상태로, 이후의 프로세스를 수행할 수 있다는 것이다.
본 발명은 상기와 같이 카메라의 적어도 일부의 비디오 데이터를 선택하거나, 이미지의 ROI를 설정함으로써, 디텍션 네트워크(140) 및 드라이브 네트워크(150)의 연산량을 줄일 수 있는 효과가 있다. 이와 같이 연산량을 줄이기 위한 프로세스를 거친 후, 디텍션 네트워크(140)는, 카메라들 중 적어도 일부에 의해 획득된 비디오 데이터를 참조로 하여 자율 주행용 판단 데이터를 생성하거나, 비디오 데이터 중 적어도 일부에 설정된 ROI를 참조로 하여 자율 주행용 판단 데이터를 생성할 수 있다.
디텍션 네트워크(140)는, 비디오 데이터에 포함된 이미지 상의 객체를 디텍트하고, 자율 주행용 판단 데이터로서 기능하는, 상기 객체의 거리 및/또는 위치를 계산한 후, 이를 바탕으로 자율 주행 차량(200)이 진행할 적어도 하나의 경로를 결정할 수 있을 것이다. 디텍션 네트워크(140)는 이와 같은 자율 주행용 판단 데이터를 생성할 수 있는데, 본 발명은 효율적인 자원 할당을 위한 강화 학습 방법을 그 주안점으로 하므로, 자율 주행용 판단 데이터의 구체적인 생성 방법에 대한 설명은 생략하도록 한다.
자율 주행용 판단 데이터가 생성되면, 컴퓨팅 장치(100)가, 드라이브 네트워크(150)로 하여금, 자율 주행용 판단 데이터를 참조로 하여 자율 주행 차량(200)을 운행하도록 하고, 운행 중인 자율 주행 차량(200)의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상황 데이터를 참조로 하여 강화학습에 따른 적어도 하나의 리워드를 생성하도록 할 수 있다.
드라이브 네트워크(150)는, 자율 주행용 판단 데이터에 포함된, 자율 주행 차량(200)이 진행할 적어도 하나의 경로에 따라 자율 주행 차량(200)이 운행되도록 할 수 있다. 드라이브 네트워크(150)가 자율 주행 차량(200)을 조종하는 부분 역시, 본 발명의 주안점과는 다른 부분이므로 이에 대한 구체적인 설명은 생략하도록 한다.
자율 주행 차량(200)은, 운행되면서 그 주변 상황의 변화를 나타내는 상황 데이터를 획득할 수 있다. 상황 데이터는, (i) 상기 자율 주행 차량으로부터 소정 거리내의 적어도 하나의 인접한 주변 차량의 적어도 하나의 차량 경적이 사용 중인지에 대한 정보, (ii) 상기 적어도 하나의 인접한 주변 차량의 속력 변화 정보, (iii) 상기 자율 주행 차량과 상기 인접한 주변 차량과의 적어도 하나의 사고 정보 중 적어도 일부를 포함할 수 있다. 드라이브 네트워크(150)는 상황 데이터를 참조로 하여 리워드를 생성할 수 있으며, 리워드는 뉴럴 네트워크 연산에 사용되는 파라미터를 조정하는 데 관여하므로, 결국 위와 같은 정보를 참조로 하여 파라미터를 조정하겠다는 것이다.
경적 사용 여부 정보, 속력 변화 정보 및 사고 정보는, 자율 주행 차량(200)이 안전하게 운행하고 있는 것인지 판단하기 위한 기준일 수 있다. 자율 주행 차량(200)이 안전하게 주행하고 있다면, 주변 차량은 경적을 작동하지 않을 것이고, 속력을 늦추지 않을 것이며, 자율 주행 차량(200)과 충돌하지 않을 것이기 때문이다. 경적의 작동, 속력 늦춤, 충돌 등의 사고가 발생하면, 드라이브 네트워크(150)는 리워드를 낮춤으로써 자율 주행 차량(200)이 더욱 안전하게 주행하도록 할 것이다. 이에 대해서 이하 구체적으로 설명될 것이다.
컴퓨팅 장치(100)는, 어텐션 네트워크(130)로 하여금, 리워드를 참조로 하여 뉴럴 네트워크 연산에 사용될 파라미터를 조정하도록 할 수 있다. 어텐션 네트워크(130)는 리워드에 따라 파라미터의 변화 방향을 결정할 것인데, 일 예시로, 리워드가 낮으면, 어텐션 네트워크(130)는, 더 많은 카메라의 비디오 데이터를 사용할 수 있고, ROI를 더 넓게 설정함으로써 디텍션 네트워크(140)가 더 넓은 범위의 영역에 대해 검사하도록 하여, 더 안전한 주행을 하도록 할 수 있다. 또 다른 예시로, 어텐션 스코어가 전반적으로 높게 도출되도록 파라미터를 조절할 수 있을 것이다. 이는 강화 학습의 알고리즘 수행 방식으로서, 이를 통해 카메라를 효율적으로 사용하면서도 안전하게 자율 주행이 이루어질 수 있다.
상기와 같은 본 발명은 몇 가지 장점이 있지만, 이와 같은 방식의 학습 과정은 실제 도로를 주행하면서 이루어져야 하며, 준비된 트레이닝 이미지가 단순히 입력되는 CNN의 일반적인 학습 과정과 반대로 수행되어야 한다. 즉, 본 발명에 따른 상기 예의 경우, 학습 과정이 충분히 수행되지 않으면 실제 도로 주행 과정에서 사고 확률이 매우 높을 수 있다. 따라서, 본 발명은 이를 해결하기 위한 방안으로 가상 공간(Virtual Space)에서의 학습을 제안한다. 구체적인 사항은 다음과 같다.
자율 주행 차량(200) 및 자율 주행 차량(200)으로부터 소정 거리 이내에 있는 적어도 하나의 주변 차량은 가상 공간에 존재하도록 프로그래밍될 수 있다. 이 때, 자율 주행 차량(200)이 획득할 수 있는 어텐션 센서 데이터, 비디오 데이터 및 상황 데이터는, 가상 공간에서 자율 주행 차량(200)의 주변에 위치한 가상 객체 간의 관계에 관한 정보를 이용하여 획득되도록 프로그래밍될 수 있다. 어텐션 센서 데이터의 경우, 가상 공간 상에서의 자율 주행 차량(200)과 그 주변의 가상 객체들 간의 거리를 쉽게 계산할 수 있으므로, 레이더 또는 라이더에 의해 생성된 데이터의 포맷과 유사하게 어텐션 센서 데이터가 생성될 수 있을 것이고, 비디오 데이터 역시 가상 공간 내부에서의 시점에 따라 이미지를 생성함으로써 실제 데이터와 유사하게 생성될 수 있다. 상황 데이터 역시 유사하게 생성될 수 있으나, 이를 위해서는 가상 주변 차량들에 추가적인 로직이 필요하므로 이에 대해서도 살펴본다.
상황 데이터가 획득되기 위해서는, 가상 주변 차량들이 경적을 울리고, 속력을 줄이는 로직이 미리 프로그래밍되어있어야 한다. 구체적으로, 가상 공간은, (i) 상기 자율 주행 차량(200)으로부터 소정 거리 이내의 주변 차량이 제1 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 가상 공간에 있는 적어도 하나의 상기 주변 차량이 경적을 울리도록 프로그래밍되고, (ii) 상기 주변 차량이 제2 임계 시간 안에 상기 자율 주행 차량(200)과 충돌할 가능성이 있는 것으로 검출되면, 상기 주변 차량의 속력을 줄이도록 프로그래밍될 수 있다. 여기서, 상기 제1 임계 시간은 상기 제2 임계 시간에 비해 크거나 같을 수 있는데, 이는 경적을 울리는 것은 운전자가 자신의 속력를 줄이기 싫어서 울리는 경우가 많기 때문이다. 물론 이는 일 실시예일뿐이고, 제1 임계 시간과 제2 임계 시간의 크기 관계는 임의로 설정될 수 있다.
이와 같이 가상 주변 차량들의 로직이 구현되어 있는 경우, 상황 데이터도 실제 세계(real-world)와 유사하게 획득될 수 있을 것이다. 자율 주행 차량(200)은, 이와 같이 가상 공간에서 구현될 수 있으며, 그 내부에서 운행되는 과정에서 뉴럴 네트워크 연산에 사용되는 파라미터가 조정됨으로써 학습될 수 있다. 이와 같이 학습 과정을 구현하면, 실제와 유사한 공간을 가상 공간을 통해 구현될 수 있으므로, 가상 공간 상에서 여러 가지 상황, 즉 차량이 많은 정체 상황, 커브가 많은 길을 주행하는 상황, 언덕이 굴곡진 길을 주행하는 상황 등에 대해 사고 없이 안전하게 학습할 수 있는 장점이 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 적어도 하나의 어텐션 센서 데이터를 획득하면, 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터를 참조로 하여, 적어도 하나의 뉴럴 네트워크 연산을 수행함으로써 하나 이상의 어텐션 스코어를 계산하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 디텍션 네트워크로 하여금, 상기 어텐션 스코어를 참조로 하여, 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 상기 비디오 데이터를 참조로 하여, 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 하는 단계;
    (c) 상기 컴퓨팅 장치가, 드라이브 네트워크로 하여금, 상기 판단 데이터를 참조로 하여, 상기 자율 주행 차량을 운행하도록 하고, 운행 중인 상기 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상기 상황 데이터를 참조로 하여, 적어도 하나의 리워드를 생성하도록 하는 단계;
    (d) 상기 컴퓨팅 장치가, 상기 어텐션 네트워크로 하여금, 상기 리워드를 참조로 하여, 상기 뉴럴 네트워크 연산에 사용되는 하나 이상의 파라미터의 적어도 일부를 조정하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 뉴럴 네트워크 연산은, 상기 어텐션 센서 데이터가 입력되는 적어도 하나의 컨벌루션 레이어, 적어도 하나의 풀링 레이어, 적어도 하나의 FC 레이어 및 상기 어텐션 스코어가 출력되는 적어도 하나의 소프트맥스 레이어의 연산을 포함하여, 상기 자율 주행 차량 근처의 공간에 포함된 각 각도의 범위마다 적어도 하나의 주행 위험 레벨을 결정하도록 하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 (b) 단계는,
    상기 컴퓨팅 장치가, 상기 디텍션 네트워크로 하여금, 제1 임계치 이상의 상기 어텐션 스코어를 가지는 특정 각도 범위에 대응하는, 상기 자율 주행 차량에 설치된 특정 카메라의 특정 비디오 데이터를 획득하도록 하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 (b) 단계는,
    상기 컴퓨팅 장치가, 상기 디텍션 네트워크로 하여금, 적어도 하나의 영역이 적어도 하나의 ROI로 설정된 상기 비디오 데이터를 사용함으로써 상기 판단 데이터를 생성하도록 하되, 상기 영역은 제1 임계치 이상의 어텐션 스코어를 가지는 특정 각도 범위에 대응하는 영역인 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 (c) 단계는,
    상기 상황 데이터는, (i) 상기 자율 주행 차량으로부터 소정 거리내의 적어도 하나의 인접한 주변 차량의 적어도 하나의 차량 경적이 사용 중인지에 대한 정보, (ii) 상기 적어도 하나의 인접한 주변 차량의 속력 변화 정보, (iii) 상기 자율 주행 차량과 상기 인접한 주변 차량과의 적어도 하나의 사고 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 어텐션 센서 데이터는, 레이더를 사용하여 획득되거나, 라이더를 사용하여 획득되거나, 둘 모두를 사용하여 획득되고,
    상기 라이더를 사용하거나 또는 상기 레이더 및 상기 라이더를 모두 사용하여 상기 어텐션 센서 데이터가 획득된 경우, 상기 컴퓨팅 장치가, 상기 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터에 포함된 3차원 좌표들을 참조로 하여, 적어도 하나의 희소 깊이 이미지(sparse depth image)를 생성하도록 하고, 상기 희소 깊이 이미지에 적어도 하나의 스무딩(smoothing) 연산을 적용하도록 하여 적어도 하나의 고밀도 깊이 이미지(dense depth image)를 생성하도록 하고, 상기 고밀도 깊이 이미지를 참조로 하여, 상기 뉴럴 네트워크 연산을 수행함으로써, 상기 어텐션 스코어를 계산하도록 하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 자율 주행 차량은 가상 공간에서 구현되도록 하고, 상기 가상 공간에서 상기 자율 주행 차량이 운행되는 과정을 통해 상기 파라미터의 적어도 일부가 조정되는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 가상 공간에서 상기 자율 주행 차량으로부터 소정 거리 이내에 위치한 하나 이상의 가상 객체 간의 관계에 관한 정보를 참조로 하여, 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터가 획득되도록 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터의 변형이 프로그래밍된 것을 특징으로 하는 방법.
  9. 제 7항에 있어서,
    상기 가상 공간은, (i) 상기 자율 주행 차량으로부터 소정 거리 이내의 주변 차량이 제1 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 가상 공간에 있는 적어도 하나의 상기 주변 차량이 경적을 울리도록 프로그래밍되고, (ii) 상기 주변 차량이 제2 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 주변 차량의 속력을 줄이도록 프로그래밍되며, 상기 제1 임계 시간은 상기 제2 임계 시간에 비해 크거나 같은 것을 특징으로 하는 방법.
  10. 강화 학습에 의해 자율 주행 시 효율적으로 자원 할당을 수행하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 어텐션 네트워크로 하여금, 적어도 하나의 어텐션 센서 데이터를 참조로 하여, 적어도 하나의 뉴럴 네트워크 연산을 수행함으로써 하나 이상의 어텐션 스코어를 계산하도록 하는 프로세스; (II) 디텍션 네트워크로 하여금, 상기 어텐션 스코어를 참조로 하여, 자율 주행 차량에 설치된 하나 이상의 카메라들 중 적어도 일부에 의해 획득된 적어도 하나의 비디오 데이터를 획득하도록 하고, 상기 비디오 데이터를 참조로 하여, 적어도 하나의 자율 주행용 판단 데이터를 생성하도록 하는 프로세스; (III) 드라이브 네트워크로 하여금, 상기 판단 데이터를 참조로 하여, 상기 자율 주행 차량을 운행하도록 하고, 운행 중인 상기 자율 주행 차량의 주변 상황의 변화를 나타내는 적어도 하나의 상황 데이터를 획득하도록 하고, 상기 상황 데이터를 참조로 하여, 적어도 하나의 리워드를 생성하도록 하는 프로세스; (IV) 상기 어텐션 네트워크로 하여금, 상기 리워드를 참조로 하여, 상기 뉴럴 네트워크 연산에 사용되는 하나 이상의 파라미터의 적어도 일부를 조정하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  11. 제 10항에 있어서,
    상기 (I) 프로세스에서,
    상기 뉴럴 네트워크 연산은, 상기 어텐션 센서 데이터가 입력되는 적어도 하나의 컨벌루션 레이어, 적어도 하나의 풀링 레이어, 적어도 하나의 FC 레이어 및 상기 어텐션 스코어가 출력되는 적어도 하나의 소프트맥스 레이어의 연산을 포함하여, 상기 자율 주행 차량 근처의 공간에 포함된 각 각도의 범위마다 적어도 하나의 주행 위험 레벨을 결정하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  12. 제 10항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 디텍션 네트워크로 하여금, 제1 임계치 이상의 상기 어텐션 스코어를 가지는 특정 각도 범위에 대응하는, 상기 자율 주행 차량에 설치된 특정 카메라의 특정 비디오 데이터를 획득하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 10항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 디텍션 네트워크로 하여금, 적어도 하나의 영역이 적어도 하나의 ROI로 설정된 상기 비디오 데이터를 사용함으로써 상기 판단 데이터를 생성하도록 하되, 상기 영역은 제1 임계치 이상의 어텐션 스코어를 가지는 특정 각도 범위에 대응하는 영역인 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 10항에 있어서,
    상기 (III) 프로세스에서,
    상기 상황 데이터는, (i) 상기 자율 주행 차량으로부터 소정 거리내의 적어도 하나의 인접한 주변 차량의 적어도 하나의 차량 경적이 사용 중인지에 대한 정보, (ii) 상기 적어도 하나의 인접한 주변 차량의 속력 변화 정보, (iii) 상기 자율 주행 차량과 상기 인접한 주변 차량과의 적어도 하나의 사고 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 제 10항에 있어서,
    상기 (I) 프로세스에서,
    상기 어텐션 센서 데이터는, 레이더를 사용하여 획득되거나, 라이더를 사용하여 획득되거나, 둘 모두를 사용하여 획득되고,
    상기 라이더를 사용하거나 또는 상기 레이더 및 상기 라이더를 모두 사용하여 상기 어텐션 센서 데이터가 획득된 경우, 상기 프로세서가, 상기 어텐션 네트워크로 하여금, 상기 어텐션 센서 데이터에 포함된 3차원 좌표들을 참조로 하여, 적어도 하나의 희소 깊이 이미지(sparse depth image)를 생성하도록 하고, 상기 희소 깊이 이미지에 적어도 하나의 스무딩(smoothing) 연산을 적용하도록 하여 적어도 하나의 고밀도 깊이 이미지(dense depth image)를 생성하도록 하고, 상기 고밀도 깊이 이미지를 참조로 하여, 상기 뉴럴 네트워크 연산을 수행함으로써, 상기 어텐션 스코어를 계산하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  16. 제 10항에 있어서,
    상기 자율 주행 차량은 가상 공간에서 구현되도록 하고, 상기 가상 공간에서 상기 자율 주행 차량이 운행되는 과정을 통해 상기 파라미터의 적어도 일부가 조정되는 것을 특징으로 하는 컴퓨팅 장치.
  17. 제 16항에 있어서,
    상기 가상 공간에서 상기 자율 주행 차량으로부터 소정 거리 이내에 위치한 하나 이상의 가상 객체 간의 관계에 관한 정보를 참조로 하여, 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터가 획득되도록 상기 어텐션 센서 데이터, 상기 비디오 데이터, 상기 상황 데이터의 변형이 프로그래밍된 것을 특징으로 하는 컴퓨팅 장치.
  18. 제 16항에 있어서,
    상기 가상 공간은, (i) 상기 자율 주행 차량으로부터 소정 거리 이내의 주변 차량이 제1 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 가상 공간에 있는 적어도 하나의 상기 주변 차량이 경적을 울리도록 프로그래밍되고, (ii) 상기 주변 차량이 제2 임계 시간 안에 상기 자율 주행 차량과 충돌할 가능성이 있는 것으로 검출되면, 상기 주변 차량의 속력을 줄이도록 프로그래밍되며, 상기 제1 임계 시간은 상기 제2 임계 시간에 비해 크거나 같은 것을 특징으로 하는 컴퓨팅 장치.
KR1020190147096A 2019-01-31 2019-11-15 라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치 KR102277531B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,511 2019-01-31
US16/263,511 US10503174B1 (en) 2019-01-31 2019-01-31 Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor

Publications (2)

Publication Number Publication Date
KR20200096096A true KR20200096096A (ko) 2020-08-11
KR102277531B1 KR102277531B1 (ko) 2021-07-15

Family

ID=68766170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147096A KR102277531B1 (ko) 2019-01-31 2019-11-15 라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10503174B1 (ko)
EP (1) EP3690708A1 (ko)
JP (1) JP6982897B2 (ko)
KR (1) KR102277531B1 (ko)
CN (1) CN111507157B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867332A (zh) * 2021-08-18 2021-12-31 中国科学院自动化研究所 一种无人车自学习控制方法、装置、设备及可读存储介质
KR20220087717A (ko) 2020-12-18 2022-06-27 연세대학교 산학협력단 차량 네트워크의 자원 재할당 제어 방법 및 장치
KR20230071437A (ko) 2021-11-16 2023-05-23 에스케이하이닉스 주식회사 자율 주행 장치

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927668B2 (en) 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US11276189B2 (en) * 2019-03-06 2022-03-15 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
EP3851962A1 (en) * 2020-01-15 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Method, computer program and apparatus for assigning sensory resources of an autonomously operated system
CN111260937B (zh) * 2020-02-24 2021-09-14 武汉大学深圳研究院 一种基于强化学习的十字路口交通信号灯控制方法
WO2022011722A1 (zh) * 2020-07-17 2022-01-20 华为技术有限公司 数据处理方法、装置及智能车辆
JP7462243B2 (ja) 2020-07-22 2024-04-05 パナソニックＩｐマネジメント株式会社 複合部材
CN116420095A (zh) * 2020-08-18 2023-07-11 福飒特汽车有限公司 用于评估传感器性能的方法和系统
CN112052776B (zh) * 2020-09-01 2021-09-10 中国人民解放军国防科技大学 无人车自主驾驶行为优化方法、装置和计算机设备
CN111882878B (zh) * 2020-09-02 2021-07-02 烟台大学 一种基于交通流预测的最大化关键道路通行能力的方法
WO2022054176A1 (ja) * 2020-09-09 2022-03-17 日本電信電話株式会社 制御対象デバイス選択装置、制御対象デバイス選択方法およびプログラム
CN112198506B (zh) * 2020-09-14 2022-11-04 桂林电子科技大学 一种超宽带穿墙雷达学习成像的方法、装置、系统和可读存储介质
CN112485781B (zh) * 2020-11-18 2022-10-28 济南和普威视光电技术有限公司 一种基于深度学习的反无人机无人值守系统及方法
CN112616131B (zh) * 2020-12-11 2022-05-13 北京邮电大学 一种基于视频内容优先级的车联网资源分配方法
US11884296B2 (en) 2020-12-21 2024-01-30 Qualcomm Incorporated Allocating processing resources to concurrently-executing neural networks
CN113253249B (zh) * 2021-04-19 2023-04-28 中国电子科技集团公司第二十九研究所 一种基于深度强化学习的mimo雷达功率分配设计方法
CN113435253B (zh) * 2021-05-31 2022-12-02 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法
DE102021003567A1 (de) 2021-07-12 2021-08-26 Daimler Ag Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
US11851068B2 (en) 2021-10-25 2023-12-26 Ford Global Technologies, Llc Enhanced target detection
CN114919581B (zh) * 2022-05-11 2024-04-26 中南大学 智能车辆无序交叉路口的行为决策方法、计算机装置
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물
CN116343513B (zh) * 2023-03-07 2023-10-24 江苏纬信工程咨询有限公司 农村公路超视距风险点安全监测预警方法及其系统
CN116661465B (zh) * 2023-07-04 2023-10-31 无锡八英里电子科技有限公司 一种基于时序分析与多传感器融合的机器人自动行驶方法
CN116678506B (zh) * 2023-08-02 2023-10-10 国检测试控股集团南京国材检测有限公司 一种无线传输热损检测装置
CN117765499B (zh) * 2023-12-30 2024-06-25 武汉奥思工业设计有限公司 一种车辆辅助驾驶智能决策方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
KR20190096309A (ko) * 2019-05-29 2019-08-19 엘지전자 주식회사 차량 제어 장치
JP2019182412A (ja) * 2018-04-13 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車に用いられる自動データラベリング

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039864A (ja) * 2009-08-13 2011-02-24 Suzuki Motor Corp ドライブレコーダ装置
JP2015221648A (ja) * 2014-05-23 2015-12-10 三菱電機株式会社 サスペンション制御装置
KR101663027B1 (ko) * 2015-01-12 2016-10-07 한국기술교육대학교 산학협력단 레이더센서가 구비된 차량용 블랙박스 및 그 제어 방법
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
JP6838248B2 (ja) * 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
US10061316B2 (en) * 2016-07-08 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Control policy learning and vehicle control method based on reinforcement learning without active exploration
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
JP6840363B2 (ja) * 2017-05-24 2021-03-10 日本電信電話株式会社 ネットワーク学習装置、行動決定装置、ネットワーク学習方法、及びプログラム
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US11836611B2 (en) * 2017-07-25 2023-12-05 University Of Massachusetts Method for meta-level continual learning
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
JP2019182412A (ja) * 2018-04-13 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車に用いられる自動データラベリング
KR20190096309A (ko) * 2019-05-29 2019-08-19 엘지전자 주식회사 차량 제어 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220087717A (ko) 2020-12-18 2022-06-27 연세대학교 산학협력단 차량 네트워크의 자원 재할당 제어 방법 및 장치
CN113867332A (zh) * 2021-08-18 2021-12-31 中国科学院自动化研究所 一种无人车自学习控制方法、装置、设备及可读存储介质
CN113867332B (zh) * 2021-08-18 2024-05-14 中国科学院自动化研究所 一种无人车自学习控制方法、装置、设备及可读存储介质
KR20230071437A (ko) 2021-11-16 2023-05-23 에스케이하이닉스 주식회사 자율 주행 장치

Also Published As

Publication number Publication date
CN111507157A (zh) 2020-08-07
KR102277531B1 (ko) 2021-07-15
JP2020125102A (ja) 2020-08-20
US10503174B1 (en) 2019-12-10
JP6982897B2 (ja) 2021-12-17
CN111507157B (zh) 2023-07-21
EP3690708A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR102277531B1 (ko) 라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치
US10991156B2 (en) Multi-modal data fusion for enhanced 3D perception for platforms
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
US11273838B2 (en) Method and apparatus for determining vehicle speed
KR102373487B1 (ko) 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치
JP2021527591A (ja) オクルージョン認識プランニング
CN115315709A (zh) 自主系统中用于行为预测的基于模型的增强学习及应用
CN110576847A (zh) 基于焦点的对传感器数据的标记
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
KR102241584B1 (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
US11400923B2 (en) Information processing device, vehicle control device, and mobile object control method
US20230260266A1 (en) Camera-radar data fusion for efficient object detection
KR102314515B1 (ko) 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버
JP2024014875A (ja) 視覚追跡および画像再投影による自律運転のための物体位置特定
CN115705060A (zh) 让行场景中自主车辆的行为规划
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
US20230294687A1 (en) End-to-end processing in automated driving systems
WO2023158642A1 (en) Camera-radar data fusion for efficient object detection
CN116310743A (zh) 确定膨胀策略的方法、装置、移动装置及存储介质
CN115991207A (zh) 驾驶应用中真标志和图像标志检测的识别
Memon et al. Self-driving car using lidar sensing and image processing
EP4325251A1 (en) High throughput point cloud processing
US20240161398A1 (en) Late-to-early temporal fusion for point clouds
US20240144696A1 (en) Road User Information Determination Based on Image and Lidar Data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant