KR102458215B1 - 차량의 주행을 위한 전자 장치 및 그의 동작 방법 - Google Patents

차량의 주행을 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102458215B1
KR102458215B1 KR1020210162358A KR20210162358A KR102458215B1 KR 102458215 B1 KR102458215 B1 KR 102458215B1 KR 1020210162358 A KR1020210162358 A KR 1020210162358A KR 20210162358 A KR20210162358 A KR 20210162358A KR 102458215 B1 KR102458215 B1 KR 102458215B1
Authority
KR
South Korea
Prior art keywords
value
steering
throttle
neural network
candidate
Prior art date
Application number
KR1020210162358A
Other languages
English (en)
Inventor
허지성
임형우
신영숙
전태윤
이상호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210162358A priority Critical patent/KR102458215B1/ko
Application granted granted Critical
Publication of KR102458215B1 publication Critical patent/KR102458215B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/06—Combustion engines, Gas turbines
    • B60W2510/0604—Throttle position

Landscapes

  • Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Mathematical Physics (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Traffic Control Systems (AREA)

Abstract

기 훈련된 제1뉴럴 네트워크 및 제2뉴럴 네트워크를 통해 차량의 주행을 제어하기 위한 최종 스티어링 값 및 최종 스로틀 값을 결정하는 전자 장치 및 그의 동작 방법을 제공한다.

Description

차량의 주행을 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR CONTROLLING DRIVING OF VEHICLE AND OPERATION METHOD THEREOF}
본 개시는 차량의 주행을 제어하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
자율 주행 기술은 미래 전망이 촉망되는 주요 기술 중 하나이다. 합성곱 심층 신경망(Deep Convolutional Network)이 물체 인식 정확도 향상의 큰 기여를 함에 따라 자율 주행 분야에서도 딥러닝을 적용시키고자 하는 시도가 계속되고 있다.
이미지 데이터로는 주로 카메라의 RGB 데이터나 라이다 센서의 라이다 데이터가 이용되는데 각각의 센서에는 장단점이 있다. 카메라 이미지는 광량에 영향을 받는다. 색상 정보를 통해서 이미지 속 물체 인식에 탁월한 정보를 주지만, 날씨와 밝기에 크게 영향을 받기 때문에 어둡거나 그림자가 진 환경에서는 예측 성능이 떨어지는 경우가 많다. 라이다 센서는 레이저를 전달하여 받은 정보를 통해 해당 점들과의 거리를 구할 수 있다. 또한, 라이다는 Active 센서이기 때문에 빛이 없는 환경에서도 작동 가능하다. 하지만, 카메라 데이터에 비해서 레이어 수가 상당히 적으며, 색상 정보를 알 수 없기 때문에 평탄한 지형에서는 도로의 위치와 모양의 구분에 어려움이 있다.
개시된 실시 예들은 차량의 주행을 제어하기 위한 전자 장치 및 그의 동작 방법을 개시하고자 한다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
제1 실시 예에 따라, 차량의 주행을 제어하기 위한 전자 장치의 동작 방법으로서, 제1센싱 데이터 및 제2센싱 데이터를 획득하는 단계; 상기 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 상기 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정하는 단계; 및 상기 제1신뢰도 및 상기 제2신뢰도를 기초로 상기 제1스티어링 값 및 상기 제2스티어링 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 상기 제1스로틀 값 및 상기 제2스로틀 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정하는 단계를 포함할 수 있다.
제2 실시예에 따라, 차량의 주행을 제어하기 위한 전자 장치로서, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써, 제1센싱 데이터 및 제2센싱 데이터를 획득하고, 상기 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 상기 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정하고, 상기 제1신뢰도 및 상기 제2신뢰도를 기초로 상기 제1스티어링 값 및 상기 제2스티어링 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 상기 제1스로틀 값 및 상기 제2스로틀 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정하는 프로세서를 포함할 수 있다.
제3 실시예에 따라, 컴퓨터로 읽을 수 있는 기록매체는 상술한 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 비일시적 기록매체를 포함한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 따르면, 전자 장치는 제1뉴럴 네트워크의 제1신뢰도와 제2뉴럴 네트워크의 제2신뢰도를 기초로, 제1뉴럴 네트워크의 제1스티어링 값과 제2뉴럴 네트워크의 제2스티어링 값으로부터 차량의 주행을 제어하기 위한 최종 스티어링 값을 계산하고, 제1뉴럴 네트워크의 제1스로틀 값과 제2뉴럴 네트워크의 제2스로틀 값으로부터 차량의 주행을 제어하기 위한 최종 스로틀 값을 계산하므로, 보다 신뢰도 높은 최종 스티어링 값과 최종 스로틀 값을 계산할 수 있다. 예를 들어, 전자 장치는 스티어링 값과 스로틀 값을 예측하기 어려운 상황에서 카메라 센서의 데이터와 라이다 센서의 데이터를 상호 보완적으로 이용하여, 최종 스티어링 값과 최종 스로틀 값을 결정할 수 있다.
또한, 전자 장치는 기 훈련된 제1뉴럴 네트워크 및 제2뉴럴 네트워크를 통해 최종 스티어링 값 및 최종 스로틀 값을 결정할 수 있고, 결정된 최종 스티어링 값 및 최종 스로틀 값을 통해 차량이 주행 가능 영역을 주행하도록 제어할 수 있다. 예를 들어, 차량은 전자 장치에 의해 결정된 최종 스티어링 값 및 최종 스로틀 값에 따라, 비포장도로 내에서도 주행 가능 영역을 통해 원활하게 주행할 수 있다. 예를 들어, 군용 차량은 전자 장치에 의해 결정된 최종 스티어링 값 및 최종 스로틀 값에 따라, 야지 또는 험지 내에서도 주행 가능 영역을 통해 원활하게 주행할 수 있다.
발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 전자 장치를 나타낸다.
도 2는 라이다 데이터가 가공된 2차원 이미지를 나타낸다.
도 3은 세그멘테이션을 통해 가공된 이미지를 나타낸다.
도 4는 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 5는 뉴럴 네트워크의 출력들에 대한 엔트로피의 예시를 나타낸다.
도 6은 프로세서가 최종 스티어링 값 및 최종 스로틀 값을 결정하는 실시예를 나타낸다.
도 7은 전자 장치가 동작하는 일 실시예를 나타낸다.
도 8은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "..부", "..모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 기재된 "a, b, 및 c 중 적어도 하나"의 표현은, 'a 단독', 'b 단독', 'c 단독', 'a 및 b', 'a 및 c', 'b 및 c', 또는 'a,b,c 모두'를 포괄할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
자율 주행의 구현을 위해서는 주로 모방학습(Imitation learning)이라 불리는 방법이 사용된다. 모방학습에서는 유인 주행을 통해 카메라, 라이다 데이터와 스티어링(Steering), 스로틀(Throttle) 값을 기록한다. 입력된 이미지가 심층 합성곱 신경망의 모든 연산을 거치면 스티어링(Steering)과 스로틀(Throttle) 값이 출력된다. 이는 사람이 차량을 운전하기 위한 유일한 입력이기도 하다. Backpropagation 알고리즘을 통해 해당 이미지에 대응하는 레이블 데이터와 출력값의 차이를 줄이는 방향으로 학습한다. 학습된 네트워크는 카메라 또는 라이다 데이터를 입력받아 레이블된 스티어링 값과 스로틀 값에 대한 유사추론값을 예측하여 자율주행을 가능케 한다. 일 실시예에 따라, 인공신경망은 15개의 스티어링 값과 20개의 스로틀 값 중 각각 하나가 선택되어 출력될 수 있다.
카메라와 라이다는 서로 다른 방식으로 데이터를 수집하기 때문에 상호보완적으로 작용할 수 있다. 카메라를 통한 출력과 라이다를 통한 출력의 신뢰도를 고려하여 출력을 융합하는 방법을 통해 자율주행의 성능을 높일 수 있을 것이다. 본 발명에서는 카메라와 라이다 센서 데이터를 통합하여 모방 학습을 통한 자율주행의 성능 향상을 모색하고 카메라, 라이다 데이터의 신뢰도 측정을 기반으로 최적 조합을 찾는 알고리즘을 제공한다.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세히 설명한다.
도 1은 본 개시에 따른 전자 장치를 나타낸다.
전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 도 1에 도시된 전자 장치(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 전자 장치(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
전자 장치(100)는 차량의 주행을 제어할 수 있다. 구체적으로, 전자 장치(100)는 차량의 주행을 위한 스티어링(steering) 값과 스로틀(throttle) 값을 결정할 수 있다. 예를 들어, 전자 장치(100)는 스티어링 값을 통해 차량의 조향 유닛을 제어할 수 있고, 스로틀 값을 통해 차량의 스로틀을 제어할 수 있다. 일 실시예에 따라, 조향 유닛은 차량의 방향을 조절하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀은 엔진/모터의 동작 속도를 제어하여 차량의 속도를 제어하도록 구성되는 매커니즘들의 조합이 될 수 있다. 또한, 스로틀은 스로틀 개방량을 조절하여 엔진/모터로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있으며, 스로틀 개방량을 조절하여 동력 및 추력을 제어할 수 있다. 일 실시예에 따라, 전자 장치(100)는 차량에 포함될 수 있고, 차량의 자율 주행 기능을 구현할 수 있다.
프로세서(110)는 전자 장치(100)에서 차량의 주행을 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 프로세서(110)는 전자 장치(100) 내의 메모리(120)에 저장된 프로그램들을 실행함으로써, 전자 장치(100)를 전반적으로 제어한다. 프로세서(110)는 전자 장치(100) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.
메모리(120)는 전자 장치(100) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 메모리(120)는 전자 장치(100)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(120)는 전자 장치(100)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(110)는 제1센싱 데이터 및 제2센싱 데이터를 획득할 수 있다. 일 실시예에 따라, 프로세서(110)는 이미지 센서로부터 제1센싱 데이터를 획득할 수 있고, 라이다 센서로부터 제2센싱 데이터를 획득할 수 있다. 예를 들어, 제1센싱 데이터는 이미지 센서로부터 획득된 2차원 이미지 데이터일 수 있거나, 이미지 데이터가 세그멘테이션(segmentation)을 통해 가공된 데이터일 수 있다. 제2센싱 데이터는, 라이다 센서로부터 획득된 라이다 데이터가 도로 검출 네트워크를 통해 가공된 2차원 이미지 데이터일 수 있다. 다른 실시예에 따라, 프로세서(110)는 이미지 센서로부터 제1센싱 데이터와 제2센싱 데이터를 획득할 수 있다. 여기서 제1센싱 데이터는 이미지 센서로부터 획득된 이미지 데이터일 수 있고, 제2센싱 데이터는 이미지 데이터가 세그멘테이션을 통해 가공된 데이터일 수 있다.
도 2는 라이다 데이터가 가공된 2차원 이미지를 나타낸다.
도 2의 2차원 이미지(210)는 라이다 데이터가 가공된 2차원 이미지를 나타낸다. 라이다 데이터로부터 획득된 라이다 데이터는 기 훈련된 도로 검출 네트워크를 통해 각 픽셀 값이 도로(1)이거나 비도로(0)를 의미하는 2차원 이미지로 변환될 수 있다. 여기서 도로 검출 네트워크는 입력 정보인 포인트 클라우드가 도로와 비도로를 구분하도록 훈련된 뉴럴 네트워크일 수 있다. 이러한 2차원 이미지는 뉴럴 네트워크가 스티어링 값 및 스로틀 값을 추정하는데 용이한 형태가 될 수 있다.
도 3은 세그멘테이션을 통해 가공된 이미지를 나타낸다.
도 3의 이미지(310)는 카메라로부터 획득된 이미지 데이터가 가공된 이미지를 나타낸다. 구체적으로, 카메라로부터 획득된 이미지 데이터는 기 훈련된 뉴럴 네트워크를 통해 세그멘테이션이 수행되어, 각 대상 별로 구획된 2차원 이미지로 변환될 수 있다. 예를 들어, 카메라로부터 획득된 이미지 데이터는 기 훈련된 뉴럴 네트워크를 통해 나무, 도로, 및 표지판 등의 각 대상이 서로 다른 색상으로 표시되어 분류된 2차원 이미지로 변환될 수 있다.
다시 도 1을 참조하면, 일 실시예에 따라, 프로세서(110)는 제1센싱 데이터 및 제2센싱 데이터를 전자 장치(100) 내 통신 디바이스를 통해 외부로부터 획득할 수 있다. 다른 실시예에 따라, 프로세서(110)는 제1센싱 데이터 및 제2센싱 데이터를 메모리(120)로부터 획득할 수 있다.
프로세서(110)는 제1센싱 데이터가 입력된 제1뉴럴 네트워크로부터 제1신뢰도, 및 제1스티어링 값과 제1스로틀 값을 결정할 수 있고, 제2센싱 데이터가 입력된 제2뉴럴 네트워크로부터 제2신뢰도, 및 제2스티어링 값과 제2스로틀 값을 결정할 수 있다. 제1뉴럴 네트워크는 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 추론하도록 훈련될 수 있다. 다시 말해, 제1뉴럴 네트워크는 제1센싱 데이터에 기초하여 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 추론하도록 훈련될 수 있다. 구체적으로, 차량이 주행 가능 영역을 주행하면서 제1센싱 데이터와, 제1센싱 데이터에 대응되는 스티어링 값 및 스로틀 값이 획득되는 경우, 제1 뉴럴 네트워크는 입력 정보인 제1센싱 데이터와, 입력 정보에 대한 타겟 정보인 스티어링 값 및 스로틀 값에 기초하여 학습 또는 훈련된 컨볼루션 뉴럴 네트워크일 수 있다. 마찬가지로, 제2뉴럴 네트워크 또한 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 추론하도록 훈련될 수 있다. 다시 말해, 제2뉴럴 네트워크는 제2센싱 데이터에 기초하여 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 추론하도록 훈련될 수 있다. 구체적으로, 차량이 주행 가능 영역을 주행하면서 제2센싱 데이터와, 제2센싱 데이터에 대응되는 스티어링 값 및 스로틀 값이 획득되는 경우, 제2뉴럴 네트워크는 입력 정보인 제2센싱 데이터와, 입력 정보에 대한 타겟 정보인 스티어링 값 및 스로틀 값에 기초하여 학습 또는 훈련된 컨볼루션 뉴럴 네트워크일 수 있다. 여기서 주행 가능 영역은 일 예에 따라 포장 도로를 의미할 수 있고, 다른 예에 따라 비포장 도로 중에서도 차량이 주행할 수 있는 영역을 의미할 수 있다. 예를 들어, 주행 가능 영역은 비포장 도로 중에서 산길, 흙길, 또는 자갈길이 될 수 있다.
프로세서(110)는 제1센싱 데이터가 입력된 제1뉴럴 네트워크로부터 제1센싱 데이터에 대한 제1신뢰도를 계산할 수 있고, 제2센싱 데이터가 입력된 제2뉴럴 네트워크로부터 제2센싱 데이터에 대한 제2신뢰도를 계산할 수 있다. 구체적으로, 프로세서(110)는 제1뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 제1신뢰도를 계산할 수 있고, 제2뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 제2신뢰도를 계산할 수 있다.
일 실시예에 따라, 프로세서(110)는 아래 수학식 1 및 수학식 2에 따라 신뢰도를 계산할 수 있다.
[수학식 1]
Figure 112021135058302-pat00001
[수학식 2]
Figure 112021135058302-pat00002
수학식 1 및 2에서,
Figure 112021135058302-pat00003
는 뉴럴 네트워크의 소프트맥스 레이어의 n개의 출력값들 중 i번째 출력값을 나타낸다. 따라서, 프로세서(110)는 수학식 1을 통해 엔트로피
Figure 112021135058302-pat00004
를 계산하고, 수학식 2를 통해 엔트로피
Figure 112021135058302-pat00005
의 역수로 신뢰도
Figure 112021135058302-pat00006
를 계산할 수 있다. 여기서
Figure 112021135058302-pat00007
는 0으로 나누는 것을 방지하기 위한 최소값으로 예를 들어 0.00001로 설정될 수 있다. 또한,
Figure 112021135058302-pat00008
는 아래 수학식 3에 따라 계산될 수 있다. 수학식 3에서
Figure 112021135058302-pat00009
는 소프트맥스 레이어에 입력되는 i번째 값을 나타낸다.
[수학식 3]
Figure 112021135058302-pat00010
다른 실시예에 따라, 프로세서(110)는 아래 수학식 4에 따라 신뢰도
Figure 112021135058302-pat00011
를 계산할 수 있다.
[수학식 4]
Figure 112021135058302-pat00012
수학식 4에서,
Figure 112021135058302-pat00013
는 뉴럴 네트워크의 소프트맥스 레이어의 n개의 출력값들 중 가장 큰 값을 나타낸다.
프로세서(110)는 제1뉴럴 네트워크의 출력을 기초로 제1스티어링 값과 제1스로틀 값을 결정하고, 제2뉴럴 네트워크의 출력을 기초로 제2스티어링 값과 제2스로틀 값을 결정할 수 있다. 예를 들어, 프로세서(110)는 아래 수학식 5에 따라 스티어링 값
Figure 112021135058302-pat00014
및 스로틀 값
Figure 112021135058302-pat00015
를 결정할 수 있다(categorical model).
[수학식 5]
Figure 112021135058302-pat00016
수학식 5에서, 스티어링 값
Figure 112021135058302-pat00017
은 뉴럴 네트워크의 출력인 후보 스티어링 값들 중에서 소프트맥스 레이어의 출력값인
Figure 112021135058302-pat00018
가 가장 높은 i번째 후보 스티어링 값을 나타내고, 스로틀 값
Figure 112021135058302-pat00019
는 뉴럴 네트워크의 출력인 후보 스로틀 값들 중에서 소프트맥스 레이어의 출력값인
Figure 112021135058302-pat00020
가 가장 높은 i번째 후보 스로틀 값을 나타낸다.
도 4는 뉴럴 네트워크의 일 예시인 컨볼루션 뉴럴 네트워크를 나타낸다.
도 4에 도시된 바와 같이, 컨볼루션 뉴럴 네트워크(400)는 컨볼루션 레이어(Convolutional layer)들과, 풀리 커넥티드 레이어(Fully connected layer)들과 소프트맥스 레이어(Softmax layer)로 구성될 수 있다. 또한, 컨볼루션 뉴럴 네트워크(400)는 입력 정보인 센싱 데이터와, 입력 정보에 대한 타겟 정보인 스티어링 값 및 스로틀 값에 기초하여 훈련된 뉴럴 네트워크일 수 있다. 또한, 컨볼루션 뉴럴 네트워크(400)에서 Flatten 함수가 이용될 수 있으며, 여기서 Flatten 함수는 데이터(tensor)의 형태(shape)를 바꾸는 함수를 의미할 수 있다. 예를 들어, Flatten 함수는 200x200x1의 데이터를 40000x1의 데이터로 바꿀 수 있다.
일 실시예에 따라, 센싱 데이터가 입력된 컨볼루션 뉴럴 네트워크(400)는 15개의 뉴런들을 통해 15개의 후보 스티어링 값들을 출력할 수 있고, 20개의 뉴런들을 통해 20개의 후보 스로틀 값들을 출력할 수 있다. 프로세서(110)는 15개의 후보 스티어링 값들 중에서 소프트맥스 레이어의 출력값이 가장 높은 후보 스티어링 값을 스티어링 값(410)으로 결정할 수 있고, 20개의 후보 스로틀 값들 중에서 소프트맥스 레이어의 출력값이 가장 높은 후보 스로틀 값을 스로틀 값(420)으로 결정할 수 있다.
또한, 프로세서(110)는 컨볼루션 뉴럴 네트워크(400)의 소프트맥스 레이어의 출력들에 기초하여 입력인 센싱 데이터의 신뢰도를 계산할 수 있다. 일 실시예에 따라, 프로세서(110)는 15개의 뉴런들에 대응되는 소프트맥스 레이어의 출력들에 대한 엔트로피를 계산하여 센싱 데이터의 신뢰도를 계산할 수 있다. 다시 말해, 프로세서(110)는 스티어링 값(410)에 대한 신뢰도를 센싱 데이터의 신뢰도로 결정할 수 있다. 다른 실시예에 따라, 프로세서(110)는 20개의 뉴런들에 대응되는 소프트맥스 레이어의 출력들에 대한 엔트로피를 계산하여 센싱 데이터의 신뢰도를 계산할 수 있다. 다시 말해, 프로세서(110)는 스로틀 값(420)에 대한 신뢰도를 센싱 데이터의 신뢰도로 결정할 수 있다. 또 다른 실시예에 따라, 프로세서(110)는 스티어링 값(410)에 대한 신뢰도와 스로틀 값(420)에 대한 신뢰도를 이용하여 센싱 데이터의 신뢰도를 결정할 수 있다. 예를 들어, 프로세서(110)는 스티어링 값(410)에 대한 신뢰도와 스로틀 값(420)에 대한 신뢰도의 평균값을 센싱 데이터의 신뢰도로 결정하거나, 스티어링 값(410)에 대한 신뢰도 및 스로틀 값(420)에 대한 신뢰도 중 낮은 값을 센싱 데이터의 신뢰도로 결정할 수 있다.
도 5는 뉴럴 네트워크의 출력들에 대한 엔트로피의 예시를 나타낸다.
좌측 그래프(510)는 뉴럴 네트워크의 소프트맥스 레이어의 출력값들을 나타낸다. 구체적으로, 좌측 그래프(510)는 후보 스로틀 값들에 대한
Figure 112021135058302-pat00021
를 나타내고,
Figure 112021135058302-pat00022
가 모두 균등하게 일정한 값들임을 나타낸다. 이 경우 엔트로피는 2.9957로 비교적 큰 값으로 계산되고, 이는 뉴럴 네트워크에 입력되는 센싱 데이터의 신뢰도가 낮음을 의미할 수 있다.
우측 그래프(520)는 뉴럴 네트워크의 소프트맥스 레이어의 출력값들을 나타낸다. 구체적으로, 우측 그래프(520)는 후보 스로틀 값들에 대한
Figure 112021135058302-pat00023
를 나타내고, 특정 후보 스로틀 값에 대한
Figure 112021135058302-pat00024
가 높음을 나타낸다. 이 경우 엔트로피는 1.0457로 비교적 작은 값으로 계산되고, 이는 뉴럴 네트워크에 입력되는 센싱 데이터의 신뢰도가 높음을 의미할 수 있다.
다시 도 1을 참조하면, 프로세서(110)는 제1신뢰도 및 제2신뢰도를 기초로 제1스티어링 값 및 제2스티어링 값으로부터 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정할 수 있고, 제1신뢰도 및 제2신뢰도를 기초로 제1스로틀 값 및 제2스로틀 값으로부터 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정할 수 있다.
일 실시예에 따라, 프로세서(110)는 제1신뢰도 및 제2신뢰도의 비율에 따라 제1스티어링 값 및 제2스티어링 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정할 수 있다. 마찬가지로, 프로세서(110)는 제1신뢰도 및 제2신뢰도의 비율에 따라 제1스로틀 값 및 제2스로틀 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다.
예를 들어, 프로세서(110)는 아래 수학식 6에 따라 최종 스티어링 값
Figure 112021135058302-pat00025
및 최종 스로틀 값
Figure 112021135058302-pat00026
을 결정할 수 있다.
[수학식 6]
Figure 112021135058302-pat00027
수학식 6에서,
Figure 112021135058302-pat00028
는 제1신뢰도를 나타낼 수 있고,
Figure 112021135058302-pat00029
는 제2신뢰도를 나타낼 수 있다. 예를 들어, 제1신뢰도는 카메라로부터 획득된 제1센싱 데이터에 대한 신뢰도를 의미할 수 있고, 제2신뢰도는 라이다 센서로부터 획득된 제2센싱 데이터에 대한 신뢰도를 의미할 수 있다. 또한, 수학식 6에서,
Figure 112021135058302-pat00030
는 제1스티어링 값을 나타낼 수 있고,
Figure 112021135058302-pat00031
는 제2스티어링 값을 나타낼 수 있고,
Figure 112021135058302-pat00032
는 제1스로틀 값을 나타낼 수 있고,
Figure 112021135058302-pat00033
는 제2스로틀 값을 나타낼 수 있다. 따라서, 프로세서(110)는 제1신뢰도 및 제2신뢰도의 비율에 따라 가중치가 부여된 제1스티어링 값 및 제2스티어링 값을 융합하여 최종 스티어링 값을 결정할 수 있고, 제1신뢰도 및 제2신뢰도의 비율에 따라 가중치가 부여된 제1스로틀 값 및 제2스로틀 값을 융합하여 최종 스로틀 값을 결정할 수 있다.
다른 실시예에 따라, 프로세서(110)는 제1신뢰도 및 제2신뢰도 간의 크기 비교를 통해 제1스티어링 값 및 제2스티어링 값 중에서 어느 하나를 최종 스티어링 값으로 결정할 수 있고, 제1신뢰도 및 제2신뢰도 간의 크기 비교를 통해 제1스로틀 값 및 제2스로틀 값 중에서 어느 하나를 최종 스로틀 값으로 결정할 수 있다.
예를 들어, 프로세서(110)는 아래 수학식 7에 따라 최종 스티어링 값
Figure 112021135058302-pat00034
및 최종 스로틀 값
Figure 112021135058302-pat00035
을 결정할 수 있다.
[수학식 7]
Figure 112021135058302-pat00036
수학식 7에서,
Figure 112021135058302-pat00037
는 제1신뢰도를 나타낼 수 있고,
Figure 112021135058302-pat00038
는 제2신뢰도를 나타낼 수 있다. 예를 들어, 제1신뢰도는 카메라로부터 획득된 제1센싱 데이터에 대한 신뢰도를 의미할 수 있고, 제2신뢰도는 라이다 센서로부터 획득된 제2센싱 데이터에 대한 신뢰도를 의미할 수 있다. 또한, 수학식 7에서,
Figure 112021135058302-pat00039
는 제1스티어링 값을 나타낼 수 있고,
Figure 112021135058302-pat00040
는 제2스티어링 값을 나타낼 수 있고,
Figure 112021135058302-pat00041
는 제1스로틀 값을 나타낼 수 있고,
Figure 112021135058302-pat00042
는 제2스로틀 값을 나타낼 수 있다. 따라서, 프로세서(110)는 제1신뢰도와 제2신뢰도 간의 크기 비교에 따라, 신뢰도가 높은 센싱 데이터로부터 획득된 스티어링 값 또는 스로틀 값을 최종 스티어링 값 또는 최종 스로틀 값으로 결정할 수 있다.
일 실시예에 따라, 제1신뢰도는 제1스티어링 값에 대한 제1-1신뢰도, 및 제1스로틀 값에 대한 제1-2신뢰도를 포함할 수 있고, 제2신뢰도는 제2스티어링 값에 대한 제2-1신뢰도, 및 제2스로틀 값에 대한 제2-2신뢰도를 포함할 수 있는바, 프로세서(110) 제1-1신뢰도 및 제2-1신뢰도를 기초로 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정하고, 제1-2신뢰도 및 제2-2신뢰도를 기초로 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다. 일 예에 따라, 프로세서(110)는 제1-1신뢰도 및 제2-1신뢰도의 비율에 따라 제1스티어링 값 및 제2스티어링 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정할 수 있다. 또한, 프로세서(110)는 제1-2신뢰도 및 제2-2신뢰도의 비율에 따라 제1스로틀 값 및 제2스로틀 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다. 다른 예로, 프로세서(110)는 제1-1신뢰도 및 제2-1신뢰도 간의 크기 비교를 통해 제1스티어링 값 및 제2스티어링 값 중에서 어느 하나를 최종 스티어링 값으로 결정할 수 있고, 제1-2신뢰도 및 제2-2신뢰도의 크기 비교를 통해 제1스로틀 값 및 제2스로틀 값 중 어느 하나를 최종 스로틀 값으로 결정할 수 있다.
일 실시예에 따라, 프로세서(110)는 제1스티어링 값과 제2스티어링 값을 융합하여 최종 스티어링 값을 결정할 수 있고, 제1스로틀 값과 제2스로틀 값을 융합하여 최종 스로틀 값을 결정할 수 있다. 예를 들어, 프로세서(110)는 제1스티어링 값과 제2스티어링 값의 평균을 통해 최종 스티어링 값을 결정할 수 있고, 제1스로틀 값과 제2스로틀 값의 평균을 통해 최종 스로틀 값을 결정할 수 있다. 또한, 프로세서(110)는 매우 어둡지만 도로와 비도로를 구분하는 가로수나 울타리가 존재하는 경우에는 카메라보다 라이다가 더 신뢰도가 높을 수 있기 때문에, 카메라에 기반한 제1센싱 데이터 보다 라이다에 기반한 제2센싱 데이터를 통해 최종 스티어링 값 및 최종 스로틀 값을 결정할 수 있다.
전자 장치(100)는 기 훈련된 제1뉴럴 네트워크 및 제2뉴럴 네트워크를 통해 최종 스티어링 값 및 최종 스로틀 값을 결정할 수 있고, 결정된 최종 스티어링 값 및 최종 스로틀 값을 통해 차량이 주행 가능 영역을 주행하도록 제어할 수 있다. 예를 들어, 차량은 전자 장치(100)에 의해 결정된 최종 스티어링 값 및 최종 스로틀 값에 따라, 비포장도로 내에서도 주행 가능 영역을 통해 원활하게 주행할 수 있다. 또한, 군용 차량은 전자 장치(100)에 의해 결정된 최종 스티어링 값 및 최종 스로틀 값에 따라, 야지 또는 험지 내에서도 주행 가능 영역을 통해 원활하게 주행할 수 있다.
도 6은 프로세서가 최종 스티어링 값 및 최종 스로틀 값을 결정하는 실시예를 나타낸다.
프로세서(110)는 제1센싱 데이터(610)가 입력된 뉴럴 네트워크(630)의 출력을 기초로, 제1스티어링 값 및 제1스로틀 값을 결정할 수 있고, 제1스티어링 값에 대한 제1-1신뢰도 및 제1스로틀 값에 대한 제1-2신뢰도를 결정할 수 있다. 또한, 프로세서(110)는 제2센싱 데이터(620)가 입력된 뉴럴 네트워크(640)의 출력을 기초로, 제2스티어링 값 및 제2스로틀 값을 결정할 수 있고, 제2스티어링 값에 대한 제2-1신뢰도 및 제2스로틀 값에 대한 제2-2신뢰도를 결정할 수 있다.
프로세서(110)는 제1-1신뢰도 및 제2-1신뢰도를 기초로 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정하고, 제1-2신뢰도 및 제2-2신뢰도를 기초로 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다. 예를 들어, 프로세서(110)는 제1-1신뢰도 및 제2-1신뢰도의 비율 또는 제1-1신뢰도 및 제2-1신뢰도 간의 크기 비교에 따라, 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정하고, 제1-2신뢰도 및 제2-2신뢰도의 비율 또는 제1-2신뢰도 및 제2-2신뢰도의 크기 비교에 따라 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다.
도 7은 전자 장치가 동작하는 일 실시예를 나타낸다.
데이터 획득(Data Acquisition)을 위한 단계(S710)에서, 전자 장치(100)는 센서들로부터 데이터를 획득할 수 있다. 예를 들어, 전자 장치(100)는 카메라로부터 이미지 데이터를 획득할 수 있고, 라이다 센서로부터 라이다 데이터를 획득할 수 있다. 일 실시예에 따라, 전자 장치(100)는 차량의 주행 중에 이미지 데이터 및 라이다 데이터를 획득할 수 있으며, 또한, 차량의 주행 중에 측정되는 스티어링 값 및 스로틀 값을 획득할 수 있다.
데이터 편집(Data Editing)을 위한 단계(S720)에서, 전자 장치(100)는 S710에서 획득된 데이터를 편집하여 뉴럴 네트워크 학습에 필요가 없는 부분은 제거할 수 있다. 예를 들어, 전자 장치(100)는 뉴럴 네트워크를 학습 또는 훈련시키기 위해 차량의 주행 중에 획득된 이미지 데이터, 라이다 데이터, 스티어링 값, 및 스로틀 값에 대한 편집을 수행할 수 있다.
훈련(Training)을 위한 단계(S730)에서, 전자 장치(100)는 S720에서 편집된 데이터에 기반하여 뉴럴 네트워크를 학습시킬 수 있다. 구체적으로, 전자 장치(100)는 입력 정보인 이미지 데이터 및 라이다 데이터와 입력 정보에 대한 타겟 정보 또는 레이블인 스티어링 값과 스로틀 값을 통해 뉴럴 네트워크를 훈련 또는 학습시킬 수 있다. 예를 들어, 전자 장치(100)는 입력 정보인 이미지 데이터와 레이블인 스티어링 값과 스로틀 값을 통해 제1 컨볼루션 뉴럴 네트워크를 훈련 또는 학습시킬 수 있고, 입력 정보인 라이다 데이터와 레이블인 스티어링 값과 스로틀 값을 통해 제2 컨볼루션 뉴럴 네트워크를 훈련 또는 학습시킬 수 있다.
테스팅(Testing)을 위한 단계(S740)에서, 전자 장치(100)는 S730에서 학습 또는 훈련된 뉴럴 네트워크를 이용하여 차량의 주행을 위한 최종 스티어링 값과 최종 스로틀 값을 결정할 수 있고, 최종 스티어링 값과 최종 스로틀 값에 따라 주행하는 차량이 정상적으로 주행하는 지 여부를 확인할 수 있다. 예를 들어, 전자 장치(100)는 차량이 도로를 벗어나 주행하는 지 여부를 확인할 수 있다.
도 8은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸다.
도 8의 동작 방법의 각 단계는 도 1의 전자 장치(100)에 의해 수행될 수 있으므로, 도 8과 중복되는 내용에 대해서는 설명을 생략한다.
단계 S810에서, 전자 장치(100)는 제1센싱 데이터 및 제2센싱 데이터를 획득할 수 있다.
단계 S820에서, 전자 장치(100)는 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정할 수 있다.
제1뉴럴 네트워크는, 제1센싱 데이터로부터 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 출력하도록 훈련된 컨볼루션 뉴럴 네트워크이고, 제2뉴럴 네트워크는, 제2센싱 데이터로부터 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 출력하도록 훈련된 컨볼루션 뉴럴 네트워크이고, 제1신뢰도는, 제1뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 계산되고, 제2신뢰도는, 제2뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산될 수 있다.
단계 S830에서, 전자 장치(100)는 제1신뢰도 및 제2신뢰도를 기초로 제1스티어링 값 및 제2스티어링 값으로부터 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 제1스로틀 값 및 제2스로틀 값으로부터 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정할 수 있다.
전자 장치(100)는 제1신뢰도 및 제2신뢰도의 비율에 따라 제1스티어링 값 및 제2스티어링 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정하고, 제1신뢰도 및 제2신뢰도의 비율에 따라 제1스로틀 값 및 제2스로틀 값 각각에 가중치를 부여하고, 가중치가 부여된 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다.
전자 장치(100)는 제1신뢰도 및 제2신뢰도 간의 크기 비교를 통해 제1스티어링 값 및 제2스티어링 값 중에서 어느 하나를 최종 스티어링 값으로 결정하고, 크기 비교를 통해 제1스로틀 값 및 제2스로틀 값 중에서 어느 하나를 최종 스로틀 값으로 결정할 수 있다.
제1신뢰도는 제1스티어링 값에 대한 제1-1신뢰도, 및 제1스로틀 값에 대한 제1-2신뢰도를 포함하고, 제2신뢰도는 제2스티어링 값에 대한 제2-1신뢰도, 및 제2스로틀 값에 대한 제2-2신뢰도를 포함할 수 있다. 전자 장치(100)는 제1-1신뢰도 및 제2-1신뢰도를 기초로 제1스티어링 값 및 제2스티어링 값으로부터 최종 스티어링 값을 결정하고, 제1-2신뢰도 및 제2-2신뢰도를 기초로 제1스로틀 값 및 제2스로틀 값으로부터 최종 스로틀 값을 결정할 수 있다.
일 실시예에 따라, 제1센싱 데이터는 이미지 센서로부터 획득된 데이터이고, 제2센싱 데이터는 라이다 센서로부터 획득된 데이터일 수 있다. 다른 실시예에 따라, 제2센싱 데이터는, 라이다 센서로부터 획득된 라이다 데이터가 도로 검출 네트워크를 통해 가공된 2차원 이미지 데이터일 수 있다. 또 다른 실시예에 따라, 제1센싱 데이터는, 이미지 센서로부터 획득된 이미지 데이터가 세그멘테이션(segmentation)을 통해 가공된 데이터일 수 있다. 또 다른 실시예에 따라, 제1센싱 데이터는 이미지 센서로부터 획득된 이미지 데이터이고, 제2센싱 데이터는 상기 이미지 데이터가 세그멘테이션(segmentation)을 통해 가공된 데이터일 수 있다.
전술한 실시예들에 따른 전자 장치는, 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.

Claims (7)

  1. 차량의 주행을 제어하기 위한 전자 장치의 동작 방법으로서,
    제1센싱 데이터 및 제2센싱 데이터를 획득하는 단계;
    상기 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 상기 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정하는 단계; 및
    상기 제1신뢰도 및 상기 제2신뢰도를 기초로 상기 제1스티어링 값 및 상기 제2스티어링 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 상기 제1스로틀 값 및 상기 제2스로틀 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정하는 단계를 포함하고,
    상기 제1뉴럴 네트워크는 제1 후보 스티어링 값들 및 제1 후보 스로틀 값들을 출력하고, 상기 제2뉴럴 네트워크는 제2 후보 스티어링 값들 및 제2 후보 스로틀 값들을 출력하고,
    상기 제1신뢰도, 상기 제1스티어링 값, 및 상기 제1스로틀 값을 결정하고, 상기 제2신뢰도, 상기 제2스티어링 값, 및 상기 제2스로틀 값을 결정하는 단계는,
    상기 제1 후보 스티어링 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제1스티어링 값으로 결정하고, 상기 제1 후보 스로틀 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제1스로틀 값으로 결정하고, 상기 제2 후보 스티어링 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제2스티어링 값으로 결정하고, 상기 제2 후보 스로틀 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제2스로틀 값으로 결정하는 단계를 포함하는, 동작 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제1신뢰도는,
    상기 제1뉴럴 네트워크의 소프트맥스 레이어(softmax layer)의 출력들에 기초하여 계산되고,
    상기 제2신뢰도는,
    상기 제2뉴럴 네트워크의 소프트맥스 레이어의 출력들에 기초하여 계산되는, 동작 방법.
  5. 제1항에 있어서,
    상기 제1뉴럴 네트워크는,
    제1센싱 데이터에 기초하여 상기 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 출력하도록 훈련된 컨볼루션 뉴럴 네트워크이고,
    상기 제2뉴럴 네트워크는,
    제2센싱 데이터에 기초하여 상기 차량이 주행 가능 영역을 주행하기 위한 스티어링 값 및 스로틀 값을 출력하도록 훈련된 컨볼루션 뉴럴 네트워크인, 동작 방법.
  6. 차량의 주행을 제어하기 위한 전자 장치로서,
    적어도 하나의 프로그램이 저장된 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써, 제1센싱 데이터 및 제2센싱 데이터를 획득하고,
    상기 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 상기 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정하고,
    상기 제1신뢰도 및 상기 제2신뢰도를 기초로 상기 제1스티어링 값 및 상기 제2스티어링 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 상기 제1스로틀 값 및 상기 제2스로틀 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정하는 프로세서를 포함하고,
    상기 제1뉴럴 네트워크는 제1 후보 스티어링 값들 및 제1 후보 스로틀 값들을 출력하고, 상기 제2뉴럴 네트워크는 제2 후보 스티어링 값들 및 제2 후보 스로틀 값들을 출력하고,
    상기 프로세서는,
    상기 제1 후보 스티어링 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제1스티어링 값으로 결정하고, 상기 제1 후보 스로틀 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제1스로틀 값으로 결정하고, 상기 제2 후보 스티어링 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제2스티어링 값으로 결정하고, 상기 제2 후보 스로틀 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제2스로틀 값으로 결정하는, 전자 장치.
  7. 차량의 주행을 제어하기 위한 전자 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체로서,
    상기 동작 방법은,
    제1센싱 데이터 및 제2센싱 데이터를 획득하는 단계;
    상기 제1센싱 데이터가 입력된 제1뉴럴 네트워크의 출력을 기초로 제1신뢰도, 제1스티어링(steering) 값, 및 제1스로틀(throttle) 값을 결정하고, 상기 제2센싱 데이터가 입력된 제2뉴럴 네트워크의 출력을 기초로 제2신뢰도, 제2스티어링 값, 및 제2스로틀 값을 결정하는 단계; 및
    상기 제1신뢰도 및 상기 제2신뢰도를 기초로 상기 제1스티어링 값 및 상기 제2스티어링 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스티어링 값을 결정하고, 상기 제1스로틀 값 및 상기 제2스로틀 값으로부터 상기 차량의 주행을 제어하기 위한 최종 스로틀 값을 결정하는 단계를 포함하고,
    상기 제1뉴럴 네트워크는 제1 후보 스티어링 값들 및 제1 후보 스로틀 값들을 출력하고, 상기 제2뉴럴 네트워크는 제2 후보 스티어링 값들 및 제2 후보 스로틀 값들을 출력하고,
    상기 제1신뢰도, 상기 제1스티어링 값, 및 상기 제1스로틀 값을 결정하고, 상기 제2신뢰도, 상기 제2스티어링 값, 및 상기 제2스로틀 값을 결정하는 단계는,
    상기 제1 후보 스티어링 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제1스티어링 값으로 결정하고, 상기 제1 후보 스로틀 값들 중에서 상기 제1뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제1스로틀 값으로 결정하고, 상기 제2 후보 스티어링 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스티어링 값을 상기 제2스티어링 값으로 결정하고, 상기 제2 후보 스로틀 값들 중에서 상기 제2뉴럴 네트워크의 소프트맥스의 레이어의 출력 값이 가장 높은 후보 스로틀 값을 상기 제2스로틀 값으로 결정하는 단계를 포함하는, 비일시적 기록매체.
KR1020210162358A 2021-04-16 2021-11-23 차량의 주행을 위한 전자 장치 및 그의 동작 방법 KR102458215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162358A KR102458215B1 (ko) 2021-04-16 2021-11-23 차량의 주행을 위한 전자 장치 및 그의 동작 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210050055A KR102331807B1 (ko) 2021-04-16 2021-04-16 차량의 주행을 위한 전자 장치 및 그의 동작 방법
KR1020210162358A KR102458215B1 (ko) 2021-04-16 2021-11-23 차량의 주행을 위한 전자 장치 및 그의 동작 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210050055A Division KR102331807B1 (ko) 2021-04-16 2021-04-16 차량의 주행을 위한 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR102458215B1 true KR102458215B1 (ko) 2022-10-25

Family

ID=78867061

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210050055A KR102331807B1 (ko) 2021-04-16 2021-04-16 차량의 주행을 위한 전자 장치 및 그의 동작 방법
KR1020210162358A KR102458215B1 (ko) 2021-04-16 2021-11-23 차량의 주행을 위한 전자 장치 및 그의 동작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210050055A KR102331807B1 (ko) 2021-04-16 2021-04-16 차량의 주행을 위한 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US11618472B2 (ko)
KR (2) KR102331807B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125928A1 (en) * 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
KR20200040142A (ko) * 2018-10-08 2020-04-17 주식회사 만도 도로 환경을 판단하여 차량을 제어하는 장치 및 방법
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle
KR102166811B1 (ko) * 2019-01-21 2020-10-19 한양대학교 산학협력단 심층강화학습과 운전자보조시스템을 이용한 자율주행차량의 제어 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010082288A1 (ja) * 2009-01-13 2010-07-22 トヨタ自動車株式会社 車両状態推定装置
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP6662227B2 (ja) * 2016-07-19 2020-03-11 株式会社デンソー 制御装置
WO2019000391A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 车辆的控制方法、装置及设备
KR102429180B1 (ko) * 2018-01-12 2022-08-03 현대자동차주식회사 차량 자세 제어 장치 및 방법
KR102108953B1 (ko) 2018-05-16 2020-05-11 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
US10864910B2 (en) * 2018-05-16 2020-12-15 GM Global Technology Operations LLC Automated driving systems and control logic using sensor fusion for intelligent vehicle control
EP3597511B1 (en) * 2018-07-19 2021-03-03 Volvo Car Corporation Method and system for providing a steering guidance to a driver of a host vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125928A1 (en) * 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
KR20200040142A (ko) * 2018-10-08 2020-04-17 주식회사 만도 도로 환경을 판단하여 차량을 제어하는 장치 및 방법
US20200142421A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle
KR102166811B1 (ko) * 2019-01-21 2020-10-19 한양대학교 산학협력단 심층강화학습과 운전자보조시스템을 이용한 자율주행차량의 제어 방법 및 장치

Also Published As

Publication number Publication date
US11618472B2 (en) 2023-04-04
US20220332345A1 (en) 2022-10-20
KR102331807B1 (ko) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
US10832093B1 (en) Tuning simulated data for optimized neural network activation
US10558897B2 (en) Context-based digital signal processing
CN111026127B (zh) 基于部分可观测迁移强化学习的自动驾驶决策方法及系统
US11120538B2 (en) Sensor degradation detection and remediation
KR20200044182A (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
KR20180051335A (ko) 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치
KR20180048407A (ko) 차선 검출 장치 및 방법
KR102458664B1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
KR20200096132A (ko) 강화 학습 및 v2x 통신을 사용하는 어텐션-드리븐 리소스 할당을 통해 자율 주행의 안전성을 제공하기 위한 방법 및 장치
CN111709471B (zh) 对象检测模型的训练方法以及对象检测方法、装置
KR102525191B1 (ko) 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
Hadsell et al. Online learning for offroad robots: Using spatial label propagation to learn long-range traversability
KR20190134862A (ko) 전자 장치 및 그 동작 방법
CN111753629A (zh) 车辆环境的环境数据处理
JP2022191188A (ja) 予測システムを訓練するためのシステムと方法
WO2020183776A1 (ja) 演算装置
KR102458215B1 (ko) 차량의 주행을 위한 전자 장치 및 그의 동작 방법
US20220383510A1 (en) Method For Training A Neural Network For Semantic Image Segmentation
EP4138039A2 (en) System and method for hybrid lidar segmentation with outlier detection
US20220114458A1 (en) Multimodal automatic mapping of sensing defects to task-specific error measurement
FR3092546A1 (fr) Identification de zones roulables avec prise en compte de l’incertitude par une méthode d’apprentissage profond
Sankaranarayanan et al. Pre-processing framework with virtual mono-layer sequence of boxes for video based vehicle detection applications
KR102613160B1 (ko) 3차원 시맨틱 세그멘테이션 방법 및 이를 실행하기위하여 기록매체에 기록된 컴퓨터 프로그램
Li et al. Segm: A novel semantic evidential grid map by fusing multiple sensors

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant