KR102342143B1 - 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 - Google Patents

딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 Download PDF

Info

Publication number
KR102342143B1
KR102342143B1 KR1020170100429A KR20170100429A KR102342143B1 KR 102342143 B1 KR102342143 B1 KR 102342143B1 KR 1020170100429 A KR1020170100429 A KR 1020170100429A KR 20170100429 A KR20170100429 A KR 20170100429A KR 102342143 B1 KR102342143 B1 KR 102342143B1
Authority
KR
South Korea
Prior art keywords
deep learning
autonomous driving
learning algorithm
control
vehicle
Prior art date
Application number
KR1020170100429A
Other languages
English (en)
Other versions
KR20190016332A (ko
Inventor
정성희
임해승
이재은
Original Assignee
주식회사 만도모빌리티솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도모빌리티솔루션즈 filed Critical 주식회사 만도모빌리티솔루션즈
Priority to KR1020170100429A priority Critical patent/KR102342143B1/ko
Priority to DE102018213364.6A priority patent/DE102018213364A1/de
Priority to US16/058,328 priority patent/US10852732B2/en
Priority to CN201810896066.1A priority patent/CN109388138A/zh
Publication of KR20190016332A publication Critical patent/KR20190016332A/ko
Application granted granted Critical
Publication of KR102342143B1 publication Critical patent/KR102342143B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 실시예들은 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법에 관한 것으로서, 더욱 상세하게는, 자율 주행 차량의 주행 시 참고하는 제어 타깃 물체와 그렇지 않은 구조물들 등을 정확하게 구분하여 인식하여, 꼭 필요한 상황에서 꼭 필요한 정도의 자율 주행 제어를 신뢰성 있게 수행할 수 있는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법에 관한 것이다.

Description

딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 {DEEP LEARNING BASED SELF-DRIVING CAR, DEEP LEARNING BASED SELF-DRIVING CONTROL DEVICE, AND DEEP LEARNING BASED SELF-DRIVING CONTROL METHOD}
본 발명은 자율 주행 제어 기술에 관한 것이다.
요즈음, 차량 제어 기술의 발전에 따라, 운전자가 차량을 조작하지 않아도 스스로 주행하는 자율 주행 제어 기술이 개발되고 있다.
이러한 자율 주행 제어 기술은 해당 차량의 주변에 있는 물체들을 감지하여 감지 결과를 이용하여, 감지된 물체들의 거동 상태에 따라 해당 차량의 주행 상태 등을 제어한다.
현재의 자율 주행 제어 기술은, 전방에 있는 물체들에 대하여 감지된 신호의 분석을 통해 물체 종류를 정확하게 구분하지 못하여 특정 조건에서만 자율 주행 제어가 되거나 자율 주행 제어 자체를 실시하기가 어려운 실정이다. 신뢰성 있는 자율 제어 타깃(해당 차량의 자율 주행 시 참고하는 차량 등의 물체)을 감지하고 있으나, 그 감지 신뢰도는 만족스럽지 못한 실정이다.
이러한 배경에서, 본 실시예들의 목적은, 자율 주행 차량의 주행 시 참고하는 제어 타깃 물체(예: 전방차량, 보행자 등)과 그렇지 않은 구조물들(고가차도, 복공판 등) 등을 정확하게 구분하여 인식하여, 꼭 필요한 상황에서 꼭 필요한 정도의 자율 주행 제어를 수행하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 데 있다.
본 실시예들의 다른 목적은, 레이더 센서 등의 센서 신호를 이용한 물체 구별 성능을 향상시키고, 높은 신뢰도의 자율 주행을 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 데 있다.
본 실시예들의 또 다른 목적은, 운전자의 운전 습관까지 고려한 자율 주행 제어를 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 데 있다.
본 실시예들의 또 다른 목적은, 낮은 처리 부담, 빠른 처리 속도, 그리고 더욱 정확한 인식 성능으로 제어 타깃 물체의 인식 및 구분을 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 데 있다.
일 측면에서, 본 실시예들은, 차량의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 딥 러닝 알고리즘 수행부와, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과에 근거하여 차량의 자율 주행을 제어하는 자율 주행 제어부와, 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 딥 러닝 처리부를 포함하는 딥 러닝 기반 자율 주행 제어 장치를 제공할 수 있다.
이러한 딥 러닝 기반 자율 주행 제어 장치에서, 자율 주행 제어부는 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량 및 가감속 제어 유무 등 중 하나 이상을 이용하여 해당 차량의 가감속 제어가 필요한 상황인지를 판단할 수 있다.
딥 러닝 처리부는, 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량과, 운전자 운전 정보에 포함된 운전자 조작 가감속량(예: 가속 페달 조작 정보, 브레이크 조작 정도, 운전자 조작에 의한 가속량, 운전자 조작에 의한 제동량 등) 간의 차이를 이용하여 에러 값을 계산하고, 계산된 에러 값의 감소를 위해 딥 러닝 알고리즘에서의 가중치를 조정할 수 있다.
딥 러닝 알고리즘 수행부는, 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해, 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 중 하나 이상을 포함하는 딥 러닝 알고리즘 수행 결과를 출력할 수 있다.
다수의 입력 노드를 갖는 입력층과, 다수의 출력 노드를 갖는 출력층과, 상기 다수의 입력 노드와 상기 다수의 출력 노드를 연결해주기 위한 다수의 연결 노드를 갖는 은닉층과, 다수의 입력 노드와 다수의 연결 노드를 연결해주고, 다수의 연결 노드와 다수의 출력 노드를 연결해는 다수의 웨이트(Weight) 라인을 포함하는 딥 뉴럴 네트워크에 대한 데이터를 저장할 수 있다.
다수의 웨이트 라인 각각은 가중치를 가질 수 있다.
감지 신호는 입력 층에 입력되고, 딥 러닝 알고리즘 수행 결과는 출력 층에서 다수의 출력 노드의 값들에 대응될 수 있다.
딥 러닝 처리부는, 자율 주행 중이 아닌 경우, 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하고, 비교 결과에 따라 에러 값을 산출하고, 에러 값에 근거하여 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 딥 러닝 학습 처리(딥 러닝 알고리즘 변경 처리, 가중치 조정 처리)를 수행할 수 있다.
다른 측면에서, 본 실시예들은, 차량의 주변을 감지하여 감지 신호를 출력하는 센서와, 감지 신호에 대한 딥 러닝 알고리즘을 수행하고, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과를 토대로 차량의 자율 주행을 제어하는 제어 신호를 출력하고, 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 딥 러닝 기반 자율 주행 제어 장치와, 제어 신호에 따라 상기 차량의 구동을 수행하는 구동 장치를 포함하는 딥 러닝 기반 자율 주행 차량을 제공할 수 있다.
딥 러닝 기반 자율 주행 차량에서, 딥 러닝 기반 자율 주행 제어 장치는, 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량 및 가감속 제어 유무 중 하나 이상을 이용하여 차량의 가감속 제어가 필요한 상황인지를 판단할 수 있다.
딥 러닝 기반 자율 주행 차량에서, 딥 러닝 기반 자율 주행 제어 장치는, 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량과, 운전자 운전 정보에 포함된 운전자 조작 가감속량(예: 가속 페달 조작 정보, 브레이크 조작 정도, 운전자 조작에 의한 가속량, 운전자 조작에 의한 제동량 등) 간의 차이를 이용하여 에러 값을 계산하고, 계산된 에러 값의 감소를 위해 상기 딥 러닝 알고리즘에서의 가중치를 조정할 수 있다.
또 다른 측면에서, 본 실시예들은, 차량의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 제1 단계와, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과에 따라 차량의 자율 주행을 제어하는 제2 단계와, 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 제3 단계를 포함하는 딥 러닝 기반 자율 주행 제어 방법을 제공할 수 있다.
제2 단계는, 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량 및 가감속 제어 유무 중 하나 이상을 이용하여 차량의 가감속 제어가 필요한 상황인지를 판단하여 자율 주행을 제어할 수 있다.
제3 단계는, 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량과, 운전자 운전 정보에 포함된 운전자 조작 가감속량(예: 가속 페달 조작 정보, 브레이크 조작 정도, 운전자 조작에 의한 가속량, 운전자 조작에 의한 제동량 등) 간의 차이를 이용하여 에러 값을 계산하고, 계산된 에러 값의 감소를 위해 딥 러닝 알고리즘에서의 가중치를 조정할 수 있다.
전술한 본 실시예들에 의하면, 자율 주행 차량의 주행 시 참고하는 제어 타깃 물체(예: 전방차량, 보행자 등)과 그렇지 않은 구조물들(고가차도, 복공판 등) 등을 정확하게 구분하여 인식하여, 꼭 필요한 상황에서 꼭 필요한 정도의 자율 주행 제어를 수행하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 레이더 센서 등의 센서 신호를 이용한 물체 구별 성능을 향상시키고, 높은 신뢰도의 자율 주행을 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 운전자의 운전 습관까지 고려한 자율 주행 제어를 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 낮은 처리 부담, 빠른 처리 속도, 그리고 더욱 정확한 인식 성능으로 제어 타깃 물체의 인식 및 구분을 가능하게 하는 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
도 1 및 도 2는 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량을 나타낸 도면이다.
도 3은 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량의 블록도이다.
도 4는 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 장치의 블록도이다.
도 5는 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어를 위한 딥 러닝 알고리즘을 나타낸 도면이다.
도 6은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어를 위한 딥 러닝 알고리즘의 딥 뉴럴 네트워크의 예시도이다.
도 7은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 방법의 흐름도이다.
도 8은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 방법에서 딥 러닝 알고리즘 변경 단계(학습 단계)의 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1 및 도 2는 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 실시예들에 따른 자율 주행 차량(100)은, 운전자가 차량을 조작하지 않아도 스스로 주행하는 차량으로서, 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악해 자동으로 주행할 수 있다.
이러한 본 실시예들에 따른 자율 주행 차량(100)은 무인 자동차(Driverless Car)를 포함할 수 있다.
본 실시예들에 따른 자율 주행 차량(100)은 스마트 카 구현을 위한 여러 가지 응용 제어 기술들이 적용되어 이들을 이용하여 자율 주행을 할 수 있다.
예를 들어, 차량 간 거리를 자동으로 유지해 주는 기술, 후측방 경보 시스템, 자동 긴급 제동 시스템, 차선 이탈 경보 시스템, 차선 유지 지원 시스템, 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템 등이 적용되어 있을 수 있다.
이러한 여러 가지 응용 제어 기술들은 자율 주행 차량(100)의 주변에 있는 물체들을 정확하게 감지하는 기술들을 필요로 한다.
본 실시예들에 따른 자율 주행 차량(100)의 주변에 있는 물체들(감지 물체들)에는 전방에 주행하고 있는 다른 차량(110a, 110b), 도로 주변의 구조물(110c), 보행자 등이 있을 수 있다.
본 실시예들에 따른 자율 주행 차량(100)은, 센서들을 이용하여 센서 빔(Sensor beam)을 송출하여 수신되는 신호를 토대로, 주변의 물체들을 감지하고, 감지 결과를 이용하여, 감지된 물체들의 거동 상태에 따라 자신의 주행 상태 등을 제어하는 자율 주행 제어를 수행한다.
본 실시예들에 따른 자율 주행 차량(100)에 장착된 센서는, 레이더 센서(RS), 초음파 센서(US), 비전 센서(VS), 레이저 센서 등 중 하나 이상을 포함할 수 있다.
각 종류별 센서는 자율 주행 차량(100)의 다양한 위치에 다양한 개수로 장착될 수 있다.
물체 감지를 이용한 자율 주행 제어의 일 예로, 본 실시예들에 따른 자율 주행 차량(100)이 주행하고 있는 차선에서 전방에 주행하고 있는 차량(110a)이 감지된 경우, 본 실시예들에 따른 자율 주행 차량(100)은 감지된 전방 차량(110a)를 제어 타깃 물체로 간주하여, 제어 타깃 물체의 속도 등에 따라 자율 주행 차량(100)의 속도, 조향 등을 제어해야만 한다.
다른 예로서, 본 실시예들에 따른 자율 주행 차량(100)이 주행하고 있는 도로의 전방에 고가 차도, 복공판, 도로 표지판 등의 단순 도로 구조물(110c)이 감지된 경우, 본 실시예들에 따른 자율 주행 차량(100)은 감지된 도로 구조물(110c)을 제어 타깃 물체에서 제외시켜, 도로 구조물(110c)을 고려하여 자율 주행 차량(100)의 속도를 줄이거나 제동하지는 않는다.
또 다른 예로서, 본 실시예들에 따른 자율 주행 차량(100)이 주행하고 있는 도로의 전방에 과속 단속 센서 등의 도로 구조물(110c)이 감지된 경우, 본 실시예들에 따른 자율 주행 차량(100)은 감지된 과속 단속 센서의 위치 및 거리를 고려하여, 자율 주행 차량(100)의 속도 등을 제어할 수 있다.
또 다른 예로서, 본 실시예들에 따른 자율 주행 차량(100)이 주행하고 있는 도로의 주변에 보행자가 감지된 경우, 본 실시예들에 따른 자율 주행 차량(100)은 감지된 보행자의 위치 및 거리를 고려하여, 자율 주행 차량(100)의 속도, 조향 등을 제어할 수 있다.
전술한 바와 같이, 본 실시예들에 따른 자율 주행 차량(100)은, 정확한 자율 주행 제어를 위해서는, 주변의 물체를 정확하게 감지하는 것뿐만 아니라, 물체의 종류도 정확하게 구별하여 감지하여, 다양한 차량 거동 제어(예: 가속, 감속 등의 속도 제어, 제동 제어, 조향 제어 등)를 꼭 필요한 상황에서만 정확하게 수행하는 것이 필요하다.
하지만, 종래의 센서 기술은 주변의 물체의 존재 여부, 거리, 위치 등을 감지할 수는 있지만, 물체의 종류를 정확하게 구별하여 감지하고, 이러한 감지 결과를 차량 거동 제어에 적용하고 있지는 못하다.
이에, 본 실시예들에 따른 자율 주행 차량(100)은 딥 러닝(Deep Learning)에 기반하여 주변의 물체의 종류를 정확하게 구별하고, 이를 토대로, 자율 주행 제어에 영향을 끼치는 제어 타깃 물체(TAR)를 선택하고, 자율 주행 제어를 정확한 상황에서 정확한 제어량으로 수행할 수 있다.
더 구체적으로, 본 실시예들에 따른 자율 주행 차량(100)은 딥 뉴럴 네트워크(Deep Neural Network, 심층 신경망)를 이용하는 딥 러닝 알고리즘(Deep Learning)을 수행하여 그 수행 결과를 토대로 자율 주행 제어를 수행한다.
딥 뉴럴 네트워크(Deep Neural Network, 심층 신경망)를 이용하는 딥 러닝 알고리즘(Deep Learning)의 수행 결과의 정확도를 향상시키기 위해서는, 딥 러닝 알고리즘은 많은 학습이 필요하다.
본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)은, 별도의 학습 데이터를 수집하거나 가공할 필요 없이, 도로 주행 시, 운전자의 운전자 운전 정보를 이용하여 딥 러닝 알고리즘을 학습시킬 수 있다.
따라서, 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)은, 운전자의 지속적인 도로 주행을 통해서 딥 러닝 알고리즘의 학습 량을 증가시켜 주어 딥 러닝 알고리즘의 수행 결과 정확도를 쉽게 높여줄 수 있다.
본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)은, 운전자 운전 정보를 이용하여 딥 러닝 알고리즘을 학습시키기 때문에, 운전자의 운전 습관까지 고려한 자율 주행 제어를 수행할 수 있다.
도 3은 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)의 블록도이다.
도 3을 참조하면, 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)은, 차량(100)의 주변을 감지하여 감지 신호를 출력하는 센서(310)와, 감지 신호에 대한 딥 러닝 알고리즘을 수행하고, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과를 토대로 차량(100)의 자율 주행을 제어하는 제어 신호를 출력하고, 자율 주행 중이 아닌 경우 운전자(300)의 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 딥 러닝 기반 자율 주행 제어 장치(320)와, 제어 신호에 따라 차량의 구동을 수행하는 구동 장치(320) 등을 포함할 수 있다.
여기서, 구동 장치(320)는 속도 조절 장치, 조향 장치, 제동 장치 등 중 하나 이상을 포함할 수 있다.
딥 러닝 기반 자율 주행 제어 장치(320)는, 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해, 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체(TAR)인지를 판단하고, 제어 유무, 연산 제어량 (예: 차량 속도 제어 정보에 해당하는 가감속 제어량) 및 제어 타깃 물체 인식 결과 등 중 하나 이상을 포함하는 딥 러닝 알고리즘 수행 결과를 획득할 수 있다.
딥 러닝 기반 자율 주행 제어 장치(320)는, 자율 주행 중이 아닌 경우, 딥 러닝 학습 처리를 수행할 수 있다.
이를 위해, 딥 러닝 기반 자율 주행 제어 장치(320)는, 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자(330)의 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하고, 비교 결과에 따라 에러 값(연산 제어량과 운전자 입력 제어량의 차이)을 산출하고, 에러 값에 근거하여 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 딥 러닝 학습 처리를 수행할 수 있다.
센서(310)는, 일 예로, 레이더 센서, 초음파 센서, 레이저 센서 및 비전 센서 등 중 하나 이상을 포함할 수 있다.
도 4는 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 장치(320)의 블록도이다. 도 5는 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어를 위한 딥 러닝 알고리즘을 나타낸 도면이다. 도 6은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어를 위한 딥 러닝 알고리즘의 딥 뉴럴 네트워크의 예시도이다.
도 4를 참조하면, 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 장치(320)는, 차량의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 딥 러닝 알고리즘 수행부(410)와, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과에 근거하여 차량의 자율 주행을 제어하는 자율 주행 제어부(420)와, 자율 주행 중이 아닌 경우, 운전자(300)의 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 딥 러닝 처리부(430) 등을 포함할 수 있다.
딥 러닝 기반 자율 주행 제어 장치(320)는 하나의 전자 제어 유닛(ECU: Electronic Control Unit)으로 구현될 수 있다.
경우에 따라서, 딥 러닝 기반 자율 주행 제어 장치(320) 내 딥 러닝 알고리즘 수행부(410), 자율 주행 제어부(420) 및 딥 러닝 처리부(430) 등이 둘 이상의 전자 제어 유닛으로 구현될 수도 있다.
예를 들어, 딥 러닝 알고리즘 수행부(410) 및 딥 러닝 처리부(430)는 하나의 전자 제어 유닛으로 구현되고, 자율 주행 제어부(420)는 다른 전자 제어 유닛으로 구현될 수도 있다.
딥 러닝 알고리즘 수행부(410)는, 센서(310)가 주변을 감지하여 얻은 신호이거나 이를 신호 처리한 감지 신호에 대하여 딥 러닝 알고리즘을 수행한다.
감지 신호는, 센서(310)의 종류에 따라 달라질 수 있다.
예를 들어, 센서(310)가 레이더 센서인 경우, 감지 신호는 레이더 신호일 수 있다.
딥 러닝 알고리즘 수행부(410)는, 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해, 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 등 중 하나 이상을 포함하는 딥 러닝 알고리즘 수행 결과를 출력할 수 있다.
딥 러닝 알고리즘은, 딥 뉴럴 네트워크(Deep Neural Network, 500)를 이용한다.
딥 뉴럴 네트워크(500)를 이용하는 딥 러닝 알고리즘은 딥 러닝 알고리즘 수행부(410)에 해당하는 프로세서(Processor)에 의해 수행(실행)될 수 있다.
또한, 딥 뉴럴 네트워크(500)에 대한 데이터와, 딥 뉴럴 네트워크(500)를 이용하는 딥 러닝 알고리즘에 대한 데이터 등은 딥 러닝 알고리즘 수행부(410)의 내부 또는 외부에 존재하는 메모리에 저장되어 있을 수 있다.
센서(310)가 레이더 센서를 포함하는 경우를 예로 들면, 도 5에 도시된 바와 같이, 딥 러닝 알고리즘(500)은, 레이더 신호 프로세스를 거친 레이더 신호와, 퓨리에 변환 처리가 된 데이터와, 차량(100) 또는 주변 상황 등에 대한 컨텍스트(Context) 정보(예: 차속 정보, 차선 정보, 도로 정보 등) 등을 입력층(Input Layer)으로 입력 받아, 입력된 데이터, 정보 등을 딥 뉴럴 네트워크(500)를 통과 시켜 출력층(Output Layer)로 딥 러닝 알고리즘 수행 결과를 출력할 수 있다.
예를 들어, 딥 러닝 알고리즘 수행 결과는, 즉, 출력층의 출력 노드(Nout)에서의 출력 값은, 자율 주행을 위한 제어 유무, 자율 주행을 위한 연산 제어량, 제어 타깃 물체 인식 결과 등 중 하나 이상을 포함할 수 있다.
딥 러닝 알고리즘 수행부(410)의 내부 또는 외부에, 딥 뉴럴 네트워크(500)에 대한 데이터가 저장되어 있다.
도 6을 참조하면, 딥 뉴럴 네트워크(500)는, 다수의 입력 노드(Nin)를 갖는 입력층(Input Layer)과, 다수의 출력 노드(Nout)를 갖는 출력층(Output Layer)과, 다수의 입력 노드(Nin)와 다수의 출력 노드(Nout)를 연결해주기 위한 다수의 연결 노드(Ncon)를 갖는 하나 이상의 은닉층(Hidden Layer)과, 다수의 입력 노드(Nin)와 다수의 연결 노드(Ncon)를 연결해주고, 다수의 연결 노드(Ncon)와 다수의 출력 노드(Nout)를 연결해주는 다수의 웨이트 라인(Weight Line, WL)를 포함할 수 있다.
각 웨이트 라인(WL)은 가중치를 가질 수 있다.
이러한 각 위이트 라인(WL)의 가중치로 인해, 동일한 입력에 따라 다른 출력이 나올 수 있고, 딥 러닝 알고리즘의 수행 결과의 정확도가 달라질 수 있다.
센서(310)에서 출력된 신호이거나 이를 신호 처리한 감지 신호는 딥 뉴럴 네트워크(500)의 입력 층에 입력되고, 딥 러닝 알고리즘 수행 결과는 딥 뉴럴 네트워크(500)의 출력 층의 다수의 출력 노드(Nout)에서의 출력 값들에 대응될 수 있다.
예를 들어, 3개의 출력 노드(Nout)는 차량, 보행자, 도로 구조물에 대응된다고 가정할 때, 3개의 출력 노드(Nout)에서의 출력 값들은 3차원 확률 벡터를 이룰 수 있다. 3개의 출력 노드(Nout)에서의 출력 값들은 감지된 물체가 차량일 확률 값, 감지된 물체가 보행자일 확률 값, 감지된 물체가 도로 구조물일 확률 값을 포함할 수 있다.
딥 러닝 처리부(430)는, 자율 주행 중이 아닌 경우, 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하고, 비교 결과에 따라 에러 값을 산출하고, 에러 값에 근거하여 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 딥 러닝 학습 처리를 수행할 수 있다.
예를 들어, 조정된 가중치를 갖는 웨이트 라인(WL)은, 연산 제어량이 얻어지게 된 어느 하나 또는 둘 이상의 층 노드들과 연결된 웨이트 라인을 포함할 수 있다.
에러 값을 최소화하기 위한 가중치를 찾는 방법에 대하여 간략하게 설명한다.
다층(multilayer)이고, 순행 공급(feedforward)이 되는 딥 뉴럴 네트워크(500)에서 사용되는 학습 알고리즘으로서, 역전파 알고리즘(Backpropagation Algorithm)을 이용할 수 있다.
이러한 역전파 알고리즘(Backpropagation Algorithm)에 따르면, 입력이 딥 뉴럴 네트워크(500)의 가중치(weights)와 곱하고 더하는 과정을 몇 번 반복하면 입력의 결과 값인 실제 출력(y; 연산 제어량)이 나온다.
이때 출력(y; 연산 제어량)은 학습 데이터에서 주어진 원하는 희망 출력(o; 운전자 입력 제어량)과 다르다.
결국, 딥 뉴럴 네트워크(500)에서는 실제 출력과 희망 출력의 차이(y - o)만큼의 에러 값(e = y - o)이 발생한다.
이렇게 발생된 에러 값(e )에 비례하여 출력층에 대응되는 웨이트 라인의 가중치를 갱신하고, 그 다음 은닉층에 대응되는 웨이트 라인의 가중치를 갱신하고, 그 다음 은닉층에 대응되는 웨이트 라인의 가중치를 갱신한다.
역전파 알고리즘(Backpropagation Algorithm)의 가중치 갱신 방향은 딥 뉴럴 네트워크(500)의 처리 방향(즉, 입력층->은닉층->출력층)과는 반대(즉, 출력층->은닉층->입력층)이다.
이상에서 설명한 본 실시예들에 따른 딥 러닝 기반 자율 주행 차량(100)의 딥 러닝 기반 자율 주행 제어 방법을 도 7 및 도 8을 참조하여 간략하게 다시 설명한다.
도 7은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 방법의 흐름도이다. 도 8은 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 방법에서 딥 러닝 알고리즘 변경 단계(학습 단계)의 흐름도이다.
도 7을 참조하면, 본 실시예들에 따른 딥 러닝 기반 자율 주행 제어 방법은, 센서(310)의 감지 결과에 따른 감지 신호를 수신하는 단계(S710)와, 딥 러닝 알고리즘을 수행하기 위해 적합한 형태로 감지 신호를 신호 처리하는 단계(S720)와, 차량(100)의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 단계(S730)와, 자율 주행 중인지를 판단(S740)한 결과, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과에 따라 차량의 자율 주행을 제어하는 단계(S750)와, 자율 주행 중인지를 판단(S740)한 결과, 자율 주행 중이 아닌 경우, 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 단계(S760) 등을 포함할 수 있다.
S760 단계는 학습(기계 학습) 단계로서, 반복적으로 수행될 수 있다.
S730 단계는, 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해, 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 등 중 하나 이상을 포함하는 딥 러닝 알고리즘 수행 결과를 획득하여 출력할 수 있다.
도 8을 참조하면, 학습(기계 학습) 단계에 해당하는 S760 단계는, 자율 주행 중이 아닌 경우, 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하는 단계(S820)와, 비교 결과에 따라 에러 값을 산출하는 단계(S810)와 에러 값에 근거하여 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 단계(S830) 등을 포함할 수 있다.
이상에서 전술한 본 실시예들에 의하면, 자율 주행 차량(100)의 주행 시 참고하는 제어 타깃 물체(TAR, 예: 전방차량, 보행자 등)과 그렇지 않은 구조물들(고가차도, 복공판 등) 등을 정확하게 구분하여 인식하여, 꼭 필요한 상황에서 꼭 필요한 정도(제어 여부, 제어 량)의 자율 주행 제어를 수행하는 딥 러닝 기반 자율 주행 차량(100), 딥 러닝 기반 자율 주행 제어 장치(300) 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 레이더 센서 등의 센서 신호를 이용한 물체 구별 성능을 향상시키고, 높은 신뢰도의 자율 주행을 가능하게 하는 딥 러닝 기반 자율 주행 차량(100), 딥 러닝 기반 자율 주행 제어 장치(300) 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 운전자의 운전 습관까지 고려한 자율 주행 제어를 가능하게 하는 딥 러닝 기반 자율 주행 차량(100), 딥 러닝 기반 자율 주행 제어 장치(300) 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
본 실시예들에 의하면, 기계 학습에서 이용되는 빅 데이터의 활용 방법에 비해, 더욱 낮은 처리 부담, 더욱 빠른 처리 속도, 그리고 더욱 정확한 인식 성능으로 제어 타깃 물체의 인식 및 구분을 가능하게 하는 딥 러닝 기반 자율 주행 차량(100), 딥 러닝 기반 자율 주행 제어 장치(300) 및 딥 러닝 기반 자율 주행 제어 방법을 제공하는 효과가 있다.
이상에서의 설명 및 첨부된 도면은 본 발명의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 자율 주행 차량
110a, 110b, 110c: 감지 물체
300: 딥 러닝 기반 자율 주행 제어 장치
310: 센서
320: 구동 장치
410: 딥 러닝 알고리즘 수행부
420: 자율 주행 제어부
430: 딥 러닝 처리부
500: 딥 뉴럴 네트워크
Nin: 입력 노드
Ncon: 연결 노드
Nout: 출력 노드
WL: 웨이트 라인

Claims (16)

  1. 차량의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 딥 러닝 알고리즘 수행부;
    자율 주행 중인 경우, 상기 딥 러닝 알고리즘 수행 결과에 근거하여 상기 차량의 자율 주행을 제어하는 자율 주행 제어부; 및
    상기 자율 주행 중이 아닌 경우, 상기 딥 러닝 알고리즘 수행 결과에 운전자 운전 정보를 참조하여 상기 딥 러닝 알고리즘을 변경하는 딥 러닝 처리부를 포함하되,
    상기 딥 러닝 알고리즘 수행부는,
    신호 프로세스를 거친 감지 신호, 퓨리에 변환 처리가 된 데이터 및 컨텍스트 정보를 입력받아 상기 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해,
    상기 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 중 하나 이상을 포함하는 상기 딥 러닝 알고리즘 수행 결과를 출력하는 것을 특징으로 하는 딥 러닝 기반 자율 주행 제어 장치.
  2. 제1항에 있어서,
    상기 자율 주행 제어부는,
    상기 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량 및 가감속 제어 유무 중 하나 이상을 이용하여 상기 차량의 가감속 제어가 필요한 상황인지를 판단하는 딥 러닝 기반 자율 주행 제어 장치.
  3. 제1항에 있어서,
    상기 딥 러닝 처리부는,
    상기 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량과, 상기 운전자 운전 정보에 포함된 운전자 조작 가감속량 간의 차이를 이용하여 에러 값을 계산하고, 계산된 에러 값의 감소를 위해 상기 딥 러닝 알고리즘에서의 가중치를 조정하는 딥 러닝 기반 자율 주행 제어 장치.
  4. 삭제
  5. 제1항에 있어서,
    다수의 입력 노드를 갖는 입력층과,
    다수의 출력 노드를 갖는 출력층과,
    상기 다수의 입력 노드와 상기 다수의 출력 노드를 연결해주기 위한 다수의 연결 노드를 갖는 은닉층과,
    상기 다수의 입력 노드와 상기 다수의 연결 노드를 연결해주고, 상기 다수의 연결 노드와 상기 다수의 출력 노드를 연결해는 다수의 웨이트(Weight) 라인을 포함하는 딥 뉴럴 네트워크에 대한 데이터를 저장하고,
    상기 다수의 웨이트 라인 각각은 가중치를 갖고,
    상기 감지 신호는 상기 입력 층에 입력되고,
    상기 딥 러닝 알고리즘 수행 결과는 상기 출력 층에서 상기 다수의 출력 노드의 값들에 대응되는 딥 러닝 기반 자율 주행 제어 장치.
  6. 제1항에 있어서,
    상기 딥 러닝 처리부는,
    자율 주행 중이 아닌 경우, 상기 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하고,
    비교 결과에 따라 에러 값을 산출하고, 상기 에러 값에 근거하여 상기 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 딥 러닝 학습 처리를 수행하는 딥 러닝 기반 자율 주행 제어 장치.
  7. 제1항에 있어서,
    상기 감지 신호는 레이더 신호를 포함하는 딥 러닝 기반 자율 주행 제어 장치.
  8. 차량의 주변을 감지하여 감지 신호를 출력하는 센서; 및
    상기 감지 신호에 대한 딥 러닝 알고리즘을 수행하고, 자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과를 토대로 상기 차량의 자율 주행을 제어하는 제어 신호를 출력하고, 상기 자율 주행 중이 아닌 경우, 상기 딥 러닝 알고리즘 수행 결과에 운전자 운전 정보를 참조하여 상기 딥 러닝 알고리즘을 변경하는 딥 러닝 기반 자율 주행 제어 장치; 및
    상기 제어 신호에 따라 상기 차량의 구동을 수행하는 구동 장치를 포함하되,
    상기 딥 러닝 기반 자율 주행 제어 장치는,
    신호 프로세스를 거친 감지 신호, 퓨리에 변환 처리가 된 데이터 및 컨텍스트 정보를 입력받아 상기 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해,
    상기 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 중 하나 이상을 포함하는 상기 딥 러닝 알고리즘 수행 결과를 획득하는 것을 특징으로 하는 딥 러닝 기반 자율 주행 차량.
  9. 삭제
  10. 제8항에 있어서,
    상기 딥 러닝 기반 자율 주행 제어 장치는,
    자율 주행 중이 아닌 경우,
    상기 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하고,
    비교 결과에 따라 에러 값을 산출하고, 상기 에러 값에 근거하여 상기 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 딥 러닝 학습 처리를 수행하는 딥 러닝 기반 자율 주행 차량.
  11. 제8항에 있어서,
    상기 센서는 레이더 센서, 초음파 센서, 레이저 센서 및 비전 센서 중 하나 이상을 포함하는 딥 러닝 기반 자율 주행 차량.
  12. 차량의 주변이 감지된 감지 신호에 대한 딥 러닝 알고리즘 수행 결과를 출력하는 제1 단계;
    자율 주행 중인 경우, 딥 러닝 알고리즘 수행 결과에 따라 상기 차량의 자율 주행을 제어하는 제2 단계; 및
    상기 자율 주행 중이 아닌 경우, 상기 딥 러닝 알고리즘 수행 결과에 운전자 운전 정보를 참조하여 딥 러닝 알고리즘을 변경하는 제3 단계를 포함하되,
    상기 제1 단계는,
    신호 프로세스를 거친 감지 신호, 퓨리에 변환 처리가 된 데이터 및 컨텍스트 정보를 입력받아 상기 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해,
    상기 감지 신호에 대한 딥 러닝 알고리즘 수행을 통해, 상기 감지 신호를 토대로 차량 전방 물체가 자율 주행 제어를 위한 제어 타깃 물체인지를 판단하고, 제어 유무, 연산 제어량 및 제어 타깃 물체 인식 결과 중 하나 이상을 포함하는 상기 딥 러닝 알고리즘 수행 결과를 출력하는 것을 특징으로 하는 딥 러닝 기반 자율 주행 제어 방법.
  13. 제12항에 있어서,
    상기 제2 단계는,
    상기 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량 및 가감속 제어 유무 중 하나 이상을 이용하여 상기 차량의 가감속 제어가 필요한 상황인지를 판단하여 자율 주행을 제어하는 딥 러닝 기반 자율 주행 제어 방법.
  14. 제12항에 있어서,
    상기 제3 단계는,
    상기 딥 러닝 알고리즘 수행 결과에 해당하는 가감속 제어량과, 상기 운전자 운전 정보에 포함된 운전자 조작 가감속량 간의 차이를 이용하여 에러 값을 계산하고, 계산된 에러 값의 감소를 위해 상기 딥 러닝 알고리즘에서의 가중치를 조정하는 딥 러닝 기반 자율 주행 제어 방법.
  15. 삭제
  16. 제12항에 있어서,
    상기 제3 단계는,
    자율 주행 중이 아닌 경우, 상기 딥 러닝 알고리즘 수행 결과에 포함된 연산 제어량과 운전자 운전 정보에 포함된 운전자 입력 제어량을 비교하는 단계;
    비교 결과에 따라 에러 값을 산출하는 단계; 및
    상기 에러 값에 근거하여 상기 딥 러닝 알고리즘 수행과 관련한 딥 뉴럴 네트워크에서의 가중치를 조정하는 단계를 포함하는 딥 러닝 기반 자율 주행 제어 방법.
KR1020170100429A 2017-08-08 2017-08-08 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 KR102342143B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170100429A KR102342143B1 (ko) 2017-08-08 2017-08-08 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
DE102018213364.6A DE102018213364A1 (de) 2017-08-08 2018-08-08 Auf Deep Learning basierendes selbstfahrendes Fahrzeug, auf Deep Learning basierende Selbstfahr-Steuervorrichtung und auf Deep Learning basierendes Selbstfahr-Steuerverfahren
US16/058,328 US10852732B2 (en) 2017-08-08 2018-08-08 Deep learning based self-driving car, deep learning based self-driving control device, and deep learning based self-driving control method
CN201810896066.1A CN109388138A (zh) 2017-08-08 2018-08-08 基于深度学习的自动驾驶车辆、自动驾驶控制装置及自动驾驶控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170100429A KR102342143B1 (ko) 2017-08-08 2017-08-08 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법

Publications (2)

Publication Number Publication Date
KR20190016332A KR20190016332A (ko) 2019-02-18
KR102342143B1 true KR102342143B1 (ko) 2021-12-23

Family

ID=65235158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170100429A KR102342143B1 (ko) 2017-08-08 2017-08-08 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법

Country Status (4)

Country Link
US (1) US10852732B2 (ko)
KR (1) KR102342143B1 (ko)
CN (1) CN109388138A (ko)
DE (1) DE102018213364A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11493927B2 (en) 2018-06-01 2022-11-08 Thales Canada, Inc. Self learning vehicle control system
JP7230596B2 (ja) * 2019-03-08 2023-03-01 マツダ株式会社 自動車用演算システム
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
CN109857118B (zh) * 2019-03-12 2022-08-16 百度在线网络技术（北京）有限公司 无人车规划驾驶策略的方法、装置、设备及存储介质
US11467588B2 (en) 2019-07-03 2022-10-11 Denso International America, Inc. Systems and methods for controlling an autonomous vehicle using target orientated artificial intelligence
US11656337B2 (en) * 2019-07-11 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Photonic apparatus integrating optical sensing and optical processing components
KR102212217B1 (ko) * 2019-08-14 2021-02-04 엘지전자 주식회사 충돌을 효과적으로 방지하는 자율 주행 차량 및 이를 제어하는 제어 장치 및 방법
KR20210032617A (ko) * 2019-09-16 2021-03-25 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
CN110688920B (zh) * 2019-09-17 2022-06-14 宁波吉利汽车研究开发有限公司 一种无人驾驶控制方法、装置及服务器
EP4110668A1 (en) * 2020-02-24 2023-01-04 Thales Canada Inc. Controller, control system and method for vehicle control
US11708071B2 (en) 2020-03-30 2023-07-25 Denso Corporation Target-orientated navigation system for a vehicle using a generic navigation system and related method
WO2021201474A1 (ko) * 2020-03-31 2021-10-07 주식회사 비트센싱 객체를 분류하는 레이더 장치 및 방법
US11782451B1 (en) * 2020-04-21 2023-10-10 Aurora Operations, Inc. Training machine learning model for controlling autonomous vehicle
US11919529B1 (en) 2020-04-21 2024-03-05 Aurora Operations, Inc. Evaluating autonomous vehicle control system
KR20220025585A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 위치 추정 방법 및 장치
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
WO2022139009A1 (ko) * 2020-12-22 2022-06-30 주식회사 모빌린트 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치
KR102548700B1 (ko) * 2022-07-06 2023-06-30 주식회사 셀플러스코리아 Ai알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ecu 성능 검증장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214320A (zh) * 2010-04-12 2011-10-12 宋威 神经网络训练方法及采用该方法的垃圾邮件过滤方法
GB201305067D0 (en) * 2013-03-19 2013-05-01 Massive Analytic Ltd Apparatus for controlling a land vehicle which is self-driving or partially self-driving
JP2016153247A (ja) * 2014-07-23 2016-08-25 株式会社発明屋 クラウド運ちゃん
KR102239714B1 (ko) * 2014-07-24 2021-04-13 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치
KR102154676B1 (ko) * 2015-05-14 2020-09-10 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
CN105136469A (zh) * 2015-07-23 2015-12-09 江苏大学 一种基于pso和rbf神经网络的无人驾驶车辆车速控制方法
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR101868088B1 (ko) * 2015-12-28 2018-07-17 자동차부품연구원 초음파 센서를 이용한 충돌 회피 장치 및 방법
WO2017120336A2 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
KR20170100429A (ko) 2016-02-24 2017-09-04 경남대학교 산학협력단 절삭유 재생 장치
CN105799710B (zh) * 2016-03-11 2019-02-05 北京理工大学 一种交互式的自主教练车系统
CN105931153A (zh) * 2016-04-14 2016-09-07 湘潭大学 一种基于神经网络预测分析模型的问卷调查间接评估方法
CN106054893B (zh) * 2016-06-30 2019-07-26 江汉大学 智能车的控制系统和方法
CN105892471B (zh) * 2016-07-01 2019-01-29 北京智行者科技有限公司 汽车自动驾驶方法和装置
CN106154834B (zh) * 2016-07-20 2019-10-29 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN106347359B (zh) * 2016-09-14 2019-03-12 北京百度网讯科技有限公司 用于操作自动驾驶车辆的方法和装置
KR102406507B1 (ko) * 2017-03-27 2022-06-10 현대자동차주식회사 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법
CN107200017A (zh) * 2017-05-22 2017-09-26 北京联合大学 一种基于深度学习的无人驾驶车辆控制系统
US10543853B2 (en) * 2017-07-05 2020-01-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing collaborative control of a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정석우 외 1명, 자율주행 자동차의 인공지능, 기계저널 57(3), 2017.3, 42-45(4 pages)*

Also Published As

Publication number Publication date
KR20190016332A (ko) 2019-02-18
CN109388138A (zh) 2019-02-26
US20190049967A1 (en) 2019-02-14
DE102018213364A1 (de) 2019-02-21
US10852732B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
KR102342143B1 (ko) 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
US11364901B2 (en) Driving support apparatus
CN108693878B (zh) 前进路线设定装置以及前进路线设定方法
US11798421B2 (en) Autonomous driving device
US11001258B2 (en) Lane keeping assist system and method for improving safety in preceding vehicle follower longitudinal control
US9174672B2 (en) Path planning for evasive steering maneuver in presence of target vehicle and surrounding objects
US9199668B2 (en) Path planning for evasive steering maneuver employing a virtual potential field technique
US10836388B2 (en) Vehicle control method and apparatus
KR20190124119A (ko) 차량의 안전 전략 제공 장치 및 방법
KR20190040550A (ko) 차량에서의 장애물 검출장치 및 그 제어방법
US20140297063A1 (en) Vehicle specifying apparatus
US11548441B2 (en) Out-of-vehicle notification device
JP6558214B2 (ja) 自動運転装置
JP2019002769A (ja) 物標判定装置及び運転支援システム
GB2576206A (en) Sensor degradation
JP2020126634A (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
US20210061350A1 (en) Driving support device
KR20210150926A (ko) 혼잡 교통 상황에서 저속 타겟 물체를 검출할 수 있는 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
JP7087896B2 (ja) 走行車線推定装置、走行車線推定方法、及び制御プログラム
WO2021172532A1 (ja) 駐車支援装置および駐車支援方法
US10843692B2 (en) Vehicle control system
KR20220144915A (ko) 차량의 주행을 보조하는 장치 및 그 방법
US7224445B2 (en) Vehicle external recognition system and related method
WO2019186716A1 (ja) 車載装置、情報処理方法及び情報処理プログラム
US20190066511A1 (en) Determination device and determination method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right