KR102260246B1 - 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 - Google Patents
자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 Download PDFInfo
- Publication number
- KR102260246B1 KR102260246B1 KR1020200180500A KR20200180500A KR102260246B1 KR 102260246 B1 KR102260246 B1 KR 102260246B1 KR 1020200180500 A KR1020200180500 A KR 1020200180500A KR 20200180500 A KR20200180500 A KR 20200180500A KR 102260246 B1 KR102260246 B1 KR 102260246B1
- Authority
- KR
- South Korea
- Prior art keywords
- deep learning
- information
- vehicle
- driving environment
- learning algorithm
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 181
- 238000013136 deep learning model Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
-
- B60W2050/0078—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치가 제공된다. 상기 방법은, 차량 외부의 이미지 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정하는 주행 환경 정보 결정 단계; 상기 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정하는 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계; 및 상기 결정된 딥러닝 모델에 상기 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 상기 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정하는 딥러닝 알고리즘 설정 단계를 포함한다.
Description
본 발명은 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 차량의 주행 환경에 따라 적응적으로 자율 주행을 위한 딥러닝 알고리즘을 설정하는 방법 및 장치에 관한 것이다.
자율 주행은 일부 또는 완전한 운전자의 개입 없이 차량 시스템이 자체적으로 차량 운행을 수행하는 것을 의미한다. 이를 구현하기 위해서는 다양한 상황 또는 변수를 제어할 수 있는 알고리즘이 필요하다. 이에, 많은 데이터로부터 다양한 특징을 스스로 분석할 수 있는 인간의 신경망 구조를 본딴 인공 신경망 구조가 적용된 딥러닝 알고리즘이 자율 주행에 적용되고 있다.
이러한 딥러닝 알고리즘의 정확도는 차량의 주변 환경에 따라 영향을 많이 받을 수 있다. 이에, 딥러닝 알고리즘의 신뢰도를 높이기 위한 다양한 기술들이 개발되고 있으나, 아직까지 많은 딥러닝 알고리즘들이 일정 이상의 정확도를 제공하지 못하는 한계가 있다.
본 발명이 해결하고자 하는 과제는 차량 주변의 환경 정보에 따라 적응적으로 자율 주행을 위한 딥러닝 알고리즘을 설정하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 자율 주행을 위한 딥러닝 알고리즘 설정 방법은, 차량 외부의 이미지 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정하는 주행 환경 정보 결정 단계; 상기 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정하는 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계; 및 상기 결정된 딥러닝 모델에 상기 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 상기 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정하는 딥러닝 알고리즘 설정 단계를 포함할 수 있다.
본 발명에 있어, 상기 입력 정보는, GPS (Global Positioning System) 신호, 상기 차량이 주행 중인 도로와 관련된 방송 신호, 상기 차량이 주행 중인 도로와 관련된 전용 신호 중 적어도 하나 이상을 포함하는 외부 신호 정보를 더 포함할 수 있다.
이때, 상기 주행 환경 정보 결정 단계는, 상기 차량 외부의 이미지 정보를 이용하여 제1 주행 환경 정보를 추론하는 단계; 상기 외부 신호 정보를 이용하여 제2 주행 환경 정보를 획득하는 단계; 및 상기 제1 주행 환경 정보 및 상기 제2 주행 환경 정보를 모두 이용하여 상기 차량의 주행 환경 정보를 결정하되, 상기 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보가 상이할 경우, 상기 제1 세부 정보와 관련된 확률 값 및 대응하는 문턱 값의 비교 결과에 기반하여 상기 제1 세부 정보 또는 상기 제2 세부 정보를 상기 주행 환경 정보의 세부 정보로 결정하는 단계를 포함할 수 있다. 여기서, 상기 문턱 값은 대응하는 세부 정보의 종류에 따라 상이하게 설정될 수 있다.
본 발명에 있어, 상기 차량의 주행 환경 정보는 상기 입력 정보를 이용한 딥러닝 알고리즘에 기초하여 결정될 수 있다. 이때, 상기 결정된 주행 환경 정보는 다음의 정보 중 적어도 하나 이상을 포함할 수 있다.
- 차량이 주행 중인 위치의 날씨 정보 (예: 맑음, 비, 눈, 안개 등)
- 차량이 주행 중인 도로의 종류 (예: 도심, 고속도로, 시골, 어린이 보호 구역 등)
- 차량이 주행 중인 도로의 정체 정보 (예: 원활, 정체 등)
- 차량의 시야 밝기 정보 (예: 낮, 저녁, 밤 등)
- 태양의 방향 및 고도 정보 (예: 동쪽, 동남쪽, 북서쪽 등)
- 차량이 주행 중인 위치의 법규 정보 (예: 서울, 부산, LA (Los Angeles), NY (New York) 등)
상술한 실시예에 있어, 상기 결정된 딥러닝 모델은 상기 주행 환경 정보 중 제1 정보 세트에 기초하여 결정되고, 상기 결정된 딥러닝 파라미터 세트는 상기 주행 환경 정보 중 상기 제1 정보 세트를 포함한 제2 정보 세트에 기초하여 결정될 수 있다.
상기 실시예에 있어, 상기 제1 정보 세트는 상기 차량이 주행 중인 도로의 종류를 포함할 수 있다.
본 발명에 있어, 상기 주행 환경 정보 결정 단계는 일정 주기마다 수행되거나 실시간으로 수행될 수 있다. 이어, 상기 주행 환경 정보 결정 단계를 통해 결정된 상기 차량의 주행 환경 정보가 직전에 결정된 상기 차량의 주행 환경 정보와 상이한 경우, 상기 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계 및 상기 딥러닝 알고리즘 설정 단계가 수행될 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 자율 주행을 위한 딥러닝 설정 장치는, 차량 외부의 이미지 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정하는 주행 환경 정보 결정부; 상기 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정하는 딥러닝 모델 및 딥러닝 파라미터 세트 결정부; 및 상기 결정된 딥러닝 모델에 상기 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 상기 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정하는 딥러닝 알고리즘 설정부를 포함할 수 있다.
본 발명에 있어, 상기 주행 환경 정보 결정부는 상기 입력 정보를 이용한 딥러닝 알고리즘에 기초하여 상기 주행 환경 정보를 결정할 수 있다. 이때, 상기 결정된 주행 환경 정보는 다음의 정보 중 적어도 하나 이상을 포함할 수 있다.
- 차량이 주행 중인 위치의 날씨 정보 (예: 맑음, 비, 눈, 안개 등)
- 차량이 주행 중인 도로의 종류 (예: 도심, 고속도로, 시골, 어린이 보호 구역 등)
- 차량이 주행 중인 도로의 정체 정보 (예: 원활, 정체 등)
- 차량의 시야 밝기 정보 (예: 낮, 저녁, 밤 등)
- 태양의 방향 및 고도 정보 (예: 동쪽, 동남쪽, 북서쪽 등)
- 차량이 주행 중인 위치의 법규 정보 (예: 서울, 부산, LA (Los Angeles), NY (New York) 등)
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 컴퓨터 프로그램은, 컴퓨터와 결합하여, 앞서 상술한 자율 주행을 위한 딥러닝 알고리즘 설정 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
이와 같은 본 발명에 따르면, 현재 차량의 주행 환경에 따라 최적의 성능을 발휘할 수 있는 딥러닝 알고리즘을 자율 주행을 위한 딥러닝 알고리즘으로 설정할 수 있다. 이를 통해, 자율 주행의 정확도 및 신뢰도가 높아지고, 이로 인해 주행 안정성 또한 향상되는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 인공 신경망의 기본적인 개념을 간단히 나타낸 도면이다.
도 2는 본 발명에 따른 딥러닝 알고리즘 설정 방법을 간단히 나타낸 도면이다.
도 3은 본 발명에 적용 가능한 딥러닝 모델 및 딥러닝 파라미터 세트를 간단히 나타낸 도면이다.
도 4는 본 발명에 따른 딥러닝 알고리즘 설정 장치 및 주변 장치를 간단히 나타낸 도면이다.
도 2는 본 발명에 따른 딥러닝 알고리즘 설정 방법을 간단히 나타낸 도면이다.
도 3은 본 발명에 적용 가능한 딥러닝 모델 및 딥러닝 파라미터 세트를 간단히 나타낸 도면이다.
도 4는 본 발명에 따른 딥러닝 알고리즘 설정 장치 및 주변 장치를 간단히 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명에서는 자율 주행을 위한 딥러닝 알고리즘을 설정하는 방법을 개시한다. 보다 구체적으로, 본 발명에서는 차량의 주행 환경에 따라 적응적으로 자율 주행을 위한 딥러닝 알고리즘을 설정하는 방법을 개시한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
먼저, 딥 러닝 (deep learning) 알고리즘은 머신 러닝 (machine learning) 알고리즘의 하나로 인간의 신경망을 본딴 인공 신경망에서 발전된 모델링 기법을 의미한다. 인공 신경망은 도 1에 도시된 바와 같이 다층 계층 구조로 구성될 수 있다.
도 1은 인공 신경망의 기본적인 개념을 간단히 나타낸 도면이다.
도 1에 도시된 바와 같이, 인공 신경망 (artifical neural network; ANN)은 입력 층, 출력 층, 그리고 상기 입력 층과 출력 층 사이에 적어도 하나 이상의 중간 층 (또는 은닉 층, hidden layer)을 포함하는 계층 구조로 구성될 수 있다. 딥러닝 알고리즘은, 이와 같은 다중 계층 구조에 기반하여, 층간 활성화 함수 (activation function)의 가중치를 최적화 (optimization)하는 학습을 통해 결과적으로 신뢰성 높은 결과를 도출할 수 있다.
본 발명에 적용 가능한 딥러닝 알고리즘은, 심층 신경망 (deep neural network; DNN), 합성곱 신경망 (convolutional neural network; CNN), 순환 신경망 (recurrent neural network; RNN) 등을 포함할 수 있다.
DNN은 기본적으로 기존 ANN 모델 내 중간 층 (또는 은닉 층)을 많이 늘려서 학습의 결과를 향상시키는 것을 특징으로 한다. 일 예로, 상기 DNN은 2개 이상의 중간 층을 이용하여 학습 과정을 수행하는 것을 특징으로 한다. 이에 따라, 컴퓨터는 스스로 분류 레이블을 만들어 내고 공간을 왜곡하고 데이터를 구분짓는 과정을 반복하여 최적의 출력 값을 도출할 수 있다.
CNN은, 기존의 데이터에서 지식을 추출하여 학습 과정이 수행되는 기법과 달리, 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조를 갖는 것을 특징으로 한다. 상기 CNN은 콘볼루션 (convolution) 과정과 풀링 (pooling) 과정을 통해 수행될 수 있다. 다시 말해, 상기 CNN은 콘볼루션 층과 풀링 층이 복합적으로 구성된 알고리즘을 포함할 수 있다. 여기서, 콘볼루션 층에서는 데이터의 특징을 추출하는 과정 (일명, 콘볼루션 과정)이 수행된다. 상기 콘볼루션 과정은 데이터에 각 성분의 인접 성분들을 조사해 특징을 파악하고 파악한 특징을 한장으로 도출하는 과정으로써, 하나의 압축 과정으로써 파라미터의 개수를 효과적으로 줄일 수 있다. 풀링 층에서는 콘볼루션 과정을 거친 레이어의 사이즈를 줄여주는 과정 (일명, 풀링 과정)이 수행된다. 상기 풀링 과정은 데이터의 사이즈를 줄이고 노이즈를 상쇄시키고 미세한 부분에서 일관적인 특징을 제공할 수 있다. 일 예로, 상기 CNN은 정보 추출, 문장 분류, 얼굴 인식 등 여러 분야에 활용될 수 있다.
RNN은 반복적이고 순차적인 데이터 (sequential data) 학습에 특화된 인공 신경망의 한 종류로써 내부에 순환 구조를 갖는 것을 특징으로 한다. 상기 RNN은 상기 순환 구조를 이용하여 과거의 학습 내용에 가중치를 적용하여 현재 학습에 반영함으로써, 현재의 학습과 과거의 학습 간 연결을 가능하게 하고 시간에 종속된다는 특징을 갖는다. 상기 RNN은 기존의 지속적이고 반복적이며 순차적인 데이터 학습의 한계를 해결한 알고리즘으로써, 음성 웨이브폼을 파악하거나 텍스트의 앞 뒤 성분을 파악하는 등에 활용될 수 있다.
다만, 이는 본 발명에 적용 가능한 구체적인 딥러닝 기법의 일 예시들에 불과하며, 실시예에 따라 다른 딥러닝 기법이 본 발명에 적용될 수도 있다.
도 2는 본 발명에 따른 딥러닝 알고리즘 설정 방법을 간단히 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 딥러닝 알고리즘 설정 방법은, 주행 환경 정보 결정 단계 (S210), 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계 (S220), 및 딥러닝 알고리즘 설정 단계 (S230)를 포함할 수 있다.
이하 설명의 편의 상, 본 발명에 따른 딥러닝 알고리즘 설정 방법은 딥러닝 알고리즘 설정 장치에 의해 수행된다고 가정한다. 이때, 실시예에 따라, 상기 딥러닝 알고리즘 설정 장치는 자율 주행을 수행하는 차량 시스템에 포함되거나, 반대로 상기 차량 시스템을 포함할 수 있다.
S210 단계에서, 딥러닝 알고리즘 설정 장치는, 차량 외부의 이미지 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정할 수 있다. 다시 말해, 상기 딥러닝 알고리즘 설정 장치는, 상기 차량 외부의 이미지 정보를 포함하는 입력 정보를 이용하여 상기 차량의 주행 환경 정보를 결정할 수 있다.
본 발명에 적용 가능한 일 예로, 입력 정보는 차량 외부의 영상 이미지 정보만을 포함할 수 있다. 또는, 다른 예로, 상기 입력 정보는 상기 차량 외부의 영상 이미지 정보 외 GPS (Global Positioning System) 신호, 상기 차량이 주행 중인 도로와 관련된 방송 신호, 상기 차량이 주행 중인 도로와 관련된 전용 신호 중 적어도 하나 이상을 포함하는 외부 신호 정보를 더 포함할 수 있다. 여기서, 상기 방송 신호는 공중을 대상으로 전송된 신호로서 기지국으로부터 일정 영역 내에 위치한 모든 신호 수신기로 방송된 신호를 포함할 수 있다. 또한, 상기 전용 신호는 상기 기지국으로부터 해당 차량 (또는 차량 내 신호 수신기)에 전용적으로 전송된 신호로서 상기 차량 (또는 차량 내 신호 수신기)으로만 전송된 신호를 포함할 수 있다. 이때, 상기 방송 신호 및/또는 전용 신호는 다음 중 적어도 하나 이상의 정보를 포함할 수 있다.
- 차량이 주행 중인 위치의 날씨 정보 (예: 맑음, 비, 눈, 안개 등)
- 차량이 주행 중인 도로의 종류 (예: 도심, 고속도로, 시골, 어린이 보호 구역 등)
- 차량의 시야 밝기 정보 (예: 낮, 저녁, 밤 등)
삭제
- 태양의 방향 및 고도 정보 (예: 동쪽, 동남쪽, 북서쪽 등)
본 발명에 적용 가능한 일 예로, 주행 환경 정보는 차량 외부의 이미지 정보를 별도의 딥러닝 알고리즘에 적용하여 실시간으로 또는 일정 주기마다 결정/추론될 수 있다.
삭제
본 발명에 적용 가능한 다른 예로, 상기 주행 환경 정보는 상기 딥러닝 알고리즘 뿐만 아니라 외부 신호 정보 (예: GPS, 인터넷 정보 등) 등을 종합하여 실시간으로 또는 일정 주기마다 결정/추론될 수 있다.
보다 구체적으로, 본 발명에 따른 딥러닝 알고리즘 설정 장치는 차량 외부의 (영상) 이미지 정보에 딥러닝 알고리즘을 적용한 결과 값과 외부에서 수신된 외부 신호 정보를 종합하여 다음과 같이 주행 환경 정보를 결정할 수 있다.
- 차량 외부의 이미지 정보를 이용하여 제1 주행 환경 정보를 추론함. 이를 위해, 딥러닝 알고리즘 설정 장치는 상기 차량 외부의 이미지 정보에 딥러닝 알고리즘을 적용하여 상기 제1 주행 환경 정보를 추론할 수 있다.
- 외부 신호 정보를 이용하여 제2 주행 환경 정보를 획득함. 일 예로, 딥러닝 알고리즘 설정 장치는 상기 외부 신호 정보로부터 상술한 각 세부 정보들을 획득할 수 있다.
- 제1 주행 환경 정보 및 제2 주행 환경 정보를 모두 이용하여 차량의 주행 환경 정보를 결정함. 다만, 상기 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보(이때, 제2 세부 정보는 제1 세부 정보에 대응함)가 상이할 경우, 상기 제1 세부 정보와 관련된 확률 값 및 대응하는 문턱 값의 비교 결과에 기반하여 상기 제1 세부 정보 또는 상기 제2 세부 정보를 상기 주행 환경 정보의 세부 정보로 결정함
보다 구체적으로, 본 발명에 따른 딥러닝 알고리즘 설정 장치는 제1 주행 환경 정보와 제2 주행 환경 정보를 비교하여 최종적으로 차량 주행 환경 정보를 결정할 수 있다. 일 예로, 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보 (이때, 상기 제2 세부 정보는 제1 세부 정보에 대응함)가 동일한 경우, 상기 딥러닝 알고리즘 설정 장치는 상기 동일한 세부 정보를 차량 주행 환경 정보의 세부 정보로 결정할 수 있다. 다만, 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보가 상이한 경우, 상기 딥러닝 알고리즘 설정 장치는 상기 제1 세부 정보와 관련된 확률 값을 대응하는 문턱 값과 비교한 결과에 따라 상기 제1 세부 정보 또는 상기 제2 세부 정보를 상기 주행 환경 정보의 세부 정보로 결정할 수 있다.
이때, 본 발명에 적용 가능한 문턱 값은 대응하는 세부 정보의 종류에 따라 상이하게 설정될 수 있다. 일 예로, 상기 문턱 값은 차량 주변의 날씨 정보, 상기 차량이 주행 중인 도로 종류, 상기 차량이 주행 중인 지역 정보 등에 따라 상이하게 설정될 수 있다. 보다 구체적인 예로, 상기 날씨 정보는 차량의 외부 이미지 (예: 차량 외부에 설치된 카메라로부터 획득한 영상 이미지 등)에 기초하여 추론된 제1 주행 환경 정보가 외부 신호 정보에 기초한 제2 주행 환경 정보보다 정확할 가능성이 상대적으로 높을 수 있다. 이에 따라, 상기 날씨 정보를 위한 문턱 값은 상대적으로 낮게 설정될 수 있다. 반면, 상기 지역 정보는 외부 신호 정보 (예: GPS, 지도, 인터넷 정보 등)에 기초한 제2 주행 환경 정보가 차량의 외부 이미지 (예: 차량 외부에 설치된 카메라로부터 획득한 영상 이미지 등)에 기초하여 추론된 제1 주행 환경 정보보다 정확할 가능성이 상대적으로 높을 수 있다. 이에 따라, 상기 지역 정보를 위한 문턱 값은 (상기 날씨 정보를 위한 문턱 값 대비) 상대적으로 높게 설정될 수 있다.
상술한 다양한 실시예와 같이, 본 발명에 따른 차량의 주행 환경 정보는 상술한 입력 정보를 이용한 딥러닝 알고리즘에 기초하여 결정될 수 있다. 다시 말해, 상기 주행 환경 정보는 상기 입력 정보가 적용된 딥러닝 알고리즘을 통해 획득될 수 있다. 이와 같은 과정을 통해, 결정된 주행 환경 정보는 다음 중 적어도 하나 이상을 포함할 수 있다.
- 차량이 주행 중인 위치의 날씨 정보 (예: 맑음, 비, 눈, 안개 등)
- 차량이 주행 중인 도로의 종류 (예: 도심, 고속도로, 시골, 어린이 보호 구역 등)
- 차량의 시야 밝기 정보 (예: 낮, 저녁, 밤 등)
삭제
- 태양의 방향 및 고도 정보 (예: 동쪽, 동남쪽, 북서쪽 등)
추가적으로, 본 발명의 또 다른 실시예에 따르면, 딥러닝 알고리즘 설정 장치는 외부 신호 정보만을 이용하여 차량의 주행 환경 정보를 결정할 수도 있다. 다시 말해, 앞에서 상술한 실시예와 달리, 상기 딥러닝 알고리즘 설정 장치는 상기 외부 신호 정보를 포함하되 상기 차량 외부의 이미지 정보를 제외한 입력 정보를 이용하여 상기 차량의 주행 환경 정보를 결정할 수 있다. 이 경우, 상기 딥러닝 알고리즘 설정 장치는 상기 외부 신호 정보에 포함된 세부 정보들을 그대로 상기 주행 환경 정보로 적용하거나, 상기 세부 정보들을 이용하여 상기 주행 환경 정보의 각 세부 정보들을 별도로 결정(예: 외부 신호 정보에 포함된 2개 이상의 세부 정보들을 종합하여 주행 환경 정보의 특정 세부 정보를 결정함)하여 상기 주행 환경 정보를 결정할 수 있다.
삭제
S220 단계에서, 딥러닝 알고리즘 설정 장치는 S210 단계에서 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정할 수 있다.
도 3은 본 발명에 적용 가능한 딥러닝 모델 및 딥러닝 파라미터 세트를 간단히 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 딥러닝 알고리즘 설정 방법은 하나 이상의 딥러닝 모델 및 각 딥러닝 모델 별로 설정된 하나 이상의 딥러닝 파라미터 세트에 기초하여 구현될 수 있다. 바람직하게는, 본 발명에 따른 딥러닝 알고리즘 설정 방법은, 복수 개의 딥러닝 모델 및 각 딥러닝 모델 별로 설정된 하나 이상의 딥러닝 파라미터 세트를 이용하여 구현될 수 있다.
본 발명에 따르면, S220 단계에서 딥러닝 알고리즘 설정 장치는 S210 단계를 통해 결정된 주행 환경 정보에 따라 적절한 딥러닝 모델 및 딥러닝 파라미터 세트를 결정할 수 있다. 일 예로, 상기 딥러닝 알고리즘 설정 장치는 결정된 주행 환경 정보에 따라 해당 환경에서 최적의 성능을 낼 수 있는 특정 딥러닝 모델 및 특정 딥러닝 파라미터 세트를 결정할 수 있다.
보다 구체적으로, 딥러닝 알고리즘 설정 장치는 주행 환경 정보에 포함된 시야 밝기 정보 (또는, 시간 (time) 정보, 예: 밤/낮), 날씨 정보 (예: 맑음, 비, 눈, 안개 등), 도로 정보 (예: 도심, 고속도로, 시골, 어린이 보호 구역 등) 등을 고려하여 해당 환경에서 최적의 성능을 낼 수 있는 딥러닝 모델 및 딥러닝 파라미터 세트를 결정할 수 있다.
또는, 딥러닝 알고리즘 설정 장치는 S210 단계를 통해 결정된 주행 환경 정보 중 제1 정보 세트에 기초하여 최적의 딥러닝 모델을 결정/선택하고, 상기 S210 단계를 통해 결정된 주행 환경 정보 중 상기 제1 정보 세트를 포함하는 제2 정보 세트에 기초하여 상기 결정된 딥러닝 모델을 위한 최적의 딥러닝 파라미터 세트를 결정/선택할 수 있다. 본 발명에 있어, 상기 제1 정보 세트 및 상기 제2 정보 세트는, 각각 앞서 상술한 주행 환경 정보의 일부 또는 모든 정보를 포함할 수 있다.
일 예로, 본 발명에 따른 딥러닝 알고리즘 설정 장치는 결정된 주행 환경 정보를 이용하여 다음의 케이스별로 상이한 딥러닝 모델 및 딥러닝 파라미터 세트를 결정/선택할 수 있다.
- 야간의 고속도로 주행 케이스: 제1 딥러닝 모델 (예: EfficientDet D2 모델) 및 상기 제1 딥러닝 모델을 위한 복수의 딥러닝 파라미터 세트들 중 제1 딥러닝 파라미터 세트 (예: 야간 고속도로 주행에 최적화되어 학습된 파라미터 세트)
- 주간의 고속도로 주행 케이스: 제1 딥러닝 모델 (예: EfficientDet D2 모델) 및 상기 제1 딥러닝 모델을 위한 복수의 딥러닝 파라미터 세트들 중 제2 딥러닝 파라미터 세트 (예: 주간 고속도로 주행에 최적화되어 학습된 파라미터 세트)
- 야간의 도심 주행 케이스: 제2 딥러닝 모델 (예: EfficientDet D3 모델) 및 상기 제2 딥러닝 모델을 위한 복수의 딥러닝 파라미터 세트들 중 제3 딥러닝 파라미터 세트 (예: 야간 도심 주행에 최적화되어 학습된 파라미터 세트)
- 주간의 도심 주행 케이스: 제2 딥러닝 모델 (예: EfficientDet D3 모델) 및 상기 제2 딥러닝 모델을 위한 복수의 딥러닝 파라미터 세트들 중 제4 딥러닝 파라미터 세트 (예: 주간 도심 주행에 최적화되어 학습된 파라미터 세트)
위 예시에서, EfficientDet 모델은 모델 사이즈를 최소화하고 성능을 최대화하는 효율성에 초점을 맞춘 객체 검출 (object detection) 모델을 포함할 수 있다. 이와 같이, 고속도로 주행의 경우 고속 주행을 위해 보다 빠른 반응 속도가 요구되는 바, 이를 구현할 수 있는 제1 딥러닝 모델 (예: EfficientDet D2 모델)이 활용될 수 있다. 반면, 도심 주행의 경우 차량의 주행 속도는 상대적으로 느리지만 도로가 복잡하고 보행자가 많아 훨씬 더 많은 객체를 높은 정확도로 검출해 내야 하는 바, 이를 위해 도심 주행에 더 큰 모델인 제3 딥러닝 모델 (예: EfficientDet D3 모델)이 활용될 수 있다.
S230 단계에서, 딥러닝 알고리즘 설정 장치는 S220 단계에서 결정된 딥러닝 모델에 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정할 수 있다. 이에 따라, 상기 딥러닝 알고리즘 설정 장치는 S220 단계에서 결정된 딥러닝 모델에 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 차량의 자율 주행을 위한 딥러닝 알고리즘으로 적용할 수 있다. 이를 통해, 상기 딥러닝 알고리즘 설정 장치는 주변 환경 정보에 따라 적응적으로 상기 자율 주행을 위한 딥러닝 알고리즘을 선택/적용할 수 있다.
본 발명에 있어, 주행 환경 정보 결정 단계는 일정 주기마다 수행되거나 실시간으로 수행될 수 있다. 그리고, 상기 주행 환경 정보 결정 단계를 통해 결정된 차량의 주행 환경 정보가 직전에 결정된 상기 차량의 주행 환경 정보와 상이한 경우, 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계 및 딥러닝 알고리즘 설정 단계가 수행될 수 있다.
다시 말해, 본 발명에 따른 딥러닝 알고리즘 설정 장치는 일정 주기마다 또는 실시간으로 상술한 주행 환경 정보 결정 단계를 수행할 수 있다. 이때, 상기 딥러닝 알고리즘 설정 장치는 상기 주행 환경 정보 결정 단계를 통해 결정된 차량의 차량의 주행 환경 정보와 직전에 결정된 상기 차량의 주행 환경 정보를 비교할 수 있다. 이어, 상기 주행 환경 정보 결정 단계를 통해 결정된 차량의 차량의 주행 환경 정보와 직전에 결정된 상기 차량의 주행 환경 정보가 상이한 경우, 상기 딥러닝 알고리즘 설정 장치는 추가적으로 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계 및 딥러닝 알고리즘 설정 단계를 수행할 수 있다.
이러한 동작을 통해, 본 발명에 따른 딥러닝 알고리즘 설정 장치는 불필요한 연산 동작을 최소화함으로써 보다 효율적이고 신속하게 주행 환경 정보에 따라 자율 주행을 위한 딥러닝 알고리즘을 설정할 수 있다.
도 4는 본 발명에 따른 딥러닝 알고리즘 설정 장치 및 주변 장치를 간단히 나타낸 도면이다.
본 발명의 실시예에 따라, 자율 주행을 위한 딥러닝 알고리즘 설정 장치 (400)는 자율 주행 차량의 자율 주행 제어 시스템에 포함되거나 또는 상기 자율 주행 제어 시스템과 별도의 장치로 구현될 수 있다. 다른 실시예로써, 상기 딥러닝 알고리즘 설정 장치 (400)는 상기 자율 주행 제어 시스템을 포함할 수도 있다. 다시 말해, 실시예에 따라 상기 딥러닝 알고리즘 설정 장치 (400)는 자율 주행 차량 시스템의 일부 장치로 구현될 수도 있고, 상기 자율 주행 차량 시스템을 포함하는 전체 시스템 장치로 구현될 수도 있다.
이와 같은 딥러닝 알고리즘 설정 장치 (400)는, 도 4에 도시된 바와 같이, 주행 환경 정보 결정부 (410), 딥러닝 모델 및 딥러닝 파라미터 세트 결정부 (420), 및 딥러닝 알고리즘 설정부 (430)를 포함할 수 있다.
주행 환경 정보 결정부 (410)는 카메라 장치 (10), 또는 외부 정보 수신 장치 (20)로부터 획득된 입력 정보들을 이용하여 앞서 상술한 주행 환경 정보 결정 단계와 같이 주행 환경 정보를 결정할 수 있다.
딥러닝 모델 및 딥러닝 파라미터 세트 결정부 (420)는 상기 주행 환경 정보 결정부 (410)에 의해 결정된 주행 환경 정보를 이용하여 앞서 상술한 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계와 같이 딥러닝 모델 및 딥러닝 파라미터 세트를 결정/선택할 수 있다. 이때, 하나 이상의 딥러닝 모델에 대한 정보 및 각 딥러닝 모델 별 하나 이상의 딥러닝 파라미터 세트에 대한 정보는 별도의 저장 장치 (예: 데이터 베이스 등)에 저장될 수 있다. 이때, 상기 저장 장치는 실시예에 따라 본 발명에 따른 딥러닝 알고리즘 설정 장치 (400)에 포함되거나 상기 딥러닝 알고리즘 설정 장치 (400)외 외부에 위치할 수도 있다.
딥러닝 알고리즘 설정부 (430)는 앞서 상술한 딥러닝 알고리즘 설정 단계와 같이 결정된 딥러닝 모델 및 딥러닝 파라미터 세트를 자율 주행을 위한 딥러닝 알고리즘으로 설정할 수 있다.
본 발명에 적용 가능한 일 예로, 딥러닝 알고리즘 설정 장치 (400)는 차량에 설치된 카메라 장치 (10), 외부 정보 수신 장치 (20) 등과 연결되어 상기 카메라 장치 (10) 및 외부 정보 수신 장치 (20)로부터 관련 정보를 획득할 수 있다. 본 발명에 적용 가능한 다른 예로, 상기 딥러닝 알고리즘 설정 장치 (400)는 상기 카메라 장치 (10) 및 외부 정보 수신 장치 (20)를 포함하여 상기 카메라 장치 (10) 및 외부 정보 수신 장치 (20)를 통해 획득한 관련 정보를 활용할 수도 있다.
또한, 본 발명에 적용 가능한 일 예로, 딥러닝 알고리즘 설정 장치 (400)는 차량 시스템 내 자율 주행을 제어하는 자율 주행 제어 장치에 연결되어 상기 자율 주행 제어 장치가 이용하는 딥러닝 알고리즘을 설정/선택하여 상기 자율 주행 제어 장치로 제공할 수 있다. 이를 위해, 상기 딥러닝 알고리즘 설정 장치 (400)는 상기 자율 주행 제어 시스템으로 결정된 딥러닝 모델 및 딥러닝 파라미터 세트에 대한 정보를 제공함으로써 상기 결정된 딥러닝 모델 및 딥러닝 파라미터 세트를 자율 주행을 위한 딥러닝 알고리즘으로 설정할 수 있다. 다른 예로, 상기 딥러닝 알고리즘 설정 장치 (400)가 상기 자율 주행 제어 시스템을 포함하는 경우, 상기 딥러닝 알고리즘 설정 장치(400)는 상기 자율 주행 제어 시스템으로 하여금 상기 결정된 딥러닝 모델 및 딥러닝 파라미터 세트를 자율 주행을 위한 딥러닝 알고리즘으로 설정하도록 제어할 수도 있다.
또한, 본 발명에 따른 딥러닝 알고리즘 설정 장치 (400)는 앞서 상술한 다양한 딥러닝 알고리즘 설정 방법에 따라 동작할 수 있다.
추가적으로, 본 발명에 따른 컴퓨터 프로그램은, 컴퓨터와 결합하여, 앞서 상술한 다양한 자율 주행을 위한 딥러닝 알고리즘 설정 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장될 수 있다.
전술한 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
400: 자율 주행을 위한 딥러닝 알고리즘 설정 장치
410: 주행 환경 정보 결정부
420: 딥러닝 모델 및 딥러닝 파라미터 세트 결정부
430: 딥러닝 알고리즘 설정부
410: 주행 환경 정보 결정부
420: 딥러닝 모델 및 딥러닝 파라미터 세트 결정부
430: 딥러닝 알고리즘 설정부
Claims (10)
- 딥러닝 알고리즘 설정 장치가 차량 외부의 이미지 정보 및 외부 신호 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정하는 주행 환경 정보 결정 단계;
상기 딥러닝 알고리즘 설정 장치가 상기 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정하는 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계; 및
상기 딥러닝 알고리즘 설정 장치가 상기 결정된 딥러닝 모델에 상기 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 상기 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정하는 딥러닝 알고리즘 설정 단계를 포함하고,
상기 외부 신호 정보는 GPS (Global Positioning System) 신호, 상기 차량이 주행 중인 도로와 관련된 방송 신호, 상기 차량이 주행 중인 도로와 관련된 전용 신호 중 적어도 하나 이상을 포함하고,
상기 주행 환경 정보 결정 단계는,
상기 딥러닝 알고리즘 설정 장치가 상기 차량 외부의 이미지 정보를 이용한 딥러닝 알고리즘에 기초하여 제1 주행 환경 정보를 추론하는 단계;
상기 딥러닝 알고리즘 설정 장치가 상기 외부 신호 정보를 이용하여 제2 주행 환경 정보를 획득하는 단계; 및
상기 딥러닝 알고리즘 설정 장치가 상기 제1 주행 환경 정보 및 상기 제2 주행 환경 정보를 모두 이용하여 상기 차량의 주행 환경 정보를 결정하되, 상기 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보가 상이할 경우, 상기 제1 세부 정보와 관련된 확률 값 및 대응하는 문턱 값의 비교 결과에 기반하여 상기 제1 세부 정보 또는 상기 제2 세부 정보를 상기 주행 환경 정보의 세부 정보로 결정하는 단계를 포함하고,
상기 문턱 값은 대응하는 세부 정보의 타입에 따라 상이하게 설정되는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 방법. - 삭제
- 삭제
- 제 1항에 있어서,
상기 세부 정보의 타입은,
상기 차량이 주행 중인 위치의 날씨 정보;
상기 차량이 주행 중인 도로의 종류 정보;
상기 차량의 시야 밝기 정보; 또는
태양의 방향 및 고도 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 방법. - 제 4항에 있어서,
상기 결정된 딥러닝 모델은 상기 세부 정보의 타입 중 제1 정보 세트에 기초하여 결정되고,
상기 결정된 딥러닝 파라미터 세트는 상기 세부 정보의 타입 중 상기 제1 정보 세트를 포함한 제2 정보 세트에 기초하여 결정되는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 방법. - 제 5항에 있어서,
상기 제1 정보 세트는 상기 차량이 주행 중인 도로의 종류 정보를 포함하는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 방법. - 제 1항에 있어서,
상기 주행 환경 정보 결정 단계는 일정 주기마다 수행되거나 실시간으로 수행되고,
상기 주행 환경 정보 결정 단계를 통해 결정된 상기 차량의 주행 환경 정보가 직전에 결정된 상기 차량의 주행 환경 정보와 상이한 경우, 상기 딥러닝 모델 및 딥러닝 파라미터 세트 결정 단계 및 상기 딥러닝 알고리즘 설정 단계가 수행되는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 방법. - 차량 외부의 이미지 정보 및 외부 신호 정보를 포함하는 입력 정보에 기초하여, 차량의 주행 환경 정보를 결정하는 주행 환경 정보 결정부;
상기 결정된 주행 환경 정보에 대응하는 딥러닝 모델 및 상기 딥러닝 모델의 딥러닝 파라미터 세트를 결정하는 딥러닝 모델 및 딥러닝 파라미터 세트 결정부; 및
상기 결정된 딥러닝 모델에 상기 결정된 딥러닝 파라미터 세트가 적용되는 딥러닝 알고리즘을 상기 차량의 자율 주행을 위한 딥러닝 알고리즘으로 설정하는 딥러닝 알고리즘 설정부를 포함하고,
상기 외부 신호 정보는 GPS (Global Positioning System) 신호, 상기 차량이 주행 중인 도로와 관련된 방송 신호, 상기 차량이 주행 중인 도로와 관련된 전용 신호 중 적어도 하나 이상을 포함하고,
상기 주행 환경 정보 결정부는,
상기 차량 외부의 이미지 정보를 이용한 딥러닝 알고리즘에 기초하여 제1 주행 환경 정보를 추론하고,
상기 외부 신호 정보를 이용하여 제2 주행 환경 정보를 획득하고,
상기 제1 주행 환경 정보 및 상기 제2 주행 환경 정보를 모두 이용하여 상기 차량의 주행 환경 정보를 결정하되, 상기 제1 주행 환경 정보의 제1 세부 정보와 상기 제2 주행 환경 정보의 제2 세부 정보가 상이할 경우, 상기 제1 세부 정보와 관련된 확률 값 및 대응하는 문턱 값의 비교 결과에 기반하여 상기 제1 세부 정보 또는 상기 제2 세부 정보를 상기 주행 환경 정보의 세부 정보로 결정하도록 구성되고,
상기 문턱 값은 대응하는 세부 정보의 타입에 따라 상이하게 설정되는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 장치. - 제 8항에 있어서,
상기 세부 정보의 타입은,
상기 차량이 주행 중인 위치의 날씨 정보;
상기 차량이 주행 중인 도로의 종류 정보;
상기 차량의 시야 밝기 정보; 또는
태양의 방향 및 고도 정보 중 적어도 하나 이상을 포함하고,
상기 결정된 딥러닝 모델은 상기 세부 정보의 타입 중 일부 정보에 기초하여 결정되고,
상기 결정된 딥러닝 파라미터 세트는 상기 주행 환경 정보에 포함된 모든 세부 정보의 타입에 기초하여 결정되는 것을 특징으로 하는,
자율 주행을 위한 딥러닝 알고리즘 설정 장치. - 컴퓨터와 결합하여, 제 1 항, 제 4 항 내지 제 6 항 중 어느 하나의 항의 자율 주행을 위한 딥러닝 알고리즘 설정 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200180500A KR102260246B1 (ko) | 2020-12-22 | 2020-12-22 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
| PCT/KR2020/018864 WO2022139009A1 (ko) | 2020-12-22 | 2020-12-22 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
| US18/336,535 US20230331250A1 (en) | 2020-12-22 | 2023-06-16 | Method and apparatus for configuring deep learning algorithm for autonomous driving |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200180500A KR102260246B1 (ko) | 2020-12-22 | 2020-12-22 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102260246B1 true KR102260246B1 (ko) | 2021-06-04 |
Family
ID=76391488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200180500A KR102260246B1 (ko) | 2020-12-22 | 2020-12-22 | 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230331250A1 (ko) |
| KR (1) | KR102260246B1 (ko) |
| WO (1) | WO2022139009A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230050894A (ko) * | 2021-10-08 | 2023-04-17 | 주식회사 디알엠인사이드 | 이미지 저작권 보호를 위한 이미지 식별 장치 및 이의 동작 방법 |
| US11941871B2 (en) | 2021-07-30 | 2024-03-26 | Deepx Co., Ltd. | Control method of image signal processor and control device for performing the same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150071419A (ko) * | 2013-12-18 | 2015-06-26 | 국방과학연구소 | 무인자율차량 및 이의 동적환경기반 자율주행방법 |
| KR20190109624A (ko) | 2018-02-27 | 2019-09-26 | 삼성전자주식회사 | 자율 주행 장치 및 그의 제어 방법 |
| KR20200095381A (ko) * | 2019-01-31 | 2020-08-10 | 주식회사 스트라드비젼 | 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102406507B1 (ko) * | 2017-03-27 | 2022-06-10 | 현대자동차주식회사 | 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 |
| KR102342143B1 (ko) * | 2017-08-08 | 2021-12-23 | 주식회사 만도모빌리티솔루션즈 | 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 |
| EP3477616A1 (en) * | 2017-10-27 | 2019-05-01 | Sigra Technologies GmbH | Method for controlling a vehicle using a machine learning system |
-
2020
- 2020-12-22 WO PCT/KR2020/018864 patent/WO2022139009A1/ko active Application Filing
- 2020-12-22 KR KR1020200180500A patent/KR102260246B1/ko active IP Right Grant
-
2023
- 2023-06-16 US US18/336,535 patent/US20230331250A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150071419A (ko) * | 2013-12-18 | 2015-06-26 | 국방과학연구소 | 무인자율차량 및 이의 동적환경기반 자율주행방법 |
| KR20190109624A (ko) | 2018-02-27 | 2019-09-26 | 삼성전자주식회사 | 자율 주행 장치 및 그의 제어 방법 |
| KR20200095381A (ko) * | 2019-01-31 | 2020-08-10 | 주식회사 스트라드비젼 | 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11941871B2 (en) | 2021-07-30 | 2024-03-26 | Deepx Co., Ltd. | Control method of image signal processor and control device for performing the same |
| KR20230050894A (ko) * | 2021-10-08 | 2023-04-17 | 주식회사 디알엠인사이드 | 이미지 저작권 보호를 위한 이미지 식별 장치 및 이의 동작 방법 |
| KR102587693B1 (ko) | 2021-10-08 | 2023-10-12 | 주식회사 디알엠인사이드 | 이미지 저작권 보호를 위한 이미지 식별 장치 및 이의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022139009A1 (ko) | 2022-06-30 |
| US20230331250A1 (en) | 2023-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111508101B (zh) | 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置 | |
| KR20170140214A (ko) | 신경망을 위한 훈련 기준으로서의 필터 특이성 | |
| CN112249032B (zh) | 一种自动驾驶决策方法、系统、设备及计算机存储介质 | |
| US20230331250A1 (en) | Method and apparatus for configuring deep learning algorithm for autonomous driving | |
| KR102404791B1 (ko) | 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법 | |
| CN110991095B (zh) | 一种车辆行驶决策模型的训练方法及装置 | |
| JP2018514852A (ja) | 逐次画像サンプリングおよび微調整された特徴の記憶 | |
| CN112926461B (zh) | 神经网络训练、行驶控制方法及装置 | |
| CN117935200A (zh) | 一种基于改进YOLOv8的自动驾驶路况监测方法 | |
| US11403498B2 (en) | Method for classifying a capture taken by a sensor | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
| US20220067479A1 (en) | Vehicle entry detection | |
| EP4138039A2 (en) | System and method for hybrid lidar segmentation with outlier detection | |
| CN116776999A (zh) | 自动驾驶系统中的自我监督网络的联合学习的系统和方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| US20220114458A1 (en) | Multimodal automatic mapping of sensing defects to task-specific error measurement | |
| CN114274980A (zh) | 轨迹控制方法、装置、车辆及存储介质 | |
| US20220188621A1 (en) | Generative domain adaptation in a neural network | |
| KR101867586B1 (ko) | 영상 처리 장치 및 방법 | |
| KR20220102294A (ko) | 차량-인프라 간 광카메라 통신의 송신부 인식 장치 및 방법 | |
| CN113408559B (zh) | 一种车辆品牌识别方法、装置及存储介质 | |
| CN117786520B (zh) | 目标感知模型的训练方法和应用、无人车和存储介质 | |
| US20220111862A1 (en) | Determining driving features using context-based narrow ai agents selection | |
| US20220111849A1 (en) | Determining driving features using timed narrow ai agent allocation | |
| WO2024066798A1 (zh) | 车辆控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |