KR20190054389A - 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 - Google Patents
일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20190054389A KR20190054389A KR1020170150589A KR20170150589A KR20190054389A KR 20190054389 A KR20190054389 A KR 20190054389A KR 1020170150589 A KR1020170150589 A KR 1020170150589A KR 20170150589 A KR20170150589 A KR 20170150589A KR 20190054389 A KR20190054389 A KR 20190054389A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- autonomous
- algorithm
- vehicle
- driving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011161 development Methods 0.000 title claims abstract description 33
- 230000003203 everyday effect Effects 0.000 title abstract 6
- 230000001133 acceleration Effects 0.000 claims abstract description 53
- 238000010801 machine learning Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 230000002354 daily effect Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/02—Registering or indicating driving, working, idle, or waiting time only
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B60W2530/14—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 발명은 일상주행데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법에 관한 것으로, 자율 주행 알고리즘 개발 장치는 차량 내 장착된 단말기로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신하는 데이터 획득부, 상기 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가하여 상기 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 상기 일상 주행 데이터를 저장하는 데이터 제어부, 상기 데이터베이스에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리하는 데이터 전처리부, 그리고 상기 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습하는 머신러닝부, 상기 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따라 자율주행 알고리즘을 재구성하는 경로 모델 생성부, 그리고 상기 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공하는 자율주행 제어부를 포함한다.
Description
본 발명은 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법에 관한 것으로, 보다 상세하게는 다양한 일상 주행 데이터를 이용하여 자율주행자동차 개발에 요구되는 빅데이터를 구축하고 그 일상 주행 데이터를 이용하여 자율 주행 알고리즘을 개발하는 장치 및 그 방법에 관한 것이다.
최근 자동차 기술의 발달과 더불어 운전자의 조작 없이 스스로 운행할 수 있는 자율 주행 자동차의 보급이 급속히 진전될 것으로 예상되고 있다.
자율주행자동차는 운전자의 부주의한 실수로 인한 사고나 공격적인 형태의 운전을 방지할 수 있을 뿐 아니라 무면허, 맹인, 미성년자까지도 차량을 자유롭게 이용할 수 있다는 장점이 있기 때문에 최근 자율 주행 제어에 관련하여 많은 연구가 진행되고 있다.
하지만, 실제 차량이 주행하는 도로 환경은 예측이 불가능한 부분이 많으며, 발생 가능한 변수 또한 많기 때문에, 안전하고 정확한 자율 주행이 제공되기 위해서는 수 많은 차량의 실제 주행 데이터를 이용하여 자율 주행 알고리즘이 개발되어야 한다. 즉, 머신 러닝 기반의 자율 주행 알고리즘 개발 연구는 방대한 양의 주행 데이터가 요구된다.
하지만, 다양한 도로에서 자율 주행 빅 데이터를 구축하는 데는 많은 시간과 비용이 소요되기 때문에 자율 주행 빅 데이터를 구축하기 어렵다는 문제점이 있다.
그러므로, 효율적으로 빅 데이터를 구축함과 동시에 정상적인 주행 데이터를 이용하여 자율 주행 알고리즘을 개발하는 기술이 요구된다.
본 발명의 배경이 되는 기술은 대한민국 국내공개특허 제 10-2015-0066303호(2015.06.16 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 상세하게는 다양한 일상 주행 데이터를 이용하여 자율주행자동차 개발에 요구되는 빅데이터를 구축하고 그 일상 주행 데이터를 이용하여 자율 주행 알고리즘을 개발하는 장치 및 그 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 차량 내 장착된 단말기로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신하는 데이터 획득부, 상기 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가하여 상기 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 상기 일상 주행 데이터를 저장하는 데이터 제어부, 상기 데이터베이스에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리하는 데이터 전처리부, 상기 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습하는 머신러닝부, 상기 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따라 자율주행 알고리즘을 재구성하는 경로 모델 생성부, 그리고 상기 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공하는 자율주행 제어부를 포함한다.
상기 단말기는, 상기 단말기에 내장된 카메라, GPS, 가속도 센서를 이용하여 주행하는 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터를 포함하는 센서 데이터를 획득하고, 차량 내부의 제어 시스템과 통신을 통해 차량 정보를 획득하여 센서 데이터와 차량 정보를 동기화할 수 있다.
상기 데이터 제어부는, 상기 수신된 일상 주행 데이터를 랜덤하게 섞은 후 N%(N은 자연수)를 추출하여 테스트 데이터로 분류하고 상기 전체 일상 주행 데이터에서 N%를 제외한 데이터를 이용하여 상기 예비 학습을 실시하고, 도출된 학습 결과를 상기 테스트 데이터를 이용하여 평가하는 머신러닝 결과에 대한 교차 타당화 (Cross Validation) 기법을 통해 정확도를 평가할 수 있다.
상기 데이터 전처리부는, 상기 전방 촬영 영상으로부터 차량 전방 유리의 상단 및 하단에 부착된 표식을 검출하여 중심점 좌표를 추출하고, 하단 표식에 근접한 횡방향 직선을 구하여 수평이 되도록 이미지 전체를 회전시키며, 아핀(Affine) 변환를 통해 상하단 표식이 이미지 중앙에 위치하도록 화각을 일치시킬 수 있다.
상기 데이터 전처리부는, 상기 차량이 정지상태가 기 설정된 시간 이상으로 지속되는 가속도 측정 구간을 추출하고, 다음 수학식을 이용하여 종방향 성분(ACCLon) 및 횡방향 성분(ACCLat)으로 변환할 수 있다.
여기서, 
는 상기 단말기의 x축에 대한 틸트 각도, 
는 y축에 대한 틸트 각도, Ax,Ay,Az는 각 가속도 센서로 측정된 x축,y축,z축 값, , gx, gy, gz는 각 x축,y축,z축의 중력가속도 값을 나타낸다.
상기 머신러닝부는, 전체 일상 주행 데이터에 대해서 일반 자율 주행 알고리즘으로 학습하고, 주행 도로의 종류, 주행 도로의 형태, 특정 도로에서의 경로 변경, 특정 시간 대의 주행 및 주행 시점의 날씨를 포함하는 주행 특성 중 적어도 하나에 따라 분류된 일상 주행 데이터에 대해서 각 주행 특성에 대응되는 개별 자율 주행 알고리즘을 통해 별도로 학습할 수 있다.
상기 경로 모델 생성부는, 상기 주행하고자 하는 경로에 대응하는 학습된 머신러닝의 모델이 존재하는 경우, 해당 학습된 머신러닝의 모델의 자율 주행 알고리즘을 선택하고, 상기 주행하고자 하는 자율 주행 경로에 대응하는 머신러닝의 모델이 존재하지 않는 경우, 상기 주행하고자 하는 경로를 세분화하고, 상기 세분화된 경로에 대응하는 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 자율주행 알고리즘을 재구성할 수 있다.
본 발명의 다른 실시예에 따르면, 자율 주행 알고리즘 개발 장치를 이용하는 자율 주행 알고리즘 개발 방법에 있어서, 차량 내 장착된 단말기로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신하는 단계, 상기 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가하여 상기 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 상기 일상 주행 데이터를 저장하는 단계, 상기 데이터베이스에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리하는 단계, 상기 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습하는 단계, 상기 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따른 자율주행 알고리즘을 재구성하는 단계, 그리고 상기 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공하는 단계를 포함한다.
본 발명에 따르면, 차량을 제어하는 일반 운전자들의 일상 주행 데이터를 자율 주행 빅테이터 구축에 활용하고 예비 학습을 통해 주행 데이터의 품질을 사전에 검증함으로써 잘못된 데이터로 인한 학습 오류를 방지하고, 빅데이터의 구축 비용 및 시간을 절약할 수 있다.
또한, 차량내 단말기의 거치 자세를 고려하여 수집된 일상 주행 데이터를 전처리과정을 통해 보정함으로써 데이터의 일관성을 높일 수 있어 빠르고 정확하게 자율 주행 알고리즘을 개발할 수 있다.
도 1은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 의 구성도이다.
도 3은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 자율 주행 알고리즘 개발 방법을 나타낸 순서도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 촬영 영상을 전처리하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치가 중력 가속도를 이용하여 단말기 위치 추정하는 과정을 설명하기 위한 예시도이다.
도 2는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 의 구성도이다.
도 3은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 자율 주행 알고리즘 개발 방법을 나타낸 순서도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 촬영 영상을 전처리하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치가 중력 가속도를 이용하여 단말기 위치 추정하는 과정을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 일상 주행 데이터를 이용하는 자율 주행 알고리즘 개발 시스템에 대해서 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 시스템을 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 자율 주행 알고리즘 개발 시스템은 단말기(100), 자율 주행 알고리즘 개발 장치(200) 및 데이터베이스(300)를 포함한다.
먼저, 단말기(100)는 차량에 탈부착이 가능하거나 장착된 단말로 카메라, GPS, 가속도 센서를 내장하고 있으며 각 센서를 통해 센서 정보를 측정한다.
그리고 단말기(100)는 차량의 제어 시스템과 통신을 통해 차량의 속도 정보, 스티어 정보, 페달 정보등을 포함하는 차량의 주행에 요구되는 각 부분의 작동 상태에 대한 정보인 주행 정보를 수집할 수 있다.
단말기(100)는 센서 정보와 주행 정보를 서로 동기화하여 단말기(100)내 저장 공간에 저장할 수 있으며, 자율 주행 알고리즘 개발 장치(200)로 실시간 또는 일정 시간 간격 마다 센서 정보 및 주행 정보를 포함하는 일상 주행 데이터를 전송할 수 있다.
여기서 단말기(100)는 스마트폰, 스마트 패드, 태블릿, 네비게이션, 블랙박스 등으로 구현이 가능하며, 이에 한정하지는 않는다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 단말기(100)로부터 수신한 일상 주행 데이터를 예비 학습을 통해 데이터의 정확도를 평가하여 임계치 이상의 정확도를 확보한 경우에 데이터베이스(300)에 저장할 수 있다.
즉, 자율 주행 알고리즘 개발 장치(200)는 수집한 일상 주행 데이터의 품질을 사전 검증하여 잘못된 데이터를 제거할 수 있다.
그리고 자율 주행 알고리즘 개발 장치(200)는 데이터베이스(300)에 저장된 일상 주행 데이터를 단말기의 거치 자세를 고려하여 보정하고, 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습한다.
다음으로 데이터베이스(300)는 일상 주행 데이터 중에서 정확도가 임계치 이상의 데이터들을 저장하고 있으며, 자율 주행 알고리즘 개발 장치(200)와 유무선 네트워크로 연결되어 데이터를 송수신한다.
그리고 데이터베이스(300)는 검증된 일상 주행 데이터뿐 아니라 자율 주행 알고리즘 개발 장치(200)가 분류한 주행 특성 정보를 함께 저장할 수 있다.
이하에서는 도 2를 통해 본 발명의 실시예에 따른 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치에 대해서 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 의 구성도이다.
도 2에 도시한 바와 같이, 자율 주행 알고리즘 개발 장치(200)는 데이터 획득부(210), 데이터 제어부(220), 데이터 전처리부(230), 머신러닝부(240), 경로 모델 생성부(250) 및 자율주행 제어부(260)를 포함한다.
먼저, 데이터 획득부(210)는 차량 내 장착된 단말기(100)와 실시간 또는 일정 시간 간격으로 유무선 통신을 통해 일상 주행 데이터를 획득한다.
즉, 데이터 획득부(210)는 단말기(100)로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신한다.
다음으로 데이터 제어부(220)는 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가한다. 여기서, 데이터 제어부(220)는 일상 주행 데이터는 머신러닝 결과에 대한 교차 타당화(Cross Validation)기법을 이용하여 정확도를 평가할 수 있으며, 정확도 평가 방법을 반드시 한정하는 것은 아니다.
그리고 데이터 제어부(220)는 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스(300)에 일상 주행 데이터를 저장한다.
다음으로 데이터 전처리부(230)는 데이터베이스(300)에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환한다.
즉, 데이터 전처리부(230)는 차량 전방 유리에 부착된 표식을 검출하여 중심점 좌표를 추출한 후 아핀 변환을 통해 영상 전처리를 수행하고, 가속도 센서 데이터를 차량 좌표계를 기준으로 종방향과 횡방향 가속도 성분으로 변환한다.
다음으로 머신러닝부(240)는 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습한다.
머신러닝부(240)는 GPS 정보 또는 시간 정보를 이용하여 일상 주행 데이터에서 주행 특성을 도출하여 분류할 수 있으며, 각 주행 특성에 따라 일상 주행 데이터를 개별 자율 주행 알고리즘에 별도로 적용하여 학습할 수 있다.
경로 모델 생성부(250)는 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따라 자율주행 알고리즘을 재구성한다. 즉, 경로 모델 생성부(250)는 주행하고자 하는 자율 주행 경로와 일치하는 데이터를 이용하여 머신러닝이 이루어진 모델이 있을 경우 이를 선택하고, 해당 경로에 대한 머신러닝 알고리즘이 존재하지 않을 경우 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 학습 모델을 생성할 수 있다.
다음으로 자율주행 제어부(260)는, 경로 모델 생성부(250)에서 제공한 모델을 이용하여 자율주행 제어명령을 연산하고 이에 해당하는 조향, 가속, 감속 명령을 자율 주행 차량으로 제공할 수 있다.
이하에서는 도 3 및 도 6을 이용하여 자율 주행 알고리즘 개발 장치가 일상 주행 데이터를 이용하여 자율 주행 알고리즘을 개발하는 방법에 대해서 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 자율 주행 알고리즘 개발 방법을 나타낸 순서도이고, 도 4 및 도 5는 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치의 촬영 영상을 전처리하는 과정을 설명하기 위한 예시도이다. 그리고 도 6은 본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치가 중력 가속도를 이용하여 단말기 위치 추정하는 과정을 설명하기 위한 예시도이다.
도 3에 도시한 바와 같이, 자율 주행 알고리즘 개발 장치(200)는 차량내 장착된 단말기(100)로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신한다(S310).
여기서, 단말기(100)는 내장된 카메라, GPS, 가속도 센서를 이용하여 주행하는 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터를 포함하는 센서 데이터를 획득한다. 이때, 단말기(100)는 내장되는 센서의 종류에 따라 다양한 센서 데이터를 획득할 수 있으며, 별도로 네트워크로 연동되는 웹 사이트 또는 앱을 통해 기상 정보와 같은 다양한 정보를 획득할 수 있다.
그리고 단말기(100)는 차량 내부의 제어 시스템과 통신을 통해 차량 정보를 획득하면, 센서 데이터와 차량 정보를 동기화하여 일상 주행 데이터를 생성한다.
이와 같이 생성된 일상 주행 데이터를 자율 주행 알고리즘 개발 장치(200)는 단말기(100)로부터 실시간 또는 일정 시간 간격마다 수신할 수 있다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 예비 학습을 실시한 후 정확도를 평가하여 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 일상 주행 데이터를 저장한다(S320).
자율 주행 알고리즘 개발 장치(200)는 수신된 일상 주행 데이터를 랜덤하게 섞은 후 N%(N은 자연수)를 추출하여 테스트 데이터로 분류한다.
예를 들어, 자율 주행 알고리즘 개발 장치(200)는 전체 일상 주행 데이터에서 랜덤으로 섞은 후, 20%의 일상 주행 데이터를 테스트 데이터로 분류할 수 있으며, 나머지 80%의 일상 주행 데이터를 이용하여 예비 학습을 실시할 수 있다.
그리고 자율 주행 알고리즘 개발 장치(200)는 예비 학습으로부터 도출된 학습 결과를 20%의 일상 주행 데이터인 테스트 데이터를 이용하여 정확도를 평가할 수 있다.
이때, 자율 주행 알고리즘 개발 장치(200)는 이와 같은 정확도 평가 과정을 예를 들어 0.01% 미만으로 학습율의 변화가 거의 없거나 기 설정된 횟수가 완료될 때까지 반복하여 수행할 수 있다.
그리고 자율 주행 알고리즘 개발 장치(200)는 예비 학습 및 정확도 평가의 전체 과정을 기 설정된 횟수를 반복하여 평균 예측 정확도를 산출하고, 산출된 평균 예측 정확도가 임계치 이상의 값이면 정상적인 데이터로 추정하여 연동된 데이터베이스(300)에 저장할 수 있다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 데이터베이스(300)에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리한다(S330).
본 발명의 실시예에 따른 자율 주행 알고리즘 개발 장치(200)는 전방 촬영 영상으로부터 차량 전방 유리의 상단 및 하단에 부착된 표식을 검출하여 중심점 좌표를 추출한다.
도 4에 도시한 바와 같이, 차량의 전방 유리에 하단 표식(A)과 좌측 상단 표식(B)이 부착되어 있으며, 차량의 전방 촬영 영상에서 표식(A)와 표식(B)을 검출한다.
여기서, 도 4에는 표식(A)와 표식(B)을 원형 형태로 표시하였지만, 원형 이외에도 타원형, 선, 특정 도형과 같이 표식의 형태는 다양하게 표시될 수 있다.
그리고 자율 주행 알고리즘 개발 장치(200)는 기 저장된 기준 영상과 전방 촬영 영상을 비교하는 이미지 매칭 방법을 통해 상하단의 표식을 검출할 수 있다. 또는 자율 주행 알고리즘 개발 장치(200)는 차량 전방 유리에 부착된 표식의 형태가 기 저장된 경우, 해당 특정 형태를 전방 촬영 영상에서 검출하는 방법을 이용할 수 있으며, 이와 같은 표식 검출 방법은 예시로 반드시 특정 검출 방법으로 한정하지 않는다.
그리고 자율 주행 알고리즘 개발 장치(200)는 차량 전방 유리의 하단 표식(A)에 근접한 횡방향 직선을 찾아 수평이 되도록 이미지 전체를 회전시킬 수 있다. 여기서, 하단 표식에 근접한 횡방향 직선이란 차량 대쉬 보드, 후드 등에 의하여 나타나는 곡선을 직선으로 근사화하는 것을 의미한다.
도 5에 도시한 바와 같이, 자율 주행 알고리즘 개발 장치(200)는 차량 전방 유리의 상단 및 하단 표식(A), (B)이 이미지 중앙에 위치하도록 아핀(Affin) 변환을 실시하여 영상 전처리를 할 수 있다.
여기서, 아핀(Affin)변환이란 직선, 길이(거리)의 비, 평행성을 보존하는 변환 방법을 나타내며, 이와 같은 영상 변환 방법은 예시로 반드시 특정 변환 방법으로 한정하지 않는다.
또한 자율 주행 알고리즘 개발 장치(200)는 일상 주행 데이터에서 차량이 정지상태가 일정 시간 지속되는 가속도 측정 구간을 추출할 수 있다. 예를 들어, 자율 주행 알고리즘 개발 장치(200)는 차속이 0km/h인 상태 확인 또는 가속도의 변화가 0인 상태에서 3초가 지속되는 구간을 추출할 수 있다.
도 6의 (a)는 단말기의 종류에 따라 각 축의 방향을 나타낸 도면이고, (b)는 중력가속도를 이용한 수직 하방 성분을 나타낸 예시도이다.
도 6에 도시한 바와 같이, 자율 주행 알고리즘 개발 장치(200)는 중력 가속도를 이용하여 수직 하방 성분을 검출할 수 있다. 여기서, 자율 주행 알고리즘 개발 장치(200)는 단말기(100)의 x 축의 틸트 각도 및 y축의 틸트 각도를 산출할 수 있으며, 산출된 x 축의 틸트 각도 및 y축의 틸트 각도를 이용하여 종방향 성분과 횡방향 성분을 구할 수 있다.
즉, 자율 주행 알고리즘 개발 장치(200)는 가속도 측정 구간을 다음 수학식 1을 이용하여 종방향 성분(ACCLon) 및 횡방향 성분(ACCLat)으로 변환할 수 있다.
여기서, 
는 상기 단말기의 x축에 대한 틸트 각도, 
는 y축에 대한 틸트 각도, Ax,Ay,Az는 각 가속도 센서로 측정된 x축,y축,z축 값, gx, gy, gz는 각 x축,y축,z축의 중력가속도 값을 나타낸다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습한다(S340).
이때, 자율 주행 알고리즘 개발 장치(200)는 전체 일상 주행 데이터에 대해서 일반 자율 주행 알고리즘으로 학습할 수 있다.
한편, 자율 주행 알고리즘 개발 장치(200)는 GPS 정보 또는 시간 정보 또는 날씨 정보를 이용하여 일상 주행 데이터의 주행 특성에 따라 분류할 수 있다.
예를 들어, 자율 주행 알고리즘 개발 장치(200)는 고속도로 주행, 교차로 직진, 교차로 좌회전, 교차로 우회전, 야간 주행, 우천 주행 등으로 분류할 수 있다.
여기서, GPS 정보 또는 시간 정보 또는 날씨 정보와 같이, 주행 특성을 분류할 수 있는 기준이 되는 정보는 단말기(100)를 통해 수집하거나 별도의 사이트나 앱과 통신을 통해 수집할 수 있다.
즉, 자율 주행 알고리즘 개발 장치(200)는 주행 도로의 종류, 주행 도로의 형태, 특정 도로에서의 경로 변경, 특정 시간 대의 주행 및 주행 시점의 날씨를 포함하는 주행 특성 중 적어도 하나에 따라 분류된 일상 주행 데이터에 대해서 각 주행 특성에 대응되는 개별 주행 알고리즘으로 별도로 학습할 수 있다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 학습된 머신러닝 모델을 이용하여 현재 주행하고자 하는 경로에 따른 자율 주행 알고리즘을 재구성한다(S350).
이때, 주행하고자 하는 자율 주행 경로와 일치하는 데이터를 통해 머신러닝이 이루어진 모델이 있을 경우, 해당 머신러닝 알고리즘을 제공하고, 주행하고자 하는 자율 주행 경로에 대한 머신러닝 알고리즘이 존재하지 않을 경우, 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 학습 모델을 생성할 수 있다.
즉, 주행하고자 하는 경로를 세분화하여 각각의 세분화된 경로에 대응되는 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 머신러닝 알고리즘을 생성할 수 있다.
다음으로 자율 주행 알고리즘 개발 장치(200)는 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공할 수 있다(S360).
즉, 자율 주행 알고리즘 개발 장치(200)는 재구성된 자율 주행 알고리즘을 통해 조향, 가속, 감속 명령을 포함하는 차량의 자율 주행 제어 명령을 연산하고, 해당 자율 주행 제어 명령을 차량으로 제공하거나 시뮬레이션 장치로 제공할 수 있다.
한편, 자율 주행 알고리즘 개발 장치(200)는 복수의 운전자들의 단말기(100)로부터 일상 주행 데이터를 수신하여 빅 데이터를 구축하고, 자율 주행 알고리즘을 학습하기 위해서, 각 일상 주행 데이터를 제공하는 제공자들에게 특정 포인트 또는 다양한 보상을 제공할 수 있다. 이때, 자율 주행 알고리즘 개발 장치(200)는 수신한 일상 주행 데이터가 예비 학습을 거쳐 정확도가 기 설정된 임계치 이상인 경우와 같이 품질이 검증된 일상 주행 데이터를 제공한 제공자에게만 특정 포인트 또는 다양한 보상을 제공할 수 있다.
즉, 자율 주행 알고리즘 개발 장치(200)는 알고리즘 적용 전 사전 검증을 통해 데이터 제공자를 선별하고, 보상을 제공함으로써, 데이터 제공자들에게 보상 시기를 단축하여 특정 포인트 또는 다양한 보상을 제공할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 차량을 제어하는 일반 운전자들의 일상 주행 데이터를 자율 주행 빅테이터 구축에 활용하고 예비 학습을 통해 주행 데이터의 품질을 사전에 검증함으로써 잘못된 데이터로 인한 학습 오류를 방지하고, 빅데이터의 구축 비용 및 시간을 절약할 수 있다.
또한, 차량내 단말기의 거치 자세를 고려하여 수집된 일상 주행 데이터를 전처리과정을 통해 보정함으로써 데이터의 일관성을 높일 수 있어 빠르고 정확하게 자율 주행 알고리즘을 개발할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 단말기 200: 자율 주행 알고리즘 개발 장치
210: 데이터 획득부 220: 데이터 제어부
230: 데이터 전처리부 240: 머신러닝부
250: 경로 모델 생성부 260: 자율주행 제어부
300: 데이터베이스
210: 데이터 획득부 220: 데이터 제어부
230: 데이터 전처리부 240: 머신러닝부
250: 경로 모델 생성부 260: 자율주행 제어부
300: 데이터베이스
Claims (14)
- 차량 내 장착된 단말기로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신하는 데이터 획득부,
상기 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가하여 상기 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 상기 일상 주행 데이터를 저장하는 데이터 제어부,
상기 데이터베이스에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리하는 데이터 전처리부,
상기 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습하는 머신러닝부,
상기 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따른 자율주행 알고리즘을 재구성하는 경로 모델 생성부, 그리고
상기 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공하는 자율주행 제어부를 포함하는 자율 주행 알고리즘 개발 장치. - 제1항에 있어서,
상기 단말기는,
상기 단말기에 내장된 카메라, GPS, 가속도 센서를 이용하여 주행하는 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터를 포함하는 센서 데이터를 획득하고, 차량 내부의 제어 시스템과 통신을 통해 차량 정보를 획득하여 센서 데이터와 차량 정보를 동기화하는 자율 주행 알고리즘 개발 장치. - 제2항에 있어서,
상기 데이터 제어부는,
상기 수신된 일상 주행 데이터를 랜덤하게 섞은 후 N%(N은 자연수)를 추출하여 테스트 데이터로 분류하고 전체 일상 주행 데이터에서 N%를 제외한 데이터를 이용하여 상기 예비 학습을 실시하고, 도출된 학습 결과를 상기 테스트 데이터를 이용하여 평가하는 머신러닝 결과에 대한 교차 타당화 (Cross Validation) 기법을 통해 정확도를 평가하는 자율 주행 알고리즘 개발 장치. - 제3항에 있어서,
상기 데이터 전처리부는,
상기 전방 촬영 영상으로부터 차량 전방 유리의 상단 및 하단에 부착된 표식을 검출하여 중심점 좌표를 추출하고, 하단 표식에 근접한 횡방향 직선을 구하여 수평이 되도록 이미지 전체를 회전시키며, 영상 변환를 통해 상하단 표식이 이미지 중앙에 위치하도록 화각을 일치시키는 자율 주행 알고리즘 개발 장치. - 제4항에 있어서,
상기 데이터 전처리부는,
상기 차량이 정지상태가 기 설정된 시간 이상으로 지속되는 가속도 측정 구간을 추출하고, 다음 수학식을 이용하여 종방향 성분(ACCLon) 및 횡방향 성분(ACCLat)으로 변환하는 자율 주행 알고리즘 개발 장치:
여기서,는 상기 단말기의 x축에 대한 틸트 각도,
는 y축에 대한 틸트 각도, Ax,Ay,Az는 각 가속도 센서로 측정된 x축,y축,z축 값, gx, gy, gz는 각 x축,y축,z축의 중력가속도 값을 나타낸다.
- 제5항에 있어서,
상기 머신러닝부는,
전체 일상 주행 데이터에 대해서 일반 자율 주행 알고리즘으로 학습하고, 주행 도로의 종류, 주행 도로의 형태, 특정 도로에서의 경로 변경, 특정 시간 대의 주행 및 주행 시점의 날씨를 포함하는 주행 특성 중 적어도 하나에 따라 분류된 일상 주행 데이터에 대해서 각 주행 특성에 대응되는 개별 자율 주행 알고리즘을 통해 별도로 학습하는 자율 주행 알고리즘 개발 장치. - 제6항에 있어서,
상기 경로 모델 생성부는,
상기 주행하고자 하는 경로에 대응하는 학습된 머신러닝의 모델이 존재하는 경우, 해당 학습된 머신러닝의 모델의 자율 주행 알고리즘을 선택하고,
상기 주행하고자 하는 자율 주행 경로에 대응하는 머신러닝의 모델이 존재하지 않는 경우, 상기 주행하고자 하는 경로를 세분화하고, 상기 세분화된 경로에 대응하는 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 자율주행 알고리즘을 재구성하는 자율 주행 알고리즘 개발 장치. - 자율 주행 알고리즘 개발 장치를 이용하는 자율 주행 알고리즘 개발 방법에 있어서,
차량 내 장착된 단말기로부터 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터 및 차량 주행 데이터를 포함하는 일상 주행 데이터를 수신하는 단계, 상기 일상 주행 데이터를 이용하여 예비 학습을 실시한 후 정확도를 평가하여 상기 정확도가 임계치 이상의 값이 도출되면, 연동된 데이터베이스에 상기 일상 주행 데이터를 저장하는 단계,
상기 데이터베이스에 저장된 일상 주행 데이터에서 전방 촬영 영상의 도로 영상 화각을 영상 변환 기법으로 일치시키고, 가속도 센서 데이터를 가속도 성분으로 변환하여 상기 일상 주행 데이터를 전처리하는 단계,
상기 전처리된 일상 주행 데이터를 기 설정된 머신러닝 엔진을 통해 자율 주행 알고리즘에 적용하여 학습하는 단계,
상기 학습된 자율 주행 알고리즘을 이용하여 현재 주행하고자 하는 경로에 따른 자율주행 알고리즘을 재구성하는 단계, 그리고
상기 재구성된 자율 주행 알고리즘에 대응하는 자율주행 차량 제어 명령을 현재 주행하고자 하는 차량에 제공하는 단계를 포함하는 자율 주행 알고리즘 개발 방법. - 제8항에 있어서,
상기 단말기는,
상기 단말기에 내장된 카메라, GPS, 가속도 센서를 이용하여 주행하는 차량의 전방 촬영 영상, GPS 정보, 가속도 센서 데이터를 포함하는 센서 데이터를 획득하고, 차량 내부의 제어 시스템과 통신을 통해 차량 정보를 획득하여 센서 데이터와 차량 정보를 동기화하는 자율 주행 알고리즘 개발 방법. - 제9항에 있어서,
상기 일상 주행 데이터를 저장하는 단계는,
상기 수신된 일상 주행 데이터를 랜덤하게 섞은 후 N%(N은 자연수)를 추출하여 테스트 데이터로 분류하고 전체 일상 주행 데이터에서 N%를 제외한 데이터를 이용하여 상기 예비 학습을 실시하고, 도출된 학습 결과를 상기 테스트 데이터를 이용하여 평가하는 머신러닝 결과에 대한 교차 타당화 (Cross Validation) 기법을 통해 정확도를 평가하는 자율 주행 알고리즘 개발 방법. - 제10항에 있어서,
상기 일상 주행 데이터를 전처리하는 단계는,
상기 전방 촬영 영상으로부터 차량 전방 유리의 상단 및 하단에 부착된 표식을 검출하여 중심점 좌표를 추출하고, 하단 표식에 근접한 횡방향 직선을 구하여 수평이 되도록 이미지 전체를 회전시키며, 영상 변환를 통해 상하단 표식이 이미지 중앙에 위치하도록 화각을 일치시키는 자율 주행 알고리즘 개발 방법. - 제11항에 있어서,
상기 일상 주행 데이터를 전처리하는 단계는,
상기 차량이 정지상태가 기 설정된 이상 이상으로 지속되는 가속도 측정 구간을 추출하고, 다음 수학식을 이용하여 종방향 성분(ACCLon) 및 횡방향 성분(ACCLat)으로 변환하는 자율 주행 알고리즘 개발 방법:
여기서,는 상기 단말기의 x축에 대한 틸트 각도,
는 y축에 대한 틸트 각도, Ax,Ay,Az는 각 가속도 센서로 측정된 x축,y축,z축 값, gx, gy, gz는 각 x축,y축,z축의 중력가속도 값을 나타낸다.
- 제12항에 있어서,
상기 학습하는 단계는,
전체 일상 주행 데이터에 대해서 일반 자율 주행 알고리즘으로 학습하고, 주행 도로의 종류, 주행 도로의 형태, 특정 도로에서의 경로 변경, 특정 시간 대의 주행 및 주행 시점의 날씨를 포함하는 주행 특성 중 적어도 하나에 따라 분류된 일상 주행 데이터에 대해서 각 주행 특성에 대응되는 개별 자율 주행 알고리즘을 통해 별도로 학습하는 자율 주행 알고리즘 개발 방법. - 제8항에 있어서,
상기 자율주행 알고리즘을 재구성하는 단계는,
상기 주행하고자 하는 경로에 대응하는 학습된 머신러닝의 모델이 존재하는 경우, 해당 학습된 머신러닝의 모델의 자율 주행 알고리즘을 선택하고,
상기 주행하고자 하는 자율 주행 경로에 대응하는 머신러닝의 모델이 존재하지 않는 경우, 상기 주행하고자 하는 경로를 세분화하고, 상기 세분화된 경로에 대응하는 개별 자율 주행 알고리즘을 조합하여 경로 맞춤형 자율주행 알고리즘을 재구성하는 자율 주행 알고리즘 개발 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170150589A KR102015076B1 (ko) | 2017-11-13 | 2017-11-13 | 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 |
| EP18181093.8A EP3483689A1 (en) | 2017-11-13 | 2018-07-02 | Apparatus for autonomous driving algorithm development using daily driving data and method using the same |
| US16/028,439 US20190146514A1 (en) | 2017-11-13 | 2018-07-06 | Apparatus for autonomous driving algorithm development using daily driving data and method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170150589A KR102015076B1 (ko) | 2017-11-13 | 2017-11-13 | 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190054389A true KR20190054389A (ko) | 2019-05-22 |
| KR102015076B1 KR102015076B1 (ko) | 2019-08-27 |
Family
ID=62975839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170150589A KR102015076B1 (ko) | 2017-11-13 | 2017-11-13 | 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190146514A1 (ko) |
| EP (1) | EP3483689A1 (ko) |
| KR (1) | KR102015076B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190099148A (ko) * | 2019-08-05 | 2019-08-26 | 엘지전자 주식회사 | 자율 주행 시스템에서 데이터 기반의 어플레이케이션 갱신방법 및 이를 위한 장치 |
| US10990855B2 (en) * | 2019-06-13 | 2021-04-27 | Baidu Usa Llc | Detecting adversarial samples by a vision based perception system |
| KR20230082922A (ko) * | 2021-12-02 | 2023-06-09 | (주)컨트롤웍스 | 자율 주행 차량의 적응 순항 제어 장치 및 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6866762B2 (ja) * | 2017-05-18 | 2021-04-28 | いすゞ自動車株式会社 | 車両用情報処理システム |
| JP7201381B2 (ja) * | 2018-10-05 | 2023-01-10 | 日立Astemo株式会社 | 電子制御装置、並列処理方法 |
| US11122479B2 (en) * | 2018-11-16 | 2021-09-14 | Airfide Networks LLC | Systems and methods for millimeter wave V2X wireless communications |
| CN110497914B (zh) * | 2019-08-26 | 2020-10-30 | 格物汽车科技(苏州)有限公司 | 自动驾驶的驾驶员行为模型开发方法、设备和存储介质 |
| US11360191B2 (en) * | 2019-12-27 | 2022-06-14 | Woven Planet North America, Inc. | Adaptive tilting radars for effective vehicle controls |
| KR102525191B1 (ko) | 2020-08-07 | 2023-04-26 | 한국전자통신연구원 | 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법 |
| KR102510733B1 (ko) | 2022-08-10 | 2023-03-16 | 주식회사 에이모 | 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170025334A (ko) * | 2015-08-28 | 2017-03-08 | 현대자동차주식회사 | 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 |
| KR20170078096A (ko) * | 2015-12-29 | 2017-07-07 | 서울대학교산학협력단 | 자율주행 차량의 제어방법 |
| JP6201102B2 (ja) * | 2014-07-23 | 2017-09-27 | 株式会社発明屋 | 自動車とコンピューティングシステム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2373117B (en) * | 2000-10-04 | 2005-02-16 | Intelligent Tech Int Inc | Method and arrangement for mapping a road and accident avoidance system |
| KR20150066303A (ko) | 2013-12-06 | 2015-06-16 | 한국전자통신연구원 | 운전자의 주행 패턴을 반영하는 자율 주행 장치 및 그 방법 |
| KR102137213B1 (ko) * | 2015-11-16 | 2020-08-13 | 삼성전자 주식회사 | 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치 |
| EP3219564B1 (en) * | 2016-03-14 | 2018-12-05 | IMRA Europe S.A.S. | Driving prediction with a deep neural network |
-
2017
- 2017-11-13 KR KR1020170150589A patent/KR102015076B1/ko active IP Right Grant
-
2018
- 2018-07-02 EP EP18181093.8A patent/EP3483689A1/en not_active Withdrawn
- 2018-07-06 US US16/028,439 patent/US20190146514A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6201102B2 (ja) * | 2014-07-23 | 2017-09-27 | 株式会社発明屋 | 自動車とコンピューティングシステム |
| KR20170025334A (ko) * | 2015-08-28 | 2017-03-08 | 현대자동차주식회사 | 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법 |
| KR20170078096A (ko) * | 2015-12-29 | 2017-07-07 | 서울대학교산학협력단 | 자율주행 차량의 제어방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10990855B2 (en) * | 2019-06-13 | 2021-04-27 | Baidu Usa Llc | Detecting adversarial samples by a vision based perception system |
| KR20190099148A (ko) * | 2019-08-05 | 2019-08-26 | 엘지전자 주식회사 | 자율 주행 시스템에서 데이터 기반의 어플레이케이션 갱신방법 및 이를 위한 장치 |
| KR20230082922A (ko) * | 2021-12-02 | 2023-06-09 | (주)컨트롤웍스 | 자율 주행 차량의 적응 순항 제어 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190146514A1 (en) | 2019-05-16 |
| EP3483689A1 (en) | 2019-05-15 |
| KR102015076B1 (ko) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190054389A (ko) | 일상 주행 데이터를 이용한 자율 주행 알고리즘 개발 장치 및 그 방법 | |
| JP7020728B2 (ja) | システム、方法およびプログラム | |
| US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
| CN111291676B (zh) | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 | |
| KR100921427B1 (ko) | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 | |
| US20180024562A1 (en) | Localizing vehicle navigation using lane measurements | |
| KR20200123474A (ko) | 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬 | |
| CN109327695A (zh) | 用于高度现实的虚拟测试驾驶场景的测试驾驶场景数据库系统 | |
| CN107145578A (zh) | 地图构建方法、装置、设备和系统 | |
| CN112204349A (zh) | 用于车辆导航的系统和方法 | |
| US11119192B2 (en) | Automatic detection of overhead obstructions | |
| CN112654836A (zh) | 用于车辆导航的系统和方法 | |
| CN111351502B (zh) | 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品 | |
| CN106598695A (zh) | 用于虚拟驾驶环境中的车道边界检测的试验台 | |
| CN109983303B (zh) | 电子地图的更新方法 | |
| CN114291011A (zh) | 车辆神经网络 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| US11352011B2 (en) | Information processing system, program, and information processing method | |
| JP2023182722A (ja) | プロファイル作成方法、プロファイル作成システム、プロファイル及びプロファイル作成プログラム | |
| CN113874681B (zh) | 点云地图质量的评估方法和系统 | |
| CN115235526A (zh) | 用于传感器的自动校准的方法和系统 | |
| CN117859041A (zh) | 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车 | |
| WO2021056185A1 (en) | Systems and methods for partially updating high-definition map based on sensor data matching | |
| JP7235438B2 (ja) | 運転評価装置、運転評価方法、及びコンピュータプログラム | |
| JP2021081368A (ja) | 距離画像生成装置、モデル生成装置、車間距離算出装置、距離画像生成方法とそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |