KR102103450B1 - 분산 시뮬레이션 기반 첨단 운전자 지원 시스템 - Google Patents

분산 시뮬레이션 기반 첨단 운전자 지원 시스템 Download PDF

Info

Publication number
KR102103450B1
KR102103450B1 KR1020190011958A KR20190011958A KR102103450B1 KR 102103450 B1 KR102103450 B1 KR 102103450B1 KR 1020190011958 A KR1020190011958 A KR 1020190011958A KR 20190011958 A KR20190011958 A KR 20190011958A KR 102103450 B1 KR102103450 B1 KR 102103450B1
Authority
KR
South Korea
Prior art keywords
vehicle
module
data
adas
distributed simulation
Prior art date
Application number
KR1020190011958A
Other languages
English (en)
Inventor
김원태
조든솔
정세열
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020190011958A priority Critical patent/KR102103450B1/ko
Application granted granted Critical
Publication of KR102103450B1 publication Critical patent/KR102103450B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/261—Functional testing by simulating additional hardware, e.g. fault simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/27—Built-in tests
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/09—Taking automatic action to avoid collision, e.g. braking or steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Abstract

본 발명은 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것으로, 차량의 운전 상황을 판단하고, 제어하는 첨단 운전자 지원 시스템(ADAS, Advanced driving assistance system)에 있어서, 상기 차량에서 측정된 환경데이터를 송신하고, 상기 ADAS의 검증을 하는 프레임워크부와, 상기 환경데이터를 수신하고, 상기 환경데이터를 기반으로 구현되며, 상기 차량의 제어데이터를 생성하여 상기 프레임워크부에 송신하는 프로토타입부를 포함할 수 있다.

Description

분산 시뮬레이션 기반 첨단 운전자 지원 시스템{Advanced driving assistance system based on car distributed simulation}
본 발명은 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것으로, 더욱 자세하게는 시뮬레이션을 기반으로 머신러닝을 적용하여 객체를 인식하고 객체와의 거리를 판단하여 자동차의 움직임을 조절하는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것이다.
잘 알려진 바와 같이, 자율주행 자동차는 인간의 감각과 동일한 역할을 하는 운전 상황을 판단하고, 제어하는 기술들의 집합체인 첨단 운전자 지원 시스템(ADAS, Advanced driver-assistance systems)이 요구된다.
첨단 운전자 지원 시스템의 기술은 전방의 차량 또는 보행자와의 거리를 조절하는 ASCC(Advanced Smart Cruise Control), AEB(Autonomous Emergency Brake)와 차선이탈에 대한 알람을 울려주는 LDW(Lane Departure Warning)과 차선을 유지하도록 주행을 도와주는 LKAS(Lane Keeping Assist System) 등 차량의 전방, 측면, 후방을 인지하고, 운전자의 안전한 운전을 안내하는 목표를 가지는 시스템이 포함된다.
하지만, 기존의 첨단 운전자 지원 시스템은 카메라 및 레이더센서를 통해 보행자를 인식하고 나서 대처하는 방법을 제시하고 있는데, 이러한 경우에는 미리 판단하지 못하여 사고가 날 가능성이 높다는 문제가 있다.
1. 대한민국 등록특허 제10-1731789호(2017.04.25. 등록) 2. 대한민국 등록특허 제10-1730348호(2017.04.20. 등록)
본 발명은 시뮬레이션을 기반으로 머신러닝을 적용하여 객체를 인식하고 객체와의 거리를 판단하여 자동차의 움직임을 조절하는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것이다.
또한, 본 발명은 다양한 환경에서 분산되어 동작하는 분산 시뮬레이션 시스템을 통해 높은 신뢰도를 가지는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것이다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 차량의 운전 상황을 판단하고, 제어하는 첨단 운전자 지원 시스템(ADAS, Advanced driving assistance system)에 있어서, 상기 차량에서 측정된 환경데이터를 송신하고, 상기 ADAS의 검증을 하는 프레임워크부와, 상기 환경데이터를 수신하고, 상기 환경데이터를 기반으로 구현되며, 상기 차량의 제어데이터를 생성하여 상기 프레임워크부에 송신하는 프로토타입부를 포함할 수 있다.
또한, 상기 프레임워크부는, 상기 환경데이터를 송신하고, 상기 제어데이터를 수신하는 플러그 인 인터페이스 모듈과, 가상환경에서 상기 ADAS의 검증을 위한 환경을 제작하는 3D 차량 시뮬레이터 모듈과, 상기 ADAS의 유효성을 테스트하는 검증 모듈과, 상기 ADAS에서 수집한 데이터를 통계로 나타내는 통계 서비스모듈을 포함할 수 있다.
또한, 상기 프로토타입부는, 상기 환경데이터의 영상 처리를 하는 지능적 이미지 처리 모듈과, 상기 지능적 이미지 처리 모듈에서 처리된 결과를 기반으로 상기 제어데이터를 생성하는 차량 제어 결정 모듈과, 상기 프레임워크부와 연결하여 데이터를 교환하기 위해 인터페이스 역할을 하는 프로토타입 어댑터 모듈을 포함할 수 있다.
또한, 상기 지능적 이미지 처리 모듈은, 주행 중 차선을 유지하도록 하는 차선유지지원 시스템(LKAS, Lane Keeping Assist System)과, 장애물로 인한 사고의 위험이 있는 경우에 상기 주행을 중지시키는 자동 긴급제동 시스템(AEB, Autonomous Emergency Brake)을 포함할 수 있다.
또한, 상기 검증 모듈은, 분산 시뮬레이션 시스템을 포함하고, 상기 분산 시뮬레이션 시스템은, 상기 환경데이터에서 각각의 기능을 검증하는 복수 개의 FMU(Functional Mock-up unit) 종속 시뮬레이터와, 복수 개의 상기 FMU 종속 시뮬레이터를 관리하는 FMU 마스터 시뮬레이터를 포함할 수 있다.
본 발명은 시뮬레이션을 기반으로 머신러닝을 적용하여 객체를 인식하고 객체와의 거리를 판단함으로써, 자동차의 움직임을 사전에 조절하여 사고를 미연에 방지할 수 있다.
또한, 본 발명은 다양한 환경에서 분산되어 동작하는 분산 시뮬레이션 시스템을 사용함으로써, 높은 신뢰도를 가지는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 구성을 나타낸 도면이고,
도 2는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 작동 순서 및 데이터 흐름을 나타낸 도면이며,
도 3은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 객체 인식률 검증 결과를 나타낸 도면이고,
도 4는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 교차로를 포함한 환경에서의 측정 데이터를 나타낸 도면이며,
도 5는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 교차로를 포함하지 않는 환경에서의 측정 데이터를 나타낸 도면이고,
도 6 및 7은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 검증 모듈의 분산 시뮬레이션 시스템을 나타낸 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 작동 순서 및 데이터 흐름을 나타낸 도면이며, 도 3은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 객체 인식률 검증 결과를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 교차로를 포함한 환경에서의 측정 데이터를 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용한 교차로를 포함하지 않는 환경에서의 측정 데이터를 나타낸 도면이고, 도 6 및 7은 본 발명의 일 실시예에 따른 분산 시뮬레이션 기반 첨단 운전자 지원 시스템의 검증 모듈의 분산 시뮬레이션 시스템을 나타낸 도면이다.
도 1 및 2를 참조하면, 전방의 차량 또는 보행자와의 거리를 조절하는 어드밴스드 스마트 크루즈 컨트롤(ASCC, Advanced Smart Cruise Control), 차선이탈에 대한 알람을 울려주는 차선이탈경고 장치(LDW, Lane Departure Warning) 등을 포함하여 차량의 운전 상황을 판단하고, 제어하는 첨단 운전자 지원 시스템(ADAS, Advanced driving assistance system)에 있어서, 차량에서 측정된 환경데이터를 송신하고, ADAS의 검증을 하는 프레임워크부(100)와, 환경데이터를 수신하고, 환경데이터를 기반으로 구현되며, 차량의 제어데이터를 생성하여 상기 프레임워크부에 송신하는 프로토타입부(200)를 포함할 수 있다.
프레임워크부(100)는 플러그 인 인터페이스 모듈(110), 3D 차량 시뮬레이터 모듈(120), 검증 모듈(130), 통계 서비스모듈(140) 등을 포함할 수 있다.
플러그 인 인터페이스 모듈(110)은 환경데이터를 송신하고, 제어데이터를 수신할 수 있다.
여기에서, 플러그 인 인터페이스 모듈(110)은 환경데이터는 차량의 영상 데이터, 차량의 센서 및 상태 데이터 등을 포함할 수 있다.
또한, 플러그 인 인터페이스 모듈(110)은 수신한 제어데이터를 3D 차량 시뮬레이터 모듈(120)에 송신할 수 있다.
3D 차량 시뮬레이터 모듈(120)은 가상환경에서 ADAS의 검증을 위한 환경을 제작할 수 있다.
여기에서, 3D 차량 시뮬레이터 모듈(120)은 제어데이터를 수신하여 가상환경 에 제어데이터를 적용하여 판단 결과를 확인할 수 있다.
예를 들면, 제안하는 ADAS 기능을 가진 가상의 차량 모델과 주행 중인 차량, 보행자, 신호등, 차선 등의 객체를 시각화하는 3D 시각화 모델을 바탕으로 가상의 운전 환경 테스트를 수행할 수 있다.
그리고, 테스트 결과로 나오는 카메라 영상, 속도 등이 ADAS의 입력으로 받아드리도록 메시지를 만들 수 있다.
또한, 3D 차량 시뮬레이터 모듈(120)은 검증 모듈(130)에서 검증한 환경데이터의 결과를 토대로 시각화 작업을 하여 프로토타입부(200)에 속도, 브레이크 등에 대한 값을 전송할 수 있다.
검증 모듈(130)은 ADAS의 유효성을 테스트 할 수 있다.
여기에서, 검증 모듈(130)은 3D 차량 시뮬레이터 모듈(120)에서 정상적으로 작동하는지, 얼마나 높은 정확도를 가지는지에 대해서 평가하여 검증할 수 있다.
또한, 검증 모듈(130)은 분산 시뮬레이션 시스템(131)을 포함하고, 분산 시뮬레이션 시스템(131)은 환경데이터에서 각각의 기능을 검증하는 복수 개의 FMU(Functional Mock-up unit) 종속 시뮬레이터(131a)와 복수 개의 FMU 종속 시뮬레이터(131a)를 관리하는 FMU 마스터 시뮬레이터(131b)를 포함할 수 있다.
여기에서, FMU는 FMI(Function mock-up interface) 표준을 준수하여 만들어진 모델을 뜻하며, FMI 인터페이스를 통해 FMU 모델을 읽어와 각각의 시뮬레이션 환경에서 사용할 수 있도록 하거나 FMU에 내장된 시뮬레이션 솔버(Solver)를 활용하여 여러 FMU들이 연결된 연동 시뮬레이션 환경을 구성할 수 있다.
또한, 분산되어있는 이종 시뮬레이션들은 서로 상호작용 하기 위해 데이터 교환이 이루어져야 하며, 정확하고 빠른 데이터 교환을 위해서 DDS(Data Distribute System), HLA/RTI(High Level Architecture/Real Time Infrastructure)와 같은 기술을 사용할 수 있다.
여기에서, FMI는 이종 시뮬레이션 모델링 환경에서 만들어진 모델의 교환이나 모델 간 연결을 위한 인터페이스 표준이다.
여기에서, 도 6을 참조하면, 검증하고자하는 ADAS에서 환경데이터를 플러그 인 인터페이스 모듈(110)을 통해 수신할 수 있다.
다음으로, 플러그 인 인터페이스 모듈(110)에서 검증 모듈(130)의 분산 시뮬레이션 시스템(131)에 환경데이터를 송신할 수 있다.
그리고, FMU 종속 시뮬레이터(131a)는 유동적으로 복수 개를 만들 수 있으며 수신된 환경데이터의 드라이브 컨트롤(Drive Control), 배터리(Battery), 모터(Motor), 오토크루즈(Auto Cruize) 등의 기능을 각각 검증 할 수 있고, FMU 종속 시뮬레이터(131a)는 각각의 기능을 검증하며, FMU 마스터 시뮬레이터(131b)는 FMU 종속 시뮬레이터(131a)를 관리할 수 있다.
다음으로, 3D 차량 시뮬레이터 모듈(120)은 검증 모듈(130)에서 검증한 환경데이터의 결과를 토대로 시각화 작업을 할 수 있다.
그리고, 프로토타입부(200)에 속도, 브레이크 등에 대한 값을 전송할 수 있다.
분산 시뮬레이션 시스템(131)은 HILS 검증을 지원하는 분산 시뮬레이션 미들웨어{H-DsM：Distributed Simulation Middleware with HILS(Hardware In the Loop Simulation) for Hybrid System Verification}(131c)를 통해 다양한 환경에서 분산되어 동작하는 시뮬레이션을 지원하고 높은 신뢰도를 가지도록 할 수 있다.
도 7을 참조하면, 3개의 FMU를 연동하기 위하여 하나의 FMU 마스터 시뮬레이터(131b)와 두개의 FMU 종속 시뮬레이터(131a)를 구성하였다. 각 분산된 시뮬레이션은 0.1초의 시간 단위를 시뮬레이션 스텝으로 가지며 H-DsM을 통하여 스텝 마다 지정된 시뮬레이션 파라미터의 데이터를 교환한다.
통계 서비스모듈(140)은 ADAS에서 수집한 데이터를 통계로 낼 수 있다.
여기에서, 통계 서비스모듈(140)은 운행 중 ADAS 기능이 작동된 상황 및 작동시간, 정확도, 차량의 운행 시간, ADAS 기능이 끊긴 시간 등을 수집하여 통계로 나타낼 수 있다.
프로토타입부(200)는 지능적 이미지 처리 모듈(210), 차량 제어 결정 모듈(220), 프로토타입 어댑터 모듈(230) 등을 포함할 수 있다.
지능적 이미지 처리 모듈(210)은 환경데이터의 영상 처리를 할 수 있고, 차선유지지원 시스템(LKAS, Lane Keeping Assist System)(211), 자동 긴급제동 시스템(AEB, Autonomous Emergency Brake)(212)을 포함할 수 있다.
차선유지지원 시스템(211)은 주행 중 차선을 유지하도록 할 수 있고, 영상 이미지 처리를 통해 라인을 추출할 수 있다.
또한, 차선유지지원 시스템(211)은 OpenCV의 라이브러리를 이용하여 차선 검출 알고리즘을 구현할 수 있다.
여기에서, 차선유지지원 시스템(211)의 에러율은 아래의 수학식 1과 같이 계산된다.
[수학식 1]
Figure 112019011008914-pat00001
Figure 112019011008914-pat00002
는 차선유지지원 시스템(211)이 작동한 시간이고,
Figure 112019011008914-pat00003
는 에러율이며, t1은 자동차 전체 동작시간이고, 시간 단위는 초(s)이다.
자동 긴급제동 시스템(212)는 장애물로 인한 사고의 위험이 있는 경우에 상기 주행을 중지시킬 수 있고, 영상 이미지 처리를 통해 보행자, 신호등, 자동차 등을 추출할 수 있다.
또한, 영상 이미지는 YOLO(You Only Look Once) 프레임 워크를 사용하여 추출할 수 있고, 추출된 이미지를 CNN(Convolution Neural Network)을 사용하여 학습할 수 있다.
여기에서, CNN은 이미지의 공간 정보를 유지하면서 근접한 이미지들과의 특징들을 효과적으로 인식해내며, 여러 가지 필터를 사용하여 이미지의 특징을 잡아내고 학습할 수 있다.
또한, 각 레이어의 입출력 데이터를 유지하고 필터들을 공유 파라미터로 사용하기에 일반 인공 학습망과 비교하여 학습 하는데 있어 파라미터가 적다는 특징을 갖고 있다.
이렇게 학습된 CNN 모델은 환경데이터의 차량의 영상 데이터, 차량의 센서 및 상태 데이터를 전송받아 객체를 인식하고, 객체와의 거리를 판단할 수 있다.
또한, 자동 긴급제동 시스템(212)의 방어율은 아래의 수학식 2와 같이 계산된다.
[수학식 2]
Figure 112019011008914-pat00004
t2는 사고가 일어날 수 있는 상황의 수
Figure 112019011008914-pat00005
은 실제사고가 일어난 횟수, 그리고
Figure 112019011008914-pat00006
은 사고에 대한 방어율이다.
차량 제어 결정 모듈(220)은 지능적 이미지 처리 모듈(210)에서 처리된 결과를 활용하여 Rule Base 기반으로 차량의 속도, 방향, 브레이크, 기어 등의 차량의 제어데이터를 생성할 수 있다.
프로토타입 어댑터 모듈(230)은 프레임워크부(100)에서 송신하는 환경데이터를 수신하고, 차량 제어 결정 모듈(220)에서 생성된 제어데이터를 프레임워크부(100)에 송신할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 따라 분산 시뮬레이션 기반 첨단 운전자 지원 시스템을 이용하여 검증하였는데, 그 실험 방법과 결과는 이하에서 상세하게 설명한다.
1. 실험 방법
본 실험에서는 프레임워크부(100)의 3D 차량 시뮬레이터 모듈(120)은 마이크로소프트에서 오픈소스로 공개한 AirSim 시뮬레이터를 사용하여 전후좌우를 관찰 할 수 있는 4채널 카메라를 가진 차량 모델과 실제 도로, 차량, 보행자를 모델 구현하여, 검증 환경을 만들었다.
그리고, 지능적 이미지 처리 모듈(210)의 차선유지지원 시스템(211)은 OpenCV의 라이브러리를 이용하여 차선 검출 알고리즘을 구현했으며, 자동 긴급제동 시스템(212)는 YOLO 프레임 워크로 차량, 보행자, 신호등을 판단하도록 구현하고, 차량 제어 결정 모듈(220)을 통해 차량 제어를 결정하였다.
또한, 프레임워크부(100)와 프로토타입부(200) 사이에 데이터를 교환할 수 있도록 메시지를 RPC 프로토콜 기반으로 디자인하였다.
2. 객체 인식률 검증 결과
지능적 이미지 처리 모듈(210)은 YOLO 프레임 워크로 학습한 CNN 모델을 사용하여 객체 검출을 3D 차량 시뮬레이터 모듈(120)의 AirSim에서 시행하였다. 학습은 자동차 2980개, 사람 1682개, 신호등 1239개의 데이터를 학습시켰고 Epoch은 64이며 Loss는 0.4483으로 측정이 됨으로써 CNN모델이 잘 학습되었다는 것을 확인할 수 있다.
도 3을 참조하면, CNN 모델을 사용하여 3D 차량 시뮬레이터 모듈(120) 내에서 객체를 인식하였을 때 보행자는 93.81%, 자동차는 90.73%, 신호등(빨간색)은 93.26%로 관찰되었다. 자동차가 다른 값에 비해 상대적으로 낮은 이유는 화면에서 자동차가 잘리는 상황이 있을 때 인식률이 떨어지기 때문이다.
3. 자동 긴급제동 시스템의 검증 결과
자동 긴급제동 시스템(212)의 기능을 검증하기 위해서 사고가 날 상황을 시나리오로 하여 사고를 얼마나 방어할 수 있었는지 확인하였다.
해당 시나리오를 적용하여 20, 40, 60 km/h의 각각의 속도로 10회씩 실험을 하였을 때, 자동 긴급제동 시스템(212)가 작동함으로써, 상술한 수학식 2를 사용한 사고에 대한 방어율이 100%가 나왔다.
따라서, 견고하고 안정적인 자동 긴급제동 시스템(212)를 구현하였다는 것을 검증할 수 있었다.
4. 차선유지지원 시스템의 검증 결과
차선유지지원 시스템(211)에 대한 검증으로써, 3D 차량 시뮬레이터 모듈(120)의 AirSim의 도시 환경에서 직선구간을 35~55초, 13~20m/s의 속도로 4번 운전을 시행하였다.
도 4를 참조하면, 교차로를 포함한 환경에서의 전체 t1값과
Figure 112019011008914-pat00007
이 1회(39/30.3), 2회(37.85/33) 3회(44/37.12), 4회(39.77/32.97)로 관찰되었다. 전체
Figure 112019011008914-pat00008
가 133.39초 이며 전체 t1이 160.62초로 각각의 값을 상술한 수학식 1에 대입하면 에러율이 약 16.95%가 나왔고 정확도는 약 83.04%로 측정되었다.
도 5를 참조하면, 교차로를 포함하지 않은 환경에서의 전체 t1값과
Figure 112019011008914-pat00009
이 1회(44.36/41.68), 2회(42/42) 3회(50.05/45.58), 4회(40.16/39.77)로 관찰되었다. 전체
Figure 112019011008914-pat00010
가 169.03초이며 전체 t1이 176.57초로 각각의 값을 상술한 수학식 1에 대입하면 에러율이 약 4.27%가 나왔고 정확도는 약 95.73%로 측정되었다.
위에서 에러율이 크게 차이가 난 이유로는 교차로와 같은 차선을 인식하지 못하는 부분에서는 자동으로 차선유지지원 시스템(211)이 꺼지도록 구현하였기 때문이다. 교차로에서 인식 되지 않은 결과를 기반으로 운행한다면 낮은 정확도로 인해 사고가 일어날 수 있다.
따라서, 교차로와 같이 인식되지 않는 구간에서는 차선유지지원 시스템(211)이 자동으로 꺼져야만 자동차 사고를 방지할 수 있기 때문에 해당사항을 구현하게 되었다. 이와 같은 결과로 차선유지지원 시스템(211)의 검증에 있어서 교차로를 제외한 상황에서 검증을 해야 한다는 것을 유추해 낼 수 있다.
5. 결론
본 실험에서는 기존의 첨단 운전자 지원 시스템들과 달리 고성능 시뮬레이터를 사용하지 않고, 저가의 시뮬레이터를 사용하면서 다양한 시나리오를 통한 이용하여 객체 인식률, 자동 긴급제동 시스템(212), 차선유지지원 시스템(211)을 검증하였다.
이로부터 객체 인식률은 보행자는 93.81%, 자동차는 90.73%, 신호등(빨간색)은 93.26%로 나타났고, 자동 긴급제동 시스템(212)의 방어율을 100%로 나타났으며, 차선유지지원 시스템(211)의 정확도는 교차로를 포함한 환경에서 약 83.04%, 교차로를 포함하지 않은 환경에서 약 95.73%로 측정되었다.
따라서, 본 발명은 시뮬레이션을 기반으로 머신러닝을 적용하여 객체를 인식하고 객체와의 거리를 판단함으로써, 자동차의 움직임을 사전에 조절하여 사고를 미연에 방지할 수 있다.
본 발명은 시뮬레이션을 기반으로 머신러닝을 적용하여 객체를 인식하고 객체와의 거리를 판단함으로써, 자동차의 움직임을 사전에 조절하여 사고를 미연에 방지할 수 있다.
또한, 본 발명은 다양한 환경에서 분산되어 동작하는 분산 시뮬레이션 시스템을 사용함으로써, 높은 신뢰도를 가지는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템에 관한 것이다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
100: 프레임워크부 110: 플러그 인 인터페이스 모듈
120: 3D 차량 시뮬레이터 모듈 130: 검증 모듈
131: 분산 시뮬레이션 시스템 131a: FMU 종속 시뮬레이터
131b: FMU 마스터 시뮬레이터 131c: HILS 검증을 지원하는 분산 시뮬레이션 미들웨어
140: 통계 서비스모듈 200: 프로토타입부
210: 지능적 이미지 처리 모듈 211: 차선유지지원 시스템
212: 자동 긴급제동 시스템 220: 차량 제어 결정 모듈
230: 프로토타입 어댑터 모듈

Claims (5)

  1. 차량의 운전 상황을 판단하고, 제어하는 첨단 운전자 지원 시스템(ADAS, Advanced driving assistance system)에 있어서,
    상기 차량에서 측정된 영상 데이터, 차량의 센서 및 상태 데이터를 포함하는 환경데이터를 송신하고, 상기 ADAS의 검증을 하는 프레임워크부와,
    상기 환경데이터를 수신하고, 상기 환경데이터를 기반으로 구현되며, 상기 차량의 속도, 방향, 브레이크 또는 기어에 대한 제어데이터를 생성하여 상기 프레임워크부에 송신하는 프로토타입부를 포함하되,
    상기 프로토타입부는,
    상기 환경데이터의 영상 처리를 하는 지능적 이미지 처리 모듈과,
    상기 지능적 이미지 처리 모듈에서 처리된 결과를 기반으로 상기 제어데이터를 생성하는 차량 제어 결정 모듈과,
    상기 프레임워크부와 연결하여 데이터를 교환하기 위해 인터페이스 역할을 하는 프로토타입 어댑터 모듈을 포함하며,
    상기 프레임워크부는,
    상기 환경데이터를 송신하고, 상기 제어데이터를 수신하는 플러그 인 인터페이스 모듈과,
    ADAS 기능을 가진 가상의 차량 모델을 시각화하고 주행 중인 차량, 보행자, 신호등 또는 차선에 대한 객체를 시각화하는 3D 시각화 모델을 바탕으로 가상의 운전 환경 테스트를 수행하며, 검증 모듈에서 검증한 상기 환경데이터의 결과를 토대로 시각화 작업을 하여 상기 프로토타입부에 차량의 속도 및 브레이크에 대한 값을 전송하는 3D 차량 시뮬레이터 모듈과,
    상기 ADAS의 유효성을 테스트하기 위해 상기 3D 차량 시뮬레이터 모듈에서 차량 또는 보행자와의 거리를 조절하는 어드밴스드 스마트 크루즈 컨트롤(ASCC, Advanced Smart Cruise Control)을 포함한 ADAS의 기능이 정상적으로 작동하는지, 얼마나 높은 정확도를 가지고 작동하는지에 대해서 평가하여 검증하는 상기 검증 모듈과,
    상기 ADAS에서 수집한 운행 중 ADAS 기능이 작동된 상황 및 작동시간, 정확도, 차량의 운행 시간, ADAS 기능이 끊긴 시간을 수집하여 통계로 나타내는 통계 서비스모듈을 포함하며,
    상기 검증 모듈은,
    분산 시뮬레이션 시스템을 포함하고,
    상기 분산 시뮬레이션 시스템은,
    상기 환경데이터에서 각각의 기능을 검증하는 복수 개의 FMU 종속 시뮬레이터와,
    복수 개의 상기 FMU 종속 시뮬레이터를 관리하는 FMU 마스터 시뮬레이터를 포함하며,
    HILS 검증을 지원하는 분산 시뮬레이션 미들웨어를 통해 다양한 환경에서 분산되어 동작하는 시뮬레이션을 지원하고 높은 신뢰도를 가지는 것을 특징으로 하는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 지능적 이미지 처리 모듈은,
    주행 중 차선을 유지하도록 하는 차선유지지원 시스템(LKAS, Lane Keeping Assist System)과,
    장애물로 인한 사고의 위험이 있는 경우에 상기 주행을 중지시키는 자동 긴급제동 시스템(AEB, Autonomous Emergency Brake)을 포함하는 분산 시뮬레이션 기반 첨단 운전자 지원 시스템.
  5. 삭제
KR1020190011958A 2019-01-30 2019-01-30 분산 시뮬레이션 기반 첨단 운전자 지원 시스템 KR102103450B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011958A KR102103450B1 (ko) 2019-01-30 2019-01-30 분산 시뮬레이션 기반 첨단 운전자 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011958A KR102103450B1 (ko) 2019-01-30 2019-01-30 분산 시뮬레이션 기반 첨단 운전자 지원 시스템

Publications (1)

Publication Number Publication Date
KR102103450B1 true KR102103450B1 (ko) 2020-04-22

Family

ID=70472821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011958A KR102103450B1 (ko) 2019-01-30 2019-01-30 분산 시뮬레이션 기반 첨단 운전자 지원 시스템

Country Status (1)

Country Link
KR (1) KR102103450B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063466A (zh) * 2021-09-30 2022-02-18 威凯检测技术有限公司 一种基于虚拟仿真场景的辅助驾驶系统检测方法
KR102595323B1 (ko) * 2023-06-27 2023-10-31 주식회사 드림에이스 차량용 임베디드 시스템을 위한 가상 ecu 검증 시스템및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057537A (ko) * 2013-11-19 2015-05-28 국민대학교산학협력단 차량용 acc/lks 통합 제어기의 성능 검증 방법 및 장치, 그리고 이를 위한 컴퓨터로 판독가능한 기록매체
WO2017057060A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 運転制御装置、および運転制御方法、並びにプログラム
KR101730348B1 (ko) 2015-10-26 2017-04-28 (주)캠시스 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법
KR101731789B1 (ko) 2015-11-16 2017-05-04 (주)캠시스 도로 인식을 이용한 지능형 운전자 보조 시스템의 제어 방법 및 시스템
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057537A (ko) * 2013-11-19 2015-05-28 국민대학교산학협력단 차량용 acc/lks 통합 제어기의 성능 검증 방법 및 장치, 그리고 이를 위한 컴퓨터로 판독가능한 기록매체
WO2017057060A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 運転制御装置、および運転制御方法、並びにプログラム
KR101730348B1 (ko) 2015-10-26 2017-04-28 (주)캠시스 차량 속도를 이용한 지능형 운전자 보조 시스템의 제어 방법
KR101731789B1 (ko) 2015-11-16 2017-05-04 (주)캠시스 도로 인식을 이용한 지능형 운전자 보조 시스템의 제어 방법 및 시스템
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alexey Dosovitskiy et al, "CARLA: An Open Urban Driving Simulator", 2017.11.10, 1st Conference on Robot Learning, pp.1~16. *
홍석준, 조인휘, 김원태, "OMG DDS 미들웨어를 이용한 FMI기반 실시간 CPS 분산 시뮬레이션 프레임워크", 전기전자학회논문지 22(1), 2018.03, pp.6~13. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063466A (zh) * 2021-09-30 2022-02-18 威凯检测技术有限公司 一种基于虚拟仿真场景的辅助驾驶系统检测方法
KR102595323B1 (ko) * 2023-06-27 2023-10-31 주식회사 드림에이스 차량용 임베디드 시스템을 위한 가상 ecu 검증 시스템및 방법

Similar Documents

Publication Publication Date Title
US11853056B2 (en) Remote control method and remote control apparatus for autonomous vehicle
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
US20190095725A1 (en) Detection System for a Vehicle
CN111781855B (zh) 一种交通在环自动驾驶仿真系统
CN104903172B (zh) 用于评估在交叉路口的碰撞风险的方法
CN112819968B (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
CN108627350A (zh) 车辆测试系统和方法
JP2022504457A (ja) 自律車両の信号機検知および車線状態認識
JP2018538647A (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
CN113022540B (zh) 一种用于多车状态监控的实时远程驾驶系统及方法
CN110910673B (zh) 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端
KR102103450B1 (ko) 분산 시뮬레이션 기반 첨단 운전자 지원 시스템
CN112306051A (zh) 一种高速公路无人驾驶交警车辆机器人系统
US20240092392A1 (en) Detecting and Responding to Malfunctioning Traffic Lights
CN116194352A (zh) 用于支持以至少部分自动方式被驾驶的机动车辆的概念
CN112602107A (zh) 用于车辆调度系统的信息提供方法、车辆调度系统以及信息提供装置
CN111409455A (zh) 车辆的速度控制方法及装置、电子设备、存储介质
US20200410788A1 (en) Management apparatus, vehicle, inspection apparatus, and vehicle inspection system and inforamtion processing method therefor
CN113562005A (zh) 轨道列车司机行为智能监测和障碍物侵限智能侦测系统
CN107731005B (zh) 一种基于云计算的利用幻影成像的车载警示系统
CN110386088A (zh) 用于执行车辆差异分析的系统和方法
CN110745143B (zh) 一种车辆的控制方法、装置、设备和存储介质
CN113126294B (zh) 一种多层次成像系统
KR20210043065A (ko) 신호 위반 차량 경고 장치 및 그 방법
WO2022246853A1 (zh) 一种车辆系统的安全测试方法和测试用车辆

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant