KR102095333B1 - 증강현실 기반 실차 테스트 방법 및 시스템 - Google Patents

증강현실 기반 실차 테스트 방법 및 시스템 Download PDF

Info

Publication number
KR102095333B1
KR102095333B1 KR1020180086251A KR20180086251A KR102095333B1 KR 102095333 B1 KR102095333 B1 KR 102095333B1 KR 1020180086251 A KR1020180086251 A KR 1020180086251A KR 20180086251 A KR20180086251 A KR 20180086251A KR 102095333 B1 KR102095333 B1 KR 102095333B1
Authority
KR
South Korea
Prior art keywords
vehicle
virtual
autonomous
sensing value
environment
Prior art date
Application number
KR1020180086251A
Other languages
English (en)
Other versions
KR20200011315A (ko
Inventor
원종훈
안상훈
임지웅
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180086251A priority Critical patent/KR102095333B1/ko
Publication of KR20200011315A publication Critical patent/KR20200011315A/ko
Application granted granted Critical
Publication of KR102095333B1 publication Critical patent/KR102095333B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 증강현실 기반 실차 테스트 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 자율 주행 차량이 주변의 상황을 인식하여 자율주행을 수행함에 있어서 증강현실을 통해 안전성을 확보하면서 시뮬레이션을 수행할 수 있는 방법 및 시스템에 관한 것으로, 자율주행 차량의 주변환경을 인식해 차량 센싱값을 제공하는 차량 센서값 제공부, 상기 차량 센싱값을 획득해 AR을 이용한 가상환경을 상기 자율주행 차량에 제공하기 위한 가상 센싱값을 생성하는 AR 차량/환경 정보 생성부 및 상기 가상 센싱값을 획득해 상기 자율주행 차량에 가상환경을 제공하는 차량 가상 센서부를 포함하는 구성을 개시한다.

Description

증강현실 기반 실차 테스트 방법 및 시스템{AUGMENTED REALITY BASED VEHICLE TEST METHOD AND SYSTEM}
본 발명은 증강현실 기반 실차 테스트 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 자율 주행 차량이 주변의 상황을 인식하여 자율주행을 수행함에 있어서 증강현실을 통해 안전성을 확보하면서 시뮬레이션 기반 실차 도로주행 테스트를 수행할 수 있는 방법 및 시스템에 관한 것이다.
차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle 또는 Self-Driving Car)에 대한 개발이 활발하게 이루어 지고 있다.
기존 차량 및 자율 주행에 관한 시뮬레이터는 다양한 사고 환경을 설정하고 이에 대응하는 사고 대응 알고리즘을 설계할 수 있다. 특히, 시뮬레이터는 차량에 존재하는, 혹은 부착 가능한 센서를 기반으로 주행 환경 및 주행 알고리즘을 구현 할 수 있다.
그러나 종래 기술에서는 이러한 시뮬레이터 내에서 생성한 사고 환경과 이에 대응하는 알고리즘을 실제 환경에서 구현하고 검증하는 과정에서 안전 및 비용의 문제점이 있다.
따라서, 본 발명의 목적은 실제 상황에서 발생할 수 있는 사고의 위험을 배제하면서도 효율적으로 자율주행 차량의 자율주행 중 사고상황에 대한 인식 및 대응의 데이터를 수집하고 처리할 수 있도록 증강현실 기반 실차 테스트 방법 및 시스템을 제공하는데 있다.
본 발명에 따르면, 증강현실(AR)을 이용해서 자율주행 차량의 실제 주행에서시뮬레이션을 수행할 수 있다.
또한, 자율주행 차량의 주행에서 실제 사고의 발생을 배제하고 사고 상황에대한 자율주행 차량의 인지 및 대응에 대한 정보를 획득하고 처리할 수 있다.
본 발명의 AR 기반 시뮬레이션 기술에 따르면, AR 영상을 통해 가상 환경과 실제 환경을 결합함으로, 사고 대응 알고리즘에 대한 주행 시험을 실제 차량으로 수행함으로 써, 사고 대응 알고리즘의 신뢰도를 향상 및 검증 할 수 있는 효과가 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 가상의 차량/환경 정보 생성부의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션의 효과를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션의 효과를 도시한 것이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '증강현실 기반 자율주행 시뮬레이션 방법 및 시스템'를 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 시스템(1)은 차량 센서값 제공부(10), AR 차량/환경 정보 생성부(20), 차량 가상 센서부(30) 및 AR 차량/환경 정보 취득부(40)를 포함할 수 있다.
상기 차량 센서값 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 차량 센서값 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 차량 센서값 제공부(10)는 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 차량 센서값 제공부(10)는 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 차량 센서값 제공부(10)는 카메라, 라이다(lidar), 레이다(radar), 초음파(ultra-sonic) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다, 레이다 및 초음파는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다.
상기 차량 센서값 제공부(10)가 획득한 정보들은 차량 센싱값이라고 지칭할 수 있다. 상기 차량 센싱값은 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다.
상기 차량 센서값 제공부(10)는 상기 차량 센싱값을 상기 AR 차량/환경 정보 생성부(20)에 전달할 수 있다.
상기 AR 차량/환경 정보 생성부(20)는 상기 차량 센싱값을 전달받아 자율주행을 위한 정보로 가공할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 차량 센싱값을 취득해 상기 자율주행 차량의 현재 주변 환경을 인식할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량의 현재 주변 환경을 인식할 수 있다.
상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량의 실재하는 주변환경에서 실재하지 않는 시뮬레이션 정보를 생성할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량에 사고 상황을 유발할 수 있는 시뮬레이션 상황 및 시뮬레이션 정보를 생성할 수 있다. 상기 시뮬레이션 상황 및 시뮬레이션 정보는 외부로부터 입력 받는 것일 수 있다.
상기 AR 차량/환경 정보 생성부(20)는 생성한 상기 시뮬레이션 상황 및 시뮬레이션 정보에 따라 증강현실(AR)을 생성할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 생성한 AR을 상기 자율주행 차량이 상기 시뮬레이션 또는 AR을 인식할 수 있도록 상기 시뮬레이션 또는 AR이 실재하는 경우 상기 자율주행 차량의 센서가 인식하게 되는 센싱값을 생성할 수 있다. 상기 센싱값을 가상 센싱값이라고 지칭할 수 있다.
상기 AR 차량/환경 정보 생성부(20)는 상기 가상 센싱값을 상기 차량 가상 센서부(30)에 제공할 수 있다.
상기 AR 차량/환경 정보 생성부(20)는 게이트웨이(210) 및 가상의 차량/환경 정보 생성부(220)를 포함할 수 있다.
상기 게이트웨이(210)는 상기 차량 센싱값과 가상 센싱값을 취득하고 전달하는 통로일 수 있다. 상기 게이트웨이(210)는 상기 차량 센서값 제공부(10)에서 상기 차량 센싱값을 받을 수 있고 상기 가상 센싱값을 차량 가상 센서부(30)에 전달할 수 있다.
상기 가상의 차량/환경 정보 생성부(220)는 상기 차량 센싱값을 취득하여 상기 가상 센싱값을 생성할 수 있다. 상기 가상의 차량/환경 정보 생성부(220)는 상기 게이트웨이(210)에서 상기 차량 센싱값을 취득하고, 생성한 상기 가상 센싱값을 상기 게이트웨이(210)를 통해 상기 차량 가상 센서부(30)에 전달할 수 있다.
상기 차량 가상 센서부(30)는 상기 가상 센싱값을 취득해 상기 자율주행 차량이 상기 시뮬레이션 또는 AR에 의한 상황 또는 장애물을 인식하도록 할 수 있다. 상기 차량 가상 센서부(30)는 상기 가상 센싱값을 인식해 상기 자율주행 차량이 상기 시뮬레이션 또는 AR에 의해 생성된 가상 환경에 대응하도록 할 수 있다. 상기 자율주행 차량은 상기 차량 센싱값과 상기 가상 센싱값을 동시에 인식해 자율주행을 수행할 수 있다. 즉, 현재의 실재 상황을 인식해 자율주행을 수행하면서 시뮬레이션에 의한 가상환경을 인식해 그에 대한 상기 자율주행 차량의 인식 및 반응에 대한 정보를 발생시킬 수 있다.
상기 차량 가상 센서부(30)는 카메라, 라이다(lidar), 레이다(radar) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다 및 레이다는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의 현재 위치 정보를 취득해 제공할 수 있다.
상기 AR 차량/환경 정보 취득부(40)는 상기 시뮬레이션 또는 AR에 의해 생성된 가상환경에 의한 상기 자율주행 차량의 인식 및 대응에 관한 정보를 취득할 수 있다. 상기 AR 차량/환경 정보 취득부(40)는 차량/환경 정보 취득부(420)를 포함할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 자율주행 차량의 주행에 관련된 정보를 취득하고 저장할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 시뮬레이션 또는 AR에 의한 가상 환경에서 상기 자율주행 차량이 상황을 어떻게 인식하는지 어떻게 대응하는지에 대한 반응 정보를 취득할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 반응 정보를 외부 시스템으로 전송할 수 있다. 상기 차량/환경 정보 취득부(420)는 외부 시스템과 통신할 수 있다.
상기 AR 차량/환경 정보 취득부(40)는 AR 디스플레이부(410)를 포함할 수 있다. 상기 AR 디스플레이부(410)는 상기 자율주행 차량의 주변 영상에 상기 시뮬레이션에 의해 투입되는 AR을 표시한 영상을 출력할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 가상의 차량/환경 정보 생성부의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 가상의 차량/환경 정보 생성부(220)는 환경 인지 모듈(2210), 차량/환경 생성 모듈(2220) 및 AR 영상 생성 모듈(2230)을 포함할 수 있다.
상기 환경 인지 모듈(2210)은 상기 Gateway(210)를 통해 취득한 카메라, Lidar, Radar, GPS/INS 데이터를 기반으로 현재 차량의 상황을 인지/판단한다.
상기 가상의 차량/환경 정보 생성부(220)의 상기 차량/환경 생성 모듈(2220)은 상기 환경 인지 모듈(2210)에서 인지한 정보를 기반으로 사고 차량/환경을 생성한다. 생성한 상기 사고 차량/환경 정보를 바탕으로 실제 차량이 인지하는 가상의 센서값을 생성한다.
상기 가상의 차량/환경 정보 생성부(220)의 상기 AR영상 생성 모듈(2230)은 차량/환경 생성 모듈에서 생성한 사고 차량/환경에 대해 AR 영상을 입힐 수 있다.
상기 차량 가상 센서부(30)는 상기 차량/환경 생성 모듈(2220)에서 생성한 실제 차량이 가상의 차량/환경에 대해 인지하는 센서 값을 수신할 수 있다.
상기 AR 차량/환경 정보 취득부(40)는 상기 AR 차량/환경 정보 생성부(2230)에서 생성한 사고 차량/환경에 대한 정보와 이에 대한 AR 영상을 수신하고, 디스플레이 할 수 있게 할 수 있다.
상기 AR 차량/환경 정보 취득부(40)의 상기 센서 정보 취득부(420)는 가상의 차량/환경 정보 생성 모듈에서 생성한 차량 및 환경의 정보를 취득할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법의 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법은 자율주행 차량의 주변환경을 인식해 차량 센싱값을 획득하는 단계(S310)를 포함할 수 있다.
S310 단계에서, 상기 차량 센서값 제공부(10)는 자율주행 차량이 자율주행을 수행할 때 상기 자율주행 차량의 주변환경을 감지할 수 있다. 상기 차량 센서값 제공부(10)는 상기 자율주행 차량의 주변의 영상, 상기 자율주행 차량의 주변에 위치하는 장애물, 상기 자율주행 차량이 주행중인 도로의 차선 수, 교차로, 신호등의 위치 및 변화를 감지할 수 있다. 상기 차량 센서값 제공부(10) 상기 자율주행 차량의 위치 정보를 인식할 수 있다. 상기 차량 센서값 제공부(10) 자율주행을 수행하기 위한 모든 정보를 센싱할 수 있다. 상기 차량 센서값 제공부(10)는 카메라, 라이다(lidar), 레이다(radar) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다 및 레이다는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다.
S310 단계에서, 상기 차량 센서값 제공부(10)가 획득한 정보들은 차량 센싱값이라고 지칭할 수 있다. 상기 차량 센싱값은 영상, 장애물까지의 거리, 자율주행 차량의 위치 정보를 포함할 수 있다.
본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법은 상기 차량 센싱값에 기반해 AR을 이용한 가상환경을 설정하고 상기 가상환경을 생성하기 위한 가상 센싱값을 생성하는 단계(S320)를 포함할 수 있다.
S320 단계에서, 상기 차량 센서값 제공부(10)는 상기 차량 센싱값을 상기 AR 차량/환경 정보 생성부(20)에 전달할 수 있다.
S320 단계에서, 상기 AR 차량/환경 정보 생성부(20)는 상기 차량 센싱값을 전달받아 자율주행을 위한 정보로 가공할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 차량 센싱값을 취득해 상기 자율주행 차량의 현재 주변 환경을 인식할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량의 현재 주변 환경을 인식할 수 있다.
S320 단계에서, 상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량의 실재하는 주변환경에서 실재하지 않는 시뮬레이션 정보를 생성할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 자율주행 차량에 사고 상황을 유발할 수 있는 시뮬레이션 상황 및 시뮬레이션 정보를 생성할 수 있다. 상기 시뮬레이션 상황 및 시뮬레이션 정보는 외부로부터 입력 받는 것일 수 있다.
S320 단계에서, 상기 AR 차량/환경 정보 생성부(20)는 생성한 상기 시뮬레이션 상황 및 시뮬레이션 정보에 따라 증강현실(AR)을 생성할 수 있다. 상기 AR 차량/환경 정보 생성부(20)는 상기 생성한 AR을 상기 자율주행 차량이 상기 시뮬레이션 또는 AR을 인식할 수 있도록 상기 시뮬레이션 또는 AR이 실재하는 경우 상기 자율주행 차량의 센서가 인식하게 되는 센싱값을 생성할 수 있다. 상기 센싱값을 가상 센싱값이라고 지칭할 수 있다.
S320 단계에서, 상기 환경 인지 모듈(2210)은 상기 Gateway(210)를 통해 취득한 카메라, Lidar, Radar, GPS/INS 데이터를 기반으로 현재 차량의 상황을 인지/판단한다.
S320 단계에서, 상기 가상의 차량/환경 정보 생성부(220)의 상기 차량/환경 생성 모듈(2220)은 상기 환경 인지 모듈(2210)에서 인지한 정보를 기반으로 사고 차량/환경을 생성한다. 생성한 상기 사고 차량/환경 정보를 바탕으로 실제 차량이 인지하는 가상의 센서값을 생성한다.
S320 단계에서, 상기 가상의 차량/환경 정보 생성부(220)의 상기 AR영상 생성 모듈(2230)은 차량/환경 생성 모듈에서 생성한 사고 차량/환경에 대해 AR 영상을 입힐 수 있다.
S320 단계에서, 상기 차량 가상 센서부(30)는 상기 차량/환경 생성 모듈(2220)에서 생성한 실제 차량이 가상의 차량/환경에 대해 인지하는 센서 값을 수신할 수 있다.
S320 단계에서, 상기 AR 차량/환경 정보 취득부(40)는 상기 AR 차량/환경 정보 생성부(2230)에서 생성한 사고 차량/환경에 대한 정보와 이에 대한 AR 영상을 수신하고, 디스플레이 할 수 있게 할 수 있다.
상기 AR 차량/환경 정보 취득부(40)의 상기 차량/환경정보 취득부(420)는 가상의 차량/환경 정보 생성 모듈에서 생성한 차량 및 환경의 정보를 취득할 수 있다.
본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법은 상기 가상 센싱값을 인식해 가상환경을 인식하는 단계(S330)를 포함할 수 있다.
S330 단계에서, 상기 AR 차량/환경 정보 생성부(20)는 상기 가상 센싱값을 상기 차량 가상 센서부(30)에 제공할 수 있다.
S330 단계에서, 상기 차량 가상 센서부(30)는 상기 가상 센싱값을 취득해 상기 자율주행 차량이 상기 시뮬레이션 또는 AR에 의한 상황 또는 장애물을 인식하도록 할 수 있다. 상기 차량 가상 센서부(30)는 상기 가상 센싱값을 인식해 상기 자율주행 차량이 상기 시뮬레이션 또는 AR에 의해 생성된 가상 환경에 대응하도록 할 수 있다. 상기 자율주행 차량은 상기 차량 센싱값과 상기 가상 센싱값을 동시에 인식해 자율주행을 수행할 수 있다. 즉, 현재의 실재 상황을 인식해 자율주행을 수행하면서 시뮬레이션에 의한 가상환경을 인식해 그에 대한 상기 자율주행 차량의 인식 및 반응에 대한 정보를 발생시킬 수 있다.
S330 단계에서, 상기 차량 가상 센서부(30)는 카메라, 라이다(lidar), 레이다(radar) 및 GPS/INS를 포함할 수 있다. 상기 카메라는 상기 자율주행 차량의 전방, 측방 및 후방을 포함하는 모든 방향의 영상을 촬영할 수 있다. 상기 라이다 및 레이다는 상기 자율주행 차량 주변의 장애물을 감지할 수 있다. 상기 장애물은 차량, 건물, 벽, 차단봉, 방지턱 등을 포함할 수 있다. 상기 GPS/INS는 상기 자율주행 차량의의 현재 위치 정보를 취득해 제공할 수 있다.
본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션 방법은 인식된 상기 가상환경에 대한 상기 자율주행 차량의 정보를 취득하는 단계(S340)를 포함할 수 있다.
S340 단계에서, 상기 AR 차량/환경 정보 취득부(40)는 상기 시뮬레이션 또는 AR에 의해 생성된 가상환경에 의한 상기 자율주행 차량의 인식 및 대응에 관한 정보를 취득할 수 있다. 상기 AR 차량/환경 정보 취득부(40)는 차량/환경 정보 취득부(420)를 포함할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 자율주행 차량의 주행에 관련된 정보를 취득하고 저장할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 시뮬레이션 또는 AR에 의한 가상 환경에서 상기 자율주행 차량이 상황을 어떻게 인식하는지 어떻게 대응하는지에 대한 반응 정보를 취득할 수 있다. 상기 차량/환경 정보 취득부(420)는 상기 반응 정보를 외부 시스템으로 전송할 수 있다. 상기 차량/환경 정보 취득부(420)는 외부 시스템과 통신할 수 있다.
S340 단계에서, 상기 AR 차량/환경 정보 취득부(40)는 AR 디스플레이부(410)를 포함할 수 있다. 상기 AR 디스플레이부(410)는 상기 자율주행 차량의 주변 영상에 상기 시뮬레이션에 의해 투입되는 AR을 표시한 영상을 출력할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션의 효과를 도시한 것이고, 도 5는 본 발명의 일 실시 예에 따른 증강현실 기반 자율주행 시뮬레이션의 효과를 도시한 것이다.
도 4 및 도 5를 참조하면, 좌측의 화면은 자율주행 차량의 실제 화면이고, 우측 화면은 시뮬레이션을 위해 생성된 AR이 디스플레이를 통해 표시되는 것을 확인할 수 있다. 상기 AR에 따른 가상의 장애물은 상기 자율주행 차량 앞에서 주행하다가 급정거를 할 수 있고, 직진 주행중인 상기 자율주행 차량의 앞의 교차로에서 측면에서 진입할 수 있다.
상기 자율주행 차량은 상기 AR에 따라 현재의 주행 상태 및 발생할 수 있는 위험을 감지하고 자율주행을 수행할 수 있다. 상기 AR에 따른 상기 자율주행 차량의 인식 및 반응에 대한 데이터를 획득할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통 상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 자율주행 차량의 주변 영상, 장애물, 주행중인 도로의 차선 수, 차량의 현재 위치, 교차로, 신호등의 위치 또는 신호등의 변화를 실제 센서로 인식해 복수의 실제 차량 센싱값을 제공하는 차량 센서값 제공부;
    상기 복수의 실제 차량 센싱값을 획득해 AR을 이용한 가상환경 정보를 생성하고, 상기 생성된 가상환경 정보에 따라 증강현실(AR)을 생성하며, 상기 증강현실(AR)에서 시뮬레이션 되는 상황을 상기 자율주행 차량의 센서가 인식하게 되는 가상 센싱값을 생성하는 AR 차량/환경 정보 생성부; 및
    상기 가상 센싱값을 획득해 상기 자율주행 차량의 실제 차량 센싱값에 더하여 가상환경을 제공하는 차량 가상 센서부;를 포함하는 증강현실 기반 실차 테스트 시스템.
  2. 제1항에 있어서,
    상기 가상환경에서 상기 자율주행 차량의 정보를 획득하는 AR 차량/환경 정보 취득부;를 더 포함하는 증강현실 기반 실차 테스트 시스템.
  3. 제1항에 있어서,
    상기 차량 센서값 제공부는,
    상기 자율주행 차량의 주변 환경의 영상을 획득하는 카메라;
    상기 자율주행 차량의 주변에 위치하는 장애물을 감지하는 레이다;
    상기 자율주행 차량의 위치 정보를 제공하는 GPS/INS;를 포함하는 증강현실 기반 실차 테스트 시스템.
  4. 제1항에 있어서,
    상기 AR 차량/환경 정보 생성부는,
    상기 차량 센싱값을 입력받고 상기 가상 센싱값을 상기 차량 가상 센서부에 제공하는 게이트웨이; 및
    상기 게이트웨이에서 상기 차량 센싱값을 받아 상기 자율주행 차량에 가상환경을 제공하기 위한 가상 센싱값을 생성해 상기 게이트웨이를 통해 상기 차량 가상 센싱부에 제공하는 가상 차량/환경 정보 생성부;를 포함하는 증강현실 기반 실차 테스트 시스템.
  5. 제2항에 있어서,
    상기 AR 차량/환경 정보 취득부는,
    카메라에서 획득한 영상에 상기 가상환경을 위한 AR을 표시해 출력하는 AR 디스플레이부; 및
    상기 가상환경에 의한 상기 자율주행 차량의 인식 및 대응 정보를 획득하는 차량/환경 정보 취득부;를 포함하는 증강현실 기반 실차 테스트 시스템.
  6. 자율주행 차량의 주변 영상, 장애물, 주행중인 도로의 차선 수, 차량의 현재 위치, 교차로, 신호등의 위치 또는 신호등의 변화를 실제 센서로 인식해 복수의 실제 차량 센싱값을 획득하는 단계;
    상기 복수의 실제 차량 센싱값에 기반해 AR을 이용한 가상환경 정보를 생성하고 상기 생성된 가상환경 정보에 따라 증강현실(AR)을 생성하며, 상기 증강현실(AR)에서 시뮬레이션 되는 상황을 상기 자율주행 차량의 센서가 인식하게 되는 가상 센싱값을 생성하는 단계; 및
    상기 가상 센싱값을 인식해 상기 자율주행 차량의 실제 차량 센싱값에 더하여 가상환경을 인식하는 단계;를 포함하는 증강현실 기반 실차 테스트 방법.
  7. 제6항에 있어서,
    인식된 상기 가상환경에 대한 상기 자율주행 차량의 정보를 취득하는 단계; 포함하는 증강현실 기반 실차 테스트 방법.
  8. 제6항에 있어서,
    상기 차량 센싱값을 획득하는 단계는;
    상기 자율주행 차량의 위치를 인식하는 단계;
    상기 자율주행 차량의 주변 환경의 영상을 획득하는 단계; 및
    상기 자율주행 차량의 주변에 위치하는 장애물을 감지하는 단계;를 포함하는 증강현실 기반 실차 테스트 방법.
  9. 제6항에 있어서,
    상기 가상 센싱값을 생성하는 단계는,
    상기 차량 센싱값을 입력받는 단계; 및
    입력받은 센싱값을 받아 상기 자율주행 차량에 가상환경을 제공하기 위한 가상 센싱값을 생성하는 단계;를 포함하는 증강현실 기반 실차 테스트 방법.
  10. 제7항에 있어서,
    상기 자율주행 차량의 정보 취득 단계는,
    카메라에서 획득한 영상에 상기 가상환경을 위한 AR을 표시해 출력하는 단계; 및
    상기 가상환경에 의한 상기 자율주행 차량의 인식 및 대응 정보를 획득하는 단계;를 포함하는 증강현실 기반 실차 테스트 방법.
KR1020180086251A 2018-07-24 2018-07-24 증강현실 기반 실차 테스트 방법 및 시스템 KR102095333B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180086251A KR102095333B1 (ko) 2018-07-24 2018-07-24 증강현실 기반 실차 테스트 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086251A KR102095333B1 (ko) 2018-07-24 2018-07-24 증강현실 기반 실차 테스트 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200011315A KR20200011315A (ko) 2020-02-03
KR102095333B1 true KR102095333B1 (ko) 2020-04-01

Family

ID=69627177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086251A KR102095333B1 (ko) 2018-07-24 2018-07-24 증강현실 기반 실차 테스트 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102095333B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310500B1 (ko) * 2021-07-02 2021-10-08 주식회사 스프링클라우드 다중 테스트 환경 기반 자율주행셔틀의 통합주행성능에 대한 정량적 평가 장치 및 방법
KR20210140991A (ko) * 2020-05-14 2021-11-23 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
KR20230064364A (ko) * 2021-11-03 2023-05-10 재단법인 지능형자동차부품진흥원 실제 정보와 가상 정보가 선택적으로 혼용된 자율 주행 검증 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101515496B1 (ko) * 2013-06-12 2015-05-04 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
US10712746B2 (en) * 2016-08-29 2020-07-14 Baidu Usa Llc Method and system to construct surrounding environment for autonomous vehicles to make driving decisions

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210140991A (ko) * 2020-05-14 2021-11-23 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
KR102380050B1 (ko) * 2020-05-14 2022-03-29 재단법인대구경북과학기술원 가상현실 기반의 차량 검사 시스템
KR102310500B1 (ko) * 2021-07-02 2021-10-08 주식회사 스프링클라우드 다중 테스트 환경 기반 자율주행셔틀의 통합주행성능에 대한 정량적 평가 장치 및 방법
KR20230064364A (ko) * 2021-11-03 2023-05-10 재단법인 지능형자동차부품진흥원 실제 정보와 가상 정보가 선택적으로 혼용된 자율 주행 검증 시스템 및 방법
KR102592112B1 (ko) * 2021-11-03 2023-10-19 재단법인 지능형자동차부품진흥원 실제 정보와 가상 정보가 선택적으로 혼용된 자율 주행 검증 시스템 및 방법

Also Published As

Publication number Publication date
KR20200011315A (ko) 2020-02-03

Similar Documents

Publication Publication Date Title
CN107678306B (zh) 动态场景信息录制和仿真回放方法、装置、设备及介质
KR102095333B1 (ko) 증강현실 기반 실차 테스트 방법 및 시스템
KR101357596B1 (ko) 충돌예방시스템 시험 평가 장치
US20160019807A1 (en) Vehicle risky situation reproducing apparatus and method for operating the same
Galko et al. Vehicle-Hardware-In-The-Loop system for ADAS prototyping and validation
RU2017120682A (ru) Способ и система обучения для предотвращения столкновений с использованием звуковых данных
JP2017159881A (ja) 認識結果提示装置、認識結果提示方法及び自律移動体
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
KR20200094593A (ko) 자율주행차량의 고장 안전성 시험 평가 시스템 및 방법
Maruhn et al. Analyzing pedestrian behavior in augmented reality—proof of concept
JP2008250492A (ja) 運転者危険度取得装置
TW202031538A (zh) 輔助駕駛方法和系統
JP7353389B2 (ja) 複雑な道路の活字のシーン属性注釈
Zofka et al. Traffic participants in the loop: A mixed reality-based interaction testbed for the verification and validation of autonomous vehicles
WO2020114214A1 (zh) 导盲方法和装置，存储介质和电子设备
KR102065693B1 (ko) 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템
CN110501167A (zh) 用于执行机动车辆与非机动车道路使用者的模拟碰撞场景的系统
US11327878B2 (en) Method for rating a software component of an SiL environment
KR102277393B1 (ko) 훈련 장치 및 훈련 방법
CN112783142B (zh) 车道居中控制的仿真测试系统、方法、设备和存储介质
CN115657494A (zh) 虚拟对象仿真方法、装置、设备及存储介质
KR102175943B1 (ko) 무인자동차 교육용 플랫폼 및 자동차 플랫폼
JP2009128395A (ja) ドライビングシミュレーション装置
CN112634342A (zh) 在虚拟环境中对光学传感器进行计算机实现的仿真的方法
Rossi et al. Vehicle hardware-in-the-loop system for ADAS virtual testing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant