KR101515496B1

KR101515496B1 - 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템

Info

Publication number: KR101515496B1
Application number: KR1020130067123A
Authority: KR
Inventors: 김정하; 김충겸; 배병휴; 김재환; 이준수; 한영민; 임경일
Original assignee: 국민대학교산학협력단
Priority date: 2013-06-12
Filing date: 2013-06-12
Publication date: 2015-05-04
Also published as: KR20140144919A

Abstract

본 발명은 3차원 가상현실 내에서 가상의 무인 자동차의 자율 주행 알고리즘을 검증하기 위해 자율 주행 시뮬레이션을 수행하는 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템에 관한 것이다.
본 발명에 따른 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 가상현실 환경이 모델링된 3차원 영상 정보를 제공하여 자율 주행 시뮬레이션을 구동하는 시뮬레이터부와, 상기 시뮬레이터부에서 제공되는 3차원 영상 내에서 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차의 상태정보 및 가상의 자동차에서 취득하는 주행정보를 수신하는 시뮬레이터 서버와, 상기 시뮬레이터 서버에서 수신한 상태정보 및 주행정보를 수신하여 로봇서버 타입의 데이터로 변환하여 출력하는 시뮬레이터 컴포넌트부 및 상기 시뮬레이터 컴포넌트부에서 출력되는 OPRoS 타입의 데이터를 수신하여 GUI(Graphical User Interface)로 디스플레이하는 시뮬레이션 모니터부를 포함하는 것을 특징으로 한다.

Description

가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템{SIMULATION SYSTEM FOR AUTONOMOUS VEHICLE FOR APPLYING OBSTACLE INFORMATION IN VIRTUAL REALITY}

본 발명은 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 관한 것으로, 보다 상세하게는, 3차원 가상현실 내에서 가상의 무인 자동차(로봇)의 자율 주행 알고리즘을 검증하기 위해 자율 주행 시 변동되는 장애물 정보를 적용하여 시뮬레이션을 수행함으로써 가상의 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 관한 것이다.

최근 들어, 무인 자율 주행시스템과 관련하여, 특히 로봇이나 자동차 분야에서의 자율 주행과 관련한 많은 연구가 이루어지고 있다.

일반적으로 자율 주행시스템은 도로맵 정보를 바탕으로 GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로상의 시작점부터 종료점까지 자동차의 주행을 자동으로 제어하면서 이동시킬 수 있다.

특히, 자율 주행시스템은 고속으로 움직이는 이동체(자동차 또는 로봇)의 주행환경을 실시간으로 인식 및 판단하기 위해, 스캐닝 장치, 카메라, 레이더 등과 같은 센서 장비들을 포함할 수 있다.

자율 주행을 수행할 수 있는 시스템과 관련한 발명으로, 예를 들어, 등록특허 제10-1209062호에는 영상인식 정보를 이용한 GPS 보정 시스템 및 방법에 관한 기술이 개시되고 있다.

그러나, 종래 기술에서는 자동차에 각종 주행 장치 및 알고리즘이 탑재된 시스템들을 장착하여 자율 주행 시험을 수행할 수 있으나, 대부분 자동차 탑재되는 장비들이 고가의 장비이고, 특히 실제 도로에서 주행 시험을 실시해야 하기 때문에 공간적 제약으로 인한 효과적인 자율 주행 성능을 이룰 수 없다는 문제점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 공간적 제약이 없는 3차원 영상을 통한 가상현실 내에서 변동될 수 있는 장애물 정보를 적용하여 가상의 무인 자동차의 자율 주행시험을 수행함으로써 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템을 제공하는데 그 목적이 있다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 랜덤으로 적용되는 장애물 정보를 포함하는 가상현실 환경의 3차원 영상 내에서 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터부와, 상기 시뮬레이터부에서 취득한 상태정보 및 주행정보를 수신하여 OPRoS(Open Platform for Robotic Service) 타입의 데이터로 변환하여 출력하는 시뮬레이터 컴포넌트부 및 상기 시뮬레이터 컴포넌트부에서 출력되는 OPRoS 타입의 출력 데이터를 수신하여 GUI(Graphical User Interface)로 디스플레이하는 시뮬레이터 모니터링부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터부가, 도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동하는 시뮬레이터 구동부와, 출발점 정보 및 도착점 정보를 입력받고, 자율 주행을 위한 주행 경로를 설정하는 주행 경로 설정부와, 설정된 주행 경로 내에 적어도 하나 이상의 장애물 정보를 랜덤으로 적용하는 장애물 컨버터부와, 상기 주행경로 설정부에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터 서버를 포함하고, 상기 주행경로 설정부는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경가능한 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 장애물 컨부터부에서 적용되는 장애물 정보는 상기 시뮬레이터 모니터링부에 제공되는 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 장애물 컨버터에서 생성되는 장애물 정보는 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 주행경로 설정부에서 설정되는 주행 경로가 A* 알고리즘(A Star Algorithm)을 이용한 전역 경로 및 지역 경로를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터 서버가, 모델링된 3차원 영상 내에서 자율 주행하도록 가상의 카메라, GPS 센서, Gyro 센서 및 LRF(Laser Range Finder) 센서가 탑재되는 가상의 자동차를 제어하는 시뮬레이터 로봇부와, 상기 가상의 카메라에서 촬영되는 가상의 카메라 영상정보를 Raw RGB 이미지 데이터로 취득하는 시뮬레이터 카메라부와, 상기 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 위치 정보를 취득하는 시뮬레이터 GPS부와, 상기 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터를 취득하는 시뮬레이터 Gyro부 및 상기 가상의 LRF 센서에서 3차원 영상을 스캐닝하여 지형 및 장애물 정보를 취득하는 시뮬레이터 LRF부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터 서버와 통신을 수행하는 상기 시뮬레이터 컴포넌트부가, 상기 시뮬레이터 로봇부로부터 자율 주행 중인 가상의 자동차에 대한 현재 조향각, 왼쪽 바퀴 속도, 오른쪽 바퀴 속도, 이동속도, 이동위치, 헤딩, 방향 지시등 상태를 포함하는 상태정보를 수신하여 OPRoS 타입으로 변환하여 출력하고, 가상의 자동차를 제어하는 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령을 포함하는 제어정보를 상기 시뮬레이터부로 전송하는 로봇 컴포넌트와, 상기 시뮬레이터 카메라부에서 가상의 카메라 영상정보를 수신하고, 설정된 파라메타를 이용하여 OPRoS 타입으로 변환된 Raw RGB 테이터를 출력하는 카메라 컴포넌트와, 상기 시뮬레이터 GPS에서 위치 정보인 가상의 GPS 좌표 정보를 수신하여 실제 GPS 좌표 정보로 변환하고, 설정된 파라메타를 이용하여 OPRoS 타입의 출력 데이터 출력하는 GPS 컴포넌트와, 상기 시뮬레이터 Gyro에서 3차원 영상 공간의 roll, pitch, yaw 값을 포함하는 Gyro 데이터를 수신하고, 설정된 파라메타를 이용하여 OPRoS 타입으로 변환하여 출력하는 Gyro 컴포넌트 및 상기 LRF 모듈에서 수신된 LRF 데이터를 설정된 파라메타를 이용하여 지형 및 장애물과의 거리값 데이터를 생성하고, OPRoS 타입으로 변환하여 출력하는 LRF 컴포넌트를 포함하는 것을 특징으로 한다.

아울러, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 GPS 모듈에서 수신하는 가상의 GPS 좌표 정보는 3차원 영상 공간의 좌표(x, y) 및 높이(z) 값으로 이루지는 것을 특징으로 한다.

본 발명의 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 따르면, 공간적 제약이 없는 3차원 영상을 통한 가상현실 내에서 실시간으로 변동될 수 있는 장애물 정보를 적용하여 가상의 무인 자동차의 자율 주행시험을 수행함으로써 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 효과가 있다.

도 1은, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템의 구성을 나타내는 블럭도이다.
도 2 내지 도 4는, 본 발명에 따른 시뮬레이터 구동부에서 제공되는 가상현실 환경이 모델링된 3차원 영상정보 화면을 예시적으로 나타내는 예시도이다.
도 5는, 본 발명에 따른 주행 경로 설정부에서 자율 주행을 위해 설정된 주행 경로 화면을 예시적으로 나타내는 예시도이다.
도 6은, 본 발명에 따른 장애물 컨버터부에서 생성되는 장애물 정보가 3차원 영상 내에 적용되는 화면을 예시적으로 나타내는 예시도이다.
도 7은, 본 발명에 따른 자율 주행 시뮬레이션 시스템에 구비되는 시뮬레이터 서버의 구성을 나타내는 블럭도이다.
도 8은, 모델링된 가상의 자동차에 장착되는 가상의 카메라에서 촬영되는 영상을 예시적으로 나타내는 예시도이다.
도 9의 (a) 및 (b)는, 가상의 자동차에 장착되는 가상의 LRF 센서에서 스캐닝되어 획득되는 지형 및 장애물 정보의 화면을 예시적으로 나타내는 예시도이다.
도 10은, 본 발명에 따른 시뮬레이터 컴포넌트부의 구성을 나타내는 블럭도이다.
도 11은, 본 발명에 따른 시뮬레이터 모니터링부에서 디스플레이되는 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 예시적으로 나타내는 예시도이다.
도 12는, 실제 자율 주행 데이터와 본 발명에 따른 시뮬레이션 시스템을 통한 자율 주행 데이터를 비교한 도면이다.

이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명에 따른 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템의 구성을 나타내는 블럭도이다.

도 1에 나타낸 바와 같이, 본 발명의 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템(1)은 시뮬레이터부(10), 시뮬레이터 컴포넌트부(20) 및 시뮬레이터 모니터링부(30)를 포함할 수 있다.

시뮬레이터부(10)는, 랜덤으로 적용되는 장애물 정보를 포함하는 가상현실 환경의 3차원 영상 내에서 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 것으로, 시뮬레이터 구동부(110), 주행 경로 설정부(120), 장애물 컨버터부(130) 및 시뮬레이터 서버(140)를 포함할 수 있다.

시뮬레이터 구동부(110)는 도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동시킬 수 있다.

이때, 모델링되는 3차원 영상에는 가상의 GPS(Global Positioning System) 좌표정보가 포함되는데, 이 가상의 GPS 좌표정보는 위도 및 경도 등의 실제 GPS 좌표값이 3차원 영상 공간과 매칭되는 좌표(x, y) 및 높이(z)값으로 변환될 수 있다.

또한, 3차원 영상은 실제환경을 측정하기 위해, Map-building을 이용하여 2차원 지도를 생성하고, 2차원 지도와 위성 지도를 이용하여 도 2 내지 도 4에 나타낸 바와 같이, CAD 모델을 통한 가상환경으로 모델링될 수 있다.

특히, 시뮬레이터 구동부(110)에 저장되는 3차원 영상정보는, 위도 및 경도 등의 실제 GPS 좌표값을 x, y, z의 좌표로 정의될 수 있는 가상의 GPS 좌표정보로 입력되어 모델링될 수 있다.

주행 경로 설정부(120)는 입력되는 출발점 정보 및 도착점 정보에 대해, 예를 들어, A* 알고리즘(A Star Algorithm)을 이용하여 가상의 자동차가 자율 주행할 수 있는 주행 경로가 도 5에 나타낸 바와 같이 설정될 수 있다.

또한, A* 알고리즘을 이용하여 설정되는 주행 경로는, 전역 경로와 지역 경로를 포함하여 설정될 수 있으며, 특히, 주행 경로 설정부(120)에서는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경할 수 있다.

장애물 컨버터부(130)는 주행 경로 설정부(120)를 통해 설정된 주행 경로 내에 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하는 다수의 장애물 정보를 생성하여 적용할 수 있다.

예를 들어, 도 6의 (a) 내지 (c)에 나타낸 바와 같이, 버스, 트럭, 승용차, 보행자, 콘, 배럴, 펜스, 타이어, 바위 등 다양한 장애물을 랜덤 또는 사용자 선택에 의해 3차원 영상 내에 적용시킬 수 있다.

따라서, 다양한 장애물 정보를 통해 자율 주행 중인 가상의 자동차에 대한 충돌회피 또는 충돌 시 발생되는 다양한 현상을 시뮬레이션할 수 있다.

시뮬레이터 서버(140)는 주행경로 설정부(120)에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 것으로, 도 7에 나타낸 바와 같이, 시뮬레이터 로봇부(141), 시뮬레이터 카메라부(142), 시뮬레이터 GPS부(143), 시뮬레이터 Gyro부(144) 및 시뮬레이터 LRF(Laser Range Finder)부(145)를 포함할 수 있다.

시뮬레이터 로봇부(141)는 시뮬레이터부(10)에서 제공되는 3차원 영상 내에서 자율 주행하도록 가상의 자동차를 모델링한다. 이때, 모델링되는 가상의 자동차에는 가상의 카메라, 가상의 GPS 센서, 가상의 Gyro 센서 및 지형과 장애물을 인식하여 거리정보를 제공할 수 있는 가상의 LRF 센서가 탑재된다.

가상의 GPS 센서에서는 가상의 자동차에 대한 절대 위치 정보를 제공할 수 있다. 위치 정보는 3차원 영상 내에서 기준 좌표(x, y)와 높이(z)값으로 구성되고, bias와 covariance를 설정하여 위치 정보의 정확성을 반영할 수 있다.

또한, Gyro 센서는 가상의 자동차에 대한 각속도 정보를 제공하는 것으로, 이 각속도 정보는 roll, pitch, yaw 정보로 구성되고, GPS 센서와 동일하게 bias와 covariance를 설정할 수 있다.

또한, 시뮬레이터 로봇부(141)에서는 자율 주행을 수행하는 가상의 자동차에 대한 제어정보를 제공하고, 3차원 영상 내에서 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 획득할 수 있다.

시뮬레이터 카메라부(142)에서는 가상의 자동차에 탑재된 가상의 카메라를 제어하고, 도 8에 나타낸 바와 같이, 가상의 카메라에서 촬영되는 가상의 카메라 영상정보, 예를 들어, 카메라 센서에서 센싱된 320*240, 24bit 해상도의 Raw RGB 이미지 데이터를 수신할 수 있다.

시뮬레이터 GPS부(143)는 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 GPS 데이터, 즉 위치 정보를 수신할 수 있다.

시뮬레이터 Gyro부(144)은 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터로서 roll, pitch, yaw값을 수신하고, 시뮬레이터 LRF부(145)에서는 도 9의 (a) 및 (b)에 나타낸 바와 같이, 3차원 영상 내에서 스캐닝되어 획득되는 지형 및 장애물 정보로서 LRF 데이터를 획득할 수 있다.

도 10은 본 발명에 따른 시뮬레이터 컴포넌트부의 구성을 나타내는 블럭도이다. 도면을 참조하면, 시뮬레이터 컴포넌트부(20)는 로봇 컴포넌트(210), 카메라 컴포넌트(220), GPS 컴포넌트(230), Gyro 컴포넌트(240) 및 LRF 컴포넌트(250)을 포함할 수 있다.

로봇 컴포넌트(210)는 시뮬레이터 로봇부(141)에서 가상의 자동차에 대한 상태정보(속도, 조향, 헤딩, 이동 거리 등)를 수신하고, 설정된 파라메타, 예를 들어, 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령 등의 가상의 자동차에 대한 제어정보를 시뮬레이터 로봇부(141)로 전송하여 가상의 자동차를 제어할 수 있다.

카메라 컴포넌트(220)에서는 시뮬레이터 카메라부(142)를 통해 획득한 가상의 카메라 영상정보를 수신하고, 다음의 표 1에 나타낸 설정된 파라메타를 이용하여, 320*240, 24bit 해상도의 Raw RGB 데이터로서 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.

[표 1]

GPS 컴포넌트(230)는 시뮬레이터 GPS부(143)에서 획득된 3차원 영상에 해당되는 GPS 데이터를 로깅된 실제 GPS 데이터로 변환하고, 표 2에 나타낸 설정된 파라메타를 이용하여 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.

출력정보에는 시간, 위도, 경도, 수신상태, 위성수, 수평오차, 고도, GPS 주행 속도 등의 정보를 포함할 수 있다.

[표 2]

Gyro 컴포넌트(240)는 시뮬레이터 Gyro부(144)에서 수신된 가상의 자동차에 대한 Gyro 데이터를 표 3에 나타낸, 설정된 파라메타를 이용하여 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.

[표 3]

Gyro 컴포넌트(240)을 통해 출력되는 출력정보에는 X축을 기준으로 한 회전 각도(Radian), Y축을 기준으로 한 회전 각도, Z축을 기준으로 한 회전 각도 등을 포함할 수 있다.

또한, LRF 컴포넌트(250)에서는시뮬레이터 LRF부(145)에서 수신된 LRF 데이터를, 표 4에 나타낸 설정된 파라메타를 이용하여 거리값(x, y) 데이터를 생성하고, 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.

[표 4]

LRF 컴포넌트(250)에서 출력되는 출력정보는 LRF 데이터를 스캔 각도(Scan Angle)인 180도와 각도분해능(Angular Resolution)인 0.5도를 이용하여 계산된 좌표값(x, y, 단위는 m)을 포함할 수 있다.

도 11은 본 발명에 따른 시뮬레이터 모니터링부에서 디스플레이되는 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 예시적으로 나타내는 예시도이다.

본 발명의 시뮬레이터 모니터링부(30)에서는 도 11에 나타낸 바와 같이, 시뮬레이터 컴포넌트부(20)의 각 요소 컴포넌트 모듈에 출력되는 OPRoS 타입의 데이터를 수신하여 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보 등을 GUI(Graphical User Interface) 타입으로 디스플레이할 수 있다.

도 12는 실제 자율 주행 데이터와 본 발명에 따른 시뮬레이션 시스템을 통한 자율 주행 데이터를 비교한 도면으로, 흰색 점선은 실제 자율 주행 자동차의 데이터를 나타내고, 붉은색 실선은 본 발명에 따른 시뮬레이션 시스템을 이용한 데이터를 나타낸다.

도면에 나타낸 바와 같이, 실제 자율 주행 자동차의 데이터와 시뮬레이션 시스템을 이용한 데이터가 유사한 궤적을 가지는 것을 확인할 수 있다.

상술한 바와 같이, 본 발명에 따르면 3차원 영상을 통한 가상현실 내에서 가상의 무인 자동차의 자율 주행시험을 수행함으로써 공간적 제약없이 저비용으로 자율 주행의 신뢰도를 향상시킬 수 있는 특징이 있다.

또한, 본 발명의 실시예에서는 로봇서버 타입의 데이터로서 OPRoS 기반의 데이터를 적용하였으나, 기타 다른 형태로도 변경가능하다.

상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1 : 자율 주행 시뮬레이션 시스템 10 : 시뮬레이터부
20 : 시뮬레이터 컴포넌트 30 : 시뮬레이터 모니터링부
110 : 시뮬레이터 구동부 120 : 주행 경로 설정부
130 : 장애물 컨버터부 140 : 시뮬레이터 서버

Claims

랜덤으로 적용되는 장애물 정보를 포함하는 가상현실 환경의 3차원 영상 내에서 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터부;
상기 시뮬레이터부에서 취득한 상태정보 및 주행정보를 수신하여 로봇서버 타입의 데이터로 변환하여 출력하는 시뮬레이터 컴포넌트부; 및
상기 시뮬레이터 컴포넌트부에서 출력되는 OPRoS(Open Platform for Robotic Service) 타입의 출력 데이터를 수신하여 GUI(Graphical User Interface)로 디스플레이하는 시뮬레이터 모니터링부;를 포함하고,
상기 시뮬레이터부는,
도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동하는 시뮬레이터 구동부;
출발점 정보 및 도착점 정보를 입력받고, 자율 주행을 위한 주행 경로를 설정하는 주행 경로 설정부;
적어도 하나 이상의 장애물 정보를 생성하여 설정된 주행 경로 내에 랜덤으로 적용하는 장애물 컨버터부;
상기 주행경로 설정부에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터 서버;를 포함하며,
상기 주행경로 설정부는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경가능하고,
상기 주행경로 설정부에서 설정되는 주행 경로는 A* 알고리즘(A Star Algorithm)을 이용한 전역 경로 및 지역 경로를 포함하며,
상기 장애물 컨버터부에서 생성되는 장애물 정보는 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하고 상기 시뮬레이터 모니터링부에 제공되는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
삭제
삭제
삭제
삭제
제 1 항에 있어서,
상기 시뮬레이터 서버는,
모델링된 3차원 영상 내에서 자율 주행하도록 가상의 카메라, GPS 센서, Gyro 센서 및 LRF(Laser Range Finder) 센서가 탑재되는 가상의 자동차를 제어하는 시뮬레이터 로봇부;
상기 가상의 카메라에서 촬영되는 가상의 카메라 영상정보를 Raw RGB 이미지 데이터로 취득하는 시뮬레이터 카메라부;
상기 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 위치 정보를 취득하는 시뮬레이터 GPS부;
상기 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터를 취득하는 시뮬레이터 Gyro부; 및
상기 가상의 LRF 센서에서 3차원 영상을 스캐닝하여 지형 및 장애물 정보를 취득하는 시뮬레이터 LRF부;를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
삭제
제 6 항에 있어서,
상기 시뮬레이터 서버와 통신을 수행하는 상기 시뮬레이터 컴포넌트부는,
상기 시뮬레이터 로봇부로부터 자율 주행 중인 가상의 자동차에 대한 현재 조향각, 왼쪽 바퀴 속도, 오른쪽 바퀴 속도, 이동속도, 이동위치, 헤딩, 방향 지시등 상태를 포함하는 상태정보를 수신하여 로봇서버 타입으로 변환하여 출력하고, 가상의 자동차를 제어하는 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령을 포함하는 제어정보를 상기 시뮬레이터부로 전송하는 로봇 컴포넌트;
상기 시뮬레이터 카메라부에서 가상의 카메라 영상정보를 수신하고, 설정된 파라메타를 이용하여 로봇서버 타입으로 변환된 Raw RGB 테이터를 출력하는 카메라 컴포넌트;
상기 시뮬레이터 GPS에서 위치 정보인 가상의 GPS 좌표 정보를 수신하여 실제 GPS 좌표 정보로 변환하고, 설정된 파라메타를 이용하여 OPRoS 타입의 출력 데이터 출력하는 GPS 컴포넌트;
상기 시뮬레이터 Gyro에서 3차원 영상 공간의 roll, pitch, yaw 값을 포함하는 Gyro 데이터를 수신하고, 설정된 파라메타를 이용하여 로봇서버 타입으로 변환하여 출력하는 Gyro 컴포넌트; 및
상기 LRF 모듈에서 수신된 LRF 데이터를 설정된 파라메타를 이용하여 지형 및 장애물과의 거리값 데이터를 생성하고, 로봇서버 타입으로 변환하여 출력하는 LRF 컴포넌트;를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
제 8 항에 있어서,
상기 GPS 컴포넌트에서 수신하는 가상의 GPS 좌표 정보는 3차원 영상 공간의 좌표(x, y) 및 높이(z) 값으로 이루지는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.