KR102139172B1 - 가상환경에서의 자율주행차량 시뮬레이션 방법 - Google Patents

가상환경에서의 자율주행차량 시뮬레이션 방법 Download PDF

Info

Publication number
KR102139172B1
KR102139172B1 KR1020200001206A KR20200001206A KR102139172B1 KR 102139172 B1 KR102139172 B1 KR 102139172B1 KR 1020200001206 A KR1020200001206 A KR 1020200001206A KR 20200001206 A KR20200001206 A KR 20200001206A KR 102139172 B1 KR102139172 B1 KR 102139172B1
Authority
KR
South Korea
Prior art keywords
information
simulation
server
vehicle
moving
Prior art date
Application number
KR1020200001206A
Other languages
English (en)
Inventor
정지원
홍준
Original Assignee
주식회사 모라이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모라이 filed Critical 주식회사 모라이
Priority to KR1020200001206A priority Critical patent/KR102139172B1/ko
Application granted granted Critical
Publication of KR102139172B1 publication Critical patent/KR102139172B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication

Abstract

본 발명은 이동체 시뮬레이션 방법으로서, 제1서버가 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계; 및 제2서버가 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계를 포함하여, 서버의 리소스 제한으로 인한 과부하를 방지함과 더불어 알고리즘 검증의 질적 향상을 도모할 수 있는 가상환경에서의 자율주행차량 시뮬레이션 방법에 관한 것이다.

Description

가상환경에서의 자율주행차량 시뮬레이션 방법{AUTONOMOUS VEHICLE SIMULATION METHOD IN VIRTUAL ENVIRONMENT}
본 발명은 가상환경에서의 자율주행차량 시뮬레이션 방법에 관한 것으로, 보다 상세하게는 자율주행차량의 제어 알고리즘을 검증하기 위한 가상환경인 자율주행차량의 시뮬레이터 상에서, 효율적인 데이터 처리를 통해 리소스를 최적화 하도록 유지하는 시뮬레이션 방법에 관한 것이다.
자율주행차량은 운전자가 차량을 직접 운전하지 않고도 주행이 이루어지는 자동차이다. 이러한 자율주행차량은 일반적으로 2차원/3차원 지도 정보를 기반으로 주행경로를 추종하는 것이 일반적이며, 주행 중에 주변 사물들을 실시간으로 측정하여 변수가 발생하면 상기 주행경로를 변경하도록 이루어진다.
그리고 상기 자율주행차량은 주변 지형지물로부터 인지되는 데이터와 이를 처리하는 주행 제어 알고리즘에 따라 자율주행이 이루어지며, 상기 인지의 경우에는 차량에 탑재된 레이다(Radar), 라이다(Lidar), GPS(Global Positioning System), 카메라(Camera) 등의 센서를 이용하여 도로 상에 존재하는 차량, 보행자 및 장애물 등의 주행환경을 인식하도록 구성된다. 아울러 상기 주행 제어 알고리즘은 상기 인지의 단계에서 산출된 출력 데이터를 기반으로 주행상황을 연산/추론하며, 연산/추론된 값을 기반으로 차량의 구성요소에 대한 제어신호를 생성될 수 있다..
이때 상기 자율주행차량은 한국공개특허공보 제10-2018-0086632호("자율주행 차량의 행동 결정 장치 및 방법", 2018.08.01. 공개)나 한국공개특허공보 제10-2018-0104947호("자율주행차량의 제어 시스템 및 방법", 2018.09.27. 공개)에서 개시된 바와 같이, 보다 많은 정보를 세밀하게 인지하고 이를 제어하는 방향으로 개발되고 있다. 이를 위해 종래에는 많은 변수 사이에서 정확한 판단이 도출될 수 있도록, 주행 제어 알고리즘이 진보하는 방향으로 개발이 되어졌다.
그리고 개발된 주행 제어 알고리즘은, 실제 자율차량에 적용하기 앞서서 이를 검증하는 과정이 수반되며, 이는 한국등록특허공보 제10-1984762호("네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터", 2019.06.03. 공고)나 한국등록특허공보 제10-1996230호("자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치", 2019.07.04. 공고) 등에서 개시되어 있다.
여기서 시뮬레이터는 물리법칙이 실시간으로 연산되는 물리엔진을 기반으로 형성된 가상환경 상에서, 실제 센서를 모사한 가상의 센서들이 가상환경 내에서 데이터를 획득하여, 각각의 자율주행차량들의 주행 제어 알고리즘에 따라 데이터를 처리하도록 형성된다. 이와 같이 시뮬레이터의 물리엔진과 가상의 센서들, 그리고 주행 제어 알고리즘이 많은 양의 데이터를 입출력하고 연산해야 한다. 하지만 프로세서의 성능을 벗어난 데이터를 처리하는 경우에는, 전체 시스템의 처리 가능한 수준을 벗어나게 되어, 일부분에 대해 자원이 분배되지 않아 전체 가상환경 상에서 지연 현상이나 끊김 현상이 발생되는 문제점이 있었다.
KR 10-2018-0086632 A ("자율주행 차량의 행동 결정 장치 및 방법") 2018.08.01. 공개 KR 10-2018-0104947 A ("자율주행차량의 제어 시스템 및 방법") 2018.09.27. 공개 KR 10-1880180 B1 ("드라이빙 시뮬레이터의 동작 방법 및 드라이빙 시뮬레이터") 2018.08.16. 공고 KR 10-2014-0144921 A ("가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템") 2014.06.12. 공개 KR 10-1984762 B1 ("네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터") 2019.06.03. 공고 KR 10-1996230 B1 ("자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치") 2019.07.04. 공고
본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 가상환경인 시뮬레이터 상에서, 보다 세부적인 주행 제어 알고리즘 검증이 필요하거나 가상의 센서에 대한 정확한 데이터가 요구되는 상황을 별도로 관리하여 데이터 세트를 구축하고, 구축된 데이터 세트에 대해서 보다 다양한 검증이 이루어지도록 하여 시뮬레이터의 끊김 현상을 개선하면서도 보다 정확한 센서부 출력 데이터를 생성할 수 있는 가상환경에서의 자율주행차량 시뮬레이션 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 이동체 시뮬레이션 방법은, (a) 제1서버가, 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계 및 (b) 제2서버가, 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계를 포함할 수 있다.
또한, 본 발명은 상기 단계(a) 이후에 상기 단계(b)를 수행하고, 상기 단계(a)는 상기 환경정보를 저장하는 단계를 더 포함하며, 상기 단계(b)에서 상기 제2서버가 상기 단계(a)에서 저장된 환경정보를 이용함으로써, 시뮬레이션을 위한 전산 자원 부담을 줄일 수 있다.
또한, 상기 제1서버와 상기 제2서버는 동일한 서버로 구성될 수 있다.
또한, 상기 단계(a)와 상기 단계(b)가 동시에 수행되고, 상기 단계(b)에서 이용하는 상기 환경정보는 상기 제2서버가 상기 제1서버로부터 실시간으로 수신함으로써, 시뮬레이션을 위한 상기 제2서버의 전산 자원 부담을 줄일 수도 있다.
또한, 상기 제1서버와 상기 제2서버는 별도의 서버로 구성될 수도 있다.
또한, 상기 단계(a)와 상기 단계(b)의 시뮬레이션 시각을 동기화할 수 있도록, 상기 환경정보는 시뮬레이션 시각 정보를 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량은 자율주행차량으로 구성될 수 있다.
또한, 상기 센서부는, 라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함할 수 있다.
또한, 본 발명은 상기 단계(a) 이전 또는 이후에, 사용자로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보, 차량 주행 제어 알고리즘 정보 중 적어도 하나를 포함하는 시뮬레이션 설정 정보를 수신하는 단계;를 더 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량 정보는, 차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함할 수 있다.
또한, 상기 시뮬레이션 대상 차량의 센서부 정보는, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있다.
또한, 상기 차량 주행 제어 알고리즘 정보는, 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 차량의 주행지령을 산출하는 알고리즘일 수 있다.
또한, 상기 차량의 주행지령은, 차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함할 수 있다.
또한, 상기 단계(b)에서, 산출된 상기 차량의 센서부 출력 데이터를 기초로 상기 시뮬레이션 대상 차량의 주행을 제어할 수 있다.
또한, 본 발명은 상술한 이동체 시뮬레이션 방법을 수행하는 제1서버 및 제2서버를 포함하는 이동체 시뮬레이션 시스템으로 구성될 수도 있다.
또한, 본 발명은 상술한 이동체 시뮬레이션 방법을 수행하는 명령어가 저장된 기록매체로 구성될 수도 있다.
상기와 같은 본 발명의 구성에 의한 가상환경에서의 자율주행차량 시뮬레이션 방법은, 제1서버와 제2서버가 서로 연산처리를 분담함으로써, 다수의 연산데이터를 처리함에 따라 나타나는 시뮬레이터의 끊김 현상을 효과적으로 해결할 수 있는 장점이 있다.
또한, 본 발명은 전체 운용 정보 중 보다 정밀한 센서부 출력 데이터가 요구되는 소정 시간 동안의 정보를 데이터 세트로 구분하여 환경정보를 생성함으로써, 시뮬레이터의 끊김 또는 지연에 따른 출력 데이터의 오류 발생을 억제하는 효과가 있다.
또한, 본 발명은 제1서버에서 지속적으로 시뮬레이터가 가동되고, 제2서버에서는 소정 시간 동안의 정보들을 제공받아, 검증이 요구되는 구간만을 재연할 수 있어, 제1서버에 다수의 접속자들이 접속하여 필요로 하는 환경정보를 제공받고 자신들의 알고리즘을 검증할 수 있는 환경을 제공할 수 있다.
도 1은 본 발명에 따른 자율주행차량 시뮬레이션 방법을 수행하는 시스템의 개략도.
도 2는 자율주행차량 시뮬레이션 방법의 일 실시예에 따른 시스템 구성도.
도 3 및 도 4는 자율주행차량 시뮬레이션 방법의 일 실시예에 따른 제어흐름도.
도 5는 자율주행차량 시뮬레이션 방법의 다른 실시예에 따른 시스템 구성도.
도 6 및 도 7은 자율주행차량 시뮬레이션 방법의 다른 실시예에 따른 제어흐름도.
이하 첨부한 도면들을 참조하여 본 발명의 다양한 실시예에 따른 가상환경에서의 자율주행차량 시뮬레이션 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
도 1은 본 발명인 자율주행차량 시뮬레이션 방법을 수행하는 시스템에 관한 것으로, 도 1은 시스템의 개략도를 나타낸다. 도 1을 참조하면, 본 발명의 자율주행차량 시뮬레이션 시스템은, 외부기기들과 데이터통신 가능하며, 물리엔진 기반의 시뮬레이터가 내장되어 자율주행차량에 대한 알고리즘의 검증이 가능한 제1서버(100) 및 제2서버(200)를 포함할 수 있다. 이때 데이터통신은 주변 기기들과 유선으로 연결되어 다른 서버 혹은 장치들과 데이터 송수신이 이루어지거나, 무선통신을 통해 원격의 서버 혹은 장치들과 데이터 송수신이 이루어질 수도 있다.
그리고 제1서버(100)와 제2서버(200)는 서로 간의 데이터통신이 이루어질 수도 있고, 각각에는 내부 기억장치가 포함되어 시뮬레이터 가동을 위한 정보들이 저장될 수 있으며, 외부에 배치된 별도의 기억장치(10)와 연결되어 데이터 입출력이 이루어질 수도 있다.
상기 제1서버(100)와 제2서버(200)는 자율주행차량의 제어 알고리즘에 대한 검증이 이루어질 수 있다. 그리고 가상환경 상에는 지형지물, 도로형태, 보행자, 자율주행차량, 날씨 등의 데이터가 구현될 수 있으며, 낙석이나 교통사고 등의 이벤트정보 데이터 또한 발생될 수 있도록 제공될 수 있다. 아울러 가상환경 상에는 다수의 차량 데이터가 구현될 수 있으며, 일부의 차량은 입력된 주행알고리즘에 따라서 주변 환경에 따라 주행경로가 변경되도록 제공될 수 있으며, 다른 일부의 차량은 정해진 주행경로에 따라 주행알고리즘을 검증하도록 구성될 수도 있다. 그리고 상기 제1서버(100) 및 제2서버(200)는 시뮬레이터와 연결된 출력장치를 더 포함할 수 있으며, 상기 출력장치에는 상술한 데이터들이 가시화되어 사용자가 영상으로 확인하도록 제공될 수 있다.
상기 제2서버(200)는 가상환경 상에 모사된 센서부를 기반으로, 가상환경 상에서 선택된 대상 자율주행차량을 중심으로 주변 환경이나 차량 배치들에 대해서 센서부 출력 데이터를 획득할 수 있다. 여기서 센서부는 가상환경에서 모사된 자율주행차량의 라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함할 수 있다. 그리고 가상환경 상에 모사된 센서부는 선택된 자율주행차량과 연관된 다른 가시화된 데이터들에 대한 프로세서 연산을 통해 측정데이터를 생성할 수 있다. 이는 후술하는 본 발명의 다양한 실시예를 통해 보다 상세히 설명한다.
<실시예 1>
도 2 내지 도 4는 본 발명인 자율주행차량 시뮬레이션 방법의 일 실시예에 관한 것으로, 도 2는 시스템 구성도를, 도 3 및 도 4는 자율주행차량 시뮬레이션 방법의 제어흐름도를 각각 나타낸다.
먼저 도 2를 참조하면, 본 발명의 제1서버 및 제2서버는 서로 동일한 서버로 구성될 수 있으며, 해당 실시예에서는 서로 동일한 제1서버 및 제2서버를 통칭하여 서버라고 명명한다. 이때 상기 서버는 기억장치와, 상기 기억장치로부터 데이터를 제공받아 제어/연산하는 프로세서를 포함하는 시뮬레이터와, 외부에서 데이터를 입력받거나 데이터를 외부로 출력하는 입출력장치를 포함할 수 있다.
상기 서버는 기억장치에서 프로세서 상에 환경정보와, 물리엔진, 실제 센서를 모사한 가상 센서에 대한 정보들(이하, '센서부'라 함), 주행 제어 제어 알고리즘(이하, '주행 알고리즘'이라 함.을 제공하고, 상기 프로세서에서 제공된 정보들을 기반으로 제어/연산이 이루어져 출력 값이 출력장치 상에서 가시화되어 표출되거나, 출력 값이 다시 기억장치로 저장되도록 형성될 수 있다. 여기서, 상기 기억장치로부터 제공되는 여러 정보들은 하나의 디스크가 아닌 다수의 디스크에 분리되어 저장되거나, 일부는 외부로부터 제공받을 수도 있다.
상기 기억장치에 저장된 환경정보는 제1환경정보 및 제2환경정보로 구분될 수 있으며, 상기 제2환경정보는 제1환경정보의 전체 데이터 중 일부의 데이터들로 구성된 데이터 세트일 수 있다. 여기서 상기 제1환경정보 및 제2환경정보는, 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 그리고 상기 제2환경정보는 제1환경정보에서 입력된 기준에 따라 분할된 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있으며, 여기서 입력된 기준은 소정의 시간 기준일 수 있다. 이때 소정의 시간 기준이란, 제1환경정보에 의해 시뮬레이터가 가동되어 연산된 정보가 출력되는 경우 시뮬레이터의 가동 시간이 기준이 될 수도 있으며, RTC(Real-Time Clock) 기준으로 소정의 시간(T1~T2) 사이의 영역이 결정될 수도 있다. 아울러 시뮬레이션 대상은 주행 알고리즘을 검증하기 위한 차량이 대상일 수 있고, 대상의 주변은 해당 차량을 기준으로 가상필드 상에서 일정 범위 내에 배치된 지형지물이 대상의 주변이 될 수 있다.
이어 도 3을 참조하여 서버의 내부 기억장치 상에 환경데이터가 저장되는 경우에 따른 자율주행차량 시뮬레이션 방법을 순차적으로 설명하자면 다음과 같다. 먼저 서버의 시뮬레이터는 제1환경정보에 따른 시뮬레이션 정보를 출력장치로 전송하여 영상을 통해 가시화 할 수 있다. 그리고 상기 서버의 통신장치에 사용자단말에서 환경정보 로깅 요청이 수신되면, 서버의 기억장치로 제2환경정보 생성 요청메시지가 전송될 수 있다. 이때 제2환경정보는 제1환경정보에서 분할되어 데이터 세트로 구성될 수 있으며, 본 발명의 서버는 프로세서를 통해 이를 제어하거나 별도의 DBMS 등을 통해서 데이터 관리가 이루어질 수도 있다. 여기서 상기 환경정보 로깅 요청은 실시간 출력되는 시뮬레이션 영상 기준, 일정 시간(T1~T2) 사이의 영상과 관련된 데이터들에 대한 정보일 수 있다.
서버의 기억장치에서 제2환경정보가 생성되면, 제1환경정보로 가동되던 시뮬레이터가 중단되고, 제2환경정보를 기반으로 시뮬레이터의 가동이 이루어질 수 있다. 그리고 상기 서버는 기억장치에 저장된 센서부 데이터를 상기 시뮬레이터에 제공하고, 상기 시뮬레이터는 제2환경정보와 센서부 데이터를 통해 센서부 출력 데이터인 센서데이터가 산출될 수 있다. 그리고 상기 센서데이터는 상기 기억장치로 다시 저장되어 활용될 수 있다. 이때 상술한 단계 이후 또는 이전에 사용자단말로부터 센서부 파라미터 설정 정보가 입력될 수도 있으며, 센서부 파라미터 설정 정보는 전체 센서부 중 어떤 센서를 시뮬레이터에 반영할 것인지에 대한 제어신호일 수 있다. 예컨대 저장된 센서부의 총량이 6개인 경우, 4개의 센서부만 시뮬레이터에 반영토록 설정되거나 모든 센서부가 반영되도록 설정되는 등 다양한 방식으로 제어될 수 있다. 그리고 본 발명은 상기 기억장치에서 상기 시뮬레이터로 제2환경정보와 함께 센서부 정보를 입력할 수도 있다. 여기서 센서부 정보는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있으며, 각 센서들은 데이터를 고유한 출력 값으로 변환토록 연산 알고리즘이 포함된 센서부 데이터를 가질 수 있다.
이어 본 발명은 사용자단말로부터 전송된 주행 알고리즘이나, 기억장치 상에 저장된 주행알고리즘을 센서데이터가 산출된 상기 시뮬레이터 상에 적용하여 검증하도록 이루어질 수 있다. 여기서, 알고리즘이 입력된 시뮬레이션 정보는 출력장치를 통해 실시간으로 디스플레이 될 수 있다.
도 4를 참조하여 외부 기억장치 상에 제2환경정보가 저장된 경우에 따른 자율주행차량 시뮬레이션 방법을 설명하자면 다음과 같다. 본 발명의 이동체 시뮬레션 방법은 크게 전처리단계 및 시뮬레이션 단계로 구성될 수 있다. 그리고 상기 전처리단계는 상기 서버 상의 입력장치를 통해 입력된 신호나, 상기 사용자단말로부터 전송된 신호를 기반으로 상기 기억장치의 제1환경정보에서 소정의 시간 동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 제2환경정보를 분할하여 생성하도록 이루어질 수 있다. 그리고 상기 제2환경정보는 통신장치나 출력장치를 통해 외부 기억장치로 전송되어, 상기 외부 기억장치에서 저장될 수 있다.
상기 외부 기억장치 상에 데이터 세트화가 이루어진 제2환경정보가 저장된 경우, 상기 서버는 입력장치 또는 통신장치를 통해 외부 기억장치로부터 상기 환경데이터를 제공받을 수 있다. 이를 통해 분할된 제2환경정보는 외부 기억장치를 통해 다수의 서버로 제공될 수도 있다.
상기 서버에서 실시간으로 시뮬레이션이 이루어지는 경우, 실시간 출력되는 영상에서 올바른 방식으로 자율주행차량이 운용되지 않거나, 보다 세밀한 알고리즘 검증이 필요한 상황에서의 환경데이터를 미리 데이터 세트로 분류할 수도 있다. 이에 따라, 세밀한 검증이 이루어져야 하는 상황이 서버에서 반복되도록 하되 여러 주행알고리즘을 입력 및 검증할 수 있다. 아울러, 본 발명은 제1환경정보에서 분할된 제2환경정보를 포함하여 제3환경정보, 제N환경정보 등 더 많은 세부 데이터 세트들을 생성할 수도 있다.
<실시예 2>
도 5 내지 도 7은 본 발명인 자율주행차량 시뮬레이션 방법의 다른 실시예에 관한 것으로, 도 5는 시스템 구성도를, 도 6 및 도 7은 자율주행차량 시뮬레이션 방법의 제어흐름도를 각각 나타낸다.
먼저 도 6을 참조하면, 본 발명은 제1환경정보를 포함한 기억장치와, 시뮬레이터, 입출력장치 및 통신장치를 포함하는 제1서버와, 제2환경정보를 포함한 기억장치와, 시뮬레이터, 입출력장치 및 통신장치를 포함하는 제2서버로 구성될 수 있다. 여기서 상기 제2서버의 제2환경정보는 제1서버의 제1환경정보로부터 시간 기준으로 분할된 제1환경정보의 일부일 수 있다. 그리고 제1서버 및 제2서버의 기억장치에는 물리법칙을 기반으로 한 시뮬레이터 가동을 위한 물리엔진이 더 포함될 수 있으며, 제2서버에는 실제 센서를 모사한 가상 센서인 센서부와 센서데이터를 기초로 차량의 주행지령을 산출하는 주행알고리즘을 더 포함할 수 있다.
상기 제1서버는 실시간으로 제1환경정보에 따른 시뮬레이션 정보를 영상데이터로 변환하여 출력장치 또는 통신장치를 통하여 디스플레이 할 수 있다. 그리고 제2서버에는 전체 데이터가 아닌 중요도가 높은 일 부분에 대한 상황만을 분할한 제2환경정보를 기초로 시뮬레이터가 가동될 수 있다. 그리고 제2서버는 제2환경정보에 따른 시뮬레이션 정보를 영상데이터로 변환하여 해당 서버의 출력장치 도는 통신장치를 통하여 디스플레이 할 수 있다.
그리고 상기 제1환경정보 및 제2환경정보는 차량배치, 지형지물, 이벤트정보, 보행자정보, 도로정보 등을 포함할 수 있다. 그리고 상기 제2환경정보는 선택된 시뮬레이션 대상 기준 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 상기 제2환경정보의 출력은 예컨대, 사용자가 제1서버에서 출력되는 영상을 실시간으로 확인하면서 주행하는 차량의 주행알고리즘에 문제가 있는 경우나, 도로 상에 보행자가 걸어가거나 갑작스러운 낙석이 발생되는 이벤트 등 좀 더 세밀한 검증이 필요한 경우를 별도로 분할하여 데이터 세트로 구성될 수 있다. 이때 분할의 기준은 제1서버의 시뮬레이터 가동 시간이나, RTC 등 표출되는 시간을 기준으로 구획할 수 있다.
이어 도 6을 참조하여 각 구성간의 제어를 보다 상세히 설명하자면 다음과 같다. 이는 제1서버는 기억장치에 저장된 제1환경정보를 프로세서인 제1시뮬레이터에 제공하고, 상기 제1시뮬레이터는 실시간 연산되는 시뮬레이션 정보를 출력장치에 전송할 수 있다. 이때 상기 제1시뮬레이터에서 전송되는 시뮬레이션 정보는 영상 데이터로 변환된 정보일 수 있으며, 통신장치를 통해 제2서버를 포함한 다른 서버로 전송될 수 있다.
이후, 상기 제1서버는 입력장치, 제2서버를 포함한 다른 서버 또는 사용자단말로부터 소정의 시간 동안의 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 제2환경정보에 대한 생성 요칭 메시지인 환경 정보 로깅 요청을 수신받을 수 있다. 여기서 제1서버는 지형지물이나 도로정보 등 시뮬레이션 시에 변경되지 않는 고정데이터들과, 차량배치나 보행자 등 시뮬레이션 시에 변경될 수 있는 가변데이터들을 별도로 관리할 수도 있다. 이러한 경우 제1서버의 시뮬레이션 영상 내 사용자가 확인 중인 자율주행차량 기준으로, 제2환경정보는 선택된 자율주행차량의 일정범위 내의 고정데이터들과, 설정시간 동안의 가변데이터들을 포함할 수도 있다. 이와 같이 상기 제1환경정보로부터 분할된 제2환경정보는 제1서버의 통신장치를 통해 상기 제2서버의 통신장치로 전송될 수 있다. 그리고 상기 제2서버의 통신장치에서 수신된 제2환경정보는 기억장치에서 저장되거나, 제2시뮬레이터로 제공될 수 있다. 이와 같은 과정을 통해 제1서버 상에 분할된 제2환경정보가 저장되거나, 제2서버에 제2환경정보가 전송 및 저장되는 시뮬레이션 전처리단계가 이루어질 수 있다.
그리고 제2서버 상의 기억장치에 저장된 센서부 데이터를 포함한 센서부 정보와, 상기 제2환경정보는 제2시뮬레이터 상에 입력될 수 있다. 그리고 상기 제2시뮬레이터는 위 정보들을 바탕으로 시뮬레이션하고, 영상으로 변환하여 출력할 수 있다. 여기서, 본 발명은 사용자단말로부터 센서부 파라미터 설정 정보를 입력받도록 형성될 수도 있으며, 센서부 파라미터 설정 정보는 복수로 구성되는 센서부 중 제2시뮬레이터 적용되는 센서부를 선택하는 요청에 관한 메시지일 수 있다. 그리고 위 과정을 거쳐 제2환경정보와 센서부 데이터를 통해 시뮬레이션 대상 차량의 주행에 따른 시뮬레이션이 이루어지는 시뮬레이션단계가 이루어질 수 있다. 그리고 상기 센서부 정보는, 실제 센서를 모사한 가상 센서 데이터인 센서부 데이터를 포함하고, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 더 포함할 수 있다.
상기 제2서버의 제2시뮬레이터는, 수신된 제2환경정보와 센서부 데이터를 함께 시뮬레이션할 수 있으며, 시뮬레이션된 시뮬레이션 대상 차량의 센서부 출력 데이터인 센서데이터는 제2서버의 기억장치에 저장될 수 있다. 그리고 본 발명은 사용자단말에서 제공되거나 제2서버에 기 저장된 주행 알고리즘을 상기 제2시뮬레이터에 입력하고, 상기 주행알고리즘에 상기 센서데이터를 입력하여, 입력된 주행 알고리즘에 대한 검증이 이루어질 수 있다. 이에 따라 사용자는 방대한 데이터가 아닌, 상대적으로 축소된 설정시간 내의 상황만을 가지고 자신의 알고리즘을 반복 검증할 수 있으며, 다양한 주행알고리즘을 입력하여 보다 효율적인 검증이 이루어질 수 있는 장점이 있다. 이와 더불어 다수의 사용자들이 제1서버에 접속하여 자신들이 필요로 하는 환경정보만을 제공받아 각자의 알고리즘을 검증하도록 제공될 수도 있다.
이어 도 7을 참조하면, 본 발명은 센서부가 복수로 구성될 수 있으며, 복수의 센서부의 각 센서부 데이터가 제2시뮬레이터 상에서 순차적으로 연산되도록 제공될 수도 있다. 보다 상세히는, 제2서버가 사용자단말로부터 동일한 제2환경정보를 기초로 센서부의 개수와 종류 등을 달리하여, 여러 번 제2시뮬레이터가 가동될 수 있다. 그리고 각각의 시뮬레이션 결과인 제1센서데이터, 제2센서데이터 등은 기억장치에 저장될 수 있으며, 서로 동일한 동기화 될 수 있다. 그리고 상기 제2서버는 동기화된 센서데이터와 상기 제2환경정보를 제2시뮬레이터에 입력하고, 사용자단말로부터 입력되거나 기 저장된 주행 알고리즘을 시뮬레이터에 적용하여 알고리즘의 검증이 이루어질 수 있다.
그리고 본 발명은 상술한 실시예들 모두에 시뮬레이션 설정 정보를 수신하는 단계가 포함될 수 있다. 여기서, 시뮬레이션 설정 정보를 수신하는 단계는, 전처리 단계 이전 또는 이후에 이루어질 수 있으며, 사용자단말로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보, 차량 주행 알고리즘 정보 중 적어도 하나를 포함할 수 있다. 상기 시뮬레이션 대상 차량 정보는, 차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함할 수 있고, 상기 시뮬레이션 대상 차량의 센서부 정보는, 상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함할 수 있다. 그리고 상기 차량 주행 제어 알고리즘 정보는, 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 기초로 차량의 주행지령을 산출하는 알고리즘으로 구성될 수 있다. 이때 상기 차량의 주행지령은, 차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함할 수 있다. 여기서, 상기 시뮬레이션 대상 차량의 센서부 정보는 서버에서 제2환경정보와 센서부 데이터를 통해 센서부 출력 데이터를 산출하기 이전에 수신되고, 상기 차량 주행 제어 알고리즘 정보는 제2시뮬레이터 상에서 검증하기 이전에 수신될 수 있으나, 시뮬레이션 상에서의 변수들이 가변되어 단계들이 반복될 수 있으므로, 이에 한정하지는 아니한다.
이상과 같이 본 발명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술되는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 이동체 시뮬레이션 방법으로서,
    (a) 제1서버가, 소정의 시간동안 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함하는 환경정보를 생성하는 시뮬레이션 전처리단계; 및
    (b) 제2서버가, 상기 환경정보를 이용하여 상기 소정의 시간 동안 시뮬레이션 대상 차량이 주행에 따른 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 산출하는 시뮬레이션단계;
    를 포함하며,
    상기 단계(a)에서,
    상기 제1서버가 가상환경 상에서 차량이 정해진 주행경로를 따라 주행되도록 실시간으로 연산되는 시뮬레이션 정보를 출력하되,
    상기 제1서버가 사용자단말로부터 로깅 요청이 수신되면, 소정의 시간 기준으로 상기 가상환경에서 상기 환경정보를 생성하고,
    상기 단계(b)에서,
    상기 제2서버가 상기 제1서버로부터 상기 환경정보를 수신 받고, 상기 사용자단말로부터 차량의 센서부에 대한 파라미터 설정 정보를 수신받되,
    상기 제2서버가 상기 환경정보와 가상환경에서 모사된 센서부를 통해 상기 센서부 출력 데이터를 산출하며,
    상기 단계(a) 이전 또는 이후에 사용자단말로부터 수신받은 차량 주행 제어 알고리즘 정보를 수신받되,
    상기 단계(b)에서, 산출된 상기 시뮬레이션 대상 차량의 센서부 출력 데이터를 상기 차량 주행 제어 알고리즘 정보에 입력하여 차량의 주행지령을 산출하고, 상기 시뮬레이션 대상 차량의 주행을 제어하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  2. 제1항에 있어서,
    상기 단계(a) 이후에 상기 단계(b)를 수행하고,
    상기 단계(a)는 상기 환경정보를 저장하는 단계를 더 포함하며,
    상기 단계(b)에서 상기 제2서버가 상기 단계(a)에서 저장된 환경정보를 이용함으로써, 시뮬레이션을 위한 전산 자원 부담을 줄일 수 있는 것을 특징으로 하는 이동체 시뮬레이션 방법.

  3. 삭제
  4. 제1항에 있어서,
    상기 단계(a)와 상기 단계(b)가 동시에 수행되고,
    상기 단계(b)에서 이용하는 상기 환경정보는 상기 제2서버가 상기 제1서버로부터 실시간으로 수신함으로써, 시뮬레이션을 위한 상기 제2서버의 전산 자원 부담을 줄일 수 있는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  5. 제4항에 있어서,
    상기 제1서버와 상기 제2서버는 별도의 서버인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  6. 제1항에 있어서,
    상기 단계(a)와 상기 단계(b)의 시뮬레이션 시각을 동기화할 수 있도록, 상기 환경정보는 시뮬레이션 시각 정보를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  7. 제1항에 있어서,
    상기 시뮬레이션 대상 차량은 자율주행차량인 것을 특징으로 하는 이동체 시뮬레이션 방법.
  8. 제1항에 있어서,
    상기 센서부는,
    라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  9. 제1항에 있어서,
    상기 단계(a) 이전 또는 이후에, 사용자로부터 시뮬레이션 대상 차량 정보, 시뮬레이션 대상 차량의 센서부 정보 중 적어도 하나를 포함하는 시뮬레이션 설정 정보를 수신하는 단계;
    를 더 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  10. 제9항에 있어서,
    상기 시뮬레이션 대상 차량 정보는,
    차량의 종류, 모양, 사이즈, 휠베이스간격, 높이, 무게중심 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  11. 제9항에 있어서,
    상기 시뮬레이션 대상 차량의 센서부 정보는,
    상기 센서부가 포함하는 센서의 개수, 종류, 사양, 차량 내 설치 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  12. 삭제
  13. 제1항에 있어서,
    상기 차량의 주행지령은,
    차량의 가속, 감속, 정지, 주행방향 및 방향지시등, 점등 중 적어도 하나를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 방법.
  14. 삭제
  15. 제1항의 특징을 갖는 이동체 시뮬레이션 방법을 수행하는 제1서버 및 제2서버를 포함하는 것을 특징으로 하는 이동체 시뮬레이션 시스템.
  16. 컴퓨터로 하여금, 제1항의 이동체 시뮬레이션 방법을 실행시키기 위한 명령어가 저장된 컴퓨터로 읽을 수 있는 기록매체.
KR1020200001206A 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법 KR102139172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200001206A KR102139172B1 (ko) 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200001206A KR102139172B1 (ko) 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법
PCT/KR2020/012594 WO2021141206A1 (ko) 2020-01-06 2020-09-18 가상환경에서의 자율주행차량 시뮬레이션 방법
EP20815706.5A EP3872633A1 (en) 2020-01-06 2020-09-18 Autonomous driving vehicle simulation method in virtual environment

Publications (1)

Publication Number Publication Date
KR102139172B1 true KR102139172B1 (ko) 2020-07-29

Family

ID=71893747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001206A KR102139172B1 (ko) 2020-01-06 2020-01-06 가상환경에서의 자율주행차량 시뮬레이션 방법

Country Status (3)

Country Link
EP (1) EP3872633A1 (ko)
KR (1) KR102139172B1 (ko)
WO (1) WO2021141206A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141206A1 (ko) * 2020-01-06 2021-07-15 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076918A (ko) * 2012-12-13 2014-06-23 한국교통연구원 차량통신 시스템 기반의 교통 통신 통합 시뮬레이션 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20140144921A (ko) 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20180086632A (ko) 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법
KR101880180B1 (ko) 2016-05-31 2018-08-16 박무영 드라이빙 시뮬레이터의 동작 방법 및 드라이빙 시뮬레이터
KR20180104947A (ko) 2017-03-14 2018-09-27 현대자동차주식회사 자율주행차량의 제어 시스템 및 방법
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR102042261B1 (ko) * 2018-04-24 2019-11-07 국방과학연구소 무인 차량의 최적 속도를 결정하는 장치, 방법 및 무인 차량

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6824137B2 (ja) * 2017-10-13 2021-02-03 キャッツ株式会社 自動運転車両の動作シミュレータ、自動運転車両の動作確認方法、自動運転車両の制御装置及び自動運転車両の制御方法
KR102139172B1 (ko) * 2020-01-06 2020-07-29 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140076918A (ko) * 2012-12-13 2014-06-23 한국교통연구원 차량통신 시스템 기반의 교통 통신 통합 시뮬레이션 시스템
KR20140144919A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20140144921A (ko) 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR101880180B1 (ko) 2016-05-31 2018-08-16 박무영 드라이빙 시뮬레이터의 동작 방법 및 드라이빙 시뮬레이터
KR20180086632A (ko) 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법
KR20180104947A (ko) 2017-03-14 2018-09-27 현대자동차주식회사 자율주행차량의 제어 시스템 및 방법
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR102042261B1 (ko) * 2018-04-24 2019-11-07 국방과학연구소 무인 차량의 최적 속도를 결정하는 장치, 방법 및 무인 차량
KR101984762B1 (ko) 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
도로교통공단 교통과학연구원. '자율주행 AI 운전능력 평가기법 및 모형개발에 관한 연구,. 2018.12. *
로봇신문. '가상현실(VR)에서 자율주행차 주행 시험한다'. 2017.11.02. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141206A1 (ko) * 2020-01-06 2021-07-15 주식회사 모라이 가상환경에서의 자율주행차량 시뮬레이션 방법

Also Published As

Publication number Publication date
WO2021141206A1 (ko) 2021-07-15
EP3872633A1 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
CN108319259B (zh) 一种测试系统及测试方法
US20170316127A1 (en) Method and apparatus for constructing testing scenario for driverless vehicle
US10832478B2 (en) Method and system for virtual sensor data generation with depth ground truth annotation
KR102139172B1 (ko) 가상환경에서의 자율주행차량 시뮬레이션 방법
WO2020224434A1 (zh) 一种驾驶仿真方法、装置、电子设备及计算机存储介质
Gruyer et al. Development of full speed range ACC with SiVIC, a virtual platform for ADAS prototyping, test and evaluation
US20180075647A1 (en) Scalable curve visualization for conformance testing in vehicle simulation
US11113830B2 (en) Method for generating simulated point cloud data, device, and storage medium
CN109141446A (zh) 用于获得地图的方法、装置、设备和计算机可读存储介质
CN111123920A (zh) 一种自动驾驶仿真测试场景生成方法和装置
KR101984762B1 (ko) 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
US10885240B2 (en) Deterministic simulation framework for autonomous vehicle testing
US20120197618A1 (en) Architecture and method for realistic vehicular networking and applications visualization
US20200160598A1 (en) Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
US20200310403A1 (en) Operational testing of autonomous vehicles
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
CN108268481B (zh) 云端地图更新方法及电子设备
KR20180124236A (ko) Vehicle-In-the-Loop 모듈화 구조
KR20210068335A (ko) 시뮬레이션 차량 제어 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체
CN113032285B (zh) 一种高精地图测试方法、装置、电子设备及存储介质
Li et al. An Architecture of Autonomous Car Simulation System
EP3800518A1 (en) System, device and method for testing autonomous vehicles
WO2021146905A1 (zh) 基于深度学习的场景模拟器构建方法、装置和计算机设备
US20200226175A1 (en) Systems and methods for generating a requested image view
CN112289023A (zh) 用于自动驾驶的停车仿真测试方法、装置及相关设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant