KR101996230B1 - 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치 - Google Patents

Abstract

자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치가 제공된다. 본 발명의 일 실시예에 따른 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치는 차량에 탑재되는 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출하는 주변 물체 추출부; 상기 추출된 주변 물체들에 대하여 하나 이상의 체크포인트(check point)가 설정되면, 상기 체크포인트에 대한 설정 정보를 상기 센싱정보와 결합하여 테스트정보를 생성하는 테스트정보 생성부; 및 상기 테스트정보를 자율주행을 위한 제어명령을 출력하는 제어모듈로 제공하는 테스트정보 제공부;를 포함하는 것을 특징으로 한다.

Description

자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING TEST INFORMATION FOR SIMULATION OF AUTONOMOUS VEHICLE}

본 발명은 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치에 관한 것으로서, 더욱 상세하게는 차량의 각종 센서들로부터 획득된 센싱정보를 이용하여 시뮬레이션을 위한 테스트정보를 생성하여 제공하는 기술에 관한 것이다.

자율주행 차량은 운전자의 개입 없이 주행 중 주변환경을 인식하고 주행상황을 판단하여 차량을 제어함으로써 미리 설정된 목적지까지 스스로 주행하는 차량을 의미한다. 최근에는 이러한 자율주행 차량이 교통사고를 줄이고 교통 효율성을 높일 뿐만 아니라 탑승자의 편의를 증대시킬 수 있는 교통수단으로 큰 주목을 받고 있으며, 이와 관련된 연구개발이 활발히 진행되고 있다.

이와 같은 자율주행 차량의 주행을 위해서는 차선이나 주변차량, 보행자 등 주변 물체들을 포함하는 주변환경을 인식하고 그에 기초하여 조향각도 조절, 가속 또는 감속 등과 같은 자율주행을 위한 제어명령을 출력하는 기술이 필수적이다.

한편, 자율주행 차량이 정상적으로 주변 물체를 인식하고 그에 기초하여 정상적으로 자율주행과 관련된 제어명령을 출력하는지 확인하기 위해서는 차량에 각종 자율주행을 위한 장치 및 알고리즘이 탑재된 시스템들을 장착하여 실제 도로에서 주행을 테스트함으로써 자율주행 차량의 정상적인 동작 여부, 즉 자율주행과 관련하여 출력되는 제어명령에 대한 검증을 수행할 수 있다. 그리고 이러한 주행 테스트를 반복적으로 실시하여 테스트 중 발견되는 오류를 해결하는 과정을 통해 자율주행의 신뢰도를 높일 수 있게 된다. 그러나 자율주행 차량의 각종 센서와 장치들이 고가이고 무엇보다 주행 테스트는 실제 도로에서 수행되어야 하므로 자율주행 차량의 정상적인 동작 여부, 즉 각종 센서들의 센싱정보에 기초하여 출력되는 제어명령을 검증하기 위해서는 비용과 공간적 제약으로 인한 문제가 있다.

특히, 자율주행 차량의 주행 중 발생할 수 있는 특정 상황, 예를 들어 신호등의 현재 신호 또는 보행자가 출현하는 등과 같은 특정 상황에서 자율주행 차량이 어떻게 반응하는지 테스트해야 하는 경우에는 비용과 공간적 제약은 물론 시간적 제약까지 감수해야 하는 문제가 있다.

1. 공개특허공보 제10-2015-0101193호(2015.09.03.), 자율 제동 테스트 시스템 및 그 방법

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 비용과 공간적 제약에 대한 부담을 감소시키면서, 사용자가 집중해서 체크하기 원하는 특정 상황에 대한 자율주행 차량의 제어명령을 검증할 수 있는 테스트용 정보를 제공하는 방안을 제안하고자 한다.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치는 차량에 탑재되는 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출하는 주변 물체 추출부; 상기 추출된 주변 물체들에 대하여 하나 이상의 체크포인트(check point)가 설정되면, 상기 체크포인트에 대한 설정 정보를 상기 센싱정보와 결합하여 테스트정보를 생성하는 테스트정보 생성부; 및 상기 테스트정보를 자율주행을 위한 제어명령을 출력하는 제어모듈로 제공하는 테스트정보 제공부;를 포함하는 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 테스트정보 제공 장치가 자율주행 차량의 시뮬레이션을 위한 테스트정보를 제공하는 방법은 (a) 차량에 탑재되는 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출하는 단계; (b) 상기 추출된 주변 물체들에 대하여 하나 이상의 체크포인트(check point)가 설정되면, 상기 체크포인트에 대한 설정 정보를 상기 센싱정보와 결합하여 테스트정보를 생성하는 단계; 및 (c) 상기 테스트정보를 자율주행을 위한 제어명령을 출력하는 제어모듈로 제공하는 단계;를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 비용과 공간적 제약에 대한 부담을 감소시키면서 자율주행 차량의 제어명령을 검증할 수 있는 테스트정보를 제공할 수 있다.

또한, 테스트정보에 포함된 다양한 상황들 중 특정 상황에 반응하는 자율주행 차량의 제어명령을 집중적으로 검증할 수 있으므로 테스트의 효율성을 높일 수 있다.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 자율주행 차량의 제어명령 검증 시스템을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 테스트정보 제공 장치의 구성을 도시한 블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 테스트 구간을 분할하는 사용자 인터페이스와 테스트 구간의 분할을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 자율주행 차량의 테스트 구간별 제어명령 검증 과정을 도시한 흐름도이다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 자율주행 차량의 테스트 구간별 제어명령 검증 시스템을 도시한 도면이다.

본 발명의 일 실시예에 따른 자율주행 차량의 시뮬레이션을 위한 테스트정보 생성 장치(이하 ‘테스트정보 제공 장치’라 칭함)(100)는 차량의 카메라 센서, 라이다 센서, 레이더 센서, 조향 센서, 가속 센서, 차속감지 센서, GPS 센서, 초음파 센서 등 각종 센서의 센싱정보로부터 추출된 주변 물체에 체크포인트를 설정하여 시뮬레이션을 위한 테스트정보를 생성할 수 있다. 또한 테스트정보 제공 장치(100)는 상기 테스트정보를 자율주행을 위한 제어명령을 생성하는 자율주행 차량의 제어모듈로 제공함으로써, 제어모듈이 체크포인트에서 미리 정해진 시나리오대로 해당 주변 물체를 인식하는지, 그리고 주변 물체의 인식결과에 따라서 차로를 변경하거나, 가속 또는 감속하거나, 주변차량을 추월하거나, 핸들을 일정 각도로 조향하는 등 미리 정해진 시나리오대로 자율주행과 관련된 제어명령을 출력하는지를 검증할 수 있다. 특히 각종 센서의 센싱정보로부터 추출되는 주변 물체 중 집중적으로 확인하고자 하는 상황(주변 물체에 의한 상황)에 대해 체크포인트가 설정된 테스트정보를 생성하여 제공함으로써, 체크포인트에 대하여 집중적으로 테스트를 수행할 수 있어 테스트의 효율성을 높일 수 있다. 참고로 본 발명의 센싱정보는 자율주행 차량의 각종 센서들로부터 획득된 것일 수도 있고, 비자율주행 차량의 각종 센서들로부터 획득된 것일 수도 있다. 즉, 본 발명의 센싱정보가 반드시 자율주행 차량의 각종 센서들로부터 획득된 것으로 한정하는 것은 아니다. 이하에서는 ‘센싱정보’가 자율주행 차량의 각종 센서들로부터 획득된 실시예를 설명하도록 한다.

테스트정보 제공 장치(100)는 자율주행 차량(20)에 탑재된 각종 센서들로부터 입력되는 센싱정보를 이용하여 주변 물체를 인식하고, 인식된 결과에 기초하여 자율주행과 관련된 제어명령을 출력하는 자율주행 차량(20)의 제어모듈(10)(예를 들어 ECU 등)에 연결될 수 있다.

이하에서는 테스트정보 제공 장치(100)의 테스트정보 생성과 제어모듈(10)의 연결 그리고 테스트정보를 이용한 제어모듈(10)의 주변 물체 인식과 해당 인식에 기초하여 출력되는 제어명령에 대한 검증에 대하여 상세히 설명하도록 한다.

테스트정보 제공 장치(100)는 도 1과 도 2에 도시된 바와 같이 자율주행 차량의 제어모듈(10)에 연결될 수도 있고, 테스트를 위해 자율주행 차량(20)으로부터 분리된 별도의 제어모듈(10)에 연결될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 테스트정보 제공 장치(100)의 구성을 도시한 블록도이다.

테스트정보 제공 장치(100)는 주변 물체 추출부(110), 체크포인트 설정부(120), 테스트정보 생성부(130), 입력 인터페이스 연결부(140), 테스트정보 제공부(150), 출력 인터페이스 연결부(160), 제어명령 검증부(170), 제어부(180) 및 저장부(190)를 포함할 수 있다.

각 구성요소를 설명하면, 주변 물체 추출부(110)는 자율주행 차량에 탑재되는 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출할 수 있다. 여기서 ‘주변 물체’는 자율주행 차량(20)이 주행하는 직선, 곡선, 교차로 등의 다양한 도로를 비롯하여, 주변에 존재하는 가드레일, 신호등, 표지판, 조형물, 주차된 차량 등의 고정 물체와, 도로를 건너거나 도로 주변을 보행하는 사람이나 동물, 주행 중인 차량이나 바이크, 자전거 등의 이동 물체를 포함할 수 있다. 참고로 주변 물체 추출부(110)가 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 주변 물체를 추출 방법은 영상이나 데이터로부터 객체를 추출하는 기존 방법을 활용할 수 있다.

한편, 체크포인트 설정부(120)는 주변 물체 추출부(110)에서 추출된 주변 물체에 대한 정보를 표시할 수 있으며, 화면에 표시되는 주변 물체 중 체크포인트(check point)로 설정하기 위한 사용자 인터페이스를 제공할 수 있다. 여기서 ‘체크포인트’는 주변 물체 추출부(110)에서 추출된 주변 물체들 중 사용자(테스트 운영자)가 집중적으로 살펴보기 원하는 주행 상황과 관련이 있는 주변 물체를 포함할 수 있다. 예를 들어, 신호등의 신호에 따라서 자율주행 차량이 어떤 반응을 보이는지를 테스트하기 원하는 경우, 사용자는 체크포인트 설정부(120)에서 제공하는 사용자 인터페이스를 통해, 화면에 표시되는 주변 물체들 중 신호등을 체크포인트로 설정할 수 있다. 여기서 화면에 표시되는 주변 물체는 카메라 센서를 통해 획득된 영상으로 표시될 수도 있고, 라이다 센서 등을 통해 획득된 포인트 클라우드(point cloud) 기반의 영상으로 표시될 수도 있다. 그리고 화면에 표시되는 주변 물체는 사용자의 설정에 따라서 일정 시간 간격 또는 일정 거리 간격으로 표시될 수 있다. 일 실시예로서 자율주행 차량의 각종 센서로부터 획득된 10분 분량의 센싱정보의 경우 체크포인트 설정부(120)는 1분 간격으로 구분하여 주변 물체를 표시하거나 500m 간격으로 구분하여 주변 물체를 표시할 수 있다. 이 경우 사용자는 화면에 등장하는 다양하고 많은 개수의 주변 물체들 중 원하는 주변 물체를 용이하게 파악할 수 있다.

화면에 표시되는 주변 물체는 형상 위주로 표시될 수 있고 딥러닝(deep learning)과 같은 학습 기반의 기술이 적용되는 경우 각 주변 물체에 해당 물체의 명칭, 예를 들어 신호등, 표지판, 차량, 보행자 등이 더 표시될 수 있다.

사용자는 체크포인트로 설정하기 원하는 주변 물체를 체크포인트로 설정 시, 원이나 사각형 등의 영역을 이용하거나 해당 주변 물체의 형상 중 어느 특정 지점을 클릭/더블클릭 하거나 해당 주변 물체의 명칭이 표시되는 경우 명칭을 클릭/더블클릭 함으로써 설정할 수 있다. 이 경우 체크포인트 설정부(120)는 해당 체크포인트의 식별자와 위치(GPS 기반의 절대 위치와 차량으로부터의 상대 위치 중 하나 이상을 포함), 시간 등을 체크포인트 설정 정보로서 저장할 수 있다.

참고로 체크포인트 설정부(120)는 서로 다른 주변 물체를 체크포인트로 하나 이상 설정할 수 있으며, 사용자는 영상의 처음부터 끝까지 특정 주변 물체를 일일이 체크포인트로 설정하지 않고 일정 시간 구간 또는 일정 거리 구간 내에 존재하는 주변 물체를 체크포인트로 한 번 설정하면, 체크포인트 설정부(120)는 영상의 처음부터 끝까지 또는 일정 시간 구간이나 일정 거리 구간 내에 존재하는 해당 주변 물체 모두를 체크포인트로 설정할 수 있다.

한편, 테스트정보 생성부(130)는 체크포인트 설정부(120)에서 주변 물체들에 대한 하나 이상의 체크포인트가 설정되면, 체크포인트 설정 정보를 자율주행 차량의 각종 센서로부터 획득된 일정 시간의 센싱정보와 결합하여 테스트정보를 생성할 수 있다. 즉, 제어모듈(10)로 제공되는 테스트정보는 테스트를 위해 일정 시간 분량으로 가공된 센싱정보에 체크포인트 설정 정보가 결합된 것이다.

한편, 입력 인터페이스 연결부(140)는 각종 센서들의 센싱정보가 입력되는 제어모듈(10)의 입력 인터페이스와 연결될 수 있다. 참고로 실시예에 따라서 각종 센서들과 제어모듈(10) 사이에 각종 센서들의 센싱정보를 통합하여 제어모듈(10)로 제공하는 센싱정보 통합 모듈이 더 포함될 수 있으며, 이 경우 입력 인터페이스 연결부(140)는 센싱정보 통합 모듈의 출력 인터페이스와 연결될 수 있다.

한편, 테스트정보 제공부(150)는 테스트정보 생성부(130)에서 생성된 테스트정보, 즉 체크포인트 설정 정보가 포함된 센싱정보를 입력 인터페이스 연결부(140)를 통해 제어모듈(10)로 제공할 수 있다. 여기서 테스트정보 제공부(150)는 하나의 체크포인트를 기준으로 일정 시간 또는 일정 거리 간격으로 테스트정보를 제공할 구간을 설정할 수 있으며, 설정된 구간에 해당하는 테스트정보, 즉, 설정된 구간에 속하는 센서들의 센싱정보와 체크포인트 설정 정보를 제어모듈(10)로 제공할 수 있다. 참고로 테스트정보 제공부(150)는 하나의 체크포인트를 기준으로 상기 구간을 설정할 수도 있고, 복수의 체크포인트가 모두 포함되도록 상기 구간을 설정할 수도 있다. 여기서 복수의 체크포인트는 동일한 주변 물체에 대하여 설정한 것일 수도 있고 서로 다른 주변 물체에 대하여 설정한 것일 수도 있다.

테스트정보 제공부(150)는 하나의 체크포인트를 기준으로 설정된 구간에 대한 테스트가 완료되면 대기하였다가, 다음 체크포인트에 대한 테스트 수행 명령이 입력되면, 다음 체크포인트를 기준으로 설정된 구간에 해당하는 각종 센서들의 센싱정보와 체크포인트 설정 정보를 포함하는 테스트정보를 저장부(190)로부터 추출하여 입력 인터페이스 연결부(140)를 통해 제어모듈(10)로 제공할 수 있다.

또한, 테스트정보 제공부(150)는 체크포인트를 기준으로 설정된 구간에 해당하는 센서들의 테스트정보를 사용자의 설정에 따라서 미리 정해진 횟수만큼 반복적으로 입력할 수 있다. 여기서, 미리 정해진 횟수만큼 매번 입력되는 테스트정보는 서로 다를 수 있다. 일 실시예로서 신호등이 체크포인트로 설정된 경우 해당 신호등의 신호가 매번 다른 테스트정보를 입력하거나 보행자가 체크포인트로 설정된 경우 보행자의 위치가 매번 다른 테스트정보를 입력할 수 있다.

한편, 출력 인터페이스 연결부(160)는 제어모듈(10)의 출력 인터페이스와 연결될 수 있다. 여기서 제어모듈(10)의 출력 인터페이스는 각종 센서들의 센싱정보에 기초하여 제어모듈(10)에서 판단되는 자율주행과 관련된 제어명령이 출력될 수 있다. 본 발명에서 제어모듈(10)은 테스트정보 제공부(150)로부터 제공되는 테스트정보를 이용하여 체크포인트에 해당하는 주변 물체를 인식하고, 인식 결과에 따라서 자율주행을 위한 테스트용 제어명령을 생성할 수 있다. 그리고 이 테스트용 제어명령은 제어모듈(10)의 출력 인터페이스를 통해 출력될 수 있다.

한편, 제어명령 검증부(170)는 출력 인터페이스 연결부(160)를 통해 출력되는 제어모듈(10)의 테스트용 제어명령이 각 체크포인트의 시나리오에 따른 테스트에서 도출되어야 할 제어명령인지를 판단하여 제어모듈(10)에서 출력되는 테스트용 제어명령에 대한 검증을 수행할 수 있다. 일 실시예로서 신호등이 체크포인트로 설정된 경우의 시나리오는 신호등의 신호를 인식하는지 그리고 인식된 신호에 따라서 현재 속도를 유지하거나, 미리 정해진 거리 앞에서 제동을 위한 브레이크 작동 명령이 출력되는지 등이 해당될 수 있다.

더 구체적으로, 체크포인트인 신호등의 색상이 빨간색이고 제어모듈(10)에서 출력되는 신호등의 색상을 인식한 결과가 파란색인 경우 제어명령 검증부(170)는 제어모듈(10)의 신호등 인식에 오류가 있는 것으로 판단할 수 있으며, 이에 대한 정보를 디스플레이 장치 등으로 출력할 수 있다. 물론 서로 일치하는 경우에도 검증 결과에 이상이 없음을 디스플레이 장치 등으로 출력할 수 있다.

이후, 제어명령 검증부(170)는 체크포인트에 해당하는 주변 물체에 대한 인식 결과에 기초하여 출력되는 자율주행을 위한 제어모듈(10)의 테스트용 제어명령이 해당 체크포인트의 시나리오에 따른 테스트에서 도출되어야 하는 제어명령인지 판단할 수 있다. 신호등 실시예를 다시 인용하면 체크포인트인 신호등 색상이 빨간색으로 인지되었다면, 그에 상응하는 자율주행을 위한 제어로서 현재 속도와 정지선까지의 거리 또는 현재 속도와 선행차량까지의 거리를 반영하여 가속을 위한 액추에이터의 동작을 차단하는 제어명령과, 제동속도(감속속도)에 따른 브레이크 액추에이터의 동작을 수행하는 제어명령이 제어모듈(10)로부터 출력되는지를 확인하고, 제어모듈(10)로부터 출력되는 이러한 테스트용 제어명령과 시나리오에 따른 테스트에서 도출되어야 하는 제어명령을 비교하여 일치 여부를 판단한 후 검증 결과를 디스플레이 장치 등으로 출력할 수 있다. 참고로 제어모듈(10)로부터 출력되는 테스트용 제어명령은 체크포인트로 설정된 주변 물체인 신호등의 신호를 인식하기 위한 카메라 센서의 센싱정보뿐만 아니라 선행차량까지의 거리를 감지하는 라이다 센서 등과 같은 다른 센서의 센싱정보를 복합적으로 활용하여 결정될 수 있다.

또한, 제어명령 검증부(170)는 테스트정보 제공부(150)로부터 체크포인트를 기준으로 설정된 구간에 속하는 테스트정보가 미리 정해진 횟수만큼 반복적으로 입력되는 경우, 그에 따라 출력되는 제어모듈(10)의 테스트용 제어명령이 해당 체크포인트의 시나리오에 따른 테스트에서 도출되어야 하는 제어명령과 일치하는 회수가 미리 정해진 기준 값 이상인지를 확인할 수 있다. 여기서 제어명령 검증부(170)는 해당 체크포인트에 대한 테스트에서 도출되어야 하는 다수의 제어명령에 가중치를 부여할 수 있으며, 제어명령의 일치 여부와 해당 제어명령의 가중치를 이용하여 검증 결과를 판단할 수 있다. 예를 들어, 해당 체크포인트에 대한 테스트에서 도출되어야 하는 다수의 제어명령 중 차량속도를 감속하는 제어명령에는 가장 높은 가중치를 부여하고, 방향지시등을 작동시키는 제어명령에는 그 보다 낮은 가중치를 부여할 수 있다. 그리고 부여된 가중치가 높은 순서로 제어명령의 일치 여부를 비교하여 서로 일치하는 제어명령의 가중치 합이 미리 정해진 값 이상인 경우를 테스트 성공으로 판단할 수 있다.

한편, 제어부(180)는 테스트정보 제공 장치(100)의 구성 요소들 예를 들어, 주변 물체 추출부(110), 체크포인트 설정부(120), 테스트정보 생성부(130), 테스트정보 제공부(150) 및 제어명령 검증부(170)가 전술한 동작을 수행하도록 제어할 수 있다.

또한, 제어부(180)는 입력 인터페이스 연결부(140)와 출력 인터페이스 연결부(160)가 제어모듈(10)의 입력 인터페이스와 출력 인터페이스에 연결되었는지 여부를 확인하고 확인 결과를 출력할 수 있다. 여기서 제어부(180)는 간단한 연산 요청을 입력 인터페이스 연결부(140)를 통해 제어모듈(10)로 요청하고, 출력 인터페이스 연결부(160)를 통해 출력되는 제어모듈(10)의 연산 요청 결과를 이용하여 입력 인터페이스 연결부(140)와 출력 인터페이스 연결부(160)의 연결 여부를 확인할 수 있다. 또한 제어부(180)는 후술하는 저장부(190)의 동작도 제어할 수 있다.

한편, 저장부(190)는 제어부(160)가 테스트정보 제공 장치(100)의 구성 요소들을 제어하기 위한 알고리즘 및 해당 알고리즘에 따른 제어 과정에서 필요하거나 파생되는 다양한 정보들을 저장할 수 있다.

참고로 테스트정보 제공 장치(100)는 제어모듈(10)의 제어명령 검증 시 오류가 발생되는 경우, 해당 오류의 발생과 관련이 있는 센서, 액추에이터 및 기타 장치와, 오류가 발생한 상황에서 해당 센서의 센싱정보, 액추에이터의 동작에 대한 정보, 기타 장치의 동작에 대한 정보 등을 디스플레이 장치에 출력하여 사용자가 오류를 해결하는데 참고하도록 디버깅 정보를 제공할 수 있다.

도 4는 본 발명의 일 실시예에 따른 자율주행 차량의 시뮬레이션을 위한 테스트정보 생성 과정을 도시한 흐름도이다.

본 발명의 일 실시예에 따른 자율주행 차량의 테스트 구간별 제어명령 검증 과정은 도 3에 도시된 테스트정보 제공 장치(100)에 의해 수행될 수 있다.

먼저, 테스트정보 제공 장치(100)는 제어모듈(10)의 입력 인터페이스와 출력 인터페이스에 연결될 수 있으며, 이 때 간단한 연산을 요청하는 테스트 신호를 제어모듈(10)의 입력 인터페이스를 통해 제공하고 이에 대한 응답이 제어모듈(10)의 출력 인터페이스를 통해 출력되는지 확인한다(S401).

S401 후, 테스트정보 제공 장치(100)는 자율주행 차량의 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출 한다(S402).

여기서 ‘주변 물체’는 자율주행 차량(20)이 주행하는 도로를 비롯하여, 주변에 존재하는 가드레일, 신호등, 표지판, 조형물, 정차 중이거나 주차된 차량 등의 고정 물체와, 도로를 건너거나 도로 주변을 보행하는 사람이나 동물, 주행 중인 차량이나 바이크, 자전거 등의 이동 물체를 포함할 수 있다.

S402 후, 테스트정보 제공 장치(100)는 추출된 주변 물체들에 대하여 하나 이상의 체크포인트를 설정할 수 있는 사용자 인터페이스를 제공한다(S403).

여기서 ‘체크포인트’는 S402에서 추출된 주변 물체들 중 사용자가 집중적으로 살펴보기 원하는 주행 상황과 관련이 있는 주변 물체를 포함할 수 있으며, 서로 다른 주변 물체를 체크포인트로서 하나 이상 설정할 수 있다. 또한, 하나의 체크포인트를 기준으로 일정 시간 또는 일정 거리 간격으로 테스트정보를 제공할 구간을 설정할 수 있다.

S403 후 체크포인트가 설정되면, 테스트정보 제공 장치(100)는 체크포인트에 대한 설정 정보를 자율주행 차량의 각종 센서로부터 획득된 일정 시간의 센싱정보와 결합하여 테스트정보를 생성하고, 생성된 테스트정보를 자율주행을 위한 제어명령을 출력하는 제어모듈(10)로 제공한다(S404).

여기서 제공되는 테스트정보는 체크포인트를 기준으로 설정된 구간에 해당하는 센서들의 센싱정보와 체크포인트 설정 정보를 포함할 수 있다.

S404 후, 테스트정보 제공 장치(100)는 제공되는 테스트정보에 기초하여 제어모듈(10)에서 판단되는 테스트용 제어명령이 출력되면, 출력되는 테스트용 제어명령과 체크포인트별 시나리오에 따른 테스트에서 도출되어야 할 기준 제어명령을 비교하여 제어모듈(10)에서 출력되는 테스트용 제어명령에 대한 검증을 수행한다(S405).

S405 후, 테스트정보 제공 장치(100)는 제어모듈(10)에서 출력되는 테스트용 제어명령에 대한 검증 결과를 디스플레이 장치를 통해 출력한다(S406).

도 5는 본 발명의 일 실시예에 따른 체크포인트 설정 방법을 도시한 도면이다.

테스트정보 제공 장치(100)의 화면(500)에, 자율주행 차량의 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 추출된 주변 물체들이 표시될 수 있다. 참고로, 해당 화면(500)은 테스트정보 제공 장치(100)와 일체형으로 형성된 화면일 수도 있고, 테스트정보 제공 장치(100)와 유선 또는 무선으로 연결된 디스플레이 장치의 화면일 수도 있다.

참고로, 화면(500)에 표시되는 주변 물체는 카메라 센서를 통해 획득된 영상으로 표시될 수도 있고, 라이다 센서 등을 통해 획득된 포인트 클라우드 기반의 영상으로 표시될 수도 있는데, 도 5에서는 설명의 편의상 카메라 센서를 통해 획득된2D 영상로 나타내었다.

또한, 화면(500)에 표시되는 주변 물체들은 사용자의 설정에 따라서 일정 시간 간격 또는 일정 거리 간격으로 표시될 수 있는데, 도 5에 도시된 실시예에서는 500m 거리 간격으로 주변 물체가 표시되며, 해당 구간에 포함되는 주변 물체에 대한 정보가 화면(500)에 리스트(510)로 표시될 수 있다.

사용자는 리스트로 표시되는 주변 물체(510)에서 하나 이상의 체크포인트를 설정할 수 있다. 물론 화면에서 직접 주변 물체를 선택하여 체크포인트로 설정할 수도 있다. 참고로, 특정 주변 물체를 체크포인트로 설정 시 한 번의 설정으로 영상 전체에 대해 체크포인트 설정이 유지될 수 있다. 즉, 신호등을 체크포인트로 설정하는 경우, 화면에 표시되는 모든 신호등을 일일이 체크포인트로 설정할 필요 없이 어느 하나의 신호등을 체크포인트로 설정하면 나머지 신호등은 자동으로 체크포인트로 설정될 수 있다. 물론 특정 신호등만을 체크포인트로 설정할 수도 있다.

도 6은 본 발명의 일 실시예에 따른 체크포인트를 기준으로 설정된 테스트정보 제공 구간을 도시한 도면이다.

도 6은 도 5의 화면에 표시된 주변 물체들 중에서 신호등을 체크포인트로 설정한 실시예로서 신호등을 기준으로 테스트정보 제공 구간(610, 620)이 표시되어 있다. 즉, 영상의 시작부터 제1 신호등(611)까지 제1 테스트정보 제공 구간(610), 제1 신호등(611)부터 제2 신호등(621)까지 제2 테스트정보 제공 구간(620)으로 설정될 수 있다.

테스트정보 제공 장치(100)는 제1 테스트정보 제공 구간(610)에 해당하는 센서들의 센싱정보와 제1 신호등(611)에 대한 체크포인트 정보를 포함하는 제1 테스트정보를 제어모듈(10)로 제공할 수 있다. 이후 제1 테스트정보에 기반한 제어모듈(10)의 테스트용 제어명령이 검증되면, 테스트정보 제공 장치(100)는 제2 테스트정보 제공 구간(620)에 해당하는 센서들의 센싱정보와 제2 신호등(621)에 대한 체크포인트 정보를 포함하는 제2 테스트정보를 제어모듈(10)로 제공하여 제2 테스트정보에 기반한 제어모듈(10)의 테스트용 제어명령을 검증할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 테스트정보 제공 장치.
110 : 주변 물체 추출부
120 : 체크포인트 설정부
130 : 테스트정보 생성부
140 : 입력 인터페이스 연결부
150 : 테스트정보 제공부
160 : 출력인터페이스 연결부
170 : 제어명령 검증부
180 : 제어부
190 : 저장부

Claims (10)

1. 차량에 탑재된 센서들로부터 입력되는 일정 시간 동안의 센싱정보를 이용하여 차량의 주행 중 주변물체를 인식하고, 주변물체에 대한 인식 결과에 기초하여 자율주행차량의 주행 제어를 위한 제어명령을 출력하는 제어모듈을 검증하는 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치에 있어서,
   상기 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출하는 주변 물체 추출부;
   상기 추출된 주변 물체에 대한 정보를 화면에 표시하고, 상기 화면에 표시되는 주변 물체 중 체크포인트로 설정하기 위한 사용자 인터페이스를 제공하는 체크포인트 설정부;
   상기 주변 물체들에 대하여 체크포인트가 설정되면, 상기 체크포인트에 대한 설정 정보를 상기 센싱정보와 결합하여 테스트정보를 생성하는 테스트정보 생성부;
   상기 센싱정보가 입력되는 상기 제어모듈의 입력 인터페이스와 연결되어 상기 테스트정보가 상기 제어모듈로 입력되도록 하는 입력 인터페이스 연결부;
   상기 테스트정보를 상기 제어모듈로 제공하는 테스트정보 제공부;
   상기 제어모듈의 출력 인터페이스와 연결되어 테스트용 제어명령을 출력하는 출력 인터페이스 연결부; 및
   상기 테스트용 제어명령과 상기 체크포인트의 시나리오에 따른 테스트에서 도출되어야 할 기준 제어명령을 비교하여 일치 여부를 판단하되 상기 기준 제어명령에는 가중치를 부여할 수 있게 설정되는 제어명령 검증부; 를 포함하는 것을 특징으로 하는 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치.
   
2. 제1 항에 있어서,
   상기 체크포인트 설정부는 상기 주변 물체에 대한 정보를 일정 시간 간격 또는 일정 거리 간격으로 표시하는 것을 특징으로 하는 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치.
   
3. 제1 항에 있어서,
   상기 제어명령 검증부는 상기 제어모듈에서 판단되는 체크포인트에 해당하는 주변 물체에 대한 인식 결과를 1차로 검증하고, 상기 인식 결과에 기초하여 상기 제어모듈에서 결정되는 자율주행에 대한 제어명령을 2차로 검증하는 것을 특징으로 하는 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 장치.
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images