KR20240019928A

KR20240019928A - 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템

Info

Publication number: KR20240019928A
Application number: KR1020220097747A
Authority: KR
Inventors: 임성수
Original assignee: 주식회사 엘지유플러스
Priority date: 2022-08-05
Filing date: 2022-08-05
Publication date: 2024-02-14

Abstract

본 발명은 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 본 개시의 일 측면에 따른 클라우드 서버에서의 자율 주행 차량 이상 상태 예측 및 판단 방법은 상기 자율 주행 차량으로부터 제1 데이터를 수신하는 단계와 상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 추론 학습 단계와 상기 추론 학습 결과에 기반하여 상기 자율 주행 차량에 제2 데이터 전송을 요청하는 제1 메시지를 전송하는 단계와 상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 단계와 상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 단계를 포함할 수 있다.

Description

자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템{METHOD FOR PREDICTING AND DETERMINING ABNORMAL STATE OF AUTONOMOUS DRIVING VEHICLE AND APPARATUS AND SYSTEM THEREFOR}

본 발명은 자율 주행에 관한 것으로서, 상세하게 클라우드 기반의 자율 주행 시스템에서 통신 부하를 고려하여 자율 주행 차량의 이상 상태를 예측 및 판단하기 위한 기술에 관한 것이다.

자율 주행 차량이란 운전자 또는 승객의 조작 없이 차량 스스로 운행이 가능한 차량을 말한다. 또한, 통신 기술이 발전함에 따라 고속으로 대용량의 데이터 전송이 가능해지면서, 무선 통신 시스템에 의해 더 다양한 서비스를 제공할 수 있게 된다.

자율 주행 차량은 카메라, 라이다, 레이더 등과 같은 다수의 센서와 각종 제어기를 포함하여 구성되므로 하드웨어적으로 복잡할뿐만 아니라 센서 및 제어기로부터 수집된 정보에 기반하여 인지, 측위, 판단 및 제어를 위한 복잡한 연산을 수행하므로 소프트웨어적으로 복잡한 시스템이다.

현재 자율 주행 차량은 기술적으로도 아직 폭우나 폭설, 짙은 안개가 있는 환경이나 돌발 상황에서 문제 없이 주행할 수 있는 수준이 아니다. 구글이 네바다주에서 무인 자동차로 면허를 받았을 때 검사관은 여러 가지 기상 상황이나 비포장 도로 같은 환경에 적응하지 못하는 문제점을 지적한 바 있다.

또한, 현재 자율 주행을 위한 차량용 하드웨어 및 소프트웨어도 다양한 환경에서 정상적으로 동작할 정도의 높은 신뢰도를 보장할 수 없는 문제점이 있다.

따라서, 자율 주행 차량의 이상 상태를 판단하거나, 미리 예측하는 것은 자율 주행 모빌리티 서비스의 안정성을 보장하기 위해 매우 중요한 요소이다.

현재 차량 자체적으로 자율 주행 시스템의 이상 여부를 판단하는 방법은 몇가지 제약 사항을 가지고 있다. 우선, 차량에 탑재되는 자율 주행 소프트웨어는 자율 주행 차량의 이상 여부를 판단하기 위한 목적 보다는 자율 주행 그 자체를 위한 인지, 측위, 판단 및 제어를 위한 수단으로 개발되고 있다. 즉, 자율 주행 시스템의 정상 동작 여부보다는 자율 주행 제어 그 자체를 위한 목적으로 대부분의 하드웨어 자원이 사용되고 있다. 자율 주행 차량에 고사양 하드웨어를 적용하는 것은 차량 가격 상승을 야기하므로, 차량 제조사 입장에서도 차량 이상 상태를 예측 및 판단하기 위한 목적으로 추가적인 고사양 하드웨어를 채택하기 어려운 문제점이 있다.

한국 특허공개 제10-2018-0029543호(2016. 09.13)에는 서버 컴퓨터에서 차량 센서 데이터 및 차량 정보에 기반한 딥러닝을 통해 자동차의 상태를 진단하는 방법이 개시되어 있다.

한국 특허공개 제10-2015-0115069호(2015.10.14)에는 차량과 통신 연동된 제어 플랫폼에서 대리 운전 기사가 차량을 원격으로 운전하여 차량 주행을 제어하는 원격 차량 제어 장치 및 원격 운전 시스템이 개시되어 있다.

한국 공개특허 10-2019-0105972 (2019. 08.28)에는 실시간 수집되는 차량 센서 데이터를 수집 및 분석하여 차량 부품의 정상 여부를 판단하여 차량의 상태를 진단하는 자율주행 대중버스를 위한 차량 고장 진단 및 예측 방법이 개시되어 있다.

한국 공개특허 제10-2020-0055596호(2020.05.21)에는 차량 단말 장치가 복수의 카메라로부터 복수의 입력 영상들을 획득하고 이를 네트워크를 통해 원격 제어 장치에 전송하면, 원격 제어 장치가 수신된 영상을 기초로 패킹 영상을 구성하는 기술이 개시되어 있다.

한국 공개특허 제10-2018-012625(2018.11.27)에는 무인차량에 탑재된 다양한 센서들로부터 생성된 환경 정보 지도 및 영상 정보를 기반으로 원격 통제 장치가 무인 차량이 추종할 경로점 및 가감속 명령을 생성하는 기술이 개시되어 있다.

본 개시의 목적은 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 자율 주행 차량 이상 상태 판단에 필요한 차량 데이터량을 무선망의 통신 부하를 고려하여 자율 주행 차량으로부터 적응적으로 수집함으로써, 자율 주행 차량의 이상 상태를 보다 효율적이고 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 것이다.

본 개시의 또 다른 목적은 사전 구성된 검증 데이터셋을 기반으로 자율 주행 차량 이상 상태 판단 및 예측을 위한 학습 모델을 검증하여 사전 정의된 이상 상태 리스트에 학습 모델 검증을 통해 추론된 유효한 이상 상태 케이스를 매칭함으로써 자율 주행 차량의 이상 상태를 보다 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 것이다.

본 개시의 또 다른 목적은 사전 학습을 통해 대용량 데이터 분석이 유효한 이상 상태 케이스를 사전 정의된 이상 상태 리스트에 매칭함으로써 불필요한 대용량 데이터가 수집되는 것을 미연에 방지하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 것이다.

본 개시의 또 다른 목적은 실시간 저용량 데이터를 사전 학습된 학습 모델에 적용하여 자율 주행 차량에 대한 이상 상태 추론을 수행하고, 추론 결과에 기초하여 식별된 이상 상태 케이스가 대용량 데이터의 추가 추론이 유효한 경우, 해당 자율 주행 차량으로 해당 대용량 데이터의 전송을 요청함으로써, 자율 주행 차량의 이상 상태를 보다 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 측면에 따른 클라우드 서버에서의 자율 주행 차량 이상 상태 예측 및 판단 방법은 상기 자율 주행 차량으로부터 제1 데이터를 수신하는 단계와 상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 추론 학습 단계와 상기 추론 학습 결과에 기반하여 상기 자율 주행 차량에 제2 데이터 전송을 요청하는 제1 메시지를 전송하는 단계와 상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 단계와 상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 단계를 포함할 수 있다.

실시 예로, 상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량에 구비된 자율 주행 제어기가 차량 센서로부터 수집한 센서 데이터 및 상기 센서 데이터에 기반한 자율 주행 제어기의 출력 데이터를 포함하고, 상기 제1 데이터의 크기는 상기 제2 데이터의 크기보다 작을 수 있다.

실시 예로, 상기 출력 데이터는 상기 센서 데이터에 기반한 상기 자율 주행 제어기의 인지/판단/제어 로직 수행에 따라 출력되는 데이터일 수 있다.

실시 예로, 상기 추론 학습 단계는 상기 제1 데이터에 기반한 학습을 통해 제1 이상 추론 확률 값을 획득하는 단계와 상기 제1 데이터에 상응하는 이상 상태 케이스를 식별하는 단계를 포함할 수 있다.

실시 예로, 상기 방법은 상기 제1 이상 추론 확률 값을 적어도 하나의 소정 임계 값과 비교하여 상기 식별된 이상 상태 케이스가 상기 제2 데이터의 추가 추론이 유효한지 여부를 판단하는 단계를 더 포함할 수 있다.

실시 예로, 상기 제1 이상 추론 확률 값이 제1 임계 값보다 작고, 제2 임계 값보다 큰 것에 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단될 수 있다.

실시 예로, 상기 방법은 상기 제2 추론 학습을 통해 제2 이상 추론 확률 값을 획득하는 단계와 상기 제1 이상 추론 확률 값 또는 상기 제2 이상 추론 확률 값이 상기 제1 임계 값보다 큰 것에 기반하여 상기 자율 주행 차량에 소정 경고 알람 메시지를 전송하는 단계를 더 포함할 수 있다.

실시 예로, 상기 방법은 상기 자율 주행 차량의 이상 상태 진단을 위한 적어도 하나의 이상 상태 타입에 관한 정보가 포함된 이상 상태 리스트를 생성하는 단계와 학습 모델 검증을 위해 이상 상태 케이스가 확인된 제1 내지 2 검증 데이터셋을 생성하는 단계와 상기 제1 데이터 및 상기 제2 데이터에 기반하여 학습 데이터셋을 생성하는 단계와 상기 학습 데이터셋에 기반하여 제1 내지 2 학습 모델을 생성 및 갱신하는 단계와 상기 제1 검증 데이터셋에 기반하여 매 갱신된 상기 제1 학습 모델에 대한 검증을 수행하는 제1 검증 단계와 상기 제1 검증 데이터셋 및 제2 검증 데이터셋에 기반하여 매 갱신된 상기 제2 학습 모델에 대한 검증을 수행하는 제2 검증 단계를 포함할 수 있다.

실시 예로, 상기 방법은 상기 제2 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값이 상기 제1 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값보다 큰 것에 기반하여 상기 제1 이상 상태 케이스를 상기 제2 데이터 추가 추론이 유효한 이상 상태 케이스로 결정하는 단계와 상기 제2 데이터 추가 추론이 유효한 것으로 결정된 상기 제1 이상 상태 케이스를 유효 이상 상태 리스트에 추가하는 단계를 더 포함하되, 상기 유효 이상 상태 리스트에 더 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단될 수 있다.

실시 예로, 상기 학습 데이터셋은 상기 제1 데이터로 구성된 제1 학습 데이터셋과 상기 제2 데이터로 구성된 제2 학습 데이터셋을 포함하되, 상기 제1 학습 모델은 상기 제1 학습 데이터셋에 기반하여 생성 및 갱신되고, 상기 제2 학습 모델은 시간 동기화된 상기 제1 학습 데이터셋 및 상기 제2 학습 데이터셋에 기반하여 생성 및 갱신될 수 수 있다.

실시 예로, 상기 제1 학습 데이터셋은 실시간 일정 주기로 이동통신망을 통해 상기 자율 주행 차량으로부터 수신되어 적재되고, 상기 제2 학습 데이터셋은 통신 부하가 적은 특정 시간대에 유선망 또는 와이파이망을 통해 상기 자율 주행으로부터 수신되어 적재될 수 있다.

실시 예로, 상기 제1 데이터 및 상기 제2 데이터를 시간 동기화시키는 단계를 더 포함하되, 상기 시간 동기화된 상기 제1 데이터 및 상기 제2 데이터에 기반하여 상기 차량 이상 상태 추론 학습이 재수행될 수 있다.

실시 예로, 상기 제1 메시지는 상기 제2 데이터의 전송 타입을 지시하는 전송 타입 필드를 포함하고, 상기 전송 타입 필드의 값은 과거 특정 시구간에 생성된 상기 제2 데이터의 전송을 지시하는 제1 타입 필드 값과 현재 생성된 상기 제2 데이터의 전송을 지시하는 제2 타입 필드 값 중 어느 하나로 설정될 수 있다.

본 개시의 다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 클라우드 서버에 구비된 상기 적어도 하나의 프로세서가 자율 주행 차량 이상 상태 예측 및 판단하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은, 상기 자율 주행 차량으로부터 제1 데이터를 수신하는 단계와 상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 추론 학습 단계와 상기 추론 학습 결과에 기반하여 상기 자율 주행 차량에 제2 데이터 전송을 요청하는 제1 메시지를 전송하는 단계와 상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 단계와 상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 단계를 포함할 수 있다.

본 개시의 또 다른 측면에 따른 네트워크를 통해 자율 주행 차량과 연동되는 클라우드 서버는 상기 자율 주행 차량으로부터 상기 네트워크를 통해 제1 데이터를 수신하는 제1 데이터 수신부와 상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 제1 추론부와 상기 추론 학습 결과에 기반하여 차량 이상 진단을 위해 제2 데이터의 추가 추론이 필요한지 판단하는 판단부와 상기 판단 결과에 따라 상기 자율 주행 차량에 상기 제2 데이터 전송을 요청하는 제1 메시지를 전송하는 제2 데이터 요청부와 상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 제2 데이터 수신부와 상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 제2 추론부를 포함할 수 있다.

실시 예로, 상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량의 자율 주행 제어기가 차량 센서로부터부터 수집한 센서 데이터 및 상기 센서 데이터를 기반으로 생성된 상기 자율 주행 제어기의 출력 데이터 중 적어도 하나를 포함하고, 상기 제1 데이터의 크기는 상기 제2 데이터의 크기보다 작을 수 있다.

실시 예로, 상기 출력 데이터는 상기 센서 데이터에 기반으로 상기 자율 주행 제어기에 탑재된 인지/판단/제어 로직을 수행하여 출력되는 데이터를 의미할 수 있다.

실시 예로, 상기 제1 추론부가 상기 제1 데이터에 기반한 학습을 통해 제1 이상 추론 확률 값을 획득하고, 상기 제1 데이터에 상응하는 이상 상태 케이스를 식별할 수 있다.

실시 예로, 상기 판단부가 상기 제1 이상 추론 확률 값을 적어도 하나의 소정 임계 값과 비교하여 상기 식별된 이상 상태 케이스가 상기 제2 데이터의 추가 추론이 유효한지 여부를 판단할 수 있다.

실시 예로, 상기 판단부가 상기 제1 이상 추론 확률 값이 제1 임계 값보다 작고, 제2 임계 값보다 큰 것에 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단할 수 있다.

실시 예로, 상기 제2 추론부가 상기 추론 학습을 재수행하여 제2 이상 추론 확률 값을 획득하고, 상기 판단부가 상기 제1 이상 추론 확률 값 또는 상기 제2 이상 추론 확률 값이 상기 제1 임계 값보다 큰 것에 기반하여 상기 자율 주행 차량에 소정 경고 알람 메시지를 전송하도록 제어할 수 있다.

실시 예로, 상기 클라우드 서버는 상기 자율 주행 차량의 이상 상태 진단을 위한 적어도 하나의 이상 상태 타입에 관한 정보가 포함된 이상 상태 리스트를 생성하고, 학습 모델 검증을 위해 이상 상태 케이스가 확인된 제1 내지 2 검증 데이터셋을 생성하는 수단과 상기 제1 데이터 및 상기 제2 데이터에 기반하여 학습 데이터셋을 생성하고, 상기 학습 데이터셋에 기반하여 제1 내지 2 학습 모델을 생성 및 갱신하고, 상기 제1 검증 데이터셋에 기반하여 매 갱신된 상기 제1 학습 모델에 대한 검증을 수행하는 제1 검증을 수행하고, 상기 제1 검증 데이터셋 및 제2 검증 데이터셋에 기반하여 매 갱신된 상기 제2 학습 모델에 대한 검증을 수행하는 제2 검증을 수행할 수 있다.

실시 예로, 상기 제2 검증 수행을 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값이 상기 제1 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값보다 큰 것에 기반하여 상기 제1 이상 상태 케이스가 상기 제2 데이터 추가 추론이 유효한 이상 상태 케이스로 결정되고, 상기 제2 데이터 추가 추론이 유효한 것으로 결정된 상기 제1 이상 상태 케이스가 유효 이상 상태 리스트에 추가되되, 상기 판단부가 상기 유효 이상 상태 리스트에 더 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단할 수 있다.

실시 예로, 상기 학습 데이터셋은 상기 제1 데이터로 구성된 제1 학습 데이터셋과 상기 제2 데이터로 구성된 제2 학습 데이터셋을 포함하되, 상기 제1 학습 모델은 상기 제1 학습 데이터셋에 기반하여 생성 및 갱신되고, 상기 제2 학습 모델은 시간 동기화된 상기 제1 학습 데이터셋 및 상기 제2 학습 데이터셋에 기반하여 생성 및 갱신될 수 있다.

실시 예로, 상기 제1 학습 데이터셋은 실시간 일정 주기로 이동통신망을 통해 상기 자율 주행 차량으로부터 수신되어 적재되고, 상기 제2 학습 데이터셋은 특정 시간대에 유선망 또는 와이파이망을 통해 상기 자율 주행으로부터 수신되어 적재될 수 있다.

실시 예로, 상기 클라우드 서버는 상기 제1 데이터 및 상기 제2 데이터를 시간 동기화시키는 데이터 동기화부를 더 포함하되, 상기 시간 동기화된 상기 제1 데이터 및 상기 제2 데이터에 기반하여 상기 차량 이상 상태 추론 학습이 재수행될 수 있다.

실시 예로, 상기 메시지는 상기 제2 데이터의 전송 타입을 지시하는 전송 타입 필드를 포함하고, 상기 전송 타입 필드의 값은 과거 특정 시구간에 생성된 상기 제2 데이터의 전송을 지시하는 제1 타입 필드 값과 현재 생성된 상기 제2 데이터의 전송을 지시하는 제2 타입 필드 값 중 어느 하나로 설정될 수 있다.

본 개시의 또 다른 측면에 따른 네트워크를 통해 클라우드 서버와 연동되는 자율 주행 차량의 방법은 자율 주행 제어기로부터 실시간 수집된 제1 데이터를 일정 주기로 상기 클라우드 서버에 전송하는 단계와 상기 클라우드 서버로부터 제2 데이터의 전송을 요청하는 메시지를 수신하는 단계와 상기 메시지가 수신된 것에 기반하여 상기 차량 주행 제어기로부터 수집된 제2 데이터를 상기 클라우드 서버로 전송하는 단계를 포함하되, 상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량의 이상 상태 진단을 위한 것이고, 상기 제2 데이터의 크기는 상기 제1 데이터의 크기보다 큰 것을 특징으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시에 따른 다양한 실시 예들은 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 자율 주행 차량의 이상 상태 진단에 필요한 데이터량을 학습 모델에 기초한 추론 결과에 따라 적응적으로 제어함으로써, 자율 주행 차량의 이상 상태를 보다 효율적이고 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 사전 구성된 검증 데이터셋을 통해 자율 주행 차량의 이상 상태 판단 및 예측을 위한 학습 모델을 검증하고, 검증된 학습 모델을 이용한 추론 결과에 기초하여 사전 정의된 이상 상태 리스트에 유효한 이상 상태 케이스를 매칭함으로써 자율 주행 차량의 이상 상태를 보다 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 사전 학습을 통해 대용량 데이터 분석이 유효한 이상 상태 케이스를 식별하여 사전 정의된 이상 상태 리스트에 매칭함으로써 불필요한 대용량 데이터가 수집되는 것을 미연에 방지하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 실시간 저용량 데이터를 사전 학습된 학습 모델에 적용하여 자율 주행 차량에 대한 이상 상태 추론을 수행하고, 추론 결과에 기초하여 식별된 이상 상태 케이스가 대용량 데이터의 추가 추론이 유효한 경우, 해당 자율 주행 차량으로 해당 대용량 데이터의 전송을 요청함으로써, 자율 주행 차량의 이상 상태를 보다 정확하게 판단 및 예측하는 것이 가능한 클라우드 기반의 자율 주행 시스템을 제공하는 장점이 있다.

다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 본 개시의 실시 예에 따른 자율 주행 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 자율 주행 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 3은 본 개시의 실시 예에 따른 클라우드 서버의 구조를 설명하기 위한 블록도이다.
도 4는 본 개시의 다른 실시 예에 따른 클라우드 서버의 구조를 설명하기 위한 블록도이다.
도 5는 본 개시의 실시 예에 따른 클라우드 서버에서 자율 주행 차량 이상 상태 예측 및 판단을 위한 학습 모델 생성 절차를 설명하기 위한 순서도이다.
도 6은 본 개시의 실시 예에 따른 클라우드 서버에서의 자율 주행 차량의 이상 상태를 예측 및 판단하는 방법을 설명하기 위한 순서도이다.
도 7은 본 개시의 실시 예에 따른 자율 주행 차량 이상 상태 예측 및 판단 방법의 효과를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도 1 내지 7을 참조하여 본 개시에 따른 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템에 대해 상세히 설명하기로 한다.

도 1은 본 개시의 실시 예에 따른 자율 주행 시스템의 구성을 설명하기 위한 도면이다.

도 1을 참조하면, 자율 주행 시스템(100)은 크게 자율 주행 차량(10), 클라우드 서버(20) 및 유/무선 통신망(30)을 포함하여 구성될 수 있다.

자율 주행 차량(10)은 자율 주행 제어기(11), 차량 센서(12), 고정밀 지도 데이터베이스(13), 전자 제어 유닛(ECU(Electric Control Unit), 14), 통신부(15), 차량 데이터 저장부(16) 및 데이터 생성부(17)를 포함하여 구성될 수 있다.

자율 주행 제어기(11)는 자율 주행을 위한 인지/판단/제어 로직이 탑재되어 자율 주행 차량(10)의 전체적인 동작을 제어할 수 있다.

자율 주행 제어기(11)는 차량 센서(12)로부터 수집된 각종 데이터를 기반으로 고정밀 측위를 수행하고, 측위 결과에 기반하여 최적 경로를 생성할 수 있다.

자율 주행 제어기(11)는 차량 센서(12)로부터 수집된 각종 데이터-이하, "차량 센서 데이터"라 명함-에 기반하여 주변 객체를 인식하고, 인식 결과에 기반하여 해당 ECU(14)를 위한 제어 명령을 생성할 수 있다.

자율 주행 제어기(11)는 자율 주행에 필요한 인지/판단/제어 로직을 수행하기 위한 각각의 모듈이 구비할 수 있으며, 자율 주행 중 인지/판단/제어 모듈을 구동하여 자율 주행을 제어할 수 있다.

자율 주행 제어기(11)는 차량 센서 데이터를 기초로 인지 모듈, 판단 모듈 및 제어 모듈 각각에 의해 출력된 데이터-이하, "출력 데이터"라 명함-를 수집할 수 있다.

실시 예에 따른 자율 주행 제어기(11)는 유/무선 통신망(30)을 통해 클라우드 서버(20)와 연동될 수도 있다.

자율 주행 제어기(11)는 클라우드 서버(20)와의 연동을 통해 차량 센서 데이터 및 출력 데이터 중 적어도 하나를 적응적으로 스케줄링하여 클라우드 서버(20)에 전송할 수 있다.

자율 주행 제어기(11)는 차량 센서(12)로부터 수집된 센서 데이터 및/또는 탑재된 인지/판단/제어 모듈로부터의 출력 데이터를 데이터 생성부(17)에 전송할 수 있다.

일 예로, 자율 주행 제어기(11)는 차량 센서(12)로부터 수집된 실시간 저용량 데이터가 일정 주기를 가지고 클라우드 서버(20)에 전송되도록 제어할 수 있다.

다른 일 예로, 자율 주행 제어기(11)는 인지 모듈, 판단 모듈 및 제어 모듈 각각에 의해 출력된 저용량 데이터를 실시간 수집하여 클라우드 서버(20)에 전송할 수도 있다.

반면, 자율 주행 제어기(11)는 차량 센서(12)로부터 수집된 대용량 데이터를 차량 데이터 저장부(16)에 적재한 후 미리 설정된 시간대에 차량 데이터 저장부(16)로부터 추출하여 클라우드 서버(20)에 전송할 수도 있다.

데이터 생성부(17)는 자율 주행 제어기(11)의 소정 제어 신호에 따라 미리 설정된 시간대에 차량 데이터 저장부(16)에 적재된 대용량 데이터를 독출한 후 일정 전송 포맷으로 변환하여 통신부(15)에 전송할 수 있다.

통신부(15)는 대용량 데이터가 포함된 패킷을 유/무선 통신망(30)을 통해 클라우드 서버(20)로 전송할 수 있다.

실시 예에 따른 데이터 생성부(17)는 대용량 데이터를 압축 포맷으로 변환할 수 있다. 통신부(15)는 유선망-예를 들면, 유선 인터넷 통신망 및 광통신망- 또는 와이파이 통신망을 통해 대용량 데이터를 클라우드 서버(20)로 전송할 수 있다.

일 예로, 특정 시간대-예를 들면, 통신 부하가 적은 심야 시간대-에 전송된 대용량 데이터를 자율 주행 차량의 이상 상태 예측 및 판단을 위한 학습 모델을 생성 및 갱신하기 위해 목적으로 클라우드 서버(20)에 의해 사용될 수 있다.

실시 예에 따른 자율 주행 제어기(11)는 클라우드 서버(20)로부터 대용량 데이터 전송 요청 메시지가 수신되면, 데이터 생성부(17)가 대용량 데이터를 클라우드 서버(20)에 전송하도록 제어할 수 있다. 이때, 클라우드 서버(20)로 전송되는 대용량 데이터는 차량 센서(12)에 의해 실시간 생성된 대용량 데이터일 수 있다.

일 예로, 클라우드 서버(20)는 저용량 데이터만으로 자율 주행 차량의 이상 상태 예측 및 판단이 불가하다고 판단하거나 해당 이상 상태 케이스가 대용량 데이터를 포함한 추론 시 보다 정확하게 이상 진단이 가능하다고 판단한 경우, 자율 주행 차량(10)에 대용량 데이터 전송 개시를 요청할 수 있다.

일 예로, 저용량 데이터는 위치 데이터, 속도 데이터, 가속도 데이터, 조향각 데이터, 방향 지시등 데이터, 주행 차선 데이터 등 차량 및 주행 환경과 관련된 작은 크기의 데이터를 의미할 수 있다. 반면, 대용량 데이터는 라이다로부터 수집된 포인트 클라우드 데이터(PCD(Point Cloud Data), 차량에 장착된 각종 카메라로부터 수집된 영상 데이터 등의 상대적으로 크기가 큰 데이터를 의미할 수 있다.

실시 예로, 저용량 데이터는 자율 주행 제어기(11)의 인지/판단/제어 모듈의 출력 데이터를 포함할 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예로, 인지/판단/제어 모듈의 출력 데이터는 대용량 데이터에 포함될 수도 있다.

포인트 클라우드 데이터는 라이다 센서 또는 RGB-D 센서 등으로 수집되는 데이터이다. 라이다 센서 또는 RGB-D 센서는 물체에 빛/신호를 보내서 돌아오는 시간에 기반하여 각 빛/신호 당 물체까지의 거리를 계산하고, 계산된 거리에 기초하여 하나의 포인트(점)을 생성한다. 포인트 클라우드는 3차원 공간상에 퍼져 있는 여러 포인트들의 집합을 의미한다.

포인트 클라우드는 가로(x축) 정보 및 세로 정보(y축)로 표현되는 이차원 이미지와는 다르게 깊이(z축) 정보를 추가적으로 가지고 있기 때문에 3차원 이미지를 표현할 수 있다.

이차원 이미지 데이터 행렬에서 픽셀의 위치 정보는 항상 양수의 값을 가지며, 기준점은 행렬의 왼쪽 최상단부터이며 좌표 값은 정수로 표현된다.

이에 반해, 포인트 클라우드에서의 점의 위치는 양수 또는 음수의 값을 가지며, 기준점은 센서의 위치이고, 좌표 값은 실수로 표현된다.

실시 예에 따른 포인트 클라우드 데이터는 전체 포인트 수, 데이터 타입, 크기 등의 정보를 포함하는 헤더와 (x,y,z) 좌표 정보 및 기타 추가 정보를 포함하는 페이로드로 구성될 수 있다.

클라우드 서버(20)는 평상시에 자율 주행 차량(10)으로부터 수신되는 실시간 저용량 데이터를 기반으로 자율 주행 차량(10)의 이상 상태 진단을 수행할 수 있다.

클라우드 서버(20)는 저용량 데이터에 기반하여 추론된 이상 상태 케이스가 대용량 데이터의 추가 분석 시 이상 진단 정확도가 향상되는 것으로 판단한 경우, 해당 대용량 데이터의 전송을 자율 주행 차량(10)에 요청할 수 있다.

클라우드 서버(20)는 저용량 데이터 및 대용량 데이터를 포함하는 전체 데이터를 기반으로 기 학습된 모델에 따라 이상 상태 추론을 수행하여 해당 자율 주행 차량의 이상 진단을 수행할 수 있다.

클라우드 서버(20)는 자율 주행 차량(10)에 대한 이상 상태가 감지되었거나 이상 상태로의 진입이 예측된 경우, 각각에 대한 소정 경고 알람 메시지를 생성하여 자율 주행 차량(10)으로 전송할 수 있다.

실시 예에 따른 자율 주행 시스템(100)은 자율 주행 관제 센터(40)를 더 포함할 수 있다. 클라우드 서버(20)는 자율 주행 차량(10)에 대한 이상 상태가 감지되었거나 이상 상태로의 진입이 예측된 경우, 각각에 대한 소정 경고 알람 메시지를 생성하여 자율 주행 관제 센터(40)로 전송할 수 있다.

자율 주행 관제 센터(40)는 이상 상태가 감지된 차량의 주변 차량들을 식별하고, 식별된 주변 차량들에 이상 감지 차량에 대한 정보가 포함된 경고 알람 메시지를 전송할 수 있다.

실시 예에 따른 유/무선 통신망(30)는 4G LTE 통신망, 5G NR 통신망, 6G 통신망과 같은 이동통신망 뿐만 아니라 와이파이 통신망 및 유선 통신망을 포함할 수 있다.

자율 주행 차량(10)은 자율 주행에 필요한 각종 안전 센서(Safety Sensor)를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Advanced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.

카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다.

카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다.

또한, 자율 주행 차량(10)에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다.

또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다.

본 발명의 일 실시예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수도 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다.

레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다.

자율 주행 차량(10)에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.

라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할 뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다.

소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다.

소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다.

자율 주행 차량(10)은 각 차량 센서(12)로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다.

자율 주행 차량(10)은 수집된 센싱 데이터를 데이터의 크기에 따라 분류한 후 주기적 또는 온-디멘드로 유/무선 통신망(30)를 통해 해당 센싱 데이터를 클라우드 서버(20)로 전송할 수 있다.

자율 주행 차량(10)은 자율 주행 제어기(11)의 인지/판단/제어 모듈에 의한 출력 데이터를 주기적 또는 온-디멘드로 유/무선 통신망(30)을 통해 클라우드 서버(20)에 전송할 수 있다.

도 2는 본 개시의 일 실시 예에 따른 자율 주행 차량의 일반적인 동작을 설명하기 위한 도면이다.

도 2를 참조하면, 자율 주행 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.

정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보(또는 데이터)를 제공할 수 있다.

도 3에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.

고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.

일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 스티어링 조향각 센서, 속도 센서, 가속도 센서, 타이어 공기압 감지 시스템(Tire Pressure Monitoring System), 휠 스피드 센서, 차량 자세 제어(Electronic Stability Control, ESC)를 위한 자이로 센서, 관성 센서(Inertial Measurement Unit, IMU), 위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.

GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록　칼만 필터가 사용될 수 있다.

라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.

카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.

레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다.

처리 및 판단 주체(302)는 자율 주행 제어기의 상술한 인지/판단/제어 모듈에 해당될 수 있다.

자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.

고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.

경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.

V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.

자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다.

센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.

센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다.

제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.

원격 주행 연결부(또는 ToD(Tele-operated Driving) 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.

원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.

동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.

모든 자율 주행 차량은 스스로의 정보를 이용하여, 자율 주행 가능성과 가능하지 않음을 판단하고 자율 주행이 가능할 때 자율 주행을 수행한다.

모든 자율 주행 기술들은 이러한 정보를 이용하여 주변 상황을 얼마나 정확하게 판단하느냐가 중요한 요소이며, 이를 위해 좀더 정확한 센서, 좀더 정확한 알고리즘, 좀더 정확한 제어 방법이 요구되고 있다.

하지만, 현재 자율 주행 기술은 아직 인식할 수 없는 객체가 존재하며, 이에 따라 인식하지 못한 객체로 인한 충돌 사고가 빈번히 발생되고 있다.

센서 정보를 기초로 감지 및 인식된 객체 정보와 지도상의 객체 정보가 상이한 복잡한 트래픽지역-예를 들면, 차선이 막힌 공사 구간-에서는 기존의 주행 규칙 -예를 들면, 실선을 넘어갈 수 없거나, 도로 밖으로는 차량이 진입할 수 없음-를 따를 경우, 더 이상 자율 주행이 불가할 수 있다.

이와 같은 자율 주행의 문제점을 극복하기 위해, 최근 원격 주행 기술이 법제화되고 있으며, 이 기술은 자율 주행 차량이 자율 주행이 불가한 경우, 원격지에서 원격으로 차량을 제어하는 기술이다

즉, 현재 자율 주행 기술들은, “자율 주행 센서들이 검출한 정보를 기반으로 자율 주행을 하거나, 상술한 바와 같이, 특수한 경우 중앙선을 넘는 등의 법규 위반을 할 수 없다거나, 주변 정보가 갱신되기 전까지는 그 지역의 자율 주행이 불가능하다거나, 차량이 갖는 자율 주행 능력(level.1 ~ level.5)을 벗어나는 자율 주행을 수행할 수 없다-예를 들면, lv.2 자율 주행 차량은 상기와 같은 경우 차선을 바꾸어 가면서 자율 주행을 수행할 수 없음)"는 점이 단점으로 작용한다.

따라서 이러한 지역에서는 자율 주행 차량은 원격 제어 센터(미도시)에 ToD(Tele-operated Driving) 로의 전환을 요청하고, 원격지 제어 센터에서는 사람이 주행 상황을 모니터링하면서 차량을 원격으로 제어함으로써 자율 주행의 상술한 단점을 극복할 수 있다.

도 3은 본 개시의 실시 예에 따른 클라우드 서버의 구조를 설명하기 위한 블록도이다.

상세하게, 도 3은 클라우드 서버(20)가 자율 주행 차량(10)으로부터 수집된 데이터에 기반하여 자율 주행 차량의 이상 상태를 예측 및 판단하기 위한 학습 모델을 생성하는 구체적인 절차를 설명하기 위한 도면이다. 여기서, 자율 주행 차량(10)으로부터 수집되는 데이터는 센서 데이터뿐만 아니라 자율 주행 제어기의 인지/판단/제어 모듈에 의해 출력된 출력 데이터를 포함할 수 있다.

도 3을 참조하면, 클라우드 서버(20)는 제1 학습부(310), 제2 학습부(320), 제1 매칭부(330), 제2 매칭부(340), 확률 추론 값 비교부(350), 추출부(370), 데이터 동기화부(380), 저용량 데이터 저장소(390), 대용량 데이터 저장소(395), 검증 데이터셋 저장소(396)을 포함하여 구성될 수 있다.

자율 주행 차량의 이상 상태와 관련되었거나 이상 상태로 확인된 저용량 데이터 및 대용량 데이터는 검증 데이터셋 저장소(396)에 기록될 수 있다.

실시 예에 따른 저용량 데이터 및 대용량 데이터는 해당 데이터를 전송한 차량 식별 정보, 해당 데이터가 생성된 시간 정보 및 해당 데이터를 생성한 센서 식별 정보 등을 포함할 수 있다.

실시 예에 따른 저용량 데이터 및 대용량 데이터는 자율 주행 제어기(11)의 출력 데이터가 어느 모듈에 의해 출력된 데이터인지를 식별하기 위한 모듈 식별 정보를 더 포함할 수 있다.

데이터 동기화부(380)는 저용량 데이터 저장소(390)에 적재된 저용량 데이터와 대용량 데이터 저장소(395)에 적재된 대용량 데이터를 해당 데이터가 수집된 시간 정보를 기반으로 동기화한 후 동기화된 데이터를 제1 학습부(310) 및 제2 학습부(320)에 제공할 수 있다.

제1 학습부(310)는 사전 적재된 저용량 데이터에 기반한 기계 학습을 수행하여 자율 주행 차량의 이상 상태 진단을 위한 제1 학습 모델을 생성 및 갱신할 수 있다.

제2 학습부(320)는 사전 적재된 저용량 데이터 및 대용량 데이터에 기반한 기계 학습을 수행하여 자율 주행 차량의 이상 상태 진단을 위한 제2 학습 모델을 생성 및 갱신할 수 있다.

일 예로, 제1 학습부(310) 및 제2 학습부(320)는 소정 주기로 특정 시간대-예를 들면, 하루에 한번 심야 시간대-에 학습을 수행하여 인공 신경망 또는 딥러닝 네트워크의 은닉 계층(hidden layer) 가중치(weight) 및/또는 바이어스(bias) 값을 갱신할 수 있다.

전체 데이터가 처리되는 제2 학습부(320)의 은닉 계층의 수 및 각 은닉 계층 별 구성된 노드의 수는 저용량 데이터만을 처리하는 제1 학습부(310)에 비해 클 수 있다.

제1 학습부(310) 및 제2 학습부(320)는 각각의 학습 모델이 갱신된 경우, 사전 적재된 검증 데이터셋(validation data set)에 기반하여 갱신된 학습 모델에 대한 검증 절차를 수행할 수 있다. 여기서, 검증 데이터셋은 과거 이상 상태로 확정된 이력이 있는 데이터들의 집합으로 구성될 수 있다.

실시 예로, 검증 데이터셋은 저용량 검증 데이터셋과 대용량 검증 데이터셋으로 구성될 수 있다.

검증 데이터셋에 대한 제1 학습부(310) 및 제2 학습부(320)의 출력 값은 차량이 이상 상태를 표현하는 확률 값으로 출력될 수 있다. 일 예로, 출력되는 확률 값은 [이상 상태일 확률 값, 정상 상태일 확률 값]으로 표현될 수 있다. 일 예로, 출력되는 확률 값이 [0.9, 0.1]인 경우, 차량이 이상 상태일 확률은 90%이고, 차량이 정상 상태일 확률이 10%임을 의미할 수 있다. 차량이 이상 상태일 확률 값이 소정 임계치 이상인 경우, 클라우드 서버(20)는 해당 차량이 이상 상태인 것으로 확정할 수 있다.

제1 매칭부(330)는 제1 학습부(310)의 출력 값에 기반하여 이상 상태로 판단된 케이스를 식별하고, 식별된 이상 상태 케이스를 사전 정의된 이상 상태 리스트의 해당 타입에 매칭시킬 수 있다.

제2 매칭부(340)는 제2 학습부(310)의 출력 값에 기반하여 이상 상태로 판단된 케이스를 식별하고, 식별된 이상 상태 케이스를 사전 정의된 이상 상태 리스트의 해당 타입에 매칭시킬 수 있다.

일 예로, 사전 정의된 이상 상태 리스트에 포함된 이상 상태 타입은 종방향 울컥거림, 횡방향 출렁임, 지그재그 주행, 한쪽 차선에 붙어서 주행, 차량 위치 이상 등을 포함할 수 있으나, 이에 한정되지는 않으며, 당업자의 설계에 따라 이상 상태 리스트에 포함되는 이상 상태 타입은 추가되거나 변경될 수 있다.

확률 추론 값 비교부(350)는 동일 시간대의 검증 데이터셋에 이상 상태 케이스에 대한 제1 학습부(310) 및 제2 학습부(320)의 확률 추론 값을 비교할 수 있다.

추출부(370)는 확률 추론 값 비교 결과에 기반하여 대용량 데이터를 추가하여 추론 시 이상 상태 판단 및 예측 정확도가 증가하는 이상 상태 타입 또는 이상 상태 케이스를 식별할 수 있다. 추출부(370)는 식별된 이상 상태 타입 또는 이상 상태 케이스에 기반하여 대용량 데이터 유효 이상 상태 리스트를 생성할 수 있다.

실시 예에 따른 이상 상태 타입은 적어도 하나의 이상 상태 케이스가 매칭될 수 있으며, 특정 이상 상태 타입 또는 이상 상태 케이스는 대용량 데이터가 추가된 전체 데이터에 기반하여 차량 이상 상태 진단 시 보다 높은 추론 정확도가 보장될 수 있다.

도 4는 본 개시의 다른 실시 예에 따른 클라우드 서버의 구조를 설명하기 위한 블록도이다.

상세하게, 도 4는 자율 주행 차량(10)으로부터 실시간 주기적 저용량 데이터를 사전 학습된 학습 모델을 통해 이상 상태 추론한 후 추론 결과에 따라 적응적으로 해당 대용량 데이터를 자율 주행 차량(10)에 요청 및 획득한 후 획득된 대용량 데이터의 추가 분석을 통해 보다 정확하고 효율적인 자율 주행 차량의 이상 상태를 예측 및 판단하는 것이 가능한 클라우드 서버(20)의 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 클라우드 서버(20)는 제1 데이터 수신부(410), 제1 데이터 저장부(420), 제1 추론부(430), 판단부(440), 알람 생성부(450), 제2 데이터 요청부(460), 제2 데이터 수신부(470), 제2 데이터 저장부(480), 데이터 동기화부(490) 및 제2 추론부(495) 중 적어도 하나를 포함하여 구성될 수 있다.

제1 데이터 수집부(410)는 자율 주행 차량(10) 운행 중 실시간 저용량 데이터를 주기적으로 수신할 수 있다.

제2 데이터 저장부(410)는 제1 데이터 수집부(410)에 의해 수신된 저용량 데이터를 수신된 시간 순서에 따라 정렬하여 내부 메모리에 적재할 수 있다.

제1 추론부(430)는 제1 데이터 저장부(420)에 적재된 저용량 데이터에 기반한 기계 학습을 수행하여 자율 주행 차량(10)의 이상 상태를 추론할 수 있다.

제1 추론부(430)는 이상 상태 추론을 통해 이상 확률 추론 값을 출력할 수 있다. 또한, 제1 추론부(430)는 학습을 통해 이상 상태 케이스를 식별할 수도 있다.

판단부(440)는 제1 추론부(430)로부터 이상 상태 케이스 식별자와 해당 이상 상태 케이스 식별자에 상응하는 이상 확률 추론 값을 수신할 수 있다.

판단부(440)는 제1 추론부(430)로부터 수신된 이상 확률 추론 값이 특정 임계 범위 내인 경우, 사전 생성된 대용량 데이터 유효 이상 상태 리스트를 참조하여 해당 이상 상태 케이스 식별자가 대용량 데이터를 추가하여 추론 시 이상 상태 판단 정확도가 높아지는 이상 상태 케이스인지 판단할 수 있다.

판단 결과, 대용량 데이터를 추가하여 추론 시 이상 상태 판단 정확도가 높아지는 이상 상태 케이스인 경우, 판단부(440)는 제2 데이터 요청부(460)로 소정 제어 신호를 전송하여 대용량 데이터 전송을 요청할 수 있다.

제2 데이터 요청부(460)는 판단부(440)의 요청에 따라 자율 주행 차량(10)으로 대용량 데이터 전송 요청 메시지를 전송할 수 있다.

자율 주행 차량(10)의 자율 주행 제어기(11)는 통신부(15)를 통해 대용량 데이터 전송 요청 메시지가 수신되면, 데이터 생성부(17)에 대용량 데이터 전송 개시를 요청할 수 있다.

데이터 생성부(17)는 대용량 데이터 전송 개시 요청에 따라 실시간 수집된 대용량 데이터를 소정 포맷으로 변환한 후 통신부(15)에 전달할 수 있다.

클라우드 서버(20)의 제2 데이터 수신부(470)는 자율 주행 차량(10)으로부터 대용량 데이터를 수신할 수 있다. 이때, 대용량 데이터는 이동통신망을 통해 수신될 수 있다.

제2 데이터 수신부(470)는 수신된 대용량 데이터의 포맷을 변환하여 제2 데이터 저장부(480)에 전송할 수 있다. 일 예로, 제2 데이터 수신부(470)는 대용량 데이터가 압축 포맷으로 수신된 경우, 압축 해제하여 제2 데이터 저장부(480)에 전송할 수 있다.

제2 데이터 저장부(480)는 제2 데이터 수신부(470)로부터 대용량 데이터를 내부 메모리에 적재할 수 있다.

데이터 동기화부(490)는 제1 데이터 저장부(420)에 적재된 저용량 데이터와 제2 데이터 저장부(480)에 적재된 대용량 데이터를 시간 동기화하여 제2 추론부(495)에 제공할 수 있다.

제2 추론부(495)는 시간 동기화된 저용량 데이터 및 대용량 데이터에 기반한 학습을 통해 차량 이상 상태를 추론할 수 있다.

제2 추론부(495)는 학습 결과로 획득한 이상 확률 추론 값 및 해당 이상 확률 추론 값에 상응하는 이상 상태 케이스 식별 정보를 판단부(440)에 제공할 수 있다.

판단부(440)는 제2 추론부(495)로부터 수신된 이상 확률 추론 값을 소정 임계치와 비교화여 자율 주행 차량(10)의 이상 진단을 수행할 수 있다.

진단 결과, 자율 주행 차량(10)이 이상 상태이거나 이상 상태로의 진입이 예측되는 경우, 판단부(440)는 경고 알람 생성을 지시하는 소정 경고 알람 요청 신호를 알람 생성부(450)에 전송할 수 있다.

알람 생성부(450)는 경고 알람 요청 신호가 수신되면, 해당 경고 알람 메시지를 생성하고, 생성된 경고 알람 메시지를 자율 주행 차량(10) 및/또는 자율 주행 관제 센터(40)로 전송할 수 있다.

자율 주행 제어기(11)는 클라우드 서버(20)로부터 경고 알람 메시지가 수신되면, 수신된 경고 알람 메시지의 타입에 따라 해당 안전 조치를 수행할 수 있다. 일 예로, 경고 알람 메시지의 타입은 경고 알람 메시지에 포함된 경고 알람 타입 식별자 및/또는 경고 알람 등급 식별자 등에 의해 식별될 수 있다.

일 예로, 안전 조치는 갓길 이동 후 정차, 차선 유지 감속 후 정차, 비상등 점등 후 감속 운행, 수동 운전 모드로 전환 및 원격 주행 모드로 전환 등을 포함할 수 있으나, 이에 한정되지는 않는다.

이상의 실시 예에서는 자율 주행 차량(10)의 클라우드 서버(20)로부터의 수신된 대용량 데이터 전송 요청 메시지에 따라 실시간 수집된 대용량 데이터를 클라우드 서버(20)에 전송하는 것으로 설명하고 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 자율 주행 차량(10)은 클라우드 서버(20)에 의해 요청된 시간대에 해당되는 대용량 데이터를 추출하여 클라우드 서버(20)에 전송할 수도 있다. 이 경우, 대용량 데이터 전송 요청 메시지는 이상 상태 추론에 필요한 대용량 데이터의 생성 시간대에 관한 정보를 포함할 수 있다.

전자의 경우, 완전한 실시간 차량 이상 진단이 가능하지만, 후자의 경우 완전한 실시간 차량 이상 상태 판단 및 예측은 불가능한 단점이 있다. 하지만, 후자의 경우 적어도 실제 이상 상태인데 이상 상태로 판단하지 못하는 상황-즉, True-Negative 상황-을 회피할 수 있는 장점이 있다.

도 5는 본 개시의 실시 예에 따른 클라우드 서버에서 자율 주행 차량 이상 상태 예측 및 판단을 위한 학습 모델 생성 절차를 설명하기 위한 순서도이다.

도 5를 참조하면, 클라우드 서버(20)는 자율 주행 차량의 이상 진단을 위한 초기 이상 상태 리스트 및 학습 모델 검증을 위한 검증 데이터셋을 생성할 수 있다(S501).

여기서, 검증 데이터셋은 저용량 데이터로 구성된 제1 검증 데이터셋과 대용량 데이터로 구성된 제2 검증 데이터셋으로 구분될 수 있다.

클라우드 서버(20)는 자율 주행 차량(10)으로부터 데이터를 수신하여 적재할 수 있다(S502). 여기서, 데이터는 저용량 데이터 및 대용량 데이터를 포함할 수 있다.

저용량 데이터는 이동통신망을 통해 실시간 주기적으로 수집되고, 대용량 데이터는 유선망 및/또는 와이파이망을 통해 비실시간/비주기적으로 수신될 수 있으나, 이는 하나의 실시 예에 불과하며, 대용량 데이터는 네트워크 부하가 적은 시간대에 이동통신망을 통해 수집되거나 클라우드 서버(20)의 별도 요청에 따라 이동통신망을 통해 On-demand로 수신될 수도 있다..

클라우드 서버(20)는 저용량 데이터에 기반한 학습을 통해 제1 학습 모델을 생성 및 갱신할 수 있다(S503).

클라우드 서버(20)는 제1 검증 데이터셋에 기반하여 매 갱신된 제1 학습 모델에 대한 검증 절차를 수행할 수 있다(S504).

클라우드 서버(20)는 제1 검증 데이터셋에 기반한 검증 결과-예를 들면, 제1 이상 확률 추론 값-에 기반하여 제1 검증 데이터셋에 상응하는 이상 상태 케이스를 이상 상태 리스트에 매칭시킬 수 있다(S505). 일 예로, 제1 이상 확률 추론 값이 미리 설정된 제1 임계값 이상인 경우, 해당 제1 검증 데이터셋에 상응하는 제1 이상 상태 케이스를 이상 상태 리스트의 해당 이상 상태 타입에 매칭시킬 수 있다.

클라우드 서버(20)는 전체 데이터에 기반한 학습을 통해 제2 학습 모델을 생성 및 갱신할 수 있다(S506). 여기서, 전체 데이터는 시간 동기화된 저용량 데이터 및 대용량 데이터로 구성될 수 있다.

클라우드 서버(20)는 전체 검증 데이터셋에 기반하여 매 갱신된 제2 학습 모델에 대한 검증 절차를 수행할 수 있다(S507). 여기서, 전체 검증 데이터셋은 시간 동기화된 제1 검증 데이터셋과 제2 검증 데이터셋으로 구성될 수 있다.

클라우드 서버(20)는 전체 검증 데이터셋에 기반한 검증 결과-예를 들면, 제2 이상 확률 추론 값-에 기반하여 전체 검증 데이터셋에 상응하는 제2 이상 상태 케이스를 이상 상태 리스트에 매칭시킬 수 있다(S508).

일 예로, 제2 이상 확률 추론 값이 미리 설정된 제2 임계값 이상인 경우, 해당 전체 검증 데이터셋에 상응하는 제2 이상 상태 케이스를 이상 상태 리스트의 해당 이상 상태 타입에 매칭시킬 수 있다.

여기서, 제2 임계 값은 상기 제1 임계 값과 동일한 값으로 설정될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예는 제2 임계 값이 상기 제1 임계 값보다 큰 값으로 설정될 수도 있다.

클라우드 서버(20)는 이상 상태 타입 별 제1 내지 제2 이상 상태 케이스의 이상 확률 추론 값을 비교하여 대용량 데이터 수신이 필요한-즉, 대용량 데이터를 추가하여 추론 시 이상 상태 판단 정확도가 증가하는- 이상 상태 타입 및/또는 이상 상태 케이스를 식별할 수 있다(S509).

클라우드 서버(20)는 식별 결과에 기반하여 대용량 데이터 유효 이상 상태 리스트를 생성할 수 있다(S510).

도 6은 본 개시의 실시 예에 따른 클라우드 서버에서의 자율 주행 차량의 이상 상태를 예측 및 판단하는 방법을 설명하기 위한 순서도이다.

상세하게 도 6은 실시간 주기적으로 수신되는 저용량 데이터에 기반한 차량 이상 상태 추론 결과에 기반하여 자율 주행 차량에 대용량 데이터를 요청함으로써, 추론 정확도를 향상시키기 위한 방법에 관한 것이다.

도 6을 참조하면, 클라우드 서버(20)는 자율 주행 차량으로부터 저용량 데이터를 수신할 수 있다(S610). 여기서, 저용량 데이터는 자율 주행 차량(10)의 차량 센서(12)로부터 실시간 수집된 데이터가 무선망-예를 들면, 이동통신망-을 통해 클라우드 서버(20)에 주기적으로 수신될 수 있다.

클라우드 서버(20)는 저용량 데이터에 기반한 자율 주행 차량 이상 상태 추론 학습을 수행할 수 있다(S602).

클라우드 서버(20)는 추론 학습을 통해 획득한 이상 추론 확률 값과 제1 임계 값을 비교할 수 있다(S603).

클라우드 서버(20)는 이상 추론 확률 값이 제1 임계 값 보다 작은 경우, 이상 추론 확률 값을 제2 임계 값과 비교할 수 있다(S604). 여기서, 제2 임계 값은 제1 임계 값보다 작은 값으로 설정될 수 있다.

상기 604 단계의 비교 결과, 이상 추론 확률 값이 제2 임계 값보다 큰 경우, 클라우드 서버(20)는 이상 상태 케이스를 식별할 수 있다(S605).

클라우드 서버(20)는 식별된 이상 상태 케이스를 대용량 데이터 유효 이상 상태 리스트에 매칭할 수 있다(S606).

클라우드 서버(20)는 매칭 결과에 기반하여 식별된 이상 상태 케이스가 대용량 데이터 추가 추론이 유의한 이상 상태 케이스인지 판단할 수 있다(S607).

상기 607 단계의 판단 결과, 대용량 데이터 추가 추론이 유의한 이상 상태 케이스인 경우, 클라우드 서버(20)는 자율 주행 차량(10)에 대용량 데이터 전송을 요청하는 소정 메시지를 전송할 수 있다(S608).

여기서, 대용량 데이터 전송 요청 메시지는 전송 타입 필드 값을 포함할 수 있다.

상기 전송 타입 필드 값은 전송 요청된 대용량 데이터가 과거 특정 시간 구간에 대한 데이터임을 지시하는 제1 전송 타입 값과 전송 요청된 데이터가 실시간 수집된 대용량 데이터임을 지시하는 제2 전송 타입 값 중 어느 하나로 설정될 수 있다.

만약, 전송 필드 값이 제1 전송 타입 값으로 설정된 경우, 대용량 데이터 전송 요청 메시지는 특정 과거 시구간에 정보를 포함할 수 있다.

클라우드 서버(20)는 저용량 데이터 및 대용량 데이터에 기반한 자율 주행 차량 이상 상태 추론 학습을 수행할 수 있다(S609).

이후, 클라우드 서버(20)는 상술한 603 단계로 진입하여 자율 주행 차량의 이상 상태 진단 절차를 수행할 수 있다.

만약, 상기 603 단계의 비교 결과, 이상 추론 확률 값이 제1 임계 값보다 크거나 같은 경우, 클라우드 서버(20)는 자율 주행 차량(10)이 이상 상태인 것으로 판단하여 소정 경고 알람 메시지를 생성하여 자율 주행 차량(10) 및/또는 자율 주행 관제 센터(40)로 전송할 수 있다.

상기 604 단계에서, 이상 추론 확률 값이 제2 임계 값 이하이거나 상기 607 단계에서 대용량 데이터 추가 추론이 유의하지 않은 이상 상태 케이스로 판단된 경우, 클라우드 서버(20)는 601 단계로 회귀할 수 있다.

도 7은 본 개시의 실시 예에 따른 자율 주행 차량 이상 상태 예측 및 판단 방법의 효과를 설명하기 위한 도면이다.

상세하게 도 7은 가속도 변화 패턴에 따른 자율 주행 차량(10)의 정상 상황 및 이상-즉, 비정상- 상황을 보여준다.

자율 주행 차량(10)은 차량의 현재 위치, 차량 속도, 종/횡 가속도, 조향각, 차선 정보 등 비교적 작은 크기의 센서 데이터 및 자율 주행 제어기(11)에 의해 출력된 출력 데이터를 포함하는 저용량 데이터를 일정 주기를 가지고 이동 통신망을 통해 클라우드 서버(20)에 전송할 수 있다.

자율 주행 차량(10)은 미리 설정된 특정 시간대-예를 들면, 통신량이 적은 야간 시간대일 수 있음-라이다의 포인트 클라우드 데이터, 카메라를 통해 획득한 이미지 등의 대용량 데이터를 와이파이 망 또는 유선망을 통해 클라우드 서버(20)에 전송할 수 있다.

또한, 자율 주행 차량(10)은 단위 기간 동안의 대용량 데이터를 내부 저장소에 유지할 수 있으며, 클라우드 서버(10)의 요청에 따라 해당 대용량 데이터를 내부 저장소로부터 추출하여 이동통신망을 통해 클라우드 서버(20)에 전송할 수도 있다.

일 예로, 특정 시간대에 전송되는 대용량 데이터는 자율 주행 차량(10)의 이상 상태를 예측 및 판단하기 위한 학습 모델 및 이상 상태 리스트를 생성하기 위한 목적으로 사용될 수 있다.

반면, 클라우드 서버(20)의 요청에 따라 온디맨드(On-demand)로 전송되는 대용량 데이터는 이상 상태 예측 및 판단 정확도를 향상시키기 위한 목적으로 사용될 수 있다.

클라우드 서버(20)는 자율 주행 차량(10)으로부터 수집된 저용량 데이터 및/또는 대용량 데이터를 기반으로 기계 학습을 수행하여 자율 주행 차량(10)에 대한 이상 진단을 수행할 수 있다.

실시 예로, 자율 주행 차량(10)의 운행 중 클라우드 서버(20)에 의해 이상 상황이 감지된 경우, 클라우드 서버(20)는 해당 자율 주행 차량(10) 및/또는 자율 주행 모빌리티 운영자(미도시)에게 소정 경고 알람을 전송함으로써 사고 위험을 최소화시킬 수 있다.

실시 예로, 자율 주행 차량(10)의 운행 중 클라우드 서버(20)에 의해 이상 상황이 예측되는 경우에도, 클라우드 서버(20)는 해당 자율 주행 차량(10) 및/또는 자율 주행 모빌리티 운영자(미도시)에게 소정 경고 알람을 전송함으로써 해당 자율 주행 차량(10)에 대한 소정 안전 조치가 이루어지도록 제어할 수 있다.

일 예로, 자율 주행 차량(10)의 이상 상태를 알리는 소정 경고 알람 메시지가 클라우드 서버(20)로부터 수신된 경우, 자율 주행 제어기(11)는 안전한 갓길로 이동하여 정차하도록 제어할 수 있다.

다른 일 예로, 자율 주행 차량(10)의 이상 징후가 예측되었음을 알리는 소정 경고 알람 메시지가 클라우드 서버(20)로부터 수신된 경우, 자율 주행 제어기(11)는 자율 주행 차량(10)의 주행 모드를 자율 주행 모드에서 운전자 모드 또는 원격 제어 모드로 전환하도록 제어할 수 있다.

실시 예에 따른 클라우드 서버(10)는 실시간 저용량 데이터 분석을 통해 자율 주행 차량(10)의 이상 상태 예측 및 판단이 불가한 경우, 해당 대용량 데이터 전송을 자율 주행 차량(10)에 요청할 수 있다.

클라우드 서버(10)는 추가적으로 획득한 대용량 데이터에 더 기반하여 자율 주행 차량(10)의 이상 진단을 수행함으로써 보다 정확하게 이상 상태 여부를 판단할 수 있다.

도 7을 참조하면, 도면 번호 710은 정상적인 상황에서 자율 주행 차량(10)의 가속도 변화 패턴을 보여주고, 도면 번호 720은 이상 상황에서의 자율 주행 차량(10)의 가속도 변화 패턴을 보여준다.

일 예로, 도면 번호 720에 따른 가속도 변화 패턴은 차량이 종방향으로 울컥거림이 발생하는 상황에서 발생될 수 있다. 이 경우, 자율 주행 차량(10)의 탑승자는 불편함을 느낄 수 있으며, 경우에 따라서는 급제동으로 인해 후방 차량과의 추돌 사고와 같은 더 위험한 상황을 야기할 수 있다.

본 개시에 따른 클라우드 서버(20)는 해당 차량의 종방향 가속도 정보 또는 자율 주행 제어기(11)에 의해 계산된 요구 가속도 정보를 포함한 다른 추가적인 데이터를 분석하여 가속도 변화 패턴을 인식하고, 인식된 가속도 변화 패턴에 기반하여 해당 자율 주행 차량(10)에 대한 이상 진단을 수행할 수 있다.

하지만, 도면 번호 720에 보여지는 가속도 변화 패턴은 정상 상황일 때 나타날 수도 있다. 일 예로, 전방 옆차로의 차량이 자차로 안쪽으로 들어왔다 나갔다를 반복하는 경우 자차의 가속도는 심하게 출렁일 수 있다.

이러한 문제점을 해결하기 위해, 본 개시에 따른 클라우드 서버(20)는 저용량 데이터에 기반한 이상 상태 추론의 정확도가 기준치 이하인 경우-예를 들면, 연산된 이상 상태 추론 확률 값이 소정 임계치보다 작은 경우- 해당 자율 주행 차량(10)에 해당 대용량 데이터 전송을 요청하여 이상 상태 추론 정확도를 높일 수 있다.

일 예로, 아래와 같은 원인에 의한 이상 상태가 고려될 수 있다.

라이다 센서 이상->라이다 데이터 이상->전방 타겟 인지 결과 부정확->종방향 울컥거림

이상에서 설명한 바와 같이, 클라우드 서버(20)가 자율 주행 차량(10)으로부터 라이다 포인트 클라우드 데이터와 같은 대용량의 데이터를 저용량 데이터와 같이 받아서 자율 주행 차량(10)의 이상 상태를 예측 및 판단할 경우, 실제 차량의 울컥거림이 앞서 언급한 옆차로 전방 차량이 끼어들었다 나갔다를 반복하는 상황과 같이 자율 주행 차량의 이상 상태로 판단하면 안되는 상황을 보다 잘 구분할 수 있으며, 이에 따라 자율 주행 차량의 이상 상태 예측 및 판단의 정확도를 향상시킬 수 있다.

하지만, 현실적으로 좁은 영역에 다수의 자율 주행 차량이 운행되는 경우 모든 차량에 상술한 방법을 적용하는 것은 네트워크 대역폭 제한에 따라 어려운 문제점이 있다.

일 예로, LTE, 5G와 같은 상용 통신망의 한정된 무선 대역폭 안에서 일반 가입자와 같이 무선망 자원을 공유해서 사용해야 하는 상황에서, 자율 주행 차량의 데이터 전송에 너무 많은 무선 자원이 할당될 경우 타 가입자의 서비스 품질이 현저히 저하되는 현상이 발생될 수 있다.

본 개시의 따른 클라우드 서버(20)은 상술한 문제점을 해결하기 위해, 대용량 데이터 분석이 필요한 자율 주행 차량을 선별하고, 선별된 자율 주행 차량에만 대용량 데이터 전송을 요청함으로써, 이상 상태 예측 및 판단 정확도를 보장하고, 한정된 네트워크 자원을 효율적으로 사용할 수 있는 장점이 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

이상 본 발명의 실시예에 따른 단말기, 클라우드 서버, 클라우드 AR 플랫폼의 영상 송수신 시스템 및 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

Claims

클라우드 서버에서의 자율 주행 차량 이상 상태 예측 및 판단 방법에 있어서,
상기 자율 주행 차량으로부터 제1 데이터를 수신하는 단계;
상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 추론 학습 단계;
상기 추론 학습 결과에 기반하여 상기 자율 주행 차량에 제2 데이터 전송을 요청하는 메시지를 전송하는 단계;
상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 단계; 및
상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량에 구비된 센서로부터 수집된 센서 데이터 및 상기 자율 주행 차량의 자율 주행 제어기에 탑재된 인지/판단/제어 모듈의 출력 데이터 중 적어도 하나를 포함하여 구성되고,
상기 제1 데이터의 크기는 상기 제2 데이터의 크기보다 작은, 방법.
제1항에 있어서,
상기 추론 학습 단계는,
상기 제1 데이터에 기반한 학습을 통해 제1 이상 추론 확률 값을 획득하는 단계; 및
상기 제1 데이터에 상응하는 이상 상태 케이스를 식별하는 단계
를 포함하는, 방법.
제3항에 있어서,
상기 제1 이상 추론 확률 값을 적어도 하나의 소정 임계 값과 비교하여 상기 식별된 이상 상태 케이스가 상기 제2 데이터의 추가 추론이 유효한지 여부를 판단하는 단계를 더 포함하는, 방법.
제4항에 있어서,
상기 제1 이상 추론 확률 값이 제1 임계 값보다 작고, 제2 임계 값보다 큰 것에 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단하는, 방법.
제5항에 있어서,
상기 제2 추론 학습을 통해 제2 이상 추론 확률 값을 획득하는 단계; 및
상기 제1 이상 추론 확률 값 또는 상기 제2 이상 추론 확률 값이 상기 제1 임계 값보다 큰 것에 기반하여 상기 자율 주행 차량에 소정 경고 알람 메시지를 전송하는 단계
를 포함하는, 방법.
제5항에 있어서,
상기 자율 주행 차량의 이상 상태 진단을 위한 적어도 하나의 이상 상태 타입에 관한 정보가 포함된 이상 상태 리스트를 생성하는 단계;
학습 모델 검증을 위해 이상 상태 케이스가 확인된 제1 내지 2 검증 데이터셋을 생성하는 단계;
상기 제1 데이터 및 상기 제2 데이터에 기반하여 학습 데이터셋을 생성하는 단계;
상기 학습 데이터셋에 기반하여 제1 내지 2 학습 모델을 생성 및 갱신하는 단계;
상기 제1 검증 데이터셋에 기반하여 매 갱신된 상기 제1 학습 모델에 대한 검증을 수행하는 제1 검증 단계; 및
상기 제1 검증 데이터셋 및 제2 검증 데이터셋에 기반하여 매 갱신된 상기 제2 학습 모델에 대한 검증을 수행하는 제2 검증 단계
를 포함하는, 방법.
제7항에 있어서,
상기 제2 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값이 상기 제1 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값보다 큰 것에 기반하여 상기 제1 이상 상태 케이스를 상기 제2 데이터 추가 추론이 유효한 이상 상태 케이스로 결정하는 단계; 및
상기 제2 데이터 추가 추론이 유효한 것으로 결정된 상기 제1 이상 상태 케이스를 유효 이상 상태 리스트에 추가하는 단계
를 더 포함하되, 상기 유효 이상 상태 리스트에 더 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단하는, 방법.
제7항에 있어서,
상기 학습 데이터셋은,
상기 제1 데이터로 구성된 제1 학습 데이터셋; 및
상기 제2 데이터로 구성된 제2 학습 데이터셋
을 포함하되,
상기 제1 학습 모델은 상기 제1 학습 데이터셋에 기반하여 생성 및 갱신되고, 상기 제2 학습 모델은 시간 동기화된 상기 제1 학습 데이터셋 및 상기 제2 학습 데이터셋에 기반하여 생성 및 갱신되는, 방법.
제7항에 있어서,
상기 제1 학습 데이터셋은 실시간 일정 주기로 이동통신망을 통해 상기 자율 주행 차량으로부터 수신되어 적재되고,
상기 제2 학습 데이터셋은 특정 시간대에 유선망 또는 와이파이망을 통해 상기 자율 주행으로부터 수신되어 적재되는, 방법.
제1항에 있어서,
상기 제1 데이터 및 상기 제2 데이터를 시간 동기화시키는 단계를 더 포함하되, 상기 시간 동기화된 상기 제1 데이터 및 상기 제2 데이터에 기반하여 상기 차량 이상 상태 추론 학습이 재수행되는, 방법.
제1항에 있어서,
상기 메시지는 상기 제2 데이터의 전송 타입을 지시하는 전송 타입 필드를 포함하고,
상기 전송 타입 필드의 값은,
과거 특정 시구간에 생성된 상기 제2 데이터의 전송을 지시하는 제1 타입 필드 값; 및
현재 생성된 상기 제2 데이터의 전송을 지시하는 제2 타입 필드 값
중 어느 하나로 설정되는, 방법.
적어도 하나의 프로세서에 의해 실행될 때, 클라우드 서버에 구비된 상기 적어도 하나의 프로세서가 자율 주행 차량 이상 상태 예측 및 판단하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
상기 동작들은,
상기 자율 주행 차량으로부터 제1 데이터를 수신하는 단계;
상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 추론 학습 단계;
상기 추론 학습 결과에 기반하여 상기 자율 주행 차량에 제2 데이터 전송을 요청하는 메시지를 전송하는 단계;
상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 단계; 및
상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 단계
를 포함하는, 저장 매체.
네트워크를 통해 자율 주행 차량과 연동되는 클라우드 서버에 있어서,
상기 자율 주행 차량으로부터 상기 네트워크를 통해 제1 데이터를 수신하는 제1 데이터 수신부;
상기 제1 데이터에 기반한 차량 이상 상태 추론 학습을 수행하는 제1 추론부;
상기 추론 학습 결과에 기반하여 차량 이상 진단을 위해 제2 데이터의 추가 추론이 필요한지 판단하는 판단부;
상기 판단 결과에 따라 상기 자율 주행 차량에 상기 제2 데이터 전송을 요청하는 메시지를 전송하는 제2 데이터 요청부;
상기 자율 주행 차량으로부터 상기 제2 데이터를 수신하는 제2 데이터 수신부; 및
상기 제2 데이터에 더 기반하여 상기 차량 이상 상태 추론 학습을 재수행하는 제2 추론부
를 포함하는, 클라우드 서버.
제14항에 있어서,
상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량에 구비된 센서로부터 수집된 센서 데이터 및 상기 자율 주행 차량의 자율 주행 제어기에 탑재된 인지/판단/제어 모듈의 출력 데이터 중 적어도 하나를 포함하여 구성되고 ,
상기 제1 데이터의 크기는 상기 제2 데이터의 크기보다 작은 것을 특징으로 하는, 클라우드 서버.
제14항에 있어서,
상기 제1 추론부가,
상기 제1 데이터에 기반한 학습을 통해 제1 이상 추론 확률 값을 획득하고,
상기 제1 데이터에 상응하는 이상 상태 케이스를 식별하는 것을 특징으로 하는, 클라우드 서버.
제16항에 있어서,
상기 판단부가,
상기 제1 이상 추론 확률 값을 적어도 하나의 소정 임계 값과 비교하여 상기 식별된 이상 상태 케이스가 상기 제2 데이터의 추가 추론이 유효한지 여부를 판단하는, 클라우드 서버.
제17항에 있어서,
상기 판단부가,
상기 제1 이상 추론 확률 값이 제1 임계 값보다 작고, 제2 임계 값보다 큰 것에 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단하는, 클라우드 서버.
제18항에 있어서,
상기 제2 추론부가 상기 추론 학습을 재수행하여 제2 이상 추론 확률 값을 획득하고,
상기 판단부가 상기 제1 이상 추론 확률 값 또는 상기 제2 이상 추론 확률 값이 상기 제1 임계 값보다 큰 것에 기반하여 상기 자율 주행 차량에 소정 경고 알람 메시지를 전송하도록 제어하는, 클라우드 서버.
제18항에 있어서,
상기 자율 주행 차량의 이상 상태 진단을 위한 적어도 하나의 이상 상태 타입에 관한 정보가 포함된 이상 상태 리스트를 생성하고;
학습 모델 검증을 위해 이상 상태 케이스가 확인된 제1 내지 2 검증 데이터셋을 생성하고;
상기 제1 데이터 및 상기 제2 데이터에 기반하여 학습 데이터셋을 생성하고;
상기 학습 데이터셋에 기반하여 제1 내지 2 학습 모델을 생성 및 갱신하고;
상기 제1 검증 데이터셋에 기반하여 매 갱신된 상기 제1 학습 모델의 검증을 위한 제1 검증을 수행하고,
상기 제1 검증 데이터셋 및 제2 검증 데이터셋에 기반하여 매 갱신된 상기 제2 학습 모델의 검증을 위한 제2 검증을 수행하는, 클라우드 서버.
제20항에 있어서,
상기 제2 검증 수단을 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값이 상기 제1 검증 단계를 통해 식별된 상기 제1 이상 상태 케이스에 상응하는 이상 확률 추론 값보다 큰 것에 기반하여 상기 제1 이상 상태 케이스가 상기 제2 데이터 추가 추론이 유효한 이상 상태 케이스로 결정되고,
상기 제2 데이터 추가 추론이 유효한 것으로 결정된 상기 제1 이상 상태 케이스가 유효 이상 상태 리스트에 추가되되, 상기 판단부가 상기 유효 이상 상태 리스트에 더 기반하여 상기 제2 데이터의 추가 추론이 유효한 것으로 판단하는, 클라우드 서버.
제20항에 있어서,
상기 학습 데이터셋은,
상기 제1 데이터로 구성된 제1 학습 데이터셋; 및
상기 제2 데이터로 구성된 제2 학습 데이터셋
을 포함하되,
상기 제1 학습 모델은 상기 제1 학습 데이터셋에 기반하여 생성 및 갱신되고, 상기 제2 학습 모델은 시간 동기화된 상기 제1 학습 데이터셋 및 상기 제2 학습 데이터셋에 기반하여 생성 및 갱신되는, 클라우드 서버.
제20항에 있어서,
상기 제1 학습 데이터셋은 실시간 일정 주기로 이동통신망을 통해 상기 자율 주행 차량으로부터 수신되어 적재되고,
상기 제2 학습 데이터셋은 특정 시간대에 유선망 또는 와이파이망을 통해 상기 자율 주행으로부터 수신되어 적재되는, 클라우드 서버.
제14항에 있어서,
상기 제1 데이터 및 상기 제2 데이터를 시간 동기화시키는 데이터 동기화부를 더 포함하되, 상기 시간 동기화된 상기 제1 데이터 및 상기 제2 데이터에 기반하여 상기 차량 이상 상태 추론 학습이 재수행되는, 클라우드 서버.
제14항에 있어서,
상기 메시지는 상기 제2 데이터의 전송 타입을 지시하는 전송 타입 필드를 포함하고,
상기 전송 타입 필드의 값은,
과거 특정 시구간에 생성된 상기 제2 데이터의 전송을 지시하는 제1 타입 필드 값; 및
현재 생성된 상기 제2 데이터의 전송을 지시하는 제2 타입 필드 값
중 어느 하나로 설정되는, 클라우드 서버.
네트워크를 통해 클라우드 서버와 연동되는 자율 주행 차량의 방법에 있어서,
차량 센서로부터 실시간 수집된 제1 데이터를 일정 주기로 상기 클라우드 서버에 전송하는 단계;
상기 클라우드 서버로부터 제2 데이터의 전송을 요청하는 메시지를 수신하는 단계; 및
상기 메시지가 수신된 것에 기반하여 상기 차량 센서로부터 수집된 제2 데이터를 상기 클라우드 서버로 전송하는 단계
를 포함하되, 상기 제1 데이터 및 상기 제2 데이터는 상기 자율 주행 차량의 이상 상태 진단을 위한 것이고, 상기 제2 데이터의 크기는 상기 제1 데이터의 크기보다 큰 것을 특징으로 하는,
자율 주행 차량.