KR101967339B1

KR101967339B1 - 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법

Info

Publication number: KR101967339B1
Application number: KR1020180026490A
Authority: KR
Inventors: 최상일; 유한주; 김현일
Original assignee: 단국대학교 산학협력단
Priority date: 2018-03-06
Filing date: 2018-03-06
Publication date: 2019-04-09
Also published as: US20190276041A1; US10946864B2

Abstract

본 발명은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법에 관한 것으로, 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하는 것이다.

Description

심층학습 기반의 ＡＤＡＳ 센서 고장 진단 및 백업을 위한 장치 및 방법{System and Method for Diagnosing Fault and Backup of ＡＤＡＳ Sensors based on Deep Learning}

본 발명은 운전자보조시스템에 관한 것으로, 구체적으로 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법에 관한 것이다.

최근 운전자 편의 및 안전을 위해서 다양한 운전자보조시스템(Advanced Driver Assistance Systems, ADAS)이 개발되어 사용되고 있다.

예를 들어, 차량의 전방 차량을 인식하여 일정 거리를 유지하면서 차량속도를 자동으로 제어하는 스마트 크루즈 컨트롤(Smart Cruise Control, SCC), 운전자 부주의로 인해 차량이 방향 지시등 없이 차선을 이탈 시 조향을 제어하여 차선 안으로 복귀할 수 있도록 보조해주는 차선유지 보조시스템(Lane Keeping Assist System, LKAS), 주차공간을 인식하여 운전자 대신 주차를 수행해주는 주차조향보조 시스템(Smart Parking Assist System, SPAS) 등 다양한 시스템들이 차량에 적용되고 있고, 적용범위 및 기능이 점차 확대되고 있는 추세이다.

이와 같은 시스템들은 운전자가 주행하는 환경을 인식하여 주행상황에 맞추어 보조를 하기 위해 레이더(RADAR), 라이더(LIDAR), 카메라, 초음파 센서 등 다양한 센서를 장착되어 운전자의 눈과 같은 역할을 수행한다.

운전자보조시스템은 센서를 통해 획득한 거리 및 속도 등 다양한 주변환경에 대한 정보를 바탕으로 차량의 가감속 또는 조향 등에 대한 보조제어를 수행한다.

따라서, 운전자보조시스템에서 실시간으로 센서의 오동작 여부를 판단하여 오차를 보정하는 기능은 필수적이라고 할 수 있다.

이와 같은 첨단 운전자 지원 시스템에서 센서는 외부 환경을 인지하는 유일한 경로이다. 이러한 센서 및 센싱 정보 전달 체계에 이상이 발생할 경우 ADAS 시스템의 심대한 결함 발생이 불가피하다.

그리고 자율주행 시스템으로 향하는 ADAS의 기술 발전 방향에서 여러 종류, 다수의 센서 사용이 불가피하다. 이러한 방대한 센서 데이터를 효과적으로 검수하는 자동화된 알고리즘이 반드시 필요하다.

또한, 센서의 이상동작이 감지되더라도 주행 상황에 따라 운행을 즉각적으로 중단할 수 없는 경우가 많다.

뿐만 아니라 추후 기술의 발전에 따라 수동 운전에 미숙한 차량 이용객이 늘어날 것으로 전망되므로 수리를 위한 차량의 이동 가능성을 높이는 것이 중요하다.

따라서, 일부 센서의 고장이 감지되었을 시 이를 보완할 수 있는 백업 알고리즘에 관한 기술의 개발이 요구되고 있다.

특히, 센서 간 상호 검증을 위한 기술 개발이 요구되고 있다.

지역, 시간, 날씨 등 센서가 작동하는 다양한 환경에 대해 살펴봐야 하는 모든 검증 케이스를 확보하는 것은 물리적으로 어려울 뿐 아니라 비효율적이다.

센서들이 인지하는 영역이 겹치는 경우가 많으며 인지 영역이 겹치지 않는다 하더라도 날씨나 조도 정보와 같이 센서들이 공통으로 영향을 받는 요인들이 다수 존재한다.

대규모 파손이 아닌 이상 다수의 센서가 동시에 고장날 확률 낮기 때문에 센서 간 공유되는 정보를 통해 상호 검증하는 방식을 도입하여 보다 효율적이고 포괄적인 센서 검증이 가능하도록 하는 것이 필요하다.

대한민국 공개특허 제10-2017-0068059호 대한민국 공개특허 제10-2015-0011620호

본 발명은 이와 같은 종래 기술의 운전자보조시스템 등의 다수의 센서를 이용하는 시스템에서의 문제를 해결하기 위한 것으로, 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 적용하여 센서 고장 진단의 정확성을 높인 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 적용하여 운전자 보조시스템의 신뢰도를 높일 수 있도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하여 개별 센서 진단의 정확도를 높인 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 정확한 판별이 가능하도록 한 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하는 것을 특징으로 한다.

여기서, 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치가 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것을 특징으로 한다.

그리고 개별 센서 진단부는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 정보 압축기와,개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기와,연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기와,상기 개별 입력 신뢰도 측정기와 동적 정보 신뢰도 측정기의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 한다.

그리고 상기 정보 압축기는, 심층 학습(deep learning) 모델 중 데이터 압축을 위하여 오토인코더(auto-encoder)와 이미지 데이터 압축을 위한 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것을 특징으로 한다.

그리고 상기 개별 입력 신뢰도 측정기는, 비선형 추론을 위하여 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것을 특징으로 한다.

그리고 상기 동적 정보 신뢰도 측정기는, 심층 학습 모델 중 시계열 데이터 분석을 위하여 재발성 신경망(recurrent neural network, RNN)의 장단기 기억(long short-term memory,LSTM) 구조를 갖는 것을 특징으로 한다.

그리고 개별 센서 진단부는, 개별 센서들의 센서 블랙 아웃(black out)및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정하는 것을 특징으로 한다.

그리고 센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 구성을 포함하는 것을 특징으로 한다.

그리고 센서 간 상호 진단부는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기와,추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부와,검증 대상 센서에 대해 센서 출력 예측부에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부를 포함하는 것을 특징으로 한다.

그리고 공통 정보 추출기는, 데이터 간 비선형 관계 분석을 위하여 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것을 특징으로 한다.

그리고 센서 출력 예측부는, 공통 정보 추출기에서 사용되는 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 출력값을 취득하는 것을 특징으로 한다.

그리고 센서 출력 검증부는, 정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여, 센서 출력과 센서 출력 예측부에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것을 특징으로 한다.

그리고 상기 통합 진단부는, 개별 센서 진단부에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 가중치를 낮게 하여 다른 센서들의 신뢰도 판별시에 영향력을 최소화하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계와, 각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계와, 상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계를 포함하는 것을 특징으로 한다.

여기서, 개별 센서 진단 단계는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와, 상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함하는 것을 특징으로 한다.

그리고 센서 간 상호 진단 단계는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와, 검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 다음과 같은 효과를 갖는다.

첫째, 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증이 가능하도록 한다.

둘째, 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한다.

셋째, 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 적용하여 센서 고장 진단의 정확성을 높인다.

넷째, ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 적용하여 운전자 보조시스템의 신뢰도를 높일 수 있다.

다섯째, 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하여 개별 센서 진단의 정확도를 높인다.

여섯째, 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있다.

일곱째, 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 정확한 판별이 가능하도록 한다.

도 1은 오토 인코더의 일 예를 나타낸 구성도
도 2는 오토 인코더를 이용한 데이터 복원의 일 예를 나타낸 구성도
도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 구성도
도 4는 ADAS 센서의 동작 오류 발생의 일 예를 나타낸 구성도
도 5는 본 발명에 따른 다중 모달 센서 네트워크의 개요를 나타낸 구성도
도 6은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성도
도 7은 본 발명에 따른 센서 간 상호 진단을 위한 검증 모듈의 구성도
도 8은 센서 출력 예측의 개요를 나타낸 구성도
도 9는 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 나타낸 플로우 차트

이하, 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 오토 인코더의 일 예를 나타낸 구성도이고, 도 2는 오토 인코더를 이용한 데이터 복원의 일 예를 나타낸 구성도이다.

그리고 도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 구성도이고, 도 4는 ADAS 센서의 동작 오류 발생의 일 예를 나타낸 구성도이다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증을 하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.

이를 위하여, 본 발명은 운전자 보조시스템의 주요 센서에 대해 확률통계적 접근법을 기반으로 그 정상 동작 여부를 판별할 수 있는 센서 고장 진단 구성을 포함할 수 있다.

본 발명은 ADAS 기능 동작 중에 센서 고장이 발견되었을 시 해당 센서를 제외하고 정상 작동하는 센서들을 이용하여 고장난 센서의 정상 출력을 예측하는 센서 보완 구성을 포함할 수 있다.

본 발명은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하는 구성을 포함할 수 있다.

본 발명은 개별 센서 진단을 하여 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하고, 개별 센서 진단 단계에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시켜 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하는 구성을 포함할 수 있다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 하는 개별 센서 진단부와, 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 0에서 1사이의 수치로 정량적 평가하는 센서 간 상호 진단부와, 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 0에서 1사이 수치로 정량적 평가하는 통합 진단부를 포함한다.

도 1에서와 같은 인공 신경망의 한 종류인 오토인코더(auto-encoder,AE)는 방대한 학습 데이터를 바탕으로 입력 데이터에 대한 효율적인 정보 압축법을 수립하는데 유용한 것으로, 정보의 압축화 과정에서 입력 데이터에 내포되어 있는 고차원(혹은 개념적) 정보를 추출하기 때문에 도 2에서와 같은 잡음 제거 및 복원 등에도 널리 사용되고 있다.

도 2는 오토인코더(AE)를 사용한 데이터 복원 예를 나타낸 것으로, 좌측은 원본이고 중앙은 원본 중 일부를 가린 이미지이고, 우측은 가운데 이미지를 입력으로 주었을 시 AE가 복원한 얼굴을 나타낸 것이다.

도 3은 차량용 가중 모달 심층 오토 인코더(MMDAE)의 일 예를 나타낸 것으로, 심층 학습 (deep learning) 알고리즘의 일종인 다중 모달 심층 오토인코더(multi-modal deep auto-encoder)는 오토 인코더의 일종으로, 입력받는 데이터의 종류가 다양하고 보다 복잡한 구조를 갖고 있다.

이를 통해 이종(異種) 입력 데이터 사이에 존재하는 공통의 정보(도 3의 shared representation)를 추출하는데 탁월한 성능을 보이고, 뿐만 아니라 추출한 공통 정보를 기반으로 누락되거나 오염된 입력값의 본래 값을 추론하는데 우수한 특성을 갖는다.

본 발명은 ADAS에서 활용하는 다양한 센서의 이상 동작의 감지와 해당 센서를 위한 보완하기 위하여 MMDAE를 사용한다.

ADAS 센서의 동작 오류 발생은 다음과 같은 상황에서 발생할 수 있다.

ADAS는 센서의 기계적 고장에 대한 판별은 가능하나 아래와 같은 센서 오류에 대해서는 판별이 불가능하다.

도 4에서와 같이, 눈, 비와 같은 이물질 등에 의한 가려짐, 역광이나 조명과 같은 외부 방해 요소에 의한 비정상 작동, 보행자 탐지 등 인지 추론과정에서의 오류 등의 상황이 있다.

현재의 센서 고장 진단 기술들은 유한한 경우의 고정 항목에 대해 고장 유무를 판별하는 방식을 사용하고 있어, 다양한 상황 하에서 발생하는 무한에 가까운 고장 조합에 모두 대응하기 어렵다.

특히, 보행자 탐지와 같이 인지 과정에서 추론이 개입하는 분야에서는 단순한 규칙이나 양성(positive) 방식의 고장 진단은 그 효용성이 낮다.

본 발명은 이와 같은 문제를 해결하기 위하여 미리 정해진 고장 목록에 기반하여 진단하지 않고 다중 센서를 통해 인지되는 주변 환경에 대해 보다 심층적인 이해를 바탕으로 각 센서의 고장 유무를 판별하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.

도 5는 본 발명에 따른 다중 모달 센서 네트워크의 개요를 나타낸 구성도이다.

본 발명은 도 5에서와 같이 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것으로, 개별 센서 진단 구성, 센서 간 상호 진단 구성, 통합 진단 구성을 포함한다.

그리고 고장난 센서의 백업을 위하여 고장나지 않은 센서들의 정보를 기반으로 고장난 센서가 정상 작동 시 출력할 것으로 기대되는 예측값을 산출하는 센서 복원 구성을 포함한다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성은 다음과 같다.

도 6은 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치의 구성도이다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 개별 센서 진단을 위하여 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 상정하고, 상정된 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 0에서 1사이의 수치로 정량적 평가를 한다.

도 6에서와 같이, 매 시간 출력되는 고차원 센서의 출력을 저차원 특징 벡터로 압축하는 정보 압축기(100)와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기(300)와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기(200)와, 개별 입력 신뢰도 측정기(300)와 동적 정보 신뢰도 측정기(200)의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기(400)를 포함한다.

여기서, 정보 압축기(100)는 심층 학습(deep learning) 모델 중 데이터 압축에 강점을 갖고 있는 오토인코더(auto-encoder)에 이미지 데이터 압축에 강점을 갖고 있는 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것이 바람직하다.

그리고 개별 입력 신뢰도 측정기(300)는 비선형 추론에 강점을 갖는 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것이 바람직하다.

그리고 동적 정보 신뢰도 측정기(200)는 심층 학습 모델 중 시계열 데이터 분석에서 가장 좋은 성능을 보이고 있는 재발성 신경망(recurrent neural network, RNN), 그 중에서도 장단기 기억(long short-term memory,LSTM) 구조를 적용하는 것이 바람직하다.

본 발명은 센서 고장 진단 알고리즘의 성능 평가를 위해 아래와 같은 개별 센서들의 센서 블랙 아웃(black out) 및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정할 수 있고, 이로 제한되지 않는다.

그리고 센서 보완 알고리즘의 경우 깊이 측정 카메라(depth camera) 출력의 복원을 포함하는 것으로, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원, 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 구성을 포함할 수 있다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치에서 센서 간 상호 진단을 위한 구성은 다음과 같다.

도 7은 본 발명에 따른 센서 간 상호 진단을 위한 검증 모듈의 구성도이다.

본 발명은 센서 간 상호 진단을 위하여 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 0에서 1사이의 수치로 정량적 평가하는 구성을 포함한다.

이를 위하여, 도 7에서와 같이, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기(71)와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부(72)와, 검증 대상 센서에 대해 센서 출력 예측부(72)에서 얻은 결과와 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부(73)를 포함한다.

여기서, 공통 정보 추출기(71)는 데이터 간 비선형 관계 분석에 강점을 갖는 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것이 바람직하다.

그리고 센서 출력 예측부(72)는 공통 정보 추출기(71)에서 사용된 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 개략적인 출력값을취득한다.

그리고 센서 출력 검증부(73)는 정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여, 센서 출력과 센서 출력 예측부(72)에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것이 바람직하다.

도 8은 센서 출력 예측의 개요를 나타낸 구성도이다.

그리고 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치는 통합 진단을 위한 구성을 포함한다.

본 발명에 따른 통합 진단을 위한 구성은 개별 센서 진단 구성과 센서 간 상호 진단 구성의 출력 결과를 바탕으로 각 주요 센서에 대한 최종적인 신뢰도를 0에서 1사이 수치로 정량적 평가하는 것이다.

이를 위하여 개별 센서 진단 알고리즘에서 측정한 센서 별 정상 작동 신뢰도를 센서 간 상호 진단 알고리즘에 적용하여 보다 신뢰성 높은 진단 시스템을 구축할 수 있도록 한다.

즉, 개별 센서 진단 알고리즘에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 그 영향력을 감소시킴으로써 정상 작동하는 다른 센서들의 신뢰도 판별에 그 영향력을 최소화하여 판별 정확성을 높인다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 구체적으로 설명하면 다음과 같다.

본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법은 각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계와, 각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계와, 상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계를 포함한다.

여기서, 개별 센서 진단 단계는, 매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와, 개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와, 연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와, 상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함한다.

그리고 센서 간 상호 진단 단계는, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와, 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와, 검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함한다.

도 9는 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법을 나타낸 플로우 차트이다.

먼저, 검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출한다.(S901)

이어, MMDAE를 잡음 제거(denoising) 방식으로 학습하고(S902), 추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환한다.(S903)

그리고 다층 퍼셉트론(multi-layer perceptron) 기반 회귀 분석기(regressor)를 이용하여 검증 대상 센서에 대해 센서 출력 예측 결과와 실제 출력을 비교하여 최종 신뢰도를 산정한다.(S904)

이어, 산정된 신뢰도를 기준으로 센서 고장 진단 및 백업을 수행한다.(S905)

이상에서 설명한 본 발명에 따른 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치 및 방법은 센서 간 공유되는 정보를 통해 상호 검증하는 방식으로 효율적이고 포괄적인 센서 검증을 하여 다양한 환경적 상황과 고장 상황에 대한 대응이 가능하도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 정보 압축기 200. 동적 정보 신뢰도 측정기
300. 개별 입력 신뢰도 측정기 400. 최종 신뢰도 측정기

Claims

각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단부;
각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단부;
상기 개별 센서 진단부와 센서 간 상호 진단부의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단부;를 포함하고,
센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 1 항에 있어서, 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치가 이종 센서로 결합된 다중모달 센서 네트워크에서 작동하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 1 항에 있어서, 개별 센서 진단부는,
매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 정보 압축기와,
개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정기와,
연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정기와,
상기 개별 입력 신뢰도 측정기와 동적 정보 신뢰도 측정기의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 3 항에 있어서, 상기 정보 압축기는,
심층 학습(deep learning) 모델 중 데이터 압축을 위하여 오토인코더(auto-encoder)와 이미지 데이터 압축을 위한 회선 신경망(convolutional neural network, CNN)의 구성이 결합되는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 3 항에 있어서, 상기 개별 입력 신뢰도 측정기는,
비선형 추론을 위하여 다층 퍼셉트론(multi-layer perceptron)을 사용하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 3 항에 있어서, 상기 동적 정보 신뢰도 측정기는,
심층 학습 모델 중 시계열 데이터 분석을 위하여 재발성 신경망(recurrent neural network, RNN)의 장단기 기억(long short-term memory,LSTM) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 1 항에 있어서, 개별 센서 진단부는,
개별 센서들의 센서 블랙 아웃(black out) 및 데이터 갱신 지연, 이물질에 의한 센서 가려짐, 카메라 센서의 경우 역광 발생 항목의 고장 상황에 대해 그 검출율을 측정하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
삭제
제 1 항에 있어서, 센서 간 상호 진단부는,
검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출기와,
추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측부와,
검증 대상 센서에 대해 센서 출력 예측부에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증부를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 9 항에 있어서, 공통 정보 추출기는,
데이터 간 비선형 관계 분석을 위하여 다중 모달 심층 오토 인코더(MMDAE) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 9 항에 있어서, 센서 출력 예측부는,
공통 정보 추출기에서 사용되는 MMDAE를 잡음 제거(denoising) 방식으로 학습하여 결과적으로 해당 센서에 대한 입력이 없더라도 MMDAE가 출력값을 갖도록 하여 예측하고자 하는 센서의 출력값을 취득하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 9 항에 있어서, 센서 출력 검증부는,
정상 작동하는 센서라 하더라도 MMDAE 기반 알고리즘의 출력 오차에 의해 서로 간의 출력 값이 정확히 일치하지 않는 문제를 해결하기 위하여,
센서 출력과 센서 출력 예측부에서의 결과값 간 차이에 따른 신뢰로를 계산하는 다층 퍼셉트론 (multi-layer perceptron) 기반 회귀 분석기 (regressor) 구조를 갖는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
제 1 항에 있어서, 상기 통합 진단부는,
개별 센서 진단부에서 신뢰도가 낮게 측정된 센서의 경우 센서 간 공유 정보 추출 과정에서 가중치를 낮게 하여 다른 센서들의 신뢰도 판별시에 영향력을 최소화하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 장치.
이종 센서로 결합된 다중모달 센서 네트워크에서의 센서 고장 진단 및 백업을 위하여,
각 센서 별로 정상적인 작동 하에서의 출력에 대한 모델을 기반으로 매 순간 센서 출력 결과에 대해 그 신뢰도를 수치로 정량적 평가를 하는 개별 센서 진단 단계;
각 센서들 사이에 공유되는 정보를 추출하고 추출된 공유 정보를 기반으로 각 센서의 출력 결과에 대해 그 정상 작동 신뢰도를 수치로 정량적 평가하는 센서 간 상호 진단 단계;
상기 개별 센서 진단 단계와 센서 간 상호 진단 단계의 출력 결과를 바탕으로 각 센서에 대한 최종적인 신뢰도를 수치로 정량적 평가하는 통합 진단 단계;를 포함하고,
센서 보완을 위하여 깊이 측정 카메라(depth camera) 출력의 복원을 포함하고, 정상 작동하는 영상 카메라 정보로 depth 영역을 복원 및 각 픽셀에 대해 복원된 깊이와 실제 깊이 간 차이가 정해진 범위 이내인지 아닌지를 통해 정상 복원 유무를 판별하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법.
제 14 항에 있어서, 개별 센서 진단 단계는,
매 시간 출력되는 센서의 출력을 특징 벡터로 압축하는 단계와,
개별 특징 벡터를 기준으로 센서의 신뢰도를 측정하는 개별 입력 신뢰도 측정 단계와,
연속되는 시간 상에서 생성되는 특징 벡터들 간의 동적인 관계를 바탕으로 센서의 신뢰도를 측정하는 동적 정보 신뢰도 측정 단계와,
상기 개별 입력 신뢰도 측정 단계와 동적 정보 신뢰도 측정 단계의 출력 결과를 바탕으로 최종적인 신뢰도를 정량 평가하는 최종 신뢰도 측정 단계를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법.
제 14 항에 있어서, 센서 간 상호 진단 단계는,
검증 대상 센서를 제외한 나머지 센서들로부터 공통 정보를 추출하는 공통 정보 추출 단계와,
추출된 공통 정보로부터 검증 대상에게서 출력될 것으로 예상되는 출력 예측값을 반환하는 센서 출력 예측 단계와,
검증 대상 센서에 대해 센서 출력 예측 단계에서 얻은 결과를 실제 출력과 비교하여 최종 신뢰도를 산정하는 센서 출력 검증 단계를 포함하는 것을 특징으로 하는 심층학습 기반의 ADAS 센서 고장 진단 및 백업을 위한 방법.