KR20210060779A

KR20210060779A - 차량센서의 이상 진단 장치 및 그 방법

Info

Publication number: KR20210060779A
Application number: KR1020190148203A
Authority: KR
Inventors: 구정모; 황상필; 김용균; 조범근; 김민상; 구형일; 김소연
Original assignee: 현대자동차주식회사; 아주대학교산학협력단; 기아 주식회사
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2021-05-27
Also published as: US20210150833A1; CN112902947A; US11600120B2

Abstract

본 발명은 차량센서의 이상 진단 장치 및 그 방법에 관한 것으로, 차량에 장착된 카메라의 시계열 영상 프레임을 이용하여 차량의 거동을 추정하고, 상기 추정한 거동정보에 기초하여 차량센서의 이상 유무를 진단함으로써, 차량센서의 이상에 의해 발생할 수 있는 교통사고를 미연에 방지할 수 있는 차량센서의 이상 진단 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 차량센서의 이상 진단 장치에 있어서, 차량의 가속도와 각속도를 측정하는 센서부; 차량의 전방 시계열 영상 프레임을 생성하는 카메라; 및 상기 카메라에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부의 이상 유무를 진단하는 제어부를 포함한다.

Description

차량센서의 이상 진단 장치 및 그 방법{APPARATUS FOR DIAGNOSING ABNORMALITY OF VEHICLE SENSOR AND METHOD THEREOF}

본 발명은 차량의 거동정보에 기초하여 센서의 이상 유무를 진단하는 기술에 관한 것이다.

최근 들어, 차량에는 긴급 제동 시스템(Autonomous Emergency Braking, AEB), 전방 충돌 경고 시스템(Forward Collision Warning System, FCW), 적응 순항제어 시스템(Adaptive Cruise Control, ACC), 차선이탈 경고 시스템(Lane Departure Warning System, LDWS), 차선유지 보조 시스템(Lane Keeping Assist System, LKAS), 사각지대 감지장치(Blind Spot Detection, BSD), 후방충돌 경고 시스템(Rear-end Collision Warning System, RCW), 자동 주차 보조 시스템(Smart Parking Assist System, SPAS) 등이 장착되고 있다.

아울러, 차량에는 상술한 각종 시스템을 정상적으로 동작시키기 위해 카메라 센서, LiDAR(Light Detection And Ranging) 센서, RADAR(RAdio Detection And Ranging) 센서, 초음파센서, 자이로센서, 가속도센서 등 다양한 센서가 구비되어 있다. 여기서, 자이로센서와 가속도센서는 주행중 차량에 가해지는 충격, 시간의 경과에 따른 열화로 인해 측정 오차가 발생할 수 있다.

일반적으로, 자이로센서의 바이어스 오차를 보정하는 기술은 영상 센서로부터 출력되는 연속된 영상 프레임 간의 특징점을 추출하고, 상기 추출된 특징점 간의 이동변위를 자세각으로 변환하며, 상기 변환된 이동변위를 영상 프레임의 주파수로 나누어 각속도를 추출하고, 상기 추출된 각속도에 기초하여 자이로센서의 오차를 보정한다.

이러한 종래의 기술은 'harris corner detection' 방식으로 특징점을 추출하고, 'optical flow' 방식으로 특징점을 매칭하여 각속도를 추정하는 기술에 대해 개시하고 있을 뿐, 인공신경망(ANN, Artificial Neural Network)을 기반으로 각속도를 추정하는 기술에 대해서는 개시된 바 없다. 특히, 종래의 기술은 각속도를 추정해 내는 기술에 대해 개시하고 있을 뿐 각속도와 가속도를 함께 추정해 내는 기술에 대해서는 개시된 바 없다.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량에 장착된 카메라의 시계열 영상 프레임을 이용하여 차량의 거동을 추정하고, 상기 추정한 거동정보에 기초하여 차량센서의 이상 유무를 진단함으로써, 차량센서의 이상에 의해 발생할 수 있는 교통사고를 미연에 방지할 수 있는 차량센서의 이상 진단 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 차량센서의 이상 진단 장치에 있어서, 차량의 가속도와 각속도를 측정하는 센서부; 차량의 전방 시계열 영상 프레임을 생성하는 카메라; 및 상기 카메라에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부의 이상 유무를 진단하는 제어부를 포함할 수 있다.

본 발명의 일 실시예에서, 상기 제어부는 t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하는 제1 포즈 네트워크; t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 제2 포즈 네트워크; 상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 6D 추정 네트워크; 및 상기 6D 추정 네트워크에 의해 추정된 가속도 및 각속도와 상기 센서부에 의해 측정된 가속도 및 각속도를 비교하여 상기 센서부의 이상 유무를 진단하는 진단부를 포함할 수 있다.

여기서, 상기 진단부는 상기 6D 추정 네트워크에 의해 추정된 가속도를 기준으로, 상기 센서부 내 가속도센서에 의해 측정된 가속도의 오차가 제1 오차범위 내에 포함되지 않으면 상기 가속도센서에 이상이 발생한 것으로 진단할 수 있다.

또한, 상기 진단부는 상기 6D 추정 네트워크에 의해 추정된 각속도를 기준으로, 상기 센서부 내 자이로센서에 의해 측정된 각속도의 오차가 제2 오차범위 내에 포함되지 않으면 상기 자이로센서에 이상이 발생한 것으로 진단할 수 있다.

또한, 상기 제1 포즈정보는 회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 포함하고, 상기 제2 포즈정보는 회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 포함할 수 있다.

또한, 상기 제1 포즈 네트워크와 상기 제2 포즈 네트워크는 CNN로 구현될 수 있고, 상기 6D 추정 네트워크는 멀티 레이어 퍼셉트론 네트워크로 구현될 수 있다.

본 발명의 다른 실시예에서, 상기 제어부는 t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하고, t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 포즈 네트워크; 상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 6D 추정 네트워크; 및 상기 6D 추정 네트워크에 의해 추정된 가속도 및 각속도와 상기 센서부에 의해 측정된 가속도 및 각속도를 비교하여 상기 센서부의 이상 유무를 진단하는 진단부를 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 방법은, 차량센서의 이상 진단 방법에 있어서, 센서부가 차량의 가속도와 각속도를 측정하는 단계; 카메라가 차량의 전방 시계열 영상 프레임을 생성하는 단계; 및 제어부가 상기 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부의 이상 유무를 진단하는 단계를 포함할 수 있다.

여기서, 상기 센서부의 이상 유무를 진단하는 단계는, t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하는 단계; t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 단계; 상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 단계; 상기 추정된 가속도와 상기 측정된 가속도를 비교하여 가속도센서의 이상 유무를 진단하는 단계; 및 상기 추정된 각속도와 상기 측정된 각속도를 비교하여 자이로센서의 이상 유무를 진단하는 단계를 포함할 수 있다.

또한, 상기 가속도센서의 이상 유무를 진단하는 단계는, 상기 추정된 가속도를 기준으로 상기 측정된 가속도의 오차가 제1 오차범위 내에 포함되는지 판단하는 단계; 상기 판단결과, 포함되지 않으면 가속도센서에 이상이 발생한 것으로 진단하는 단계; 및 상기 판단결과, 포함되면 가속도센서에 이상이 없는 것으로 진단하는 단계를 포함할 수 있다.

또한, 상기 자이로센서의 이상 유무를 진단하는 단계는, 상기 추정된 각속도를 기준으로 상기 측정된 각속도의 오차가 제2 오차범위 내에 포함되는지 판단하는 단계; 상기 판단결과, 포함되지 않으면 자이로센서에 이상이 발생한 것으로 진단하는 단계; 및 상기 판단결과, 포함되면 자이로센서에 이상이 없는 것으로 진단하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치 및 그 방법은, 차량에 장착된 카메라의 시계열 영상 프레임을 이용하여 차량의 거동을 추정하고, 상기 추정한 거동정보에 기초하여 차량센서의 이상 유무를 진단함으로써, 차량센서의 이상에 의해 발생할 수 있는 교통사고를 미연에 방지할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제어부의 일 실시예 상세 구성도,
도 3 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제어부의 다른 실시예 상세 구성도,
도 4 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 포즈 네트워크의 동작을 설명하는 도면,
도 5 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 6D 추정 네트워크의 동작을 설명하는 도면,
도 6 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 진단부의 동작을 설명하는 일예시도,
도 7 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 진단부의 동작을 설명하는 다른 예시도,,
도 8 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 방법에 대한 일 실시예 흐름도,
도 9 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 대한 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치(100)는, 저장부(10), 센서부(20), 카메라(30), 출력부(40), 및 제어부(50)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.

상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 차량에 장착된 카메라(10)의 시계열 영상 프레임을 이용하여 차량의 거동을 추정하고, 상기 추정한 거동정보에 기초하여 차량센서의 이상 유무를 진단하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.

특히, 저장부(10)는 차량의 카메라(10)에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 거동을 추정하는 과정에서 이용되는 인공 신경망(ANN, Artificial Neural Network)으로서, 일례로 포즈 네트워크(Pose Networks)와 6D 추정 네트워크(6 Dimension Estimation Network)를 저장할 수 있다. 이때, 포즈 네트워크는 심층학습(Deep Learning)이 완료된 네트워크로서, 시계열 영상 프레임을 이용하여 카메라(10)의 포즈(회전정보 및 위치정보)를 예측(Prediction)할 수 있다. 이때, 카메라(10)의 포즈는 차량의 포즈와 동일하다. 또한, 6D 추정 네트워크는 심층학습이 완료된 네트워크로서, 포즈 네트워크에 의해 예측된 회전정보와 위치정보에 기초하여 차량의 가속도와 각속도를 추정할 수 있다.

또한, 저장부(10)는 카메라(10)에 의해 촬영된 시계열 영상 프레임을 저장할 수 있다.

이러한 저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.

다음으로, 센서부(20)는 차량의 각속도를 측정하는 센서(일례로, 자이로센서)와 차량의 가속도를 측정하는 센서(일례로, 가속도센서)를 포함할 수 있다.

참고로, 자이로센서의 출력은 각속도의 참값(ω_true)에 스케일펙터에 의해 발생하는 오차(e_sf)와 온도에 의해 발생하는 오차(e_temp) 및 바이어스에 의해 발생하는 오차(e_bias)가 합해진 형태를 갖는다. 여기서, 스케일펙터와 온도로 인해 발생하는 오차는 본 발명의 요지가 아닌 바, 주지관용의 기술인 HSR(Heuristic Scalefactor Regulation), 온도 보상 알고리즘을 통해 기 보정된 상태로 가정하고, 본 발명의 일 실시예에서는 시계열 영상 프레임을 이용하여 추정한 각속도를 이용하여 자이로센서의 바이어스 오차를 진단 및 보정하는 과정에 대해 설명하기로 한다.

또한, 자이로센서의 출력주기는 카메라(10)의 출력주기보다 100Hz 이상 빠르다. 카메라(10)는 상대적으로 연산량이 많은 편이라 출력주기가 자이로센서보다는 느릴 수 밖에 없다. 따라서 본 발명의 일 실시예는 카메라(10)의 출력주기에 맞춰 동작하도록 설계되는 것이 바람직하다.

한편, 가속도센서는 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 센서로서, 전자식 가속도 센서와 전압식 가속도센서로 구현될 수 있다. 참고로, 전자식 가속도 센서는 자석과 코일의 기전력을 이용하여 이동체의 움직인 양에 상응하는 값을 가속도로서 측정하고, 전압식 가속도 센서는 압력을 가하면 전압을 발생하는 압전소자를 이용하여 가해진 압력에 상응하는 값을 가속도로서 측정한다.

다음으로, 카메라(30)는 단안 카메라(monocular camera)로서, 차량에 장착되어 차량 전방의 시계열 영상(동영상)을 촬영할 수 있다. 이러한 시계열 영상은 블랙박스 영상일 수 있다.

이러한 카메라(30)는 차량의 내부에 고정되며, 초당 15 프레임 이상의 고화질 영상을 촬영할 수 있다. 일례로, 카메라(30)는 1280×720의 해상도를 갖는 HD 영상을 촬영할 수 있다.

출력부(40)는 운전자에게 진단 결과를 시각적으로 알리거나 청각적으로 알릴 수 있다. 물론, 시각적 방식과 청각적 방식으로 동시에 알릴 수도 있다.

이러한 출력부(40)는 클러스터, AVN(Audio Video Navigation) 시스템, HUD(Head Up Display), 헤드 유닛 등으로 구현될 수 있다.

제어부(50)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(50)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(50)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.

특히, 제어부(50)는 차량의 카메라(10)에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 거동을 추정하고, 상기 추정한 거동정보에 기초하여 차량센서의 이상 유무를 진단하는 과정에서 각종 제어를 수행할 수 있다.

또한, 제어부(50)는 센서부(20)에 이상이 있는 것으로 진단하면 이를 운전자에게 알리도록 출력부(40)를 제어할 수 있다.

이하, 도 2 내지 도 6을 참조하여 제어부(50)의 동작에 대해 상세히 살펴보도록 한다.

도 2 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제어부의 일 실시예 상세 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제어부(50)는, 제1 포즈 네트워크(51), 제2 포즈 네트워크(52), 6D 추정 네트워크(54), 및 진단부(55)를 포함할 수 있다. 여기서, 제1 포즈 네트워크(51)와 제2 포즈 네트워크(52)는 동일한 구조와 동일한 파라미터를 갖으며, 아울러 동일한 기능을 수행한다.

상기 각 구성요소들에 대해 살펴보면, 먼저 제1 포즈 네트워크(51)는 일례로 CNN(Convolutional Neural Network)로 구현될 수 있으며, 이전 영상(t-1 시점의 영상)과 현재 영상(t 시점의 영상)을 이용하여 카메라(10)의 포즈정보를 예측할 수 있다. 이때, 포즈정보는 회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 포함할 수 있다.

제2 포즈 네트워크(52)는 일례로 CNN(Convolutional Neural Network)로 구현될 수 있으며, 이전 영상(t-2 시점의 영상)과 현재 영상(t-1 시점의 영상)을 이용하여 카메라(10)의 포즈정보를 예측할 수 있다. 이때, 포즈정보는 회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 포함할 수 있다.

6D 추정 네트워크(54)는 일례로 멀티 레이어 퍼셉트론 네트워크(Muti Layers Perceptron Networks)로 구현될 수 있으며, 제1 포즈 네트워크(51)에 의해 예측된 제1 포즈정보와 제2 포즈 네트워크(52)에 의해 예측된 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정할 수 있다.

진단부(55)는 6D 추정 네트워크(54)에 의해 추정된 가속도 및 각속도와 센서부(20)에 의해 측정된 가속도 및 각속도를 비교하여 센서부(20)의 이상 유무를 진단할 수 있다. 즉, 진단부(55)는 6D 추정 네트워크(54)에 의해 추정된 가속도 및 각속도를 기준으로, 가속도센서에 의해 측정된 가속도의 오차가 제1 오차범위 내에 포함되지 않으면 가속도센서에 이상이 발생한 것으로 진단하고, 자이로센서에 의해 측정된 각속도의 오차가 제2 오차범위 내에 포함되지 않으면 자이로센서에 이상이 발생한 것으로 진단할 수 있다.

도 3 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제어부의 다른 실시예 상세 구성도로서, 도 2와 비교했을 때 포즈 네트워크(53)의 구성만 상이한 바, 포즈 네트워크(53)의 동작에 대해서만 설명하기로 한다.

도 3에 도시된 바와 같이, 포즈 네트워크(53)는 제1 포즈 네트워크(51)의 동작과 제2 포즈 네트워크(52)의 동작을 모두 수행하는 모듈로서, CNN(Convolutional Neural Network)로 구현될 수 있으며, 이전 영상(t-1 시점의 영상)과 현재 영상(t 시점의 영상)을 이용하여 카메라(10)의 제1 포즈정보를 예측하고, 아울러 이전 영상(t-2 시점의 영상)과 현재 영상(t-1 시점의 영상)을 이용하여 카메라(10)의 제2 포즈정보를 예측할 수 있다.

즉, 포즈 네트워크(53)는 제1 포즈정보로서 회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 예측하고, 제2 포즈정보로서 회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 예측할 수 있다.

도 4 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 포즈 네트워크의 동작을 설명하는 도면이다.

도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 제1 포즈 네트워크(51)는, 오일러 각(Euler angle)과 3차원 변환에 기초하여 t-1 시점의 영상과 t 시점의 영상으로부터 카메라(10)의 회전정보와 위치정보를 예측할 수 있다. 이때, 제1 포즈 네트워크(51)는 일례로 7개의 컨벌루션 레이어로 구성될 수 있다.

또한, 제2 포즈 네트워크(52)는 오일러 각(Euler angle)과 3차원 변환(3D translation)에 기초하여 t-2 시점의 영상과 t-1 시점의 영상으로부터 카메라(10)의 회전정보와 위치정보를 예측할 수 있다. 이때, 제2 포즈 네트워크(52)는 일례로 7개의 컨벌루션 레이어로 구성될 수 있다.

또한, 포즈 네트워크(53)는 오일러 각(Euler angle)과 3차원 변환에 기초하여, t-1 시점의 영상과 t 시점의 영상으로부터 카메라(10)의 제1 회전정보와 제1 위치정보를 예측하고, t-2 시점의 영상과 t-1 시점의 영상으로부터 카메라(10)의 제2 회전정보와 제2 위치정보를 예측할 수 있다. 이때, 포즈 네트워크(53)는 일례로 7개의 컨벌루션 레이어로 구성될 수 있다.

도 5 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 6D 추정 네트워크의 동작을 설명하는 도면이다.

도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 6D 추정 네트워크(54)는, 일례로 멀티 레이어 퍼셉트론 네트워크(Muti Layers Perceptron Networks)로 구현될 수 있다.

이러한 6D 추정 네트워크(54)는 제1 포즈 네트워크(51)에 의해 예측된 제1 포즈정보와 제2 포즈 네트워크(52)에 의해 예측된 제2 포즈정보를 이용하여 가속도(a_x, a_y, a_z)와 각속도(w_x, w_y, w_z)를 추정할 수 있다.

또한, 6D 추정 네트워크(54)는 포즈 네트워크(53)에 의해 예측된 제1 포즈정보와 제2 포즈정보를 이용하여 가속도(

)와 각속도(

)를 추정할 수 있다.

또한, 6D 추정 네트워크(54)는 포즈 네트워크(53)의 파라미터가 고정된 상태에서 지도학습(Supervised Learning)을 수행할 수 있다. 이로 인해 6D 추정 네트워크(54)는 카메라(10)의 설치 위치 및 성능 차이로 인한 포즈 오차를 완화시킬 수 있다. 아울러, 포즈 네트워크(53)의 학습에는 많은 시험 데이터가 필요하지만, 포즈 네트워크(53)의 파라미터를 고정한 상태에서 6D 추정 네트워크(54)의 지도학습에는 수백장의 영상 프레임으로도 기준수준까지의 학습이 가능하다.

도 6 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 진단부의 동작을 설명하는 일예시도이다.

도 6에 도시된 바와 같이, 기준시간(일례로, 5초) 동안 6D 추정 네트워크(54)에 의해 추정된 각속도(610)와 센서부(20)에 의해 측정된 각속도(620) 사이의 편차가 임계치를 초과하지 않는 바, 진단부(55)는 센서부(20)에 이상이 없는 것으로 진단할 수 있다. 여기서, 임계치는 일례로 6D 추정 네트워크(54)에 의해 추정된 각속도(610)의 10%로 설정될 수 있다.

도 7 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 장치에 구비된 진단부의 동작을 설명하는 다른 예시도이다.

도 7에 도시된 바와 같이, 기준시간(일례로, 5초) 동안의 6D 추정 네트워크(54)에 의해 추정된 각속도(710)와 센서부(20)에 의해 측정된 각속도(720) 사이의 편차가 임계치를 초과하는 구간(A, B, C)이 존재하는 바, 진단부(55)는 센서부(20)에 이상이 있는 것으로 진단할 수 있다. 이때, 진단부(55)는 상기 구간(A, B, C)에서 6D 추정 네트워크(54)에 의해 추정된 각속도(710)에 기초하여 센서부(20)에 의해 측정된 각속도(720)를 보정할 수 있다. 여기서, A 구간은 좌회전시에 상기 편차가 발생하는 것을 나타내고, B 구간과 C 구간은 우회전시에 상기 편차가 발생하는 것을 나타낸다.

도 8 은 본 발명의 일 실시예에 따른 차량센서의 이상 진단 방법에 대한 일 실시예 흐름도이다.

먼저, 센서부(20)가 차량의 가속도와 각속도를 측정한다(801).

그리고, 카메라(30)가 차량의 전방 시계열 영상 프레임을 생성한다(802).

이후, 제어부(50)가 상기 센서부(20)에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부(20)의 이상 유무를 진단한다(803). 즉, 제어부(50)는 t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하고, t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하며, 상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정된 가속도와 상기 측정된 가속도를 비교하여 가속도센서의 이상 유무를 진단하며, 아울러 상기 추정된 각속도와 상기 측정된 각속도를 비교하여 자이로센서의 이상 유무를 진단한다.

도 9 는 본 발명의 일 실시예에 따른 차량센서의 이상 진단 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.

도 9를 참조하면, 상술한 본 발명의 일 실시예에 따른 차량센서의 이상 진단 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 저장부
20: 센서부
30: 카메라
40: 출력부
50: 제어부

Claims

차량의 가속도와 각속도를 측정하는 센서부;
차량의 전방 시계열 영상 프레임을 생성하는 카메라; 및
상기 카메라에 의해 생성된 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부의 이상 유무를 진단하는 제어부
를 포함하는 차량센서의 이상 진단 장치.
제 1 항에 있어서,
상기 제어부는,
t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하는 제1 포즈 네트워크;
t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 제2 포즈 네트워크;
상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 6D 추정 네트워크; 및
상기 6D 추정 네트워크에 의해 추정된 가속도 및 각속도와 상기 센서부에 의해 측정된 가속도 및 각속도를 비교하여 상기 센서부의 이상 유무를 진단하는 진단부
를 포함하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 진단부는,
상기 6D 추정 네트워크에 의해 추정된 가속도를 기준으로, 상기 센서부 내 가속도센서에 의해 측정된 가속도의 오차가 제1 오차범위 내에 포함되지 않으면 상기 가속도센서에 이상이 발생한 것으로 진단하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 진단부는,
상기 6D 추정 네트워크에 의해 추정된 각속도를 기준으로, 상기 센서부 내 자이로센서에 의해 측정된 각속도의 오차가 제2 오차범위 내에 포함되지 않으면 상기 자이로센서에 이상이 발생한 것으로 진단하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 제1 포즈정보는,
회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 포함하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 제2 포즈정보는,
회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 포함하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 제1 포즈 네트워크와 상기 제2 포즈 네트워크는,
CNN(Convolutional Neural Network)인 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 2 항에 있어서,
상기 6D 추정 네트워크는,
멀티 레이어 퍼셉트론 네트워크(Muti Layers Perceptron Networks)인 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 1 항에 있어서,
상기 제어부는,
t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하고, t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 포즈 네트워크;
상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 6D 추정 네트워크; 및
상기 6D 추정 네트워크에 의해 추정된 가속도 및 각속도와 상기 센서부에 의해 측정된 가속도 및 각속도를 비교하여 상기 센서부의 이상 유무를 진단하는 진단부
를 포함하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 진단부는,
상기 6D 추정 네트워크에 의해 추정된 가속도를 기준으로, 상기 센서부 내 가속도센서에 의해 측정된 가속도의 오차가 제1 오차범위 내에 포함되지 않으면 상기 가속도센서에 이상이 발생한 것으로 진단하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 진단부는,
상기 6D 추정 네트워크에 의해 추정된 각속도를 기준으로, 상기 센서부 내 자이로센서에 의해 측정된 각속도의 오차가 제2 오차범위 내에 포함되지 않으면 상기 자이로센서에 이상이 발생한 것으로 진단하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 제1 포즈정보는,
회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 포함하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 제2 포즈정보는,
회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 포함하는 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 제1 포즈 네트워크와 상기 제2 포즈 네트워크는,
CNN(Convolutional Neural Network)인 것을 특징으로 하는 차량센서의 이상 진단 장치.
제 9 항에 있어서,
상기 6D 추정 네트워크는,
멀티 레이어 퍼셉트론 네트워크(Muti Layers Perceptron Networks)인 것을 특징으로 하는 차량센서의 이상 진단 장치.
센서부가 차량의 가속도와 각속도를 측정하는 단계;
카메라가 차량의 전방 시계열 영상 프레임을 생성하는 단계; 및
제어부가 상기 시계열 영상 프레임을 이용하여 차량의 가속도와 각속도를 추정하고, 상기 추정한 가속도와 각속도에 기초하여 상기 센서부의 이상 유무를 진단하는 단계
를 포함하는 차량센서의 이상 진단 방법.
제 16 항에 있어서,
상기 센서부의 이상 유무를 진단하는 단계는,
t-1 시점의 영상과 t 시점의 영상을 이용하여 상기 카메라의 제1 포즈정보를 예측하는 단계;
t-2 시점의 영상과 t-1 시점의 영상을 이용하여 상기 카메라의 제2 포즈정보를 예측하는 단계;
상기 제1 포즈정보와 상기 제2 포즈정보를 이용하여 차량의 가속도와 각속도를 추정하는 단계;
상기 추정된 가속도와 상기 측정된 가속도를 비교하여 가속도센서의 이상 유무를 진단하는 단계; 및
상기 추정된 각속도와 상기 측정된 각속도를 비교하여 자이로센서의 이상 유무를 진단하는 단계
를 포함하는 차량센서의 이상 진단 방법.
제 17 항에 있어서,
상기 가속도센서의 이상 유무를 진단하는 단계는,
상기 추정된 가속도를 기준으로 상기 측정된 가속도의 오차가 제1 오차범위 내에 포함되는지 판단하는 단계;
상기 판단결과, 포함되지 않으면 가속도센서에 이상이 발생한 것으로 진단하는 단계; 및
상기 판단결과, 포함되면 가속도센서에 이상이 없는 것으로 진단하는 단계
를 포함하는 차량센서의 이상 진단 방법.
제 17 항에 있어서,
상기 자이로센서의 이상 유무를 진단하는 단계는,
상기 추정된 각속도를 기준으로 상기 측정된 각속도의 오차가 제2 오차범위 내에 포함되는지 판단하는 단계;
상기 판단결과, 포함되지 않으면 자이로센서에 이상이 발생한 것으로 진단하는 단계; 및
상기 판단결과, 포함되면 자이로센서에 이상이 없는 것으로 진단하는 단계
를 포함하는 차량센서의 이상 진단 방법.
제 17 항에 있어서,
상기 제1 포즈정보는 회전정보(R_t-2→t-1)와 위치정보(L_t-2→t-1)를 포함하고, 상기 제2 포즈정보는 회전정보(R_t-1→t)와 위치정보(L_t-1→t)를 포함하는 것을 특징으로 하는 차량센서의 이상 진단 방법.