KR20230095751A - 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법 - Google Patents

딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법 Download PDF

Info

Publication number
KR20230095751A
KR20230095751A KR1020220011702A KR20220011702A KR20230095751A KR 20230095751 A KR20230095751 A KR 20230095751A KR 1020220011702 A KR1020220011702 A KR 1020220011702A KR 20220011702 A KR20220011702 A KR 20220011702A KR 20230095751 A KR20230095751 A KR 20230095751A
Authority
KR
South Korea
Prior art keywords
image frame
original image
camera
sensor failure
camera sensor
Prior art date
Application number
KR1020220011702A
Other languages
English (en)
Inventor
한동석
성재호
유민우
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to PCT/KR2022/017943 priority Critical patent/WO2023120986A1/ko
Publication of KR20230095751A publication Critical patent/KR20230095751A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법에 대한 것이다.
본 발명에 따른 딥러닝을 이용한 카메라 센서 고장 예측 방법, 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 단계; 상기 입력받은 원본 이미지 프레임을 전처리하는 단계; 상기 원본 이미지 프레임과 전처리된 이미지 프레임을 각각 합성곱 신경망 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출하는 단계; 상기 추출된 공간적 특징을 BiLSTM 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출하는 단계; 및 상기 추출된 공간적 특징과 시간적 특징으로부터 상기 카메라의 센서 고장 여부를 예측하여 출력하는 단계를 포함한다.

Description

딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법{APPARATUS FOR PREDICTING CAMERA SENSOR FAILURE USING DEEP LEARNING AND METHOD THEREOF}
본 발명은 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 합성곱 신경망(Convolutional Neural Network, CNN)과 BiLSTM(Bidirectional Long-ShortTerm Memory)을 이용하여 카메라 센서의 고장을 예측하는 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법에 관한 것이다.
최근 들어, 무인 자율 주행시스템과 관련하여 특히, 자동차 분야에서의 자율 주행과 관련된 많은 연구가 이루어지고 있다.
자율주행 차량이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 찾아가는 차량으로서, 항공기와 선박 등에 적용된 자율주행 기술이 접목된 스마트 차량을 일컫는다.
이러한 자율주행 차량에 탑재된 자율 주행시스템 또는 첨단 운전자 보조시스템 등은 도로맵 정보를 바탕으로 GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로상의 시작점부터 종료점까지 자동차의 주행을 자동으로 제어하거나 운전자의 운전을 보조하여 안전운전을 가능하게 한다.
이와 같이 자율주행을 원활하게 수행하기 위해서는 다양한 센서 데이터를 수집하고 이에 대한 처리를 통해 차량의 움직임을 제어할 수 있어야 한다.
특히, 자율 주행시스템은 고속으로 움직이는 자동차의 주행환경을 실시간으로 인식 및 판단하기 위해 주변 사물을 인식할 수 있는 센서와 그래픽 처리 장치의 도움이 필요하다.
이때, 센서는 사물과 사물의 거리를 측정하고 위험을 감지하여 사각지대 없이 모든 지역을 볼 수 있도록 도와준며, 그래픽 처리 장치는 여러 대의 카메라를 통해 자동차의 주변 환경을 파악하고 그 이미지를 분석해서 자동차가 안전하게 갈 수 있도록 도와준다.
그러나, 카메라 센서에 고장이 발생하거나 물체에 의해 폐색되는 등 다양한 이유로 센서에 이상이 생긴 경우 객체 검출에 실패하거나 오검출할 확률이 증가하고, 이는 대형 사고로 이어질 수 있는 문제점이 있다.
또한, 단일 합성곱 신경망 모델을 이용하여 카메라 센서 고장을 예측하는 방법은 하나의 이미지 프레임만으로 카메라 센서 고장을 예측하는 방법을 사용하였는데, 햇빛에 의한 순간적인 역광이나 흩날리는 물체가 카메라의 단일 프레임에는 포함되지 않을 때, 실제로는 카메라 폐색이 발생한 것으로 분류되어야 할 상황을 적절하게 예측하지 못하는 경우가 발생할 수 있어 카메라 센서의 고장 여부를 정확하게 예측하기 위한 기술의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2320999호(2021.11.03. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 시공간적 특징을 추출하기 위한 합성곱 신경망과 BiLSTM을 이용하여 카메라 센서의 고장을 예측하는 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법을 제공하기 위한 것이다.
또한, 카메라 센서로부터 입력된 이미지를 전처리 한 후 딥러닝 모델의 다중 입력으로 사용하여 카메라 센서의 고장을 예측하는 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 방법은, 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 단계; 상기 입력받은 원본 이미지 프레임을 전처리하는 단계; 상기 원본 이미지 프레임과 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출하는 단계; 상기 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출하는 단계; 및 상기 추출된 공간적 특징과 시간적 특징으로부터 상기 카메라의 센서 고장 여부를 예측하여 출력하는 단계를 포함한다.
이때, 상기 전처리하는 단계는 상기 입력받은 원본 이미지 프레임을 흑백으로 변환하는 단계, 라플라시안 필터를 이용하여 상기 흑백으로 변환된 원본 이미지 프레임에서 엣지를 검출하는 단계, 상기 검출된 엣지에서 각 픽셀 당 분산을 계산하는 단계, 상기 각 픽셀 당 분산을 이용하여 상기 원본 이미지 프레임 내 흐린 영역을 검출하는 단계, 및 상기 검출된 흐린 영역을 제거하여 상기 원본 이미지 프레임을 전처리하는 단계를 포함할 수 있다.
또한, 상기 엣지를 검출하는 단계는 상기 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 상기 원본 이미지 프레임 내 엣지를 검출하고, 상기 흐린 영역을 검출하는 단계는 상기 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 검출할 수 있다.
또한, 상기 공간적 특징을 추출하는 단계는 상기 합성곱 신경망을 이용하여 상기 원본 이미지 프레임과 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 상기 공간적 특징을 추출할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치는, 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 입력부; 상기 입력받은 원본 이미지 프레임을 전처리하는 이미지 전처리부; 상기 원본 이미지 프레임과 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출하는 제1 특징 추출부; 상기 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출하는 제2 특징 추출부; 및 상기 추출된 공간적 특징과 시간적 특징으로부터 상기 카메라의 센서 고장 여부를 예측하여 출력하는 출력부를 포함한다.
이때, 상기 이미지 전처리부는 상기 입력받은 원본 이미지 프레임을 흑백으로 변환한 후 라플라시안 필터(Laplacian Filter)를 통해 검출되는 엣지에서 각 픽셀 당 분산을 계산하여 검출되는 흐린 영역을 제거하여 상기 원본 이미지 프레임을 전처리할 수 있다.
또한, 상기 이미지 전처리부는 상기 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 상기 원본 이미지 프레임 내 엣지를 검출하고, 상기 검출된 엣지의 픽셀 당 분산을 계산한 후, 상기 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 판단하여 판단된 영역을 제거할 수 있다.
또한, 상기 제1 특징 추출부는, 상기 합성곱 신경망을 이용하여 상기 원본 이미지 프레임과 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 상기 공간적 특징을 추출할 수 있다.
이와 같이 본 발명에 따르면, 합성곱 신경망을 이용하여 공간적 특징을 추출하고, BiLSTM을 이용하여 시간적 특징을 추출함으로써 카메라 센서의 고장을 정확하게 예측할 수 있는 효과가 있다.
또한 본 발명에 따르면, 카메라 센서로부터 입력된 이미지를 전처리 한 후 딥러닝 모델의 다중 입력으로 사용함으로써, 카메라가 정상적으로 동작할 때는 흐릿한 특징을 제거하기 때문에 고장으로 오분류하는 것을 방지할 수 있고, 카메라에 폐색이 포함된 부분에서는 원본 이미지와 전처리로 제거된 폐색 영역의 차이를 학습함에 따라 카메라 센서의 고장 예측 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따르면, 자율 주행차에서 사용되는 카메라 센서의 고장 예측 시에 유용하게 활용될 수 있고, 차량 이외에도 카메라 센서를 활용하여 주변 환경을 인식하는 다양한 시스템에 적용시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치를 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 방법의 동작 흐름을 도시한 순서도이다.
도 4는 도 3의 S20 단계의 세부 흐름을 도시한 순서도이다.
도 5는 도 4의 세부 흐름을 설명하기 위해 도시한 예시 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
먼저, 도 1 및 도 2를 통해 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치를 나타낸 블록구성도이고, 도 2는 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치를 설명하기 위해 도시한 도면이다.
도 1 및 도 2에서와 같이 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치(100)는, 입력부(110), 이미지 전처리부(120), 제1 특징 추출부(130), 제2 특징 추출부(140) 및 출력부(150)를 포함한다.
먼저, 입력부(110)는 카메라(미도시)로부터 촬영된 원본 이미지를 프레임 단위로 입력받는다.
이때, 카메라는 자율주행 차량 등에 사용되는 카메라일 수 있으며 이 외에도 다양한 시스템에서 사용되는 센서 카메라일 수 있다.
그리고 이미지 전처리부(120)는 입력부(110)를 통해 입력받은 원본 이미지 프레임을 전처리한다.
자세히는, 이미지 전처리부(120)는 입력부(110)를 통해 입력받은 원본 이미지 프레임을 흑백으로 변환한 후, 라플라시안 필터(Laplacian Filter)를 이용하여 흑백으로 변환된 원본 이미지 프레임에서 엣지를 검출한다. 더욱 자세히는, 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 원본 이미지 프레임 내 엣지를 검출한다. 그 다음, 검출된 엣지에서 각 픽셀 당 분산을 계산하고, 각 픽셀 당 분산을 이용하여 원본 이미지 프레임 내 흐린 영역을 검출한다. 이때, 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 검출한다. 마지막으로 검출된 흐린 영역을 제거하여 원본 이미지 프레임을 전처리한다.
여기서, 라플라시안 필터는 미분 영상을 구하는 필터로써, 경계선이 강조되는 특징이 있다. 따라서 원본 이미지 프레임에서 엣지를 검출하기 위해 사용된다.
본 발명의 실시 예에서는 도 2에 도시된 다중 입력(Multi input) 레이어 부분과 같이 원본 이미지 프레임과 함께 카메라 원본 이미지로부터 픽셀 간 차이가 낮은 구간을 검출하여 흐린 영역이 제거된(전처리)된 이미지 프레임을 다중 입력으로 사용함으로써, 카메라가 정상적으로 동작할 때는 흐릿한 부분(특징)을 제거하기 때문에 센서 고장으로 오분류할 확률을 줄이고, 카메라에 폐색이 포함된 부분에서는 원본 이미지와 전처리로 제거된 폐색 영역의 차이를 학습하기 때문에 성능을 향상시킬 수 있다.
그리고 제1 특징 추출부(130)는 입력부(110)를 통해 입력된 원본 이미지 프레임과 이미지 전처리부(120)에서 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출한다.
자세히는, 제1 특징 추출부(130)는 합성곱 신경망을 이용하여 원본 이미지 프레임과 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 공간적 특징을 추출한다.
이때, 제1 특징 추출부(130)의 처리 과정은 도 2에서 CNN 레이어에 해당하며, 본 발명의 실시 예에서는 공간적 특징을 추출하기 위해 일반적으로 사용하는 합성곱 신경망 연산과 동일한 방법으로 연산하므로 이 부분에 대한 자세한 설명은 생략하기로 한다.
그리고 제2 특징 추출부(140)는 제1 특징 추출부(130)에서 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출한다.
즉, 제2 특징 추출부(140)는 합성곱 신경망에 의해 제1 특징 추출부(130)에서 추출한 텐서(데이터)의 특징을 시간의 순방향 및 역방향에 대해서 상관관계를 추출한다. 따라서, BiLSTM는 정방향 LSTM(Long Short Term Memory) 출력 및 역방향 LSTM 출력의 결합으로 이루어질 수 있다.
이때, LSTM은 이전 단계 정보를 메모리 셀(memory cell)에 저장하여 다음 단계로 전달하는 순환신경망 구조이다. 즉, 현재 시점의 정보를 바탕으로 과거 내용을 얼마나 잊을지 또는 기억할지 등을 계산하고, 그 결과에 현재 정보를 추가해서 다음 시점으로 정보를 전달하는 것을 특징으로 한다.
마지막으로 출력부(150)는 제1 특징 추출부(130)에서 추출된 공간적 특징과 제2 특징 추출부(140)에서 추출된 시간적 특징으로부터 카메라의 센서 고장 여부를 예측하여 출력한다.
이하에서는 도 3 내지 도 5를 통해 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 방법에 대하여 설명한다.
도 3은 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시 예에 따르면, 먼저 입력부(110)가 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는다(S10).
그 다음 이미지 전처리부(120)가 S10 단계에서 입력받은 원본 이미지 프레임을 전처리한다(S20).
도 4는 도 3의 S20 단계의 세부 흐름을 도시한 순서도이다.
도 4를 참조하여 S20 단계의 구체적인 동작을 설명하자면, 먼저 이미지 전처리부(120)는 S10 단계에서 입력받은 원본 이미지 프레임을 흑백으로 변환한다(S21).
그리고 라플라시안 필터(Laplacian Filter)를 이용하여 흑백으로 변환된 원본 이미지 프레임에서 엣지를 검출한다(S22).
S22 단계에서 이미지 전처리부(120)는 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 S10 단계에서 입력받은 원본 이미지 프레임 내 엣지를 검출할 수 있다.
그리고 S22 단계에서 검출된 엣지에서 각 픽셀 당 분산을 계산한다(S23).
그리고 S23 단계에서 계산된 각 픽셀 당 분산을 이용하여 S10 단계에서 입력받은 원본 이미지 프레임 내 흐린 영역을 검출한다(S24).
S24 단계에서 이미지 전처리부(120)는 S23 단계에서 계산된 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 검출할 수 있다.
마지막으로 S24 단계에서 검출된 흐린 영역을 제거하여 S10 단계에서 입력받은 원본 이미지 프레임을 전처리한다(S25).
도 5는 도 4의 세부 흐름을 설명하기 위해 도시한 예시 도면이다.
도 5을 참고하여 도 4를 요약하자면, 이미지 전처리부(120)는 S10 단계에서 입력받은 원본 이미지 프레임(a)을 이용하여 전처리하기 위해 라플라시안 필터를 이용하여 흑백으로 변환된 원본 이미지 프레임에서 엣지를 검출(b)하고, 검출된 엣지에서 각 픽셀 당 분산을 계산하여 각 픽셀이 임계 값을 넘으면 흐린 영역으로 검출(c)하여, 검출된 흐린 영역(원본 이미지 프레임에서 픽셀 값이 0인 영역을 흐린 영역으로 판단)을 제거(d)하여 전처리한다.
그 다음 제1 특징 추출부(130)가 S10 단계에서 입력받은 원본 이미지 프레임과 S20 단계에서 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출한다(S30).
S30 단계를 자세히 설명하자면, 제1 특징 추출부(130)가 합성곱 신경망을 이용하여 S10 단계에서 입력받은 원본 이미지 프레임과 S20 단계에서 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 공간적 특징을 추출한다.
그 다음 제2 특징 추출부(140)가 S30 단계에서 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출한다(S40).
즉, S40단계는 합성곱 신경망에 의해 S30 단계에서 추출한 텐서의 특징을 시간의 순방향 및 역방향에 대해서 상관관계를 추출한다.
마지막으로 출력부(S50)가 S30 단계에서 추출된 공간적 특징과 S40 단계에서 추출된 시간적 특징으로부터 카메라의 센서 고장 여부를 예측하여 출력한다.
이와 같은, 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법은 합성곱 신경망을 이용하여 공간적 특징을 추출하고, BiLSTM을 이용하여 시간적 특징을 추출함으로써 카메라 센서의 고장을 정확하게 예측할 수 있다.
또한 본 발명의 실시 예에 따르면, 카메라 센서로부터 입력된 이미지를 전처리 한 후 딥러닝 모델의 다중 입력으로 사용함으로써, 카메라가 정상적으로 동작할 때는 흐릿한 특징을 제거하기 때문에 고장으로 오분류하는 것을 방지할 수 있고, 카메라에 폐색이 포함된 부분에서는 원본 이미지와 전처리로 제거된 폐색 영역의 차이를 학습함에 따라 카메라 센서의 고장 예측 성능을 향상시킬 수 있는 효과가 있다.
또한 본 발명의 실시 예에 따르면, 자율 주행차에서 사용되는 카메라 센서의 고장 예측 시에 유용하게 활용될 수 있고, 차량 이외에도 카메라 센서를 활용하여 주변 환경을 인식하는 다양한 시스템에 적용시킬 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 카메라 센서 고장 예측 장치 110 : 입력부
120 : 이미지 전처리부 130 : 제1 특징 추출부
140 : 제2 특징 추출부 150 : 출력부

Claims (8)

  1. 딥러닝을 이용한 카메라 센서 고장 예측 장치에 의해 수행되는 카메라 센서 고장 예측 방법에 있어서,
    카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 단계;
    상기 입력받은 원본 이미지 프레임을 전처리하는 단계;
    상기 원본 이미지 프레임과 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출하는 단계;
    상기 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출하는 단계; 및
    상기 추출된 공간적 특징과 시간적 특징으로부터 상기 카메라의 센서 고장 여부를 예측하여 출력하는 단계를 포함하는 카메라 센서 고장 예측 방법.
  2. 제1항에 있어서,
    상기 전처리하는 단계는,
    상기 입력받은 원본 이미지 프레임을 흑백으로 변환하는 단계,
    라플라시안(Laplacian Filter) 필터를 이용하여 상기 흑백으로 변환된 원본 이미지 프레임에서 엣지를 검출하는 단계,
    상기 검출된 엣지에서 각 픽셀 당 분산을 계산하는 단계,
    상기 각 픽셀 당 분산을 이용하여 상기 원본 이미지 프레임 내 흐린 영역을 검출하는 단계, 및
    상기 검출된 흐린 영역을 제거하여 상기 원본 이미지 프레임을 전처리하는 단계를 포함하는 카메라 센서 고장 예측 방법.
  3. 제2항에 있어서,
    상기 엣지를 검출하는 단계는,
    상기 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 상기 원본 이미지 프레임 내 엣지를 검출하고,
    상기 흐린 영역을 검출하는 단계는,
    상기 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 검출하는 카메라 센서 고장 예측 방법.
  4. 제1항에 있어서,
    상기 공간적 특징을 추출하는 단계는,
    상기 합성곱 신경망을 이용하여 상기 원본 이미지 프레임과 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 상기 공간적 특징을 추출하는 카메라 센서 고장 예측 방법.
  5. 카메라로부터 촬영된 원본 이미지를 프레임 단위로 입력받는 입력부;
    상기 입력받은 원본 이미지 프레임을 전처리하는 이미지 전처리부;
    상기 원본 이미지 프레임과 전처리된 이미지 프레임을 각각 합성곱 신경망(Convolution Neural Network, CNN) 레이어에 입력하여 각각의 프레임에 대한 공간적 특징을 추출하는 제1 특징 추출부;
    상기 추출된 공간적 특징을 BiLSTM(Bi-directional LSTM) 레이어에 입력하여 시간의 양방향에서 시간적 특징을 추출하는 제2 특징 추출부; 및
    상기 추출된 공간적 특징과 시간적 특징으로부터 상기 카메라의 센서 고장 여부를 예측하여 출력하는 출력부를 포함하는 딥러닝을 이용한 카메라 센서 고장 예측 장치.
  6. 제5항에 있어서,
    상기 이미지 전처리부는,
    상기 입력받은 원본 이미지 프레임을 흑백으로 변환한 후 라플라시안 필터(Laplacian Filter)를 통해 검출되는 엣지에서 각 픽셀 당 분산을 계산하여 검출되는 흐린 영역을 제거하여 상기 원본 이미지 프레임을 전처리하는 딥러닝을 이용한 카메라 센서 고장 예측 장치.
  7. 제6항에 있어서,
    상기 이미지 전처리부는,
    상기 라플라시안 필터를 통해 픽셀 값 간의 기울기와 방향을 계산하여 상기 원본 이미지 프레임 내 엣지를 검출하고,
    상기 검출된 엣지의 픽셀 당 분산을 계산한 후, 상기 픽셀이 임계 값 이상이면 해당 픽셀의 위치를 흐린 영역으로 판단하여 판단된 영역을 제거하는 딥러닝을 이용한 카메라 센서 고장 예측 장치.
  8. 제5항에 있어서,
    상기 제1 특징 추출부는,
    상기 합성곱 신경망을 이용하여 상기 원본 이미지 프레임과 전처리된 이미지 프레임 각각에 대한 특징을 추출하고, 추출된 각각의 특징을 하나의 정보로 합치는 연결(concatenate) 연산을 수행하여 상기 공간적 특징을 추출하는 딥러닝을 이용한 카메라 센서 고장 예측 장치.
KR1020220011702A 2021-12-22 2022-01-26 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법 KR20230095751A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/017943 WO2023120986A1 (ko) 2021-12-22 2022-11-15 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210184982 2021-12-22
KR1020210184982 2021-12-22

Publications (1)

Publication Number Publication Date
KR20230095751A true KR20230095751A (ko) 2023-06-29

Family

ID=86946253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220011702A KR20230095751A (ko) 2021-12-22 2022-01-26 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230095751A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117598711A (zh) * 2024-01-24 2024-02-27 中南大学 一种心电信号的qrs波群检测方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095411A (zh) * 2023-10-16 2023-11-21 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117095411B (zh) * 2023-10-16 2024-01-23 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统
CN117598711A (zh) * 2024-01-24 2024-02-27 中南大学 一种心电信号的qrs波群检测方法、装置、设备及介质
CN117598711B (zh) * 2024-01-24 2024-04-26 中南大学 一种心电信号的qrs波群检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
EP3466764B1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US10943132B2 (en) Distant on-road object detection
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
KR20230095751A (ko) 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
KR20190026116A (ko) 객체 인식 방법 및 장치
EP3657382A1 (en) Method for warning vehicle of risk of lane change and alarm device using the same
KR101436624B1 (ko) 차선 유지 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2016081525A (ja) 車両用画像認識システム、及び対応法
KR20110054146A (ko) 주차공간 인식 방법 및 장치
JP6301440B2 (ja) 対象物検出システム及び対象物検出方法
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
KR102359083B1 (ko) 움직이는 객체 검출 장치 및 방법
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
KR102372296B1 (ko) 영상 기반 주행 차로 판단 장치 및 방법
JP5107154B2 (ja) 運動推定装置
JP2023552105A (ja) 人間行動のオクルージョン対応予測
KR101744196B1 (ko) 후방 감지 방법 및 그 장치
KR101976952B1 (ko) 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
KR101875517B1 (ko) 영상 처리 방법 및 장치
JP2008243111A (ja) 画像処理装置および画像処理方法
KR101194152B1 (ko) 보행자 충돌 회피 방법 및 그 시스템
KR20220107920A (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
KR102436848B1 (ko) 센서 퓨전을 이용한 이미지센서 장치 및 제어 방법