KR102348123B1 - 카메라 렌즈 오염 경고 장치 및 방법 - Google Patents

카메라 렌즈 오염 경고 장치 및 방법 Download PDF

Info

Publication number
KR102348123B1
KR102348123B1 KR1020170140891A KR20170140891A KR102348123B1 KR 102348123 B1 KR102348123 B1 KR 102348123B1 KR 1020170140891 A KR1020170140891 A KR 1020170140891A KR 20170140891 A KR20170140891 A KR 20170140891A KR 102348123 B1 KR102348123 B1 KR 102348123B1
Authority
KR
South Korea
Prior art keywords
contamination
warning
camera lens
state
neural network
Prior art date
Application number
KR1020170140891A
Other languages
English (en)
Other versions
KR20190047244A (ko
Inventor
손민성
최진욱
설상훈
최태현
윤성욱
임재영
Original Assignee
현대자동차주식회사
기아 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 고려대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020170140891A priority Critical patent/KR102348123B1/ko
Publication of KR20190047244A publication Critical patent/KR20190047244A/ko
Application granted granted Critical
Publication of KR102348123B1 publication Critical patent/KR102348123B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H04N5/2171—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라 렌즈 오염 경고 장치 및 방법에 관한 것으로, 차량에 탑재된 카메라를 통해 연속되는 영상들을 획득하는 영상 획득기, 상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하고 검출된 오염 상태에 따라 오염 경고 출력을 제어하는 처리기, 및 상기 처리기의 제어에 따라 오염 경고를 출력하는 출력기를 포함한다.

Description

카메라 렌즈 오염 경고 장치 및 방법{APPARATUS AND METHOD FOR WARNING CONTAMINATION OF CAMERA LENS}
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 경고하는 카메라 렌즈 오염 경고 장치 및 방법에 관한 것이다.
최근에는 운전자가 차량의 주변 상황을 편리하게 확인하여 주행 및 주차 등을 손쉽게 할 수 있도록 카메라를 이용하여 차량의 주변 영상을 제공하는 영상 처리 시스템이 보편적으로 적용되고 있다. 이러한 영상 처리 시스템은 날씨 또는 먼지 등과 같은 외부 요인으로 인해 카메라 렌즈가 오염되면 영상 처리 시 오류를 발생시킬 수 있어 시스템에 대한 신뢰성이 저하될 수 있다.
이에, 종래에는 카메라 렌즈의 오염을 검출하기 위해 영상의 명암을 이용하거나 동영상에서 동일 영역의 면적을 계산하거나, 영상의 블러(blur) 현상 또는 에지 맵(edge map)을 이용하는 방법이 대부분이다. 그러나 이러한 종래기술은 특정 종류의 오염물에만 적용가능하거나 특정 환경에서 획득된 영상에서만 적용 가능할 수 있어 제한적이다.
[문헌 1] KR 1020150076371 A [문헌 2] KR 101525516 B1 [문헌 3] US 20150009296 A1 [문헌 4] US 9319637 B2 [문헌 5] US 8208043 B2 [문헌 6] US 20150177512 A1
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 분류하는 카메라 렌즈 오염 경고 장치 및 방법을 제공하고자 한다.
또한, 본 발명은 카메라 렌즈의 오염 상태에 따라 상이한 방식으로 운전자에게 경고하는 카메라 렌즈 오염 경고 장치 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치는 차량에 탑재된 카메라를 통해 연속되는 영상들을 획득하는 영상 획득기, 상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하고 검출된 오염 상태에 따라 오염 경고 출력을 제어하는 처리기, 및 상기 처리기의 제어에 따라 오염 경고를 출력하는 출력기를 포함하는 것을 특징으로 한다.
상기 처리기는, 상기 연속되는 영상들로부터 N개의 연산프레임들을 추출하고 상기 심층 신경망을 활용하여 추출된 N개의 연산프레임들을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부, 및 분류된 오염 상태에 따라 오염 경고 방식을 결정하여 오염 경고를 출력하는 오염 상태 경고부를 포함하는 것을 특징으로 한다.
상기 오염 상태 분류부는, 정해진 추출 시간 간격으로 상기 연속되는 영상들에서 상기 N개의 연산프레임들을 추출하는 연산프레임 추출부, 심층 신경망 연산을 수행하여 상기 추출된 N개의 연산프레임들로부터 특징값추출하는 특징 추출부, 및 상기 특징 추출부로부터 출력되는 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값에 근거하여 상기 카메라 렌즈의 오염 상태를 결정하는 오염 상태 결정부를 포함하는 것을 특징으로 한다.
상기 연산프레임 추출부는, 이전에 결정된 카메라 렌즈의 오염 상태에 따라 상기 추출 시간 간격을 결정하는 것을 특징으로 한다.
상기 연산프레임 추출부는, 각 오염 상태의 발생 빈도 및 분류 난이도를 고려하여 상기 추출 시간 간격을 결정하는 것을 특징으로 한다.
상기 특징 추출부는, 상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하고, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 것을 특징으로 한다.
상기 특징 추출부는, N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 계산된 특징값을 제2중간 특징값으로 저장하고 상기 다음 연산프레임과 상기 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 과정을 반복하는 것을 특징으로 한다.
상기 오염 상태 결정부는, 상기 오염 상태별 확률값 중 확률값이 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 한다.
상기 오염 상태 경고부는, 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나의 경고 방식을 선택하여 상기 카메라 렌즈의 오염 상태를 경고하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법은 차량에 장착된 카메라를 통해 연속되는 영상들을 획득하는 단계, 상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하는 단계, 및 상기 검출된 오염 상태에 따라 오염 경고를 출력하는 단계를 포함하는 것을 특징으로 한다.
상기 카메라 렌즈의 오염 상태를 검출하는 단계는, 상기 연속되는 영상들에서 정해진 추출 시간 간격으로 N개의 연산프레임들을 추출하는 단계, 상기 N개의 연산프레임들을 순차적으로 심층 신경망 연산을 수행하여 특징값을 계산하는 단계, 및 상기 계산된 특징값에 근거하여 카메라 렌즈의 오염 상태를 분류하는 단계를 포함하는 것을 특징으로 한다.
상기 특징값을 계산하는 단계는, 상기 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하는 단계, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 제2중간 특징값을 계산하는 단계, 및 N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 다음 연산 프레임과 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 순차적으로 수행하여 특징값을 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 카메라 렌즈의 오염 상태를 분류하는 단계는, 상기 계산된 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값 중 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 한다.
상기 오염 경고를 출력하는 단계는, 상기 검출된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력하는 것을 특징으로 한다.
본 발명은 차량용 카메라를 통해 획득한 다수의 영상들을 심층 신경망(Deep Neural Network)을 활용하여 분석하여 카메라 렌즈의 오염 상태를 분류하고 분류된 오염 상태에 대한 정보를 운전자에게 제공할 수 있다.
또한, 본 발명은 운전자에게 카메라 렌즈의 오염 상태에 대한 정보를 제공하여 카메라 렌즈의 교체 및 세척의 필요성을 인지시킴으로 차량용 카메라를 사용하는 영상 처리 시스템의 신뢰성을 향상시킬 수 있다.
또한, 본 발명은 카메라 렌즈의 오염 상태에 따라 운전자가 렌즈를 교체할지, 세척할지를 결정하거나 세척의 시급성을 판단하는 데에 도움을 줄 수 있다.
또한, 본 발명은 시간 간격을 조절하여 추출한 복수의 영상들을 사용하여 카메라 렌즈의 오염 상태를 판단하므로 오염 여부 판단의 정확도를 높일 수 있다. 따라서, 본 발명은 카메라 렌즈의 오염 상태 오검출로 인한 운전자의 불편을 최소화할 수 있다.
또한, 본 발명은 복수의 영상을 효과적으로 계산하기 위해 중간 특징값을 버퍼에 저장하는 방식을 사용함으로써 경고를 출력하기까지의 지연시간을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치를 도시한 블록구성도.
도 2는 도 1에 도시된 오염 상태 분류부의 블록구성도.
도 3은 도 1에 도시된 오염 상태 분류부의 심층 신경망 구조를 도시한 예시도.
도 4는 도 1에 도시된 오염 상태 경고부의 블록구성도.
도 5는 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법을 도시한 흐름도.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 장치를 도시한 블록구성도이고, 도 2는 도 1에 도시된 오염 상태 분류부의 블록구성도이며, 도 3은 도 1에 도시된 오염 상태 분류부의 심층 신경망(Deep Neural Network, DNN) 구조를 도시한 예시도이고, 도 4는 도 1에 도시된 오염 상태 경고부의 블록구성도이다.
도 1에 도시된 바와 같이, 카메라 렌즈 오염 경고 장치는 영상 획득기(100), 처리기(200) 및 출력기(300)를 포함한다.
영상 획득기(100)는 차량에 장착된 적어도 하나 이상의 카메라(들)를 이용하여 차량 주변의 영상을 획득한다. 영상 획득기(100)는 연속되는 영상들(동영상)을 획득한다. 예컨대, 영상 획득기(100)는 전방 카메라, 후방 카메라, 및/또는 측방 카메라(사이드 카메라)를 통해 차량 주위의 외부 영상(전방 영상, 후방 영상 및/또는 측방 영상)을 획득할 수 있다. 영상 획득기(100)는 획득한 영상을 처리기(200)의 입력 데이터(입력 영상)로 제공한다.
카메라(미도시)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등의 영상센서들 중 어느 하나를 포함할 수 있다. 또한, 카메라(미도시)는 표준렌즈, 광각렌즈, 어안렌즈 및 망원렌즈 중 어느 하나의 렌즈를 구비할 수 있다.
처리기(200)는 영상 획득기(100)를 통해 획득한 N개의 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 판정하고 판정된 오염 상태에 따라 경고한다. 처리기(200)는 내부 및/또는 외부에 메모리(미도시)를 구비할 수 있다. 메모리(미도시)는 처리기(200)의 동작을 제어하기 위한 프로그램, 설정정보 및 처리기(200)의 입/출력 데이터를 저장할 수 있다.
처리기(200)는 심층 신경망을 활용하여 획득한 N개의 영상들(연산프레임들)을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부(210) 및 오염 상태 분류부(210)에 의해 분류된 오염 상태에 따라 오염 경고를 출력하는 오염 상태 경고부(220)를 포함한다.
오염 상태 분류부(210)는 도 2에 도시된 바와 같이 연산프레임 추출부(211), 특징 추출부(212) 및 오염 상태 결정부(213)를 포함한다.
연산프레임 추출부(211)는 영상 획득기(100)를 통해 실시간으로 연속되는 영상들을 입력받는다. 연산프레임 추출부(211)는 연속된 영상들 중에서 정해진 추출 시간 간격 t으로 N개의 연산프레임들을 추출하여 순차적으로 특징 추출부(212)로 전달한다. N개의 연산프레임들은 오염 상태 분류에 사용된다. 연산프레임 추출부(211)는 연속된 영상들로부터 연산프레임을 추출하면 추출한 순서대로 연산프레임 번호를 부여한다. 예를 들어, 연산프레임 추출부(211)는 N개의 연산프레임을 추출하는 경우 연산프레임 번호를 1부터 N까지 순차적으로 부여한다.
연산프레임 추출부(211)는 연산프레임을 추출한 후 전처리하여 특징 추출부(212)의 입력 데이터로 전달한다. 연산프레임 추출부(211)는 추출한 연산프레임의 크기 조절 및 픽셀값 정규화 등의 전처리를 수행한다.
연산프레임 추출부(211)는 이전에 결정된 카메라 렌즈의 오염 상태에 따라 추출 시간 간격 t을 결정한다. 연산프레임 추출부(211)는 오염 상태 결정부(213)에서 출력되는 이전 오염 상태를 고려하여 연산프레임을 추출하는 시간 간격 t을 변경한다. 이때, 오염 상태에 따른 추출 시간 간격은 미리 정해지며 각 오염 상태의 발생 빈도 및 분류 난이도 등이 고려되어 결정될 수 있다. 오염 상태는 비오염, 반투명 오염, 및 불투명 오염 등으로 구분될 수 있다.
연산프레임 추출부(211)는 학습을 위한 데이터 습득 과정에서 정해지는 발생 빈도 F 및 분류 난이도 L를 고려하여 추출 시간 간격 t을 결정한다.
발생 빈도 F는 실제의 발생 빈도가 아닌 [수학식 1]과 같이 오염 상태별 데이터 개수의 비율로 정해진다.
Figure 112017106389559-pat00001
여기서, ND은 데이터 개수이고, NCD은 오염 상태의 데이터 개수이다.
분류 난이도 L는 [수학식 2]와 같이 데이터 내의 오차율로 표현될 수 있다.
Figure 112017106389559-pat00002
여기서, Nerror는 오염 상태의 오류 데이터 개수이다.
가중치 w는 발생 빈도 F와 분류 난이도 L를 곱하여 정규화한 값으로, [수학식 3]과 같이 정의할 수 있다.
Figure 112017106389559-pat00003
여기서, Nmin-error는 오염 상태별 오류 개수 중 최소 오류 데이터 개수이다.
추출 시간 간격 t은 [수학식 4]와 같이 기본 추출 시간 간격 tdefault을 비례 상수로 하여 가중치 w에 비례하여 결정된다.
Figure 112017106389559-pat00004
오염 상태 분류의 경우 배경에 큰 영향을 받으며 비오염 상태의 발생 빈도가 아주 작기 때문에 일단 오염 상태라고 분류하면 어려운 배경에 의한 오류라고 판단하여 배경의 다양성을 확보하기 위해 연산프레임 추출 시간 간격을 증가시킨다. 이과정에서 분류 난이도와 발생 빈도를 고려하는 이유는 판단이 오류가 아닌 경우 이후의 판단이 분류 난이도와 발생 빈도에 강인하게 안정적인 판단을 유지하도록 하기 위함이다. 또한, 발생 빈도가 데이터 내의 비중으로써 정의되는 이유는 알고리즘 기준에서의 발생 빈도는 실제 발생 빈도가 아닌 데이터 내의 발생 빈도이며 실제의 발생 빈도와 너무 차이가 심하기 때문이다.
특징 추출부(212)는 제1심층 신경망을 적용하여 N개의 연산프레임들로부터 특징(특징값)을 추출(계산)한다. 여기서, 심층 신경망으로는 콘볼루션 신경망(Convolutional Neural Network, CNN)이 사용될 수 있다. 콘볼루션 신경망은 하나 이상의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성되는 신경망이다.
예를 들어, 도 3에 도시된 바와 같이, 특징 추출부(212)는 1번째 연산프레임 f1이 입력되면 콘볼루션 신경망(CNN0) 연산을 수행하여 1번째 연산프레임 f1의 특징값을 계산한다. 즉, 특징 추출부(212)는 콘볼루션 신경망(CNN0)을 활용하여 1번째 연산프레임 f1으로부터 특징을 추출하는 것이다. 특징 추출부(212)는 계산된 특징값을 버퍼(buffer)에 저장한다.
이후, 특징 추출부(212)는 2번째 연산프레임 f2이 입력되면 2번째 연산프레임 f2에 대해 콘볼루션 신경망(CNN0) 연산을 수행하여 2번째 연산프레임 f2의 특징값을 계산한다. 특징 추출부(212)는 계산된 특징값과 버퍼에 저장된 특징값을 결합하는 콘볼루션 신경망(combiner CNN1) 연산을 수행하여 제1중간 특징값을 계산하고 계산된 제1중간 특징값을 버퍼에 저장한다.
특징 추출부(213)는 3번째 연산프레임 f3이 입력되면 콘볼루션 신경망(CNN0)을 이용하여 3번째 연산프레임 f3의 특징값을 계산한다. 특징 추출부(213)는 계산된 3번째 연산프레임 f3의 특징값과 버퍼에 저장된 제1중간 특징값을 결합하는 콘볼루션 신경망(combiner CNN2) 연산을 수행하여 제2중간 특징값을 계산한다. 그리고, 특징 추출부(213)는 계산된 제2중간 특징값을 버퍼에 저장한다. 특징 추출부(213)는 다음 연산프레임이 입력되면 콘볼루션 신경망(CNN0)을 활용하여 해당 연산프레임의 특징값을 계산하고 그 계산된 특징값과 앞서 계산된 중간 특징값(이전 중간 특징값)을 결합하는 콘볼루션 신경망(combiner CNN#)을 이용하여 중간 특징값을 계산하고 그 계산된 중간 특징값을 저장하는 과정을 최종 특징값을 추출할 때까지 반복한다. 여기서, 콘볼루션 신경망(CNN0)와 결합하는 콘볼루션 신경망(combiner CNN#)을 통칭하여 제1심층 신경망이라 한다. 그리고, 특징 추출부(213)는 N개의 연산프레임들을 이용하여 오염 상태를 분류하는 경우 제1심층 신경망을 활용한 특징 추출 과정을 (N-1)번 반복한다.
오염 상태 결정부(213)는 특징 추출부(212)로부터 출력되는 특징값과 미리 정해진 오염 상태 목록을 결합하여 제2심층 신경망 연산을 수행함으로써 오염 상태별 확률값을 계산하여 오염 상태를 결정한다. 오염 상태 결정부(213)는 오염 상태별 확률값 중 가장 큰 확률값을 가지는 오염 상태를 카메라 렌즈의 오염 상태로 결정한다.
오염 상태 경고부(220)는 도 4에 도시된 바와 같이 오염 경고 결정부(221) 및 경고 출력 제어부(222)를 포함한다.
오염 경고 결정부(221)는 오염 상태 분류부(210)에 의해 분류된 카메라 렌즈의 오염 상태에 따라 경고 방식을 결정한다. 오염 경고 결정부(221)는 분류된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 결정할 수 있다. 예를 들어, 오염 경고 결정부(221)는 렌즈 오염 상태가 불투명한 오염이면 스피커를 통한 청각적 경고 출력을 결정하고, 빗물 등에 의한 투명한 오염이면 디스플레이를 사용한 시각적 경고 출력을 결정할 수 있다.
오염 경고 결정부(221)는 오염 상태 분류부(210)에 의해 분류된 카메라 렌즈의 오염 상태가 경고 출력을 통해 오염 상태 정보를 운전자에게 경고할 필요가 있는지를 결정한다. 오염 경고 결정부(221)는 오염 상태 결정부(213)에 의해 결정된 오염 상태가 미리 설정된 경고 필요 오염 상태 목록에 포함되어 있으면 경고 출력을 결정하고, 결정된 오염 상태가 미리 설정된 경고 필요 오염 상태 목록에 포함되어 있지 않으면 경고 미출력을 결정한다.
경고 출력 제어부(222)는 오염 경고 결정부(221)의 결정에 따라 오염 경고 출력을 제어한다. 예컨대, 경고 출력 제어부(222)는 오염 경고 결정부(221)의 결정에 따라 시각 정보만 출력하도록 제어하거나 시각 정보 및 청각 정보로 출력하도록 제어한다.
출력기(300)는 경고 출력 제어부(222)의 제어에 따라 시각 정보(시각적 경고), 청각 정보(청각적 경고) 및/또는 촉각 정보(촉각적 경고) 등의 정보를 출력하기 위한 것으로, 디스플레이, 음향 출력 모듈 및 햅틱 모듈 등이 포함될 수 있다.
디스플레이는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 및 클러스터(cluster) 중 적어도 하나 이상으로 구현될 수 있다.
음향 출력 모듈은 메모리(미도시)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈은 리시버(receiver), 스피커(speaker), 및/또는 버저(buzzer) 등을 포함할 수 있다.
햅틱 모듈은 사용자가 촉각으로 인지할 수 있는 형태의 신호를 출력한다. 예를 들어, 햅틱 모듈은 진동자로 구현되어 진동 세기 및 패턴 등을 제어할 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라 렌즈 오염 경고 방법을 도시한 흐름도이다. 본 실시예에서는 N개의 연산프레임들을 사용하여 카메라 렌즈의 오염 상태를 분류하는 것을 예로 들어 설명한다.
처리기(200)는 영상 획득기(100)를 통해 연속되는 영상들을 획득한다(S110). 영상 획득기(100)는 카메라를 통해 실시간으로 촬영되는 영상프레임을 순차적으로 처리기(200)로 전달한다.
처리기(200)는 연속되는 영상들 중에서 연산프레임을 추출한다(S120). 처리기(200)는 심층 신경망 연산에 사용할 수 있도록 추출된 연산프레임에 대해 크기 조절 및 픽셀값 정규화 등의 전처리를 수행한다. 그리고, 처리기(200)는 추출한 연산프레임에 연산프레임 번호를 부여한다.
처리기(200)는 추출된 연산프레임이 1번째 연산프레임이 아닌지를 확인한다(S130). 예컨대, 처리기(200)는 추출된 연산프레임의 연산프레임 번호가 1인지를 확인한다.
처리기(200)는 추출된 연산프레임이 1번째 연산프레임이면 일정 시간 경과 후 연산프레임을 추출한다(S135 및 S120). 여기서, 일정 시간 간격을 연산프레임을 추출하는 추출 시간 간격 t를 의미한다. 처리기(200)는 추출된 연산프레임이 1번째 연산프레임이면 콘볼루션 신경망(CNN0)을 적용하여 1번째 연산프레임의 특징값을 계산하고 그 계산된 특징값을 버퍼에 저장할 수 있다.
S130에서 추출된 연산프레임이 1번째 연산프레임이 아니면, 처리기(200)는 제1심층 신경망을 이용하여 이전에 추출된 연산프레임과 현재 추출된 연산프레임으로부터 중간 특징값을 계산한다(S140). 이때, 처리기(200)는 계산된 중간 특징값을 버퍼에 저장한다.
처리기(200)는 중간 특징값을 계산한 후 현재 추출된 연산프레임이 N번째 연산프레임인지를 확인한다(S150). 처리기(200)는 N번째 연산프레임을 추출할 때까지 추출 시간 간격으로 다음 연산프레임을 추출하고 S130 내지 S150를 반복한다.
처리기(200)는 현재 추출된 연산프레임이 N번째 연산프레임이면 계산된 중간 특징값들 중 최종 특징값에 근거하여 카메라 렌즈의 오염 상태를 결정하고 결정된 오염 상태에 근거하여 추출 시간 간격을 변경한다(S160). 처리기(200)는 최종 특징값을 사용하여 제2심층 신경망 연산을 수행하므로 오염 상태별 확률값을 계산한다. 처리기(200)는 계산된 오염 상태별 확률값 중 가장 큰 확률값을 가지는 오염 상태를 카메라 렌즈의 오염 상태로 결정한다. 그리고, 처리기(200)는 결정된 오염 상태의 가중치에 비례하여 연산프레임을 추출하는 시간 간격을 변경한다.
처리기(200)는 결정된 오염 상태에 따라 카메라 렌즈의 오염 상태 경고를 출력한다(S170). 처리기(200)는 결정된 오염 상태에 따라 경고 방식을 결정한다. 예를 들어, 처리기(200)는 결정된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력한다.
처리기(200)는 경고를 출력하며 연산프레임 번호 및 시간을 초기화한다. 그리고, 처리기(200)는 차량 시동 오프(OFF) 시까지 변경된 추출 시간 간격으로 S110 내지 S170을 반복적으로 수행한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 획득기
200: 처리기
210: 오염 상태 분류부
211: 연산프레임 추출부
212: 특징 추출부
213: 오염 상태 결정부
220: 오염 상태 경고부
221: 오염 경고 결정부
222: 경고 출력 제어부
300: 출력기

Claims (14)

  1. 차량에 탑재된 카메라를 통해 연속되는 영상들을 획득하는 영상 획득기,
    상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하고 검출된 오염 상태에 따라 오염 경고 출력을 제어하는 처리기, 및
    상기 처리기의 제어에 따라 오염 경고를 출력하는 출력기를 포함하고,
    상기 처리기는,
    상기 연속되는 영상들로부터 추출된 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하고, 다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하고,
    N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 계산된 특징값을 제2중간 특징값으로 저장하고 상기 다음 연산프레임과 상기 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 특징값을 계산하는 과정을 반복하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  2. 제1항에 있어서,
    상기 처리기는,
    상기 연속되는 영상들로부터 N개의 연산프레임들을 추출하고 상기 심층 신경망을 활용하여 추출된 N개의 연산프레임들을 분석하여 카메라 렌즈의 오염 상태를 분류하는 오염 상태 분류부, 및
    분류된 오염 상태에 따라 오염 경고 방식을 결정하여 오염 경고를 출력하는 오염 상태 경고부를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  3. 제2항에 있어서,
    상기 오염 상태 분류부는,
    정해진 추출 시간 간격으로 상기 연속되는 영상들에서 상기 N개의 연산프레임들을 추출하는 연산프레임 추출부,
    심층 신경망 연산을 수행하여 상기 추출된 N개의 연산프레임들로부터 특징값추출하는 특징 추출부, 및
    상기 특징 추출부로부터 출력되는 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값에 근거하여 상기 카메라 렌즈의 오염 상태를 결정하는 오염 상태 결정부를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  4. 제3항에 있어서,
    상기 연산프레임 추출부는,
    이전에 결정된 카메라 렌즈의 오염 상태에 따라 상기 추출 시간 간격을 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  5. 제4항에 있어서,
    상기 연산프레임 추출부는,
    각 오염 상태의 발생 빈도 및 분류 난이도를 고려하여 상기 추출 시간 간격을 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  6. 삭제
  7. 삭제
  8. 제3항에 있어서,
    상기 오염 상태 결정부는,
    상기 오염 상태별 확률값 중 확률값이 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  9. 제2항에 있어서,
    상기 오염 상태 경고부는,
    시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고 방식을 선택하여 상기 카메라 렌즈의 오염 상태를 경고하는 것을 특징으로 하는 카메라 렌즈 오염 경고 장치.
  10. 차량에 장착된 카메라를 통해 연속되는 영상들을 획득하는 단계,
    상기 연속되는 영상들을 심층 신경망을 통해 분석하여 카메라 렌즈의 오염 상태를 검출하는 단계, 및
    상기 검출된 오염 상태에 따라 오염 경고를 출력하는 단계를 포함하고,
    상기 카메라 렌즈의 오염 상태를 검출하는 단계는,
    상기 연속된 영상들로부터 추출된 N개의 연산프레임들 중 1번째 연산프레임과 2번째 연산프레임을 결합하는 콘볼루션 신경망 연산을 수행하여 제1중간 특징값을 계산하는 단계,
    다음 연산프레임과 상기 제1중간 특징값을 결합하는 콘볼루션 신경망 연산을 수행하여 제2중간 특징값을 계산하는 단계, 및
    N번째 연산프레임에 대한 심층 신경망 연산이 수행될 때까지 상기 다음 연산 프레임과 제2중간 특징값을 결합하는 콘볼루션 신경망 연산을 순차적으로 수행하여 특징값을 계산하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.
  11. 제10항에 있어서,
    상기 카메라 렌즈의 오염 상태를 검출하는 단계는,
    상기 연속되는 영상들에서 정해진 추출 시간 간격으로 N개의 연산프레임들을 추출하는 단계,
    상기 N개의 연산프레임들을 순차적으로 심층 신경망 연산을 수행하여 특징값을 계산하는 단계, 및
    상기 계산된 특징값에 근거하여 카메라 렌즈의 오염 상태를 분류하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 카메라 렌즈의 오염 상태를 분류하는 단계는,
    상기 계산된 특징값을 이용하여 오염 상태별 확률값을 계산하고 계산된 확률값 중 가장 큰 확률값을 가지는 오염 상태를 상기 카메라 렌즈의 오염 상태로 결정하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.
  14. 제10항에 있어서,
    상기 오염 경고를 출력하는 단계는,
    상기 검출된 오염 상태에 따라 시각적 경고, 청각적 경고 및 촉각적 경고 중 적어도 하나 이상의 경고를 출력하는 것을 특징으로 하는 카메라 렌즈 오염 경고 방법.
KR1020170140891A 2017-10-27 2017-10-27 카메라 렌즈 오염 경고 장치 및 방법 KR102348123B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140891A KR102348123B1 (ko) 2017-10-27 2017-10-27 카메라 렌즈 오염 경고 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140891A KR102348123B1 (ko) 2017-10-27 2017-10-27 카메라 렌즈 오염 경고 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190047244A KR20190047244A (ko) 2019-05-08
KR102348123B1 true KR102348123B1 (ko) 2022-01-07

Family

ID=66580129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140891A KR102348123B1 (ko) 2017-10-27 2017-10-27 카메라 렌즈 오염 경고 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102348123B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532876B (zh) * 2019-07-26 2024-09-03 纵目科技（上海）股份有限公司 夜晚模式镜头附着物的检测方法、系统、终端和存储介质
KR102750666B1 (ko) 2022-08-26 2025-01-10 주식회사 켐트로닉스 차량용 카메라의 오염 검출 장치 및 그 방법
KR102697859B1 (ko) * 2023-09-14 2024-08-23 (주)오토노머스에이투지 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 컴퓨팅 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117536A (ja) * 1997-04-25 1999-01-12 Fuji Electric Co Ltd ニューラルネットワークを用いた画像認識装置、画像認識方法、及び変換装置
US8208043B2 (en) 2008-05-09 2012-06-26 Aptina Imaging Corporation Lens cleaning warning system and method
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
WO2014017626A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
EP2821960B1 (en) 2013-07-03 2018-01-31 Kapsch TrafficCom AB Method for identification of contamination upon a lens of a stereoscopic camera
KR101674391B1 (ko) 2013-12-26 2016-11-09 재단법인 포항산업과학연구원 렌즈 오염도 측정 장치 및 방법
KR101525516B1 (ko) 2014-03-20 2015-06-03 주식회사 이미지넥스트 카메라 영상 처리 시스템 및 이의 오염 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法

Also Published As

Publication number Publication date
KR20190047244A (ko) 2019-05-08

Similar Documents

Publication Publication Date Title
US20200327339A1 (en) Distant on-road object detection
KR20190047243A (ko) 카메라 렌즈 오염 경고 장치 및 방법
US20190019042A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
US20190139449A1 (en) Method, computer readable storage medium and electronic equipment for analyzing driving behavior
US20150347831A1 (en) Detection device, detection program, detection method, vehicle equipped with detection device, parameter calculation device, parameter calculating parameters, parameter calculation program, and method of calculating parameters
KR102348123B1 (ko) 카메라 렌즈 오염 경고 장치 및 방법
EP3271869B1 (fr) Procédé de traitement d'un signal asynchrone
KR102521656B1 (ko) 객체를 인식하는 방법 및 장치
CN111160237A (zh) 头部姿态估计方法和装置、电子设备和存储介质
KR102674065B1 (ko) 인공지능 기반의 노이즈 제거에 따른 이미지 구축을 통한 불량 검출 시스템 및 방법
WO2015057263A1 (en) Dynamic hand gesture recognition with selective enabling based on detected hand velocity
CN111989915A (zh) 用于视觉推断的动态图像区域选择
CN112288031A (zh) 交通信号灯检测方法、装置、电子设备和存储介质
CN115703471A (zh) 驾驶员注意力以及手放置系统和方法
CN115690750A (zh) 一种驾驶员分心检测方法和装置
CN111444788B (zh) 行为识别的方法、装置及计算机存储介质
CN111339808B (zh) 车辆碰撞概率预测方法、装置、电子设备及存储介质
CN110837760B (zh) 目标检测方法、用于目标检测的训练方法和装置
CN108259819B (zh) 动态影像特征加强方法与系统
CN118351302A (zh) 镜头污染识别方法、装置、电子设备及存储介质
WO2022255418A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR20210066430A (ko) 도로 영상의 경계선 검출 장치 및 그 방법
KR20210023859A (ko) 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
KR20230105835A (ko) 차량의 강우량 예측 모델 생성 장치 및 방법, 이를 이용한 강우량 추정 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171027

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201007

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171027

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210607

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211101

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241226

Start annual number: 4

End annual number: 4