KR102339358B1 - 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치 - Google Patents

악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치 Download PDF

Info

Publication number
KR102339358B1
KR102339358B1 KR1020210058508A KR20210058508A KR102339358B1 KR 102339358 B1 KR102339358 B1 KR 102339358B1 KR 1020210058508 A KR1020210058508 A KR 1020210058508A KR 20210058508 A KR20210058508 A KR 20210058508A KR 102339358 B1 KR102339358 B1 KR 102339358B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
unit
bad weather
visibility
Prior art date
Application number
KR1020210058508A
Other languages
English (en)
Inventor
문길환
양원석
감동환
이봉기
방태원
신현주
Original Assignee
(주)티디엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티디엘 filed Critical (주)티디엘
Priority to KR1020210058508A priority Critical patent/KR102339358B1/ko
Application granted granted Critical
Publication of KR102339358B1 publication Critical patent/KR102339358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치에 관한 것으로서, 차량에 설치되어 상기 차량의 외부 영상정보인 제1영상을 촬영하는 카메라부; 상기 카메라부로부터 전송받은 상기 제1영상을 영상처리하여 시인성이 향상된 제2영상을 생성하는 개선부; 상기 차량의 대시보드에 설치되어 상기 제2영상을 운전자에게 제공하는 출력부; 및 상기 차량 외부의 조도를 감지하여 상기 출력부의 밝기를 조절하며, 상기 출력부에 출력되는 상기 제2영상의 종류 및 배치를 변경하는 제어부를 포함하되, 상기 카메라부는, 상기 차량에 설치되어 HD급 이상의 해상도를 가지는 상기 제1영상을 촬영하는 촬영모듈과, 상기 제1영상의 해상도를 유지하면서 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, HD급 이상의 해상도를 유지하면서 상기 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하고 상기 개선부로 상기 제1영상의 상기 디지털 USB 영상정보를 전달하는 제2변환모듈을 포함하며, 상기 개선부는, 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 상기 제1영상에서 환경영향을 제거하는 것을 특징으로 하며, 상기 딥러닝 알고리즘은, 3개의 컨볼루션연산으로 구성되는 인코더과정과, 1개의 디컨볼루션연산 및 2개의 컨볼루션연산으로 구성되는 디코더과정이 포함되는 것을 특징으로 한다.
본 발명에 따르면, 차량에서 일반적으로 사용되는 전후방 및 측면 카메라와 연결하여 실시간으로 악천후 상황의 영상을 개선하여 사고의 위험을 낮출 수 있다.

Description

악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치{VEHICULAR DEVICE FOR IMPROVING VISIBILITY IN ADVERSE WEATHER CONDITIONS}
본 발명은 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치에 관한 것으로서, 보다 상세하게는, 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 악천우 상황에서 차량 외부 영상정보의 시인성을 향상시키는 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치에 관한 것이다.
자동차의 전방, 후방 및 측면 상황 촬영을 통한 주행 보조를 위하여 차량에 복수의 카메라가 부착되어 사용되고 있으나, 이러한 차량용 카메라는 야외에 노출되어 있기 때문에 기상 상황 및 대기 상태 변화에 영향을 받게 된다. 특히, 야외에 노출된 카메라가 획득하는 영상 정보는 역광, 상향등, 안개와 우천과 같은 외부 조건에 취약하다. 예를 들어, 악천후 상황에서는 맑은 일상 상황에서의 영상정보와 달리 빗물, 안개, 역광 등이 영상 안에서 카메라가 획득하고자 하는 관심 대상을 가리는 노이즈와 같은 형태로 시인성에 악영향을 주게 되어 외부 카메라를 통한 원활한 영상정보 획득이 어렵게 된다.
시인성이 감소된 영상은 운전자에게 정확한 정보를 주기 어려워 사고 위험을 높이게 된다. 특히, 최근 후방카메라의 대중화로 인하여 대부분의 운전자가 후진시 후방카메라에 의존하고 있는데, 악천후 상황에서는 빗물, 안개, 역광 등이 영상 안에서 카메라가 획득하고자 하는 관심 대상을 가리는 노이즈와 같은 형태로 후방카메라의 시인성이 떨어져 사람 혹은 사물과의 접촉사고 발생 위험을 높인다. 따라서 악조건 상황에서 안전하게 주행하기 위하여, 카메라를 통한 영상 정보 획득 후 보정을 통하여 시인성을 향상시킴으로써 운전자에게 주변 환경에 대한 정확한 정보를 전달할 수 있는 차량용 영상처리 장치가 필요하다.
본 발명의 목적은 상술한 종래의 문제점을 해결하기 위한 것으로서, 악천후 상황에서 차량용 영상장치에서 촬영한 영상의 시인성을 향상시킬 수 있는 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치를 제공함에 있다.
상기 목적은, 본 발명에 따라, 차량에 설치되어 상기 차량의 외부 영상정보인 제1영상을 촬영하는 카메라부; 상기 카메라부로부터 전송받은 상기 제1영상을 영상처리하여 시인성이 향상된 제2영상을 생성하는 개선부; 상기 차량의 대시보드에 설치되어 상기 제2영상을 운전자에게 제공하는 출력부; 및 상기 차량 외부의 조도를 감지하여 상기 출력부의 밝기를 조절하며, 상기 출력부에 출력되는 상기 제2영상의 종류 및 배치를 변경하는 제어부를 포함하되, 상기 카메라부는, 상기 차량에 설치되어 HD급 이상의 해상도를 가지는 상기 제1영상을 촬영하는 촬영모듈과, 상기 제1영상의 해상도를 유지하면서 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, HD급 이상의 해상도를 유지하면서 상기 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하고 상기 개선부로 상기 제1영상의 상기 디지털 USB 영상정보를 전달하는 제2변환모듈을 포함하며, 상기 개선부는, 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 상기 제1영상에서 환경영향을 제거하는 것을 특징으로 하며, 상기 딥러닝 알고리즘은, 3개의 컨볼루션연산으로 구성되는 인코더과정과, 1개의 디컨볼루션연산 및 2개의 컨볼루션연산으로 구성되는 디코더과정이 포함되는 것을 특징으로 하는 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치에 의해 달성된다.
삭제
또한, 상기 개선부는, 히스토그램 평활화 과정을 통해 상기 제1영상에서 조명영향을 제거할 수 있다.
또한, 상기 딥러닝 알고리즘은, 상기 인코더과정과 상기 디코더과정 사이에 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정이 포함할 수 있다.
{수식 1}
Figure 112021052478047-pat00001
(상기
Figure 112021052478047-pat00002
는 1차원 입력, 상기
Figure 112021052478047-pat00003
는 정규 convolution layer, 상기
Figure 112021052478047-pat00004
는 원소별 곱셈(element-wise multiplication), 상기
Figure 112021052478047-pat00005
은 확장 비율(dilation rate), 상기
Figure 112021052478047-pat00006
는 전체 커널 사이즈, 상기
Figure 112021052478047-pat00007
는 합성곱 연산, 상기
Figure 112021052478047-pat00008
와 상기
Figure 112021052478047-pat00009
는 좌표)
삭제
본 발명에 따르면, 차량에서 일반적으로 사용되는 전후방 및 측면 카메라와 연결하여 실시간으로 악천후 상황의 영상을 개선하여 사고의 위험을 낮출 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한하지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 각 구성요소간 전기적 결합을 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제1영상이 전달되기 위한 카메라부와 개선부의 전기적 연결을 도시한 것이고,
도 3은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제1변환모듈과 제2변환모듈을 나타낸 것이고,
도 4는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 개선부에 적용되는 딥러닝 모델을 도시한 것이고,
도 5는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 개선부의 작동결과를 나타낸 것이고,
도 6은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 복수의 촬영모듈에서 촬영된 영상의 개선 효과를 나타낸 것이고,
도 7은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 안개영향 제거 기능이 포함된 개선부에 따른 영상 개선 효과를 나타낸 것이고,
도 8은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 출력부가 차량 내부에 설치된 모습을 도시한 것이고,
도 9는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제어부로 인해 출력부에 출력되는 영상이 제어되는 것을 도시한 것이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
그리고 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다
이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치에 대해서 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 각 구성요소간 전기적 결합을 도시한 것이고, 도 2는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제1영상이 전달되기 위한 카메라부와 개선부의 전기적 연결을 도시한 것이고, 도 3은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제1변환모듈과 제2변환모듈을 나타낸 것이고, 도 4는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 개선부에 적용되는 딥러닝 모델을 도시한 것이고, 도 5는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 개선부의 작동결과를 나타낸 것이고, 도 6은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 복수의 촬영모듈에서 촬영된 영상의 개선 효과를 나타낸 것이고, 도 7은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 안개영향 제거 기능이 포함된 개선부에 따른 영상 개선 효과를 나타낸 것이고, 도 8은 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 출력부가 차량 내부에 설치된 모습을 도시한 것이고, 도 9는 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치의 제어부로 인해 출력부에 출력되는 영상이 제어되는 것을 도시한 것이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치(100)는 카메라부(110)와 개선부(120)와 출력부(130)를 포함한다.
도 2에 도시된 바와 같이, 카메라부(110)는 차량의 외부 영상정보인 제1영상을 촬영하여 제1영상을 후술하는 개선부(120)로 전달하는 것으로서, 차량에 설치되며, 개선부에 전기적으로 연결된다.
또한, 도 1 및 도 2에 도시된 바와 같이, 카메라부(110)는 촬영모듈(111)과 제1변환모듈(112)과 제2변환모듈(113)을 포함한다.
도 6에 도시된 바와 같이, 촬영모듈(111)은 차량의 내부 혹은 외부에 설치되는 구성으로, 차량의 전방과 후방과 측면을 촬영하여 제1영상을 생성한다. 그러나 촬영모듈(111)은 차량 외부의 시각정보를 촬영할 수 있다면, 그 방향에 제한되는 것은 아니다.
여기서, 촬영모듈(111)은 차량의 좌측 및 우측영상을 촬영하기 위하여 차량의 좌측 및 우측 사이드미러에 설치될 수도 있으며, 촬영모듈(111)은 차량의 후방영상을 촬영하기 위하여 차량의 트렁크측 또는 차량의 후방 범퍼측에 설치될 수도 있으며, 촬영모듈(111)은 차량의 전방영상을 촬영하기 위하여 차량 내부 혹은 차량의 전방 범퍼측에 설치될 수도 있다.
또한, 촬영모듈(111)은 복수개로 마련될 수 있다.
여기서 촬영모듈(111)은 가시광선 카메라 혹은 적외선 카메라로 마련될 수 있으며, 차량 외부의 영상정보를 촬영할 수 있으면 어떠한 촬영장비로 마련되더라도 무관하다.
도 2 및 도 3(a)에 도시된 바와 같이, 제1변환모듈(112)은 상술한 촬영모듈(111)에서 촬영한 제1영상의 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하고, 디지털 HDMI 영상정보를 후술하는 제2변환모듈(113)로 전달하는 것으로서, 촬영모듈(111)에 전기적으로 연결된다. 제1변환모듈(112)은 상술한 촬영모듈(111)에 전기적으로 직접 연결되어 제1영상을 전달받을 수도 있고, 무선신호를 통해 제1영상을 전달받을 수도 있다.
도 2 및 도 3(b)에 도시된 바와 같이, 제2변환모듈(113)은 상술한 제1변환모듈(112)로부터 디지털 HDMI 영상정보를 전달받아 디지털 USB 영상정보로 변환하고, 디지털 USB 영상정보를 후술하는 개선부(120)로 전달하는 것으로서, 제1변환모듈(112)에 전기적으로 연결된다. 제2변환모듈(113)은 상술한 제1변환모듈(112)에 전기적으로 직접 연결되어 디지털 HDMI 영상정보를 전달받을 수도 있고, 무선신호를 통해 디지털 HDMI 영상정보를 전달받을 수도 있다.
도 3(c)에 도시된 바와 같이, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)는 제1변환모듈(112)과 제2변환모듈(113)이 결합된 상태로 상술한 제1영상의 디지털 영상정보를 후술하는 개선부(120)로 전달할 수 있다.
촬영모듈(111)에서 생성한 컴포지트(RCA) 비디오 방식의 아날로그 영상정보를 디지털 영상처리 시스템에 전송하기 위해 직접적으로 RCA-to-USB 방식으로 변환할 수 있으나, RCA-to-USB 다이렉트 변환 방식은 출력할 수 있는 영상 해상도가 740 X 480에서 720 X 576의 화소수의 영상 출력만 가능하기 때문에 HD급 이상의 영상 해상도를 출력하지 못한다.
그러나, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)에서는 컴포지트 영상의 해상도를 유지하며 디지털 영상으로 변환하기 위하여, 도 3(a)에 도시된 바와 같이, RCA-to-HDMI 변환기를 사용한다.
또한, 일반적인 컴퓨터와 임베디드 시스템에서는 HDMI 포트를 화면 정보 출력을 위한 포트로 사용되며 디지털 HDMI 영상정보를 입력받기 위해서는 프레임 그래버(Frame grabber)와 같은 별도의 영상 캡쳐보드가 필요하다. 그러나 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)는 범용성을 높이기 위해 별도의 영상 캡쳐보드 없이 제1변환모듈(112)을 통해 제1영상의 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환한다.
또한, 제2변환모듈(113)은 상술한 제1변환모듈(112)을 통해 HD급 이상의 디지털 신호로 변환된 디지털 HDMI 영상정보를 다양한 제어 시스템에서 사용되는 인터페이스 규격인 USB 방식으로 변환한다.
개선부(120)는 상술한 카메라부(110)로부터 전송받은 제1영상을 영상처리하여 시인성이 향상된 제2영상을 생성하는 것으로서, 카메라부(110)와 출력부(130)에 전기적으로 연결된다. 여기서, 개선부(120)는 카메라로부터 전기적 연결을 통해 제1영상을 전송받을 수도 있고, 무선 통신 방식을 통해 제1영상을 전송받을 수도 있다.
또한, 개선부(120)는 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 제1영상에서 환경영향을 제거할 수도 있고, 히스토그램 평활화 과정을 통해 제1영상에서 조명영향을 제거할 수도 있다.
개선부(120)는 고여있는 물방울, 김서림, 안개 혹은 빗줄기 등으로 인하여 외부 물체가 제대로 식별되지 않는 제1영상에 대해 고여있는 물방울, 김서림, 안개 혹은 빗줄기 등을 제거함으로써 시인성이 향상된 제2영상을 생성하는 구성으로 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용한다.
여기서, 상술한 딥러닝 알고리즘의 인코더와 디코더를 구성하는 Convolution 연산의 수가 지나치게 증가할 경우 정보의 전파가 효율적이지 못하게 되어 성능이 감소할 수도 있기 때문에, 이를 방지하기 위하여, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)의 개선부(120)의 딥러닝 알고리즘은 도 4에 도시된 바와 같이, 3개의 Convolution 연산으로 구성되는 인코더과정과, 1개의 De-convolution 연산과 2개의 Convolution 연산으로 구성되는 디코더과정이 포함될 수 있다.
그러나, Convolution 과정에서 연속적인 pooling과 sampling layer를 거치며 다운 샘플링되고 이러한 과정 중에 공간 해상도의 손실이 발생하게 된다.
따라서 상술한 딥러닝 알고리즘은 이러한 손실 영향을 최소화하기 위하여 인코더과정과 디코더과정 사이에 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정이 포함될 수 있다.
{수식 1}
Figure 112021052478047-pat00010
(
Figure 112021052478047-pat00011
는 1차원 입력,
Figure 112021052478047-pat00012
는 정규 convolution layer,
Figure 112021052478047-pat00013
는 원소별 곱셈(element-wise multiplication),
Figure 112021052478047-pat00014
은 확장 비율(dilation rate),
Figure 112021052478047-pat00015
는 전체 커널 사이즈,
Figure 112021052478047-pat00016
는 합성곱 연산,
Figure 112021052478047-pat00017
와 상기
Figure 112021052478047-pat00018
는 좌표)
또한, 개선부(120)는 역광 등의 조명영향으로 인하여 제1영상에서 물체가 제대로 식별되지 않는 경우 히스토그램 평활화 과정을 통해 역광 등의 조명영향을 제거함으로써 시인성이 향상된 제2영상을 생성할 수 있다. 여기서, 히스토그램 평활화는 편중된 명암 분포가 전체적으로 균일하게 분포하도록 화소값을 변환하여 영상의 명암 대비를 개선시키는 방법이다.
도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)의 개선부(120)에 따르면, 물체가 제대로 식별되지 못하는 제1영상은 개선부(120)에 의해 환경영향 및 조명영향이 개선되어 제2영상이 생성된다.
여기서, 제1영상은 개선부(120)에 의해 환경영향이 개선된 이후 조명영향이 개선되어 제2영상이 생성되는 것이 바람직하나, 환경영향과 조명영상을 개선할 수 있다면 순서에 제한되는 것은 아니다.
도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)는 야간의 빛 번짐 및 조명에 따른 조명영향을 개선할 수도 있고, 우천 시 렌즈 및 유리에 맺힌 빗방울을 보정할 수도 있고, 우천 시 빗줄기로 인한 영향을 제거하여 영상을 보정할 수도 있다.
또한, 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)는 안개영향을 제거하여 영상을 보정할 수 있다.
출력부(130)는 제2영상을 운전자에게 제공하는 것으로서, 차량의 대시보드에 설치되며, 상술한 개선부(120)에 전기적으로 연결된다. 여기서 출력부(130)는 운전자에게 시인성이 향상된 제2영상을 제공할 수 있다면, 그 설치 위치에 제한되지 않는다.
또한, 출력부(130)는 복수의 촬영모듈(111)에서 측정된 복수의 제1영상에 대해 시인성이 향상된 복수의 제2영상을 동시에 운전자에게 제공할 수 있다. 이에 따르면, 운전자가 시인성이 향상된 차량 주위의 복수의 영상정보를 실시간으로 확인함으로써 안전 운전이 담보될 수 있다.
또한, 상술한 출력부(130)는 차량의 전방과 후방과 측면 등 카메라부(110)에 의해 촬영된 차량 외부 영상과 네비게이션에서 출력되는 네비게이션영상 중 어느 하나 이상을 선택적으로 출력하는 것으로서, 도 8에 도시된 바와 같이, 투명 또는 반투명한 와이드 타입의 디스플레이모듈로 마련될 수 있다.
또한, 출력부(130)는 네비게이션으로 마련될 수도 있고, 차량의 전면 유리에 설치될 수도 있고, 별도의 출력 장비로 마련될 수도 있다.
도 9에 도시된 바와 같이, 이러한 출력부(130)는 복수의 영상을 분할 출력할 수도 있으며, 예를들어 차량의 전방영상과 차량의 후방영상과 네비게이션 영상을 동시에 출력함으로써 3부분으로 영상을 분할출력할 수도 있다. 이때 후술하는 제어부(미도시)의 제어에 따라 출력되는 영상의 종류가 전환될 수 있다.
제어부(미도시)는 상술한 출력부(130)를 제어하여 출력부(130)에 출력되는 영상을 제어하는 것으로서, 상술한 출력부 내부에 설치될 수도 있고, 별도의 장치로 마련될 수도 있다.
제어부(미도시)는 차량이 기본적으로 주행하는 경우, 출력부(130)의 좌측에 차량의 좌측영상이, 출력부(130)의 중심에 네비게이션 영상이, 출력부(130)의 우측에 차량의 우측영상이 출력되도록 할 수 있다.
또한, 제어부(미도시)는 차량이 후진하는 경우, 출력부(130)의 좌측에 차량의 좌측영상이, 출력부(130)의 중심에 차량의 후방영상이, 출력부(130)의 우측에 차량의 우측영상이 출력되도록 할 수 있다.
또한, 제어부(미도시)는 차량의 좌측 방향지시등이 작동되는 경우, 출력부(130)의 좌측에 차량의 좌측영상이, 출력부(130)의 중심에 차량의 후방영상이, 출력부(130)의 우측에 네비게이션 영상이 출력되도록 할 수 있다.
또한, 제어부(미도시)는 차량의 우측 방향지시등이 작동되는 경우, 출력부(130)의 좌측에 네비게이션 영상이, 출력부(130)의 중심에 차량의 후방영상이, 출력부(130)의 우측에 차량의 우측영상이 출력되도록 할 수 있다.
여기서, 제어부(미도시)에 의해 출력부(130)에 출력되는 영상의 종류 및 배치는 운전자가 직접 설정하여 변경할 수 있다.
또한, 제어부(미도시)에 의해 출력부(130)에 출력되는 영상의 개수도 운전자가 직접 설정하여 변경할 수 있다.
또한, 제어부(미도시)는 차량 외부의 조도를 감지하여 출력부(130)의 밝기를 조절할 수 있다.
상술한 바와 같은 카메라부(110)와 개선부(120)와 출력부(130)를 포함하는 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치(100)에 따르면, 차량에서 일반적으로 사용되는 전후방 및 측면 카메라와 연결하여 실시간으로 악천후 상황의 영상을 개선하여 사고의 위험을 낮출 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
그리고 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 본 발명의 일실시예에 따른 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치
110 : 카메라부
111 : 촬영모듈
112 : 제1변환모듈
113 : 제2변환모듈
120 : 개선부
130 : 출력부

Claims (5)

  1. 차량에 설치되어 상기 차량의 외부 영상정보인 제1영상을 촬영하는 카메라부;
    상기 카메라부로부터 전송받은 상기 제1영상을 영상처리하여 시인성이 향상된 제2영상을 생성하는 개선부;
    상기 차량의 대시보드에 설치되어 상기 제2영상을 운전자에게 제공하는 출력부; 및
    상기 차량 외부의 조도를 감지하여 상기 출력부의 밝기를 조절하며, 상기 출력부에 출력되는 상기 제2영상의 종류 및 배치를 변경하는 제어부를 포함하되,
    상기 카메라부는,
    상기 차량에 설치되어 HD급 이상의 해상도를 가지는 상기 제1영상을 촬영하는 촬영모듈과, 상기 제1영상의 해상도를 유지하면서 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, HD급 이상의 해상도를 유지하면서 상기 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하고 상기 개선부로 상기 제1영상의 상기 디지털 USB 영상정보를 전달하는 제2변환모듈을 포함하며,
    상기 개선부는,
    오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 상기 제1영상에서 환경영향을 제거하는 것을 특징으로 하며,
    상기 딥러닝 알고리즘은,
    3개의 컨볼루션연산으로 구성되는 인코더과정과, 1개의 디컨볼루션연산 및 2개의 컨볼루션연산으로 구성되는 디코더과정이 포함되는 것을 특징으로 하는 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 개선부는,
    히스토그램 평활화 과정을 통해 상기 제1영상에서 조명영향을 제거하는 것을 특징으로 하는 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치.
  4. 청구항 1에 있어서,
    상기 딥러닝 알고리즘은,
    상기 인코더과정과 상기 디코더과정 사이에 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정이 포함되는 것을 특징으로 하는 악천후 상황에서의 차량의 시인성 확보를 위한 영상처리 장치.
    {수식 1}
    Figure 112021104935470-pat00019

    (상기
    Figure 112021104935470-pat00020
    는 1차원 입력, 상기
    Figure 112021104935470-pat00021
    는 정규 convolution layer, 상기
    Figure 112021104935470-pat00022
    는 원소별 곱셈(element-wise multiplication), 상기
    Figure 112021104935470-pat00023
    은 확장 비율(dilation rate), 상기
    Figure 112021104935470-pat00024
    는 전체 커널 사이즈, 상기
    Figure 112021104935470-pat00025
    는 합성곱 연산, 상기
    Figure 112021104935470-pat00026
    와 상기
    Figure 112021104935470-pat00027
    는 좌표)
  5. 삭제
KR1020210058508A 2021-05-06 2021-05-06 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치 KR102339358B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210058508A KR102339358B1 (ko) 2021-05-06 2021-05-06 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210058508A KR102339358B1 (ko) 2021-05-06 2021-05-06 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치

Publications (1)

Publication Number Publication Date
KR102339358B1 true KR102339358B1 (ko) 2021-12-15

Family

ID=78865783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210058508A KR102339358B1 (ko) 2021-05-06 2021-05-06 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치

Country Status (1)

Country Link
KR (1) KR102339358B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165729U (ja) * 2010-11-19 2011-02-03 江彦宏 ビデオレーダー運転補助装置
KR20200053006A (ko) * 2018-10-31 2020-05-18 지엔에스티주식회사 차량용 사이드뷰 시스템
KR102124497B1 (ko) * 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치
KR20200132682A (ko) * 2019-05-16 2020-11-25 삼성전자주식회사 이미지 최적화 방법, 장치, 디바이스 및 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165729U (ja) * 2010-11-19 2011-02-03 江彦宏 ビデオレーダー運転補助装置
KR20200053006A (ko) * 2018-10-31 2020-05-18 지엔에스티주식회사 차량용 사이드뷰 시스템
KR20200132682A (ko) * 2019-05-16 2020-11-25 삼성전자주식회사 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
KR102124497B1 (ko) * 2020-03-02 2020-06-18 엔에이치네트웍스 주식회사 영상 개선 장치

Similar Documents

Publication Publication Date Title
US10063786B2 (en) Vehicle vision system with enhanced low light capabilities
US7474798B2 (en) Method and device for image processing, in addition to a night viewing system for motor vehicles
US7492962B2 (en) System or method for enhancing an image
US20070115138A1 (en) Onboard imaging apparatus
US10232797B2 (en) Rear vision system for vehicle with dual purpose signal lines
JP4258539B2 (ja) 複数画角カメラ
US20090009604A1 (en) Image processing system and method
KR20120071203A (ko) 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법
CN103916610A (zh) 用于动态后视镜的眩光减少
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
TWI842952B (zh) 攝像裝置
JP4363207B2 (ja) 画像処理方法、画像処理システムおよび画像処理装置
EP3637758B1 (en) Image processing device
KR102284128B1 (ko) 차량용 카메라
KR101601324B1 (ko) 차량용 카메라 시스템의 영상 획득 방법
CN116391119A (zh) 雨滴检测装置
KR102339358B1 (ko) 악천후 상황에서의 시인성 향상을 위한 차량용 영상처리 장치
CN107512222B (zh) 一种车辆后视辅助系统及其控制方法
WO2022127307A1 (zh) 车辆视觉辅助系统、车载图像显示方法及装置
CN108566507A (zh) 一种全天候adas专用前视摄像机平台
US10102436B2 (en) Image processing device, warning device and method for processing image
CN111856606B (zh) 一种基于红外热成像的前视智能驾驶辅助装置及方法
CN109788211B (zh) 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法
JP2017183880A (ja) 電子ミラーの電気回路
WO2023026617A1 (ja) 撮像装置および映像表示システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant