KR102326840B1 - Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced - Google Patents

Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced Download PDF

Info

Publication number
KR102326840B1
KR102326840B1 KR1020210119052A KR20210119052A KR102326840B1 KR 102326840 B1 KR102326840 B1 KR 102326840B1 KR 1020210119052 A KR1020210119052 A KR 1020210119052A KR 20210119052 A KR20210119052 A KR 20210119052A KR 102326840 B1 KR102326840 B1 KR 102326840B1
Authority
KR
South Korea
Prior art keywords
image
visibility
unit
module
improving
Prior art date
Application number
KR1020210119052A
Other languages
Korean (ko)
Inventor
이봉기
감동환
위초환
Original Assignee
주식회사 이지스마트팜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이지스마트팜 filed Critical 주식회사 이지스마트팜
Priority to KR1020210119052A priority Critical patent/KR102326840B1/en
Application granted granted Critical
Publication of KR102326840B1 publication Critical patent/KR102326840B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H04N5/217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a mini image processing device for improving the visibility of an internet protocol type CCTV in a situation where the visibility is reduced. According to the present invention, the mini image processing device includes: a camera part; a scale conversion part; a visibility enhancement part; a monitoring system part; and a switching hub part. An object of the present invention is to provide a device capable of improving the visibility of images captured by CCTV in a low luminance condition and a low visibility condition such as fog, rain, etc.

Description

IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치{MINI IMAGE PROCESSING DEVICE TO IMPROVE VISIBILITY OF INTERNET PROTOCOL TYPE CCTV IN SITUATIONS WHERE VISIBILITY IS REDUCED}An ultra-compact image processing device for improving visibility in situations of reduced visibility of IP-type CCTV

본 발명은 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치에 관한 것으로서, 보다 상세하게는, 저조도 및 안개, 우천 등 시인성 저하 상황의 프레임의 영상 특성을 이용하여 자율적으로 CCTV의 가시성을 판단하여 상황에 맞는 영상 개선 방법을 적용하여 CCTV의 가시성을 향상시킬 수 있는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치에 관한 것이다.The present invention relates to an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP-type CCTV. It relates to an ultra-compact image processing device for improving visibility in a situation where the visibility of IP type CCTV is lowered, which can improve the visibility of CCTV by determining visibility and applying an image improvement method suitable for the situation.

CCTV 영상을 육안으로 확인하였을 때 대기 환경이 달라짐에 따라 영상의 HIS(색상, 명도, 채도)변화, 영상의 질감 등의 변화가 나타난다. CCTV는 영상 획득 시 다이내믹 레인지의 한계에 의해 어두운(명도가 낮은) 또는 밝은(명도가 높은) 영역의 정보가 손실되며, 정보의 손실로 인해 인간의 시각으로는 인지할 수 없는 비선형적, 아날로그적 특징의 영상정보가 발생하게 된다. 역광 영상이란 태양과 같은 강한 빛을 내는 광원이 피사체 뒤에 있어 명도가 낮은 영역과 명도가 높은 영역 간의 명도 값의 차가 큰 영상을 뜻한다. 동일한 영상 내에서 영상의 명도가 높은 영역에 초점을 맞출 경우 획득한 영상의 명도가 낮은 영역의 계조(그라데이션, gradation)는 구별되지 않게 되고, 영상의 명도가 높은 영역에 초점을 맞출 경우 명도가 높은 영역은 포화되어 영상의 색상이 하얗게 표현되는 현상이 발생하게 된다. 높은 다이내믹 레인지 장면에 대하여 카메라의 낮은 다이내믹 레인지를 인간시각이 인지하는 다이내믹 레인지와 유사하게 만들어 역광, 반사광 및 안개 등의 조명 성분을 보정함으로써 시인성을 향상시키는 방법을 계조 재현(tone reproduction, 또는 계조 사상(tone mapping))이라고 한다. 계조 재현 방법의 경우 영상 화소의 과도한 연산으로 인해 사진 등 정지 영상의 개선에는 범용되나 실시간 영상 감시를 목적으로 하는 시스템에서는 연산 증가로 인한 영상 출력 지연으로 인해 정체 지연된 영상을 제공하게 된다. 기존의 시스템은 이러한 문제를 보완하기 위해 높은 하드웨어 사양의 CCTV를 요구한다. 예를 들어, 우천 시 발생하는 낙하 빗방울의 영상정보는 표면 장력, 수압, 주변 조명 및 공기 역학적 압력과 같은 많은 요인에 의하여 급격한 모양 왜곡이 발생한다. 이러한 모양 왜곡은 한 화면에서 다양한 밝기/방향 형태의 줄무늬 형태로 나타나게 된다. 이러한 빗방울의 영상정보 특성은 실제 영상에서는 잡음(noise, 노이즈)으로 나타나 영상 인식에 악영향을 끼치게 된다.When the CCTV image is visually checked, the HIS (color, brightness, saturation) change of the image and the texture of the image appear as the atmospheric environment changes. In CCTV, the information in the dark (low brightness) or bright (high brightness) area is lost due to the limit of the dynamic range when acquiring images. The image information of the feature is generated. A backlit image refers to an image with a large difference in brightness value between a low-brightness area and a high-brightness area because a light source emitting strong light such as the sun is behind the subject. When focusing on a high-brightness area within the same image, the gradation (gradation) of the low-brightness area of the acquired image becomes indistinguishable. The area is saturated and the color of the image is expressed white. For high dynamic range scenes, a method for improving visibility by correcting lighting components such as backlight, reflected light, and fog by making the camera's low dynamic range similar to the dynamic range perceived by human vision is described as a method of improving visibility. (tone mapping). In the case of the grayscale reproduction method, it is generally used to improve still images such as photos due to excessive computation of image pixels, but in a system for real-time image monitoring, an image with a delay in image output due to an increase in computation is provided. Existing systems require CCTV with high hardware specifications to compensate for these problems. For example, the image information of falling raindrops generated during rainy weather has a sudden shape distortion caused by many factors such as surface tension, water pressure, ambient lighting, and aerodynamic pressure. Such shape distortion appears in the form of stripes of various brightness/direction types on one screen. These image information characteristics of raindrops appear as noise in an actual image, which adversely affects image recognition.

가시성이 떨어지는 영상은 CCTV와 같은 영상 보안 시스템의 신뢰성을 저하한다. 악천후 상황에서는 빗물, 안개, 역광 등이 영상 안에서 카메라가 획득하고자 하는 관심 대상을 가리는 노이즈와 같은 형태로 가시성을 떨어지게 하여 보안 영역의 감시 효과를 떨어트린다. 따라서 악조건 상황에서 명확한 영상을 획득하기 위해, CCTV를 통한 영상정보 획득 후 보정을 통하여 가시성을 향상시킴으로써 보안영역의 정확한 정보를 전달할 수 있는 영상처리 장치가 필요하다. 또한, 영상장치의 특성상 CCTV 카메라의 후단에 설치되어 실시간 영상정보의 보정을 진행함으로써 카메라가 설치된 곳의 단자함에 설치될 수 있도록 초소형으로 제작된 영상처리 장치가 필요하다.Invisible images lower the reliability of video security systems such as CCTV. In bad weather conditions, rainwater, fog, backlight, etc. reduce visibility in the form of noise that obscures the object of interest the camera wants to acquire in the video, thereby reducing the monitoring effect of the security area. Therefore, in order to acquire a clear image in adverse conditions, an image processing apparatus capable of delivering accurate information of the security area by improving visibility through correction after acquiring image information through CCTV is required. In addition, due to the characteristics of the imaging device, it is installed at the rear end of the CCTV camera and corrects real-time image information, so that it is necessary to have an image processing device manufactured in a compact size so that it can be installed in the terminal box where the camera is installed.

본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로서, 저조도 및 안개, 우천 등 시인성 저하 상황에서 CCTV에서 촬영한 영상의 가시성을 향상시킬 수 있는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치를 제공함에 있다.The present invention is to solve the above-mentioned problems of the prior art, and it is possible to improve the visibility of an image captured by a CCTV in low light, fog, rain, etc., in a low-light situation, and it is possible to improve the visibility of an IP-type CCTV which can improve the visibility in a low-visibility situation. An image processing apparatus is provided.

상기 목적은, 본 발명에 따라, 제1영상이 촬영되는 카메라부; 상기 제1영상이 입력되고, 상기 제1영상의 스케일을 변화시켜 해상도가 증가된 제2영상을 생성하는 스케일변환부; 상기 제2영상이 입력되고, 상기 제2영상을 영상처리하여 가시성이 향상된 제3영상을 생성하는 가시성향상부; 상기 제3영상을 입력받아 출력하는 출력부; 상기 제3영상이 저장되는 모니터링시스템부; 및 상기 제1영상이 상기 카메라부로부터 입력되고, 상기 제1영상을 상기 스케일변환부로 전달하며, 상기 가시성향상부로부터 상기 제3영상을 입력받아 상기 모니터링시스템부에 전달하는 스위칭허브부를 포함하되, 상기 카메라부의 상부에는, 고압의 공기가 측면으로 분출되어 상기 카메라부로 떨어지는 빗방울의 유동방향을 변화시키는 에어커튼모듈이 마련되며, 상기 카메라부는, HD급 이상의 해상도를 가지는 상기 제1영상을 촬영하는 촬영모듈과, 상기 제1영상의 해상도를 유지하면서 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, HD급 이상의 해상도를 유지하면서 상기 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하고 상기 스위칭허브부로 상기 제1영상의 상기 디지털 USB 영상정보를 전달하는 제2변환모듈과, 외부 기상 서버와 연결되어 날씨정보를 전달받고 이에 따라 상기 에어커튼모듈을 제어하는 제어모듈과, 흡습속건 기능이 포함된 기능성소재로 마련되어 상기 촬영모듈의 외관에 맺힌 빗방울을 제거하는 와이퍼모듈과, 외부 광량을 측정하는 조도센서모듈과, 외부로부터 상기 카메라부에 유입되는 광량을 감소시키는 필터모듈을 포함하며, 상기 스케일변환부와 상기 가시성향상부는, 병렬 연산을 수행하는 GPU에 의해 연산이 수행되며, 상기 스케일변환부와 상기 가시성향상부는, 케이스모듈의 내부에 설치되며, 상기 케이스모듈에는, 상기 스케일변환부와 상기 가시성향상부에서 발생하는 열을 외부로 배출하는 팬모듈이 마련되며, 상기 팬모듈은, 회전가능하게 마련되는 팬날개와, 상기 스케일변환부와 상기 가시성향상부의 동작 시점과 동작 정지 시점에 상기 팬날개에 물리적인 진동을 인가하는 진동모듈을 포함하며, 상기 진동모듈은, 회전력을 생성하는 모터부재와, 캠(CAM) 형상으로 마련되어 상기 팬날개에 접촉하며 상기 모터부재의 회전력에 의해 회전하여 상기 팬날개에 접촉하는 것을 반복하여 상기 팬날개에 진동을 인가하는 캠부재와, 상기 스케일변환부와 상기 가시성향상부의 동작 시점 및 동작 정지 시점에 상기 모터부재가 일정 시간 동작하도록 상기 모터부재를 제어하는 제어부재를 포함하는 것을 특징으로 하는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치에 의해 달성된다.The above object, according to the present invention, a camera unit for taking a first image; a scale conversion unit receiving the first image and generating a second image having an increased resolution by changing a scale of the first image; a visibility improving unit receiving the second image and processing the second image to generate a third image with improved visibility; an output unit for receiving and outputting the third image; a monitoring system unit for storing the third image; and a switching hub that receives the first image from the camera unit, transmits the first image to the scale conversion unit, receives the third image from the visibility improving unit, and transmits it to the monitoring system unit, An air curtain module for changing the flow direction of raindrops falling to the camera unit is provided on the upper part of the camera unit, in which high-pressure air is ejected to the side, and the camera unit takes the first image having a resolution of HD level or higher. A module, a first conversion module for converting analog image information (RCA method) into digital HDMI image information while maintaining the resolution of the first image, and digital USB image information for the digital HDMI image information while maintaining the HD level or higher resolution a second conversion module that converts to and transmits the digital USB image information of the first image to the switching hub unit, and a control module connected to an external weather server to receive weather information and control the air curtain module accordingly; A wiper module that is made of a functional material with a moisture absorption and quick-dry function to remove raindrops formed on the exterior of the photographing module, an illuminance sensor module that measures the amount of external light, and a filter module that reduces the amount of light flowing into the camera unit from the outside. Including, wherein the scale conversion unit and the visibility improving unit, the operation is performed by a GPU that performs parallel operation, the scale conversion unit and the visibility improving unit are installed inside the case module, the case module, the A scale conversion unit and a fan module for discharging heat generated by the visibility improving unit to the outside are provided, wherein the fan module includes a rotatably provided fan blade, and an operation timing and operation of the scale converting unit and the visibility improving unit and a vibration module for applying physical vibration to the fan blades at the time of stopping, wherein the vibration module includes a motor member for generating a rotational force, and a cam (CAM) shape provided in contact with the fan blades and the rotational force of the motor member a cam member for applying vibration to the fan blades by rotating and repeatedly contacting the fan blades, the operation timing of the scale conversion unit and the visibility improving unit; It is achieved by a miniature image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV, characterized in that it includes a control member for controlling the motor member to operate for a predetermined time at the time of stopping operation.

또한, 상기 스케일변환부는, 양선형 보간법에 의해 상기 제1영상의 스케일을 변화시킬 수 있다.Also, the scale converter may change the scale of the first image by bilinear interpolation.

또한, 상기 가시성향상부는, 상기 제1영상에 대해 감마조정을 통한 조명왜곡보정과, CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 통한 계조장애보정과, 오토인코더 방식이 적용된 딥러닝 알고리즘을 통한 빗방울왜곡보정이 이루어질 수 있다.In addition, the visibility improving unit, illumination distortion correction through gamma adjustment for the first image, grayscale disturbance correction through CLAHE (Contrast Limited Adaptive Histogram Equalization) algorithm, and raindrop distortion through a deep learning algorithm to which an auto-encoder method is applied A correction may be made.

또한, 상기 오토인코더 방식이 적용된 딥러닝 알고리즘은, 인코더과정과, 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정과, 디코더과정을 포함할 수 있다.In addition, the deep learning algorithm to which the autoencoder method is applied may include an encoder process, a plurality of smoothed dilated convolution operation processes based on Equation 1, and a decoder process.

{수식 1}{Formula 1}

Figure 112021103487640-pat00001
Figure 112021103487640-pat00001

(상기

Figure 112021103487640-pat00002
는 1차원 입력, 상기
Figure 112021103487640-pat00003
는 정규 convolution layer, 상기
Figure 112021103487640-pat00004
는 원소별 곱셈(element-wise multiplication), 상기
Figure 112021103487640-pat00005
은 확장 비율(dilation rate), 상기
Figure 112021103487640-pat00006
는 전체 커널 사이즈, 상기
Figure 112021103487640-pat00007
는 합성곱 연산, 상기
Figure 112021103487640-pat00008
와 상기
Figure 112021103487640-pat00009
는 좌표)(remind
Figure 112021103487640-pat00002
is a one-dimensional input, said
Figure 112021103487640-pat00003
is the regular convolution layer,
Figure 112021103487640-pat00004
is element-wise multiplication, where
Figure 112021103487640-pat00005
is the dilation rate, said
Figure 112021103487640-pat00006
is the total kernel size, where
Figure 112021103487640-pat00007
is the convolution operation, said
Figure 112021103487640-pat00008
and above
Figure 112021103487640-pat00009
is the coordinates)

삭제delete

본 발명에 따르면, 영상 보안을 위해 일반적으로 사용되는 IP타입 CCTV 카메라와 연결하여 실시간으로 영상의 가시성을 향상하여 저조도 및 안개, 우천 등 시인성 저하 상황에서의 영상 보안의 신뢰성을 높일 수 있다.According to the present invention, it is possible to improve the visibility of images in real time by connecting with an IP type CCTV camera that is generally used for image security, thereby increasing the reliability of image security in low light, fog, and rain conditions.

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.On the other hand, the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within the range apparent to those skilled in the art from the description below.

도 1은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치를 전체적으로 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 각 구성요소간 전기적 결합을 도시한 것이고,
도 3은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 스케일변환부 및 가시성향상부의 입출력 포트를 도시한 것이고,
도 4는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 양선형 보간법을 도시한 것이고,
도 5는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 조명왜곡과 빗방울왜곡을 나타낸 것이고,
도 6은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 가시성 향상 결과를 도시한 것이고,
도 7은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 조명왜곡보정 결과를 도시한 것이고,
도 8은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 안개영향 제거 결과를 도시한 것이고,
도 9는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 크기를 나타낸 것이고,
도 10은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 가시성 향상 순서도를 도시한 것이다.1 is an overall view of an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
2 is a view showing the electrical coupling between each component of an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
3 is a view showing the input/output ports of the scale conversion unit and the visibility improving unit of the miniature image processing apparatus for improving the visibility in a situation of reduced visibility of the IP type CCTV according to an embodiment of the present invention;
4 is a diagram illustrating a bilinear interpolation method of a miniature image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
5 is a view showing illumination distortion and raindrop distortion of a miniature image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
6 is a view showing a result of improving the visibility of an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
7 is a view showing the illumination distortion correction result of the micro-image processing apparatus for improving the visibility in a situation of reduced visibility of the IP type CCTV according to an embodiment of the present invention;
8 is a view showing a result of removing the fog effect of a miniature image processing apparatus for improving visibility in a situation of reduced visibility of an IP type CCTV according to an embodiment of the present invention;
9 is a view showing the size of an ultra-small image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention;
10 is a flowchart illustrating a visibility improvement of an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention.

이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings.

그리고 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.In the description of the embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치에 대해서 상세히 설명한다.Hereinafter, with reference to the accompanying drawings, an ultra-small image processing apparatus for improving visibility in a situation of reduced visibility of an IP type CCTV according to an embodiment of the present invention will be described in detail.

도 1은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치를 전체적으로 도시한 것이고, 도 2는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 각 구성요소간 전기적 결합을 도시한 것이고, 도 3은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 스케일변환부 및 가시성향상부의 입출력 포트를 도시한 것이고, 도 4는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 양선형 보간법을 도시한 것이고, 도 5는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 조명왜곡과 빗방울왜곡을 나타낸 것이고, 도 6은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 가시성 향상 결과를 도시한 것이고, 도 7은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 조명왜곡보정 결과를 도시한 것이고, 도 8은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 안개영향 제거 결과를 도시한 것이고, 도 9는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 크기를 나타낸 것이고, 도 10은 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치의 가시성 향상 순서도를 도시한 것이다.1 is an overall view of a miniature image processing apparatus for improving visibility in a situation of reduced visibility of an IP type CCTV according to an embodiment of the present invention, and FIG. 2 is a view of an IP type CCTV according to an embodiment of the present invention. It shows the electrical coupling between each component of a micro-image processing apparatus for improving visibility in a degraded situation, and FIG. 3 is a micro-image for improving visibility in a low-visibility situation of an IP-type CCTV according to an embodiment of the present invention. It shows the input/output ports of the scale conversion unit and the visibility improving unit of the processing device, and FIG. 4 is a bilinear interpolation method of a micro-miniature image processing device for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention. 5 shows the lighting distortion and raindrop distortion of a micro-image processing device for improving visibility in a situation where the visibility of IP type CCTV according to an embodiment of the present invention is reduced, and FIG. 6 is an embodiment of the present invention. Shows the results of improving the visibility of a micro-image processing apparatus for improving visibility in a situation of reduced visibility of IP-type CCTV according to an example, and FIG. 7 is visibility in a situation of reduced visibility of IP-type CCTV according to an embodiment of the present invention. Fig. 8 shows the result of lighting distortion correction of the miniature image processing device for improvement, and FIG. 8 is the result of removing the fog effect of the miniature image processing device for improving visibility in a situation of reduced visibility of the IP type CCTV according to an embodiment of the present invention. 9 shows the size of an ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention, and FIG. 10 is an embodiment of the present invention. A flowchart for improving visibility of an ultra-compact image processing device for improving visibility in a situation of reduced visibility of IP type CCTV is shown.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)는 카메라부(110)와 스케일변환부(120)와 가시성향상부(130)와 출력부(140)와 모니터링시스템부(150)와 스위칭허브부(160)를 포함한다.As shown in FIGS. 1 and 2 , the ultra-compact image processing apparatus 100 for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention includes a camera unit 110 and a scale conversion unit ( 120 ), a visibility improving unit 130 , an output unit 140 , a monitoring system unit 150 , and a switching hub unit 160 .

여기서, 스케일변환부(120)와 가시성향상부(130)는 하나의 장치로 마련될 수 있으며, 도 9에 도시된 바와 같이 초소형으로 마련될 수 있다. 또한, 스케일변환부(120)와 가시성향상부(130)는 기능과 목적에 따라 각각 별도의 장치로 마련될 수도 있다.Here, the scale conversion unit 120 and the visibility improving unit 130 may be provided as one device, and may be provided in a miniature size as shown in FIG. 9 . Also, the scale conversion unit 120 and the visibility improving unit 130 may be provided as separate devices according to functions and purposes.

카메라부(110)는 제1영상을 촬영하는 구성으로, 스위칭허브부(160)와 전기적으로 연결된다. 여기서 카메라부(110)는 CCTV로 마련될 수 있다.The camera unit 110 is configured to take a first image, and is electrically connected to the switching hub unit 160 . Here, the camera unit 110 may be provided as a CCTV.

또한, 카메라부(110)는 IP(internet protocol) 타입으로 마련될 수 있으며, 적어도 하나 이상의 이더넷을 통해 후술하는 스위칭허브부(160)와 연결될 수 있다.In addition, the camera unit 110 may be provided in an IP (internet protocol) type, and may be connected to a switching hub unit 160 to be described later through at least one or more Ethernet.

또한, 카메라부(110)는 아날로그 영상정보(RCA 방식)로 제1영상을 촬영할 수 있으며, 이를 디지털 USB 영상정보로 변환하여 후술하는 스케일변환부(120)로 전달할 수도 있고, 아날로그 영상정보(RCA 방식)의 제1영상을 디지털 HDMI 영상정보로 변환하고, 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하여 후술하는 스케일변환부(120)로 전달할 수도 있다.In addition, the camera unit 110 may take the first image as analog image information (RCA method), convert it into digital USB image information, and transmit it to the scale conversion unit 120 to be described later, and analog image information (RCA). method) may be converted into digital HDMI image information, and the digital HDMI image information may be converted into digital USB image information and transmitted to the scale conversion unit 120 to be described later.

기존 RCA-to-USB 변환 방식으로는 국내 및 북미에서 주로 사용하는 NTSC(480i) 방식과 유럽에서 주로 사용하는 PAL(576i) 방식이 있으며, RCA 영상정보를 디지털 USB 영상정보로 변환한 과정에서 낮은 해상도로만 변환이 가능하기 때문에 아날로그 영상정보(RCA 방식)의 제1영상을 바로 디지털 USB 영상정보로 변환하여 후술하는 스케일변환부(120)로 전달하는 경우에는 해상도 손실이 발생할 수 있다. 그러나 RCA 영상정보를 먼저 디지털 HDMI 영상정보로 변환하는 경우 최소 720p 이상의 해상도(HD급)를 제공하는 영상케이블 규격을 통해 HD급(720p) 또는 FHD급(1080p)을 선택하여 디지털 HDMI 영상정보로 변환이 가능하고, 변환된 디지털 HDMI 영상정보는 같은 디지털 USB 영상정보로 변환함에 있어서 해상도를 유지할 수 있기 때문에 최종 디지털 USB 영상정보 역시 HD급 이상의 해상도를 유지할 수 있다. 따라서 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)는 카메라부(110)는 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하는 제2변환모듈이 포함되어 측정한 제1영상을 해상도 손실 없이 스케일변환부(120)로 전달할 수 있다.Existing RCA-to-USB conversion methods include NTSC (480i) method mainly used in Korea and North America and PAL (576i) method mainly used in Europe. Since conversion is possible only with resolution, resolution loss may occur when the first image of analog image information (RCA method) is directly converted into digital USB image information and transferred to the scale converter 120 to be described later. However, when converting RCA video information into digital HDMI video information first, select HD level (720p) or FHD level (1080p) through the video cable standard that provides at least 720p resolution (HD level) and convert it to digital HDMI video information This is possible, and since the converted digital HDMI image information can maintain the resolution when converted to the same digital USB image information, the final digital USB image information can also maintain a resolution of HD level or higher. Therefore, the micro image processing apparatus 100 for improving the visibility in a situation where the visibility of IP type CCTV according to an embodiment of the present invention is reduced, the camera unit 110 converts analog image information (RCA method) into digital HDMI image information A first conversion module and a second conversion module for converting digital HDMI image information into digital USB image information are included to transmit the measured first image to the scale conversion unit 120 without loss of resolution.

또한, 카메라부(110)는 외부에 설치된 CCTV 형태로 마련될 수 있으며, 이 경우 우천시 카메라부(110)의 외관에 빗방울이 맺힐 수 있다. 카메라부(110)의 외관에 빗방울이 맺히는 경우 굴절률의 차이로 인하여 제1영상에 왜곡이 발생하므로 이를 방지할 필요가 있다. 따라서, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)의 카메라부(110) 상단에는 에어커튼모듈이 마련될 수 있다.In addition, the camera unit 110 may be provided in the form of a CCTV installed outside, and in this case, raindrops may form on the exterior of the camera unit 110 when it rains. When raindrops form on the exterior of the camera unit 110 , distortion occurs in the first image due to a difference in refractive index, so it is necessary to prevent this. Accordingly, an air curtain module may be provided at the top of the camera unit 110 of the micro-image processing apparatus 100 for improving visibility in a situation where the visibility of IP type CCTV according to an embodiment of the present invention is reduced.

여기서, 에어커튼모듈은 카메라부(110)의 상부에 마련되어 고압의 공기를 측면으로 분출하는 구성으로, 고압의 공기는 떨어지는 빗방울의 유동방향을 변화시켜 카메라부(110)에 접근하는 것을 방지할 수 있다. 이에 따르면, 카메라부(110)에는 빗방울이 도달하지 못하여, 카메라부(110) 외관에 빗방울이 맺히는 것을 방지할 수 있다.Here, the air curtain module is provided on the upper part of the camera unit 110 and is configured to eject high-pressure air to the side, and the high-pressure air changes the flow direction of falling raindrops to prevent access to the camera unit 110 . have. Accordingly, raindrops do not reach the camera unit 110 , and thus raindrops may be prevented from forming on the exterior of the camera unit 110 .

여기서, 고압의 공기는 수평으로 분출되는 것이 바람직하나, 고압의 공기 분출로 인하여 카메라부(110)에 빗방울이 도달하는 것을 방지할 수 있다면, 그 각도에 제한되는 것은 아니다.Here, the high-pressure air is preferably blown out horizontally, but if it is possible to prevent raindrops from reaching the camera unit 110 due to the high-pressure air jetting, the angle is not limited.

또한, 카메라부(110)는 외부 기상 서버와 연결되어 날씨정보를 전달받을 수 있고, 우천시에만 작동되도록 제어될 수 있다. 또한, 강수량에 따라 고압 공기의 분출 속도를 제어할 수 있으며, 풍량 및 풍향에 따라 고압 공기의 분출 각도를 제어할 수 있다.In addition, the camera unit 110 may be connected to an external weather server to receive weather information, and may be controlled to operate only in case of rain. In addition, the blowing speed of the high-pressure air can be controlled according to the amount of precipitation, and the blowing angle of the high-pressure air can be controlled according to the wind volume and the wind direction.

또한, 에어커튼모듈이 고압의 공기를 분출할 수 있도록, 카메라부(110)는 공기펌프모듈을 포함할 수 있다.In addition, the camera unit 110 may include an air pump module so that the air curtain module can eject high-pressure air.

또한, 카메라부(110)의 외관에 빗방울이 맺히는 경우 이를 제거하기 위하여 카메라부(110)에는 와이퍼모듈이 포함될 수 있다. 와이퍼모듈은 카메라부(110)의 렌즈의 FOV(Field of view)에 대응되는 카메라부(110)의 외관을 닦는 구성으로, 카메라부(110) 주위를 회전하면서 외관을 닦을 수도 있고, 고정된 축을 중심으로 왕복회전운동을 함으로써 카메라부(110)의 외관을 닦을 수 있다. 여기서 와이퍼모듈과 카메라부(110)가 접하는 부분은 흡습속건 기능이 포함된 기능성소재로 마련될 수 있다.In addition, when raindrops form on the exterior of the camera unit 110 , the camera unit 110 may include a wiper module to remove it. The wiper module is a configuration for wiping the exterior of the camera unit 110 corresponding to the field of view (FOV) of the lens of the camera unit 110, and may wipe the exterior while rotating around the camera unit 110, or use a fixed axis. By performing a reciprocating rotation around the center, the exterior of the camera unit 110 can be cleaned. Here, the portion in contact with the wiper module and the camera unit 110 may be made of a functional material including a moisture absorption and quick-drying function.

또한, 카메라부(110)는 광량을 측정하는 조도센서모듈이 마련될 수 있다. 카메라부(110)에 지나친 광량이 유입되는 경우 카메라부(110)의 CCD 등 센서가 손상을 입을 수 있다. 따라서, 카메라부(110)는 조도센서모듈에 의해 측정된 광량에 따라 필터부재를 카메라부(110)의 렌즈 전면에 위치시키는 필터모듈을 포함할 수 있다. 여기서, 필터부재는 ND필터로 마련될 수 있다. 예를 들어, 조도센서모듈에 의해 카메라부(110)에 유입되는 광량이 기설정된 양보다 높은 경우, 필터모듈은 필터부재를 카메라부(110)의 렌즈 전면에 대응되는 위치로 이동시킴으로써 카메라부(110)의 렌즈로 유입되는 광량을 줄일 수 있다. 이에 따르면, 카메라부(110)의 렌즈로 유입되는 광량을 제어함으로써 카메라부(110)의 센서 손상을 방지할 수 있다.In addition, the camera unit 110 may be provided with an illuminance sensor module for measuring the amount of light. When an excessive amount of light flows into the camera unit 110 , a sensor such as a CCD of the camera unit 110 may be damaged. Accordingly, the camera unit 110 may include a filter module that positions the filter member in front of the lens of the camera unit 110 according to the amount of light measured by the illuminance sensor module. Here, the filter member may be provided as an ND filter. For example, when the amount of light introduced into the camera unit 110 by the illuminance sensor module is higher than a preset amount, the filter module moves the filter member to a position corresponding to the front of the lens of the camera unit 110, thereby causing the camera unit ( 110) can reduce the amount of light entering the lens. Accordingly, damage to the sensor of the camera unit 110 can be prevented by controlling the amount of light flowing into the lens of the camera unit 110 .

스케일변환부(120)는 상술한 제1영상을 입력받고, 영상 프레임 상의 객체 인식을 용이하게 하기 위해 본래의 영상 해상도보다 2배 이상의 해상도로 증가시킬 수 있도록 제1영상의 스케일을 변화시켜 해상도가 증가된 제2영상을 생성하는 구성으로, 도 1 및 도 2에 도시된 바와 같이 스위칭허브부(160)와 전기적으로 연결된다. 여기서, 스케일변환부(120)는 상술한 카메라부(110)와 직접 전기적으로 연결될 수도 있다.The scale conversion unit 120 receives the above-described first image, and changes the scale of the first image to increase the resolution to twice or more than the original image resolution in order to facilitate object recognition on the image frame. As a configuration for generating an increased second image, it is electrically connected to the switching hub unit 160 as shown in FIGS. 1 and 2 . Here, the scale conversion unit 120 may be directly electrically connected to the above-described camera unit 110 .

여기서, 도 3에 도시된 바와 같이, 스케일변환부(120)와 스위칭허브부(160)는 CAT5 또는 CAT6 규격의 케이블을 통해 스케일변환부(120)에 마련되는 이더넷 포트로 연결될 수 있다.Here, as shown in FIG. 3 , the scale conversion unit 120 and the switching hub unit 160 may be connected to an Ethernet port provided in the scale conversion unit 120 through a CAT5 or CAT6 standard cable.

또한, 스케일변환부(120)는 역방향 매핑과 양선형 보간법에 의해 상술한 제1영상의 스케일을 변화시킬 수 있다. 즉, 스케일변환부(120)는 상술한 제1영상의 해상도를 2배 이상의 스케일 변환을 통해 해상도를 높일 수 있으며, 제1영상의 해상도를 가로 방향으로 sx배로 늘리고, 세로 방향으로 sy배로 변환하는 역방향 매핑을 통해 크기 변환을 수행할 수 있으며, 이를 수식으로 나타내면 아래와 같다.Also, the scale converter 120 may change the scale of the above-described first image by backward mapping and bilinear interpolation. That is, the scale conversion unit 120 may increase the resolution of the above-described first image by 2 times or more scale conversion, and increase the resolution of the first image by s x times in the horizontal direction and s y times in the vertical direction. Size transformation can be performed through reverse mapping that transforms, and this is expressed as an equation as follows.

Figure 112021103487640-pat00010
Figure 112021103487640-pat00010

여기서, 상술한 x와 상술한 y는 입력 영상의 픽셀 좌표를 나타내고, 상술한 x’와 y’는 결과 영상의 픽셀 좌표를 나타낸다.Here, the aforementioned x and the aforementioned y represent pixel coordinates of the input image, and the aforementioned x' and y' represent the pixel coordinates of the resulting image.

위의 수식을 사용하여 스케일 변환을 함에 있어서, 실수 좌표상에서의 픽셀값을 결정해야 하며, 이는 도 4에 도시된 바와 같이, 주변 픽셀값들을 이용하여 원하는 위치의 값을 추정하는 양선형 보간법을 통해 입력 영상에서 인접한 네 개의 픽셀값을 이용하여 실수 좌표상의 픽셀값을 계산함으로써 영상의 해상도를 높일 수 있다.In performing the scale transformation using the above formula, pixel values on real coordinates must be determined, which, as shown in FIG. 4, is through a bilinear interpolation method of estimating a value of a desired position using neighboring pixel values. The resolution of the image can be increased by calculating pixel values on real coordinates using the values of four adjacent pixels in the input image.

도 4에 도시된 바와 같이, 역방향 매핑에 의해 참조해야 할 원본 영상의 좌표가 (i+p, j+q)로 결정되었을 때, 여기서 i와 j는 정수이고, p와 q는 0부터 1 사이의 실수이다. 이 실수 좌표를 둘러싼 네 개의 픽셀 좌표는 (i, j), (i+1, j), (i, j+1), (i+1, j+1)이며, 이들 좌표에서의 픽셀 값을 각각 a, b, c, d라고 하였을 때 이들 픽셀 좌표와 픽셀 값, 그리고 p, q의 크기의 관계와 이를 통해 추정할 수 있는 좌표의 픽셀 값 z는 아래의 수식과 같이 계산된다.As shown in FIG. 4 , when the coordinates of the original image to be referenced are determined as (i+p, j+q) by backward mapping, where i and j are integers, and p and q are between 0 and 1. is the mistake of The four pixel coordinates surrounding this real coordinate are (i, j), (i+1, j), (i, j+1), (i+1, j+1), and the pixel values at these coordinates are Assuming a, b, c, and d respectively, the relationship between these pixel coordinates and pixel values, and the sizes of p and q, and the pixel value z of the coordinates that can be estimated through this are calculated as follows.

z = (1-p)(1-q)a + p(1-q)b + (1-p)qc + pqdz = (1-p)(1-q)a + p(1-q)b + (1-p)qc + pqd

따라서, 스케일변환부(120)는 상술한 z를 계산함으로써 결과 영상의 픽셀값을 채워 영상의 해상도가 증가된 제2영상을 생성한다.Accordingly, the scale converter 120 generates a second image with an increased resolution of the image by filling the pixel values of the resultant image by calculating the above-described z.

가시성향상부(130)는 상술한 제2영상이 입력되고, 상술한 제2영상을 영상처리하여 가시성이 향상된 제3영상을 생성하는 구성으로, 스케일변환부(120)와 출력부(140)와 스위칭허브부(160)와 전기적으로 연결된다.The visibility improving unit 130 is configured to generate a third image with improved visibility by receiving the above-described second image and processing the above-described second image, and includes the scale conversion unit 120 and the output unit 140 . It is electrically connected to the switching hub unit 160 .

여기서, 가시성향상부(130)는 제2영상에 대해 저조도, 안개, 우천 등 가시성 저하 상황에 의해 생기는 영상 특징을 판단하여 상황에 따른 가시성 향상 알고리즘을 적용하여 영상의 가시성이 향상된 제3영상을 생성할 수 있다.Here, the visibility enhancing unit 130 determines the image characteristics caused by the visibility deterioration situation such as low light, fog, rain, etc. with respect to the second image, and applies a visibility improvement algorithm according to the situation to generate a third image with improved visibility of the image. can do.

여기서, 가시성향상부(130)는 영상의 명도가 낮은 영역의 계조(그라데이션, gradation)가 구별되지 않게 되고, 명도가 높은 영역은 포화되어 영상의 색상이 하얗게 표현되는 현상을 판단함으로써 제2영상에 대한 안개 및 저조도 상황을 판단할 수 있다.Here, the visibility enhancing unit 130 determines a phenomenon in which gradation (gradation) of a region with low brightness of the image is not distinguished, and a region with high brightness is saturated and the color of the image is expressed white in the second image. It is possible to judge fog and low-light conditions.

가시성향상부(130)는 제2영상의 조명왜곡에 대해 감마조정을 통해 1차적인 조명에 의한 영상 왜곡을 보정할 수 있다. 여기서, 감마조정은 전송 시스템에 비직선(Non-linear) 증폭 회로를 넣어 촬상관, 수상관, 필름 등의 그라데이션(Gradation, 계조) 특성을 보정하는 것을 의미할 수 있다.The visibility enhancer 130 may correct image distortion caused by primary illumination through gamma adjustment for illumination distortion of the second image. Here, the gamma adjustment may mean correcting gradation characteristics of an image tube, an image tube, a film, etc. by inserting a non-linear amplification circuit into the transmission system.

또한, 가시성향상부(130)는 제2영상에 저조도 및 안개 등 계조장애가 발생한 상황에 대해 CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 사용하여 가시성을 향상시킬 수 있다.In addition, the visibility improving unit 130 may improve the visibility of the second image by using a Contrast Limited Adaptive Histogram Equalization (CLAHE) algorithm for a situation in which grayscale disturbances such as low light and fog occur in the second image.

여기서, CLAHE알고리즘은 아래와 같이 이루어질 수 있다.Here, the CLAHE algorithm may be implemented as follows.

(1) 입력영상 전체로부터 각 pixel의 밝기값(i)을 읽는다.(1) Read the brightness value (i) of each pixel from the entire input image.

(2) 해당 pixel의 밝기값에 대해서 발생 빈도수(히스토그램: h(i))를 구한다.(2) Find the frequency of occurrence (histogram: h(i)) for the brightness value of the pixel.

(3) h(i)가 ClipLimit값을 초과하면 h(i)는 ClipLimit값으로 제한하고 ClipLimit값을 초과하는 값은 전체 히스토그램에 균등하게 배분한다.(3) If h(i) exceeds the ClipLimit value, h(i) is limited to the ClipLimit value, and the value exceeding the ClipLimit value is equally distributed to the entire histogram.

(4) 히스토그램에서 영상 밝기값의 확률 밀도 함수(P(i))를 구한다.(4) Obtain the probability density function (P(i)) of the image brightness value from the histogram.

(5) 확률 밀도 함수에서 누적 분포 함수를 구하고 누적분포함수를 변환함수로 사용하여 새로운 밝기값(y(v))을 계산한다.(5) Obtain a cumulative distribution function from the probability density function and calculate a new brightness value (y(v)) using the cumulative distribution function as a transformation function.

여기서, ClipLimit은 사용자가 사전에 지정할 수도 있고, 자동적으로 계산될 수도 있다.Here, the ClipLimit may be specified in advance by the user or may be automatically calculated.

또한, 가시성향상부(130)는 제2영상에서 우천에 의한 시인성 저하 상황에 대해서는 오토인코더 방식을 적용한 딥러닝 알고리즘을 사용하여 빗방울에 의한 영상 왜곡영향을 제거할 수 있다.In addition, the visibility enhancing unit 130 may remove the image distortion effect due to raindrops by using a deep learning algorithm to which an autoencoder method is applied for a situation of reduced visibility due to rain in the second image.

여기서, 제2영상에 우천에 의한 시인성 저하 상황이 발생하는 경우, 도 5에 도시된 바와 같이, 우천 시 발생하는 낙하 빗방울의 영상정보의 기하학적 특성이 한 화면에서 다양한 밝기/방향 형태의 줄무늬 형태로 나타나게 되며, 이는 아래 수식과 같이 나타난다.Here, when a situation of deterioration of visibility due to rain occurs in the second image, as shown in FIG. 5, the geometric characteristics of image information of falling raindrops that occur during rain are in the form of stripes of various brightness/direction forms on one screen. appears, as shown in the formula below.

빗방울의 기하학적 특성 :　

Figure 112021103487640-pat00011
Geometric characteristics of raindrops:
Figure 112021103487640-pat00011

여기서 상술한 a는 왜곡되지 않은 구의 반지름을 나타내며, 상술한 cn는 빗방울의 반지름에 따라 달라지는 형상 계수를 나타내며, 상술한 θ는 높이에 대한 극각을 나타낸다. 여기서, θ = 0은 강우의 방향을 나타내고, r(θ)는 방향의 극반경을 나타낸다.Here, the above-mentioned a indicates the radius of the undistorted sphere, the above-mentioned c n indicates the shape coefficient that varies according to the radius of the raindrop, and the above-mentioned θ indicates the polar angle with respect to the height. Here, θ = 0 indicates the direction of rainfall, and r(θ) indicates the polar radius of the direction.

따라서, 한 화소를 통과할 때의 빗방울 영상정보는 아래 수식을 통해 영상화된다.Therefore, raindrop image information when passing through one pixel is imaged through the following equation.

빗방울 영상정보 Ir :　

Figure 112021103487640-pat00012
Raindrop image information I r :
Figure 112021103487640-pat00012

여기서, 상술한 Ir은 빗방울 영상정보의 명도를 나타내며, 상술한 τ는 빗방울이 영상 화소 위치 (x, y)에 투영되는 시간이며, 상술한 T는 영상획득 장비(카메라 등)의 노출 시간(exposure time)을 나타내며, 상술한 Er은 빗방울로 인한 조도를 나타내며, 상술한 Eb는 배경의 평균 조도를 나타낸다.Here, the above-mentioned I r represents the brightness of the raindrop image information, the above-mentioned τ is the time at which the raindrop is projected to the image pixel position (x, y), and the above-mentioned T is the exposure time of the image acquisition equipment (camera, etc.) ( exposure time), the above-mentioned E r indicates the illuminance due to raindrops, and the above-mentioned E b indicates the average illuminance of the background.

따라서, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)는 빗방울 영상정보 특성에 의해 발생하는 영상 내 잡음(노이즈)을 판단하여, 상황에 맞는 가시성 향상 딥러닝 알고리즘을 적용할 수 있다.Therefore, the ultra-compact image processing apparatus 100 for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention determines the noise (noise) in the image generated by the raindrop image information characteristic, It is possible to apply a visibility-enhancing deep learning algorithm suitable for

여기서, 딥러닝 알고리즘은 오토인코더 방식이 적용될 수 있다. 또한, 딥러닝 알고리즘은 인코더과정과, 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정과, 디코더과정을 포함할 수 있다.Here, an autoencoder method may be applied to the deep learning algorithm. In addition, the deep learning algorithm may include an encoder process, a plurality of smoothed dilated convolution operation processes based on Equation 1, and a decoder process.

{수식 1}{Formula 1}

Figure 112021103487640-pat00013
Figure 112021103487640-pat00013

여기서, 상술한

Figure 112021103487640-pat00014
는 1차원 입력을 나타내고, 상술한
Figure 112021103487640-pat00015
는 정규 convolution layer을 나타내고, 상술한
Figure 112021103487640-pat00016
는 원소별 곱셈(element-wise multiplication)을 나타내고, 상술한
Figure 112021103487640-pat00017
은 확장 비율(dilation rate)을 나타내고, 상술한
Figure 112021103487640-pat00018
는 전체 커널 사이즈를 나타내고, 상술한
Figure 112021103487640-pat00019
는 합성곱 연산을 나타내고, 상술한
Figure 112021103487640-pat00020
와 상술한
Figure 112021103487640-pat00021
는 좌표를 나타낸다.Here, the above
Figure 112021103487640-pat00014
represents a one-dimensional input, and
Figure 112021103487640-pat00015
denotes a regular convolution layer, and
Figure 112021103487640-pat00016
represents element-wise multiplication, and
Figure 112021103487640-pat00017
represents the dilation rate, and
Figure 112021103487640-pat00018
represents the total kernel size, and
Figure 112021103487640-pat00019
represents the convolution operation, and
Figure 112021103487640-pat00020
and the above
Figure 112021103487640-pat00021
represents the coordinates.

또한, 가시성향상부(130)는 후술하는 스위치허브부와 CAT5 또는 CAT6 규격의 케이블을 통해 연결되어 제3영상을 전달할 수 있다.In addition, the visibility enhancing unit 130 may be connected to a switch hub to be described later through a CAT5 or CAT6 standard cable to transmit the third image.

도 6에 도시된 바와 같이, 가시성향상부(130)는 조명 악화 및 우선 상황에 촬영되는 영상에 대해 가시성을 향상시킬 수 있으며, 도 6 및 도 8에 도시된 바와 같이 미세먼지 및 안개 상황에서 촬영되는 영상의 가시성을 향상시킬 수도 있다.As shown in FIG. 6 , the visibility improving unit 130 may improve visibility of an image photographed in poor lighting and preferential conditions, and photographing in fine dust and fog conditions as shown in FIGS. 6 and 8 . It is also possible to improve the visibility of the resulting image.

또한, 도 7에 도시된 바와 같이, 가시성향상부(130)는 조명이 없는 상태에서 촬영되는 영상에 대해서 가시성을 향상시킬 수 있으며, 이를 통해 계조장애를 보정할 수 있고, 야간 영상의 시인성을 향상시킬 수 있다.In addition, as shown in FIG. 7 , the visibility improving unit 130 may improve visibility of an image photographed in the absence of lighting, thereby correcting grayscale disturbance, and improving visibility of a night image. can do it

또한, 스케일변환부(120)와 가시성향상부(130)는 실시간으로 영상을 보정함으로써 카메라부(110)로부터 제1영상이 촬영되는 동시에 제3영상이 출력부(140)로 전달할 수 있다. 여기서, 스케일변환부(120)와 가시성향상부(130)가 실시간으로 영상을 보정하고, 제1영상이 촬영되는 동시에 제3영상을 출력부(140)로 전달하기 위하여 상술한 스케일변환부(120)와 가시성향상부(130)에서 수행되는 스케일변환과정과 가시성향상과정은 병렬 연산을 수행하는 GPU(Graphic Processing Unit)로 연산이 수행될 수 있다. 연산을 Core가 순차적으로 하나씩 수행하는 CPU와 달리 다수의 Core가 동시에 병렬로 연산하는 고성능의 GPU를 통해 스케일변환과정과 가시성향상과정을 실시간으로 지체없이 수행하여 제1영상이 촬영되는 동시에 제3영상이 출력부(140)로 전달될 수 있다.In addition, the scale conversion unit 120 and the visibility improving unit 130 may correct the image in real time, so that the first image is captured from the camera unit 110 and the third image is transmitted to the output unit 140 at the same time. Here, the scale converting unit 120 and the visibility improving unit 130 correct the image in real time, and the above-described scale converting unit 120 to transmit the third image to the output unit 140 while the first image is captured. ) and the scale conversion process and the visibility improvement process performed by the visibility enhancing unit 130 may be calculated by a GPU (Graphic Processing Unit) that performs parallel operations. Unlike a CPU in which the cores sequentially perform calculations one by one, the scale conversion process and the visibility improvement process are performed in real time without delay through a high-performance GPU in which multiple cores operate in parallel at the same time, thereby capturing the first image and the third image at the same time. It may be transmitted to the output unit 140 .

또한, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)의 스케일변환부(120)와 가시성향상부(130)는 하나의 장치로 마련될 수 있으며, 도 9에 도시된 바와 같이 CCTV의 후단에 연결이 용이하고, 단자함에 설치되기 용이하도록 초소형으로 마련될 수 있다.In addition, the scale conversion unit 120 and the visibility improving unit 130 of the micro image processing apparatus 100 for improving the visibility in a situation of reduced visibility of the IP type CCTV according to an embodiment of the present invention are provided as one device. As shown in FIG. 9, it can be easily connected to the rear end of the CCTV, and can be provided in a compact size to be easily installed in the terminal box.

여기서, 도 9에 도시된 바와 같이 스케일변환부(120)와 가시성향상부(130)는 하나의 케이스모듈에 포함될 수 있으며, 케이스모듈은 스케일변환부(120)와 가시성향상부(130)에서 발생하는 열을 배출하기 위해 상부 또는 하부가 다공성판으로 마련될 수 있다. 또한, 케이스모듈의 측면에는 사용자가 휴대할 수 있도록 손잡이부재가 마련될 수 있다. 또한, 케이스부의 하부에는 바닥으로부터 일정한 거리가 유지될 수 있는 받침모듈이 마련될 수 있으며, 받침모듈은 고무로 마련될 수 있다. 또한, 받침모듈은 스케일변환부(120)와 가시성향상부(130)에서 발생하는 진동을 감쇠시킬 수 있는 방진패드로 마련될 수도 있다.Here, as shown in FIG. 9 , the scale conversion unit 120 and the visibility improving unit 130 may be included in one case module, and the case module is generated by the scale converting unit 120 and the visibility improving unit 130 . The upper or lower portion may be provided as a porous plate to dissipate heat. In addition, a handle member may be provided on the side of the case module so that the user can carry it. In addition, a support module capable of maintaining a certain distance from the floor may be provided at the lower portion of the case portion, and the support module may be made of rubber. In addition, the support module may be provided as a vibration-proof pad capable of damping vibrations generated by the scale conversion unit 120 and the visibility improving unit 130 .

또한, 케이스부는 내부에 마련되는 스케일변환부(120)와 가시성향상부(130)에서 발생하는 열을 외부로 배출하기 위한 팬모듈이 포함될 수 있으며, 팬모듈은 케이스부의 전면과 후면과 하면과 상면 중 적어도 하나 이상에 마련될 수 있다. 여기서, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)가 장기간 작동하지 않아 팬모듈의 작동도 이루어지지 않은 경우, 팬모듈의 팬날개에 다량의 먼지와 이물질이 쌓여 팬모듈의 기능이 크게 저하되어 케이스 내부 부품의 온도가 크게 상승하거나 쌓인 먼지와 이물질이 케이스 내부에 유입되면서 부품의 오작동을 유발할 수 있다. 따라서, 팬날개에 쌓인 먼지를 제거할 필요성이 있으며, 팬모듈이 동작하지 않을 때에 팬날개에 물리적인 진동을 인가하여 팬날개에 쌓인 먼지를 제거할 필요가 있다. 따라서 팬모듈은 팬모듈에 물리적인 진동을 인가하는 진동모듈이 포함될 수 있으며, 진동모듈에는 회전력을 생성하는 모터부재와, 캠(CAM) 형상으로 마련되어 팬날개에 접촉하여 모터의 회전력에 의해 회전함으로써 팬날개에 접촉되는 것이 반복되는 캠부재와, 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)의 작동여부를 감지하여 모터부재의 작동을 제어하는 제어부재를 포함할 수 있다. 또한, 캠부재는 고무 또는 실리콘과 같은 탄성재질의 판 형태로 마련됨으로써 팬날개에 반복적으로 접촉하는 과정에서 팬날개에 가해지는 충격을 줄일 수 있다. 이와 같은 진동모듈에 따르면, 팬모듈에 쌓이는 먼지 또는 이물질을 효과적으로 제거함으로써 케이스 내부로 먼지 또는 이물질이 유입되는 것을 방지할 수 있고, 이로 인하여 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)의 수명이 대폭적으로 향상될 수 있는 효과가 있다.In addition, the case unit may include a fan module for discharging heat generated by the scale conversion unit 120 and the visibility improving unit 130 provided therein to the outside, and the fan module includes the front and rear surfaces of the case unit and the lower surface and upper surface of the case unit. It may be provided in at least one or more of. Here, when the fan module is not operated because the ultra-small image processing apparatus 100 for improving the visibility in a situation where the visibility of the IP type CCTV according to an embodiment of the present invention is reduced is not operated for a long period of time, the fan blade of the fan module A large amount of dust and foreign matter accumulates on the inside of the case, and the function of the fan module is greatly reduced, and the temperature of the parts inside the case rises significantly, or the accumulated dust and foreign substances enter the case, which may cause malfunction of the parts. Therefore, it is necessary to remove the dust accumulated on the fan blades, and it is necessary to remove the dust accumulated on the fan blades by applying a physical vibration to the fan blades when the fan module is not operating. Accordingly, the fan module may include a vibration module that applies physical vibration to the fan module, and the vibration module includes a motor member that generates rotational force, a cam (CAM) shape, and is rotated by the rotational force of the motor in contact with the fan blades. The operation of the motor member by detecting whether the cam member that is in contact with the fan blade repeatedly and the miniature image processing apparatus 100 for improving the visibility in a situation where the visibility of the IP type CCTV according to an embodiment of the present invention is reduced It may include a control member for controlling the. In addition, since the cam member is provided in the form of a plate made of an elastic material such as rubber or silicon, it is possible to reduce the impact applied to the fan blades during repeated contact with the fan blades. According to such a vibration module, it is possible to prevent dust or foreign substances from being introduced into the case by effectively removing the dust or foreign substances accumulated on the fan module, thereby reducing the visibility of the IP type CCTV according to an embodiment of the present invention. There is an effect that the lifespan of the ultra-compact image processing apparatus 100 for improving visibility in the image can be significantly improved.

출력부(140)는 상술한 제3영상을 입력받아 출력하는 구성으로, 상술한 가시성향상부(130)와 전기적으로 연결될 수 있다. 여기서, 출력부(140)는 HDMI 포트를 통해 가시성향상부(130)와 연결되어 제3영상을 전달받을 수 있다.The output unit 140 is configured to receive and output the above-described third image, and may be electrically connected to the above-described visibility enhancing unit 130 . Here, the output unit 140 may be connected to the visibility enhancing unit 130 through the HDMI port to receive the third image.

또한, 출력부(140)는 모니터로 마련될 수 있다.Also, the output unit 140 may be provided as a monitor.

모니터링시스템부(150)는 상술한 제3영상이 저장되는 구성으로, 도 1 및 도 2에 도시된 바와 같이, 후술하는 스위칭허브부(160)와 연결될 수 있다.The monitoring system unit 150 is configured to store the above-described third image, and as shown in FIGS. 1 and 2 , may be connected to a switching hub unit 160 to be described later.

여기서, 모니터링시스템부(150)는 도 1에 도시된 바와 같이, NVR(Network Video Recorder) 등으로 마련될 수 있다.Here, the monitoring system unit 150 may be provided as a network video recorder (NVR) or the like, as shown in FIG. 1 .

또한, 모니터링시스템부(150)는 후술하는 스위칭허브부(160)로부터 Onvif 또는 RTSP(Real-time Streaming Protocol) 방식으로 제3영상을 전달받을 수 있다. 또한, 모니터링시스템부(150)는 가시성향상부(130)와 직접 연결되어 제3영상을 전달받을 수도 있다.In addition, the monitoring system unit 150 may receive the third image from the switching hub unit 160 to be described later in the Onvif or RTSP (Real-time Streaming Protocol) method. In addition, the monitoring system unit 150 may be directly connected to the visibility improving unit 130 to receive the third image.

스위칭허브부(160)는 상술한 제1영상이 상술한 카메라부(110)로부터 입력되고, 상술한 제1영상을 상술한 스케일변환부(120)로 전달하며, 상술한 가시성향상부(130)로부터 상술한 제3영상을 입력받아 상술한 모니터링시스템부(150)에 전달하는 구성으로, 카메라부(110)와 스케일변환부(120)와 가시성향상부(130)와 모니터링시스템부(150)와 전기적으로 연결될 수 있다.The switching hub unit 160 receives the above-described first image from the above-described camera unit 110 , and transmits the above-described first image to the above-described scale conversion unit 120 , and the above-described visibility enhancing unit 130 . In a configuration that receives the above-mentioned third image from the above-mentioned monitoring system unit 150 and transmits it to the above-described monitoring system unit 150 , the camera unit 110 , the scale conversion unit 120 , the visibility improving unit 130 , and the monitoring system unit 150 , can be electrically connected.

다음으로 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)의 작동 순서에 대해 도 10을 참조하여 설명한다.Next, an operation sequence of the miniature image processing apparatus 100 for improving visibility in a situation where the visibility of IP type CCTV according to an embodiment of the present invention is reduced will be described with reference to FIG. 10 .

(1) 카메라부(110)에 의해 촬영된 제1영상은 역방향 매핑과 양선형 보간법에 의해 영상 해당도가 업스케일링되어 제2영상이 생성된다.(1) The first image captured by the camera unit 110 is upscaled with image correspondingness by reverse mapping and bilinear interpolation to generate a second image.

(2) 제2영상은 감마조정을 통해 조명왜곡이 보정된다.(2) In the second image, illumination distortion is corrected through gamma adjustment.

(3) 가시성향상부(130)는 조명왜곡이 보정된 제2영상에 안개 및 미세먼지, 역광 등의 계조장애가 있는지 판단하며, 계조장애가 있는 경우 CLAHE 알고리즘을 통해 계조장애를 보정한다.(3) The visibility improving unit 130 determines whether there are grayscale disturbances such as fog, fine dust, backlight, etc. in the second image for which the illumination distortion is corrected, and if there is a grayscale disturbance, corrects the grayscale disturbance through the CLAHE algorithm.

(4) 가시성향상부(130)는 계조장애가 보정된 제2영상에 빗방울왜곡이 있는지 판단하며, 빗방울왜곡이 있는 경우 오토인코더 방식을 적용한 딥러닝 알고리즘을 통해 빗방울왜곡을 보정함으로써 제3영상을 생성한다.(4) The visibility improving unit 130 determines whether there is raindrop distortion in the second image for which the grayscale disorder is corrected, and if there is raindrop distortion, the third image is generated by correcting the raindrop distortion through a deep learning algorithm to which an autoencoder method is applied. do.

(5) 제3영상은 출력부(140)로 전달되어 출력되며, 모니터링시스템부(150)로 전달되어 저장된다.(5) The third image is transmitted and output to the output unit 140, and is transmitted and stored to the monitoring system unit 150.

상술한 바와 같은 카메라부(110)와 스케일변환부(120)와 가시성향상부(130)와 출력부(140)와 모니터링시스템부(150)와 스위칭허브부(160)를 포함하는 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치(100)에 따르면, 영상 보안을 위해 일반적으로 사용되는 IP타입 CCTV 카메라와 연결하여 실시간으로 영상의 가시성을 향상하여 저조도 및 안개, 우천 등 시인성 저하 상황에서의 영상 보안의 신뢰성을 높일 수 있다.An aspect of the present invention including the camera unit 110 , the scale conversion unit 120 , the visibility improving unit 130 , the output unit 140 , the monitoring system unit 150 and the switching hub unit 160 as described above According to the subminiature image processing apparatus 100 for improving visibility in a situation of reduced visibility of IP type CCTV according to the embodiment, it is connected with an IP type CCTV camera generally used for image security to improve the visibility of the image in real time. It is possible to increase the reliability of video security in low-light, fog, and rain conditions such as low visibility.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though it has been described that all the components constituting the embodiment of the present invention operate by being combined or combined into one, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, terms such as "comprises", "comprises" or "have" described above mean that the corresponding component may be inherent, unless otherwise stated, excluding other components. Rather, it should be construed as being able to further include other components. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms commonly used, such as those defined in the dictionary, should be interpreted as being consistent with the contextual meaning of the related art, and are not interpreted in an ideal or excessively formal meaning unless explicitly defined in the present invention.

그리고 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.And, the above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100 : 본 발명의 일실시예에 따른 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치
110 : 카메라부
120 : 스케일변환부
130 : 가시성향상부
140 : 출력부
150 : 모니터링시스템부
160 : 스위칭허브부100: Micro-miniature image processing device for improving visibility in a situation of reduced visibility of IP type CCTV according to an embodiment of the present invention
110: camera unit
120: scale conversion unit
130: visibility enhancement part
140: output unit
150: monitoring system unit
160: switching hub unit

Claims (5)

제1영상이 촬영되는 카메라부;
상기 제1영상이 입력되고, 상기 제1영상의 스케일을 변화시켜 해상도가 증가된 제2영상을 생성하는 스케일변환부;
상기 제2영상이 입력되고, 상기 제2영상을 영상처리하여 가시성이 향상된 제3영상을 생성하는 가시성향상부;
상기 제3영상을 입력받아 출력하는 출력부;
상기 제3영상이 저장되는 모니터링시스템부; 및
상기 제1영상이 상기 카메라부로부터 입력되고, 상기 제1영상을 상기 스케일변환부로 전달하며, 상기 가시성향상부로부터 상기 제3영상을 입력받아 상기 모니터링시스템부에 전달하는 스위칭허브부를 포함하되,
상기 카메라부의 상부에는,
고압의 공기가 측면으로 분출되어 상기 카메라부로 떨어지는 빗방울의 유동방향을 변화시키는 에어커튼모듈이 마련되며,
상기 카메라부는,
HD급 이상의 해상도를 가지는 상기 제1영상을 촬영하는 촬영모듈과, 상기 제1영상의 해상도를 유지하면서 아날로그 영상정보(RCA 방식)를 디지털 HDMI 영상정보로 변환하는 제1변환모듈과, HD급 이상의 해상도를 유지하면서 상기 디지털 HDMI 영상정보를 디지털 USB 영상정보로 변환하고 상기 스위칭허브부로 상기 제1영상의 상기 디지털 USB 영상정보를 전달하는 제2변환모듈과, 외부 기상 서버와 연결되어 날씨정보를 전달받고 이에 따라 상기 에어커튼모듈을 제어하는 제어모듈과, 흡습속건 기능이 포함된 기능성소재로 마련되어 상기 촬영모듈의 외관에 맺힌 빗방울을 제거하는 와이퍼모듈과, 외부 광량을 측정하는 조도센서모듈과, 외부로부터 상기 카메라부에 유입되는 광량을 감소시키는 필터모듈을 포함하며,
상기 스케일변환부와 상기 가시성향상부는,
병렬 연산을 수행하는 GPU에 의해 연산이 수행되며,
상기 스케일변환부와 상기 가시성향상부는,
케이스모듈의 내부에 설치되며,
상기 케이스모듈에는,
상기 스케일변환부와 상기 가시성향상부에서 발생하는 열을 외부로 배출하는 팬모듈이 마련되며,
상기 팬모듈은,
회전가능하게 마련되는 팬날개와, 상기 스케일변환부와 상기 가시성향상부의 동작 시점과 동작 정지 시점에 상기 팬날개에 물리적인 진동을 인가하는 진동모듈을 포함하며,
상기 진동모듈은,
회전력을 생성하는 모터부재와, 캠(CAM) 형상으로 마련되어 상기 팬날개에 접촉하며 상기 모터부재의 회전력에 의해 회전하여 상기 팬날개에 접촉하는 것을 반복하여 상기 팬날개에 진동을 인가하는 캠부재와, 상기 스케일변환부와 상기 가시성향상부의 동작 시점 및 동작 정지 시점에 상기 모터부재가 일정 시간 동작하도록 상기 모터부재를 제어하는 제어부재를 포함하는 것을 특징으로 하는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치.
a camera unit for capturing the first image;
a scale conversion unit receiving the first image and generating a second image having an increased resolution by changing a scale of the first image;
a visibility improving unit receiving the second image and processing the second image to generate a third image with improved visibility;
an output unit for receiving and outputting the third image;
a monitoring system unit for storing the third image; and
a switching hub unit for receiving the first image from the camera unit, transmitting the first image to the scale conversion unit, and receiving the third image from the visibility improving unit and transmitting it to the monitoring system unit,
In the upper part of the camera unit,
An air curtain module for changing the flow direction of raindrops falling to the camera unit by blowing high-pressure air to the side is provided,
The camera unit,
A photographing module for photographing the first image having a resolution of HD level or higher, a first conversion module for converting analog image information (RCA method) into digital HDMI image information while maintaining the resolution of the first image, and HD level or higher A second conversion module that converts the digital HDMI image information into digital USB image information while maintaining the resolution and transmits the digital USB image information of the first image to the switching hub unit, is connected to an external weather server to deliver weather information A control module for controlling the air curtain module according to the reception, a wiper module made of a functional material including a moisture absorption and quick-drying function to remove raindrops formed on the exterior of the photographing module, an illuminance sensor module for measuring the amount of external light; and a filter module for reducing the amount of light flowing into the camera unit from
The scale conversion unit and the visibility improving unit,
The operation is performed by the GPU that performs parallel operation,
The scale conversion unit and the visibility improving unit,
It is installed inside the case module,
In the case module,
A fan module for discharging heat generated by the scale conversion unit and the visibility improving unit to the outside is provided,
The fan module is
It includes a fan blade rotatably provided, and a vibration module for applying physical vibration to the fan blades at the time of operation and stopping of the scale conversion unit and the visibility improving unit,
The vibration module is
A motor member for generating a rotational force, a cam member provided in a cam (CAM) shape to contact the fan blades, rotate by the rotational force of the motor member and repeatedly contact the fan blades to apply vibration to the fan blades; , Visibility in a reduced visibility situation of IP type CCTV, characterized in that it comprises a control member for controlling the motor member so that the motor member operates for a predetermined time at the time of operation and stop of the operation of the scale conversion unit and the visibility improving unit An ultra-compact image processing device for enhancement.
 청구항 1에 있어서,
상기 스케일변환부는,
양선형 보간법에 의해 상기 제1영상의 스케일을 변화시키는 것을 특징으로 하는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치.
The method according to claim 1,
The scale conversion unit,
An ultra-compact image processing apparatus for improving visibility in a situation of reduced visibility of IP type CCTV, characterized in that the scale of the first image is changed by bilinear interpolation.
 청구항 1에 있어서,
상기 가시성향상부는,
상기 제1영상에 대해 감마조정을 통한 조명왜곡보정과, CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 통한 계조장애보정과, 오토인코더 방식이 적용된 딥러닝 알고리즘을 통한 빗방울왜곡보정이 이루어지는 것을 특징으로 하는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치.
The method according to claim 1,
The visibility improving unit,
Light distortion correction through gamma adjustment for the first image, grayscale disturbance correction through CLAHE (Contrast Limited Adaptive Histogram Equalization) algorithm, and raindrop distortion correction through deep learning algorithm to which auto-encoder method is applied, characterized in that An ultra-compact image processing device to improve visibility in IP-type CCTV's low visibility situations.
 청구항 3에 있어서,
상기 오토인코더 방식이 적용된 딥러닝 알고리즘은,
인코더과정과, 수식 1에 기초한 복수의 Smoothed dilated convolution 연산과정과, 디코더과정을 포함하는 것을 특징으로 하는 IP타입 CCTV의 시인성 저하 상황에서의 가시성 향상을 위한 초소형 영상처리 장치.
{수식 1}
Figure 112021103487640-pat00022

(상기
Figure 112021103487640-pat00023
는 1차원 입력, 상기
Figure 112021103487640-pat00024
는 정규 convolution layer, 상기
Figure 112021103487640-pat00025
는 원소별 곱셈(element-wise multiplication), 상기
Figure 112021103487640-pat00026
은 확장 비율(dilation rate), 상기
Figure 112021103487640-pat00027
는 전체 커널 사이즈, 상기
Figure 112021103487640-pat00028
는 합성곱 연산, 상기
Figure 112021103487640-pat00029
와 상기
Figure 112021103487640-pat00030
는 좌표)
4. The method according to claim 3,
The deep learning algorithm to which the autoencoder method is applied,
An encoder process, a plurality of smoothed dilated convolution calculation processes based on Equation 1, and a decoder process.
{Formula 1}
Figure 112021103487640-pat00022

(remind
Figure 112021103487640-pat00023
is a one-dimensional input, said
Figure 112021103487640-pat00024
is the regular convolution layer,
Figure 112021103487640-pat00025
is element-wise multiplication, where
Figure 112021103487640-pat00026
is the dilation rate, said
Figure 112021103487640-pat00027
is the total kernel size, where
Figure 112021103487640-pat00028
is the convolution operation, said
Figure 112021103487640-pat00029
and above
Figure 112021103487640-pat00030
is the coordinates)
 삭제delete
KR1020210119052A 2021-09-07 2021-09-07 Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced KR102326840B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119052A KR102326840B1 (en) 2021-09-07 2021-09-07 Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119052A KR102326840B1 (en) 2021-09-07 2021-09-07 Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced

Publications (1)

Publication Number Publication Date
KR102326840B1 true KR102326840B1 (en) 2021-11-17

Family

ID=78702681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119052A KR102326840B1 (en) 2021-09-07 2021-09-07 Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced

Country Status (1)

Country Link
KR (1) KR102326840B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160104324A (en) * 2015-02-26 2016-09-05 엘지이노텍 주식회사 Super resolution camara apparatus using one camera module
KR102119687B1 (en) * 2020-03-02 2020-06-05 엔에이치네트웍스 주식회사 Learning Apparatus and Method of Image
KR102146964B1 (en) * 2019-07-15 2020-08-21 현대디지탈시스템(주) CCTV Management control system
KR102245501B1 (en) * 2020-11-25 2021-04-29 주식회사 아이지오 Low-quality CCTV Image Based Object Restoration System Using Deep-learning
KR20210067824A (en) * 2019-11-29 2021-06-08 고려대학교 산학협력단 Method for single image dehazing based on deep learning, recording medium and device for performing the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160104324A (en) * 2015-02-26 2016-09-05 엘지이노텍 주식회사 Super resolution camara apparatus using one camera module
KR102146964B1 (en) * 2019-07-15 2020-08-21 현대디지탈시스템(주) CCTV Management control system
KR20210067824A (en) * 2019-11-29 2021-06-08 고려대학교 산학협력단 Method for single image dehazing based on deep learning, recording medium and device for performing the method
KR102119687B1 (en) * 2020-03-02 2020-06-05 엔에이치네트웍스 주식회사 Learning Apparatus and Method of Image
KR102245501B1 (en) * 2020-11-25 2021-04-29 주식회사 아이지오 Low-quality CCTV Image Based Object Restoration System Using Deep-learning

Similar Documents

Publication Publication Date Title
KR102293443B1 (en) Image processing method and mobile terminal using dual camera
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US20180035057A1 (en) Systems and Methods for Photometric Normalization in Array Cameras
CN108712608B (en) Terminal equipment shooting method and device
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
TWI722283B (en) Multiplexed high dynamic range images
KR101713684B1 (en) Monitoring camera of complex filtering type robust to change of visibility state and image monitoring system having the same
KR101367637B1 (en) Monitoring apparatus
CN103297701B (en) Formation method and imaging device
US9478016B2 (en) Image restoration method and image processing apparatus using the same
US20110007969A1 (en) Method and apparatus for correcting lens shading
US20080291286A1 (en) Picture Taking Device and Picture Restoration Method
US7932934B2 (en) Image processing method and imaging apparatus using the same
CN108605102B (en) Method for improving image quality and thermal imaging device
WO2011127825A1 (en) Processing method and device of image contrast
CN110113510B (en) Real-time video image enhancement method and high-speed camera system
CN107533756B (en) Image processing device, imaging device, image processing method, and storage medium storing image processing program for image processing device
WO2010093484A1 (en) An integrated circuit having a circuit for and method of providing intensity correction for a video
CN106134180B (en) Image processing apparatus and method, storage being capable of recording mediums by the image processing program that computer is temporarily read, photographic device
KR101917094B1 (en) Fast smog and dark image improvement method and apparatus by using mapping table
CN109639994B (en) Dynamic adjusting method for exposure time of embedded vehicle-mounted camera
CN111724317A (en) Method for constructing Raw domain video denoising supervision data set
KR101786553B1 (en) Monitoring camera having auto-focusing function based on complex filtering robust to change of visibility state and image monitoring system having the same
CN108093175A (en) A kind of adaptive defogging method of real-time high-definition video and device
KR102326840B1 (en) Mini image processing device to improve visibility of internet protocol type cctv in situations where visibility is reduced

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant