KR102512091B1 - Removing Noise System For Using Local Binary Patterns Based On Value Calculations - Google Patents

Removing Noise System For Using Local Binary Patterns Based On Value Calculations Download PDF

Info

Publication number
KR102512091B1
KR102512091B1 KR1020220095077A KR20220095077A KR102512091B1 KR 102512091 B1 KR102512091 B1 KR 102512091B1 KR 1020220095077 A KR1020220095077 A KR 1020220095077A KR 20220095077 A KR20220095077 A KR 20220095077A KR 102512091 B1 KR102512091 B1 KR 102512091B1
Authority
KR
South Korea
Prior art keywords
pixel
image
comparison
unit
brightness value
Prior art date
Application number
KR1020220095077A
Other languages
Korean (ko)
Inventor
이윤진
홍진형
조영광
Original Assignee
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다누시스 filed Critical 주식회사 다누시스
Priority to KR1020220095077A priority Critical patent/KR102512091B1/en
Application granted granted Critical
Publication of KR102512091B1 publication Critical patent/KR102512091B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/004—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

The present invention relates to a noise removal system using a local binary pattern based on lightness calculation, which implements a color video using the YUV method, generates a video image with high compression efficiency, removes noise in the luminance region (Y region) of the generated video image, and corrects the removed part with the background to output a clear image. The noise removal system includes a background video unit, a current video unit, a block generation unit, a lightness value allocation unit, a binary pattern generation unit, a comparison unit, and a noise removal unit.

Description

명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템{Removing Noise System For Using Local Binary Patterns Based On Value Calculations}Noise Removal System For Using Local Binary Patterns Based On Value Calculations

본 발명은 영상 내의 빛을 분석해 빛이 반사되며 흐릿한 부분 즉, 노이즈를 제거하는 시스템과 관련된 기술이다.The present invention is a technology related to a system that analyzes light in an image, reflects light, and removes a blurry part, that is, noise.

최근 들어, 치안 및 보안 등 안전에 대한 관심이 높아졌다. 이러한 관심이 커짐에 따라 거리 곳곳에 CCTV가 설치되고 있다. 설치된 CCTV는 설정 반경을 촬영하며 영상 이미지를 생성한다.Recently, interest in safety, such as public order and security, has increased. As this interest grows, CCTVs are installed all over the streets. The installed CCTV takes a set radius and creates a video image.

일반적인 IP 기반의 CCTV는 아날로그 포맷 영상이미지를 생성한다. 이때, 생성된 아날로그 포맷 영상은 YUV 컬러 영상(디지털 포맷 영상)으로 변환된 후, 비디오 코덱을 거쳐(인코딩) 비트스트림으로 변환되어 수신단으로 전송된다. 이후, 수신단에서는 비트스트림을 수신하고, 수신한 비트스티림을 디코딩 한 후, YUV 컬러 포맷을 RGB 컬러 포맷으로 변환하며 출력한다.A typical IP-based CCTV creates an analog format video image. At this time, the generated analog format image is converted into a YUV color image (digital format image), and then converted into a bitstream through a video codec (encoding) and transmitted to the receiving end. Thereafter, the receiving end receives the bitstream, decodes the received bitstream, converts the YUV color format into an RGB color format, and outputs the converted color format.

생성된 영상 이미지는 사고 발생 시, 사고를 해결할 수 있는 중요 자료가 된다. 이에, CCTV에서 촬영된 영상 이미지의 포맷 변환 및 디지털 데이터로 변환은 영상 이미지 처리를 통해 모니터에서 깨끗하게 출력되도록 하는 알고리즘은 중요요소가 된다.The generated video image becomes an important data to solve an accident when an accident occurs. Accordingly, the format conversion and digital data conversion of the video image captured by the CCTV are an important factor in an algorithm that enables clean output on the monitor through video image processing.

만약, 모니터에서 수신한 비트스트림을 복호한 후, YUV 컬러 포맷을 RGB 컬러 포맷으로 변환하는 과정을 실행하지 않는 경우, 빛 반사와 같은 노이즈가 많이 껴 이미지를 생성하게 된다.If, after decoding the bitstream received from the monitor, the process of converting the YUV color format into an RGB color format is not executed, a lot of noise such as light reflection is present to create an image.

그러나, 현재까지 많은 YUV 컬러 이미지 포맷 처리 기술은 YUV 컬러 포맷에서 발생되는 빛 반사와 같은 노이즈를 처리하지 못하고 있다.However, many YUV color image format processing technologies to date do not handle noise such as light reflection generated in the YUV color format.

이에, YUV 컬러 포맷을 RGB 컬러 포맷으로 변환시키는 과정에서 YUV 컬러 이미지에 있는 노이즈가 그대로 RGB 컬러 이미지에 나타나게 된다.Therefore, in the process of converting the YUV color format to the RGB color format, noise in the YUV color image appears in the RGB color image as it is.

이와 같은 문제는 RGB 컬러 이미지의 추가적인 post-filtering의 효용을 감소시키는 문제까지 야기시킨다.Such a problem even causes a problem of reducing the effectiveness of additional post-filtering of RGB color images.

대한민국 등록특허 제10-2398788호 (공고일자: 2022.05.18)Republic of Korea Patent Registration No. 10-2398788 (Announcement date: 2022.05.18)

본 발명은 YUV 컬러 포맷을 RGB 컬러 포맷으로 변환시키는 과정에서 YUV 컬러 이미지에 있는 노이즈가 그대로 RGB 컬러 이미지에 나타나는 문제를 해결하고자 한다.An object of the present invention is to solve a problem in which noise in a YUV color image appears in an RGB color image as it is in the process of converting a YUV color format into an RGB color format.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템은 카메라로부터 복호화 과정을 거쳐 생성된 와이유브이(YUV) 영상이미지에 발생한 빛 번짐을 보정하여 이후 영상처리 과정에 활용하도록 지원하는 시스템에 관한 것이다.In order to achieve the above technical problem, the noise removal system using a local binary pattern based on brightness calculation corrects the light blur generated in the YUV video image generated through the decoding process from the camera and uses it in the subsequent image processing process It's about a system that supports that.

이러한 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템은 제1시간에 카메라로부터 복호화 과정을 거쳐 생성된 와이유브이(YUV) 영상이미지의 루마성분이 되는 회색이미지를 일정시간 누적하여 평균이미지로 변환하고, 이를 배경이미지로 설정하는 배경영상부, 제2시간에 카메라에서 와이유브이(YUV) 영상이미지의 루마성분(Y성분)이 되는 회색이미지를 획득하여 현재영상이미지로 설정하는 현재영상부, 배경영상부에서 배경이미지를 획득하고 현재영상부에서 현재영상이미지를 획득하여 배경이미지와 현재영상이미지에 복수 개의 픽셀블록을 생성하는 블록생성부, 픽셀블록에서 어느 하나의 픽셀을 기준픽셀 그리고 기준픽셀의 기준픽셀 이외의 다른 픽셀을 비교픽셀로 설정한 후, 배경이미지에 형성된 픽셀블록과 현재영상이미지에 형성된 픽셀블록의 각각의 픽셀에 명도값을 할당하는 명도값할당부, 기준픽셀의 명도값과 비교픽셀의 명도값의 크기를 비교해, 비교픽셀의 명도값이 기준픽셀의 명도값 이하인 경우, 비교픽셀의 영역에 이진수‘0’을 설정하고, 비교픽셀의 명도값이 기준픽셀의 명도값 보다 큰 경우, 비교픽셀의 영역에 이진수 ‘1’을 설정하는 바이너리패턴생성부, 배경이미지에 형성된 제1위치의 픽셀블록의 비교픽셀에 할당된 이진수와 현재영상이미지에 형성된 제1위치의 픽셀블록의 비교픽셀에 할당된 이진수를 배타적 논리합(XOR: Exclusive or)으로 연산하여 연산값을 출력하는 비교부 및 비교부에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 미만이면, 현재영상이미지의 제1위치의 픽셀블록을 배경이미지의 제1위치의 픽셀블록으로 마스킹하는 노이즈제거부를 포함한다.The noise removal system using the local binary pattern based on the brightness calculation accumulates the gray image, which is the luma component of the YUV video image generated through the decoding process from the camera at the first time, for a certain period of time to obtain an average image. A background image unit that converts and sets it as a background image, and a current image unit that acquires a gray image that becomes the luma component (Y component) of the YUV video image from the camera at the second time and sets it as the current video image. , A block generator that obtains a background image from the background video unit and a current video image from the current video unit to generate a plurality of pixel blocks in the background image and the current video image. A brightness value assignment unit that assigns a brightness value to each pixel of the pixel block formed in the background image and the pixel block formed in the current video image after setting pixels other than the reference pixel of the pixel as the comparison pixel, and the brightness value of the reference pixel If the brightness value of the comparison pixel is less than or equal to the brightness value of the reference pixel, a binary number '0' is set in the area of the comparison pixel, and the brightness value of the comparison pixel is greater than the brightness value of the reference pixel. If it is large, a binary pattern generation unit that sets the binary number '1' in the area of the comparison pixel, the binary number assigned to the comparison pixel of the pixel block at the first position formed in the background image and the pixel block at the first position formed in the current video image A comparison unit that outputs an operation value by performing an exclusive OR (XOR) operation on the binary numbers assigned to the comparison pixels, and if the number of binary numbers '1' among the operation values output from the comparison unit is less than the reference number, the current video image and a noise removing unit masking the pixel block at the first position with the pixel block at the first position of the background image.

여기서, 블록생성부는 가로 3개 그리고 세로 3개의 픽셀을 하나의 블록으로 하는 픽셀블록을 생성할 수 있다. 그리고 바이너리팬턴 생성부는 기준픽셀을 가로 3개의 픽셀과 세로 3개의 픽셀들 가운데, 중앙 영역의 픽셀로 설정하고 나머지 8개의 비교픽셀에 할당되는 이진수가 동일하게 할당되는 8개의 칸으로 구성된 디스크립터를 생성할 수 있다.Here, the block generator may generate a pixel block having 3 horizontal pixels and 3 vertical pixels as one block. And, the binary pattern generation unit sets the reference pixel to the pixel in the central area among 3 horizontal pixels and 3 vertical pixels, and creates a descriptor composed of 8 cells to which the binary numbers allocated to the remaining 8 comparison pixels are equally allocated. can

그리고 노이즈제거부는 비교부에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 이상이면, 현재영상이미지의 제1위치의 픽셀블록의 이미지를 그대로 출력할 수 있다.The noise removal unit may output the image of the pixel block at the first position of the current video image as it is, if the number of binary '1's among the calculated values output from the comparison unit is equal to or greater than the reference number.

본 발명에 따른 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템은 야간 촬영시의 영상처리 성능을 높이기 위해 활용되는 영상의 빛 번짐 또는 빛 반사의 노이즈를 제거함으로써 영상 처리의 성능을 높인다.The noise removal system using a local binary pattern based on brightness calculation according to the present invention improves image processing performance by removing noise of light spread or light reflection of an image used to increase image processing performance during night shooting.

도 1은 본 발명의 일 실시예에 따른 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템의 블록도이다.
도 2는 도 1의 배경영상부에서 저장되어 있는 이미지이다.
도 3은 도 1의 현재영상부에서 생성한 이미지이다.
도 4는 도 1의 블록생성부에서 생성한 복수 개의 픽셀블록을 나타낸 도면이다.
도 5는 도 2의 이미지에 도 4에 도시된 복수 개의 픽셀블록을 반영한 상태를 나타낸 도면이다.
도 6은 도 3의 이미지에 도 4에 도시된 복수 개의 픽셀블록을 반영한 상태를 나타낸 도면이다.
도 7은 도 1의 명도값할당부가 어느 하나의 픽셀블록의 각 픽셀에 명도값을 할당한 상태를 나타낸 도면이다.
도 8은 바이너리 패턴 생성부가 어는 하나의 픽셀블록에 이진수 할당하는 방법을 나타낸 도면이다.
도 9는 배경이미지의 첫 번째 위치에 위치한 픽셀블록에 이진수가 할당되며 형성된 배경디스크립터를 나타낸 도면이다.
도 10은 현재이미지의 첫 번째 위치에 위치한 픽셀블록에 명도값이 할당되고, 할당된 명도값에 기반하여 이진수가 할당되며 형성된 현재영상디스크립터를 나타낸 도면이다.
도 11은 도 1의 비교부가 도 9에 형성된 배경디스크립터와 도 10에 형성된 현재영상디스크립터를 비교 연산하여 배타적 논리합 연산디스크립터의 생성과정을 나타낸 도면이다.
도 12는 배타적 논리합 연산디스크립터의 이진수 ‘1’의 개수를 확인하여, ‘1’의 개수가 기준개수 미만이게 되면서, 배타적 논리합 연산디스크립터와 대응되는 제1픽셀블록을 마스크 적용한 상태를 나타낸 도면이다.
도 13은 배경이미지의 n번째 위치에 위치한 픽셀블록에 이진수가 할당되며 형성된 배경디스크립터를 나타낸 도면이다.
도 14는 현재이미지의 n번째 위치헤 위치한 픽셀블록에 명도값이 할당되고, 할당된 명도값에 기반하여 이진수가 할당되며 형성된 현재영상디스크립터를 나타낸 도면이다.
도 15는 도 1의 비교부가 도 13에 형성된 배경디스크립터와 도 14에 형성된 현재영상디스크립터를 비교 연산하여 배타적 논리합 연산디스크립터의 생성과정을 나타낸 도면이다.
도 16은 배타적 논리합 연산디스크립터의 이진수 ‘1’의 개수를 확인하여, ‘1’의 개수가 기준개수 이상이게 되면서, 현재영상디스크립터와 대응되는 제n픽셀블록이 그대로 출력된 도면이다.1 is a block diagram of a noise removal system using a local binary pattern based on lightness calculation according to an embodiment of the present invention.
FIG. 2 is an image stored in the background image unit of FIG. 1 .
FIG. 3 is an image generated by the current imaging unit of FIG. 1 .
FIG. 4 is a diagram showing a plurality of pixel blocks generated by the block generator of FIG. 1 .
FIG. 5 is a view showing a state in which a plurality of pixel blocks shown in FIG. 4 are reflected in the image of FIG. 2 .
FIG. 6 is a view showing a state in which a plurality of pixel blocks shown in FIG. 4 are reflected in the image of FIG. 3 .
FIG. 7 is a diagram showing a state in which the brightness value assignment unit of FIG. 1 allocates brightness values to each pixel of any one pixel block.
8 is a diagram illustrating a method of allocating a binary number to a certain pixel block by a binary pattern generating unit.
9 is a diagram showing a background descriptor formed by allocating a binary number to a pixel block located at a first position of a background image.
10 is a view showing a current image descriptor formed by allocating a brightness value to a pixel block located at a first position of a current image and allocating a binary number based on the allocated brightness value.
FIG. 11 is a diagram showing a process of generating an exclusive OR operation descriptor by comparing and calculating the background descriptor formed in FIG. 9 and the current image descriptor formed in FIG. 10 by the comparator of FIG. 1 .
12 is a diagram showing a state in which a mask is applied to a first pixel block corresponding to an exclusive OR operation descriptor when the number of binary '1's in an exclusive OR operation descriptor is checked and the number of '1's is less than the reference number.
13 is a diagram showing a background descriptor formed by allocating a binary number to a pixel block located at an nth position of a background image.
14 is a diagram showing a current image descriptor formed by assigning a brightness value to a pixel block located at an nth position of a current image and allocating a binary number based on the allocated brightness value.
FIG. 15 is a view showing a process of generating an exclusive OR operation descriptor by comparing and calculating the background descriptor formed in FIG. 13 and the current image descriptor formed in FIG. 14 by the comparator of FIG. 1 .
16 is a view in which the number of binary '1's in the exclusive OR operation descriptor is checked, and when the number of '1's is greater than or equal to the reference number, the n-th pixel block corresponding to the current image descriptor is output as it is.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명의 실시 예는 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이다. 하기 실시 예는 본 발명을 설명하기 위한 것일 뿐, 본 발명의 범위가 하기 실시 예에 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. The following examples are only for explaining the present invention, but the scope of the present invention is not limited to the following examples.

이하, 본 발명의 설명의 이해를 돕는 도면을 참조하여, 대해 설명한다. 다만, 본 명세서 상에서는 본 발명에 대한 설명이 명확하고 간결해질 수 있도록, 도 1을 참조하여 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템에 대해 개괄적으로 설명한 후, 도 2 내지 도 16을 참조하여, 본 발명의 구성요소에 대해 구체적으로 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The description of the present invention will be described below with reference to drawings that help understanding. However, in this specification, in order to make the description of the present invention clear and concise, a noise removal system using a local binary pattern based on lightness calculation is generally described with reference to FIG. 1, and then reference to FIGS. 2 to 16 So, the components of the present invention will be described in detail.

도 1은 본 발명의 일 실시예에 따른 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템의 블록도이다.1 is a block diagram of a noise removal system using a local binary pattern based on lightness calculation according to an embodiment of the present invention.

본 발명의 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템(1)은 와이유브이(YUV) 방식으로 구현된 컬러 이미지에서 명도영역(Y 영역)을 추출해, 빛 번짐에 의한 노이즈를 제거한다. 그리고 제거된 부분을 마스킹 처리하여 모니터에서 선명한 컬러 이미지를 출력할 수 있도록 한다. 더욱이, 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템(1)은 영상의 빛 번짐 또는 빛 반사의 노이즈를 제거함으로써 야간 촬영시의 영상처리 성능을 높일 수 있다.The noise removal system 1 using the local binary pattern based on the lightness calculation of the present invention extracts the lightness area (Y area) from the color image implemented by the YUV method and removes noise caused by light smearing. . Then, the removed part is masked so that a clear color image can be output on the monitor. Furthermore, the noise removal system 1 using the local binary pattern based on brightness calculation can improve image processing performance during night shooting by removing noise of light spread or light reflection in an image.

이와 같은 특징을 갖는 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템(1)은 배경영상부(10), 현재영상부(20), 블록생성부(30), 명도값할당부(40), 바이너리패턴생성부(50), 비교부(60) 및 노이즈제거부(70)를 구성요소로 포함한다. 이러한 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템(1)은 컬러 영상 이미지를 와이유브이(YUV) 방식으로 생성하는 카메라(A)에서 회색이미지를 수신해 가공한다.A noise removal system (1) using a local binary pattern based on brightness calculation having such characteristics includes a background image unit (10), a current image unit (20), a block generator (30), and a brightness value allocation unit (40). , a binary pattern generator 50, a comparison unit 60, and a noise removal unit 70 are included as components. The noise removal system 1 using a local binary pattern based on the lightness calculation receives a gray image from a camera A that generates a color video image using a YUV method and processes it.

이하, 도 2 내지 도 12를 참조하여, 본 발명을 구성하는 구성요소에 대해 구체적으로 설명한다.Hereinafter, with reference to FIGS. 2 to 12, components constituting the present invention will be described in detail.

도 2는 도 1의 배경영상부에서 저장되어 있는 이미지이고, 도 3은 도 1의 현재영상부에서 생성한 이미지이고, 도 4는 도 1의 블록생성부에서 생성한 복수 개의 픽셀블록을 나타낸 도면이다. 그리고 도 5는 도 2의 이미지에 도 4에 도시된 복수 개의 픽셀블록을 반영한 상태를 나타낸 도면이고, 도 6은 도 3의 이미지에 도 4에 도시된 복수 개의 픽셀블록을 반영한 상태를 나타낸 도면이다. 그리고 도 7은 도 1의 명도값할당부가 어느 하나의 픽셀블록의 각 픽셀에 명도값을 할당한 상태를 나타낸 도면이고, 도 8은 바이너리 패턴 생성부가 어는 하나의 픽셀블록에 이진수 할당하는 방법을 나타낸 도면이다. 그리고 도 9는 배경이미지의 첫 번째 위치에 위치한 픽셀블록에 이진수가 할당되며 형성된 배경디스크립터를 나타낸 도면이고, 도 10은 현재이미지의 첫 번째 위치에 위치한 픽셀블록에 명도값이 할당되고, 할당된 명도값에 기반하여 이진수가 할당되며 형성된 현재영상디스크립터를 나타낸 도면이다. 그리고 도 11은 도 1의 비교부가 도 9에 형성된 배경디스크립터와 도 10에 형성된 현재영상디스크립터를 비교 연산하여 배타적 논리합 연산디스크립터의 생성과정을 나타낸 도면이다. 그리고 도 12는 배타적 논리합 연산디스크립터의 이진수 ‘1’의 개수를 확인하여, ‘1’의 개수가 기준개수 미만이게 되면서, 배타적 논리합 연산디스크립터와 대응되는 제1픽셀블록을 마스크 적용한 상태를 나타낸 도면이다.2 is an image stored in the background image unit of FIG. 1, FIG. 3 is an image generated by the current image unit of FIG. 1, and FIG. 4 is a diagram showing a plurality of pixel blocks generated by the block generator of FIG. am. FIG. 5 is a diagram showing a state in which a plurality of pixel blocks shown in FIG. 4 are reflected in the image in FIG. 2, and FIG. 6 is a diagram showing a state in which a plurality of pixel blocks shown in FIG. 4 are reflected in the image in FIG. 3 . 7 is a diagram showing a state in which the brightness value assignment unit of FIG. 1 allocates brightness values to each pixel of a certain pixel block, and FIG. 8 shows a method of allocating a binary number to a certain pixel block by the binary pattern generator. it is a drawing 9 is a diagram showing a background descriptor formed by assigning a binary number to a pixel block located at the first position of the background image, and FIG. 10 is a diagram showing a brightness value assigned to a pixel block located at the first position of the current image, and the assigned brightness It is a diagram showing a current image descriptor formed by assigning a binary number based on a value. FIG. 11 is a view showing a process of generating an exclusive OR operation descriptor by comparing and calculating the background descriptor formed in FIG. 9 and the current image descriptor formed in FIG. 10 by the comparison unit of FIG. 1 . 12 is a view showing a state in which the number of binary '1's in the exclusive OR operation descriptor is checked and the first pixel block corresponding to the exclusive OR operation descriptor is masked while the number of '1's is less than the reference number. .

배경영상부(10)는 제1시간에 카메라(A)로부터 복호화 과정을 거쳐 생성된 와이유브이(YUV) 영상이미지의 루마성분(Y성분)이 되는 회색이미지를 일정시간 누적한다. 배경영상부(10)는 일정시간 누적된 회색이미지를 평균이미지로 변환하고, 변환된 평균이미지를 도 2에 도시된 바와 같은 배경이미지(B)로 설정한다. 그리고 이를 저장한다. 여기서, 제1시간은 특정 영역에 검출하고자 하는 객체가 없는 시간을 의미한다. 또는 특정 영역을 촬영하며 특정 영역의 평균적인 상태를 촬영하는 시간을 의미한다.The background image unit 10 accumulates a gray image that becomes a luma component (Y component) of a YUV video image generated through a decoding process from the camera A at a first time for a certain period of time. The background image unit 10 converts the gray image accumulated for a certain period of time into an average image, and sets the converted average image as a background image (B) as shown in FIG. 2 . and save it Here, the first time means a time when there is no object to be detected in a specific area. Alternatively, it means the time to photograph a specific area and photograph the average state of the specific area.

현재영상부(20)는 제2시간에 카메라(A)에서 와이유브이(YUV) 영상이미지의 루마성분(Y성분)이 되는 회색이미지를 획득한다. 이때, 현재영상부(20)는 회색이미지를 실시간 획득하고, 획득한 회색이미지를 도 3에 도시된 바와 같은 현재영상이미지(C)로 설정한다. 여기서, 제2시간은 제1시간 이외의 시간이 되며 이러한 시간 내에 특정 영역에 검출고자 하는 객체가 촬영된 시간을 의미한다. 또는 특정 영역을 촬영하였을 때, 평균이미지와 차이가 나는 이미지가 촬영되는 시간을 의미한다.The current imaging unit 20 acquires a gray image that becomes a luma component (Y component) of a YUV video image from the camera A at the second time. At this time, the current video unit 20 acquires the gray image in real time, and sets the acquired gray image as the current video image C as shown in FIG. 3 . Here, the second time is a time other than the first time, and means a time when an object to be detected is photographed in a specific area within this time. Or, when a specific area is photographed, it means the time during which an image different from the average image is photographed.

블록생성부(30)는 배경영상부(10)에서 배경이미지(B)를 획득하고 현재영상부(20)에서 현재영상이미지(C)를 획득한다. 블록생성부(30)는 수신한 배경이미지(B)와 현재영상이미지(C)의 크기에 대응되도록 복수 개의 픽셀블록(D)을 생성할 수 있다. 이때, 블록생성부(30)는 가로 3개 그리고 세로 3개의 픽셀을 하나의 블록으로 하는 픽셀블록을 생성할 수 있다. 일례로, 복수 개의 픽셀블록(D)은 도 4에 도시된 바와 같이 형성될 수 있다. 그리고, 블록생성부(30)는 생성된 복수 개의 픽셀블록(D)을 배경이미지(B)와 현재영상이미지(C)에 매핑할 수 있다. 일례로, 도 5에 도시된 바와 같이 복수 개의 픽셀블록(D)을 배경이미지(B)에 매핑할 수 있고, 도 6에 도시된 바와 같이 복수 개의 픽셀블록(D)을 현재영상이미지(C)에 매핑할 수 있다.The block generator 30 acquires a background image B from the background image unit 10 and a current video image C from the current image unit 20 . The block generator 30 may generate a plurality of pixel blocks D to correspond to the sizes of the received background image B and the current video image C. At this time, the block generator 30 may generate a pixel block having three horizontal and three vertical pixels as one block. For example, a plurality of pixel blocks D may be formed as shown in FIG. 4 . Also, the block generator 30 may map the generated plurality of pixel blocks D to the background image B and the current video image C. For example, as shown in FIG. 5, a plurality of pixel blocks (D) may be mapped to a background image (B), and as shown in FIG. 6, a plurality of pixel blocks (D) may be mapped to a current video image (C). can be mapped to

명도값할당부(40)는 픽셀블록(D)에서 어느 하나의 픽셀을 기준픽셀(S) 그리고 기준픽셀의 기준픽셀 이외의 다른 픽셀을 비교픽셀(G1~G8)로 설정한다. 이때, 명도값할당부(40)는 가로 3개의 픽셀과 세로 3개의 픽셀들 가운데, 중앙 영역의 픽셀을 기준픽셀(S)로 설정하고, 나머지 8개의 픽셀을 비교픽셀(G1~G8)로 설정할 수 있다. 이후, 명도값할당부(40)는 블록생성부(30)에 의해 배경이미지(B)에 형성된 픽셀블록과 현재영상이미지(C)에 형성된 픽셀블록의 각각의 픽셀에 명도값을 할당한다. 즉, 명도값할당부(40)는 어느 하나의 픽셀블록(Dn)을 구성하는 픽셀에 이미지에 있는 명도값을 추출해 할당한다. 일례로, 명도값할당부(40)는 도 7에 도시된 바와 같이, 기준픽셀(S)에 명도값 5가 할당되고, 제1픽셀(G1)에 명도값 3이 할당되고, 제2픽셀(G2)에 명도값 2가 할당될 수 있다. 그리고 제3픽셀(G3)에 명도값 4가 할당되고, 제4픽셀(G4)에 명도값 6이 할당될 수 있다. 그리고 제5픽셀(G5)에 명도값 5가 할당되고, 제6픽셀(G6)에 명도값 4가 할당되고, 제7픽셀(G7)에 명도값 2가 할당되고, 제8픽셀(G8)에 명도값 3이 할당될 수 있다. 그리고 비교픽셀(G1~G8) 각각에 명도값을 할당될 수 있다.The brightness value assigning unit 40 sets any one pixel in the pixel block D as a reference pixel S and pixels other than the reference pixels of the reference pixel as comparison pixels G1 to G8. At this time, the brightness value assigning unit 40 sets a pixel in the center area as a reference pixel (S) among three horizontal pixels and three vertical pixels, and sets the remaining eight pixels as comparison pixels (G1 to G8). can Thereafter, the brightness value assignment unit 40 assigns a brightness value to each pixel of the pixel block formed in the background image (B) and the pixel block formed in the current video image (C) by the block generator 30. That is, the brightness value assigning unit 40 extracts and allocates brightness values in an image to pixels constituting any one pixel block Dn. For example, as shown in FIG. 7 , the brightness value assignment unit 40 assigns the brightness value 5 to the reference pixel S, assigns the brightness value 3 to the first pixel G1, and assigns the brightness value 3 to the second pixel G1. A lightness value of 2 may be assigned to G2). Also, the brightness value of 4 may be allocated to the third pixel G3 and the brightness value of 6 may be allocated to the fourth pixel G4. The fifth pixel G5 is assigned a brightness value of 5, the sixth pixel G6 is assigned a brightness value of 4, the seventh pixel G7 is assigned a brightness value of 2, and the eighth pixel G8 is assigned a brightness value of 2. A lightness value of 3 may be assigned. A brightness value may be assigned to each of the comparison pixels G1 to G8.

바이너리패턴생성부(50)는 도 8에 도시된 바와 같이 기준픽셀의 명도값과 비교픽셀의 명도값의 크기를 비교한다. 이때, 바이너리패턴생성부(50)는 비교픽셀의 명도값이 기준픽셀의 명도값 이하인 경우, 비교픽셀의 영역에 이진수‘0’을 설정한다. 그리고 비교픽셀의 명도값이 기준픽셀의 명도값 보다 큰 경우, 비교픽셀의 영역에 이진수 ‘1’을 설정한다. 아울러, 바이너리패턴생성부(50)는 도 8에 도시된 바와 같이, 비교픽셀에 할당되는 이진수가 동일하게 할당될 수 있도록 8개의 칸으로 구성된 디스크립터(H)를 생성할 수 있다.As shown in FIG. 8 , the binary pattern generation unit 50 compares the size of the brightness value of the reference pixel and the brightness value of the comparison pixel. At this time, the binary pattern generation unit 50 sets the binary number '0' in the area of the comparison pixel when the brightness value of the comparison pixel is less than or equal to the brightness value of the reference pixel. And, if the brightness value of the comparison pixel is greater than the brightness value of the reference pixel, a binary number '1' is set in the area of the comparison pixel. In addition, as shown in FIG. 8 , the binary pattern generating unit 50 may generate a descriptor H composed of 8 columns so that binary numbers allocated to comparison pixels can be equally allocated.

이와 같은, 바이너리패턴생성부(50)는 배경이미지와 현재이미지의 특정 위치에 위치한 픽셀블록에 이진수를 할당할 수 있다.As such, the binary pattern generating unit 50 may allocate binary numbers to pixel blocks located at specific positions in the background image and the current image.

먼저, 도 9 및 도 10을 참조하여, 바이너리패턴생성부가 배경이미지의 첫 번째 위치에 위치한 픽셀블록에 이진수가 할당되는 것에 대해 설명한다.First, with reference to FIGS. 9 and 10 , the allocation of binary numbers to the pixel block located at the first position of the background image by the binary pattern generator will be described.

바이너리패턴생성부(50)는 도 9에 도시된 바와 같이, 배경이미지의 첫번째 위치에 위치한 제1픽셀블록(D11)의 기준픽셀과 비교픽셀 각각에 명도값을 설정할 수 있다. 그리고 8개의 칸으로 구성된 디스크립터(H11)의 각각의 칸에 이진수를 설정할 수 있다. 일례로, 디스크립터(H11)의 가장 왼쪽 칸에는 제1픽셀(G1)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 두 번째 칸에는 제2픽셀(G2)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 세 번째 칸에는 제3픽셀(G3)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 네 번째 칸에는 제4픽셀(G4)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H11)의 다섯 번째 칸에는 제5픽셀(G5)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 여섯 번째 칸에는 제6픽셀(G6)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 일곱 번째 칸에는 제7픽셀(G7)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H11)의 여덟 번째 칸에는 제8픽셀(G8)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다.As shown in FIG. 9 , the binary pattern generator 50 may set a brightness value for each of the reference pixel and comparison pixel of the first pixel block D11 located at the first position of the background image. In addition, a binary number can be set in each column of the descriptor H11 composed of 8 columns. For example, the binary number '0' corresponding to the comparison value between the first pixel G1 and the reference pixel S is set in the leftmost column of the descriptor H11. In the second column of the descriptor H11, a binary number '0' corresponding to the comparison value between the second pixel G2 and the reference pixel S is set. In the third column of the descriptor H11, a binary number '0' corresponding to the comparison value between the third pixel G3 and the reference pixel S is set. In the fourth column of the descriptor H11, the binary number '1' corresponding to the comparison value between the fourth pixel G4 and the reference pixel S is set. In the fifth column of the descriptor H11, a binary number '0' corresponding to the comparison value between the fifth pixel G5 and the reference pixel S is set. In the sixth column of the descriptor H11, a binary number '0' corresponding to the comparison value between the sixth pixel G6 and the reference pixel S is set. In the seventh column of the descriptor H11, a binary number '0' corresponding to the comparison value between the seventh pixel G7 and the reference pixel S is set. In the eighth column of the descriptor H11, a binary number '0' corresponding to the comparison value between the eighth pixel G8 and the reference pixel S is set.

바이너리패턴생성부(50)는 도 10에 도시된 바와 같이, 현재이미지의 제1위치에 위치한 제1픽셀블록(D21)의 기준픽셀과 비교픽셀 각각에 명도값을 설정할 수 있다. 그리고 8개의 칸으로 구성된 디스크립터(H21)의 각각의 칸에 이진수를 설정할 수 있다. 일례로, 디스크립터(H21)의 가장 왼쪽 칸에는 제1픽셀(G1)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H21)의 두 번째 칸에는 제2픽셀(G2)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H21)의 세 번째 칸에는 제3픽셀(G3)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H21)의 네 번째 칸에는 제4픽셀(G4)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H21)의 다섯 번째 칸에는 제5픽셀(G5)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H21)의 여섯 번째 칸에는 제6픽셀(G6)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H21)의 일곱 번째 칸에는 제7픽셀(G7)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H21)의 여덟 번째 칸에는 제8픽셀(G8)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다.As shown in FIG. 10 , the binary pattern generator 50 may set a brightness value for each of the reference pixel and comparison pixel of the first pixel block D21 located at the first position of the current image. In addition, a binary number can be set in each column of the descriptor H21 composed of 8 columns. For example, the binary number '0' corresponding to the comparison value between the first pixel G1 and the reference pixel S is set in the leftmost column of the descriptor H21. In the second column of the descriptor H21, a binary number '0' corresponding to the comparison value between the second pixel G2 and the reference pixel S is set. In the third column of the descriptor H21, a binary number '0' corresponding to the comparison value between the third pixel G3 and the reference pixel S is set. In the fourth column of the descriptor H21, the binary number '1' corresponding to the comparison value between the fourth pixel G4 and the reference pixel S is set. In the fifth column of the descriptor H21, the binary number '1' corresponding to the comparison value between the fifth pixel G5 and the reference pixel S is set. In the sixth column of the descriptor H21, a binary number '0' corresponding to the comparison value between the sixth pixel G6 and the reference pixel S is set. In the seventh column of the descriptor H21, a binary number '0' corresponding to the comparison value between the seventh pixel G7 and the reference pixel S is set. In the eighth column of the descriptor H21, a binary number '0' corresponding to the comparison value between the eighth pixel G8 and the reference pixel S is set.

비교부(60)는 배경이미지(B)에 형성된 제1위치에 위치한 픽셀블록의 비교픽셀에 할당된 이진수 그리고 현재영상이미지(C)에 형성된 제1위치의 픽셀블록의 비교픽셀에 할당된 이진수를 배타적 논리합(XOR: Exclusive or) 연산하여 연산값을 출력한다. 또는 비교부(60)는 도 11에 도시된 바와 같이 배경이미지(B)에 형성된 제1위치에 위치한 픽셀블록을 통해 생성된 배경디스크립터(H11) 그리고 현재영상이미지(C)에 형성된 제1위치에 위치한 픽셀블록을 통해 생성된 현재영상디스크립터(H21)의 동일한 순번의 칸에 설정된 이진수를 배타적 논리합 연산하여 배타적 논리합 연산디스크립터(H31)를 생성한다. 여기서, 제1위치는 배경이미지 및 현재영상이미지에 픽셀블록이 위치할 수 있는 어느 위치를 의미한다. 그러나, 본 발명에 대한 설명이 간결하고 명확해질 수 있도록, 본 명세서 상에서 제1위치는 배경이미지 및 현재영상이미지의 오른쪽 상단에 픽셀블록이 위치하는 위치로 가정한다.The comparator 60 converts the binary number assigned to the comparison pixel of the pixel block located at the first position formed in the background image (B) and the binary number assigned to the comparison pixel of the pixel block located in the first position formed in the current video image (C). Exclusive OR (XOR) operation is performed and the operation value is output. Alternatively, the comparator 60, as shown in FIG. 11, uses the background descriptor H11 generated through the pixel block located at the first position formed in the background image B and the first position formed in the current video image C. An exclusive OR operation descriptor (H31) is generated by performing an exclusive OR operation on binary numbers set in the same sequential cell of the current image descriptor (H21) generated through the located pixel block. Here, the first position means any position where the pixel block can be located in the background image and the current video image. However, in this specification, the first position is assumed to be the position where the pixel block is located at the top right of the background image and the current video image so that the description of the present invention can be concise and clear.

노이즈제거부(70)는 비교부(60)에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 미만이면, 현재영상이미지(C)의 제1위치의 픽셀블록을 배경이미지(B)의 첫 번째 위치에 위치한 픽셀블록으로 마스킹하며 배경이미지의 첫 번째 위치에 위치한 노이즈를 제거한다. 일례로, 노이즈제거부(70)는 도 12에 도시된 바와 같이 배경이미지에 있는 노이즈(E)를 제거할 수 있다.If the number of binary '1's among the calculated values output from the comparator 60 is less than the reference number, the noise removal unit 70 converts the pixel block at the first position of the current video image C into the background image B. It masks with the pixel block located at the first position and removes the noise located at the first position of the background image. For example, the noise removal unit 70 may remove noise E from the background image as shown in FIG. 12 .

이하, 도 13 내지 도 16을 참조하여, 배경이미지의 n번째 위치에 위치한 픽셀블록에 이진수가 할당되며 형성된 배경디스크립터 및 그에 따라 제n픽셀블록이 그대로 출력되는 상태에 대해 설명한다.Hereinafter, with reference to FIGS. 13 to 16, a background descriptor formed by assigning a binary number to a pixel block located at an n-th position of a background image and outputting the n-th pixel block accordingly will be described.

도 13은 배경이미지의 n번째 위치에 위치한 픽셀블록에 이진수가 할당되며 형성된 배경디스크립터를 나타낸 도면이고, 도 14는 현재이미지의 n번째 위치한 픽셀블록에 명도값이 할당되고, 할당된 명도값에 기반하여 이진수가 할당되며 형성된 현재영상디스크립터를 나타낸 도면이고, 도 15는 도 1의 비교부가 도 13에 형성된 배경디스크립터와 도 14에 형성된 현재영상디스크립터를 비교 연산하여 배타적 논리합 연산디스크립터의 생성과정을 나타낸 도면이다. 그리고 도 16은 배타적 논리합 연산디스크립터의 이진수 ‘1’의 개수를 확인하여, ‘1’의 개수가 기준개수 이상이게 되면서, 현재영상디스크립터와 대응되는 제n픽셀블록이 그대로 출력된 도면이다.13 is a diagram showing a background descriptor formed by assigning a binary number to a pixel block located at the n-th position of a background image, and FIG. 14 is a diagram showing a brightness value assigned to a pixel block located at the n-th position of a current image, based on the assigned brightness value. 15 is a diagram showing a current image descriptor formed by assigning binary numbers, and FIG. 15 is a view showing a process of generating an exclusive OR operation descriptor by comparing and calculating the background descriptor formed in FIG. 13 and the current image descriptor formed in FIG. 14 by the comparator of FIG. 1 am. 16 is a view in which the number of binary '1's in the exclusive OR operation descriptor is checked, and the number of '1's is greater than or equal to the reference number, and the n-th pixel block corresponding to the current image descriptor is output as it is.

바이너리패턴생성부(50)는 도 13에 도시된 바와 같이, 배경이미지의 n번째위치에 위치한 제1픽셀블록(D1n)의 기준픽셀과 비교픽셀 각각에 명도값을 설정할 수 있다. 그리고 8개의 칸으로 구성된 디스크립터(H1n)의 각각의 칸에 이진수를 설정할 수 있다. 일례로, 디스크립터(H1n)의 가장 왼쪽 칸에는 제1픽셀(G1)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 두 번째 칸에는 제2픽셀(G2)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 세 번째 칸에는 제3픽셀(G3)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 네 번째 칸에는 제4픽셀(G4)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H1n)의 다섯 번째 칸에는 제5픽셀(G5)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 여섯 번째 칸에는 제6픽셀(G6)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 일곱 번째 칸에는 제7픽셀(G7)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다. 그리고 디스크립터(H1n)의 여덟 번째 칸에는 제8픽셀(G8)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다.As shown in FIG. 13 , the binary pattern generator 50 may set a brightness value for each of the reference pixel and comparison pixel of the first pixel block D1n located at the nth position of the background image. In addition, a binary number can be set in each column of the descriptor H1n composed of 8 columns. For example, the binary number '0' corresponding to the comparison value between the first pixel G1 and the reference pixel S is set in the leftmost column of the descriptor H1n. In the second column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the second pixel G2 and the reference pixel S is set. In the third column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the third pixel G3 and the reference pixel S is set. In the fourth column of the descriptor H1n, a binary number '1' corresponding to the comparison value between the fourth pixel G4 and the reference pixel S is set. In the fifth column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the fifth pixel G5 and the reference pixel S is set. In the sixth column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the sixth pixel G6 and the reference pixel S is set. In the seventh column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the seventh pixel G7 and the reference pixel S is set. In the eighth column of the descriptor H1n, a binary number '0' corresponding to the comparison value between the eighth pixel G8 and the reference pixel S is set.

바이너리패턴생성부(50)는 도 14에 도시된 바와 같이, 현재이미지의 n번째 위치에 위치한 제1픽셀블록(D2n)의 기준픽셀과 비교픽셀 각각에 명도값을 설정할 수 있다. 그리고 8개의 칸으로 구성된 디스크립터(H2n)의 각각의 칸에 이진수를 설정할 수 있다. 일례로, 디스크립터(H2n)의 가장 왼쪽 칸에는 제1픽셀(G1)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 두 번째 칸에는 제2픽셀(G2)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 세 번째 칸에는 제3픽셀(G3)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 네 번째 칸에는 제4픽셀(G4)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 다섯 번째 칸에는 제5픽셀(G5)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 여섯 번째 칸에는 제6픽셀(G6)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 일곱 번째 칸에는 제7픽셀(G7)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘1’이 설정된다. 그리고 디스크립터(H2n)의 여덟 번째 칸에는 제8픽셀(G8)과 기준픽셀(S)간 비교값에 대응되는 이진수 ‘0’이 설정된다.As shown in FIG. 14 , the binary pattern generator 50 may set a brightness value for each of the reference pixel and comparison pixel of the first pixel block D2n located at the nth position of the current image. In addition, a binary number can be set in each column of the descriptor H2n composed of 8 columns. For example, the binary number '1' corresponding to the comparison value between the first pixel G1 and the reference pixel S is set in the leftmost column of the descriptor H2n. In the second column of the descriptor H2n, the binary number '1' corresponding to the comparison value between the second pixel G2 and the reference pixel S is set. In the third column of the descriptor H2n, a binary number '1' corresponding to the comparison value between the third pixel G3 and the reference pixel S is set. In the fourth column of the descriptor H2n, the binary number '1' corresponding to the comparison value between the fourth pixel G4 and the reference pixel S is set. In the fifth column of the descriptor H2n, a binary number '1' corresponding to the comparison value between the fifth pixel G5 and the reference pixel S is set. In the sixth column of the descriptor H2n, a binary number '1' corresponding to the comparison value between the sixth pixel G6 and the reference pixel S is set. In the seventh column of the descriptor H2n, a binary number '1' corresponding to the comparison value between the seventh pixel G7 and the reference pixel S is set. In the eighth column of the descriptor H2n, a binary number '0' corresponding to the comparison value between the eighth pixel G8 and the reference pixel S is set.

비교부(60)는 배경이미지(B)에 형성된 n번째 위치의 픽셀블록의 비교픽셀에 설정된 이진수 그리고 현재영상이미지(C)에 형성된 n번째 위치의 픽셀블록의 비교픽셀에 할당된 이진수를 배타적 논리합(XOR: Exclusive or) 연산하여 연산값을 출력한다. 또는 비교부(60)는 도 15에 도시된 바와 같이 배경이미지(B)에 형성된 n번째 위치에 위치한 픽셀블록을 통해 생성된 배경디스크립터(H1n) 그리고 현재영상이미지(C)에 형성된 n번째 위치에 위치한 픽셀블록을 통해 생성된 현재영상디스크립터(H2n)의 동일한 순번의 칸에 설정된 이진수를 배타적 논리합 연산하여 배타적 논리합 연산디스크립터(H3n)를 생성한다.The comparator 60 performs an exclusive logical OR between the binary number set to the comparison pixel of the pixel block at the nth position formed in the background image (B) and the binary number assigned to the comparison pixel of the pixel block at the nth position formed in the current video image (C). (XOR: Exclusive or) operation is performed and the operation value is output. Alternatively, the comparator 60, as shown in FIG. 15, determines the background descriptor H1n generated through the pixel block located at the nth position formed in the background image B and the nth position formed in the current video image C. An exclusive OR operation descriptor (H3n) is generated by performing an exclusive OR operation on binary numbers set in the same sequential cell of the current image descriptor (H2n) generated through the located pixel block.

노이즈제거부(70)는 비교부(60)에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 이상이면, 현재영상이미지(C)의 제1위치의 픽셀블록의 이미지를 그대로 출력할 수 있다. 일례로, 노이즈제거부(70)는 도 16에 도시된 바와 같이 현재이미지에 있는 객체(F)를 그대로 출력할 수 있다.The noise removal unit 70 may output the image of the pixel block at the first position of the current video image C as it is if the number of binary '1's among the calculated values output from the comparison unit 60 is equal to or greater than the reference number. there is. For example, as shown in FIG. 16, the noise removal unit 70 may output the object F in the current image as it is.

전술한 구성요소들 간 유기적 연계를 통해, 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템(1)은 영상의 빛 번짐 또는 빛 반사의 노이즈를 명확하게 제거하며 후처리 필터링의 효율을 높일 수 있다. 이를 통해, 본 발명은 야간에 촬영된 영상 이미지의 영상처리에 있어 높은 효율을 나타낼 수 있다.Through the organic connection between the above-mentioned components, the noise removal system 1 using a local binary pattern based on brightness calculation can clearly remove noise of light spread or light reflection in an image and increase the efficiency of post-processing filtering. there is. Through this, the present invention can exhibit high efficiency in image processing of video images captured at night.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

1: 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템
10: 배경영상부 20: 현재영상부
30: 블록생성부 40: 명도값할당부
50: 바이너리패턴생성부 60: 비교부
70: 노이즈제거부
A: 카메라
B1: 배경이미지 C: 현재영상이미지
D: 복수 개의 픽셀블록
D11: 기준배경이미지 제1픽셀블록
D1n: 기준배경이미지 제m픽셀블록
D21: 현재영상이미지 제1픽셀블록
D2n: 현재영상이미지 제m픽셀블록
E: 노이즈 F: 객체
G1~G8: 제1픽셀 ~ 제8픽셀
H: 디스크립터
H1: 배경디스크립터 H2: 현재영상디스크립터
H3: 배타적 논리합 연산디스크립터1: Noise removal system using local binary pattern based on lightness calculation
10: background video unit 20: current video unit
30: block generation unit 40: brightness value allocation unit
50: binary pattern generation unit 60: comparison unit
70: noise removal unit
A: Camera
B1: background image C: current video image
D: multiple pixel blocks
D11: reference background image first pixel block
D1n: reference background image mth pixel block
D21: current video image first pixel block
D2n: current video image mth pixel block
E: Noise F: Object
G1 to G8: 1st pixel to 8th pixel
H: descriptor
H1: background descriptor H2: current video descriptor
H3: exclusive OR operation descriptor

Claims (4)

카메라(A)로부터 복호화 과정을 거쳐 생성된 와이유브이(YUV) 영상이미지에 발생한 노이즈를 제거하는 시스템에 있어서,
제1시간에 카메라(A)로부터 복호화 과정을 거쳐 생성된 와이유브이(YUV) 영상이미지의 루마성분(Y성분)이 되는 회색이미지를 일정시간 누적하여 평균이미지로 변환하고 이를 배경이미지(B)로 설정하는 배경영상부(10);
제2시간에 카메라(A)에서 와이유브이(YUV) 영상이미지의 루마성분(Y성분)이 되는 회색이미지를 획득하여 현재영상이미지(C)로 설정하는 현재영상부(20);
배경영상부(10)에서 배경이미지(B)를 획득하고 현재영상부(20)에서 현재영상이미지(C)를 획득하여, 배경이미지(B)와 현재영상이미지(C)에 가로 3개의 픽셀과 세로 3개의 픽셀 구조로 형성된 복수 개의 픽셀블록(D)을 생성하여, 복수 개의 픽셀블록을 배경이미지(B)에 매핑하고, 복수 개의 픽셀블록을 현재영상이미지(C)에 매핑하는 블록생성부(30);
픽셀블록(D)에서 중앙 영역에 형성된 픽셀을 기준픽셀(S)로 설정하고 기준픽셀 이외의 다른 8개의 픽셀을 비교픽셀(G1~G8)로 설정한 후,
픽셀블록이 매핑된 배경이미지(B)에 형성된 각 기준픽셀(S)과 비교픽셀(G1~G8)이 위치한 배경이미지(B)의 명도값을 추출한 후, 기준픽셀(S)과 비교픽셀에 명도값을 할당하고,
픽셀블록이 매핑된 현재영상이미지(C)에 형성된 각 기준픽셀(S)과 비교픽셀(G1~G8)이 위치한 현재영상이미지(C)의 명도값을 추출한 후, 기준픽셀(S)과 비교픽셀에 명도값을 할당하는 명도값할당부(40);
기준픽셀의 명도값과 비교픽셀의 명도값의 크기를 비교해, 비교픽셀의 명도값이 기준픽셀의 명도값 이하인 경우, 비교픽셀의 영역에 이진수‘0’을 설정하고, 비교픽셀의 명도값이 기준픽셀의 명도값 보다 큰 경우, 비교픽셀의 영역에 이진수 ‘1’을 설정하는 바이너리패턴생성부(50);
배경이미지(B)에 형성된 제1위치의 픽셀블록의 비교픽셀에 할당된 이진수와 현재영상이미지(C)에 형성된 제1위치의 픽셀블록의 비교픽셀에 할당된 이진수를 배타적 논리합(XOR: Exclusive or)으로 연산하여 연산값을 출력하는 비교부(60) 및
비교부(60)에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 미만이면, 현재영상이미지(C)의 제1위치의 픽셀블록을 배경이미지(B)의 제1위치의 픽셀블록으로 마스킹하는 노이즈제거부(70)를 포함하는, 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템.In a system for removing noise generated in a YUV video image generated through a decoding process from a camera (A),
At the first time, the gray image that becomes the luma component (Y component) of the YUV video image generated through the decoding process from the camera (A) is accumulated for a certain period of time, converted into an average image, and converted into a background image (B) A background image unit 10 set to;
a current imaging unit 20 that acquires a gray image that becomes a luma component (Y component) of a YUV video image from the camera A at a second time and sets it as the current video image C;
The background image (B) is obtained from the background image unit 10 and the current video image (C) is obtained from the current video unit 20, and the background image (B) and the current video image (C) have three horizontal pixels and A block generator for generating a plurality of pixel blocks (D) formed in a vertical three-pixel structure, mapping the plurality of pixel blocks to the background image (B), and mapping the plurality of pixel blocks to the current video image (C) ( 30);
After setting the pixel formed in the central area of the pixel block (D) as the reference pixel (S) and setting the other 8 pixels other than the reference pixel as comparison pixels (G1 to G8),
After extracting the brightness value of each reference pixel (S) formed in the background image (B) to which the pixel block is mapped and the background image (B) where the comparison pixels (G1 to G8) are located, the brightness value of the reference pixel (S) and the comparison pixel assign a value,
After extracting the brightness value of the current video image (C) where each reference pixel (S) formed in the current video image (C) to which the pixel block is mapped and the comparison pixels (G1 to G8) are located, the reference pixel (S) and the comparison pixel a brightness value assignment unit 40 that assigns a brightness value to;
The size of the brightness value of the reference pixel is compared with the brightness value of the comparison pixel, and if the brightness value of the comparison pixel is less than or equal to the brightness value of the reference pixel, a binary number '0' is set in the area of the comparison pixel, and the brightness value of the comparison pixel is the standard. a binary pattern generation unit 50 that sets a binary number '1' in the area of the comparison pixel when the brightness value of the pixel is greater than that;
Exclusive OR (XOR: Exclusive or ) Comparison unit 60 for outputting an operation value by operation and
If the number of binary '1's among the calculated values output from the comparator 60 is less than the reference number, the pixel block at the first position of the current video image (C) is set as the pixel block at the first position of the background image (B). A noise removal system using a local binary pattern based on lightness calculation, including a noise removal unit 70 for masking. 삭제delete 삭제delete 제1항에 있어서, 노이즈제거부(70)는,
비교부(60)에서 출력된 연산값 가운데 이진수 ‘1’의 개수가 기준개수 이상이면, 현재영상이미지(C)의 제1위치의 픽셀블록의 이미지를 그대로 출력하는, 명도계산에 기반한 로컬 바이러니 패턴을 이용한 노이즈 제거 시스템.The method of claim 1, wherein the noise removal unit 70,
If the number of binary numbers '1' among the calculated values output from the comparator 60 is equal to or greater than the reference number, the image of the pixel block at the first position of the current video image C is output as it is, a local virus based on brightness calculation. Noise cancellation system using patterns.
KR1020220095077A 2022-07-29 2022-07-29 Removing Noise System For Using Local Binary Patterns Based On Value Calculations KR102512091B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220095077A KR102512091B1 (en) 2022-07-29 2022-07-29 Removing Noise System For Using Local Binary Patterns Based On Value Calculations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220095077A KR102512091B1 (en) 2022-07-29 2022-07-29 Removing Noise System For Using Local Binary Patterns Based On Value Calculations

Publications (1)

Publication Number Publication Date
KR102512091B1 true KR102512091B1 (en) 2023-03-20

Family

ID=85796408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220095077A KR102512091B1 (en) 2022-07-29 2022-07-29 Removing Noise System For Using Local Binary Patterns Based On Value Calculations

Country Status (1)

Country Link
KR (1) KR102512091B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791391B1 (en) * 2007-01-30 2008-01-07 삼성전자주식회사 Method and apparatus for noise reduction
KR100843084B1 (en) * 2006-06-22 2008-07-02 삼성전자주식회사 Method and apparatus for noise reduction
JP2009194436A (en) * 2008-02-12 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> Image processing method, image processor, and image processing program
KR101133520B1 (en) * 2011-01-03 2012-04-04 엠텍비젼 주식회사 Color noise reduction method and device
KR102398788B1 (en) 2022-02-21 2022-05-18 주식회사 코코넛랩 System for providing blockchain based realtime monitoring service for high definition video using video compression technology

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843084B1 (en) * 2006-06-22 2008-07-02 삼성전자주식회사 Method and apparatus for noise reduction
KR100791391B1 (en) * 2007-01-30 2008-01-07 삼성전자주식회사 Method and apparatus for noise reduction
JP2009194436A (en) * 2008-02-12 2009-08-27 Nippon Telegr & Teleph Corp <Ntt> Image processing method, image processor, and image processing program
KR101133520B1 (en) * 2011-01-03 2012-04-04 엠텍비젼 주식회사 Color noise reduction method and device
KR102398788B1 (en) 2022-02-21 2022-05-18 주식회사 코코넛랩 System for providing blockchain based realtime monitoring service for high definition video using video compression technology

Similar Documents

Publication Publication Date Title
TWI804478B (en) Method of encoding an image including a privacy mask
CA2615299C (en) Image encoding device, image decoding device, image encoding method, and image decoding method
RU2479148C2 (en) Device for coding of images, device for decoding of images, method for coding of images and method for decoding of images
JP5165083B2 (en) Apparatus and method for adaptive offset of video coding
EP1987666A2 (en) Adaptive image filter for filtering image information
KR102314703B1 (en) Joint dictionary generation method for image processing, interlace based high dynamic range imaging apparatus using the joint dictionary and image processing method of the same
KR20130019423A (en) Apparatus and method of adaptive offset restoration for video coding
KR100916104B1 (en) Luma adaptation for digital image processing
JP2009005232A (en) Image processor, image processing method, program and image pick-up device
KR20110029001A (en) Image porcessing method and apparatus in the bayer image
US6795126B1 (en) Method and system for adaptive three-dimensional color television Y/C separation comb filter design
CN112543330B (en) Encoding method, system and storage medium for fuzzy privacy masking
KR102512091B1 (en) Removing Noise System For Using Local Binary Patterns Based On Value Calculations
CA3109667A1 (en) Image processing noise reduction
JP5021735B2 (en) Video processing apparatus, method, and recording medium
CN108156461A (en) A kind of Bayer method for compressing image and device
CN101043631A (en) Systems and methods for video data conversion
US9936123B2 (en) Camera and method with widescreen image on nearly-square aspect ratio photosensor array
US11785352B2 (en) Image encoding apparatus, method for controlling the same, and non-transitory computer-readable storage medium
WO2012119920A1 (en) Monitoring device and method for monitoring a location
CN114511469B (en) Intelligent image noise reduction prior detection method
JPS61158274A (en) Noise eliminating circuit for video signal
KR100477657B1 (en) Method for improvement of digital image quality
Gutiérrez et al. Color Reconstruction and Resolution Enhancement Using Super-Resolution
US20080013856A1 (en) Method for obtaining high snr image

Legal Events

Date Code Title Description
GRNT Written decision to grant