KR100485593B1 - A method for processing consecutive image input and a system thereof - Google Patents

A method for processing consecutive image input and a system thereof Download PDF

Info

Publication number
KR100485593B1
KR100485593B1 KR1020040063317A KR20040063317A KR100485593B1 KR 100485593 B1 KR100485593 B1 KR 100485593B1 KR 1020040063317 A KR1020040063317 A KR 1020040063317A KR 20040063317 A KR20040063317 A KR 20040063317A KR 100485593 B1 KR100485593 B1 KR 100485593B1
Authority
KR
South Korea
Prior art keywords
image data
image
pixel
noise
filter
Prior art date
Application number
KR1020040063317A
Other languages
Korean (ko)
Inventor
이성원
마이크비백
백준기
장지훈
Original Assignee
(주) 넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 넥스트칩 filed Critical (주) 넥스트칩
Priority to KR1020040063317A priority Critical patent/KR100485593B1/en
Application granted granted Critical
Publication of KR100485593B1 publication Critical patent/KR100485593B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

A method for processing images inputted continuously to frames and a system for the same are provided to remove effectively the noise in the photographed image and to output a clear image without damage of detail. A segmentation filter(201) divides an image into a segment constructed by a predetermined number of pixels and classifies each segment into a low or a high brightness region by using brightness of image data included to each segment. The first filter(202) removes the impulse noise from the image data included to one or more segment classified by the low brightness region. A motion detector(203) senses the motion pixel among the image data. The second filter(204) senses the false color noise among the image data on the basis of the sensed motion pixel and removes the sensed false color noise from the image data.

Description

프레임 별로 연속적으로 입력되는 이미지에 대한 이미지 처리 방법 및 시스템{A METHOD FOR PROCESSING CONSECUTIVE IMAGE INPUT AND A SYSTEM THEREOF}Image processing method and system for continuous input image by frame {A METHOD FOR PROCESSING CONSECUTIVE IMAGE INPUT AND A SYSTEM THEREOF}

본 발명은 프레임 별로 연속적으로 입력되는 이미지에 대한 이미지 처리 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 어두운 환경에서 촬영된 이미지에 포함된 노이즈도 효과적으로 제거할 수 있는 이미지 프로세싱 방법 및 그 시스템에 관한 것이다.The present invention relates to an image processing method and system for an image that is continuously input by frame, and more particularly, to an image processing method and system that can effectively remove noise included in an image photographed in a dark environment. will be.

오늘날 영상 기술의 발전으로 고성능 카메라, 디지털 카메라, CCTV, 비디오 캡쳐 시스템 등 다양한 이미지를 촬영, 저장 가능한 영상 매체들이 개발되고 있다. Today, with the development of video technology, video media capable of capturing and storing various images such as high performance cameras, digital cameras, CCTVs, and video capture systems are being developed.

이러한 영상 촬영 매체 들의 가장 중요한 문제는 촬영된 피사체에 관한 이미지 영상의 정확한 복원에 있다고 할 수 있다. 특히 이미지에 부가될 수 있는 노이즈는 이미지의 질을 저하시킬 뿐 아니라 압축 효율을 저하시키는 문제점이 있다. The most important problem of such image capturing media is the accurate reconstruction of the image image of the photographed subject. In particular, noise that may be added to an image not only degrades the quality of the image but also reduces the compression efficiency.

따라서 노이즈를 빠르고 정확하게 제거하는 것은 이미지 영상의 복원에 가장 중요한 문제이다.Therefore, removing noise quickly and accurately is the most important problem for restoring the image image.

그런데, 야간에 조명이 없는 빌딩 내부에 CCTV가 설치된 경우와 같이, 빛이 적은 어두운 환경에서 이미지를 촬영하는 경우에는 빛이 충분한 환경에서 촬영하는 경우에 비해 노이즈가 많이 포함되어 있고, 디테일이 정확하게 표현되지 않는 등 질 좋은 이미지를 얻기 어렵다는 문제가 있었다. However, when shooting an image in a dark environment with low light, such as when a CCTV is installed inside a building where there is no lighting at night, it contains more noise and accurately expresses details than when shooting in an environment with sufficient light. There was a problem that it is difficult to get a good image.

또한, 어두운 환경에서 촬영된 이미지로부터 종래기술에 따라 노이즈를 제거하려고 하면, 이미지 자체의 디테일이나 엣지가 손상되어 이미지의 선명도가 떨어져 흐릿한 느낌의 이미지가 출력된다는 문제가 있었다. In addition, when the noise is to be removed from the image photographed in a dark environment according to the prior art, there is a problem that the detail or the edge of the image itself is damaged and the sharpness of the image is reduced, resulting in a blurred image.

따라서, 어두운 환경에서 촬영된 이미지에서 노이즈를 제거하고 선명한 이미지를 획득할 필요가 있다. Therefore, it is necessary to remove noise from an image photographed in a dark environment and to obtain a clear image.

본 발명은 빛이 충분하지 않은 환경에서 촬영되어 노이즈 등이 많이 포함된 이미지에 대해서도, 상기 이미지로부터 노이즈를 효과적으로 제거하면서도 디테일을 손상시키지 않음으로써 선명한 이미지를 출력할 수 있는 이미지 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. The present invention provides an image processing method and a system capable of outputting a clear image by effectively removing noise from the image while not damaging detail, even for an image that is taken in an environment in which light is not sufficient and contains a lot of noise. It aims to provide.

또한, 본 발명은 이미지를 고명도 영역의 이미지 데이터와 저명도 영역의 이미지 데이터로 구분하여 노이즈가 많이 발생하는 저명도 영역의 이미지만을 처리함으로써 계산량을 감소시켜 이미지 처리 효율을 향상시킬 수 있는 이미지 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. Also, the present invention divides an image into image data of a high brightness region and image data of a low brightness region to process only an image of a low brightness region that generates a lot of noise, thereby reducing the amount of computation and improving image processing efficiency. It is an object to provide a method and a system thereof.

또한, 본 발명은 공간적 필터링(spatial filtering), 모션 디텍팅, 시간적 필터링(temporal filtering) 순서에 따라 이미지를 처리함으로써, 시간적 필터링에 의해 발생되는 주변 픽셀로의 스미어링 현상이 모션 디텍팅에 영향을 미치지 않도록 하여 보다 정확한 모션 디텍팅이 수행될 수 있는 이미지 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. In addition, the present invention processes the image according to the order of spatial filtering, motion detection, and temporal filtering, so that smearing to surrounding pixels generated by temporal filtering affects motion detection. It is an object of the present invention to provide an image processing method and a system in which more accurate motion detection can be performed.

또한, 본 발명은 상기와 같은 정확한 모션 디텍팅 결과에 기반하여 보다 효과적인 시간적 필터링을 수행할 수 있는 이미지 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide an image processing method and system that can perform more effective temporal filtering based on the accurate motion detection result as described above.

또한, 본 발명은 공간적 필터링을 수행하는 과정에서 임펄시브 노이즈 또는 푸아송 노이즈를 효과적으로 제거하면서도 엣지 또는 디테일을 보존할 수 있는 이미지 처리 방법 및 그 시스템을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide an image processing method and system capable of preserving edges or details while effectively removing impulsive noise or Poisson noise in the course of performing spatial filtering.

또한, 본 발명은 프레임 별로 스레스홀드를 동적으로 결정함으로써, 모션 디텍팅 결과 모션 픽셀로 오인된 폴스 모션 픽셀을 효과적으로 제거하고, 스무딩 현상을 감소시킬 수 있는 이미지 처리 방법 및 그 시스템을 제공한다. In addition, the present invention provides an image processing method and system capable of effectively removing a false motion pixel mistaken as a motion pixel as a result of motion detection and reducing a smoothing phenomenon by dynamically determining a threshold for each frame.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 프레임 별로 연속적으로 입력되는 이미지에 대한 이미지 처리 방법에 있어서, 상기 이미지를 소정 개수의 픽셀로 구성된 세그멘트로 분할하는 단계; 상기 각 세그멘트에 포함되는 이미지 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역 또는 고명도 영역으로 구분하는 제1 단계; 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터로부터 임펄시브 노이즈(impulsive noise)를 제거하는 제2 단계; 상기 이미지 데이터 중에서 모션 픽셀(motion fixel)을 감지하는 제3 단계; 상기 감지된 모션 픽셀에 기초하여 상기 이미지 데이터 중에서 폴스 컬러 노이즈(false color noise)를 감지하는 제4 단계; 및 상기 이미지 데이터로부터 상기 감지된 폴스 컬러 노이즈를 제거하는 제5 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object and to solve the problems of the prior art, the present invention provides an image processing method for an image that is continuously input for each frame, comprising: dividing the image into segments consisting of a predetermined number of pixels; A first step of dividing each segment into a low brightness region or a high brightness region by using brightness of image data included in each segment; A second step of removing impulsive noise from image data included in one or more segments divided into low brightness regions; Detecting a motion fixel among the image data; Detecting false color noise among the image data based on the detected motion pixel; And a fifth step of removing the sensed false color noise from the image data.

또한 본 발명에 의한 프레임 별로 연속적으로 입력되는 이미지 처리 시스템은 상기 이미지를 소정 개수의 픽셀로 구성된 세그멘트로 분할하고 상기 각 세그멘트에 포함되는 이미지 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역 또는 고명도 영역으로 구분하는 세그멘테이션 필터; 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터로부터 임펄시브 노이즈(impulsive noise)를 제거하는 제1 필터; 상기 이미지 데이터 중에서 모션 픽셀(motion fixel)을 감지하는 모션 디텍터; 및 상기 감지된 모션 픽셀에 기초하여 상기 이미지 데이터 중에서 폴스 컬러 노이즈(false color noise)를 감지하고, 상기 이미지 데이터로부터 상기 감지된 폴스 컬러 노이즈를 제거하는 제2필터를 포함하는 것을 특징으로 한다.In addition, the image processing system continuously input for each frame according to the present invention divides the image into segments composed of a predetermined number of pixels, and each segment is divided into a low brightness region or a high brightness by using the brightness of the image data included in each segment. Segmentation filters divided into regions; A first filter for removing impulsive noise from image data included in one or more segments divided into low brightness regions; A motion detector for detecting a motion fixel among the image data; And a second filter configured to detect false color noise among the image data based on the detected motion pixel and to remove the detected false color noise from the image data.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention;

본 발명은 "어두운 환경(low light environment)"에서 촬영된 이미지로부터 디테일(detail) 및 엣지(edge)를 손상시키지 않으면서도 효과적으로 노이즈를 제거하기 위해 사용될 수 있기 때문에, 이하에서는 어두운 환경에서 촬영된 이미지를 처리하는 과정에 대해 주로 설명한다. 다만 이는 예시적인 것에 불과하며, 본 발명은 어두운 환경은 물론 빛이 충분한 환경 등 어떠한 환경에서 촬영된 이미지에 대해서도 모두 적용될 수 있는 것은 당연하다. Since the present invention can be used to effectively remove noise without damaging details and edges from an image taken in a "low light environment," the image taken in a dark environment will be described below. It mainly describes the process of processing. However, this is merely exemplary, and the present invention may be applied to all images taken in any environment such as a dark environment as well as an environment having sufficient light.

또한, 도 1은 본 발명에 따른 이미지 처리 시스템이 프리필터(prefilter)로 사용되는 경우를 예시한 도면이다. 카메라(101)로 촬영된 이미지는 캡쳐 모듈(102)에서 캡쳐되고, 이미지 처리 시스템(103)은 상기 이미지가 비디오 인코더에 의해 디지털화 또는 압축 등 인코딩되기 전에 질 좋은 이미지를 획득하고 압축 효율을 높이기 위해 상기 이미지에서 노이즈를 제거하는 등 전처리를 수행한다. 1 is a diagram illustrating a case where the image processing system according to the present invention is used as a prefilter. The image captured by the camera 101 is captured by the capture module 102, and the image processing system 103 acquires a high quality image and improves compression efficiency before the image is encoded by the video encoder, such as digitization or compression. Preprocessing is performed such as removing noise from the image.

비디오 인코더(104)에서 인코딩된 이미지는 시스템의 저장 공간에 저장될 수도 있고, 또는 네트워크를 통하여 원거리의 시스템으로 전송될 수도 있다. 상기 저장 공간에 저장된 이미지, 상기 원거리의 시스템으로 전송된 이미지, 또는 상기 원거리의 시스템으로 전송되어 저장된 이미지는 비디오 디코더(105)에서 디코딩 되어 소정의 디스플레이 수단(106)에서 디스플레이 될 수 있다. 한편, 도 1은 본 발명에 따른 이미지 처리 시스템(103)이 프리필터로 사용된 경우를 도시하고 있으나 이는 예시적인 것에 불과하며, 본 발명은 촬영 장치로부터 촬영된 이미지로부터 노이즈를 효과적으로 제거하면서도 선명도를 높일 수 있는 이미지를 얻기 위해 폭넓게 사용될 수 있다. The image encoded by video encoder 104 may be stored in a storage space of the system, or may be transmitted to a remote system via a network. An image stored in the storage space, an image transmitted to the remote system, or an image transmitted and stored to the remote system may be decoded by the video decoder 105 and displayed on a predetermined display means 106. Meanwhile, FIG. 1 illustrates a case in which the image processing system 103 according to the present invention is used as a prefilter, but this is merely an example, and the present invention effectively removes noise from an image captured by a photographing apparatus and improves sharpness. It can be widely used to obtain an image that can be enhanced.

이하, 도 2를 참조하여 본 발명의 일실시예에 따른 이미지 처리 시스템(103, 200)의 동작에 대해 보다 구체적으로 설명한다. 도 2는 본 실시예에 따른 이미지 처리 시스템(200)을 도시한 블록도이다. Hereinafter, an operation of the image processing system 103 or 200 according to an embodiment of the present invention will be described in more detail with reference to FIG. 2. 2 is a block diagram showing an image processing system 200 according to the present embodiment.

이미지 처리 시스템(200)은 세그멘테이션 필터(201), 제1 필터(202), 모션 디텍터(203), 및 제2 필터(204)을 포함한다. The image processing system 200 includes a segmentation filter 201, a first filter 202, a motion detector 203, and a second filter 204.

세그멘테이션 필터(201)는 프레임 별로 순차적으로 입력된 이미지를 소정 개수의 픽셀로 구성된 세그멘트로 분할하고 상기 각 세그멘트에 포함되는 이미지 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역(low light region) 또는 고명도 영역(high light region)으로 구분한다. 명도를 결정하기 위해 각 픽셀의 contrast, brightness, 또는 focus measure 값이 사용될 수 있다. The segmentation filter 201 divides an image sequentially inputted for each frame into segments composed of a predetermined number of pixels, and divides each segment into a low light region or a high level using brightness of image data included in each segment. It is divided into a high light region. Contrast, brightness, or focus measure values of each pixel may be used to determine brightness.

제1 필터(202)는 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터로부터 임펄시브 노이즈(impulsive noise)를 제거한다. 본 명세서에서는 "저명도 영역으로 구분된 세그멘트를 포함하는 영역의 이미지 데이터"는 간략하게 "이미지 데이터"로 표현하는 경우도 있으며, 또한 저명도 영역 또는 고명도 영역에 각각 속하는 이미지 데이터와 명확하게 구분하기 위해 저명도 영역 및 고명도 영역을 모두 포함하는 영역의 이미지, 즉 이미지 처리 시스템(200)으로 입력되는 이미지는 "전체 이미지"로 표현하기도 한다. 따라서, 이미지 데이터는 전체 이미지의 일부 또는 전부일 수 있다. The first filter 202 removes impulsive noise from image data included in one or more segments divided into low brightness regions. In the present specification, "image data of an area including segments divided into low-lightness areas" may be briefly expressed as "image data", and also clearly distinguished from image data belonging to a low-brightness area or a high-brightness area, respectively. For example, an image of an area including both a low brightness area and a high brightness area, that is, an image input to the image processing system 200 may be expressed as a “full image”. Thus, the image data may be part or all of the entire image.

모션 디텍터(203)는 상기 이미지 데이터 중에서 모션 픽셀(motion fixel)을 감지한다.The motion detector 203 detects a motion fixel among the image data.

제2 필터(204)는 폴스 컬러 노이즈를 감지하고, 상기 이미지 데이터로부터 상기 감지된 폴스 컬러 노이즈를 제거한다. The second filter 204 senses false color noise and removes the sensed false color noise from the image data.

이하, 도 3을 참조하여 도 2에 도시한 바와 같은 이미지 처리 시스템(200)의 각 구성 요소의 동작을 보다 구체적으로 설명한다. Hereinafter, the operation of each component of the image processing system 200 as shown in FIG. 2 will be described in more detail with reference to FIG. 3.

세그멘테이션 필터(201)는 프레임 별로 순차적으로 이미지가 입력되면 상기 전체 이미지를 소정 개수의 픽셀로 구성된 세그멘트(segment)로 분할한다(S301). When the image is sequentially input for each frame, the segmentation filter 201 divides the entire image into segments composed of a predetermined number of pixels (S301).

예를 들면, 카메라(101)로부터 촬영된 이미지는 15[frame/sec]라는 프레임 레이트로 이미지 처리 시스템(200)으로 입력될 수 있다. For example, an image captured from the camera 101 may be input to the image processing system 200 at a frame rate of 15 [frame / sec].

세크멘테이션 필터(201)가 상기 전체 이미지를 어떤 크기를 갖는 세그멘트로 구분하는지 여부는 처리 효율 및 정확도를 고려하여 선택될 수 있으며, 예를 들면 4 픽셀×4 픽셀의 크기를 갖는 세그멘트들로 구분할 수 있다.Whether the segmentation filter 201 divides the entire image into segments having a size may be selected in consideration of processing efficiency and accuracy, and may be divided into segments having a size of 4 pixels × 4 pixels, for example. Can be.

세그멘테이션 필터(201)는 각 세그멘트에 포함된 이미지 데이터의 명도를 인식하여 명도가 임계값을 초과하면 고명도 영역(high light region)으로, 명도가 임계값 이하이면 저명도 영역(low light region)으로 구분한다(S302). Segmentation filter 201 recognizes the brightness of the image data included in each segment, the high light region when the brightness exceeds the threshold, and low light region when the brightness is below the threshold (S302).

도 4는 세그멘테이션 필터(201)에 의해 고명도 영역과 저명도 영역으로 구분된 전체 이미지를 도시한 도면이다. 도면 부호(401)은 전체 이미지를, 도면부호(402)는 고명도 영역과 저명도 영역으로 구분된 이미지를 나타내며, 도면부호(402)에서는 하얀 부분이 저명도 영역, 검은 부분이 고명도 영역으로, 반전되어 있다. 4 is a diagram illustrating an entire image divided into a high brightness region and a low brightness region by the segmentation filter 201. Reference numeral 401 denotes an entire image, and reference numeral 402 denotes an image divided into a high brightness region and a low brightness region. In reference numeral 402, a white portion is a low brightness region and a black portion is a high brightness region. , Is reversed.

이 때 이미지 처리 시스템(200)은 고명도 영역으로 구분된 세그멘트에 포함된 이미지 데이터에 대해서는 이미지 프로세싱을 생략하고 저명도 영역으로 구분된 세그멘트에 포함된 이미지 데이터에 대해서만 노이즈 제거 등 이미지 프로세싱을 수행하여 전체 이미지 프로세싱의 계산 효율을 높일 수 있다. 즉, 본 발명에 따르면, 이미지 처리 시스템(200)이 처리해야 되는 이미지 영역이 감소하기 때문에 계산에 소모되는 시간을 감소시키면서도, 노이즈가 많은 영역인 어두운 영역의 이미지 데이터만을 처리하여 노이즈가 충분히 제거되는 것을 보장할 수도 있다. 특히, 본 실시예에 따르면, 고명도 영역에 대해서는 이미지 프로세싱을 생략함으로써 노이즈 필터의 적용으로 인해 질 좋은 고명도 영역의 이미지가 오히려 흐려지는 현상 등이 발생하는 것을 방지할 수 있다.At this time, the image processing system 200 skips image processing on image data included in segments divided into high brightness areas, and performs image processing such as noise reduction only on image data included in segments divided into low brightness areas. The computational efficiency of the overall image processing can be improved. That is, according to the present invention, since the image area to be processed by the image processing system 200 is reduced, the noise is sufficiently removed by processing only image data of a dark area which is a noisy area while reducing the time required for calculation. You can also ensure that. In particular, according to the present exemplary embodiment, the image processing of the high-brightness region can be prevented from being blurred due to the application of the noise filter by omitting image processing for the high-brightness region.

제1 필터(202)는 세그멘테이션 필터(201)에서 저명도 영역으로 구분된 세그멘트에 포함된 이미지 데이터를 하나 이상의 단위 영역으로 구분하고, 각 단위 영역 내에 임펄시브 노이즈를 포함하는 픽셀, 즉 임펄시브 노이즈가 발생한 픽셀(corrupted pixel)이 존재하는지를 감지한다(S303). 본 명세서에서는 임펄시브 노이즈가 발생한 픽셀을 "제1 픽셀"이라고 칭한다. The first filter 202 divides the image data included in the segment divided into the low brightness region in the segmentation filter 201 into one or more unit regions, and includes pixels including impulsive noise in each unit region, that is, impulsive noise. It is detected whether there is a corroded pixel (S303). In the present specification, a pixel in which impulsive noise occurs is referred to as a "first pixel".

도 5는 임펄시브 노이즈 또는 후술하는 바와 같은 푸아송 노이즈를 도시한 도면이다. 도 5의 (a)의 도면부호(501)은 임펄시브 노이즈가 발생한 제1 픽셀을 나타낸다. 또한, 도 5의 (b)는 제1 픽셀(501)을 포함하는 라인에 속하는 픽셀들의 각 픽셀값을 도시한 도면이다. 도면부호(502)는 제1 픽셀에서의 픽셀값이 비정상적으로 큰 값을 갖는 것, 즉 임펄시브 노이즈가 발생했음을 나타낸다. 5 is a diagram showing impulsive noise or Poisson noise as described later. Reference numeral 501 in FIG. 5A denotes a first pixel in which impulsive noise is generated. 5B illustrates each pixel value of pixels belonging to a line including the first pixel 501. Reference numeral 502 indicates that the pixel value at the first pixel has an abnormally large value, that is, impulsive noise has occurred.

제1 필터(202)는 제1 픽셀을 감지하기 위해, 단위 영역에서의 중앙 픽셀과 상기 중앙 픽셀의 주변 픽셀 사이의 유사도를 측정하여 상기 중앙 픽셀이 제1 픽셀인지 여부를 감지한다. 이때, 유사도를 판단하기 위해 수학식 1과 같은 스레스홀드가 사용될 수 있다. In order to detect the first pixel, the first filter 202 measures whether or not the center pixel is the first pixel by measuring a similarity between the center pixel in the unit region and the peripheral pixel of the center pixel. In this case, a threshold such as Equation 1 may be used to determine the similarity.

상기 는 임펄시브 노이즈를 포함하는 픽셀을 감지하기 위한 최소 스레스홀드이고, 상기 은 상기 단위 영역에 포함되는 각 픽셀들의 평균값이다. 제1 필터(202)는 소정의 픽셀이 상기 단위 영역에 대해 수학식 1에 의해 산출된 스레스홀드값보다 높은 값을 가지면 제1 픽셀로 판단하고, 스레스홀드보다 낮은 값을 가지면 임펄스 노이즈가 발생하지 않은 픽셀로 판단한다.remind Is the minimum threshold for sensing pixels that contain impulsive noise, and Is an average value of each pixel included in the unit area. The first filter 202 determines that the predetermined pixel is the first pixel when the predetermined pixel has a higher value than the threshold value calculated by Equation 1, and when the predetermined pixel has a lower value than the threshold, impulse noise is determined. It is judged that the pixel which did not occur.

제1 필터(202)는 픽셀이 제1 픽셀로 감지되면 제1 픽셀에 수학식 2와 같은 미디언 필터(median filter)를 적용하여 제1 픽셀의 값을 미디언 값으로 대체함으로써 임펄시브 노이즈를 제거한다. When the pixel is detected as the first pixel, the first filter 202 applies a median filter, such as Equation 2, to the first pixel to replace the value of the first pixel with the median value, thereby eliminating impulsive noise. Remove

수학식 2에서 W는 단위 영역을 의미하고, (i, j)는 단위 영역 내에서의 각 픽셀의 좌표를 의미한다. Y는 제1 픽셀의 변경된 값을 의미하며, 즉 임펄시브 노이즈가 제거되었다. In Equation 2, W denotes a unit region, and (i, j) denotes coordinates of each pixel in the unit region. Y means the changed value of the first pixel, that is, the impulsive noise has been removed.

그런데, 임펄시브 노이즈가 발생한 픽셀의 주변 픽셀에는 푸아송 노이즈(Poisson noise)가 발생하는 경우가 많다. 도 5의 (a)의 도면부호(503)은 푸아송 노이즈가 발생한 픽셀들을 표시하고 있다. 도 5의 (b)에서 도면부호(504)로 나타내는 바와 같이, 푸아송 노이즈는 가우시안 분포의 꼬리(tail) 부분에 위치한 값과 유사한 분포로 발생한다. However, Poisson noise is often generated in the peripheral pixels of the pixel in which the impulsive noise occurs. Reference numeral 503 in FIG. 5A denotes pixels in which Poisson noise has been generated. As shown by reference numeral 504 in FIG. 5B, Poisson noise occurs with a distribution similar to the value located at the tail portion of the Gaussian distribution.

푸아송 노이즈를 제거하는 방법 중 하나는 푸아송 노이즈 분포를 민(mean)과 베리언스(variance)를 갖는 가우시안 분포(Gaussian distribution)에 근사한 후 제거하는 방법일 수 있다. One method of removing Poisson noise may be a method of approximating a Poisson noise distribution to a Gaussian distribution having a mean and a variation, and then removing the Poisson noise.

따라서 제1 필터(202)는 이러한 푸아송 노이즈를 제거하기 위해 제1 픽셀에 인접한 제2 픽셀들에 민-베리언스 필터(mean-variance filter)를 적용하여 임펄시브 노이즈를 포함한 픽셀을 중심으로 주변 픽셀(LND, Local Neighborhood)들의 값을 교정한다(S305). 예를 들면, 제1 픽셀을 중심으로 3픽셀 x 3픽셀 크기를 갖는 영역 내의 주변 픽셀, 즉 8개의 픽셀에 대해 민-베리언스 필터를 적용할 수 있다. Therefore, the first filter 202 applies a mean-variance filter to the second pixels adjacent to the first pixel to remove such Poisson noise, thereby surrounding the pixels including the impulsive noise. The values of the pixels LND are corrected (S305). For example, the Min-Vance filter may be applied to peripheral pixels, that is, eight pixels, within an area having a size of 3 pixels by 3 pixels about the first pixel.

수학식 3은 본 발명에 따른 민-베리언스 필터를 나타낸다. Equation 3 shows a Min-Vance filter according to the present invention.

는 제1 픽셀의 좌표인 의 인접한 소정의 크기의 영역의 제2 픽셀들의 분산(variance)과 평균(mean)을 나타낸다. Wow Is the coordinate of the first pixel Represents the variance and mean of the second pixels of a region of a predetermined predetermined size of.

변화가 없는 소정 크기의 영역에서 으로 산출되고, 따라서 수학식 3은 다음과 같이 나타낼 수 있다.In an area of a certain size without change Is calculated, and Equation 3 can be expressed as follows.

수학식 4는 주변 픽셀의 픽셀값이 그 영역에서의 평균값에 근접하게 되고, 푸아송 노이즈는 효과적으로 평균되었다(즉, 제거되었다)는 사실을 의미한다. Equation 4 means that the pixel value of the surrounding pixel is close to the average value in that region, and Poisson noise is effectively averaged (ie, removed).

반대로 이미지 데이터에서 에지 또는 디테일이 있는 영역에서는 평균값인 가 큰 값을 갖게 되기 때문에, 수학식 3은 아래와 같이 근사화될 수 있다.Conversely, in the area with edges or details in the image data, Since E has a large value, Equation 3 can be approximated as follows.

수학식 5에서 알 수 있는 바와 같이, 엣지 또는 디테일이 포함된 영역, 즉 변화가 많은 영역에서는 제2 픽셀값이 그대로 유지되므로, 에지나 디테일이 보존된다. As can be seen from Equation 5, the edge or detail is preserved because the second pixel value is maintained in the region including the edge or the detail, that is, the region with much change.

상기와 같은 구성에 의해, 제1 필터(202)는 임펄시브 노이즈가 포함된 제1 픽셀에 미디안 필터를 적용하여 임펄시브 노이즈를 제거하고, 상기 제1 픽셀의 주변 픽셀인 제2 픽셀들에 민-베리언스 필터를 적용하여 푸아송 노이즈를 제거한다. According to the above configuration, the first filter 202 removes the impulsive noise by applying a median filter to the first pixel including the impulsive noise, and pushes the second pixel which is the peripheral pixel of the first pixel. -Apply a variance filter to remove Poisson noise.

제1 필터(202)는 제1 픽셀이 감지되는 경우에만 제1 픽셀 주변의 제2 픽셀에 민-배리언스 필터를 적용하기 때문에, 결과적으로 본 발명에 따르면 임펄시브 노이즈를 제거하기 위한 미디안 필터와 푸아송 노이즈를 제거하기 위한 민-베리언스 필터는 함께 동작하고 있다. Since the first filter 202 applies the min-variance filter to the second pixel around the first pixel only when the first pixel is detected, consequently the median filter for removing impulsive noise according to the present invention. Min-Verence filters work together to remove the Poisson noise.

특히, 본 발명에 따른 민-베리언스 필터는 엣지 또는 디테일이 없는 영역 내에서만 제1 픽셀 주변의 제2 픽셀을 민값으로 대체한다는 점에서 엣지 또는 디테일을 보존할 수 있게 된다. In particular, the min-variance filter according to the present invention can preserve edges or details in that it replaces the second pixel around the first pixel with a min value only in an area without edges or details.

모션 디텍터(203)는 프레임 단위로 연속적으로 입력되는 상기 이미지 데이터를 프레임 별로 비교하여 모션 픽셀을 감지한다(S306). 본 명세서에서는 임의의 프레임에 대응하는 이미지 데이터를 "제1 이미지 데이터"라고 하면, 상기 프레임 직후 입력된 프레임에 대응하는 이미지 데이터를 "제2 이미지 데이터"로 결정한다.The motion detector 203 senses a motion pixel by comparing the image data continuously input in units of frames for each frame (S306). In the present specification, when image data corresponding to an arbitrary frame is referred to as "first image data", the image data corresponding to a frame input immediately after the frame is determined as "second image data".

모션 픽셀을 감지하는 단계(S306)는 이미지 데이터 내의 폴스 컬러 노이즈를 제거하기 전에 수행된다. 폴스 컬러 노이즈를 제거하기 위한 필터링은 모션 블러(motion blur) 현상을 발생시킬 수 있기 때문에, 폴스 컬러 노이즈는 모션 픽셀이 존재하지 않는 정적인 영역에만 적용되는 것이 바람직하다. Detecting the motion pixel (S306) is performed before removing the false color noise in the image data. Since filtering to remove false color noise may cause motion blur, it is preferable that false color noise be applied only to a static region in which no motion pixel exists.

폴스 컬러 노이즈의 경우 임펄시브 노이즈나 가우시안 노이즈와 달리 한 프레임의 이미지에서 해당 픽셀 또는 주변 픽셀의 픽셀값을 비교하는 방식으로는 감지하기 어렵기 때문에, 시간 순서대로 각 프레임을 비교하여 감지할 수밖에 없다. 따라서, 시간 순서대로, 즉 연속적인 프레임을 서로 비교하기 위해 현재 프레임의 이전 프레임은 소정의 메모리 수단에 어느 기간 이상은 저장되어 있어야 한다. In the case of false color noise, unlike impulsive noise or Gaussian noise, it is difficult to detect by comparing the pixel values of the corresponding pixel or neighboring pixels in an image of one frame. . Therefore, the previous frame of the current frame must be stored in a predetermined memory means for a certain period or more in order of time, that is, to compare successive frames with each other.

따라서, 연속적으로 입력된 이미지 상에서 서로 대응하는 픽셀의 픽셀값이 변경되는 경우, 이는 정상적인 모션 픽셀 또는 바람직하지 않은 폴스 컬러 노이즈라고 볼 수 있으며, 일단 모션 픽셀을 감지해 내면 나머지는 폴스 컬러 노이즈로 취급할 수 있다. Therefore, when the pixel values of pixels corresponding to each other in a continuously input image change, it can be regarded as a normal motion pixel or undesirable false color noise, and once a motion pixel is detected, the rest is treated as false color noise. can do.

모션 디텍터(203)는 연속적으로 입력된 프레임에서 소정의 단위 영역 별로 서로 대응하는 픽셀들을 비교함으로써 모션 픽셀을 감지할 수 있다(S307). 모션 디텍팅을 위한 단위 영역은 상술한, 임펄시브 노이즈 또는 푸아송 노이즈를 제거하기 위해 사용한 단위 영역과 그 크기가 서로 상이하게 설정될 수도 있다. 또한, 모션 디텍터(203)는 이전 프레임의 이미지와 현재 프레임의 이미지를 비교하기 때문에, 이전 프레임에 해당하는 이미지를 일시적이라도 저장하고 있어야 한다. The motion detector 203 may detect a motion pixel by comparing pixels corresponding to each other in a predetermined unit region in a continuously input frame (S307). The unit area for motion detecting may be set differently from the unit area used to remove the impulsive noise or the Poisson noise as described above. In addition, since the motion detector 203 compares the image of the previous frame with the image of the current frame, the motion detector 203 should temporarily store the image corresponding to the previous frame.

본 실시예에 따른 모션 디텍터(203)는 수학식 6에 도시한 바와 같은 스레스홀드값을 이용하여 연속적인 서로 상이한 프레임 상에서 동일 단위 영역 내의 픽셀들을 비교할 수 있다. The motion detector 203 according to the present exemplary embodiment may compare pixels in the same unit area on successive different frames by using the threshold value as shown in Equation (6).

SAD(sum absolute difference)는 모션 디텍팅을 위해 임의의 단위 영역(블록(m, n)) 별로 결정되는 스레스홀드를 나타낸다. x(k,l,t-1)은 이전 프레임에서의 픽셀의 픽셀값을, x(k,l,t) 는 현재 프레임에서의 상기 픽셀에 대응하는 픽셀의 픽셀값을 나타낸다. 또한, A mn 은 상기 프레임의 이미지 데이터가 속하는 단위 영역을 나타낸다. 따라서, 수학식 6에 따르면, 좌표 (k,l)을 갖는 픽셀들은 상기 단위 영역 내에 포함된다. The sum absolute difference ( SAD ) represents a threshold determined for each unit region (blocks (m, n)) for motion detection. x ( k, l, t- 1) represents the pixel value of the pixel in the previous frame, and x ( k, l, t ) represents the pixel value of the pixel corresponding to the pixel in the current frame. In addition, A mn represents a unit region to which the image data of the frame belongs. Therefore, according to equation (6 ) , pixels having coordinates (k, l) are included in the unit area.

상기와 같이 시간 흐름에 따라, 즉 연속적인 프레임 사이에서 그 픽셀값이 변동되는 픽셀 중에서 일단 모션 픽셀인 픽셀이 결정되면, 제2 필터(204)는 모션 픽셀이 포함되어 있지 않은 정적인 영역에 대해 시간적 필터링(temporal filtering)을 적용하여 폴스 컬러 노이즈를 제거할 수 있다. As described above, once a pixel that is a motion pixel is determined among pixels whose pixel value is changed between successive frames, the second filter 204 may be configured for a static region that does not include motion pixels. Temporal filtering can be applied to remove false color noise.

그런데, 도 6에 도시한 바와 같이, 모션 디텍터(203)는 폴스 컬러 노이즈가 발생한 픽셀을 모션 픽셀로 오판단하는 경우가 발생할 수도 있다. 본 명세서에서는 이와 같이 폴스 컬러 노이즈가 발생한 픽셀로서 모션 픽셀로 잘못 판단된 픽셀을 "폴스 모션 픽셀(false motion pixel)"이라고 칭한다. However, as shown in FIG. 6, the motion detector 203 may misjudge a pixel in which false color noise has occurred as a motion pixel. In this specification, a pixel falsely determined as a motion pixel as a pixel having false color noise is referred to as a "false motion pixel".

도 6의 (a) 및 (b)는 서로 연속적인 프레임 상에서 서로 대응하는 영역을 나타낸다. 연속적으로 도 6의 (a)와 (b)를 인식한 모션 디텍터(203)는 도면부호(601) 및 도면부호(602)로 나타낸 픽셀은 폴스 컬러 노이즈가 발생한 픽셀임에도 모션이 발생한 픽셀이라고 잘못 판단할 수 있다. 6 (a) and 6 (b) show regions corresponding to each other on consecutive frames. The motion detector 203 continuously recognizing (a) and (b) of FIG. 6 incorrectly determines that the pixels indicated by the reference numeral 601 and the reference numeral 602 are pixels in which the motion occurs even though the pixels with false color noise have occurred. can do.

연속된 프레임의 이미지에서 폴스 컬러 픽셀(폴스 모션 픽셀을 포함함)은 모션 픽셀에서 분리되어 제거되어야 한다. 종래 기술과 같이 시간적 필터로서 로 패스 필터(low pass filter)를 사용하면 스무딩(smoothing)이 지나쳐 디테일을 제대로 표현하지 못하는 문제가 발생할 수 있고, 또한 로 패스 필터는 폴스 컬러 노이즈로 판단되지 않은 폴스 모션 픽셀을, 정상적인 모션 픽셀과 구별하지 못해 폴스 모션 픽셀을 제거할 수 없다는 문제가 있다. In an image of successive frames, the false color pixels (including the false motion pixels) must be removed separately from the motion pixels. When using a low pass filter as a temporal filter as in the prior art, a problem may occur in which smoothing is excessive and details are not properly represented. Also, a low pass filter may be a false motion that is not judged as false color noise. There is a problem that a false motion pixel cannot be removed because the pixel cannot be distinguished from a normal motion pixel.

본 실시예에 따른 제2 필터(204)는 이하와 같이 프레임 별로 스레스홀드를 동적으로 결정함으로써, 폴스 모션 픽셀을 포함한 폴스 컬러 픽셀을 교정하고 어두운 영역에서의 에지, 디테일 등의 이미지 특징을 보존한다. The second filter 204 according to the present embodiment dynamically determines thresholds on a frame-by-frame basis to correct false color pixels including false motion pixels and preserve image characteristics such as edges and details in dark areas. do.

이하, 제2 필터(204)가 폴스 컬러 노이즈를 제거하는 구성을 구체적으로 설명한다. 설명의 편의를 위해 소정의 프레임에 대응하는 "제1 이미지 데이터"와 상기 프레임 직후 입력된 프레임에 대응하는 이미지 데이터를 "제2 이미지 데이터"라고 한다. Hereinafter, a configuration in which the second filter 204 removes false color noise will be described in detail. For convenience of description, "first image data" corresponding to a predetermined frame and image data corresponding to a frame input immediately after the frame are referred to as "second image data".

제2 필터(204)는 상기 제1 이미지 데이터를 그레이 스케일로 변환하여 제1 그레이 스케일 이미지 데이터를 생성하고, 상기 제2 이미지 데이터를 그레이 스케일로 변환하여 제2 그레이 스케일 이미지 데이터를 생성한다.The second filter 204 converts the first image data to gray scale to generate first gray scale image data, and converts the second image data to gray scale to generate second gray scale image data.

제2 필터(204)는 상기 제1 그레이 스케일 이미지 데이터의 각 픽셀값의 평균값인 전체 평균값을 산출한다. 또한, 제2 필터(204)는 제1 그레이 스케일 이미지 데이터 중 상기 단위 영역에 속하는 각 픽셀들의 픽셀값의 평균값인 단위 영역 평균값을 단위 영역 별로 산출한다. 폴스 컬러 노이즈를 제거하기 위해 사용되는 단위 영역의 크기는 상술한, 임펄시브 노이즈 또는 푸아송 노이즈를 제거하기 위해 사용한 단위 영역, 또는 모션 디텍팅을 위해 사용한 단위 영역과 그 크기가 서로 상이하게 설정될 수 있다.The second filter 204 calculates an overall average value that is an average value of each pixel value of the first gray scale image data. In addition, the second filter 204 calculates, for each unit area, a unit area average value, which is an average value of pixel values of pixels belonging to the unit area, among the first gray scale image data. The size of the unit area used to remove the false color noise may be set differently from the unit area used to remove the impulsive noise or the Poisson noise, or the unit area used for the motion detection. Can be.

제2 필터(204)는 상기 단위 영역 평균값이 전체 평균값을 초과하는 경우, 상기 제1 그레이 스케일 이미지 데이터 및 상기 제2 그레이 스케일 이미지 데이터에 각각 대응하는 픽셀 중에서, 즉 그 좌표가 동일한 픽셀 중에서 그레이 스케일값이 큰 픽셀을 선택한다. The second filter 204 may include a gray scale among pixels corresponding to the first gray scale image data and the second gray scale image data, that is, pixels whose coordinates are the same when the unit area average value exceeds an overall average value. Select pixels with large values.

제2 필터(204)는 상기 단위 영역 평균값이 상기 전체 평균값 이하인 경우, 상기 제1 그레이 스케일 이미지 데이터 및 상기 제2 그레이 스케일 이미지 데이터에 각각 대응하는 픽셀 중에서, 즉 그 좌표가 동일한 픽셀 중에서 그레이 스케일 값이 작은 픽셀을 선택한다. When the unit area average value is equal to or less than the overall average value, the second filter 204 may include a gray scale value among pixels corresponding to the first gray scale image data and the second gray scale image data, that is, a pixel having the same coordinates. Select this small pixel.

제2 필터(204)는 상기 제1 이미지 데이터의 해당 픽셀, 즉 현재 프레임에서의 픽셀을 상기 선택된 픽셀로 대체한다.The second filter 204 replaces the corresponding pixel of the first image data, that is, the pixel in the current frame with the selected pixel.

상기와 같은 과정은 수학식 7과 같이 표현될 수 있다. The above process may be expressed as Equation 7.

x(k,j,t) 와 y(k,j,t) 는 제1 이미지 데이터와 제2 이미지 데이터에서 그 좌표가 대응하는 픽셀의 그레이 스케일 값을 나타낸다. 단위 영역 평균값 는 전체 평균값을 나타낸다. 제2 필터(204)는 단위 영역 평균값과 전체 평균값을 프레임 별로 각각 산출하여 x(k,j,t)과, x(i,j,t-1)중에서 큰 값을 선택할지 작은 값을 선택할지 여부를 결정하고, 이러한 구성을 "스레스홀드를 프레임 별로 동적으로 산출한다"고 표현했다. x ( k, j, t ) and y ( k, j, t ) represent gray scale values of pixels whose coordinates correspond to in the first image data and the second image data. Unit Area Average Represents the total mean value. The second filter 204 calculates the unit area average value and the overall average value for each frame, and selects a larger value or a smaller value from x ( k, j, t ) and x ( i, j, t- 1). This configuration is expressed as "dynamically calculating the threshold frame by frame."

이와 같은 방법으로 제2 필터(204)는 폴스 컬러 노이즈를 체크하고(S308), 폴스 컬러 노이즈를 제거(S309)하게 된다. 또한, 제2 필터(204)는 프레임 별로 스레스홀드를 산출함으로써, 종래기술에 의해서는 감지되지 않았던 폴스 모션 픽셀도 효과적으로 감지, 제거할 수 있다. In this manner, the second filter 204 checks the fall color noise (S308), and removes the fall color noise (S309). In addition, the second filter 204 calculates a threshold for each frame, thereby effectively detecting and removing false motion pixels that have not been detected by the prior art.

도 7은 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터에 있어서, 상기 이미지 데이터로부터 임펄시브 노이즈, 푸아송 노이즈, 폴스 컬러 노이즈를 제거하는 과정을 개략적으로 도시한 도면이다. FIG. 7 is a diagram schematically illustrating a process of removing impulsive noise, Poisson noise, and false color noise from image data included in one or more segments divided into low brightness regions.

도 7을 참조하면, 제1 필터에 의해 임펄스 노이즈 및 푸아송 노이즈가 제거되고, 모션 디텍터에 의해 모션 픽셀로 오인된 폴스 모션 픽셀은 동적 스레스홀드를 이용한 제2 필터에 의해 제거된다. 또한, 본 실시예에 따른 제1 필터 및 제2 필터는 상술한 바와 같이 각각 디테일 및 엣지를 보존하면서 노이즈를 제거하도록 설계되어 있어, 결과적으로 본 실시예에 따른 이미지 처리 시스템(200)을 이용하면, 빛이 충분하지 않은 환경에서 촬영된 이미지로부터 노이즈가 없으면서도 선명한 이미지를 출력할 수 있게 된다. Referring to FIG. 7, impulse noise and Poisson noise are removed by the first filter, and false motion pixels mistaken as motion pixels by the motion detector are removed by the second filter using dynamic threshold. In addition, the first filter and the second filter according to the present embodiment are designed to remove noise while preserving detail and edge, respectively, as described above. As a result, when the image processing system 200 according to the present embodiment is used, Therefore, it is possible to output a clear image without noise from an image captured in an environment where there is not enough light.

도 8은 본 발명에 따른 이미지 처리 방법 및 시스템의 이미지 처리 결과를 종래 기술의 이미지 처리 결과와 비교한 도면이다. 상술한 바와 같이 본 실시예에 따르면, 카메라로부터 입력된 이미지에 제1 필터(공간적 필터의 기능 수행)가 적용된 후, 제2 필터(시간적 필터의 기능을 함)가 적용되기 전 모션 디텍팅이 수행되는 처리 순서를 갖는다. 8 is a view comparing the image processing result of the image processing method and system according to the present invention with the image processing result of the prior art. As described above, according to the present embodiment, the motion detection is performed after the first filter (functioning as a spatial filter) is applied to the image input from the camera and before the second filter (functioning as a temporal filter) is applied. Has a processing sequence.

도 8을 참조하면, 카메라로부터 입력된 이미지(801)를 상기와 같은 처리 순서에 의해 처리한 결과 이미지(804)가, 종래기술에 따라 시공간적 필터(Spatio-Temporal filter)를 적용하고 모션 디텍션을 수행하여 처리된 결과 이미지(802)나, 또 다른 종래 기술에 따라 모션 디텍션을 적용하고 시공간적 필터를 적용한 결과 이미지(803)보다 효과적으로 노이즈가 제거됨과 동시에 저명도 영역에서 이미지 특징들이 잘 부각되었음을 알 수 있다. Referring to FIG. 8, as a result of processing the image 801 input from the camera by the above processing sequence, the image 804 applies a spatial-temporal filter and performs motion detection according to the prior art. As a result of applying the motion detection and the spatio-temporal filter according to another conventional technique, the noise is removed more effectively than the image 803, and the image features are well highlighted in the low-light region. .

상술한 바와 같이, 본 발명은 공간적 필터의 기능을 수행하는 제1 필터를 먼저 이미지에 적용하고, 시간적 필터의 기능을 수행하는 제2 필터를 이미지에 적용하기 전에 모션 디텍팅을 먼저 수행하는 방식을 택함으로써, 제2 필터의 적용 결과 발생할 수 있는, 폴스 컬러 노이즈가 발생된 픽셀의 주변 픽셀에 대한 스미어링(smearing) 현상이 모션 디텍팅에 영향을 주지 않도록 하고 있다. 따라서, 모션 디텍터가 보다 정확한 모션 디텍팅을 수행할 수 있게 되고, 결과적으로 전체적으로 질 좋은 이미지를 출력할 수 있게 된다. As described above, the present invention provides a method of first applying a first filter that performs a function of a spatial filter to an image, and first performing motion detection before applying a second filter that performs a function of a temporal filter to an image. By doing so, the smearing phenomenon on the surrounding pixels of the pixel where the false color noise is generated, which may occur as a result of the application of the second filter, is prevented from affecting the motion detection. Therefore, the motion detector can perform more accurate motion detection, and as a result, it is possible to output a quality image as a whole.

도 9는 본 발명의 일실시예에 따른 이미지 처리 방법 및 시스템의 이미지 처리 결과 이미지 파일의 압축 비율과 PSNR과의 관계를 종래 기술에 의한 이미지 처리 결과와 비교한 도면이다. 본 실시예에 따른 이미지 처리 시스템은 종래기술에 비해 노이즈는 제거되고 디테일이 보존된 선명한 이미지를 출력하기 때문에 비디오 인코더(104)에서 상기 이미지를 압축하는 경우에도 압축 효율이 향상되게 된다. 9 is a view comparing the relationship between the compression ratio of the image processing result image file and the PSNR of the image processing method and system according to an embodiment of the present invention with the image processing result according to the prior art. Since the image processing system according to the present exemplary embodiment outputs a clear image in which noise is removed and details are preserved, compared to the prior art, the compression efficiency is improved even when the image encoder 104 compresses the image.

도 9를 참조하면, 본 발명의 일실시예에 의한 이미지 처리방법 및 시스템에 의해 처리된 이미지 파일이 압축 비율과 PSNR 비(902)의 측면에서 종래 기술에 의해 처리된 이미지 파일(901)보다 효율적임일 알 수 있다. 9, an image file processed by an image processing method and system according to an embodiment of the present invention is more efficient than an image file 901 processed according to the prior art in terms of compression ratio and PSNR ratio 902. Im knowing.

또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention also include computer-readable media containing program instructions for performing various computer-implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium or program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

도 10는 본 발명에 따른 이미지 처리 방법 및 시스템를 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.10 is an internal block diagram of a general purpose computer system that may be employed to construct an image processing method and system in accordance with the present invention.

컴퓨터 시스템(1000)은 램(RAM: Random Access Memory)(1002)과 롬(ROM: Read Only Memory)(1003)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(1001)를 포함한다. 프로세서(1001)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(1003)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전달하는 역할을 하며, 램(1002)은 통상적으로 데이터와 명령을 양방향성으로 전달하는 데 사용된다. 램(1002) 및 롬(1003)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(1004)는 양방향성으로 프로세서(1001)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(1004)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드디스크와 같은 보조기억장치이다. CD 롬(1006)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(1001)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(1005)와 연결된다. 마지막으로, 프로세서(1001)는 네트워크 인터페이스(1007)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.Computer system 1000 includes one or more processors 1001 connected to a main memory including random access memory (RAM) 1002 and read only memory (ROM) 1003. The processor 1001 is also called a central processing unit (CPU). As is well known in the art, the ROM 1003 serves to transfer data and instructions to the CPU unidirectionally, and the RAM 1002 typically transfers data and instructions bidirectionally. Used to. RAM 1002 and ROM 1003 may include any suitable form of computer readable media. Mass storage 1004 is bidirectionally coupled to processor 1001 to provide additional data storage capability and may be any of the computer readable recording media described above. The mass storage device 1004 is used to store programs, data, and the like, and is a secondary memory device such as a hard disk which is generally slower than the main memory device. Certain mass storage devices, such as CD ROM 1006, may also be used. The processor 1001 may include one or more input / output interfaces such as video monitors, trackballs, mice, keyboards, microphones, touchscreen displays, card readers, magnetic or paper tape readers, voice or handwriting readers, joysticks, or other known computer input / output devices. Connected to 1005. Finally, the processor 1001 may be connected to a wired or wireless communication network through the network interface 1007. Through this network connection, the procedure of the method described above can be performed. The apparatus and tools described above are well known to those skilled in the computer hardware and software arts.

상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.

본 발명에 따르면, 이미지를 고명도 영역의 이미지 데이터와 저명도 영역의 이미지 데이터로 구분하여 노이즈가 많이 발생하는 저명도 영역의 이미지만을 처리함으로써 계산량을 감소시켜 이미지 처리 효율을 향상시킬 수 있는 이미지 처리 방법 및 그 시스템이 제공된다. According to the present invention, the image is divided into image data of a high brightness region and image data of a low brightness region to process only an image of a low brightness region in which noise is generated, thereby reducing the amount of computation and improving image processing efficiency. Methods and systems thereof are provided.

또한, 본 발명에 따르면, 공간적 필터링, 모션 디텍팅, 시간적 필터링 순서에 따라 이미지를 처리함으로써, 시간적 필터링에 의해 발생되는 주변 픽셀로의 스미어링 현상이 모션 디텍팅에 영향을 미치지 않도록 하여 보다 정확한 모션 디텍팅이 수행되도록 한다. 따라서, 본 발명에 따르면, 정확한 모션 디텍팅 결과에 기반하여 보다 효율적인 시간적 필터링을 수행할 수 있게 되어, 이미지 처리 결과 노이즈가 효과적으로 제거되고 선명한 이미지를 제공할 수 있게 된다. In addition, according to the present invention, by processing the image according to the spatial filtering, motion detecting, temporal filtering order, so that the smearing phenomenon to the surrounding pixels generated by the temporal filtering does not affect the motion detection more accurate motion Allow detection to be performed. Therefore, according to the present invention, it is possible to perform more efficient temporal filtering based on the accurate motion detection result, thereby effectively removing noise and providing a clear image as a result of the image processing.

또한, 본 발명에 따르면, 공간적 필터링을 수행하는 과정에서 임펄시브 노이즈 또는 푸아송 노이즈를 효과적으로 제거하면서도 엣지 또는 디테일을 보존할 수 있는 이미지 처리 방법 및 그 시스템이 제공된다. In addition, according to the present invention, there is provided an image processing method and system capable of preserving edges or details while effectively removing impulsive noise or Poisson noise in the course of performing spatial filtering.

또한, 본 발명에 따르면, 프레임 별로 스레스홀드를 동적으로 결정함으로써, 모션 디텍팅 결과 모션 픽셀로 오인된 폴스 모션 픽셀을 효과적으로 제거하고, 스무딩 현상을 감소시킬 수 있는 이미지 처리 방법 및 그 시스템이 제공된다. In addition, according to the present invention, by dynamically determining the threshold for each frame, an image processing method and system which can effectively remove false motion pixels mistaken as motion pixels as a result of motion detection and reduce smoothing phenomenon are provided. do.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.

도 1은 본 발명에 따른 이미지 처리 시스템이 프리필터(prefilter)로 사용되는 경우를 예시한 도면이다.1 is a diagram illustrating a case where an image processing system according to the present invention is used as a prefilter.

도 2는 본 발명의 일실시예에 따른 이미지 처리 시스템을 도시한 블록도이다.2 is a block diagram illustrating an image processing system according to an exemplary embodiment of the present invention.

도 3은 본 발명의 또 다른 일실시예에 따른 이미지 처리 방법을 도시한 흐름도이다.3 is a flowchart illustrating an image processing method according to another exemplary embodiment of the present invention.

도 4는 본 발명의 일실시예에 있어서, 세그멘테이션 필터에 의해 고명도 영역과 저명도 영역으로 구분된 전체 이미지를 예시적으로 도시한 도면이다.4 is a diagram exemplarily illustrating an entire image divided into a high brightness region and a low brightness region by a segmentation filter according to an embodiment of the present invention.

도 5는 임펄시브 노이즈 및 푸아송 노이즈를 설명하기 위한 도면이다. 5 is a diagram for explaining impulsive noise and Poisson noise.

도 6은 폴스 모션 픽셀을 설명하기 위한 도면이다. 6 is a view for explaining a false motion pixel.

도 7은 본 발명의 일실시예에 있어서, 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터에 있어서, 상기 이미지 데이터로부터 임펄시브 노이즈, 푸아송 노이즈, 폴스 컬러 노이즈를 제거하는 과정을 개략적으로 도시한 도면이다. FIG. 7 schematically illustrates a process of removing impulsive noise, Poisson noise, and false color noise from image data included in one or more segments divided into low brightness regions according to an embodiment of the present invention. It is a figure shown.

도 8은 본 발명에 따른 이미지 처리 방법 및 시스템의 이미지 처리 결과를 종래 기술의 이미지 처리 결과와 비교한 도면이다.8 is a view comparing the image processing result of the image processing method and system according to the present invention with the image processing result of the prior art.

도 9는 본 발명의 일실시예에 따른 이미지 처리 방법 및 시스템의 이미지 처리 결과 이미지 파일의 압축 비율과 PSNR과의 관계를 종래 기술에 의한 이미지 처리 결과와 비교한 도면이다. 9 is a view comparing the relationship between the compression ratio of the image processing result image file and the PSNR of the image processing method and system according to an embodiment of the present invention with the image processing result according to the prior art.

도 10는 본 발명에 따른 이미지 처리 방법 및 시스템을 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.10 is an internal block diagram of a general purpose computer system that may be employed to construct an image processing method and system in accordance with the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

201: 세그멘테이션 필터201: segmentation filter

202: 제1 필터202: first filter

203: 모션 디텍터203: motion detector

204: 제2 필터204: second filter

Claims (8)

프레임 별로 연속적으로 입력되는 이미지에 대한 이미지 처리 방법에 있어서, In the image processing method for an image continuously input for each frame, 상기 이미지를 소정 개수의 픽셀로 구성된 세그멘트로 분할하는 단계; Dividing the image into segments consisting of a predetermined number of pixels; 상기 각 세그멘트에 포함되는 이미지 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역 또는 고명도 영역으로 구분하는 제1 단계; A first step of dividing each segment into a low brightness region or a high brightness region by using brightness of image data included in each segment; 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터로부터 임펄시브 노이즈(impulsive noise)를 제거하는 제2 단계; A second step of removing impulsive noise from image data included in one or more segments divided into low brightness regions; 상기 이미지 데이터 중에서 모션 픽셀(motion fixel)을 감지하는 제3 단계; Detecting a motion fixel among the image data; 상기 감지된 모션 픽셀에 기초하여 상기 이미지 데이터 중에서 폴스 컬러 노이즈(false color noise)를 감지하는 제4 단계; 및Detecting false color noise among the image data based on the detected motion pixel; And 상기 이미지 데이터로부터 상기 감지된 폴스 컬러 노이즈를 제거하는 제5 단계A fifth step of removing the detected false color noise from the image data 를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법. Image processing method comprising a. 제1항에 있어서, The method of claim 1, 고명도 영역으로 구분된 세그멘트에 포함된 이미지 데이터에 대해서는 상기 제2 단계 내지 제5 단계를 수행하지 않는 것을 특징으로 하는 이미지 프로세싱 방법. And the second to fifth steps are not performed on the image data included in the segment divided into the high brightness region. 제1항에 있어서, The method of claim 1, 상기 제2 단계는, The second step, 상기 이미지 데이터를 소정이 단위 영역으로 구분하는 단계; Dividing the image data into predetermined unit areas; 스레스홀드를 이용하여 상기 단위 영역 내에 임펄시브 노이즈를 포함하는 제1 픽셀이 존재하는지 감지하는 단계; 및Detecting whether a first pixel including impulsive noise exists in the unit region by using a threshold; And 상기 제1 픽셀에 미디언 필터(median filter)를 적용하는 단계Applying a median filter to the first pixel 를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법. Image processing method comprising a. 제3항에 있어서,The method of claim 3, 상기 스레스홀드는, The threshold is, 으로 결정되고, Determined by 상기 는 임펄시브 노이즈를 포함하는 픽셀을 감지하기 위한 최소값이고,remind Is the minimum value for detecting pixels that contain impulsive noise, 상기 은 상기 단위 영역에 포함되는 각 픽셀의 평균값인 것을 특징으로 하는 이미지 프로세싱 방법. remind Is an average value of each pixel included in the unit region. 제4항에 있어서,In paragraph 4, 상기 제1 픽셀에 인접한 제2 픽셀에 대해 민-베리언스 필터(mean-variance filter)를 적용하는 단계Applying a mean-variance filter to a second pixel adjacent to the first pixel 를 더 포함하는 것을 특징으로 하는 이미지 프로세싱 방법. The image processing method further comprises. 제1항에 있어서,The method of claim 1, 상기 제5 단계는, The fifth step, 소정의 프레임에 대응하는 제1 이미지 데이터와 상기 프레임 직후 입력된 프레임에 대응하는 이미지 데이터를 제2 이미지 데이터로 결정하는 단계;Determining first image data corresponding to a predetermined frame and image data corresponding to a frame input immediately after the frame as second image data; 상기 제1 이미지 데이터를 그레이 스케일로 변환하여 제1 그레이 스케일 이미지 데이터를 생성하는 단계;Converting the first image data to gray scale to generate first gray scale image data; 상기 제2 이미지 데이터를 그레이 스케일로 변환하여 제2 그레이 스케일 이미지 데이터를 생성하는 단계; Converting the second image data to gray scale to generate second gray scale image data; 상기 제1 그레이 스케일 이미지 데이터의 전체 평균값을 산출하는 단계; Calculating an overall mean value of the first gray scale image data; 단위 영역 별로 상기 제1 그레이 스케일 이미지 데이터의 단위 영역 평균값을 산출하는 단계;Calculating a unit area average value of the first gray scale image data for each unit area; 상기 단위 영역 평균값이 상기 전체 평균값을 초과하는 경우, 상기 제1 그레이 스케일 이미지 데이터 및 상기 제2 그레이 스케일 이미지 데이터에 각각 대응하는 픽셀 중에서 그레이 스케일 값이 큰 픽셀을 선택하는 단계;Selecting a pixel having a large gray scale value from pixels corresponding to the first gray scale image data and the second gray scale image data when the unit area average value exceeds the total average value; 상기 단위 영역 평균값이 상기 전체 평균값 이하인 경우, 상기 제1 그레이 스케일 이미지 데이터 및 상기 제2 그레이 스케일 이미지 데이터에 각각 대응하는 픽셀 중에서 그레이 스케일 값이 작은 픽셀을 선택하는 단계; Selecting a pixel having a small gray scale value among pixels corresponding to the first gray scale image data and the second gray scale image data when the unit area average value is less than or equal to the overall average value; 상기 제1 이미지 데이터의 픽셀을 상기 선택된 픽셀로 대체하는 단계Replacing a pixel of the first image data with the selected pixel 를 포함하는 것을 특징으로 하는 이미지 처리 방법. Image processing method comprising a. 제1항 내지 제6항 중 어느 하나의 항에 따른 방법을 컴퓨터에서 구현하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for implementing the method according to any one of claims 1 to 6 in a computer. 프레임 별로 연속적으로 입력되는 이미지에 대한 이미지 처리 시스템에 있어서,In the image processing system for the image that is continuously input by frame, 상기 이미지를 소정 개수의 픽셀로 구성된 세그멘트로 분할하고 상기 각 세그멘트에 포함되는 이미지 데이터의 명도를 이용하여 각 세그멘트를 저명도 영역 또는 고명도 영역으로 구분하는 세그멘테이션 필터;A segmentation filter dividing the image into segments composed of a predetermined number of pixels and dividing each segment into a low brightness region or a high brightness region by using brightness of image data included in each segment; 저명도 영역으로 구분된 하나 이상의 세그멘트에 포함되는 이미지 데이터로부터 임펄시브 노이즈(impulse noise)를 제거하는 제1 필터; A first filter for removing impulse noise from image data included in one or more segments divided into low brightness regions; 상기 이미지 데이터 중에서 모션 픽셀(motion fixel)을 감지하는 모션 디텍터; 및 A motion detector for detecting a motion fixel among the image data; And 상기 감지된 모션 픽셀에 기초하여 상기 이미지 데이터 중에서 폴스 컬러 노이즈(false color noise)를 감지하고, 상기 이미지 데이터로부터 상기 감지된 폴스 컬러 노이즈를 제거하는 제2필터A second filter configured to detect false color noise among the image data based on the detected motion pixel and to remove the detected false color noise from the image data 를 포함하는 것을 특징으로 하는 이미지 프로세싱 시스템. Image processing system comprising a.
KR1020040063317A 2004-08-11 2004-08-11 A method for processing consecutive image input and a system thereof KR100485593B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040063317A KR100485593B1 (en) 2004-08-11 2004-08-11 A method for processing consecutive image input and a system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040063317A KR100485593B1 (en) 2004-08-11 2004-08-11 A method for processing consecutive image input and a system thereof

Publications (1)

Publication Number Publication Date
KR100485593B1 true KR100485593B1 (en) 2005-04-27

Family

ID=37302347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040063317A KR100485593B1 (en) 2004-08-11 2004-08-11 A method for processing consecutive image input and a system thereof

Country Status (1)

Country Link
KR (1) KR100485593B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050671A (en) * 2014-10-30 2016-05-11 한화테크윈 주식회사 Apparatus and method detecting motion mask
CN114187195A (en) * 2021-11-29 2022-03-15 中国航天空气动力技术研究院 2D (two-dimensional) forward-looking sonar image denoising method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050671A (en) * 2014-10-30 2016-05-11 한화테크윈 주식회사 Apparatus and method detecting motion mask
KR102289261B1 (en) * 2014-10-30 2021-08-12 한화테크윈 주식회사 Apparatus and method detecting motion mask
KR20210103440A (en) * 2014-10-30 2021-08-23 한화테크윈 주식회사 Apparatus and method detecting motion mask
KR102428127B1 (en) * 2014-10-30 2022-08-02 한화테크윈 주식회사 Apparatus and method detecting motion mask
CN114187195A (en) * 2021-11-29 2022-03-15 中国航天空气动力技术研究院 2D (two-dimensional) forward-looking sonar image denoising method

Similar Documents

Publication Publication Date Title
KR100485594B1 (en) A method for removing noise in image and a system thereof
KR100721543B1 (en) A method for removing noise in image using statistical information and a system thereof
US20200005468A1 (en) Method and system of event-driven object segmentation for image processing
US8254677B2 (en) Detection apparatus, detection method, and computer program
US7460689B1 (en) System and method of detecting, recognizing, and tracking moving targets
US8582915B2 (en) Image enhancement for challenging lighting conditions
US20200099944A1 (en) Real-time adaptive video denoiser with moving object detection
CN110287791B (en) Screening method and system for face pictures
JP5478047B2 (en) Video data compression pre-processing method, video data compression method and video data compression system using the same
US20080232711A1 (en) Two Stage Detection for Photographic Eye Artifacts
JPH0944670A (en) Method and device for extracting specified image area
CN109284673B (en) Object tracking method and device, electronic equipment and storage medium
CN113034384A (en) Video processing method, video processing device, electronic equipment and storage medium
WO2018233637A1 (en) Video processing method and apparatus, electronic device, and storage medium
US11301974B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
US20230127009A1 (en) Joint objects image signal processing in temporal domain
JP5640622B2 (en) Method for classifying red-eye object candidates, computer-readable medium, and image processing apparatus
US8442348B2 (en) Image noise reduction for digital images using Gaussian blurring
US20190385283A1 (en) Image pre-processing for object recognition
KR100485593B1 (en) A method for processing consecutive image input and a system thereof
CN111062272A (en) Image processing and pedestrian identification method and device based on color recovery and readable storage medium
JPWO2020095644A1 (en) Deformity detection device, deformation detection method, and program
JP2005070985A (en) Image processor, method and program
JPH10302171A (en) Monitoring picture recording device
TWI476735B (en) Abnormal classification detection method for a video camera and a monitering host with video image abnormal detection

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130418

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140418

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150420

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170418

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190418

Year of fee payment: 15