WO2015088106A1 - 영상 노이즈 제거 방법 및 시스템 - Google Patents

영상 노이즈 제거 방법 및 시스템 Download PDF

Info

Publication number
WO2015088106A1
WO2015088106A1 PCT/KR2014/002813 KR2014002813W WO2015088106A1 WO 2015088106 A1 WO2015088106 A1 WO 2015088106A1 KR 2014002813 W KR2014002813 W KR 2014002813W WO 2015088106 A1 WO2015088106 A1 WO 2015088106A1
Authority
WO
WIPO (PCT)
Prior art keywords
color channel
filtering
image
channel
noise
Prior art date
Application number
PCT/KR2014/002813
Other languages
English (en)
French (fr)
Inventor
오재윤
이준성
김곤수
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of WO2015088106A1 publication Critical patent/WO2015088106A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the present invention relates to a method and a system for removing image noise, and more particularly, to a method and a system capable of removing noise by analyzing temporal and spatial characteristics of an image.
  • the video surveillance system is a system that installs cameras in various places that need to be monitored and transmits the images acquired from the cameras to the monitor or stores them in a storage device for real-time surveillance and post-search.
  • Surveillance cameras commonly used in video surveillance systems often require 24 hours of operation, so they need to generate more than a certain quality image in low light, such as in the dark or at night. However, there is a high possibility that noise occurs in the image in a low light environment.
  • 3D filtering using structural tensors calculates the gradient between adjacent pixels for each pixel of the image, and creates a structural tensor from the eigenvectors and eigenvalues. Calculate From this, a covariance matrix, a scaling matrix, and a rotation matrix of the 3D Gaussian distribution are calculated to finally generate a Gaussian 3D filtering kernel optimized for the corresponding pixel.
  • Such a method has a problem in that a large amount of computation is required for kernel generation and application, and noise is not smoothly removed, making it difficult to commercialize.
  • non-regional mean-based methods use the property that localized features are found in other parts of the image.
  • the non-local average-based method first finds blocks similar to those in the image for a block of a specific size, and gathers the found blocks to perform noise elimination filtering suitable for a characteristic. The filtered blocks are then placed back into their original positions.
  • the non-local average-based method has a problem of having good image noise removal performance but searching similar blocks for a specific block in the entire image, and there is a problem that block artifacts occur.
  • An object of the present invention is to propose a method for removing noise with a small amount of computation by analyzing temporal and spatial characteristics of a noise signal.
  • Another object of the present invention is to provide a noise removing method that is possible even in a low light environment.
  • An embodiment of the present invention includes a channel separation unit for generating a video data for each color channel by separating the current frame image for each color channel;
  • a luminance obtaining unit which calculates luminance data from image data for each color channel of a previous frame image;
  • a first filtering unit generating a first filtering value by applying a filter to the luminance data of a previous frame image;
  • a multiplier for multiplying the first filtering value by the image data for each color channel to calculate a multiplication value for each color channel;
  • a second filtering unit generating a second filtering value for each color channel by applying a filter to the multiplication value for each color channel;
  • a gain operation unit performing a gain operation on the second filtering value for each color channel;
  • Disclosed is a noise removal system comprising a.
  • the luminance obtaining unit calculates luminance data and temporarily stores the luminance data in the memory, and the multiplication unit obtains the first filtering value from the memory.
  • the current frame image and the previous frame image may be an image captured in a low light environment.
  • the image data for each color channel may form red channel image data, green channel image data, and blue channel image data.
  • the first filtering unit or the second filtering unit may apply a low pass filter.
  • the gain operation may be a combination of addition and subtraction operations.
  • the gain calculator may generate an output image from which noise is removed by combining the image for each color channel generated by performing a gain operation on the second filtering value for each color channel.
  • a noise removal method comprising a.
  • the luminance obtaining step may calculate luminance data temporarily and store the luminance data temporarily in the memory, and the multiplication step may obtain the first filtering value from the memory.
  • the current frame image and the previous frame image may be an image captured in a low light environment.
  • the image data for each color channel may form red channel image data, green channel image data, and blue channel image data.
  • the first filtering step or the second filtering step may apply a low pass filter.
  • the gain operation may be a combination of addition and subtraction operations.
  • the gain operation step may generate an output image from which noise is removed by combining the image for each color channel generated by performing a gain operation on the second filtering value for each color channel.
  • a noise removal method capable of analyzing the temporal and spatial characteristics of a noise signal to remove noise with a small amount of computation and emphasizing luminance data of a low light image may be disclosed.
  • a noise reduction method in which an absolute amount of computation is reduced, there are no traces of unleveling by the filtering kernel, and block artifacts due to block processing are reduced.
  • FIG. 1 is a view showing the configuration of a noise removing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of a noise removing server according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating that a noise removal server receives an input image and generates an output image from which noise is removed according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an operation of a noise removing server according to an exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation of a noise removing server according to an exemplary embodiment of the present invention.
  • An embodiment of the present invention includes a channel separation unit for generating a video data for each color channel by separating the current frame image for each color channel;
  • a luminance obtaining unit which calculates luminance data from image data for each color channel of a previous frame image;
  • a first filtering unit generating a first filtering value by applying a filter to the luminance data of a previous frame image;
  • a multiplier for multiplying the first filtering value by the image data for each color channel to calculate a multiplication value for each color channel;
  • a second filtering unit generating a second filtering value for each color channel by applying a filter to the multiplication value for each color channel;
  • a gain operation unit performing a gain operation on the second filtering value for each color channel;
  • Disclosed is a noise removal system comprising a.
  • FIG. 1 is a view showing the configuration of a noise removing system according to an embodiment of the present invention.
  • the noise removing server 100 of the present invention includes a noise removing server 100, a plurality of network cameras 200, and a network 300.
  • a plurality of cameras 200 is exchanging data with a noise removing server 100 through a network 300.
  • the plurality of cameras 200 communicates with the noise removing server 100 through the communication channel DCOM, and transmits the live view video data to the noise removing server 100 through the image data channel DIMA.
  • DCOM communication channel
  • DIMA image data channel
  • variations are possible.
  • the plurality of surveillance cameras 200 may transmit image data to the noise removing server 100 even in a low light environment as the surveillance camera. Since the surveillance camera requires a 24-hour surveillance image, the surveillance camera may be installed in a low light environment such as at night or a dark place. When a plurality of surveillance cameras 200 are installed, it is necessary to send the low light image to the noise removing server 100 to remove noise.
  • the network 300 forming the communication channel DCOM and the image data channel DIMA may be any means capable of transmitting and receiving data or commands by wire or wirelessly.
  • the network 300 may connect the plurality of cameras 200 and the noise removing server 100 by wire through a cable, and use the wireless LAN or the like to wirelessly connect the plurality of cameras 200 with the noise. It is also possible to connect the removal server 100.
  • the noise removing server 100 may be used without limitation, a general computing device and a server device.
  • a control system for a surveillance camera may be used as the noise removing server 100.
  • the noise removal server 100 may store real-time video from the plurality of cameras 200 as needed.
  • the noise removing server 100 removes noise from images acquired from the plurality of surveillance cameras 200.
  • the noise removing server 100 may remove noise with better quality when the image obtained from the plurality of surveillance cameras 200 is a low light image.
  • the original image having the t frame noise obtained from the plurality of surveillance cameras 200 is I (t)
  • the noise is N (t)
  • the image from which the noise is removed is dnI (t)
  • the original image I (t) may be expressed as Equation 1 below.
  • the noise removal system obtains dnI (t) which is an image from which noise is removed by performing a temporal and spatial filtering by acquiring a noise image I (t).
  • dnI (t) is an image from which noise is removed by performing a temporal and spatial filtering by acquiring a noise image I (t).
  • a low pass filter is used to perform spatial filtering
  • luminance data of a previous frame image is referred to to perform temporal filtering.
  • Noise included in an image can be interpreted as having a statistical characteristic of a Gaussian distribution of a specific mean and standard deviation within a frame. That is, since the noise has a Gaussian distribution in the spatial axis, a low pass filter using this characteristic can be used to remove some noise in the image. Since the noise of the next frame image may have a statistical distribution similar to that of the previous frame image, the low-pass filter may also remove noise existing in the image.
  • the noise signal included in each frame image can be statistically modeled to some extent.
  • the noise can be interpreted as shifting its position from the viewpoint of the time axis. Therefore, when comparing noise between frames, it is unlikely that the previous frame and the next frame will continue to have noise at the same pixel position. That is, the noise that appears in the current frame for a particular pixel is very likely not present in the previous frame or its intensity has changed significantly.
  • the noise removal system spatially removes noise by using low pass filtering, but effectively removes noise existing in an image in a low light environment by referring to luminance data of a previous frame image in time. Can be removed.
  • FIG. 2 is a diagram showing the internal configuration of the noise removing server 100 according to an embodiment of the present invention.
  • the noise removing server 100 may include a channel separator 111, a luminance acquirer 112, a multiplier 113, a first filter 114, a second filter 115, and a gain.
  • the operation unit 116, a memory 120, and a controller 130 are included.
  • the controller 130 of the noise removing server 100 may include a channel separator 111, a luminance acquirer 112, a multiplier 113, a first filter 114, a second filter 115, and a gain calculator. 116, and a function of controlling data flow between the memory 120. That is, the controller 130 according to the present invention controls the data flow from / to the outside of the noise reduction server 100 or the data flow between each component of the noise reduction server 100, thereby separating the channel separation unit 111, The luminance obtaining unit 112, the multiplication unit 113, the first filtering unit 114, the second filtering unit 115, the gain calculating unit 116, and the memory 120 may control to perform unique functions, respectively. have.
  • FIG. 3 is a diagram illustrating that the noise removing server 100 generates an output image from which noise is removed by receiving an input image according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an operation of the noise removing server 100 according to an exemplary embodiment of the present invention.
  • the noise removing server receives I (t) as an input image INPUT.
  • the channel separator 111 of FIG. 2 serves to separate the image into three channels of red, green, and blue, that is, RGB channels.
  • the channel separator 111 performs RGB conversion on all images that are sequentially input.
  • RGB is a method of expressing colors using three primary colors of light.
  • the colors are mixed by using three kinds of light sources, such as red, green, and blue, and become brighter as the colors are mixed.
  • the red, green, and blue channels may be referred to as color channels.
  • the channel separator 111 may analyze the image to generate a red channel, a green channel, and a blue channel and store the same in the memory 120.
  • the image data of the red, green, and blue channels in the t frame generated by the channel separator 111 from the input image I (t) is R (t), G (t), It can be expressed as B (t).
  • a luminance data value is calculated from the image data for each red, green, and blue channel of a previous frame, and the luminance data is calculated using the image of the red, green, and blue channels of the current frame. Use as a basis to compare with the data.
  • the luminance obtaining unit 112 of FIG. 2 calculates luminance data of an image.
  • the luminance acquirer 112 may temporarily store the luminance data of the calculated image in the memory 120.
  • the luminance obtaining unit 112 calculates the luminance of the previous frame image and uses the same in the noise removing method of the current image. By using the luminance data value of the previous frame to determine the value of a specific pixel, it is possible to overcome the difference in noise reduction performance caused by the difference in brightness of each channel. It is possible.
  • the luminance acquirer 112 may generate luminance data based on the image data of the red, green, and blue channels generated by the channel separator 111.
  • Y (t) may be calculated as shown in Equation 1 below.
  • the luminance acquirer 122 may generate luminance data of the input image I (t) as Y (t).
  • the luminance data of the previous frame t-1 frame can be obtained as Y (t-1) through the calculation method as shown in Equation 1 above.
  • the first filtering unit 114 of FIG. 2 performs low pass filtering on the luminance data, and the multiplication unit 113 multiplies the filtered luminance data and image data for each color channel.
  • the first filtering unit 114 may apply a low pass filter to the luminance data of the previous frame.
  • the first filtering unit 114 may obtain the luminance data of the previous frame by reading from the memory.
  • the luminance data of the previous frame may be represented as Y (t-1)
  • the first filtering value in which the low pass filter is applied to the luminance data of the previous frame may be represented as FY (t-1).
  • F () means a low pass filtering operation.
  • the luminance data Y (t) of the current frame passes through the low pass filter LPF by the first filtering unit 114 to generate FY (t), and generates FY (t). May be stored in the memory 120.
  • the first filtering value FY (t) stored in the memory is used to remove noise of the next frame image.
  • the first filtering value FY (t-1) of a previous frame image stored in a memory is used to remove noise of the current frame image.
  • the multiplier 113 of FIG. 2 may include FY (t-1), which is the first filtering value of the previous frame generated by the first filtering unit 114, and R (t), G, which is image data for each color channel. (t) and B (t) multiply each.
  • the value calculated by the multiplication unit 113 is called a multi-channel multiplication value, and a multi-channel multiplication value for each of red, green, and blue is generated.
  • the red channel multiplication value R (t) * FY (t-1) is generated by multiplying the red channel image data by the first filtering value, and the green channel image data and the first filtering. Multiply the values to create a green channel multiplication, G (t) * FY (t-1), and multiply the blue channel image data with the first filtering value to produce the blue channel multiplication, B (t) * FY (t-1). Is generated.
  • the second filtering unit 115 of FIG. 2 calculates a second filtering value for each color channel by performing low pass filtering on the multiplication value for each color channel.
  • a low-pass filter LPF
  • R (t) * FY (t-1) red channel multiplication value
  • F (R (t) red channel second filtering value
  • G (t) * FY (t-1) green channel multiplication value
  • F (G (t) * FY (t-1)) which is the second green channel filtering value.
  • a low pass filter is applied to the blue channel multiplication value B (t) * FY (t-1) to generate the blue channel second filtering value F (B (t) * FY (t-1)).
  • the gain calculator 116 of FIG. 2 obtains image data for each color channel from which noise is removed by performing a gain operation on the second filtering value for each color channel. In a gain operation, appropriate multiplication, division, addition, and subtraction operations are performed.
  • G () if the gain operation is performed on the second filtering value for each color channel as in the example of FIGS. 3 and 4, G (F (R (t) * FY (t-1))), G (F (G (t) * FY (t-1))) and G (F (B (t) * FY (t-1))) are calculated.
  • the noise removing image for each color channel becomes dnR (t), dnG (t), and dnB (t), respectively.
  • the color image noise image for each color channel is image data for each color channel from which the gaze calculated by the gain calculator 116 is removed, and may be expressed as in Equation 2 below.
  • dnI (t) which is an output image from which noise is finally removed, may be obtained by combining dnR (t), dnG (t), and dnB (t).
  • the gain association is represented by G (), and a variety of known gain operations may be used in the present invention.
  • G () a gain operation based on a constant product and a constant sum
  • an amplification method using a tone mapping a gain calculation method using a gamma correction, and the like may be used without suggestion.
  • FIG. 5 is a flowchart illustrating a noise removing method according to an embodiment of the present invention.
  • the noise removing server first acquires an original noise image of a current frame as an input image I (t) from a camera (S1).
  • image data R (t), G (t), and B (t) for each color channel are generated by separating the current frame image for each color channel (S2).
  • the luminance data Y (t-1) calculated from the image data for each color channel of the previous frame is obtained from the memory (S3).
  • a first filtering value FY (t-1) is generated by applying the low pass filter LPF to the luminance data of the previous frame image (S4).
  • the first filtering value is multiplied by the image data for each color channel, and the multiplication value for each color channel is R (t) * FT (t-1), G (t) * FT (t-1), B (t) * FT (t-1) is generated (S5).
  • a gain operation is performed on the second filtering value for each color channel to obtain dnR (t), dnG (t), and dnB (t) (S7).
  • the low pass filtering may be spatially performed in one frame to lower the level of noise in the frame.
  • the luminance signal is used, and by multiplying the luminance data of the R, G, and B channels of the current frame with the previous frame, It is possible to reduce the noise level of the signal and to enhance the luminance component.
  • the amount of calculation for removing noise can be significantly reduced compared to the existing methods.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
  • such as "essential”, “important” may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부; 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부; 상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부; 를 포함하는 노이즈 제거 시스템을 개시한다.

Description

영상 노이즈 제거 방법 및 시스템
본 발명은 영상 노이즈 제거 방법 및 시스템에 관한 것으로, 보다 상세하게는 영상의 시간적 및 공간적 특성을 분석하여 노이즈를 제거할 수 있는 방법 및 시스템에 관한 것이다.
영상 감시 시스템은 감시가 필요한 여러 장소에 카메라를 설치하고 카메라로부터 획득된 영상들을 모니터로 전송하거나 저장장치에 저장하여 실시간 감시 및 사후 검색을 수행할 수 있도록 해주는 시스템이다. 영상 감시 시스템에서 주로 사용되는 감시 카메라는 24시간 가동해야 하는 경우가 대부분이므로 어두운 곳 혹은 야간과 같은 저조도 환경에서도 일정 이상 품질의 영상을 생성해야 한다. 그러나, 저조도 환경에서는 영상에 노이즈가 발생할 가능성이 높다.
따라서, 저조도 환경에서 노이즈가 저감된 감시 영상을 얻기 위한 기법들이 개발되고 있다. 대표적인 것으로 영상의 구조 텐서(tensor)를 이용한 3D 필터링 기술 및 비지역 평균(non-local mean) 기반 방법이 있다.
구조 텐서를 이용한 3D 필터링은 영상의 각 화소에 대하여 인접 화소간의 그래디언트(gradient)를 계산하고, 이로부터 구조 텐서(structure tensor)를 생성하여 생성한 구조 텐서부터 고유벡터(eigenvector)와 고유값(eigenvalue)을 계산한다. 이로부터 3차원 가우시안 분포의 공분산행렬, 크기(scaling) 행렬, 회전(rotation) 행렬 등을 계산하여 최종적으로 해당 화소에 최적화된 가우시안 3D 필터링 커널(filtering kernel)을 생성한다. 이와 같은 방법은 커널 생성과 적용시 요구되는 계산량이 방대하고, 노이즈가 평탄하게 제거되지 않아 제품화가 어렵다는 문제점이 존재한다.
또한, 비지역 평균 기반 방법은 국부 영역이 가진 특성이 영상의 다른 부분에서도 발견된다는 성질을 이용하는 것이다. 비지역 평균 기반 방법은 먼저 특정 크기의 블록에 대해, 이 블록과 유사한 블록을 영상에서 찾고, 찾아진 블록끼리 모아서 특성에 적합한 노이즈 제거 필터링을 수행한다. 그 후 필터링된 블록들을 다시 원래의 자리로 위치시킨다. 비지역 평균 기반 방법은, 영상 노이즈 제거 성능이 좋지만 특정 블록에 대해 유사한 블록들을 영상 전체에서 검색해야 하는 문제가 있으며, 블록 아티팩트(artifact)가 발생하는 문제점이 존재한다.
본 발명은 노이즈 신호의 시간적 및 공간적 특성을 분석하여 적은 계산량으로 노이즈를 제거할 수 있는 방법을 제시하는 것을 일 목적으로 한다.
또한, 저조도 환경에서도 가능한 노이즈 제거 방법을 제공하는 것을 다른 목적으로 한다.
본 발명의 일 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부; 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부; 상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부; 를 포함하는 노이즈 제거 시스템을 개시한다.
본 발명에 있어서, 상기 휘도 획득부는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈부는 상기 제1 필터링값을 메모리로부터 획득할 수 있다.
본 발명에 있어서, 상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상일 수 있다.
본 발명에 있어서, 상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성할 수 있다.
본 발명에 있어서, 상기 제1 필터링부 또는 제2 필터링부는 저역 통과 필터(low pass filter)를 적용할 수 있다.
본 발명에 있어서, 상기 게인 연산은 가감승제 연산을 조합한 것일 수 있다.
본 발명에 있어서, 상기 게인 연산부는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성할 수 있다.
본 발명의 다른 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리 단계; 이전 프레임 영상의 휘도 데이터에 필터를 적용한 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈 단계; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링 단계; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산 단계; 를 포함하는 노이즈 제거 방법을 개시한다.
본 발명에 있어서, 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득 단계; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링 단계; 를 추가적으로 포함할 수 있다.
본 발명에 있어서, 상기 휘도 획득 단계는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈 단계는 상기 제1 필터링값을 메모리로부터 획득할 수 있다.
본 발명에 있어서, 상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상일 수 있다.
본 발명에 있어서, 상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성할 수 있다.
본 발명에 있어서, 상기 제1 필터링 단계 또는 제2 필터링 단계는 저역 통과 필터(low pass filter)를 적용할 수 있다.
본 발명에 있어서, 상기 게인 연산은 가감승제 연산을 조합한 것일 수 있다.
본 발명에 있어서, 상기 게인 연산 단계는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성할 수 있다.
본 발명에 의하면, 노이즈 신호의 시간적 및 공간적 한 특성을 분석하여 적은 계산량으로 노이즈를 제거함과 동시에 저조도 영상의 휘도 데이터를 강조할 수 있는 노이즈 제거 방법이 개시될 수 있다.
본 발명에 의하면, 절대적 계산량이 저감되고, 필터링 커널에 의한 비평탄화 흔적이 나타나지 않으며, 블록 처리에 의한 블록 아티팩트(artifact)가 감소된 노이즈 제거 방법이 개시될 수 있다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 서버의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 노이즈 제거 서버가 입력 영상을 수신하여 노이즈가 제거된 출력 영상을 생성하는 것을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 노이즈 제거 서버의 동작을 블록도로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 노이즈 제거 서버의 동작을 순서도로 나타낸 도면이다.
본 발명의 일 실시예는 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부; 이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부; 이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부; 상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부; 상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부; 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부; 를 포함하는 노이즈 제거 시스템을 개시한다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 노이즈 제거 서버(100)는 노이즈 제거 서버(100), 복수의 네트워크 카메라들(200) 및 네트워크(300)를 포함한다.
도 1을 참조하면, 복수 개의 카메라들(200)이 네트워크(300)를 통해 노이즈 제거 서버(100)와 데이터를 주고받고 있다. 구체적으로, 복수 개의 카메라들(200)은 통신 채널(DCOM)을 통하여 노이즈 제거 서버(100)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브 뷰 동영상 데이터를 노이즈 제거 서버(100)에 전달한다. 물론 복수 개의 감시 카메라가 아닌 한 개의 감시 카메라만 노이즈 제거 서버(100)와 통신할 수도 있고, 한 개의 감시 카메라 또는 복수 개의 감시 카메라들이 복수 개의 노이즈 제거 서버(100)들과 통신할 수도 있는 등 다양한 변형이 가능함은 물론이다.
이때, 복수 개의 감시 카메라들(200)은 감시 카메라로서 저조도 환경에서도 노이즈 제거 서버(100)에 영상 데이터를 전송할 수 있다. 감시 카메라의 경우 24시간 감시 영상이 필요하므로, 때에 따라서는 야간 혹은 어두운 곳과 같은 저조도의 환경에 감시 카메라가 설치될 수 있다. 복수 개의 감시 카메라들(200)이 설치된 경우에 저조도 영상을 노이즈 제거 서버(100)로 송출하여 노이즈를 제거할 필요가 있다.
여기서 통신 채널(DCOM) 및 영상 데이터 채널(DIMA)을 형성하는 네트워크(300)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다. 예를 들어, 네트워크(300)는 케이블을 통하여 유선으로 복수 개의 카메라들(200)과 노이즈 제거 서버(100)를 연결할 수도 있으며, 무선 랜 등을 사용하여 무선으로 복수 개의 카메라들(200)과 노이즈 제거 서버(100)를 연결할 수도 있다.
노이즈 제거 서버(100)는 일반 컴퓨팅 장치 및 서버 장치 등이 제한 없이 사용될 수 있다. 예를 들어, 노이즈 제거 서버(100)로 감시 카메라용 컨트롤 시스템 등이 사용될 수도 있을 것이다. 노이즈 제거 서버(100)는 필요에 따라 복수 개의 카메라들(200)로부터의 실시간 동영상을 저장할 수도 있다.
노이즈 제거 서버(100)는 복수 개의 감시 카메라들(200)로부터 획득한 영상에서 노이즈를 제거하는 역할을 한다. 특히, 노이즈 제거 서버(100)는 복수 개의 감시 카메라들(200)로부터 획득한 영상이 저조도 영상일 때 더 우수한 품질로 노이즈를 제거할 수 있다.
일반적으로, 저조도 영상은 일반 환경에서 획득한 영상보다 카메라 자체의 문제 등으로 인하여 더욱 심한 노이즈를 가진다. 또한, 저조도 영상에서는 휘도가 낮아 피사체의 구분이 어려우므로 사용자는 노이즈를 더 심하게 느끼는 경향이 있다. 복수 개의 감시 카메라들(200)로부터 획득한 t 프레임의 노이즈가 존재하는 원본 영상을 I(t), 노이즈를 N(t), 노이즈가 제거된 영상을 dnI(t)라 할 때, 원본 영상 I(t)는 아래의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
I(t) = dnI(t) + N(t)
본 발명의 일 실시예에 의하면, 노이즈 제거 시스템은 노이즈 영상 I(t)를 획득하여 시간적, 공간적 필터링을 수행하여 노이즈가 제거된 영상인 dnI(t)를 획득한다. 보다 상세히, 공간적 필터링을 수행하기 위해 저역 통과 필터를 사용하고, 시간적 필터링을 수행하기 위해 이전 프레임 영상의 휘도 데이터를 참조한다.
영상에 포함된 노이즈는 한 프레임 내에서는 특정한 평균과 표준편차의 가우시안 분포의 통계적 특성을 갖는 것으로 해석할 수 있다. 즉 노이즈는 공간축(spatial)에서는 가우시안 분포를 가지고 있으므로 이 특성을 잘 이용한 저역 통과 필터(Low Pass Filter)를 이용하면 영상에 존재하는 노이즈를 어느 정도 제거할 수 있다. 다음 프레임 영상의 노이즈도 이전 프레임 영상과 유사한 통계적 분포를 가지고 있다고 할 수 있으므로, 역시 저역 통과 필터를 이용하여 영상에 존재하는 노이즈를 제거할 수 있다.
상술한 바와 같이, 각 프레임 영상에 포함된 노이즈 신호는 통계적으로 어느 정도 모델링이 가능하다. 하지만, 특정 픽셀에 대하여 시간축(temporal)의 관점에서 살펴보면, 이전 프레임에서 존재하던 노이즈가 다음 프레임의 동일 위치에서는 존재하지 않을 확률이 더 크다. 즉, 노이즈는 시간축의 관점에서 보면 위치를 이동하는 것으로 해석할 수 있다. 따라서, 프레임간의 노이즈를 비교해보면 이전 프레임과 다음 프레임은 같은 픽셀 위치에 노이즈가 계속해서 존재할 가능성이 크지 않다. 즉, 특정 픽셀에 대해 현재 프레임에 나타나는 노이즈는 이전 프레임에서는 존재하지 않거나 그 강도가 상당히 변해있을 가능성이 매우 크다.
따라서, 본 발명의 일 실시예에 따른 노이즈 제거 시스템은 공간적으로는 저역 통과 필터링을 사용하여 노이즈를 제거하되, 시간적으로 이전 프레임 영상의 휘도 데이터를 참조함으로써 저조도 환경에서의 영상에 존재하는 노이즈를 효과적으로 제거할 수 있다.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 서버(100)의 내부 구성을 나타낸 도면이다.
도 2를 참조하면, 노이즈 제거 서버(100)는 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 메모리(120) 및 제어부(130)를 포함한다.
노이즈 제거 서버(100)의 제어부(130)는 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 및 메모리(120) 간의 데이터 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(130)는 노이즈 제거 서버(100)의 외부로부터의/로의 데이터 흐름 또는 노이즈 제거 서버(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 채널 분리부(111), 휘도 획득부(112), 곱셈부(113), 제1 필터링부(114), 제2 필터링부(115), 게인 연산부(116), 및 메모리(120)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3은 본 발명의 일 실시예에 따라 노이즈 제거 서버(100)가 입력 영상을 수신하여 노이즈가 제거된 출력 영상을 생성하는 것을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 노이즈 제거 서버(100)의 동작을 블록도로 나타낸 도면이다.
이하에서는, 도 2 내지 도 4를 참조하여 노이즈 제거 서버(100)가 입력 영상에서 노이즈를 제거하는 과정을 설명한다.
먼저, 도 3 및 도 4를 참조하면 노이즈 제거 서버는 입력 영상(INPUT)으로 I(t)를 입력받는다.
다음으로, 도 2의 채널 분리부(111)는 영상을 레드(red), 그린(green), 블루(blue)의 세가지 채널, 즉 RGB 채널 각각으로 분리하는 역할을 수행한다. 채널 분리부(111)는 순차적으로 들어오는 모든 영상에 대해 RGB 변환을 실시한다.
RGB란 빛의 삼원색을 이용하여 색을 표현하는 방식으로, 레드(RED), 그린(GREEN), 블루(BLUE) 세종류의 광원(光源)을 이용하여 색을 혼합하며 색을 섞을수록 밝아진다. 레드, 그린, 블루 채널을 모두 지칭하여 색상 채널이라 나타낼 수 있다. 채널 분리부(111)는 영상을 분석하여 레드 채널, 그린 채널 및 블루 채널을 생성하여 메모리(120)에 저장할 수 있다.
도 3 및 도 4를 참조하면, 채널 분리부(111)가 입력 영상 I(t)로부터 생성한 t 프레임에서의 레드, 그린, 블루 채널의 영상 데이터는 각각 R(t), G(t), B(t)로 표현될 수 있다.
저조도 환경에서 촬영된 영상을 분석해보면, 레드, 그린, 블루 채널의 신호 강도(intensity)의 비율이 크게 차이나는 경우가 존재한다. 따라서 노이즈 제거를 위해 현재의 레드, 그린, 블루 채널과 이전 프레임의 레드, 그린, 블루 채널을 비교하는 경우, 색상 별 채널 특성이 노이즈 특성으로 반영되어 노이즈가 제대로 제거될 수 없다. 이러한 단점을 보완하기 위해 본 발명의 일 실시예에서는 이전 프레임의 레드, 그린, 블루 채널 별 영상 데이터로부터 휘도(luminance) 데이터값을 산출하고 이 휘도 데이터를 현재 프레임의 레드, 그린, 블루 채널의 영상 데이터와 비교하는 기준으로 사용한다.
이를 위해, 도 2의 휘도 획득부(112)는 영상의 휘도 데이터를 산출하는 역할을 한다. 휘도 획득부(112)는 산출된 영상의 휘도 데이터를 메모리(120)에 임시적으로 저장할 수 있다. 본 발명의 일 실시예에 따른 노이즈 제거 방법에서는, 휘도 획득부(112)는 이전 프레임 영상의 휘도를 산출하여 현재 영상의 노이즈 제거 방법에 사용한다. 현재의 특정 픽셀의 값을 결정하기 위하여 이전 프레임의 휘도(luminance) 데이터 값을 이용하면 각 채널의 밝기 차이로 인해 발생하는 노이즈 제거 성능의 차이를 극복할 수 있으며 프레임 간의 노이즈 특성을 반영한 노이즈 제거가 가능한다.
휘도 획득부(112)는 채널 분리부(111)가 생성한 레드, 그린, 블루 채널의 영상 데이터를 기초로 휘도 데이터를 생성할 수 있다. 휘도 획득부(112)가 생성한 t 프레임에서의 휘도 데이터를 Y(t)라 할 때, Y(t)는 아래의 [수학식 1]과 같이 산출될 수 있다.
[수학식 1]
Y(t) = 0.299*R(t) + 0.587*G(t) + 0.114*B(t)
도 3 및 도 4를 참조하면, 휘도 획득부(122)는 입력 영상 I(t)의 휘도 데이터를 Y(t)로 생성하는 것을 알 수 있다.
한편, t 프레임을 현재 프레임이라 가정할 때, 이전 프레임인 t-1 프레임의 휘도 데이터는 위의 [수학식 1]과 같은 산출 방법을 통해 Y(t-1)로 구해질 수 있다.
다음으로, 도 2의 제1 필터링부(114)는 휘도 데이터에 저역 통과 필터링을 실시하고, 곱셈부(113)는 필터링된 휘도 데이터와 색상 채널 별 영상 데이터를 곱하는 역할을 한다.
보다 상세히, 제1 필터링부(114)는 이전 프레임의 휘도 데이터에 저역 통과 필터(low pass filter)를 적용할 수 있다. 제1 필터링부(114)는 이전 프레임의 휘도 데이터를 메모리로부터 읽어 획득할 수 있다. 상술한 바와 같이, 이전 프레임의 휘도 데이터는 Y(t-1)이라 표현되고, 이전 프레임의 휘도 데이터에 저역 통과 필터를 적용한 제1 필터링값은 FY(t-1)이라 표현될 수 있다. F()는 저역 통과 필터링 연산을 의미한다.
도 3 및 도 4를 참조하면, 제1 필터링부(114)에 의해 현재 프레임의 휘도 데이터 Y(t)가 저역 통과 필터(LPF)를 통과하여 FY(t)가 생성되고, 생성된 FY(t)는 메모리(120)에 저장됨을 알 수 있다. 메모리에 저장된 제1 필터링값 FY(t)는 다음 프레임 영상의 노이즈 제거를 위해 사용된다. 도 3 및 도 4의 예를 참조하며, 현재 프레임 영상의 노이즈를 제거하기 위해서는 메모리에 저장된 이전 프레임 영상의 제1 필터링값 FY(t-1)이 사용된다.
다음으로, 도 2의 곱셈부(113)는 제1 필터링부(114)에 의해 생성된 이전 프레임의 제1 필터링값인 FY(t-1)와 색상 채널 별 영상 데이터인 R(t), G(t), B(t)를 각각 곱하는 역할을 한다. 곱셈부(113)에 의해 산출된 값을 색상 채널 별 곱셈값이라 칭하며, 레드, 그린, 블루 각각에 대한 색상 채널 별 곱셈값이 생성된다. 보다 상세히, 도 3 및 도 4를 참조하면 레드 채널 영상 데이터와 제1 필터링값을 곱하여 레드 채널 곱셈값인 R(t)*FY(t-1)가 생성되고, 그린 채널 영상 데이터와 제1 필터링값을 곱하여 그린 채널 곱셈값인 G(t)*FY(t-1)가 생성되며, 블루 채널 영상 데이터와 제1 필터링값을 곱하여 블루 채널 곱셈값인 B(t)*FY(t-1)가 생성된다.
다음으로, 도 2의 제2 필터링부(115)는 색상 채널 별 곱셈값에 저역 통과 필터링을 수행하여 색상 채널 별 제2 필터링값을 산출하는 역할을 한다. 보다 상세히, 도 3 및 도 4를 참조하면 레드 채널 곱셈값인 R(t)*FY(t-1)에 저역 통과 필터(LPF)를 적용하여 레드 채널 제2 필터링값인 F(R(t)*FY(t-1)) 을 생성한다. 또한, 그린 채널 곱셈값인 G(t)*FY(t-1)에 저역 통과 필터를 적용하여 그린 채널 제2 필터링값인 F(G(t)*FY(t-1)) 을 생성한다. 또한, 블루 채널 곱셈값인 B(t)*FY(t-1)에 저역 통과 필터를 적용하여 블루 채널 제2 필터링값인 F(B(t)*FY(t-1)) 을 생성한다.
도 2의 게인 연산부(116)는 색상 채널 별 제2 필터링값에 게인 연산을 행하여 노이즈가 제거된 색상 채널 별 영상 데이터를 획득한다. 게인 연산에서는 적절한 상수나 변수의 곱셉, 나눗셈, 덧셈, 뺄셈 연산이 수행된다. 게인 연산을 G()라 할 때, 도 3 및 도 4의 예와 같이 색상 채널 별 제2 필터링값에 게인 연산이 행해지면 G(F(R(t)*FY(t-1))), G(F(G(t)*FY(t-1))), G(F(B(t)*FY(t-1)))이 산출된다.
상술한 바와 같이, 노이즈 영상의 노이즈 제거 함수를 dn()이라 나타낼 때, 색상 채널 별 노이즈 제거 영상은 각각 dnR(t), dnG(t), dnB(t)가 된다. 색상 채널 별 노이즈 영상은 게인 연산부(116)에 의해 산출된 게이즈가 제거된 색상 채널 별 영상 데이터로서, 아래의 [수학식 2]와 같이 표현될 수 있다.
[수학식 2]
dnR(t) = G(F(R(t)*FY(t-1)))
dnG(t) = G(F(G(t)*FY(t-1)))
dnB(t) = G(F(B(t)*FY(t-1)))
따라서, 본 발명의 일 실시예에 의하면 dnR(t), dnG(t), dnB(t)를 조합하여 최종적으로 노이즈가 제거된 출력 영상인 dnI(t)를 획득할 수 있다.
참고로, 본 명세서에서는 게인 연상을 G()로 표현하였으며, 공지된 다양한 방법의 게인 연산이 본 발명에 사용될 수 있다. 예를 들어, 상수 곱과 상수 합에 의한 게인 연산법, 톤 매핑(tone mapping)에 의한 증폭 방법, 감마 보정에 의한 게인 연산법 등이 제안 없이 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 노이즈 제거 방법을 나타낸 순서도이다.
도 5를 참조하면, 먼저 노이즈 제거 서버는 카메라로부터 현재 프레임의 원본 노이즈 영상을 입력 영상 I(t)로 획득한다(S1).
다음으로, 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터 R(t),G(t), B(t)를 생성한다(S2).
다음으로, 이전 프레임의 색상 채널 별 영상 데이터로부터 산출된 휘도 데이터 Y(t-1)를 메모리로부터 획득한다(S3).
다음으로, 이전 프레임 영상의 휘도 데이터에 저역 통과 필터(LPF)를 적용하여 제1 필터링값 FY(t-1)을 생성한다(S4).
다음으로, 제1 필터링값을 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값 R(t)*FT(t-1), G(t)*FT(t-1), B(t)*FT(t-1)을 생성한다(S5).
다음으로, 색상 채널 별 곱셈값에 저역 통과 필터(LPF)를 적용하여 색상 채널 별 제2 필터링값 F(R(t)*FT(t-1)), F(G(t)*FT(t-1)), F(B(t)*FT(t-1))을 생성한다(S6).
다음으로, 색상 채널 별 제2 필터링값에 게인 연산을 행하여 dnR(t), dnG(t), dnB(t)를 획득한다(S7).
다음으로, dnR(t), dnG(t), dnB(t)로부터 노이즈가 제거된 영상 dnI(t)를 출력한다(S8).
이상 설명된 본 발명에 따른 노이즈 제거 방법의 실시예는, 하나의 프레임 내에서는 공간적으로 저역 통과 필터링을 수행하여 프레임 내에서 노이즈의 레벨을 낮출 수 있다. 또한 시간적으로 프레임간에 대해서는 R, G, B 채널간의 강도 차이와 노이즈 차이를 최소화하고자 휘도 신호를 이용하였고, 현재 프레임의 R, G, B 채널과 이전 프레임의 휘도 데이터를 서로 곱함으로써, 현재 프레임에서의 노이즈 레벨은 감소시키고 휘도 성분은 강화하는 결과를 얻을 수 있다. 이와 같은 본 발명의 일 실시예에 의하면, 기존 방법들에 비해 노이즈 제거를 위한 연산량이 획기적으로 감소할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리부;
    이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득부;
    이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링부;
    상기 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈부;
    상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링부;
    상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산부;
    를 포함하는 노이즈 제거 시스템.
  2. 제1항에 있어서,
    상기 휘도 획득부는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈부는 상기 제1 필터링값을 메모리로부터 획득하는 노이즈 제거 시스템.
  3. 제1항에 있어서,
    상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상인 노이즈 제거 시스템.
  4. 제1항에 있어서,
    상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성하는 노이즈 제거 시스템.
  5. 제1항에 있어서,
    상기 제1 필터링부 또는 제2 필터링부는 저역 통과 필터(low pass filter)를 적용하는 노이즈 제거 시스템.
  6. 제1항에 있어서,
    상기 게인 연산은 가감승제 연산을 조합한 것인 노이즈 제거 시스템.
  7. 제1항에 있어서,
    상기 게인 연산부는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성하는 노이즈 제거 시스템.
  8. 현재 프레임 영상을 색상 채널 별로 분리하여 색상 채널 별 영상 데이터를 생성하는 채널 분리 단계;
    이전 프레임 영상의 휘도 데이터에 필터를 적용한 제1 필터링값을 상기 색상 채널 별 영상 데이터에 곱하여 색상 채널 별 곱셈값을 산출하는 곱셈 단계;
    상기 색상 채널 별 곱셈값에 필터를 적용하여 색상 채널 별 제2 필터링값을 생성하는 제2 필터링 단계;
    상기 색상 채널 별 제2 필터링값에 게인 연산을 행하는 게인 연산 단계;
    를 포함하는 노이즈 제거 방법.
  9. 제8항에 있어서,
    이전 프레임 영상의 색상 채널 별 영상 데이터로부터 휘도 데이터를 산출하는 휘도 획득 단계;
    이전 프레임 영상의 상기 휘도 데이터에 필터를 적용하여 제1 필터링값을 생성하는 제1 필터링 단계;
    를 추가적으로 포함하는 노이즈 제거 방법.
  10. 제9항에 있어서,
    상기 휘도 획득 단계는 휘도 데이터를 산출하여 메모리에 일시적으로 저장하고, 상기 곱셈 단계는 상기 제1 필터링값을 메모리로부터 획득하는 노이즈 제거 시스템.
  11. 제8항에 있어서,
    상기 현재 프레임 영상 및 이전 프레임 영상은 저조도 환경에서 촬상된 영상인 노이즈 제거 방법.
  12. 제8항에 있어서,
    상기 색상 채널 별 영상 데이터는 레드 채널 영상 데이터, 그린 채널 영상 데이터, 블루 채널 영상 데이터를 형성하는 노이즈 제거 방법.
  13. 제9항에 있어서, 상기 제1 필터링 단계 또는 제2 필터링 단계는 저역 통과 필터(low pass filter)를 적용하는 노이즈 제거 방법.
  14. 제8항에 있어서, 상기 게인 연산은 가감승제 연산을 조합한 것인 노이즈 제거 방법.
  15. 제8항에 있어서,
    상기 게인 연산 단계는 상기 색상 채널 별 제2 필터링값에 게인 연산을 행하여 생성된 색상 채널 별 영상을 조합하여 노이즈가 제거된 출력 영상을 생성하는 노이즈 제거 방법.
PCT/KR2014/002813 2013-12-13 2014-04-02 영상 노이즈 제거 방법 및 시스템 WO2015088106A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0155638 2013-12-13
KR1020130155638A KR102207940B1 (ko) 2013-12-13 2013-12-13 영상 노이즈 제거 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2015088106A1 true WO2015088106A1 (ko) 2015-06-18

Family

ID=53371390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002813 WO2015088106A1 (ko) 2013-12-13 2014-04-02 영상 노이즈 제거 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102207940B1 (ko)
WO (1) WO2015088106A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007393A (ko) 2019-07-11 2021-01-20 삼성전자주식회사 전자 장치 및 그 제어 방법
US11659141B2 (en) 2019-11-22 2023-05-23 Hanwha Techwin Co., Ltd. Image processing apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278591A1 (en) * 2007-05-09 2008-11-13 Barna Sandor L Method and apparatus for improving low-light performance for small pixel image sensors
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
US20110182510A1 (en) * 2010-01-28 2011-07-28 Wei Hong Methods and Systems for Image Noise Filtering
US20120224789A1 (en) * 2011-03-01 2012-09-06 Microsoft Corporation Noise suppression in low light images
WO2013042843A1 (ko) * 2011-09-21 2013-03-28 금오공과대학교 산학협력단 점진적 차이값 히스토그램 기반의 가역 워터마킹을 이용한 블록단위 영상 인증방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341101B1 (ko) * 2007-09-11 2013-12-13 삼성전기주식회사 영상 복원 장치 및 복원 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278591A1 (en) * 2007-05-09 2008-11-13 Barna Sandor L Method and apparatus for improving low-light performance for small pixel image sensors
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
US20110182510A1 (en) * 2010-01-28 2011-07-28 Wei Hong Methods and Systems for Image Noise Filtering
US20120224789A1 (en) * 2011-03-01 2012-09-06 Microsoft Corporation Noise suppression in low light images
WO2013042843A1 (ko) * 2011-09-21 2013-03-28 금오공과대학교 산학협력단 점진적 차이값 히스토그램 기반의 가역 워터마킹을 이용한 블록단위 영상 인증방법

Also Published As

Publication number Publication date
KR20150069343A (ko) 2015-06-23
KR102207940B1 (ko) 2021-01-26

Similar Documents

Publication Publication Date Title
WO2022108061A1 (en) Method and device for joint denoising and demosaicing using neural network
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2016047894A1 (ko) 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
EP2892232A1 (en) On-vehicle image capture device
CN111127359A (zh) 一种基于选择性补偿颜色和三区间均衡的水下图像增强方法
WO2015088106A1 (ko) 영상 노이즈 제거 방법 및 시스템
US10931895B2 (en) Image processing method, image processing device, and storage medium
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
CN110431840B (zh) 图像处理装置、方法以及存储介质
US7782367B2 (en) Direct calibration of color imaging devices
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
WO2023200280A1 (ko) 보정된 이미지 기반 심박 추정 방법 및 그 장치
US20190045161A1 (en) Estimation of illumination chromaticity in automatic white balancing
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
JP2018182367A (ja) カメラシステム
WO2016098943A1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
WO2017164546A2 (ko) 컬러센서와 엘이디를 이용한 플래시 사진 촬영의 화질 보정 장치 및 그 방법
WO2017074076A1 (ko) 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법
WO2022080680A1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
WO2015046658A1 (ko) 설진기 재현성 측정 장치 및 방법
CN103313066A (zh) 插值方法及装置
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치
CN115088252A (zh) 一种图像处理方法及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14869787

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14869787

Country of ref document: EP

Kind code of ref document: A1