KR101791789B1 - 컬러 영상의 잡음을 제거하기 위한 방법 및 장치 - Google Patents

컬러 영상의 잡음을 제거하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101791789B1
KR101791789B1 KR1020160076587A KR20160076587A KR101791789B1 KR 101791789 B1 KR101791789 B1 KR 101791789B1 KR 1020160076587 A KR1020160076587 A KR 1020160076587A KR 20160076587 A KR20160076587 A KR 20160076587A KR 101791789 B1 KR101791789 B1 KR 101791789B1
Authority
KR
South Korea
Prior art keywords
noise
image
patch block
chrominance
filter
Prior art date
Application number
KR1020160076587A
Other languages
English (en)
Inventor
전병우
쿠옥 칸 딘
박영현
깐 트엉 응웬
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160076587A priority Critical patent/KR101791789B1/ko
Application granted granted Critical
Publication of KR101791789B1 publication Critical patent/KR101791789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

컬러 영상의 잡음을 제거하기 위한 장치가 제공된다. 장치는 입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성하는 휘도 영상 잡음 제거부 및 상기 잡음이 제거된 휘도 영상을 기반으로 상기 입력 컬러 영상의 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성하는 색차 영상 잡음 제거부를 포함할 수 있다. 따라서, 기존의 비-지역적 (non-local) 필터 수준의 높은 잡음 제거 성능을 가지면서도 상대적으로 낮은 연산 복잡도의 달성이 가능하다.

Description

컬러 영상의 잡음을 제거하기 위한 방법 및 장치{AN APPARATUS FOR COLOR IMAGE DENOISING AND METHOD THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 구체적으로는 컬러 영상의 잡음을 제거하기 위한 방법 및 장치에 관한 것이다.
근래에는 카메라, 전송 및 디스플레이 기술의 발전으로 인해 어디에서나 좋은 화질의 컬러 영상의 획득할 수 있으며 어디에서나 이러한 컬러 영상을 감상할 수 있다. 다만, 영상은 신호 획득 과정 및 일련의 처리 과정에서 잡음에 의한 불가피한 영향을 받고, 따라서 컬러 영상의 잡음 제거는 현대의 영상 처리 기술에서는 필수적이다. 이를 위한 가장 직관적인 접근방법은 각각의 컬러채널에 대해 독립적으로 잡음제거를 수행하는 것이며, 상관성 저감된 벡터기반 총분산 (decorrelated vectorial total variation), 웨이블릿과 같은 변환영역에서의 경판정 (hard thresholding), 고차원 특이 값 분해, 쿼터니언 행렬 분석 기반 벡터 성긴 표현방법, 다중채널 비-지역적 (nonlocal) 평균 퓨전, 컬러 채널 영상의 패치 또는 비디오의 프레임으로부터의 다중가설 (multihypothesis) 예측과 같은 다양한 방법들이 개발되었다. 잡음 제거의 성능 향상을 위해, 영상 내의 비-지역적 (nonlocal) 특성의 최적 추출을 위한 진보된 필터에 의한 유사한 패치들의 그룹이 동시에 처리되는 방법 또한 고안되었다. 그러나, 비-지역적 (nonlocal) 처리 방법은 유사한 패치들 및 특이값 분해 과정에 의해 매우 높은 연산 복잡도의 문제를 가진다. 이러한 비-지역적 처리 방법을 세 개의 컬러 채널 모두에 적용하는 것은 연산 복잡도 측면에서 문제가 된다.
한국 등록 특허공보 제 10-0860877 호 ("컬러 노이즈 제거 장치 및 방법", 엠텍비젼 주식회사)
앞서 살펴본 바와 같이 종래의 컬러 영상의 잡음제거 방법에서는 R, G, B 세 컬러 채널에 대해 모두 동일한 방식의 잡음제거 방식이 수행되므로 각 채널에 대해 총 세 번의 잡음제거 과정이 필요하며, 잡음 제거 방법이 복잡할수록 연산 복잡도가 높아지는 문제가 있다.
이러한 문제점을 해결하기 위한 본 발명의 제 1 목적은 입력 컬러 영상을 휘도 공간 영상과 색차 공간 영상으로 분리한 다음, 높은 품질이 요구되는 휘도 공간 영상에 고성능 필터를 적용하고, 색차 공간 영상은 휘도 공간 영상을 참고하여 고속의 잡음 제거과정을 수행함으로써, 기존의 비-지역적 (non-local) 필터 수준의 높은 잡음 제거 성능을 가지면서도 상대적으로 낮은 연산 복잡도의 달성이 가능한 컬러 영상의 잡음을 제거하기 위한 방법을 제공하는 것이다.
또한, 이러한 문제점을 해결하기 위한 본 발명의 제 2 목적은 입력 컬러 영상을 휘도 공간 영상과 색차 공간 영상으로 분리한 다음, 높은 품질이 요구되는 휘도 공간 영상에 고성능 필터를 적용하고, 색차 공간 영상은 휘도 공간 영상을 참고하여 고속의 잡음 제거과정을 수행함으로써, 기존의 비-지역적 (non-local) 필터 수준의 높은 잡음 제거 성능을 가지면서도 상대적으로 낮은 연산 복잡도의 달성이 가능한 컬러 영상의 잡음을 제거하기 위한 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법은 입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성하는 단계 및 상기 잡음이 제거된 휘도 영상을 기반으로 상기 입력 컬러 영상의 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 잡음이 제거된 색차 영상을 생성하는 단계 이전에, 상기 입력 컬러 영상의 색차 영상에 제 2 필터를 적용하여 잡음이 저감된 색차 영상을 생성하는 단계를 더 포함할 수 있고, 상기 잡음이 제거된 색차 영상을 생성하는 단계는 상기 잡음이 저감된 색차 영상을 처리함으로써 상기 잡음이 제거된 색차 영상을 생성할 수 있다.
일 측면에 따르면, 상기 제 1 필터는 상기 제 2 필터보다 높은 잡음 제거 성능을 가지고, 상기 제 2 필터는 상기 제 1 필터보다 빠른 처리 속도를 가질 수 있다.
일 측면에 따르면, 상기 제 1 필터는 비-지역적 필터 (non-local filter) 일 수 있고, 상기 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 일 수 있다.
일 측면에 따르면, 상기 잡음이 제거된 색차 영상을 생성하는 단계는, 소정 크기를 가지는 패치 블록이 상기 잡음이 저감된 색차 영상 내에서 픽셀 단위로 이동하면서 수행될 수 있다.
일 측면에 따르면, 상기 잡음이 제거된 색차 영상을 생성하는 단계 이전에, 상기 잡음이 저감된 색차 영상을 기반으로 상기 패치 블록의 크기를 결정하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 패치 블록의 크기는 상기 패치 블록의 위치와 무관하게 일정하고, 상기 패치 블록의 크기를 결정하는 단계는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값들의 평균이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 상기 패치 블록의 크기는 상기 패치 블록의 위치에 따라 상이하고, 상기 패치 블록의 크기를 결정하는 단계는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 상기 잡음이 제거된 색차 영상을 생성하는 단계는, 상기 잡음이 제거된 휘도 영상 내의 제 1 위치의 패치 블록으로부터 상기 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 상기 잡음이 제거된 색차 영상을 생성할 수 있다.
일 측면에 따르면, 상기 선형 예측은 하기의 수학식을 통해 수행될 수 있다.
Figure 112016059172870-pat00001
단, 여기서
Figure 112016059172870-pat00002
는 잡음이 제거된 색차 영상 내의 패치 블록,
Figure 112016059172870-pat00003
는 잡음이 제거된 휘도 영상 내의 패치 블록,
Figure 112016059172870-pat00004
는 잡음이 저감된 색차 영상 내의 패치 블록을 나타낼 수 있다.
일 측면에 따르면, 상기 잡음이 제거된 색차 영상을 생성하는 단계는, 상기 잡음이 제거된 색차 영상 내의 제 1 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 제 1 픽셀 값으로 결정할 수 있다.
일 측면에 따르면, 상기 방법은 상기 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 상기 RGB 영상을 휘도 영상과 색차 영상으로 변환하는 단계 및 상기 잡음이 제거된 휘도 영상과 상기 잡음이 제거된 색차 영상을 잡음이 제거된 RGB 영상으로 변환하는 단계를 더 포함할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치는, 입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성하는 휘도 영상 잡음 제거부 및 상기 잡음이 제거된 휘도 영상을 기반으로 상기 입력 컬러 영상의 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성하는 색차 영상 잡음 제거부를 포함할 수 있다.
일 측면에 따르면, 상기 장치는 상기 입력 컬러 영상의 색차 영상에 제 2 필터를 적용하여 잡음이 저감된 색차 영상을 생성하는 색차 영상 잡음 저감부를 더 포함할 수 있으며, 상기 색차 영상 잡음 제거부는 상기 잡음이 저감된 색차 영상을 처리함으로써 상기 잡음이 제거된 색차 영상을 생성할 수 있다.
일 측면에 따르면, 상기 제 1 필터는 상기 제 2 필터보다 높은 잡음 제거 성능을 가지고, 상기 제 2 필터는 상기 제 1 필터보다 빠른 처리 속도를 가질 수 있다.
일 측면에 따르면, 상기 제 1 필터는 비-지역적 필터 (non-local filter) 이고, 상기 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 일 수 있다.
일 측면에 따르면, 상기 색차 영상 잡음 제거부는 소정 크기를 가지는 패치 블록을 상기 잡음이 저감된 색차 영상 내에서 픽셀 단위로 이동시키면서 상기 잡음이 제거된 색차 영상을 생성할 수 있다.
일 측면에 따르면, 상기 잡음이 저감된 색차 영상을 기반으로 상기 패치 블록의 크기를 결정하는 패치 크기 결정부를 더 포함할 수 있다.
일 측면에 따르면, 상기 패치 블록의 크기는 상기 패치 블록의 위치와 무관하게 일정하고, 상기 패치 크기 결정부는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값들의 평균이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 상기 패치 블록의 크기는 상기 패치 블록의 위치에 따라 상이하고, 상기 패치 크기 결정부는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 상기 색차 영상 잡음 제거부는, 상기 잡음이 제거된 휘도 영상 내의 제 1 위치의 패치 블록으로부터 상기 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 상기 잡음이 제거된 색차 영상을 생성할 수 있다.
일 측면에 따르면, 상기 선형 예측은 하기의 수학식을 통해 수행될 수 있다.
Figure 112016059172870-pat00005
단, 여기서
Figure 112016059172870-pat00006
는 잡음이 제거된 색차 영상 내의 패치 블록,
Figure 112016059172870-pat00007
는 잡음이 제거된 휘도 영상 내의 패치 블록,
Figure 112016059172870-pat00008
는 잡음이 저감된 색차 영상 내의 패치 블록을 나타낼 수 있다.
일 측면에 따르면, 상기 색차 영상 잡음 제거부는 상기 잡음이 제거된 색차 영상 내의 제 1 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 제 1 픽셀 값으로 결정할 수 있다.
일 측면에 따르면, 상기 장치는 상기 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 상기 RGB 영상을 휘도 영상과 색차 영상으로 변환하고, 상기 잡음이 제거된 휘도 영상과 상기 잡음이 제거된 색차 영상을 잡음이 제거된 RGB 영상으로 변환하는 컬러 공간 변환부를 더 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법 및 장치에 따르면, 입력 컬러 영상을 휘도 공간 영상과 색차 공간 영상으로 분리한 다음, 높은 품질이 요구되는 휘도 공간 영상에 고성능 필터를 적용하고, 색차 공간 영상은 휘도 공간 영상을 참고하여 고속의 잡음 제거과정을 수행할 수 있다.
따라서, 기존의 비-지역적 (non-local) 필터 수준의 높은 잡음 제거 성능을 가지면서도 상대적으로 낮은 연산 복잡도의 달성이 가능하다.
도 1 은 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법의 흐름도이다.
도 2 는 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법의 상세 흐름도이다.
도 3 은 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 블록도이다.
도 4 는 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 구성을 나타내는 상세 블록도이다.
도 5 는 컬러 공간 변환부의 동작에 관한 제 1 예시도이다.
도 6 은 컬러 공간 변환부의 동작에 관한 제 2 예시도이다.
도 7 은 휘도 영상 잡음 제거부 및 색차 영상 저감부의 동작에 관한 예시도이다.
도 8 은 패치 블록의 개념도이다.
도 9 는 패치 크기 결정부의 동작에 관한 예시도이다.
도 10 은 도 2 의 패치 블록의 크기를 결정하는 단계의 제 1 상세 흐름도이다.
도 11 은 도 2 의 패치 블록의 크기를 결정하는 단계의 제 2 상세 흐름도이다.
도 12 는 색차 영상 잡음 제거부의 동작에 관한 예시도이다.
도 13 은 도 2 의 색차 영상의 잡음을 제거하는 단계의 상세 흐름도이다.
도 14 는
Figure 112016059172870-pat00009
에 대한 컬러 채널들의 신호 대 잡음비를 나타내는 그래프 (a) 및 패치 크기에 대한 컬러 채널들에서의 패치들의 분산을 나타내는 그래프 (b) 이다.
도 15 는
Figure 112016059172870-pat00010
에 대한 예측된 채널들에서의 패치 x 및 잡음이 제거된 참조 채널들에서의 대응하는 패치 p 의
Figure 112016059172870-pat00011
를 나타내는 그래프이다.
도 16 은 BM3D 를 적용한 경우 및 WNNM 을 적용한 경우 각각의 WALP, ALP, WLP 의 비교를 나타내는 그래프이다.
도 17 은 종래 잡음 제거 방법들과 본 발명의 잡음 제거 방법에 따른 결과물의 비교도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
컬러 영상의 에너지는 적절한 휘도-색차 컬러 변환에 의해 휘도 채널에 집중될 수 있다. 또한, 인간 시각 시스템은 색차 채널의 컬러 정보보다 휘도 채널에서의 텍스처 정보에 민감하다. 본 발명에서는 휘도 채널과 같은 컬러 영상의 중요한 부분에 집중하고, 잡음 제거된 휘도 채널의 텍스쳐 정보를 두 개의 색차 채널에 패치 블록 단위의 선형 예측을 통해 전달하는 컬러 영상의 잡음을 제거하기 위한 방법 및 장치에 관한 것이다.
도 1 은 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법의 흐름도이고, 도 3 은 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 블록도이다. 도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법은 먼저 입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성할 수 있다 (S110). 이어서, 상기 잡음이 제거된 휘도 영상을 기반으로 상기 입력 컬러 영상의 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성할 수 있다(S120). 즉, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법에 따르면, 입력 컬러 영상의 휘도 영상에 대해서 먼저 잡음 제거를 수행한 뒤, 그 결과물을 기반으로 색차 영상에 대한 잡음 제거를 수행할 수 있다. 도 3 을 참조하면, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치 (300) 는 휘도 영상 잡음 제거부 (310) 및 색차 영상 잡음 제거부 (320) 를 포함하는 것에 의해, 컬러 영상의 잡음을 제거할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법의 상세 흐름도이고, 도 4 는 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 구성을 나타내는 상세 블록도이다. 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법 및 장치는, 선형 예측을 통해 색차 영상의 잡음 제거에 잡음 제거된 휘도 영상의 텍스쳐 정보를 전달하고, 휘도 채널에 대해 고성능의 잡음 제거 방식들을 유연하게 사용하는 것을 가능하게 하며, 색차 채널의 각 패치 블록의 분산에 따른 지역적 특성을 적응적으로 사용하도록 하는 것을 기술적 특징으로서 포함할 수 있다.
이러한 기술적 특징을 달성하기 위해, 도 2 에 도시된 바와 같이 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법은 먼저 RGB 영상을 휘도 영상 및 색차 영상으로 변환하고 (S210), 제 1 필터를 적용하여 휘도 영상의 잡음을 제거하며 (S220), 제 2 필터를 적용하여 색차 영상의 잡음을 저감하고 (S230), 잡음 저감된 색차 영상을 이용하여 패치 블록의 크기를 결정하며 (S240), 잡음 제거된 휘도 영상 및 잡음 저감된 색차 영상을 기반으로 결정된 패치 블록을 이용한 선형 예측을 수행함으로써 색차 영상의 잡음을 제거할 수 있다 (S250). 그리고 잡음이 제거된 휘도 영상 및 잡음이 제거된 색차 영상을 기반으로 변환을 수행함으로써 잡음이 제거된 RGB 영상을 생성할 수 있다 (S260).
또한, 상기와 같은 기술적 특징을 달성하기 위해, 도 4 에 도시된 바와 같이 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치 (400) 는 컬러 공간 변환부 (400-1, 400-2), 휘도 영상 잡음 제거부 (420), 색차 영상 잡음 저감부 (430), 패치 크기 결정부 (440) 및 색차 영상 잡음 제거부 (450) 를 포함할 수 있다. 이하, 도면을 참조하여 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법 및 장치에 대해서 보다 구체적으로 설명한다.
먼저, 도 2 에 도시된 바와 같이 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법은 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 RGB 영상을 휘도 영상과 색차 영상으로 변환할 수 있다 (S210). 관련하여, 도 5 는 컬러 공간 변환부 (410-1) 의 동작에 관한 제 1 예시도이다. 도 5 에 도시된 바와 같이, 컬러 공간 변환부 (410-1) 는 컬러 영상 (R, G, B) 을 휘도 영상 (Y) 및 색차 영상 (Cb, Cr) 으로 변환할 수 있다. 이러한 변환 및 산출 방법은 예를 들어 표준 YCbCr 산출 방법 (ITU-R BT.601, ITU-R BT.709, ITU-R BT.2020, JPEG) 을 사용할 수 있다. YCbCr 과 같이, 입력 컬러 영상이 휘도 영상인 경우 컬러 공간 변화 절차는 생략될 수 있다.
다시 도 2 를 참조하면, RGB 영상에서 변환된 휘도 영상 또는 직접 입력된 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성할 수 있다 (S220). 관련하여, 도 7 은 휘도 영상 잡음 제거부 및 색차 영상 저감부의 동작에 관한 예시도이다. 도 7 에 도시된 바와 같이, 휘도 영상 잡음 제거부 (420) 는 휘도 영상 (Y) 을 기반으로 잡음 제거된 휘도 영상 (Y') 을 생성할 수 있다. 여기서, 휘도 영상의 잡음 제거를 위해서는 위너 필터 (Wiener filter), 가우시안 필터 (Gaussian filter) 및 비-지역적 필터 (non-local filter) 중 적어도 하나가 사용될 수 있다. 보다 바람직하게는, 휘도 영상에 대한 보다 높은 잡음 제거 성능을 달성하기 위하여 고성능의 비-지역적 필터 (non-local filter) 가 사용될 수 있다.
한편, 선택적으로는 RGB 영상에서 변환된 색차 영상 또는 직접 입력된 컬러 영상의 색차 영상에 제 2 필터를 적용하여 1차적으로 잡음이 저감된 색차 영상을 생성할 수 있다 (S230). 관련하여, 도 7에 도시된 바와 같이, 색차 영상 잡음 저감부 (430) 는 색차 영상 (Cb, Cr) 을 기반으로 잡음 저감된 색차 영상 (Cb', Cr') 을 생성할 수 있다. 여기서, 색차 영상의 잡음 저감을 위해서는 위너 필터 (Wiener filter), 가우시안 필터 (Gaussian filter) 및 비-지역적 필터 (non-local filter) 중 적어도 하나가 사용될 수 있다. 보다 바람직하게는, 색차 영상 잡음 제거 과정의 고속화를 위해 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 가 사용될 수 있다.
즉, 제 1 필터는 제 2 필터보다 높은 잡음 제거 성능을 가지고, 제 2 필터는 제 1 필터보다 빠른 처리 속도를 가지도록 선택될 수 있으며, 구체적으로는 예를 들어 제 1 필터는 비-지역적 필터 (non-local filter) 일 수 있으며 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 일 수 있다. 한편, 본 발명의 일 측면에 따르면 상기와 같은 색차 영상에 대한 잡음 저감 절차는 생략될 수도 있다.
색차 영상에 대해서 제 2 필터를 통한 잡음 저감이 수행된 경우에, 잡음이 저감된 색차 영상 및 잡음이 제거된 휘도 영상을 기반으로 잡음이 제거된 색차 영상을 생성할 수 있다 (S250). 관련하여, 상기 잡음이 제거된 색차 영상을 생성하는 단계 (S250) 는, 소정 크기를 가지는 패치 블록이 잡음이 저감된 색차 영상 내에서 픽셀 단위로 이동하면서 수행될 수 있는바, 상기 잡음이 제거된 색차 영상을 생성하는 단계 (S250) 이전에, 잡음이 저감된 색차 영상을 기반으로 상기 패치 블록의 크기를 결정할 수 있다 (S240).
도 8 은 패치 블록의 개념도이고, 도 9 는 패치 크기 결정부의 동작에 관한 예시도이다. 도 8 에 도시된 바와 같이, 패치 블록 (820) 은 잡음이 저감된 색차 영상 (810) 내에서 슬라이딩 윈도우 (Sliding window) 의 방식으로 동작하여, 잡음이 저감된 색차 영상 내에서 픽셀 단위로 이동할 수 있다. k 번째 패치 블록은 예를 들어, w × w 의 크기를 가질 수 있다. 도 9 에 도시된 바와 같이, 패치 크기 결정부 (440) 에서는 잡음이 저감된 색차 영상 (Cb', Cr') 각각에 대해 국부적 특성을 파악하여 색차 영상의 잡음 제거를 위해 사용되는 패치 블록에 대한 크기 (w) 를 결정할 수 있다.
도 10 은 도 2 의 패치 블록의 크기를 결정하는 단계 (s240) 의 제 1 상세 흐름도이다. 도 10 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 패치 블록 (820) 의 크기는 상기 패치 블록의 잡음이 저감된 색차 영상 (810) 내에서의 위치와 무관하게 일정하게 결정될 수 있다. 도 10 에서, w × w 는 패치 크기를 나타내고, c 는 목표 분산 값을 나타내고,
Figure 112016059172870-pat00012
는 슬라이딩 윈도우를 통해 구한 영상 내 각 패치 블록 분산에 대한 평균을 나타내며, 하기와 같은 수학식 1 을 통해 계산될 수 있다.
Figure 112016059172870-pat00013
도 10 에 도시된 바와 같이, 먼저 영상 내 각 패치 블록 분산에 대한 평균을 산출하여 (S1010), 상기 분산에 대한 평균이 목표 분산 값과 동일한지 여부를 판단하고 (S1020), 동일한 경우 현재 패치 블록 크기를 최종 패치 블록 크기로 결정하고, 동일하지 않을 경우에는 패치 블록의 크기를 1 증가시킨 후 (S1030), 다시 S1010 내지 S1020 의 과정을 반복하여 수행할 수 있다.
즉, 도 2 의 패치 블록의 크기를 결정하는 단계 (S240) 는 잡음이 저감된 색차 영상 (810) 내에서 상기 패치 블록 (820) 이 이동하는 각각의 위치에서의 패치 블록의 분산 값들의 평균 (
Figure 112016059172870-pat00014
)이 미리 설정된 목표 분산 값 (c) 을 가지도록 상기 패치 블록의 크기 (w × w) 를 결정할 수 있다.
도 11 은 도 2 의 패치 블록의 크기를 결정하는 단계의 제 2 상세 흐름도이다. 도 11 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 패치 블록 (820) 의 크기는 상기 패치 블록의 잡음이 저감된 색차 영상 (810) 내에서의 위치에 따라 상이하게 결정될 수 있다. 도 11 에서,
Figure 112016059172870-pat00015
는 k 번째 픽셀을 중심으로 하는 패치 블록의 크기를 나타내며, c 는 목표 분산 값을 나타내고,
Figure 112016059172870-pat00016
는 각 k 번째 패치 블록에 대한 분산을 나타낸다.
도 11 에 도시된 바와 같이, 먼저 k 번째 패치 블록에 대한 분산을 산출하여 (S1110), k 번째 패치 블록에 대한 분산이 목표 분산 값과 동일한지 여부를 판단하고 (S1120), 동일한 경우에는 현재 패치 블록 크기를 k 번째 패치 블록의 최종 패치 블록 크기로 결정하고, 동일하지 않을 경우에는 패치 블록의 크기를 1 증가시킨 후 (S1130), 다시 S1120 내지 S1130 의 과정을 반복 수행함으로써 k 번째 패치 블록의 최종 패치 블록 크기를 결정할 수 있다.
k + 1 번째 패치 블록에 대해서도 상기 최종 패치 블록 크기 결정을 수행함으로써 (S1150), k = 1, 2, 3, … , N 의 N 개의 패치 블록에 대해서 각각의 패치 블록 크기를 결정할 수 있다 (S1140).
즉, 도 2 의 패치 블록의 크기를 결정하는 단계 (S240) 는 잡음이 저감된 색차 영상 (810) 내에서 상기 패치 블록 (820) 이 이동하는 각각의 위치에서의 상기 패치 블록 (810) 의 분산 값이 미리 설정된 목표 분산 값을 가지도록, 상기 패치 블록 (810) 의 크기 (w × w) 를 위치별로 상이하게 결정할 수 있다.
다시 도 2 를 참조하면, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법은 잡음이 제거된 휘도 영상을 기반으로 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성할 수 있다 (S250). 상기 색차 영상은 RGB 영상에서 변환된 휘도 영상, 직접 입력된 컬러 영상의 휘도 영상 및 잡음이 저감된 색차 영상 중 어느 하나일 수 있다. 여기서, 잡음이 제거된 색차 영상을 생성하는 단계 (S250) 는, 휘도 영상 잡음 제거 단계 (S220) 를 통해 잡음이 제거된 휘도 영상 내의 제 1 위치의 패치 블록으로부터 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 상기 잡음이 제거된 색차 영상을 생성할 수 있다. 관련하여, 도 12 는 색차 영상 잡음 제거부의 동작에 관한 예시도이다. 도 12 에 도시된 바와 같이, 색차 영상 잡음 제거부 (450) 는 잡음 제거된 휘도 영상 (Y'), 잡음 저감된 색차 영상 (Cb', Cr') 및 결정된 패치 크기 (w) 를 이용하여 잡음 제거된 색차 영상 (Cb'', Cr'') 을 생성할 수 있다.
보다 구체적으로, 잡음이 저감된 색차 영상 내의 k 번째 패치의 잡음은 하기와 같은 선형 예측식인 수학식 2 를 통해 제거할 수 있다.
Figure 112016059172870-pat00017
단, 여기서
Figure 112016059172870-pat00018
는 잡음이 제거된 색차 영상 내의 패치 블록,
Figure 112016059172870-pat00019
는 잡음이 제거된 휘도 영상 내의 패치 블록,
Figure 112016059172870-pat00020
는 잡음이 저감된 색차 영상 내의 패치 블록을 나타낼 수 있다.
도 13 은 도 2 의 색차 영상의 잡음을 제거하는 단계 (S250) 의 상세 흐름도이다. 도 13 을 참조하여, 본 발명의 일 실시예에 따른 색차 영상의 잡음 제거 과정을 보다 상세히 설명한다. 도 13 에서, k 는 픽셀 위치를 나타내고, k = 1,..., N 으로 설정될 수 있으며,
Figure 112016059172870-pat00021
및
Figure 112016059172870-pat00022
는 각각 y 와 p 의 평균을 나타내고,
Figure 112016059172870-pat00023
는 패치 블록 p 의 분산을 나타내고, R(.) 는 패치 블록 위치 지정 연산자이고, Sk 는 k 번째 픽셀 위치가 오버랩된 패치 블록의 갯수를 나타낼 수 있다.
도 13 에 도시된 바와 같이, p = k 번째 패치 블록이라 할 때 (S1310), 패치 블록 p 의 분산
Figure 112016059172870-pat00024
가 0 인지 여부를 결정하여 (S1320), 분산
Figure 112016059172870-pat00025
가 0 인 경우에는 상기 수학식 2 의 a 를 0 으로, b 를 잡음이 저감된 색차 영상 내의 패치 블록의 평균
Figure 112016059172870-pat00026
로 결정할 수 있다 (S1330). 분산
Figure 112016059172870-pat00027
가 0 이 아닌 경우에는 하기와 같은 수학식 3 을 통해 상기 수학식 2 의 a 및 b 를 결정할 수 있다(S1340).
Figure 112016059172870-pat00028
선형 예측식의 계수 a 및 b 가 결정되면, 하기와 같은 수학식 4 를 통해 k 번째 픽셀 위치의 잡음이 제거된 패치 블록
Figure 112016059172870-pat00029
를 예측할 수 있다.
Figure 112016059172870-pat00030
N 번째 픽셀 위치에 이르기까지, 패치 블록의 선형 예측을 반복 수행한다 (S1360 및 S1370). 이후, 하기와 같은 수학식 5 를 통해 최종적으로 잡음이 제거된 패치 블록
Figure 112016059172870-pat00031
를 산출할 수 있다 (S1380).
Figure 112016059172870-pat00032
여기서, k 번째 픽셀 위치가 오버랩된 패치 블록의 갯수인 Sk 를 고려함으로써, 잡음이 제거된 색차 영상 내의 k 번째 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 k 번째 픽셀 값으로 결정할 수도 있다.
다시 도 2 를 참조하면, 잡음이 제거된 휘도 영상과 잡음이 제거된 색차 영상을 변환함으로써, 잡음이 제거된 RGB 영상을 최종적으로 획득할 수 있다 (S260). 관련하여, 도 6 은 컬러 공간 변환부의 동작에 관한 제 2 예시도이며, 도 6 에 도시된 바와 같이 컬러 공간 변환부 (410-2) 는 휘도 영상 (Y) 및 색차 영상 (Cb, Cr) 을 컬러 영상 (R, G, B) 로 변환할 수 있다. 컬러 공간 변환부 (410-2) 는 컬러 공간 변환부 (410-1) 과 일체로서 형성될 수 있고, 컬러 공간 변환부 (410-1) 와 독립하여 별개로서 형성될 수 있다.
도 4 는 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 구성을 나타내는 상세 블록도이다. 도 4 에 도시된 바와 같이 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치 (400) 는 컬러 공간 변환부 (400-1, 400-2), 휘도 영상 잡음 제거부 (420), 색차 영상 잡음 저감부 (430), 패치 크기 결정부 (440) 및 색차 영상 잡음 제거부 (450) 를 포함할 수 있다.
휘도 영상 잡음 제거부 (420) 는 입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성할 수 있고, 색차 영상 잡음 제거부 (450) 는 상기 잡음이 제거된 휘도 영상을 기반으로 상기 입력 컬러 영상의 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성할 수 있다.
색차 영상 잡음 저감부 (430) 는 상기 입력 컬러 영상의 색차 영상에 제 2 필터를 적용하여 잡음이 저감된 색차 영상을 생성할 수 있으며, 상기 색차 영상 잡음 제거부 (450) 는 상기 잡음이 저감된 색차 영상을 처리함으로써 상기 잡음이 제거된 색차 영상을 생성할 수도 있다.
여기서, 제 1 필터는 제 2 필터보다 높은 잡음 제거 성능을 가지고, 제 2 필터는 제 1 필터보다 빠른 처리 속도를 가지며, 보다 바람직하게는 제 1 필터는 비-지역적 필터 (non-local filter) 이고, 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 일 수 있다.
색차 영상 잡음 제거부 (450) 는 소정 크기를 가지는 패치 블록을 잡음이 저감된 색차 영상 내에서 픽셀 단위로 이동시키면서 상기 잡음이 제거된 색차 영상을 생성할 수 있으며, 패치 크기 결정부 (440) 는 잡음이 저감된 색차 영상을 기반으로 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 패치 블록의 크기는 패치 블록의 위치와 무관하게 일정하고, 패치 크기 결정부 (440) 는 잡음이 저감된 색차 영상 내에서 패치 블록이 이동하는 각각의 위치에서의 패치 블록의 분산 값들의 평균이 미리 설정된 목표 분산 값을 가지도록 패치 블록의 크기를 결정할 수 있다.
일 측면에 따르면, 패치 블록의 크기는 패치 블록의 위치에 따라 상이하고, 패치 크기 결정부 (440) 는 잡음이 저감된 색차 영상 내에서 패치 블록이 이동하는 각각의 위치에서의 패치 블록의 분산 값이 미리 설정된 목표 분산 값을 가지도록 패치 블록의 크기를 결정할 수 있다.
색차 영상 잡음 제거부 (450) 는, 잡음이 제거된 휘도 영상 내의 제 1 위치의 패치 블록으로부터 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 잡음이 제거된 색차 영상을 생성할 수 있으며, 구체적으로는 전술한 수학식 1 을 통해 잡음이 제거된 색차 영상을 생성할 수 있다.
색차 영상 잡음 제거부 (450) 는, 잡음이 제거된 색차 영상 내의 제 1 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 제 1 픽셀 값으로 결정할 수도 있다. 한편, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치는 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 RGB 영상을 휘도 영상과 색차 영상으로 변환하거나, 잡음이 제거된 휘도 영상과 잡음이 제거된 색차 영상을 잡음이 제거된 RGB 영상으로 변환하는 컬러 공간 변환부 (410-1, 410-2) 를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 장치의 구체적인 동작은, 전술한 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법에 따를 수 있다.
이하, 본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거하기 위한 방법 및 장치에 적용될 수 있는 선형 예측 및 적응적 패치 크기 결정에 관하여 보다 상세히 설명한다.
본 발명의 일 실시예에 따른 컬러 영상의 잡음을 제거에 적용될 수 있는 선형 예측을 통해, 참조 영상 p 로부터 다음 수학식 6 과 같이 길이 N을 갖는 신호 벡터 x의 예측된 값
Figure 112016059172870-pat00033
를 생성할 수 있다.
Figure 112016059172870-pat00034
여기서 a, b 는 상수이며 1N은 길이 N 의 1 값을 갖는 벡터이다. 해당 선형 예측식은 티호노프 (Tikhonov) 정규화, 선형 회귀, 또는 가이드된 (guided) 필터를 통해 구할 수 있다. 해당 방식은 영상/비디오 압축과정에서 휘도 채널로부터 색차 채널을 예측하는 방법 및 비디오 잡음 제거 과정에서 R (또는 G, B) 패치가 다른 여러 프레임에 있는 패치들로부터 예측되는 방법에서 사용되어왔다. 가이드된 필터와 같은 필터링 방식은 안개 제거, 영상 퓨전 (fusion), 그리고 플래시 잡음제거/디블러링과 같은 컴퓨터 비전/그래픽스 분야의 다양한 응용에 적용되었다. 본 발명은 잡음이 존재하는 경우의 성질을 찾고, 컬러 영상 잡음 제거를 위한 텍스처-전달 방법에 선형 예측을 적용할 수 있다.
잡음이 있는 경우의 선형 예측
상기 수학식 6 과 같이, 참조 신호 p 로부터 길이 N 의 신호 벡터 x 을 선형예측 한다고 가정하면 y는 잡음 n 을 갖는 x 로부터의 잡음 관측된 신호이며, y=x+n 으로 표현된다. 이를 통해
Figure 112016059172870-pat00035
를 산출 가능하다. 만약 p가 플랫하면 a=0, b=
Figure 112016059172870-pat00036
이다. 그렇지 않으면, 다음과 같이 수학식 7 을 통해 구할 수 있다.
Figure 112016059172870-pat00037
Figure 112016059172870-pat00038
,
Figure 112016059172870-pat00039
,
Figure 112016059172870-pat00040
,
Figure 112016059172870-pat00041
은 각각 x,y,p,n 에 대한 평균이고,
Figure 112016059172870-pat00042
,
Figure 112016059172870-pat00043
,
Figure 112016059172870-pat00044
,
Figure 112016059172870-pat00045
은 분산 값이다. x 와 n각각에 대해 p와의 상관도를
Figure 112016059172870-pat00046
와
Figure 112016059172870-pat00047
로 나타내면, 예측 오류는 다음과 같이 수학식 8 을 통해 나타낼 수 있다.
Figure 112016059172870-pat00048
상기 수학식 3 에서 E 는
Figure 112016059172870-pat00049
과
Figure 112016059172870-pat00050
에 의한 잡음 분산
Figure 112016059172870-pat00051
에 의존한다. 또한 E 는 예측 신호 x,
Figure 112016059172870-pat00052
, x 와 p 간의 절대 상관도인
Figure 112016059172870-pat00053
에 의존한다. 따라서,
Figure 112016059172870-pat00054
가 작을수록,
Figure 112016059172870-pat00055
가 클수록 선형예측은 더욱 정확해진다. 또한, 만약 잡음이 신호 p 에 독립적이고 (
Figure 112016059172870-pat00056
= 0) 평균이 0 이면 (
Figure 112016059172870-pat00057
= 0),
Figure 112016059172870-pat00058
이고
Figure 112016059172870-pat00059
가 된다. 이러한 경우, 잡음이 존재한다고 해도, 잡음이 있는 패치로부터 선형 예측을 수행하는 경우의 성능은 잡음이 없는 패치 x 로부터 수행하는 것과 유사하다고 볼 수 있다. 컬러 채널별로 동일한 물체의 텍스쳐 정보는 유사하고, 선형 예측을 통한 텍스쳐 전송의 효과가 증가하게 된다.
텍스쳐 전달을 통한 컬러영상 잡음 제거
컬러 채널 C = R, G, B 가 잡음분산
Figure 112016059172870-pat00060
를 갖는 잡음이 있다고 가정하면, 본 발명의 일 실시예에 따른 방법은 먼저 잡음 영상을 휘도-색차 공간으로 변환하는 과정을 수행한다. 본 발명의 방법은 휘도 영상에 대해 최고의 잡음제거 성능을 낼 수 있도록 최적의 잡음제거 방법을 선택하여 적용할 수 있다. 잡음 제거된 휘도 채널로부터 수학식 6 과 같은 선형예측식 및 수학식 7 의 계수 산출식을 통해 색차영상에 텍스쳐 정보가 전송된다. 여기서 x는 잡음이 없는 원본영상, y는 색차 채널에서 잡음이 있는 패치이다. p는 잡음 제거된 휘도 채널에서의 동일 위치에 있는 패치이다. 선형 예측을 통한 잡음 제거된 색차 영상의 획득과정에서, w×w(=N) 크기의 예측 패치들은 픽셀 단위로 이동되면서 잡음 제거된 패치 블록들을 산출한다. 영상 내의 각 픽셀들은 관련된 패치 블록 내의 관련된 픽셀 값들의 평균을 통해 산출된다. 마지막으로 잡음 제거된 휘도 채널 및 텍스쳐-전송된 색차 채널은 RGB 컬러 공간으로 변환된다.
대응 (opponent) 컬러 공간내의 텍스쳐 전송
본 발명에 적용될 수 있는 텍스쳐 전송 기반 컬러 영상 잡음 제거 방법 (CDTT) 의 성능은 높은 신호대잡음비 (SNR) 을 가질수록 잡음 제거된 채널의 성능을 향상시킬 수 있다. 다른 두 텍스쳐 전송된 채널들은 낮은 분산을 갖는 경우 향상될 수 있다. 성능 향상을 위한 이러한 조건들은 카루넨 루베 변환 (Karhunen-Loeve Transform, KLT) 와 같은 R, G, B 채널의 공분산행렬의 특이 벡터를 기저로 하는 최적변환 방법을 통해 잡음제거를 원하는 영상의 에너지를 한쪽 채널에 집중하도록 나타나게 된다. 본 발명에서는 KLT 방법에 의해 생성된 컬러 채널들을 특이 값들의 내림차순에 따라 각각 KLT1, KLT2 및 KLT3 이라 부른다. 도 14 의 (a) 에 나타난 것과 같이, KLT1의 SNR 이 RGB 채널보다 3dB 더 높다. KLT2 와 KLT3 에서는 에너지가 덜 집중되는 것을 알 수 있는데, 분산이 RGB 채널보다 4 배 이상 줄어드는 것을 도 14 의 (b) 를 통해 확인할 수 있다. 자연 영상의 경우, 휘도 및 채도공간에서의 에너지집중 정도는 YCbCr 및 컬러공간변환이 최적의 KLT를 수행하는 것과 성능이 유사하다. 휘도 공간 O1 (또는 Y) 의 SNR이 KLT1과 유사하며, 따라서 RGB 컬러공간을 사용하는 것보다 더 선호될 수 있다. 반면, 색차 공간 Cb, Cr, O2, O3에서의 분산은 RGB 채널보다 훨씬 작다. 잡음 제거된 채널과 예측 채널 간의 상관도
Figure 112016059172870-pat00061
의 관점에서 보면, 도 14 에서 관측되는 것처럼 작은 잡음 분산
Figure 112016059172870-pat00062
및 큰 패치 크기 w를 갖는 경우 휘도-색차 컬러 공간이 RGB 컬러 공간에서 수행하는 것보다
Figure 112016059172870-pat00063
가 작기 때문에 선호되지는 않는다.
Figure 112016059172870-pat00064
에 의한 단점에도 불구하고, 본 발명에 적용될 수 있는 CDTT 는 휘도 채널의 높은 SNR 이 색차 공간의 분산 감소보다 중요하기 때문에 영상을 휘도-색차 공간으로 변환하는 것을 사용할 수 있다. 해당 관점을 통해, 본 발명은 대응 컬러 공간을 YCbCr 또는 KLT공간을 더 선호한다. (도 14 의 (a) 와 같이 O1 의 SNR 이 YCbCr 공간의 Y 보다 높고, KLT1과 유사하다. 데이터에 의존적인 KLT 산출에 대한 비용은 고려하지 않았다.)
적응적 패치 크기를 통한 텍스쳐 전송방법
선형 예측을 처리하는 과정에서 각각의 패치들이 오버랩되는 방법을 사용하기 때문에, 텍스쳐 전송의 성능은 선형 예측의 성능뿐만 아니라 각 픽셀에 관련되는 패치의 개수와도 연관된다. 큰 크기를 갖는 패치는 특히 영상 내 물체의 경계부분에서 보통 높은 분산
Figure 112016059172870-pat00065
을 나타내는 경향이 있다. 예를들어, 도 14 의 (a) 에서 YCbCr 또는 대응 컬러 공간 관계없이 모든 색차 채널들에 대해 패치크기가 w = 4 에서 w = 32 까지 변하는 동안 분산이 선형적으로 증가하는 것을 알 수 있다. 따라서, 수학식 8 에 따라 텍스쳐-전송의 성능 측면에서 감소를 야기하게 된다. 보다 구체적으로, 영상 내 물체 경계면에서의 높은 예측 오류는 도 17의 (g)와 같은 컬러 스미어링 (smearing) 현상을 보이게 되며, 이는 인간의 인지적인 측면에서 불쾌함을 나타내는 요소이다. 반면에 큰 패치 크기는 각 픽셀에 대해 더 많은 수의 예측된 값을 산출하게 되어, 더욱 평균값 산출에 더 많은 수의 샘플이 적용된다. 따라서 작은 분산에 대한 가능성이 높은 작은 패치 크기 및 많은 수의 예측 값을 산출하는 큰 패치 크기 사이의 적절한 패치 크기를 찾는 것이 중요하다.
이러한 트레이드 오프 (Tradeoff) 를 고려한 측면에서, 본 발명에서는 도 15를 통해 관측한 것과 같이 상호 상관도
Figure 112016059172870-pat00066
는 패치 크기에 큰 영향을 미치지 않는다는 것을 전제로 예측 오류를 간략화하였다. 따라서, 수학식 8 에서의 예측 오류 경계 E 는 현재 패치에 대한 분산
Figure 112016059172870-pat00067
에만 의존하게 된다. 본 발명에서는 모든 패치들의 분산 값을 동일하게 적용하도록 패치 크기를 결정할 수도 있다. 즉,
Figure 112016059172870-pat00068
을 만족하는 패치 크기를 찾을 수 있다. 여기서, c는 상수이며,
Figure 112016059172870-pat00069
는 잡음이 있는 색차 채널 O2 또는 O3에서의 중심이 (i,j)인 w×w 크기를 갖는 패치에 대한 분산이다.
Figure 112016059172870-pat00070
는 잡음이 있는 채널 내의
Figure 112016059172870-pat00071
와 관련된 패치들의 분산을 빼는 것으로 예측 가능하다.
이러한 설정에 의해, 영상에서 매끈한(smoot) 영역에서의 패치는 크게 설정되고, 반면에 물체의 경계면과 같은 복잡한 영역에서는 작은 크기로 설정될 수 있다. 패치 블록의 크기가 너무 크거나 너무 작으면 안되기 때문에,
Figure 112016059172870-pat00072
을 설정할 수 있다. 위너 (Wiener) 필터와 같은 간단한 필터가 더 정확한 패치 크기 예측을 위해 수학식 8 의 오류 경계 내에서의 잡음-분산을 줄이기 위한 전처리 과정으로 사용될 수도 있다.
실험예
실험예에서는 Kodak 컬러 테스트 영상에 가우시안 잡음
Figure 112016059172870-pat00073
= {10, 20, 30, 40}을 추가한 영상을 사용하였다. wmax = 7, 9, 12, 15, 그리고 wmin = 3 을 사용하였다. 제안하는 CDTT는
Figure 112016059172870-pat00074
및
Figure 112016059172870-pat00075
를 가정하였으며, 이것이 반드시 가우시안 잡음에만 한정되는 것은 아니다. 게다가, O3의 분산이 O2의 분산보다 작기 때문에, 그로 인한 예측 시의 잡음에 보다 더 영향을 받게되므로 이 또한 고려하여야 한다. 따라서, 본 발명에서는 상수 c를
Figure 112016059172870-pat00076
패치의 평균 분산 크기로 설정함으로써 O3에서는
Figure 112016059172870-pat00077
, O2에서는
Figure 112016059172870-pat00078
로 하여 O3의 패치 블록의 크기가 평균적으로 O2보다 더 크도록 하였다. 제안하는 CDTT의 O1 휘도채널에 대한 잡음제거를 위해, BM3D 및 WNNM 가 사용되었다. 제안하는 CDTT 방법은 채널 독립적인 잡음제거 방법인 BM3D 및 WNNM 그리고 최신의 컬러 영상 잡음 제거 방법인 CBM3D, HOSVD, DVTV, KQSVD 와 성능 비교를 수행하였다.
잡음제거 방법인 WNNM 은 WNNM (weighted nuclear norm method) 을 통해 영상의 비-지역적 (nonlocal) 특성을 추출한다. 해당 방법은 채널 독립적인 잡음 제거 효과를 제공하며 이는 하기의 표 1 에서
Figure 112016059172870-pat00079
= 10일 때 BM3D 방법과 비교시 각각 34.92dB 및 34.53dB로 더 뛰어나다. 따라서, CDTT 의 잡음제거 방법의 유연함은 제안방법에 WNNM 방법을 적용하는 경우 CDTT의 성능이 BM3D 을 사용하는 경우 대비
Figure 112016059172870-pat00080
= 10에서 36.70dB 및 36.37dB로 더 낫다는 것을 보여준다. 제안하는 CDTT 의 각 요소기능 (전처리과정에서 위너 필터 적용 및 적응적 패치 크기) 별 성능에 대한 평가를 위해 간단한 선형 예측만 적용한 방법과의 비교를 도 16 과 같이 수행하였다. 평균적으로 전처리과정을 적용하는 경우 BM3D 및 WNNM 을 적용한 경우에 대해 각각 0.05dB 및 0.06dB의 성능 향상이 있었다. 반면에 적응적 패치 크기는 0.25dB및 0.27dB의 성능 향상이 있었다. 위너 필터를 활용한 전처리과정은 패치 블록 크기 적응과정을 위해 보다 정확한 패치 분산 예측을 산출할 수 있게 한다. 따라서 적응적 패치 크기 결정과정 및 전처리과정은 CDTT의 성능을 0.34dB 및 0.37dB크게 향상시킨다.
Figure 112016059172870-pat00081
다른 최신의 방법들과 비교한 결과를 상기 표 1에서 볼 수 있다. 휘도 채널에 WNNM을 적용한 제안하는 CDTT 방법은 총분산 (Total variation) 기반의 DVTV 및 쿼터니언(Quaternion) 기반의 KQSVD 와 비교시, 평균 1.79dB 및 2.58dB 더 뛰어나다. HOSVD 는 비-지역적 (nonlocal) 패치의 고차원 특이 값 (higher order singular values) 에 위너 필터를 적용하여 성능을 보다 향상시킬 수 있으나, 그럼에도 불구하고 제안하는 CDTT가 HOSVD 보다 0.22dB 더 높게 측정되었다. 표 1 에서와 같이 CBM3D 는 대응 컬러 채널에서 YCbCr 채널보다 더 효과적인 것을 알 수 있다. 그럼에도 불구하고, 제안방법이 평균적으로 0.17dB 더 높다. FSIMc 성능 측면에서도 CDTT는 최신의 다른 방법보다 우수함을 알 수 있다.
주관적 화질 측면에서, 선형 예측 방법만을 사용한 제안하는 CDTT 방법에 의한 결과는 영상 내 물체 경계면에서 컬러 스미어링 (smearing) 현상이 나타나는 것을 확인할 수 있다. 예를 들어, 도 17 의 (g) 에서와 같이 핑크색 모자의 경계 부근에서 푸른색 하늘이 핑크색으로 왜곡되는 것을 볼 수 있다. 이러한 문제는 전처리과정 및 적응적 패치 크기 결정과정을 추가함으로써 개선할 수 있다. 다른 방법들과 비교 시, 제안하는 CDTT는 휘도 채널로부터 텍스쳐를 전달함으로써 도 17 의 (h) 와 같이 보다 깨끗한 영상을 획득하는 것을 볼 수 있다.
마지막으로, 제안하는 CDTT 의 연산 복잡도는 하기의 표 2 와 같다. 제안 방법은 매트랩 (Matlab) 상에서 구현하였으며 휘도 영상의 잡음 제거 방법으로 WNNM을 사용하였다. 결과적으로 CDTT 는 평균 1373초를 소요하였으며, 이는 휘도 채널에서 걸리는 1352초에 비해 1.5% 정도의 약간 증가하는 결과이다. 이를 통해, 색차 채널에서는 휘도 채널에 비해 고속의 잡음제거가 수행됨을 확인할 수 있다.
Figure 112016059172870-pat00082
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (27)

  1. 컬러 영상의 잡음을 제거하기 위한 방법으로서,
    입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성하는 단계;
    상기 입력 컬러 영상의 색차 영상에 제 2 필터를 적용하여 잡음이 저감된 색차 영상을 생성하는 단계; 및
    상기 잡음이 제거된 휘도 영상을 기반으로 상기 잡음이 저감된 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성하는 단계를 포함하고,
    상기 잡음이 제거된 색차 영상을 생성하는 단계는, 상기 잡음이 제거된 휘도 영상 내의 소정 크기를 가지는 제 1 위치의 패치 블록으로부터 상기 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 상기 잡음이 제거된 색차 영상을 생성하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 필터는 상기 제 2 필터보다 높은 잡음 제거 성능을 가지고,
    상기 제 2 필터는 상기 제 1 필터보다 빠른 처리 속도를 가지는, 컬러 영상의 잡음을 제거하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 제 1 필터는 비-지역적 필터 (non-local filter) 인, 컬러 영상의 잡음을 제거하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 인, 컬러 영상의 잡음을 제거하기 위한 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 잡음이 제거된 색차 영상을 생성하는 단계 이전에, 상기 잡음이 저감된 색차 영상을 기반으로 상기 패치 블록의 크기를 결정하는 단계를 더 포함하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 패치 블록의 크기는 상기 패치 블록의 위치와 무관하게 일정하고,
    상기 패치 블록의 크기를 결정하는 단계는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값들의 평균이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  9. 제 7 항에 있어서,
    상기 패치 블록의 크기는 상기 패치 블록의 위치에 따라 상이하고,
    상기 패치 블록의 크기를 결정하는 단계는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 선형 예측은 하기의 수학식을 통해 수행되는, 컬러 영상의 잡음을 제거하기 위한 방법.
    Figure 112017057410728-pat00083

    단, 여기서
    Figure 112017057410728-pat00084
    는 잡음이 제거된 색차 영상 내의 패치 블록,
    Figure 112017057410728-pat00085
    는 잡음이 제거된 휘도 영상 내의 패치 블록,
    Figure 112017057410728-pat00086
    는 잡음이 저감된 색차 영상 내의 패치 블록을 나타냄.
  12. 제 1 항에 있어서,
    상기 잡음이 제거된 색차 영상을 생성하는 단계는, 상기 잡음이 제거된 색차 영상 내의 제 1 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 제 1 픽셀 값으로 결정하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 상기 RGB 영상을 휘도 영상과 색차 영상으로 변환하는 단계를 더 포함하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  14. 제 1 항에 있어서,
    상기 잡음이 제거된 휘도 영상과 상기 잡음이 제거된 색차 영상을 잡음이 제거된 RGB 영상으로 변환하는 단계를 더 포함하는, 컬러 영상의 잡음을 제거하기 위한 방법.
  15. 컬러 영상의 잡음을 제거하기 위한 장치로서,
    입력 컬러 영상의 휘도 영상에 제 1 필터를 적용하여 잡음이 제거된 휘도 영상을 생성하는 휘도 영상 잡음 제거부;
    상기 입력 컬러 영상의 색차 영상에 제 2 필터를 적용하여 잡음이 저감된 색차 영상을 생성하는 색차 영상 잡음 저감부; 및
    상기 잡음이 제거된 휘도 영상을 기반으로 상기 잡음이 저감된 색차 영상을 처리함으로써 잡음이 제거된 색차 영상을 생성하는 색차 영상 잡음 제거부를 포함하고,
    상기 색차 영상 잡음 제거부는, 상기 잡음이 제거된 휘도 영상 내의 소정 크기를 가지는 제 1 위치의 패치 블록으로부터 상기 잡음이 제거된 색차 영상 내의 상기 제 1 위치의 패치 블록을 선형 예측함으로써 상기 잡음이 제거된 색차 영상을 생성하는, 컬러 영상의 잡음을 제거하기 위한 장치.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 제 1 필터는 상기 제 2 필터보다 높은 잡음 제거 성능을 가지고,
    상기 제 2 필터는 상기 제 1 필터보다 빠른 처리 속도를 가지는, 컬러 영상의 잡음을 제거하기 위한 장치.
  18. 제 15 항에 있어서,
    상기 제 1 필터는 비-지역적 필터 (non-local filter) 인, 컬러 영상의 잡음을 제거하기 위한 장치.
  19. 제 18 항에 있어서,
    상기 제 2 필터는 위너 필터 (Wiener filter) 또는 가우시안 필터 (Gaussian filter) 인, 컬러 영상의 잡음을 제거하기 위한 장치.
  20. 삭제
  21. 제 15 항에 있어서,
    상기 잡음이 저감된 색차 영상을 기반으로 상기 패치 블록의 크기를 결정하는 패치 크기 결정부를 더 포함하는, 컬러 영상의 잡음을 제거하기 위한 장치.
  22. 제 21 항에 있어서,
    상기 패치 블록의 크기는 상기 패치 블록의 위치와 무관하게 일정하고,
    상기 패치 크기 결정부는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값들의 평균이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정하는, 컬러 영상의 잡음을 제거하기 위한 장치.
  23. 제 21 항에 있어서,
    상기 패치 블록의 크기는 상기 패치 블록의 위치에 따라 상이하고,
    상기 패치 크기 결정부는 상기 잡음이 저감된 색차 영상 내에서 상기 패치 블록이 이동하는 각각의 위치에서의 상기 패치 블록의 분산 값이 미리 설정된 목표 분산 값을 가지도록 상기 패치 블록의 크기를 결정하는, 컬러 영상의 잡음을 제거하기 위한 장치.
  24. 삭제
  25. 제 15 항에 있어서,
    상기 선형 예측은 하기의 수학식을 통해 수행되는, 컬러 영상의 잡음을 제거하기 위한 장치.
    Figure 112017057410728-pat00087

    단, 여기서
    Figure 112017057410728-pat00088
    는 잡음이 제거된 색차 영상 내의 패치 블록,
    Figure 112017057410728-pat00089
    는 잡음이 제거된 휘도 영상 내의 패치 블록,
    Figure 112017057410728-pat00090
    는 잡음이 저감된 색차 영상 내의 패치 블록을 나타냄.
  26. 제 15 항에 있어서,
    상기 색차 영상 잡음 제거부는 상기 잡음이 제거된 색차 영상 내의 제 1 픽셀에 오버랩된 복수의 패치 블록들 각각의 선형 예측 값의 평균을 제 1 픽셀 값으로 결정하는, 컬러 영상의 잡음을 제거하기 위한 장치.
  27. 제 15 항에 있어서,
    상기 입력 컬러 영상이 RGB 영상이라는 결정에 응답하여 상기 RGB 영상을 휘도 영상과 색차 영상으로 변환하고, 상기 잡음이 제거된 휘도 영상과 상기 잡음이 제거된 색차 영상을 잡음이 제거된 RGB 영상으로 변환하는 컬러 공간 변환부를 더 포함하는, 컬러 영상의 잡음을 제거하기 위한 장치.
KR1020160076587A 2016-06-20 2016-06-20 컬러 영상의 잡음을 제거하기 위한 방법 및 장치 KR101791789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160076587A KR101791789B1 (ko) 2016-06-20 2016-06-20 컬러 영상의 잡음을 제거하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160076587A KR101791789B1 (ko) 2016-06-20 2016-06-20 컬러 영상의 잡음을 제거하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101791789B1 true KR101791789B1 (ko) 2017-10-31

Family

ID=60301413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160076587A KR101791789B1 (ko) 2016-06-20 2016-06-20 컬러 영상의 잡음을 제거하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101791789B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670870B1 (ko) * 2023-10-10 2024-05-30 주식회사 포바이포 딥러닝 기반 영상 노이즈 저감 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175718A (ja) * 2003-12-09 2005-06-30 Olympus Corp 撮像システムおよび画像処理プログラム
JP2006330938A (ja) * 2005-05-24 2006-12-07 Canon Inc 画像処理装置およびその方法、および画像処理システム
JP2007201541A (ja) * 2006-01-23 2007-08-09 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR101551568B1 (ko) * 2014-04-07 2015-09-08 한양대학교 산학협력단 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175718A (ja) * 2003-12-09 2005-06-30 Olympus Corp 撮像システムおよび画像処理プログラム
JP2006330938A (ja) * 2005-05-24 2006-12-07 Canon Inc 画像処理装置およびその方法、および画像処理システム
JP2007201541A (ja) * 2006-01-23 2007-08-09 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR101551568B1 (ko) * 2014-04-07 2015-09-08 한양대학교 산학협력단 가변 크기 블록을 이용한 영상 잡음 제거 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670870B1 (ko) * 2023-10-10 2024-05-30 주식회사 포바이포 딥러닝 기반 영상 노이즈 저감 장치

Similar Documents

Publication Publication Date Title
KR100564592B1 (ko) 동영상 데이터 잡음제거방법
KR100754181B1 (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
KR100624421B1 (ko) 디지탈 영상 신호 필터링 장치 및 방법
CN102769722B (zh) 时域与空域结合的视频降噪装置及方法
US8249380B2 (en) Image processor and program
KR101901602B1 (ko) 디지털 사진에서 노이즈를 제거하는 장치 및 방법
CN101322403B (zh) 用于图像和视频去噪的自回归方法和滤波
CN106251318B (zh) 一种序列图像的去噪装置及方法
US10257449B2 (en) Pre-processing for video noise reduction
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
CN110246087B (zh) 参考多通道的多分辨率去除图像色度噪声的系统和方法
KR20160102524A (ko) 이미지의 역 톤 매핑을 위한 방법
EP3203439B1 (en) Method and device for reducing noise in a component of a picture
US10755399B2 (en) Image processing device, image processing method, and image processing program
Guo et al. Temporal video denoising based on multihypothesis motion compensation
WO2008119228A1 (en) Low complexity color de-noising filter
US20160343113A1 (en) System for enhanced images
Kim et al. A novel framework for extremely low-light video enhancement
CN113612996A (zh) 一种基于时域滤波的视频降噪的方法及装置
KR20100101463A (ko) 노이즈 저감 장치 및 방법
KR101791789B1 (ko) 컬러 영상의 잡음을 제거하기 위한 방법 및 장치
Josephus et al. Multilayered contrast limited adaptive histogram equalization using frost filter
CN110599406B (zh) 一种图像增强方法及装置
CN111654686A (zh) 去除图像彩噪的方法、去除视频彩噪的方法及相关装置
KR20100055067A (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant