KR20230095791A - 이미지 처리 장치 및 그 처리 방법 - Google Patents

이미지 처리 장치 및 그 처리 방법 Download PDF

Info

Publication number
KR20230095791A
KR20230095791A KR1020220126603A KR20220126603A KR20230095791A KR 20230095791 A KR20230095791 A KR 20230095791A KR 1020220126603 A KR1020220126603 A KR 1020220126603A KR 20220126603 A KR20220126603 A KR 20220126603A KR 20230095791 A KR20230095791 A KR 20230095791A
Authority
KR
South Korea
Prior art keywords
image
sub
low
noise
frequency sub
Prior art date
Application number
KR1020220126603A
Other languages
English (en)
Inventor
이명호
장현식
Original Assignee
(주) 픽셀플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 픽셀플러스 filed Critical (주) 픽셀플러스
Priority to US18/066,828 priority Critical patent/US20230196518A1/en
Priority to CN202211658623.9A priority patent/CN116342403A/zh
Publication of KR20230095791A publication Critical patent/KR20230095791A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 기술의 일 실시 예에 따른 이미지 처리 장치는 제 1 소스 이미지에 대해 이산 웨이블릿 변환 및 다운 샘플링을 수행하여 상기 제 1 소스 이미지를 수평 방향 및 수직 방향의 저주파 성분을 포함하는 저주파 서브 이미지 및 수평 방향과 수직 방향 중 적어도 어느 한 방향의 고주파 성분을 포함하는 복수의 고주파 서브 이미지들로 분리하는 이산 웨이블릿 변환기, 상기 제 1 소스 이미지가 입력되기 이전에 입력되어 노이즈가 저감된 제 2 소스 이미지의 저주파 서브 이미지를 저장하는 프레임 메모리, 상기 프레임 메모리에 저장된 상기 제 2 소스 이미지의 저주파 서브 이미지를 이용하여 상기 제 1 소스 이미지의 저주파 서브 이미지에서 노이즈를 저감시키는 제 1 노이즈 저감기, 및 상기 제 1 노이즈 저감기를 거쳐 노이즈가 저감된 상기 제 1 서브 이미지의 저주파 서브 이미지와 상기 제 1 노이즈 저감기를 거치지 않은 상기 제 1 서브 이미지의 고주파 서브 이미지들에 역이산 웨이블릿 변환을 적용하여 상기 제 1 소스 이미지를 복원하는 역이산 웨이블릿 변환기를 포함할 수 있다.

Description

이미지 처리 장치 및 그 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD OF THE SAME}
본 발명은 작은 사이즈(용량)의 프레임 메모리를 이용하여 소스 이미지에 대한 3차원 노이즈 저감(3DNR: 3D Noise Reduction)을 수행할 수 있는 이미지 처리 장치 및 그 처리 방법에 관한 것이다.
이미지 센서의 경우, 저조도시, 비디오 신호의 증폭을 위해 이미지 센서의 출력을 증폭시킨다. 이미지 센서의 출력을 증폭시키면 화면상에 게인(gain) 노이즈가 발생할 수 있는데, 이러한 노이즈는 3차원 노이즈 저감(3DNR: 3D Noise Reduction) 방법을 통해 제거됨으로써 보다 깨끗한 영상을 취득할 수 있다.
그런데, 3차원 노이즈 저감 방법을 이용하여 노이즈를 제거하기 위해서는 이전 프레임(화면)을 저장해야 하므로 용량이 큰 프레임 메모리가 필요하며, 이는 제품의 경쟁력을 떨어뜨리는 요인이 될 수 있다.
본 발명은 작은 사이즈의 프레임 메모리를 이용하여서도 3차원 노이즈 저감(3DNR) 방법으로 소스 이미지에서 노이즈를 저감시킬 수 있는 이미지 처리 장치 및 그 이미지 처리 방법을 제공하고자 한다.
본 발명의 일 실시 예에 따른 이미지 처리 장치는 제 1 소스 이미지에 대해 이산 웨이블릿 변환 및 다운 샘플링을 수행하여 상기 제 1 소스 이미지를 수평 방향 및 수직 방향의 저주파 성분을 포함하는 저주파 서브 이미지 및 수평 방향과 수직 방향 중 적어도 어느 한 방향의 고주파 성분을 포함하는 복수의 고주파 서브 이미지들로 분리하는 이산 웨이블릿 변환기, 상기 제 1 소스 이미지가 입력되기 이전에 입력되어 노이즈가 저감된 제 2 소스 이미지의 저주파 서브 이미지를 저장하는 프레임 메모리, 상기 프레임 메모리에 저장된 상기 제 2 소스 이미지의 저주파 서브 이미지를 이용하여 상기 제 1 소스 이미지의 저주파 서브 이미지에서 노이즈를 저감시키는 제 1 노이즈 저감기, 및 상기 제 1 노이즈 저감기를 거쳐 노이즈가 저감된 상기 제 1 서브 이미지의 저주파 서브 이미지와 상기 제 1 노이즈 저감기를 거치지 않은 상기 제 1 서브 이미지의 고주파 서브 이미지들에 역이산 웨이블릿 변환을 적용하여 상기 제 1 소스 이미지를 복원하는 역이산 웨이블릿 변환기를 포함할 수 있다.
본 발명의 일 실시 예에 따른 이미지 처리 방법은 제 1 소스 이미지에 대해 이산 웨이블릿 변환 및 다운 샘플링을 수행하여 상기 제 1 소스 이미지를 수평 방향 및 수직 방향의 저주파 성분을 포함하는 저주파 서브 이미지 및 수평 방향과 수직 방향 중 적어도 어느 한 방향의 고주파 성분을 포함하는 복수의 고주파 서브 이미지들로 분리하는 이미지 분리 단계, 메모리에 저장된 제 2 소스 이미지의 저주파 서브 이미지를 이용하여 상기 제 1 소스 이미지의 저주파 서브 이미지에서 노이즈를 저감하는 노이즈 저감 단계, 및 상기 제 2 단계를 거쳐 노이즈가 저감된 상기 제 1 소스 이미지의 저주파 서브 이미지와 상기 제 2 단계를 거치지 않은 상기 제 1 소스 이미지의 고주파 서브 이미지들에 역이산 웨이블릿 변환을 수행하여 상기 제 1 소스 이미지를 복원하는 이미지 복원 단계를 포함할 수 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 작은 용량의 프레임 메모리를 사용하여서도 이미지 신호에서 노이즈를 제거함으로써 이미지 처리 장치의 원가를 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블럭도.
도 2는 도 1의 이산 웨이블릿 변환기에서 소스 이미지를 서브 이미지들로 분리하는 과정을 설명하기 위한 도면.
도 3은 이산 웨이블릿 변환의 2단계 분리 과정을 통해 만들어진 계층적 구조의 서브 이미지들을 예시적으로 보여주는 도면.
도 4는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도.
도 5a 및 도 5b는 본 발명의 다른 실시예들에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도들.
도 6은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도이며, 도 2는 도 1의 이산 웨이블릿 변환기에서 소스 이미지를 서브 이미지들로 분리하는 과정을 설명하기 위한 도면이다. 또한, 도 3은 이산 웨이블릿 변환의 2단계 분리 과정을 통해 만들어진 계층적 구조의 서브 이미지들(LH1, HL1, HH1, LL2, LH2, HL2, HH2)을 예시적으로 보여주는 도면이다.
도 1 내지 도 3을 참조하면, 이미지 처리 장치(100)는 이산 웨이블릿 변환기(DWT)(110), 노이즈 저감기(3NDR)(120), 프레임 메모리(130), 이미지 합산기(140) 및 역이산 웨이블릿 변환기(IDWT)(150)를 포함할 수 있다.
이산 웨이블릿 변환기(110)는 소스 이미지에 대해 이산 웨이블렛 변환(DWT: Discrete Wavelet Transform)을 수행함으로써 소스 이미지를 복수개의 서브 이미지들(LL, LH, HL, HH)로 분리할 수 있다. 예를 들어, 이산 웨이블릿 변환기(110)는, 도 2에서와 같이, 소스 이미지에 대해 수평 방향(X 방향)으로 저역 통과 필터(X-LPF)와 고역 통과 필터(X-HPF)를 적용하여 하나의 소스 이미지(소스 프레임)를 수평 방향의 저주파 성분을 갖는 서브 이미지(L)와 수평 방향의 고주파 성분을 갖는 서브 이미지(H)로 분리하고, 그 2개의 서브 이미지들(L, H) 각각에 대해 수직 방향(Y 방향)으로 저역 통과 필터(Y-LPF)와 고역 통과 필터(Y-HPF)를 적용함으로써 하나의 소스 이미지를 4개의 서브 이미지들(LL, LH, HL, HH)로 분리할 수 있다. 이때, LL는 수평 방향과 수직 방향의 저주파 성분을 포함하는 서브 이미지로서, 에너지의 집중도가 높고 소스 이미지에 대한 중요한 정보를 가질 수 있다. LH, HL, HH는 각각 소스 이미지의 수평, 수직, 대각 방향에 대한 에지(edge) 성분을 가지고 있는 고주파 성분의 서브 이미지로서, 에너지 집중도가 낮고 소스 이미지의 윤곽 부분에 해당하는 상세 정보를 가질 수 있다.
여기에서, 이산 웨이블릿 변환기(110)는 소스 이미지를 수평 방향으로 필터링하여 얻은 저주파 성분의 신호와 고주파 성분의 신호에 대해, 입력 데이터의 반만 취하는 제 1 다운 샘플링(down sampling)(2↓)을 수행하여 2개의 서브 이미지들(L, H)을 획득할 수 있다. 또한, 이산 웨이블릿 변환기(110)는 수평 방향으로 제 1 다운 샘플링된 2개의 서브 이미지들(L, H) 각각을 수직 방향으로 필터링하여 얻은 저주파 성분의 신호와 고주파 성분의 신호에 대해, 입력 데이터의 반만 취하는 제 2 다운 샘플링(2↓)을 수행하여 4개의 서브 이미지들(LL, LH, HL, HH)을 획득할 수 있다. 이를 통해, 이산 웨이블릿 변환기(110)는 소스 이미지를 4개의 서브 이미지들(LL, LH, HL, HH)로 분리하되, 서브 이미지들(LL, LH, HL, HH)은 소스 이미지에 비해 사이즈(용량)가 1/4로 줄어든 이미지들일 수 있다.
이산 웨이블릿 변환기(110)가 이산 웨이블렛 변환 및 다운샘플링을 N번 반복 수행하는 경우에는 소스 이미지에 비해 사이즈(용량)가 (1/4)N 배 감소된 서브 이미지들이 획득될 수 있다.
이산 웨이블릿 변환기(110)는 분리된 서브 이미지들(LL, LH, HL, HH) 중 수평 방향 및 수직 방향의 저주파 성분을 가지는 서브 이미지(LL)에 대한 신호만을 노이즈 저감기(3DNR)(120)로 전송하고, 나머지 서브 이미지들(LH, HL, HH)에 대한 신호는 이미지 합산기(140)로 전송할 수 있다. 이산 웨이블릿 변환기(110)는, 도 3에서와 같이, 에너지 집중도가 높은 서브 이미지(LL)에 대해서만 이산 웨이블렛 변환 및 다운샘플링을 추가적으로 수행하여 더 작은 사이즈{(1/4)2 배의 사이즈}의 2단계 서브 이미지들(LL2, LH2, HL2, HH2)을 획득할 수 있으며, 그러한 경우에는, 2단계 서브 이미지(LL2)만을 노이즈 처리기(120)로 전송할 수 있다.
도 3에서, 서브 이미지들(LH1, HL1, HH1)은 소스 이미지에 대해 수평 및 수직 방향의 이산 웨이블렛 변환과 다운샘플링이 1회 진행되어 획득된 1단계의 서브 이미지들을 나타내며, 서브 이미지(LL2, LH2, HL2, HH2)는 1단계의 서브 이미지(LL1)에 대해 수평 및 수직 방향의 이산 웨이블렛 변환과 다운샘플링이 1회 더 진행된 2단계의 서브 이미지들을 나타낸다.
노이즈 저감기(120)는 이산 웨이블릿 변환기(110)로부터 제공받은 서브 이미지(LL)에 대한 노이즈 제거를 수행할 수 있다. 노이즈 저감기(120)는 서브 이미지(LL)에 대해 공간적(spatial) 영역에서 노이즈를 저감한 후에 시간적(temporal) 영역에서 노이즈를 다시 저감하는 3차원 노이즈 저감(3DNR: 3 Dimensional Noise Reduction) 방법을 수행할 수 있다. 예를 들어, 노이즈 저감기(120)는 이산 웨이블릿 변환기(110)로부터 제공받은 현재의 서브 이미지(LLt)에 대해 2차원 노이즈 저감 필터를 적용하여 1차적으로 노이즈 저감(공간적 영역에서의 노이즈 저감)을 수행할 수 있다. 이어서, 노이즈 저감기(120)는 1차적으로 노이즈가 제거된 서브 이미지를 프레임 메모리(130)에 기 저장되어 있는 이전의 서브 이미지(LLt-1)와 비교하여 2차적으로 노이즈 제거(시간적 영역에서의 노이즈 제거)를 수행함으로써 서브 이미지(LL′)를 생성할 수 있다. 즉, 노이즈 저감기(120)에서 출력되는 서브 이미지(LL′)는 노이즈가 제거된 현재의 서브 이미지(LLt′)가 될 수 있다.
노이즈 저감기(120)는 3차원 노이즈 저감(3DNR) 방법으로 노이즈가 저감된 현재의 서브 이미지(LLt′)를 프레임 메모리(130)에 저장한다. 또한, 노이즈 저감기(120)는 노이즈가 저감된 현재의 서브 이미지(LLt′)를 이미지 합산기(140)에 전송한다. 프레임 메모리(130)에 저장되는 현재의 서브 이미지(LLt′)는 다음의 서브 이미지(LLt+1)에 대한 3차원 노이즈 저감을 위한 새로운 이전 서브 이미지로 사용될 수 있다. 노이즈 저감기(120)는 이산 웨이블릿 변환기(110)로부터 2단계 서브 이미지(LL2)를 제공받는 경우, 2단계 서브 이미지(LL2)에 대한 3차원 노이즈 저감을 수행하고, 노이즈가 저감된 2단계 서브 이미지(LL2′)를 프레임 메모리(130)에 저장할 수 있다.
프레임 메모리(130)는 노이즈 저감기(120)에서 현재의 서브 이미지(LL)에 대한 3차원 노이즈 저감을 수행할 때 필요한 이미지 정보를 저장할 수 있다. 예를 들어, 프레임 메모리(130)는 이산 웨이블릿 변환기(110)로부터 제공받는 현재의 서브 이미지(LLt)에 대한 3차원 노이즈 저감을 수행할 때, 현재의 서브 이미지(LLt)와 비교될 이전의 서브 이미지(LLt-1)를 저장할 수 있다. 이때, 프레임 메모리(130)에 저장되어 있는 이전의 서브 이미지(LLt-1)는 직전에 노이즈 저감기(120)에 의해 노이즈가 저감된 서브 이미지(LL′)일 수 있다.
본 실시예에서, 노이즈 저감기(120)는 서브 이미지들(LL, LH. HL, HH) 중 저주파 성분의 서브 이미지(LL)에 대해서만 3차원 노이즈 저감을 수행하며, 서브 이미지(LL)는 다운 샘플링에 의해 소스 이미지 보다 사이즈(용량)가 1/4로 감소된 이미지이기 때문에, 3차원 노이즈 저감을 위해 필요한 프레임 메모리(130)의 사이즈는 대폭 감소될 수 있다. 이산 웨이블릿 변환기(110)가 소스 이미지를 2단계까지 분리시켜 서브 이미지들(LL2, LH2, HL2, HH2)을 생성하고 노이즈 저감기(120)가 2단계 서브 이미지(LL2)에 대해서만 3차원 노이즈 저감을 수행하는 경우, 필요한 프레임 메모리(130)의 사이즈는 더욱 감소될 수 있다.
이미지 합산기(140)는 노이즈 저감기(120)에서 노이즈가 저감된 서브 이미지(LL′)와 이산 웨이블릿 변환기(110)로부터의 서브 이미지들(LH, HL, HH)을 합산하여 역이산 웨이블릿 변환기(150)로 출력할 수 있다. 즉, 이미지 합산기(140)는 하나의 소스 이미지에 대해, 3차원 노이즈 저감이 수행된 서브 이미지(LL′)와 노이즈 저감이 수행되지 않은 서브 이미지들(LH, HL, HH)을 합하여 역이산 웨이블릿 변환기(150)로 출력할 수 있다.
역이산 웨이블릿 변환기(150)는 이미지 합산기(140)에서 합산된 서브 이미지들(LL′, LH, HL, HH)을 합성하여 소스 이미지를 복원할 수 있다. 예를 들어, 역이산 웨이블릿 변환기(150)는 이산 웨이블릿 변환에 의해 분리된 서브 이미지들(LL′, LH, HL, HH)에 대해 역이산 웨이블릿 변환(IDWT: Inverse Discrete Wavelet Transform)을 수행하여 서브 이미지들(LL′, LH, HL, HH)을 합성함으로써 소스 이미지를 복원할 수 있다. 이때, 서브 이미지(LL′)는 서브 이미지(LL)에서 노이즈가 저감된 이미지이므로, 복원된 이미지(복원 이미지)는 본래의 소스 이미지에서 노이즈가 저감된 이미지가 될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 순서도로서, 도 1의 이미지 처리 장치에서 수행되는 이미지 처리 과정을 순서적으로 나타낸 도면이다.
도 4를 참조하면, 이산 웨이블릿 변환기(110)는 소스 이미지가 입력되면, 소스 이미지에 대해 이산 웨이블렛 변환(DWT) 및 다운 샘플링을 수행하여 소스 이미지를 복수개의 서브 이미지들(LL, LH, HL, HH)로 분리한다(S410).
예를 들어, 이산 웨이블릿 변환기(110)는 소스 이미지에 대해 수평 방향(X 방향)으로 저역 통과 필터(X-LPF)와 고역 통과 필터(X-HPF)를 적용하여 하나의 소스 이미지를 수평 방향의 저주파 성분을 갖는 서브 이미지와 수평 방향의 고주파 성분을 갖는 서브 이미지로 분리할 수 있다. 이어서, 이산 웨이블릿 변환기(110)는 수평 방향의 저주파 성분과 고주파 성분으로 분리된 서브 이미지들 각각에 대해, 도 2에서와 같이, 수평 방향으로 입력 데이터의 반만 취하는 제 1 다운 샘플링(down sampling)(2↓)을 수행함으로써 소스 이미지에 비해 수평 방향의 사이즈가 1/2로 감소된 서브 이미지들(L, H)을 획득할 수 있다.
다음에, 이산 웨이블릿 변환기(110)는 서브 이미지들(L, H) 각각에 대해 수직 방향(Y 방향)으로 저역 통과 필터(Y-LPF)와 고역 통과 필터(Y-HPF)를 적용하여 서브 이미지들(L, H) 각각을 수직 방향의 저주파 성분과 고주파 성분으로 분리하고, 분리된 서브 이미지들에 대해 수직 방향으로 입력 데이터의 반만 취하는 제 2 다운 샘플링(down sampling)(2↓)을 수행함으로써 소스 이미지에 비해 수평 방향 및 수직 방향으로 각각 사이즈가 1/2씩 감소된 4개의 서브 이미지들(LL, LH, HL, HH)을 획득할 수 있다. 즉, 하나의 소스 이미지(소스 프레임)는 이산 웨이블릿 변환기(110)에 의해 사이즈(용량)가 1/4로 감소된 4개의 서브 이미지들(LL, LH, HL, HH)로 분리될 수 있다.
이때, LL는 수평 방향과 수직 방향의 저주파 성분을 가지는 서브 이미지이며, LH, HL, HH는 각각 소스 이미지의 수평, 수직, 대각 방향에 대한 에지(edge) 정보를 가지고 있는 고주파 성분의 서브 이미지를 나타낼 수 있다.
이산 웨이블릿 변환기(110)는 4개의 서브 이미지들(LL, LH, HL, HH) 중 수평 방향 및 수직 방향의 저주파 성분을 가지는 서브 이미지(LL)는 노이즈 저감기(120)로 전송하고, 나머지 서브 이미지들(LH, HL, HH) 즉 수평, 수직, 대각 방향에 대한 고주파 성분을 가지는 서브 이미지들(LH, HL, HH)은 이미지 합산기(140)로 전송한다.
노이즈 저감기(120)는 이산 웨이블릿 변환기(110)로부터 서브 이미지(LL)에 대한 신호를 수신되면, 수신된 서브 이미지(LL)에 대해 공간적(spatial) 영역에서의 노이즈 저감을 수행한다(S420).
예를 들어, 노이즈 저감기(120)는 수신된 서브 이미지(LL)에 대해 2차원 노이즈 저감 필터를 적용하여 서브 이미지(LL)에서 노이즈를 저감할 수 있다.
노이즈 저감기(120)는 공간적 영역에서 1차적으로 노이즈가 저감된 서브 이미지(LL)에 대해 시간적(temporal) 영역에서의 노이즈 저감을 수행한다(S430).
예를 들어, 노이즈 저감기(120)는 공간적 영역에서 1차적으로 노이즈가 저감된 현재의 서브 이미지(LLt)를 프레임 메모리(130)에 기 저장되어 있는 이전의 서브 이미지(LLt-1)와 비교하여 2차적으로 노이즈 저감을 수행할 수 있다. 이전의 서브 이미지(LLt-1)는 직전의 서브 이미지(LL)가 3차원 노이즈 저감(공간적 영역 및 시간적 영역에서 노이즈가 저감)된 후 프레임 메모리(130)에 저장된 것을 나타낼 수 있다.
노이즈 저감기(120)는 3차원 노이즈 저감된 현재의 서브 이미지(LLt′)를 다음의 3차원 노이즈 저감을 위한 새로운 이전 서브 이미지로 사용하기 위해 프레임 메모리(130)에 저장하고 이미지 합산기(140)로 전송한다(S440).
본 실시예에서는 노이즈 저감기(120)가 서브 이미지(LL)에 대해서만 3차원 노이즈 저감을 수행하며, 서브 이미지(LL)는 소스 이미지에 비해 사이즈가 1/4로 줄어든 이미지이다. 즉, 3차원 노이즈 저감을 위해 프레임 메모리(130)에 저장해야 하는 서브 이미지(이전의 서브 이지도)의 사이즈도 소스 이미지에 비해 1/4로 줄어든다. 따라서, 본 실시예에서는 소스 이미지에 대해 3차원 노이즈 저감을 수행하는 경우에 비해, 프레임 메모리(130)의 사이즈를 1/4로 감소시킬 수 있다.
만약, 이산 웨이블릿 변환기(110)가 소스 이미지를 2단계까지 분리하여 서브 이미지들(LL2, LH2, HL2, HH2)을 생성하고 노이즈 저감기(120)가 2단계 서브 이미지(LL2)에 대해서만 3차원 노이즈 저감을 수행한다면, 필요한 프레임 메모리(130)의 사이즈를 더욱 감소시킬 수 있다.
이미지 합산기(140)는 노이즈 저감기(120)에서 노이즈가 저감된 서브 이미지(LL′)와 이산 웨이블릿 변환기(110)로부터의 서브 이미지들(LH, HL, HH)을 합산하여 역이산 웨이블릿 변환기(150)로 전송한다. 역이산 웨이블릿 변환기(150)는 이미지 합산기(140)로부터 수신된 서브 이미지들(LL′, LH, HL, HH)을 합성하여 소스 이미지를 복원할 수 있다(S450).
예를 들어, 역이산 웨이블릿 변환기(150)는 서브 이미지들(LL′, LH, HL, HH)에 대해 역이산 웨이블릿 변환(IDWT)을 수행함으로써 소스 이미지를 복원할 수 있다. 이때, 서브 이미지(LL′)는 서브 이미지(LL)에서 노이즈가 저감된 이미지이므로, 복원 이미지는 본래의 소스 이미지에서 노이즈가 저감된 이미지가 될 수 있다.
도 5a 및 도 5b는 본 발명의 다른 실시예들에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도들이다.
도 5a 및 도 5b를 참조하면, 이미지 처리 장치(200a, 200b)는, 상술한 도 1의 이미지 처리 장치(100)와 비교하여, 이산 웨이블릿 변환기(110)의 입력단 또는 역이산 웨이블릿 변환기(150)의 출력단에 위치하는 노이즈 저감기(210)를 추가적으로 포함할 수 있다. 노이즈 저감기(210)는 소스 이미지 또는 복원 이미지에 대해 2차원 노이즈 저감 필터를 적용하여 공간적(spatial) 영역에서 노이즈를 저감하는 2차원 노이즈 저감을 수행할 수 있다.
고주파 성분의 움직임 정보는 저주파 성분의 움직임과 달리 상대적으로 인간의 눈이 민감하게 반응하지 않으나, 2차원 노이즈는 이미지 센서에서 신호를 증폭하는 과정에서 증폭되어 화질을 저하시킬 수 있다.
도 1에서의 이미지 처리 장치(100)는 저주파 성분을 포함하는 서브 이미지(LL)에 대해서만 노이즈 저감을 수행하므로, 본 실시예에서와 같이, 이산 웨이블릿 변환기(110)의 입력단 또는 역이산 웨이블릿 변환기(150)의 출력단에 2차원 노이즈 저감기(210)를 형성하여 소스 이미지가 이산 웨이블릿 변환되기 전에 먼저 소스 이미지에서 2차원 고주파 노이즈를 저감하거나 역이산 웨이블릿 변환을 통해 복원된 이미지에서 2차원 고주파 노이즈를 저감할 수 있다. 이를 통해, 이미지 처리 장치(200a, 200b)는 작은 사이즈의 프레임 메모리(130)를 사용하면서도 저주파 노이즈 뿐만 아니라 고주파 노이즈도 함께 저감시킬 수 있다.
도 5a 및 도 5b에서, 이산 웨이블릿 변환기(110), 노이즈 저감기(120), 프레임 메모리(130), 이미지 합산기(140) 및 역이산 웨이블릿 변환기(150)은 각각 상술한 도 1에서의 대응되는 구성들과 동일한 기능을 수행할 수 있다. 따라서, 도 5a 및 도 5b에서는 해당 구성들에 대해 도 1에서와 동일한 참조번호를 사용하였으며, 해당 구성들에 대한 설명은 생략한다.
도 6은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도이다.
도 6을 참조하면, 이미지 처리 장치(300)는, 도 1의 이미지 처리 장치(100)와 비교하여, 노이즈 저감기(120)와 프레임 메모리(130) 사이에 위치하는 엔코더(Encoder)(310a) 및 디코더(Decoder)(310b)를 더 포함할 수 있다.
엔코더(310a)는 노이즈 저감기(120)로부터의 서브 이미지를 압축하여 프레임 메모리(130)에 전송할 수 있다. 즉, 엔코더(310a)는 노이즈 저감기(120)에서 3차 노이즈 저감된 현재의 서브 이미지(LLt′)를 프레임 메모리(130)에 저장할 때, 저장될 현재의 서브 이미지(LLt′)를 압축하여 프레임 메모리(130)에 전송할 수 있다.
디코더(310b)는 프레임 메모리(130)에 저장된 압축된 서브 이미지를 복원하여 노이즈 저감기(120)에 전송할 수 있다. 즉, 디코더(310b)는 노이즈 저감기(120)가 3차 노이즈 저감을 수행하기 위해 프레임 메모리(130)에 저장된 이전의 서브 이미지(LLt-1)를 읽어올 때, 압축되어 저장되어 있던 서브 이미지(LLt-1)를 복원하여 노이즈 저감기(120)에 전송할 수 있다.
도 6에서, 이산 웨이블릿 변환기(110), 노이즈 저감기(120), 프레임 메모리(130), 이미지 합산기(140) 및 역이산 웨이블릿 변환기(150)은 각각 상술한 도 1에서의 대응되는 구성들과 동일한 기능을 수행할 수 있다. 따라서, 도 6에서는 해당 구성들에 대해 도 1에서와 동일한 참조번호를 사용하였으며, 해당 구성들에 대한 설명은 생략한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 제 1 소스 이미지에 대해 이산 웨이블릿 변환 및 다운 샘플링을 수행하여, 상기 제 1 소스 이미지를 수평 방향 및 수직 방향의 저주파 성분을 포함하는 저주파 서브 이미지 및 수평 방향과 수직 방향 중 적어도 어느 한 방향의 고주파 성분을 포함하는 복수의 고주파 서브 이미지들로 분리하는 이산 웨이블릿 변환기;
    상기 제 1 소스 이미지가 입력되기 이전에 입력되어 노이즈가 저감된 제 2 소스 이미지의 저주파 서브 이미지를 저장하는 프레임 메모리;
    상기 프레임 메모리에 저장된 상기 제 2 소스 이미지의 저주파 서브 이미지를 이용하여 상기 제 1 소스 이미지의 저주파 서브 이미지에서 노이즈를 저감시키는 제 1 노이즈 저감기; 및
    상기 제 1 노이즈 저감기를 거쳐 노이즈가 저감된 상기 제 1 서브 이미지의 저주파 서브 이미지와 상기 제 1 노이즈 저감기를 거치지 않은 상기 제 1 서브 이미지의 고주파 서브 이미지들에 역이산 웨이블릿 변환을 적용하여 상기 제 1 소스 이미지를 복원하는 역이산 웨이블릿 변환기를 포함하는 이미지 처리 장치.
  2. 청구항 1에 있어서, 이산 웨이블릿 변환기는
    상기 제 1 소스 이미지에 대해 수평 방향으로 저역 통과 필터와 고역 통과 필터를 적용한 후 수평 방향으로 다운 샘플링을 수행하여 제 1 서브 이미지와 제 2 서브 이미지를 생성하고,
    상기 제 1 서브 이미지와 상기 제 2 서브 이미지 각각에 대해 수직 방향으로 저역 통과 필터와 고역 통과 필터를 적용한 후 수직 방향으로 다운 샘플링을 수행하여 상기 제 1 소스 이미지에 대한 저주파 서브 이미지와 고주파 서브 이미지들을 생성하는 것을 특징으로 하는 이미지 처리 장치.
  3. 청구항 1에 있어서, 상기 제 1 노이즈 저감기는
    상기 제 1 소스 이미지의 저주파 서브 이미지에 대해, 공간적 영역에서 노이즈를 저감한 후 상기 제 2 소스 이미지의 저주파 서브 이미지와 비교하여 시간적 영역에서 노이즈를 저감하는 것을 특징으로 하는 이미지 처리 장치.
  4. 청구항 1에 있어서,
    상기 이산 웨이블릿 변환기의 입력단에 위치하며, 상기 제 1 소스 이미지에 2차원 노이즈 저감 필터를 적용하는 제 2 노이즈 저감기를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  5. 청구항 1에 있어서,
    상기 역이산 웨이블릿 변환기의 출력단에 위치하며, 상기 역이산 웨이블릿 변환기에서 복원된 제 1 소스 이미지에 2차원 노이즈 저감 필터를 적용하는 제 3 노이즈 저감기를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  6. 청구항 1에 있어서, 상기 제 1 노이즈 저감기는
    노이즈가 저감된 상기 제 1 소스 이미지의 저주파 서브 이미지를 상기 프레임 메모리에 저장하는 것을 특징으로 하는 이미지 처리 장치.
  7. 청구항 6에 있어서,
    상기 제 1 노이즈 저감기에서 노이즈가 저감된 상기 제 1 소스 이미지의 저주파 서브 이미지를 압축하여 상기 프레임 메모리에 저장하는 엔코더; 및
    상기 프레임 메모리에 압축되어 저장된 상기 제 2 소스 이미지의 저주파 서브 이미지를 복원하여 상기 제 1 노이즈 저감기로 전송하는 디코더를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  8. 제 1 소스 이미지에 대해 이산 웨이블릿 변환 및 다운 샘플링을 수행하여 상기 제 1 소스 이미지를 수평 방향 및 수직 방향의 저주파 성분을 포함하는 저주파 서브 이미지 및 수평 방향과 수직 방향 중 적어도 어느 한 방향의 고주파 성분을 포함하는 복수의 고주파 서브 이미지들로 분리하는 이미지 분리 단계;
    메모리에 저장된 제 2 소스 이미지의 저주파 서브 이미지를 이용하여 상기 제 1 소스 이미지의 저주파 서브 이미지에서 노이즈를 저감하는 노이즈 저감 단계; 및
    상기 제 2 단계를 거쳐 노이즈가 저감된 상기 제 1 소스 이미지의 저주파 서브 이미지와 상기 제 2 단계를 거치지 않은 상기 제 1 소스 이미지의 고주파 서브 이미지들에 역이산 웨이블릿 변환을 수행하여 상기 제 1 소스 이미지를 복원하는 이미지 복원 단계를 포함하는 이미지 처리 방법.
  9. 청구항 8에 있어서, 상기 이미지 분리 단계는
    상기 제 1 소스 이미지에 대해 수평 방향으로 저역 통과 필터와 고역 통과 필터를 적용한 후 수평 방향으로 다운 샘플링을 수행하여 제 1 서브 이미지와 제 2 서브 이미지를 생성하고,
    상기 제 1 서브 이미지와 상기 제 2 서브 이미지 각각에 대해 수직 방향으로 저역 통과 필터와 고역 통과 필터를 적용한 후 수직 방향으로 다운 샘플링을 수행하여 상기 제 1 소스 이미지에 대한 저주파 서브 이미지와 고주파 서브 이미지들을 생성하는 것을 특징으로 하는 이미지 처리 방법.
  10. 청구항 8에 있어서, 상기 제 2 소스 이미지의 저주파 서브 이미지는
    상기 제 1 소스 이미지가 입력되기 이전에 입력된 제 2 소스 이미지에서 분리된 후 노이즈가 저감된 저주파 서브 이미지인 것을 특징으로 하는 이미지 처리 방법.
  11. 청구항 10에 있어서, 상기 노이즈 저감 단계는
    상기 제 1 소스 이미지의 저주파 서브 이미지에 대해, 공간적 영역에서 노이즈를 저감한 후 상기 제 2 소스 이미지의 저주파 서브 이미지와 비교하여 시간적 영역에서 노이즈를 저감하는 것을 특징으로 하는 이미지 처리 방법.
  12. 청구항 8에 있어서,
    상기 이미지 분리 단계 이전에, 상기 제 1 소스 이미지에 대해 2차원 노이즈 저감 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  13. 청구항 8에 있어서,
    상기 이미지 복원 단계 이후에, 복원된 상기 제 1 소스 이미지에 대해 2차원 노이즈 저감 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  14. 청구항 8에 있어서, 상기 노이즈 저감 단계는
    노이즈가 저감된 상기 제 1 소스 이미지의 저주파 서브 이미지를 상기 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  15. 청구항 14에 있어서, 상기 노이즈 저감 단계는
    상기 제 1 소스 이미지의 저주파 서브 이미지를 상기 메모리에 저장시 압축하여 저장하는 것을 특징으로 하는 이미지 처리 방법.
KR1020220126603A 2021-12-22 2022-10-04 이미지 처리 장치 및 그 처리 방법 KR20230095791A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/066,828 US20230196518A1 (en) 2021-12-22 2022-12-15 Image processing apparatus and image processing method thereof
CN202211658623.9A CN116342403A (zh) 2021-12-22 2022-12-22 图像处理装置及其图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210185187 2021-12-22
KR20210185187 2021-12-22

Publications (1)

Publication Number Publication Date
KR20230095791A true KR20230095791A (ko) 2023-06-29

Family

ID=86946315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126603A KR20230095791A (ko) 2021-12-22 2022-10-04 이미지 처리 장치 및 그 처리 방법

Country Status (1)

Country Link
KR (1) KR20230095791A (ko)

Similar Documents

Publication Publication Date Title
Eslami et al. Translation-invariant contourlet transform and its application to image denoising
DE602004004379T2 (de) Verfahren und einrichtungen zur codierung und decodierung einer bildsequenz mittels bewegungs-/texturzerlegung und wavelet-codierung
JP2002216126A (ja) 画像処理装置、及びその方法、並びにプログラム、記憶媒体
WO1999016234A2 (en) System, method and medium for increasing compression of an image while minimizing image degradation
KR101773279B1 (ko) 업샘플링 및 신호 향상
KR101348931B1 (ko) 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법
JP2015008414A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2010045711A (ja) 動画像雑音除去装置、その方法およびそのプログラム
JPH09212623A (ja) 画像処理方法
JP2000306089A (ja) 画像処理方法および装置並びに記録媒体
KR20040023606A (ko) 3차원 웨이브렛 변환 방법 및 장치
US20100172419A1 (en) Systems and methods for compression, transmission and decompression of video codecs
Rakhshanfar et al. Low-frequency image noise removal using white noise filter
US20060284891A1 (en) Method for spatial up-scaling of video frames
Vyas et al. Review of the application of wavelet theory to image processing
KR20230095791A (ko) 이미지 처리 장치 및 그 처리 방법
JP2007280202A (ja) ウェーブレット変換を用いた画像処理方法及びその装置
KR101595883B1 (ko) 영상의 움직임 보상 노이즈 제거 장치 및 방법
JP4866756B2 (ja) 撮像装置
US20230196518A1 (en) Image processing apparatus and image processing method thereof
JP5022400B2 (ja) 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム
US6381370B1 (en) Method and apparatus for image encoding
JPH09307897A (ja) 画像データ圧縮処理方法
KR100854726B1 (ko) 역 이산 웨이블릿 변환을 이용한 이미지 복원 방법 및 장치
JPH10336658A (ja) 画像処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right