KR101303647B1 - 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법 - Google Patents

영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법 Download PDF

Info

Publication number
KR101303647B1
KR101303647B1 KR1020070098315A KR20070098315A KR101303647B1 KR 101303647 B1 KR101303647 B1 KR 101303647B1 KR 1020070098315 A KR1020070098315 A KR 1020070098315A KR 20070098315 A KR20070098315 A KR 20070098315A KR 101303647 B1 KR101303647 B1 KR 101303647B1
Authority
KR
South Korea
Prior art keywords
block
image
blur
noise
value
Prior art date
Application number
KR1020070098315A
Other languages
English (en)
Other versions
KR20090032807A (ko
Inventor
황규영
이호영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070098315A priority Critical patent/KR101303647B1/ko
Publication of KR20090032807A publication Critical patent/KR20090032807A/ko
Application granted granted Critical
Publication of KR101303647B1 publication Critical patent/KR101303647B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상의 해상도 향상 시스템 및 방법이 개시된다. 영상의 해상도 향상 시스템은 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 영상 스케일러부, 해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 복원 정보 추출부 및 상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 영상 복원부를 포함한다.
해상도 향상, 스케일러, 블러, PSF(point spread function), 변환 영역 필터링

Description

영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법 {SYSTEM AND METHOD FOR ENHANCEMENT IMAGE RESOLUTION USING IMAGE RESTORATION}
본 발명은 영상의 해상도 향상 시스템 및 방법에 관한 것으로, 구체적으로는 해상도가 향상된 입력 영상에 대해 노이즈를 통해 예측한 블러값에 따라 변환 영역 필터링을 적용하여 영상을 고주파 성분을 복원하는 영상의 해상도 향상 시스템 및 방법에 관한 것이다.
해상도가 낮은 영상 신호에서 해상도가 높은 영상 신호로 해상도를 변환할 때 일반적으로 영상 스케일러를 사용하고 있다. 특히, 영상 기술의 발전에 따라 영상 스케일러를 이용하여, SD(Standard Definition -720*480)나 HD(High Deifintion-1920*1080)급의 해상도를 가지는 영상을 고해상도 영상 장치에서 사용할 수 있는 UD(Ultra Definition-7680*4320)급의 해상도를 가지는 영상으로 변환할 필요성이 발생하였다.
이 때, 영상 스케일러가 이용하는 해상도 변환 알고리즘은 일반적으로 보간(interpolation)을 기반으로 한다. 하지만, 영상 보간은 보통 저대역 필터(LPF: Low Pass Filter)를 이용하기 때문에, 영상 스케일러를 통과한 영상은 고주파 성 분(예를 들면, 엣지 영역)이 훼손되어 전체적으로 블러(blur)하게 되는 문제점이 발생할 수 있다.
특히, 해상도를 변환하기 위해 기존의 영상 스케일러만 단독으로 사용할 때 이러한 단점은 부각되었다. 여기서, 발생하는 블러는 영상을 획득할 때 발생하는 블러와 스케일러에서 수행하는 보간 때문에 발생하는 블러 등 여러 블러가 복합적으로 나타난 결과라고 할 수 있다.
한편, 고해상도를 가지는 영상에서는 영역별로 블러 특징이 다르게 나타날 수 있다. 왜냐하면, 영상 데이터 자체가 공간적으로 변화하는 통계적인 특징(spatial-variant)를 가지고 있기 때문이다. 종래의 영상 복원 장치는 영상의 영역별 특징을 고려하지 않고, 영상의 블러를 제거하여 영상의 고주파 성분을 복원하였기 때문에, 영상을 전체적으로 봤을 때 시각적인 통일감이 부족한 결과를 나타내었다.
그리고, 종래에 스케일러를 통과하기 전에 존재했던 영상의 고주파 성분을 복원하기 위해 서로 다른 변환 영역 필터링을 적용하였다. 그러나 고해상도를 가지는 영상의 복원을 위해 일반적인 변환 영역 필터링을 사용하는 경우, 연산의 복잡도가 매우 커서 실시간 처리가 불가능한 문제점이 있었다.
이 때, 2개 이상의 변환 영역 필터링을 동시에 사용하는 경우 각 변환 영역 필터링을 1프레임 별로 단계적으로 수행하기 때문에, 하나의 필터링이 끝나는 경우에 다른 필터링을 수행하는 단점이 있었다. 이러한 종래의 방법은 필터링하는 데 많은 시간을 소요하기 때문에 고해상도를 가지는 영상에 적용함에 있어 한계가 있 었다.
결국, 입력 영상을 고해상도 영상을 변환하기 위해서는 종래의 스케일러를 단독적으로 적용하기에는 많은 문제점이 있기 때문에, 입력 영상의 해상도를 초고해상도 영상으로 해상도를 변환할 때는 별도의 처리가 요구된다고 할 수 있다.
다만, 고해상도 영상은 처리할 데이터가 매우 많다는 특징이 있으므로, 영상의고주파수 성분에 대한 영상 복원에 있어 효율적으로 처리 시간을 배분하여 실시간 처리가 가능한 방법이 절실히 요구되고 있다. 또한, 초고해상도 영상은 영역별로 다른 특징을 가지기 때문에 영역별 특징으로 고려하여 복원 성능을 높이는 방법 또한 절실히 요구되고 있다.
본 발명은 해상도가 향상된 영상에 대해 고주파 성분의 훼손을 복원함으로써 선명한 고해상도 영상을 제공하는 영상의 해상도 향상 시스템 및 방법을 제공한다.
본 발명은 해상도가 향상된 영상에 대해 복수 개의 블록으로 분할하고, 각 분할된 블록에 대해 예측된 블러값을 통해 복원 정보를 추출함으로써 입력 영상의 영역별 특징에 따른 영상 복원을 수행하는 영상의 해상도 향상 시스템 및 방법을 제공한다.
본 발명은 노이즈의 비교를 통해 상관 관계가 높은 이전 블록의 블러값을 이용하여 현재 블록의 블러값을 예측함으로써 해상도가 향상된 영상의 전체적인 통일성을 유지하면서 영상을 복원하는 영상의 해상도 향상 시스템 및 방법을 제공한다.
본 발명은 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링을 변환 영역 필터링 블록의 크기를 달리하여 병렬적으로 수행함으로써, 데이터 양이 많은 고해상도 영상에 대해서 보다 빠른 영상 복원을 수행할 수 있는 영상의 해상도 향상 시스템 및 방법을 제공한다.
본 발명의 일실시예에 따른 영상의 해상도 향상 시스템은 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 영상 스케일러부, 해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 복원 정보 추출부 및 상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 영상 복원부를 포함한다.
이 때, 상기 복원 정보 추출부는 이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 단계, 해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 단계 및 상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링을 병렬적으로 수행하여 상기 입력 영상을 복원하는 단계를 포함한다.
이 때, 적어도 하나의 변환 영역 필터링을 병렬적으로 수행하여 상기 입력 영상을 복원하는 상기 단계는 상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변환 영역 필터링에 대해 필터링 블록의 크기를 각각 다르게 설정하고, 프레임 전체에 대해 상기 필터링 블록에 따라 상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변 환 영역 필터링을 병렬적으로 수행할 수 있다.
본 발명에 따르면, 해상도가 향상된 영상에 대해 고주파 성분의 훼손을 복원함으로써 선명한 고해상도 영상을 제공하는 영상의 해상도 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 해상도가 향상된 영상에 대해 복수 개의 블록으로 분할하고, 각 분할된 블록에 대해 예측된 블러값을 통해 복원 정보를 추출함으로써 입력 영상의 영역별 특징에 따른 영상 복원을 수행하는 영상의 해상도 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 노이즈의 비교를 통해 상관 관계가 높은 이전 블록의 블러값을 이용하여 현재 블록의 블러값을 예측함으로써 해상도가 향상된 영상의 전체적인 통일성을 유지하면서 영상을 복원하는 영상의 해상도 향상 시스템 및 방법이 제공된다.
본 발명에 따르면, 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링을 변환 영역 필터링 블록의 크기를 달리하여 병렬적으로 수행함으로써, 데이터 양이 많은 고해상도 영상에 대해서 보다 빠른 영상 복원을 수행할 수 있는 영상의 해상도 향상 시스템 및 방법이 제공된다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 블록 다이어그램을 도시한 도면이다.
도 1을 참조하면, 영상의 해상도 향상 시스템은 영상 스케일러부(101), 복원 정보 추출부(102) 및 영상 복원부(103)을 포함한다.
영상 스케일러부(101)는 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시킬 수 있다. 바람직한 일레로, 영상 스케일러부(101)는 HD 급의 해상도(1920*1080)를 가지는 입력 영상을 UD 급의 해상도(7680*4320)로 향상시키기 위해 상기 입력 영상의 크기를 확장하여 업샘플링한다. 다만, 본 발명에서 영상 스케일러부(101)에 입력되는 영상의 해상도는 SD, HD, FHD(Full HD) 급의 해상도에 한정되지 않는다. 마찬가지로, 영상 스케일러부(101)를 통해 출력되는 영상의 해상도는 UD 급의 해상도에 한정되지 않는다.
결국, 영상 스케일러부(101)는 특정 해상도에 구애됨이 없이 해상도를 향상시키는 과정을 수행하는 것을 특징으로 한다.
업샘플링된 영상에서 중간에 위치하는 값들은 0으로 설정될 수 있다. 업샘플링된 영상의 가장자리에 위치하는 데이터를 로우 패스 필터(LPF: Low Pass Filter)를 통해 보간(interpolation)함으로써 업샘플링된 영상의 중간에 위치하는 값들을 새로 생성할 수 있다. 즉, 영상 스케일러부(101)는 입력 영상을 업샘플링하고, 보간함으로써 입력 영상의 해상도를 향상시킬 수 있다.
입력 영상이 영상 스케일러부(101)를 통과하면 해상도가 향상될 수 있다. 다만, 영상 스케일러부(101)에서 보간을 수행할 때 사용하는 로우 패스 필터 때문에, 입력 영상의 고유한 고주파 성분(예를 들면, 물체의 엣지 부분)이 훼손될 수 있다. 즉, 단순히 영상 스케일러부(101)만을 사용하여 해상도를 향상시키는 경우, 해상도가 향상된 영상은 전체적으로 블러하게 되는 문제점이 있다.
따라서, 본 발명은 훼손된 고주파 성분을 복원하기 위해 영상 복원을 수행할 수 있다. 영상 복원을 수행하기 위해 복원 정보 추출부(102)에서 영상의 복원 정보를 추출할 수 있다.
복원 정보 추출부(102)는 영상의 블러 정도를 나타내는 블러의 점확산 함수(PSF: Point Spread Function)를 추출할 수 있다. 여기서, 본 발명에서 복원 정보는 상기 점확산 함수를 의미할 수 있다.
이 때, 영상 스케일러부(101)를 통과하여 해상도가 향상된 입력 영상은 각 영역별로 다른 특징을 나타낼 수 있다. 구체적으로 보면, 입력 영상의 영역별로 복원 정보의 특징이 다양하게 나타날 수 있다. 본 발명에서 복원 정보 추출부(102)는 입력 영상의 프레임 전체를 복수 개의 블록으로 분할하고, 분할된 블록별로 복원 정보를 추출할 수 있다.
일례로, 복원 정보 추출부(102)는 복수 개로 분할된 블록마다 노이즈를 통해 블러값을 예측하여 복원 정보를 추출할 수 있다. 노이즈 성분은 영상 신호와 독립적이므로, 노이즈 분산 값을 이용하면 해당 블록의 대략적인 블러 정도를 예측할 수 있다. 이 때, 블러의 정도가 클수록 노이즈 성분은 억제되어 나타날 수 있다.
일례로, 복원 정보 추출부(102)는 이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
다른 일례로, 복원 정보 추출부(102)는 블러값의 최대값과 최소값으로 설정하여 인덱스로 지정된 LUT를 미리 저장하고, 이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 LUT의 인덱스를 통해 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
즉, 분할된 블록에 대해서 시간적으로 또는 공간적으로 인접하는 블록들은 일반적으로 상관도가 높게 나타날 수 있다. 따라서, 인접한 블록 간에 블러값은 차이가 크게 나지 않을 수 있다. 따라서 본 발명은 인접 블록의 블러값을 이용하여 현재 블록의 블러값을 예측할 수 있다. 이 때, 현재 블록은 복원 정보 추출이 이루어지고 있는 블록을 의미하고, 이전 블록은 이미 복원 정보 추출이 끝난 블록 중에 상기 현재 블록의 직전 블록을 의미할 수 있다.
분할된 블록별로 복원 정보 추출부(102)가 복원 정보를 추출하는 과정은 도 2와 도 3을 통해 구체적으로 설명된다.
영상 복원부(103)는 복원 정보에 따라 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 영상을 복원할 수 있다. 일례로, 영상 복원부(103)는 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링을 수행하여 영상의 고주파 성분을 복원할 수 있다.
영상 복원부(103)는 푸리에 변환 영역 필터링을 수행하여 프레임의 블러를 제거하고, 상기 푸리에 변환 영역 필터링이 종료하면 웨이블릿 변환 영역 필터링을 수행하여 프레임의 노이즈를 제거할 수 있다. 즉, 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링은 단계적으로 수행될 수 있다.
그러나, 초고해상도 영상과 같이 필터링할 데이터 양이 매우 큰 경우, 푸리에변환 영역 필터링과 웨이블릿 변환 영역 필터링을 프레임 전체에 대해 단순히 단계적으로 수행하는 경우 오랜 시간이 소요되기 때문에 실시간 적용이 거의 불가능할 수 있다. 따라서, 본 발명에 있어서, 영상 복원부(103)는 프레임 전체에 대해 단계적인 변환 영역 필터링을 수행하는 것이 아니라, 변환 영역 필터링에 따라 필터링 블록의 크기를 달리하여 각 변환 영역 필터링을 병렬적으로 수행할 수 있다.
즉, 본 발명에 따르면, 병렬적인 변환 영역 필터링을 수행함으로써 보다 효율적으로 필터링 시간과 영역을 배분하여 실시간 처리가 가능해질 수 있다. 영상 복원부(103)가 변환 영역 필터링을 병렬적으로 수행하는 과정은 도 4에서 상세히 설명된다.
도 2는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 복원 정보 추출부가 블록마다 블러값을 예측하는 과정을 도시한 도면이다.
프레임(201)은 해상도가 향상된 입력 영상의 프레임을 의미할 수 있다. 도 2에서 볼 수 있듯이, 프레임(201)은 복수 개의 블록으로 분할될 수 있다. 앞에서 이미 언급했듯이, 복원 정보 추출부(102)는 노이즈를 통해 블록마다 블러(blur)값을 예측하여 복원 정보를 추출할 수 있다. 여기서, 복원 정보는 블록의 블러 정도를 나타내는 점확산 함수를 의미할 수 있다. 상기 블록별 노이즈는 노이즈 분석을 통해 도출될 수 있다.
일례로, 복원 정보 추출부(201)는 이전 블록(202)의 노이즈와 현재 블록(203)의 노이즈의 차이에 따라 이전 블록(202)의 블러값을 이용하여 현재 블록(203)의 블러값을 예측할 수 있다.
앞에서 이미 언급했듯이, 분할된 블록에 대해서 시간적으로 또는 공간적으로 인접하는 블록들은 일반적으로 상관도가 높게 나타날 수 있다. 따라서, 인접한 블록 간에 블러값은 차이가 크게 나지 않을 수 있다. 따라서 본 발명은 인접 블록(202)의 블러값을 이용하여 현재 블록(203)의 블러값을 예측할 수 있다.
도 2를 참조하면, 현재 블록(203)은 복원 정보 추출이 이루어지고 있는 블록을 의미하고, 이전 블록(202)은 이미 복원 정보 추출이 끝난 블록 중에 현재 블록(203)의 직전 블록을 의미할 수 있다.
도 2에서 볼 수 있듯이, 복원 정보 추출 방향은 프레임(201)의 좌측에서 우측으로 이루어지며, 특정 블록에 대해 복원 정보 추출이 종료되면, 다음 블록인 우측의 블록으로 이동하여 복원 정보 추출이 수행될 수 있다. 즉, 현재 블록(203)의 오른쪽 블록은 아직 복원 정보 추출이 이루어지지 않은 블록에 해당한다. 여기서, 복원 정보 추출 방향은 일례에 불과하고, 시스템의 구성에 따라 변경될 수 있다.
일례로, 이전 블록(202)의 노이즈와 현재 블록(203)의 노이즈의 차이에 대한 절대값이 미리 설정한 임계치보다 큰 경우, 이전 블록(202)의 블러값을 변경하고, 상기 절대값이 상기 임계치보다 작은 경우, 이전 블록(202)의 블러값을 변경하지 않을 수 있다. 즉, 이전 블록(202)의 노이즈와 현재 블록(203)의 노이즈의 차 이에 대한 절대값에 따라 이전 블록(202)의 블러값의 업데이트 여부가 결정될 수 있다. 노이즈 성분은 영상 신호와 독립적이기 때문에, 각 블록의 노이즈 분산값을 이용하면 현재 블록(203)의 대략적인 블러값을 예측할 수 있다.
복원 정보를 추출하기 전에 각 프레임의 첫 번째 블록(204)에 대해서는 초기화과정이 필요하다. 일례로, 이전 블록(202)의 블러값은 이전 블록(202)이 프레임(201)의 첫 번째 블록(204)에 해당하는 경우, 프레임(201)의 직전 프레임에서 예측한 모든 블록의 블러값을 평균한 값으로 설정될 수 있다. 즉, 프레임(201)이 n번째 프레임인 경우 첫 번째 블록(204)의 블러값은 n-1번째 프레임에서 예측된 모든 블록의 블러값을 평균한 값으로 설정될 수 있다. 즉, 프레임(201)에 대해 첫 번째 블록(204)의 블러값은 직전 프레임에서 예측한 모든 블록의 블러값에 따라 초기화될 수 있다.
일례로, 복원 정보 추출부(102)는 하기 수학식 1에 따라 이전 블록(202)의 블러값을 이용하여 현재 블록(203)의 블러값을 예측할 수 있다.
Figure 112007070255011-pat00001
여기서,
Figure 112007070255011-pat00002
는 이전 블록(202)의 블러값,
Figure 112007070255011-pat00003
는 현재 블 록(203)의 블러값,
Figure 112007070255011-pat00004
는 현재 블록(203)의 노이즈,
Figure 112007070255011-pat00005
는 이전 블록(202)의 노이즈이고, Thr은 미리 설정한 임계치이며,
Figure 112007070255011-pat00006
는 블러 변화값을 의미한다.
즉, 수학식 1에 따르면, 현재 블록(203)의 노이즈에서 이전 블록(202)의 노이즈를 뺀 값이 미리 설정한 임계치보다 큰 경우, 현재 블록(203)의 블러값은 이전 블록(202)의 블러값에 블러 변화값만큼 감소된 것으로 예측될 수 있다.
반대로, 이전 블록(202)의 노이즈에서 현재 블록(203)의 노이즈를 뺀 값이 미리 설정한 임계치보다 큰 경우, 현재 블록(203)의 블러값은 이전 블록(202)의 블러값에 블러 변화값만큼 증가된 것으로 예측될 수 있다. 그리고, 이전 블록(202)의 노이즈와 현재 블록(203)의 노이즈의 차이의 절대값이 미리 설정한 임계값보다 작은 경우, 현재 블록(203)의 블러값은 이전 블록(202)의 블러값과 동일하다고 예측될 수 있다.
일례로, 복원 정보 추출부(102)는 블러값의 최대값과 최소값을 설정하여 각 블러값에 대해 인덱스로 지정된 LUT(205)를 미리 저장할 수 있다. 이 때, 복원 정보 추출부(102)는 이전 블록(202)의 노이즈와 현재 블록(203)의 노이즈의 차이에 따라 LUT(205)의 인덱스를 통해 이전 블록(202)의 블러값을 이용하여 현재 블록(203)의 블러값을 예측할 수 있다.
일례로, 복원 정보 추출부(102)는 하기 수학식 2에 따라 이전 블록(202)의 인덱스에 해당하는 블러값을 이용하여 현재 블록(203)의 블러값을 예측할 수 있다.
Figure 112007070255011-pat00007
여기서,
Figure 112007070255011-pat00008
는 현재 블록(203)의 인덱스에 해당하는 블러값,
Figure 112007070255011-pat00009
는 이전 블록(202)의 인덱스에 해당하는 블러값,
Figure 112007070255011-pat00010
는 현재 블록(203)의 노이즈,
Figure 112007070255011-pat00011
는 이전 블록(202)의 노이즈,
Figure 112007070255011-pat00012
는 미리 설정한 임계치를 의미한다.
도 2에서 볼 수 있듯이, LUT(205)는 블러값의 최소값에서 최대값으로 단계적으로 인덱스로 지정되어 있다. 예를 들어, 블러값이 1인 경우, 인덱스는
Figure 112007070255011-pat00013
이고, 블러값이 10인 경우, 인덱스는
Figure 112007070255011-pat00014
으로 설정되어 있는 것을 볼 수 있다.
예를 들어, LUT(205)를 참조하면, 인덱스가
Figure 112007070255011-pat00015
이라고 하면, 인덱스
Figure 112007070255011-pat00016
에 해당하는 블러값은 6을 의미한다. 만약, 이전 블록(202)의 노이즈에서 현재 블록(203)의 노이즈를 뺀 값이 미리 설정한 임계치보다 큰 경우,
Figure 112007070255011-pat00017
는
Figure 112007070255011-pat00018
=
Figure 112007070255011-pat00019
가 되고, 결국, 현재 블록(203)의 블러값은 5로 예측될 수 있다. 즉, 복원 정보 추출부(102)는 미리 저장한 LUT(205)를 통해 인덱스를 이용하여 보다 빠르게 복원 정보를 추출할 수 있다. 이렇게 블록의 블러값에 대해 최소값과 최대값을 설정해 둠으로써 블러값이 발산하는 것을 방지할 수 있다.
도 3은 본 발명의 일실시예에 있어서, 예측한 블러값에 따른 점확산 함수의 그래프의 형태를 도시한 도면이다.
복원 정보 추출부(102)를 통해 각 블록마다 블러값이 예측되면, 상기 블러값을통해 복원 정보를 추출할 수 있다. 앞에서 이미 언급했듯이, 복원 정보는 블러에 대한 점확산 함수를 의미할 수 있다. 점확산 함수는 영상 스케일러부(101)를 통과한 영상에 대해 블러 정도를 나타내는 것을 의미할 수 있다.
이 때, 발생하는 블러는 영상을 획득할 때 발생하는 블러와 영상 스케일러부(101)에서 적용한 보간 때문에 발생하는 블러 등 여러 가지 블러가 복합적으로 이루어질 수 있다. 결국, 점확산 함수는 여러 가지 블러를 컨벌루션(convolution)하여 구할 수 있다.
여러 가지 블러들이 컨벌루션되면, 중심 극한 정리(central limit theorem)에 따라 점확산 함수는 가우시안 함수(gaussian function) 형태에 가깝다고 가정할 수 있다. 결국, 점확산 함수는 하기 수학식 3으로 표현될 수 있다.
Figure 112007070255011-pat00020
여기서, K는 PSF의 총 넓이를 1로 만들어 주기 위한 값이다. 즉, 가우시안 함수 형태를 가지는 점확산 함수(PSF)는
Figure 112007070255011-pat00021
의 값에 의해 구현될 수 있다. 상기 수학식 3에서 각각의 상수는 한정되지 않고, 시스템의 구성에 따라 변경될 수 있다.
그래프(301)은 수학식 3의 PSF 함수를 도시한 것이다. 가로축은 x와 y로 이루어진 2차원 평면이고, 세로축은 x, y 축에서
Figure 112007070255011-pat00022
에 따른 PSF 함수의 값을 의미할 수 있다. 이 때, 그래프(301)은 일반적인 가우시안 함수 형태를 나타내고 있다.
그래프(302)와 예측된 블러값이
Figure 112007070255011-pat00023
일 때, 상기 수학식 3을 적용한 PSF1 함수를 도시한 것이다. 그래프(303)는 예측된 블러값이
Figure 112007070255011-pat00024
일 때, 상기 수학식 3을 적용한 PSF2 함수를 도시한 것이다.
도 3을 참조하면, 그래프(302)는 중심에 집중한 형태를 나타내고, 그래프(303)는 전 영역에 넓게 펼쳐져 있는 형태를 나타내고 있다. 다시 말해서,
Figure 112007070255011-pat00025
과
Figure 112007070255011-pat00026
를 비교하면,
Figure 112007070255011-pat00027
이
Figure 112007070255011-pat00028
보다 작은 것을 의미한다. 즉, 블러값이 작을수록, 점확산 정도는 작게 나타나므로, 특정 영역에 집중한 형태를 나타낸다. 반대로, 블러값이 커질수록 점확산 정도도 크게 나타나므로, 전 영 역에 고루 퍼져있는 형태를 나타낸다.
결국, 복원 정보 추출부(102)에서 예측한 블러값을 통해 복원 정보인 점확산 함수를 추출하여 각 블록마다 블러 정도가 판단될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 영상 복원부가 변환 영역 필터링을 병렬적으로 수행하는 과정을 도시한 도면이다.
도 4를 참조하면, 프레임(401)에 대해 분할된 복수 개의 블록이 식별되어 있다. 그리고, 웨이블릿 변환 영역 필터링의 필터 블록(Lw)(402)와 푸리리에 변환 영역 필터링의 필터 블록(Lf)(403)이 도시되어 있다. 일례로, 복원 정보를 추출할 때 분할한 블록, 필터 블록(Lw)(402) 및 필터 블록(Lf)(403)의 크기는 각각 다르게 설정될 수 있다.
도 4에서 볼 수 있듯이, 바람직한 실시예로, 웨이블릿 변환 영역 필터링은 영상이 일정 크기 이상이 되어야 효과적이므로, 보통 필터 블록(Lw)(402)의 크기는 필터 블록(Lf)(403)의 크기보다 크게 설정될 수 있다.
일례로, 본 발명은 푸리에 변환 영역 필터링을 수행하고, 웨이블릿 변환 영역 필터링을 수행하는 2단계의 필터링 단계를 거쳐 입력 영상의 고주파 성분을 복원할 수 있다. 다만, 단순히 프레임(401) 전체에 대해 푸리에 변환 영역 필터링을 수행하고 나서, 그 다음 웨이블릿 변환 영역 필터링을 수행하면 데이터의 양이 매우 큰 고해상도 영상에 대해서는 실시간 적용이 거의 불가능할 수 있다. 따라서, 상기 단점을 극복하기 위해 본 발명은 2단계의 변환 영역 필터링을 거치되, 필터링 블록을 통해 각 변환 영역 필터링을 병렬적으로 처리할 수 있다.
일례로, 영상 복원부(103)는 푸리에(fourier) 변환 영역 필터링을 수행하여 프레임의 블러를 제거하고, 상기 푸리에 변환 영역 필터링이 종료하면 웨이블릿(wavelet) 변환 영역 필터링을 수행하여 상기 프레임의 노이즈를 제거할 수 있다.
일례로, 푸리에 변환 영역 필터링은 프레임 전체의 정보를 푸리에 변환한 뒤, 푸리에 영역 필터링을 하고, 이를 역푸리에 변환하는 과정으로 이루어져 있다. 웨이블릿 변환 영역 필터링은 푸리에 변환 영역 필터링과 비슷하게 프레임(401) 전체의 정보를 웨이블릿 변환한 뒤, 웨이블릿 영역 필터링을 하고, 이를 역웨이블릿 변환하는 과정으로 이루어져 있다.
도 4를 참조하면, 프레임(401)에서 a1블록에서 a10블록으로 푸리에 변환 영역 필터링이 차례로 수행될 수 있다. 그리고, a10블록으로 푸리에 변환 영역 필터링이 종료되면, a11 블록에서 a20블록으로 푸리에 변환 영역 필터링이 차례로 적용될 수 있다. 일례로, 필터 블록(Lf)(403)이 a1블록에서 a10블록으로 블록 경계를 겹치면서 슬라이딩 윈도우 형태로 필터링한 후 평균을 취할 수 있다.
이러한 푸리에 변환 영역 필터링을 적용하면 블록 경계로 인해 발생되는 블록킹 아티팩트(blocking artifact)가 발생하는 것을 방지할 수 있다. 도 4에서, 빗금친 블록들은 푸리에 변환 영역 필터링이 완료된 블록에 해당한다.
도 4에서, 점선으로 된 현재 블록인 a13블록(404)이 푸리에 변환 영역 필터링이 수행되고 있는 블록에 해당한다고 가정한다. 아직, a14 블록 이후로는 푸리에 변환 영역 필터링이 수행되지 않은 것으로 가정한다.
종래에는 프레임(401) 전체에 대해 푸리에 변환 영역 필터링을 수행한 후에 웨이블릿 변환 영역 필터링을 수행하였다. 본 발명에서는 a13블록(404)에서 푸리에 변환 영역 필터링이 완료되면, 프레임(401) 전체에 대해 푸리에 변환 영역 필터링이 완료되지 않더라도, 푸리에 변환 영역 필터링이 완료된 블록의 전체 크기가 필터 블록(Lw)(402)의 크기보다 크면, 웨이블릿 변환 영역 필터링이 수행될 수 있다. 도 4를 참조하면, 푸리에 변환 영역 필터링이 완료된 블록의 개수가 6개 이상이어야 웨이블릿 변환 영역 필터링이 수행될 수 있다.
결국, a13블록(404)에서 푸리에 변환 영역 필터링이 완료되면, a14블록에서는 푸리에 변환 영역 필터링이 수행되고, a1, a2, a3, a11, a12, a13 블록에 대해서 웨이블릿 변환 영역 필터링이 병렬적으로 수행될 수 있다. 그리고, 동일한 방법으로, a14 블록에 대해 푸리에 변환 영역 필터링이 완료되면 a15 블록에서는 푸리에 변환 영역 필터링이 수행되고, a2, a3, a4 , a12, a13, a14 블록에 대해서 웨이블릿 변환 영역 필터링이 병렬적으로 수행될 수 있다. 프레임(401) 전체에 대해 푸리에 변환 영역 필터링과 웨이블릿 변환 영역 필터링이 완료되면, 다음 프레임으로 이동하여 동일한 과정이 반복될 수 있다.
결국, 본 발명은 변환 영역 필터링에 따라 필터링 블록의 크기를 달리하여 각 변환 영역 필터링을 병렬적으로 수행함으로써 고해상도 영상과 같이 영상 데이터가 크더라도 보다 빠르게 필터링을 수행할 수 있다. 결국, 동일한 크기의 영상이더라도 필터링 방법을 달리하여 보다 효율적으로 영상 복원을 할 수 있게 되어 실시간으로 처리가 가능해지는 장점이 있다.
도 5는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 방법의 순서도를 도시한 도면이다.
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 입력 영상을 미리 설정한 크기로 업샘플링한다(S501).
그리고, 본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 업샘플링된 입력 영상을 보간하여 해상도를 향상시킨다(S502).
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측한다(S503).
이 때, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하는 단계(S503)는 이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
이 때, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하는 단계(S503)는 상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 대한 절대값이 미리 설정한 임계치보다 큰 경우, 상기 이전 블록의 블러값을 변경하는 단계 및 상 기 절대값이 상기 임계치보다 작은 경우, 상기 이전 블록의 블러값을 변경하지 않는 단계를 포함한다.
여기서, 상기 이전 블록의 블러값은 상기 이전 블록이 프레임의 첫 번째 블록에 해당하는 경우, 상기 프레임의 직전 프레임에서 예측한 모든 블록의 블러값을 평균한 값으로 설정될 수 있다.
이 때, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하는 단계(S503)는 하기 수학식 4에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
Figure 112007070255011-pat00029
여기서,
Figure 112007070255011-pat00030
는 이전 블록의 블러값,
Figure 112007070255011-pat00031
는 현재 블록의 블러값,
Figure 112007070255011-pat00032
는 현재 블록의 노이즈,
Figure 112007070255011-pat00033
는 이전 블록의 노이즈이고, Thr은 미리 설정한 임계치이며,
Figure 112007070255011-pat00034
는 블러 변화값을 의미한다.
이 때, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하는 단계(S503)는 블러값의 최대값과 최소값으로 설정하여 인덱스로 지정된 LUT를 미리 저장하는 단계 및 상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 따라 상기 LUT의 인덱스를 통해 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 단계를 포함할 수 있다.
여기서, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하는 단계(S503)는, 하기 수학식 5에 따라 상기 이전 블록의 인덱스에 해당하는 블러값을 이용하여 상기 현재 블록의 블러값을 예측할 수 있다.
Figure 112007070255011-pat00035
여기서,
Figure 112007070255011-pat00036
는 현재 블록의 인덱스에 해당하는 블러값,
Figure 112007070255011-pat00037
는 이전 블록의 인덱스에 해당하는 블러값,
Figure 112007070255011-pat00038
는 현재 블록의 노이즈,
Figure 112007070255011-pat00039
는 이전 블록의 노이즈,
Figure 112007070255011-pat00040
는 미리 설정한 임계치를 의미한다.
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 각 블록마다 예측된 블러값을 이용하여 복원 정보인 점확산 함수(PSF)를 추출한다(S504).
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 푸리에 변환 영역 필터링을 수행하여 상기 프레임의 블러를 제거할 수 있다(S505).
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 웨이블릿 변환 영역 필터링을 수행하여 상기 프레임의 노이즈를 제거할 수 있다(S506).
이 때, 푸리에 변환 영역 필터링을 수행하여 상기 프레임의 블러를 제거하는 단계(S505)와 웨이블릿 변환 영역 필터링을 수행하여 상기 프레임의 노이즈를 제거하는 단계(S506)는 변환 영역 필터링 블록의 크기를 각각 다르게 설정하고, 프레임 전체에 대해 상기 필터링 블록에 따라 병렬적으로 수행될 수 있다.
본 발명에 따른 영상의 해상도 향상 방법에서 언급되지 않은 내용에 대해서는 이미 언급한 도 1 내지 도 4의 내용을 참고할 수 있다.
본 발명의 일실시예에 따른 영상의 해상도 향상 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 블록 다이어그램을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 복원 정보 추출부가 블록마다 블러값을 예측하는 과정을 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 예측한 블러값에 따른 점확산 함수의 그래프의 형태를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 시스템의 영상 복원부가 변환 영역 필터링을 병렬적으로 수행하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 영상의 해상도 향상 방법의 순서도를 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
101: 영상 스케일러부
102: 복원 정보 추출부
103: 영상 복원부

Claims (21)

  1. 삭제
  2. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 영상 스케일러부;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 복원 정보 추출부; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 영상 복원부
    를 포함하고,
    상기 복원 정보 추출부는,
    이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  3. 제2항에 있어서,
    상기 복원 정보 추출부는,
    상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 대한 절대값이 미리 설정한 임계치보다 큰 경우, 상기 이전 블록의 블러값을 변경하고, 상기 절대값이 상기 임계치보다 작은 경우, 상기 이전 블록의 블러값을 변경하지 않는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  4. 제2항에 있어서,
    상기 이전 블록의 블러값은,
    상기 이전 블록이 프레임의 첫 번째 블록에 해당하는 경우, 상기 프레임의 직전 프레임에서 예측한 모든 블록의 블러값을 평균한 값으로 설정되는 것을 특징으로 하는 해상도 향상 시스템.
  5. 제2항에 있어서,
    상기 복원 정보 추출부는,
    하기 수학식 6에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
    Figure 112007070255011-pat00041
    여기서,
    Figure 112007070255011-pat00042
    는 이전 블록의 블러값,
    Figure 112007070255011-pat00043
    는 현재 블록의 블러값,
    Figure 112007070255011-pat00044
    는 현재 블록의 노이즈,
    Figure 112007070255011-pat00045
    는 이전 블록의 노이즈이고, Thr은 미리 설정한 임계치이며,
    Figure 112007070255011-pat00046
    는 블러 변화값임.
  6. 제2항에 있어서,
    상기 복원 정보 추출부는,
    블러값의 최대값과 최소값을 설정하여 각 블러값에 대해 인덱스로 지정된 LUT를 미리 저장하고, 상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 따라 상기 LUT의 인덱스를 통해 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  7. 제6항에 있어서,
    상기 복원 정보 추출부는,
    하기 수학식 7에 따라 상기 이전 블록의 인덱스에 해당하는 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
    Figure 112007070255011-pat00047
    여기서,
    Figure 112007070255011-pat00048
    는 현재 블록의 인덱스에 해당하는 블러값,
    Figure 112007070255011-pat00049
    는 이전 블록의 인덱스에 해당하는 블러값,
    Figure 112007070255011-pat00050
    는 현재 블록의 노이즈,
    Figure 112007070255011-pat00051
    는 이전 블록의 노이즈,
    Figure 112007070255011-pat00052
    는 미리 설정한 임계치임.
  8. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 영상 스케일러부;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 복원 정보 추출부; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 영상 복원부
    를 포함하고,
    상기 복원 정보 추출부는,
    각 블록마다 예측된 블러값을 이용하여 복원 정보인 점확산 함수(PSF: point spread function)를 추출하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  9. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 영상 스케일러부;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 복원 정보 추출부; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 영상 복원부
    를 포함하고,
    상기 영상 복원부는,
    푸리에(fourier) 변환 영역 필터링을 수행하여 상기 프레임의 블러를 제거하고, 상기 푸리에 변환 영역 필터링이 종료하면 웨이블릿(wavelet) 변환 영역 필터링을 수행하여 상기 프레임의 노이즈를 제거하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  10. 제9항에 있어서,
    상기 영상 복원부는,
    상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변환 영역 필터링에 대해 필터링 블록의 크기를 각각 다르게 설정하고, 프레임 전체에 대해 상기 필터링 블록에 따라 상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변환 영역 필터링을 병렬적으로 수행하는 것을 특징으로 하는 영상의 해상도 향상 시스템.
  11. 삭제
  12. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 단계;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 단계; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 단계
    를 포함하고,
    블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 상기 단계는,
    이전 블록의 노이즈와 현재 블록의 노이즈의 차이에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 방법.
  13. 제12항에 있어서,
    블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 상기 단계는,
    상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 대한 절대값이 미리 설정한 임계치보다 큰 경우, 상기 이전 블록의 블러값을 변경하는 단계; 및
    상기 절대값이 상기 임계치보다 작은 경우, 상기 이전 블록의 블러값을 변경하지 않는 단계
    를 포함하는 영상의 해상도 향상 방법.
  14. 제12항에 있어서,
    상기 이전 블록의 블러값은,
    상기 이전 블록이 프레임의 첫 번째 블록에 해당하는 경우, 상기 프레임의 직전 프레임에서 예측한 모든 블록의 블러값을 평균한 값으로 설정되는 것을 특징 으로 하는 영상의 해상도 향상 방법.
  15. 제12항에 있어서,
    블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 상기 단계는,
    하기 수학식 8에 따라 상기 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 방법.
    Figure 112007070255011-pat00053
    여기서, 는 이전 블록의 블러값,
    Figure 112007070255011-pat00055
    는 현재 블록의 블러값,
    Figure 112007070255011-pat00056
    는 현재 블록의 노이즈,
    Figure 112007070255011-pat00057
    는 이전 블록의 노이즈이고, Thr은 미리 설정한 임계치이며,
    Figure 112007070255011-pat00058
    는 블러 변화값임.
  16. 제12항에 있어서,
    블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 상기 단계는,
    블러값의 최대값과 최소값으로 설정하여 인덱스로 지정된 LUT를 미리 저장 하는 단계; 및
    상기 이전 블록의 노이즈와 상기 현재 블록의 노이즈의 차이에 따라 상기 LUT의 인덱스를 통해 이전 블록의 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 단계
    를 포함하는 영상의 해상도 향상 방법.
  17. 제16항에 있어서,
    블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 상기 단계는,
    하기 수학식 9에 따라 상기 이전 블록의 인덱스에 해당하는 블러값을 이용하여 상기 현재 블록의 블러값을 예측하는 것을 특징으로 하는 영상의 해상도 향상 방법.
    Figure 112013060736123-pat00059
    여기서,
    Figure 112013060736123-pat00060
    는 현재 블록의 인덱스에 해당하는 블러값,
    Figure 112013060736123-pat00061
    는 이전 블록의 인덱스에 해당하는 블러값,
    Figure 112013060736123-pat00062
    는 현재 블록의 노이즈,
    Figure 112013060736123-pat00063
    는 이전 블록의 노이즈,
    Figure 112013060736123-pat00064
    는 미리 설정한 임계치임.
  18. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 단계;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 단계; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 단계
    를 포함하고,
    블록마다 블러값을 예측하여 복원 정보를 추출하는 상기 단계는,
    각 블록마다 예측된 블러값을 이용하여 복원 정보인 점확산 함수를 추출하는 것을 특징으로 하는 영상의 해상도 향상 방법.
  19. 입력 영상을 미리 설정한 크기로 업샘플링(upsampling)하고, 업샘플링된 상기 입력 영상을 보간하여 해상도를 향상시키는 단계;
    해상도가 향상된 상기 입력 영상의 프레임을 복수 개의 블록으로 분할하고, 노이즈를 통해 상기 블록마다 블러(blur)값을 예측하여 복원 정보를 추출하는 단계; 및
    상기 복원 정보에 따라 상기 입력 영상의 프레임 전체에 대해 적어도 하나의 변환 영역 필터링(transform area filtering)을 병렬적으로 수행하여 상기 입력 영상을 복원하는 단계
    를 포함하고,
    적어도 하나의 변환 영역 필터링을 병렬적으로 수행하여 상기 입력 영상을 복원하는 상기 단계는,
    푸리에(fourier) 변환 영역 필터링을 수행하여 상기 프레임의 블러를 제거하는 단계; 및
    상기 푸리에 변환 영역 필터링이 종료하면 웨이블릿(wavelet) 변환 영역 필터링을 수행하여 상기 프레임의 노이즈를 제거하는 단계
    를 포함하는 영상의 해상도 향상 방법.
  20. 제19항에 있어서,
    적어도 하나의 변환 영역 필터링을 병렬적으로 수행하여 상기 입력 영상을 복원하는 상기 단계는,
    상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변환 영역 필터링에 대해 필터링 블록의 크기를 각각 다르게 설정하고, 프레임 전체에 대해 상기 필터링 블록에 따라 상기 푸리에 변환 영역 필터링과 상기 웨이블릿 변환 영역 필터링을 병렬적으로 수행하는 것을 특징으로 하는 영상의 해상도 향상 방법.
  21. 제12항 내지 제20항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020070098315A 2007-09-28 2007-09-28 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법 KR101303647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070098315A KR101303647B1 (ko) 2007-09-28 2007-09-28 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070098315A KR101303647B1 (ko) 2007-09-28 2007-09-28 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090032807A KR20090032807A (ko) 2009-04-01
KR101303647B1 true KR101303647B1 (ko) 2013-09-04

Family

ID=40759548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070098315A KR101303647B1 (ko) 2007-09-28 2007-09-28 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101303647B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448037B2 (en) 2015-10-21 2019-10-15 Samsung Electronics Co., Ltd. Decoding apparatus and method for discrete wavelet transform with buffer management

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590765B1 (ko) 2009-07-21 2016-02-19 삼성전자주식회사 다중 대역 합성 필터를 이용한 고해상도 영상 획득 장치 및 방법
KR20140063125A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
KR101468358B1 (ko) * 2014-03-28 2014-12-11 중앙대학교 산학협력단 안티 에일리어싱 방법 및 그 장치
EP3846118A1 (en) 2020-01-06 2021-07-07 Samsung Electronics Co., Ltd. Image display apparatus and image displaying method
KR102337140B1 (ko) * 2020-09-17 2021-12-08 성균관대학교산학협력단 영상 복원 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050049856A (ko) * 2003-11-24 2005-05-27 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR20050090920A (ko) * 2004-03-10 2005-09-14 인벤텍 어플라이언시스 코퍼레이션 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050049856A (ko) * 2003-11-24 2005-05-27 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR20050090920A (ko) * 2004-03-10 2005-09-14 인벤텍 어플라이언시스 코퍼레이션 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448037B2 (en) 2015-10-21 2019-10-15 Samsung Electronics Co., Ltd. Decoding apparatus and method for discrete wavelet transform with buffer management

Also Published As

Publication number Publication date
KR20090032807A (ko) 2009-04-01

Similar Documents

Publication Publication Date Title
KR101265956B1 (ko) 블록 기반의 영상 복원 시스템 및 방법
Dai et al. Bilateral back-projection for single image super resolution
He et al. An image super-resolution algorithm for different error levels per frame
CN111598808B (zh) 图像处理方法、装置、设备及其训练方法
EP2662825B1 (en) Method and device for generating a super-resolution version of a low resolution input data structure
KR101303647B1 (ko) 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법
EP2294808B1 (en) Method and system for efficient video processing
Bhadouria et al. A new approach for high density saturated impulse noise removal using decision-based coupled window median filter
JP2015507273A (ja) 低解像入力データ構造の超解像バージョンを生成する方法及び装置
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
JP4793339B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
Chao et al. Astronomical image restoration using an improved anisotropic diffusion
KR100969150B1 (ko) Ｐｓｆ 파라미터 추정을 기반으로 한 영상 복원 방법 및 장치
KR101615479B1 (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
Nasonov et al. Scale-space method of image ringing estimation
JP4456096B2 (ja) ノイズ除去方法および装置並びにプログラム
KR101515686B1 (ko) 주파수 성분과 영역 분할을 이용한 고해상도 얼굴 영상 복원 장치 및 방법
KR102126916B1 (ko) 블러된 영상 복원을 위한 장치 및 방법
US20090226108A1 (en) Multi-pass algorithm to reduce ringing artifacts in noise removal and deblur effects
JP4177128B2 (ja) レーダ画像処理装置
US7474800B2 (en) Method and apparatus for removing image compression artifacts
Matakos et al. Image restoration using non-circulant shift-invariant system models
Soni et al. Dynamically Adaptive Switching Based Median Mean Filter for Removal of High Density Salt and Pepper Noise
Xu et al. Non-iterative, robust monte carlo noise reduction
Velmurugan et al. Wavelet analysis for medical image denoising based on thresholding techniques

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160718

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 7