KR20110065997A - 영상처리장치 및 영상처리방법 - Google Patents

영상처리장치 및 영상처리방법 Download PDF

Info

Publication number
KR20110065997A
KR20110065997A KR1020090122717A KR20090122717A KR20110065997A KR 20110065997 A KR20110065997 A KR 20110065997A KR 1020090122717 A KR1020090122717 A KR 1020090122717A KR 20090122717 A KR20090122717 A KR 20090122717A KR 20110065997 A KR20110065997 A KR 20110065997A
Authority
KR
South Korea
Prior art keywords
image
noise
characteristic
resolution image
image processing
Prior art date
Application number
KR1020090122717A
Other languages
English (en)
Inventor
민경선
박보건
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090122717A priority Critical patent/KR20110065997A/ko
Priority to EP10187171A priority patent/EP2352121A1/en
Priority to US12/911,830 priority patent/US8805120B2/en
Publication of KR20110065997A publication Critical patent/KR20110065997A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상처리장치 및 영상처리방법에 관한 것이다. 본 발명에 따른 영상처리장치에 있어서, 영상을 입력 받는 영상 입력부; 및 노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성하고, 생성된 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 영상 처리부를 포함하며, 이에 의해 다양한 잡음이 존재하는 환경에서도 저해상도 영상으로부터 고해상도 영상을 효율적으로 생성할 수 있다.
스케일링, 노이즈 세기, 영상 특성, 클러스터링, 클래스.

Description

영상처리장치 및 영상처리방법{IMAGE PROCESSING APPARATUS AND METHOD OF PROCESSING IMAGE}
본 발명은 영상처리장치 및 영상처리방법에 관한 것으로서, 보다 상세하게는 학습을 통해 다양한 잡음이 존재하는 환경에서도 저해상도 영상으로부터 고해상도 영상을 효율적으로 생성할 수 있는 영상처리장치 및 영상처리방법에 관한 것이다.
영상을 확대하거나 축소하는 스케일링(scaling) 기법은 영상을 디스플레이 하는 디스플레이 장치에서 매우 중요한 기술이다. 최근에는 디스플레이 화면 크기 및 해상도가 급격히 증가함에 따라, 스케일링 기법도 영상의 단순한 확대 또는 축소가 아닌 고화질의 영상을 만드는 방향으로 발전되고 있다.
super-resolution(SR) 기법은 고화질의 영상을 만드는 다양한 기법 중 하나이다. SR기법에는 복수 개의 저해상도 영상에서 하나의 고해상도 영상을 추출하는 복수 영상(multiple-frame) 기반 SR 기법과, 단일 저해상도 영상에서 하나의 고해상도 영상을 추출하는 단일 영상(image) 기반 SR 기법이 있다.
도 1은 복수 영상 기반 SR 기법을 설명하기 위한 도면이다.
복수 영상 기반 SR 기법의 경우, 약간씩 상(phase) 차이가 나는 동일 장면의 여러 영상 프레임으로부터 registration 등을 거쳐 하나의 고해상도 영상을 만들어낸다. 구체적으로, 저해상도(Low Resolution: LR) 영상이 입력되면, 약간씩 상 차이가 나는 동일 장면의 여러 영상 프레임 각각으로부터 복수의 픽셀을 추출한다. 즉, 도 1의 a에 도시된 바와 같이, ○ 픽셀, ◇ 픽셀, △ 픽셀 및 ● 픽셀을 각각 복수 개 샘플링한다. 이 경우, ○ 픽셀, ◇ 픽셀, △ 픽셀 및 ● 픽셀 각각은 서로 다른 영상 프레임으로부터 추출된다.
복수 개의 픽셀이 샘플링되면, 이를 기반으로 고해상도 영상 프레임을 구성하는 픽셀을 생성한다. 즉, ○ 픽셀, ◇ 픽셀, △ 픽셀 및 ● 픽셀을 이용하여, 도 1의 b에 도시된 □ 픽셀을 생성한다. 이와 같은 방식으로 생성된 복수 개의 □ 픽셀로부터 고해상도(High Resolution: HR) 영상 프레임을 생성할 수 있다.
이와 같은 방식에서는 복수 개의 영상 프레임에 대한 적절한 움직임 추정이 요구되므로, 연산량이 일반적으로 매우 방대하여 실시간 처리가 어렵다. 나아가 이러한 연산을 저장할 상당량의 프레임 메모리가 필요하므로, 실제로 구현하는데 많은 어려움이 있다.
도 2는 단일 영상 기반 SR 기법을 설명하기 위한 도면이다.
복수 영상 기반 SR 기법의 문제점을 극복하기 위한 방법 중 하나가 학습 기반의 단일 영상 기반 SR 기법이다.
학습(learning) 단계(210)에서는 다양한 고해상도 영상과 이에 대응하는 저해상도 영상들을 이용하여, 영상의 특성을 고려한 소정 크기 블록 또는 패치(patch)의 쌍(pair) 들이 생성되어 저장된다. 이 경우, 각 pair들은(저해상도 정 보, 고해상도 정보)로 구성된다.
예를 들어, 학습 단계(210)에서는 도 2에 도시된 바와 같이 다음과 같은 단계들을 수행한다. 첫째 단계에서는, 다양한 고해상도 영상에 대응하는 LPF(Low-Pass Filter) 및 서브 샘플링(sub-sampling)된 저해상도 영상들을 추출한다(212). 두 번째 단계에서는, 저해상도 영상을 cubic convolution과 같은 소정의 보간법을 이용해 스케일링한다(214). 셋째 단계에서는, 원래의 고해상도 영상과 스케일링된 영상들에서 BPF(Band-Pass Filter)나 HPF(High-Pass Filter)를 이용하여 저주파수 성분들을 제거한다. 이후, 저주파 성분이 제거된 소정 크기의 고해상도 패치(High Frequency Patch; HFP)와 대응하는 스케일링된 저해상도 패치(Low Frequency Patch; LFP)들의 example들을 룩업 테이블(Look Up Table: LUT)에 저장한다(216).
합성(Synthesis 또는 Inference) 단계(220)에서는 임의의 저해상도 영상이 입력되면 영상 내 각 블록에 정합되는 pair 내 저해상도 블록을 찾고, 이로부터 고해상도 정보를 얻어낸다. 예를 들어, 합성 단계(220)에서는 도2에 도시된 바와 같이 다음과 같은 단계들을 수행한다. 첫째 단계에서, 저해상도 영상이 입력된다(222). 두 번째 단계에서는, 입력된 저해상도 영상을 스케일링하고, 각 LFP 별로 LUT에 존재하는 LFP들과 비교한다. 이 경우, LUT 내에서 최적으로 선정된 LFP에 대응하는 HFP를 해당 입력 패치의 고주파 성분으로 활용한다(224). 셋째 단계에서는, 추출된 고해상도 영상 이미지를 출력한다. 이 경우, 최적 match 탐색 과정에서 이미 얻어진 causal 영역의 고주파 성분을 약간 오버랩(overlap)하여 정합함으로써, 주변 영역과의 smoothness를 고려할 수 있다.
단일 영상 기반 SR 기법은 복수 영상 기반 SR 기법에 비하여 연산량이 적다. 그러나, 단일 영상 기반 SR 기법에 의하더라도 각 LFP 별로 LUT에 존재하는 모든 LFP들과 비교해야 하므로, 실제 적용하기에 연산량이 절대적으로 많다. 나아가, 잡음에 따라 스케일링 성능이 열화되는 문제점이 존재한다. 따라서 잡음 영향을 제거하고 연산량을 줄일 수 있는 효율적인 방법이 필요하다.
도 3은 노이즈가 섞여 있는 영상을 스케일링하는 과정을 도시한 도면이다.
노이즈가 섞여 있는 영상을 스케일링하는 방법은, 도 3에 도시된 바와 같이 일단은 잡음을 제거한 후(310) 영상을 보간(320)하는 캐스케이드(cascade) 방식이 일반적이다. 즉, 노이즈가 섞인 저해상도 영상이 입력되면, 잡음 제거 모듈을 통과시켜 노이즈를 우선 제거한 후(310), 새로운 픽셀을 생성하는 영상 보간(interpolate) 과정을 거치게 된다(320). 이에 의해, 노이즈가 제거된 고해상도 영상이 출력될 수 있다.
캐스케이드 방식에 의할 때, 잡음 제거 모듈 통과 후에도 잔여 잡음이 남아있을 경우, 잡음 자체가 스케일링 성능의 열화를 초래할 수 있다. 또한, 학습에 기반하는 단일 영상 기반 SR 기법의 경우, 잡음 제거를 통해 blur된 영상이 입력될 경우 blur 정도가 SR 과정에 영향을 줄 수 있다.
따라서, 본 발명의 목적은 학습을 통해 다양한 잡음이 존재하는 환경에서도 저해상도 영상으로부터 고해상도 영상을 효율적으로 생성하는 것이다.
또한, 학습을 통해 미리 얻어진 고주파 합성 정보를 포함하는 룩업 테이블을 이용하여 잡음이 있는 저해상도 영상을 잡음이 제거된 고해상도 영상으로 업스케일링 하는 경우에 있어서, 학습 단계는 물론 고해상도 영상의 합성 단계에서도 초기 잡음 제거를 수행한 후 정합함으로써 스케일링 성능을 향상시키고, 지협적인 잡음 특성에 따라 룩업 테이블을 선택함으로써 효과적인 잡음 제거와 스케일링을 동시에 수행하는 것이다.
상기 목적은, 본 발명에 따라, 영상처리장치에 있어서, 영상을 입력 받는 영상 입력부; 및 노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성하고, 생성된 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 영상 처리부를 포함하는 영상처리장치에 의해 달성된다.
상기 영상처리장치에 있어서, 상기 영상 처리부는, 복수 개의 상기 제1클래스 각각을 복수 개의 상기 제2클래스로 분류할 수 있다. 상기 영상처리장치에 있어서, 상기 학습 영상은, 저해상도 영상과 이에 대응되는 고해상도 영상의 쌍으로 구성될 수 있다. 상기 영상처리장치에 있어서, 상기 참조 데이터는, 상기 저해상도 영상과 상기 영상의 특성에 대응하여 설정되는 가중치의 쌍으로 구성될 수 있다. 상기 영상처리장치에 있어서, 상기 영상 처리부는, 노이즈가 포함된 저해상도 영상을 고해상도 영상으로 변환할 수 있다. 상기 영상처리장치에 있어서, 상기 영상의 특성은, 상기 영상의 고주파 성분 및 에지의 특성 중 적어도 하나를 포함할 수 있다. 상기 영상처리장치에 있어서, 상기 노이즈의 특성은, 상기 노이즈의 종류 및 상기 노이즈의 세기 중 적어도 하나를 포함할 수 있다. 상기 영상처리장치에 있어서, 상기 영상 처리부는, 상기 노이즈에 의하여 왜곡된 상기 영상이 입력되는 경우, 입력된 상기 영상의 영역 단위로 상기 노이즈의 세기를 예측할 수 있다. 상기 영상처리장치에 있어서, 상기 영상 처리부는, 입력된 상기 영상의 상기 노이즈의 특성 및 상기 영상의 특성에 대응하는 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행할 수 있다.
한편, 상기 목적은, 본 발명에 따라, 영상처리방법에 있어서, 영상을 입력 받는 단계; 노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성하는 단계; 및 생성된 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 단계를 포함하는 영상처리방법에 의해 달성될 수 있다.
상기 영상처리방법에 있어서, 복수 개의 상기 제1클래스 각각을 복수 개의 상기 제2클래스로 분류할 수 있다. 상기 영상처리방법에 있어서, 상기 학습 영상은, 저해상도 영상과 이에 대응되는 고해상도 영상의 쌍으로 구성될 수 있다. 상기 영상처리방법에 있어서, 상기 참조 데이터는, 상기 저해상도 영상과 상기 영상의 특성에 대응하여 설정되는 가중치의 쌍으로 구성될 수 있다. 상기 영상처리방법에 있어서, 노이즈가 포함된 저해상도 영상을 고해상도 영상으로 변환할 수 있다. 상기 영상처리방법에 있어서, 상기 영상의 특성은, 상기 영상의 고주파 성분 및 에지의 특성 중 적어도 하나를 포함할 수 있다. 상기 영상처리방법에 있어서, 상기 노이즈의 특성은, 상기 노이즈의 종류 및 상기 노이즈의 세기 중 적어도 하나를 포함할 수 있다. 상기 영상처리방법에 있어서, 상기 노이즈에 의하여 왜곡된 상기 영상이 입력되는 경우, 입력된 상기 영상의 영역 단위로 상기 노이즈의 세기를 예측할 수 있다. 상기 영상처리방법에 있어서, 입력된 상기 영상의 상기 노이즈의 특성 및 상기 영상의 특성에 대응하는 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 노이즈가 있는 환경에서도 저해상도 영상으로부터 고해상도 영상을 효율적으로 생성할 수 있다. 이로써, 영상처리장치의 사용자는 품질이 낮거나 해상도가 낮은 영상 신호를 고해상도 영상처리장치에서 선명하고 깨끗하게 감상할 수 있다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계 없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
도 4는 본 발명의 일 실시예에 의한 영상처리장치의 구성을 도시한 블럭도이다.
본 발명의 일 실시예에 의한 영상처리장치(400)는 디지털 TV, 데스크 탑 컴퓨터, 랩탐 컴퓨터, 대형 디스플레이(Large Format Display: LFD), 디지털 카메라 등을 포함할 수 있다. 나아가, 영상을 처리하여 표시하되, 영상의 스케일링을 수행할 수 있는 전자 장치라면, 본 발명의 일 실시예에 의한 영상처리장치(400)가 될 수 있다.
본 발명의 일 실시예에 의한 영상처리장치(400)는, 영상 입력부(410)와 영상 처리부(420) 및 디스플레이부(430)를 포함할 수 있다.
영상 입력부(410)는 영상을 입력받을 수 있다. 상기 영상은 저해상도 영상 및 고해상도 영상을 포함할 수 있다. 또한, 저해상도 영상은 노이즈가 섞여 있는 영상일 수 있다.
영상 처리부(420)는 노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성할 수 있다.
일 실시예에 의하면, 영상 처리부(420)는 복수 개의 제1클래스 각각을 복수 개의 제2클래스로 분류할 수 있다. 구체적으로, 영상을 노이즈 세기에 따라 복수 개의 제1클래스로 분류하고, 각각의 제1클래스에 포함되는 영상을 고주파 특성이 유사한 영상끼리 클러스터링하여 복수 개의 제2클래스로 분류할 수 있다.
학습 영상은, 저해상도 영상과 이에 대응되는 고해상도 영상의 쌍으로 구성될 수 있다. 참조 데이터는, 저해상도 영상과 상기 영상의 특성에 대응하여 설정되는 가중치의 쌍으로 구성될 수 있다.
영상의 특성은, 영상의 고주파 성분 및 에지의 특성 중 적어도 하나를 포함할 수 있다. 노이즈의 특성은, 노이즈의 종류 및 상기 노이즈의 세기 중 적어도 하나를 포함할 수 있다.
영상 처리부(420)는 생성된 참조 데이터에 기초하여 입력된 영상의 스케일링을 수행할 수 있다.
일 실시예에 의하면, 영상 처리부(420)는 노이즈가 포함된 저해상도 영상을 고해상도 영상으로 변환할 수 있다. 구체적으로, 영상 처리부(420)는 노이즈에 의하여 왜곡된 영상이 입력되는 경우, 입력된 영상의 영역 단위로 노이즈의 세기를 예측할 수 있다. 또한, 영상 처리부(420)는 입력된 상기 영상의 노이즈의 특성 및 영상의 특성에 대응하는 참조 데이터에 기초하여 입력된 영상의 스케일링을 수행할 수 있다.
디스플레이부(430)는 영상 처리부(420)에 의하여 처리된 영상을 표시할 수 있다. 구체적으로, 영상 처리부(420)가 저해상도 영상을 고해상도 영상으로 스케일링하는 경우, 디스플레이부(430)는 스케일링된 고해상도 영상을 표시할 수 있다.
이를 위해, 디스플레이부(430)는 액정 표시 장치(Liquid Crystal Display: LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display: OLED) 또는 플라 즈마 표시 패널(Plasma Display Panel: PDP) 등의 형태로 구현되는 디스플레이 패널(미도시) 및 패널 구동부(미도시)를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 의한 영상처리과정을 도시한 도면이다.
본 발명의 일 실시예에 의한 영상처리과정은, LUT 구성을 위한 학습 단계와 저해상도 영상을 고해상도 영상으로 합성하는 합성 단계로 구성될 수 있다.
영상처리장치(400)는 룩업 테이블(Look Up Table: LUT) 구성을 위한 학습을 수행한다(S501). LUT 구성을 위한 학습 과정에 대해서는 도 6a에서 상세히 설명한다.
영상처리장치(400)는 저해상도 영상을 고해상도 영상으로 변환하는 경우인지 판단한다(S502). 만일, 저해상도 영상을 고해상도 영상으로 변환하는 경우가 아니면 (S502-N), 본 발명의 일 실시예에 의한 영상처리과정은 종료한다.
저해상도 영상을 고해상도 영상으로 변환하는 경우(S502-Y), 영상처리장치(400)는 LUT를 참조하여 저해상도 영상을 고해상도 영상으로 합성한다(S503). 저해상도 영상을 고해상도 영상으로 합성하는 과정에 대해서는 도 6b에서 상세히 설명한다.
도 6a는 본 발명의 일 실시예에 의한 LUT 구성을 위한 학습 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 의한 LUT 구성을 위한 학습 과정에서는, 학습용 저해상도 영상 및 고해상도 영상을 이용하여 LUT를 생성한다. 이 경우, 잡음 삽입 단계(S611), 잡음 예측 단계(S612), 초기 잡음 제거 단계(S613), 영상 분류 단 계(S614) 및 LUT 생성 단계(S615)를 순차적으로 수행한다.
잡음 삽입 단계(S611)에서는 저해상도 영상에 임의의 잡음을 삽입한다. 일 실시예에 의하면, 저해상도 영상에 대해서 부가적인 백색 가우시안 잡음(Additive White Gaussian Noise: AWGN)처럼 가상적으로 잡음을 삽입할 수 있다.
잡음 예측 단계(S612)에서는 잡음의 세기를 예측한다. 이 경우, 잡음 세기를 예측하는 다양한 방법이 사용될 수 있다. 일 실시예에 의하면, 영상 내의 평탄한 부분들의 분산값을 계산하여 그 값을 잡음의 세기로 간주할 수 있다. 다른 실시예에 의하면, 영상 시간 축으로 움직임 추정/보상을 수행하여 움직임 추정이 잘 된 블록들만 추출하고, 해당 블록들의 움직임 추정 오차의 분산값을 잡음의 세기로 볼 수 있다. 또 다른 실시예에 의하면 시공간적인 특성을 모두 이용하여 잡음을 예측할 수도 있다. 그 외, 기존의 어떤 예측 방법을 사용하여도 무방하다.
한편, 잡음의 세기는 영상 별로 변화가 크지 않다. 따라서, 같은 샷(shot) 내에 존재하는 모든 영상들 또는 일정 시간 구간의 영상들은 동일한 잡음의 세기를 갖는다고 간주할 수 있다.
잡음의 세기를 예측하는 작업은 LUT 구성을 위한 학습 단계 및 저해상도 영상을 고해상도 영상으로 합성하는 합성 단계에 동일하게 적용된다.
초기 잡음 제거 단계(S613)에서는 잡음을 제거한다. 잡음 자체가 원래 랜덤한 패턴을 가지므로, 잡음이 있는 상태에서는 영상의 분류가 힘들다. 뿐만 아니라, 잡음은 정확한 고주파 합성 정보 생성에도 나쁜 영향을 주므로 일차적으로 이를 제거해 줄 필요가 있다. 이 경우, 다양한 잡음 제거(Noise Removal: NR)기법이 사용 될 수 있다. bilateral filter는 최근에 개발된 잡음 제거 기법들 중 성능이 우수한 기법이다. 그러나, bilateral filter는 강한 잡음 하에서는 좋은 성능을 보이지 못한다. Gaussian scale mixture(GSM)을 이용한 웨이브릿(wavelet) 기반 NR기법은 다른 최신 기법들보다 우수한 성능을 보여준다. K-SVD기법은 다양한 잡음 패치(patch)들을 대상으로 학습을 통한 LUT 또는 dictionary를 형성한다. 이 경우, SVD(Singular Value Decomposition)에 의해 얻어진 LUT로부터 각 잡음 왜곡 패치들에 대응하는 최적의 복수 개의 패치들을 찾아 가중 평균을 구하는 방식으로 잡음을 제거한다. 그 외에도, Low-pass filter, median filter, Wiener filter 등 다양한 잡음 제거 기법들이 사용될 수 있다.
영상 분류 단계(S614)에서는 노이즈 특성 및 영상 특성에 따라 영상 클래스를 구분한다. 일 실시예에 의하면, 노이즈 특성에 따라 분류된 복수 개의 제1클래스 각각을 영상 특성에 따라 복수 개의 제2클래스로 분류할 수 있다.
구체적인 영상 분류 과정은 다음과 같다. 가장 먼저, 저해상도 영상과 이에 대응하는 고해상도 영상으로부터, 저해상도 영상(LR)-고해상도 영상(HR) pair를 생성한다. 이 경우, 잡음 세기에 따라 저해상도 영상(LR)-고해상도 영상(HR) pair들을 복수 개의 제1클래스로 분류한다. 또한, 각각의 제1클래스에 포함되는 저해상도 영상(LR)-고해상도 영상(HR) pair 들을 고주파 특성이 유사한 pair끼리 클러스터링하여 복수 개의 제2클래스로 분류한다.
제2클래스 별로 분류된 저해상도 영상(LR)-고해상도 영상(HR) pair들을 도 7에 도시하였다. 도 7은 본 발명의 일 실시예에 의하여 노이즈 특성 및 영상 특성에 따라 분류된 영상 클래스를 도시한 도면이다. 각 클래스에 포함된 저해상도 영상(LR)-고해상도 영상(HR) pair들은 노이즈 특성 및 영상 특성이 유사하다. 예를 들어, class 1(710)은 잡음 세기가 1~3 이고 고주파 성분이 70% 이상인 저해상도 영상(LR)-고해상도 영상(HR) pair들을 포함하고, class 2(720)는 잡음 세기가 1~3이고 고주파 성분이 40~70% 인 저해상도 영상(LR)-고해상도 영상(HR) pair 들을 포함하고, class N(730)은 잡음 세기가 1~3이고 고주파 성분이 40% 미만인 저해상도 영상(LR)-고해상도 영상(HR) pair 들을 포함할 수 있다. 도 7의 경우, class 1(710), class 2(720) 및 class N(730) 각각에는 3개의 저해상도 영상(LR)-고해상도 영상(HR) pair가 포함된다.
한편, 각 클래스에 속한 저해상도 영상(LR)-고해상도 영상(HR) pair들은 클래스별 LUT 생성을 위해 사용된다.
LUT 생성 단계(S615)에서는 클래스별로 LUT 또는 dictionary를 구성한다.
노이즈의 종류는 매우 다양하다. 앞에서는 편의상 Additive White Gaussian Noise를 예로 들었지만, 그 외에도 Rayleigh, Gamma, Exponential, Uniform, Salt & Papper noise 등이 있다. 따라서, 잡음의 세기만을 고려하여 LUT를 생성할 수도 있고, 잡음의 종류와 잡음의 세기 두 가지 factor를 모두 고려하여 LUT를 생성할 수도 있다.
도 6b는 본 발명의 일 실시예에 의하여 저해상도 영상을 고해상도 영상으로 합성하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 의하여 저해상도 영상을 고해상도 영상으로 합성하는 과정에서는, 입력된 저해상도 영상을 이용하여 고해상도 영상을 합성한다. 이 경우, 영역 분리 단계(S621), 영역 단위 잡음 예측 단계(S622), 초기 잡음 제거 단계(S623), patch 생성 단계(S624) 및 고해상도 영상 합성 단계(S625)를 순차적으로 수행한다. 상기 영역 단위 잡음 예측 단계(S622), 초기 잡음 제거 단계(S623) 및 고해상도 영상 합성 단계(S625)에서는 LUT 검색 단계(S626)를 더 수행할 수 있다.
영역 분리 단계(S621)에서는, 입력된 저해상도 영상을 소정의 영역 단위로 구분한다.
영역 단위 잡음 예측 단계(S622)에서는, 상기 영역 분리(S621) 단계에 의하여 나누어진 영역 별로 잡음 세기를 예측한다. 잡음 세기의 예측은, 도 6a에서 설명한 LUT 구성을 위한 학습 과정 중 잡음 예측 단계(S612)와 동일한 방식으로 수행될 수 있다.
초기 잡음 제거 단계(S623)에서는, 잡음을 제거한다. 잡음 제거는, 도 6a에서 설명한 LUT 구성을 위한 학습 과정 중 초기 잡음 제거(S613) 단계와 동일한 방식으로 수행될 수 있다.
patch 생성 단계(S624)에서는, 잡음이 제거된 저해상도 영상을patch 단위로 분리한다.
고해상도 영상 합성 단계(S625)에서는, LUT를 검색하여 각 patch 와 잡음 세기 및 영상 특성에 대응하는 고주파 합성 정보를 얻는다. 고주파 합성 정보는 고주파 성분 자체이거나 또는 저해상도에서 고해상도 정보를 바로 linear combination 하여 얻기 위한 가중치 정보일 수 있다. 이 경우, 고주파 합성 정보와 저해상도 영 상 패치로부터 고해상도 영상 패치를 생성하고, 이로부터 고해상도 영상을 합성할 수 있다.
이하, 도 8 내지 도 9를 참조하여 클래스별로 LUT를 생성하는 과정에 대하여 상세히 설명한다. 설명의 편의를 위하여, 영상을 2배로 확장하는 경우를 예를 들어 설명한다.
도 8은 본 발명의 일 실시예에 의하여 클래스별로 LUT를 생성하는 과정을 도시한 블록도이다.
본 발명의 일 실시예에 의하여 클래스별로 LUT를 생성하는 과정에서는, 각 클래스별로 고해상도 영상 생성을 위한 고주파 정보를 저장하는 LUT를 구성한다. 이 경우, LR-HR 블록 추출 단계(S810), LR Laplacian(LRL) 추출 및 Normalization 단계(S820), LRL 기준 Clustering 단계(S830), Cluster 별 weight 생성 단계(S840), LRL-weight LUT 생성 단계(S850)를 순차적으로 수행한다.
LR-HR 블록 추출 단계(S810)에서는 저해상도(LR) 영상과 대응하는 고해상도(HR) 영상에서, 다수의 저해상도(LR) 블록과 고해상도(HR) 블록을 추출한다. 이 경우, 제1클래스별로 분류된 저해상도(LR) 영상-고해상도(HR) 영상 pair 로부터, LR 블록과 대응하는 HR 블록을 얻는다. 추출된 LR 블록과 대응하는 HR 블록은, LR 블록-HR 블록 pair를 구성한다.
LR 블록-HR 블록 pair를 추출하는 과정을 도 9를 참조하여 보다 상세하게 설명한다. 도 9는 본 발명의 일 실시예에 의한 LR 블록-HR 블록 pair를 추출하는 과정을 설명하기 위한 도면이다. 도 9는 LR 블록과 HR 블록의 크기가 각각 5ⅹ5 인 경우이다. 실선으로 표시된 블록(910)은 LR 블록으로 내부에 5ⅹ5의 LR 픽셀들이 포함되어 있다. 대응하는 HR 블록은 점선으로 표시되며(920), 내부에 5ⅹ5의 HR픽셀들이 포함되어 있다. 이 경우, HR 블록은 LR 블록의 중심에 위치한다. 이 경우, 효과적인 학습을 위해 가능한 한 다양한 LR 영상-HR 영상 pair를 채택한다. 이로부터 샘플링된 LR 영상을 기준으로 가로와 세로 각각 1픽셀 이상의 적당한 간격을 두고 LR 블록-HR 블록들을 추출한다.
한편, LR-HR 블록 추출 단계(S810)에서 LR 블록-HR 블록 pair추출은 각 제1클래스별로 수행된다. 추출된 LR 블록과 HR 블록은 학습을 위하여 사용하므로, 이하에서는 각각 LRt 및 HRt 로 표시한다.
LR Laplacian(LRL) 추출 및 Normalization 단계(S820)에서는, 고주파 및 에지의 특징을 충분히 반영하기 위하여 각 LRt 블록에 라플라시안 오퍼레이터(Laplacian operator)를 적용하여 LRt Laplacian(LRLt) 블록을 추출한다. 일 실시예에 의하면, 다음 [표 1] 과 같은 3ⅹ3 라플라시안 오퍼레이터를 LRt 블록의 각 화소에 적용할 수 있다.
Figure 112009076441566-PAT00001
[표 1]
LRLt 블록을 추출하면, 각 LRLt 블록들에 대해 정규화(normalization) 작업을 수행한다. LRLt　블록의 평균을 μ, 표준 편차를 σ 라고 가정할 때, LRLt　블록 내 각 화소값 X에 대해 정규화하면 그 결과는 다음 [식 1]과 같다.
Figure 112009076441566-PAT00002
[식 1]
정규화된 LRLt 을
Figure 112009076441566-PAT00003
라고 하자. 상기 과정을 통해 각 LRt　-　HRt　pair는
Figure 112009076441566-PAT00004
형태의 pair로 변경된다.
LRL 기준 Clustering 단계(S830)에서는, 영상 특성이 유사한 블록 pair들끼리 클러스터링한다.
Figure 112009076441566-PAT00005
형태의 블록 pair들이 학습용으로 총 M개가 존재할 때, m 번째 블록 pair
Figure 112009076441566-PAT00006
을
Figure 112009076441566-PAT00007
라고 하면, 초기 학습 정보는 다음 [식 2]와 같이 정의할 수 있다.
Figure 112009076441566-PAT00008
[식 2]
이 경우,
Figure 112009076441566-PAT00009
블록들을 기준으로 클러스터링을 수행하여, 라플라시안 특성이 유사한 pair들끼리 그룹화한다. 클러스터링 기법으로는 K-means clustering등이 사용될 수 있다.
M 보다 훨씬 작은 L 개의 클러스터들로 그룹핑된다고 가정하면, 클러스터링 을 통해 다음 [식 3]과 같이 L개의
Figure 112009076441566-PAT00010
클러스터 중심 블록을 정의할 수 있다.
Figure 112009076441566-PAT00011
[식 3]
각 클러스터에는 1개 이상의 특성이 유사한 LRt　-　HRt　pair(들)이 포함될 수 있다.
Cluster 별 weight 생성 단계(S840)에서는, training 을 통해 각 클러스터에 대해 적합한 가중치(weight)를 구한다.
각 LRt　-　HRt　블록 pair내 픽셀들 간에는 다음 [식 4]와 같은 관계가 성립할 수 있다.
Figure 112009076441566-PAT00012
[식 4]
여기서, IH(i, j)는 HR 블록 내 (i, j) 위치에 있는 픽셀을, IL(x, y)은 LR 블록 내 (x, y) 위치에 있는 픽셀을 의미한다. 예를 들어, 도 9처럼 N=5(즉, 블록의 크기는 5x5 이다)인 LR 블록 및 HR 블록의 경우에는
Figure 112009076441566-PAT00013
이다. 즉, HR 위치 별로 5x5 가중치가 하나씩 존재한다.
앞서 언급한 바와 같이 L개의 클러스터들은 각각 1개 이상의 LRt　-　HRt　pair 들을 가지고 있다. 예를 들어,
Figure 112009076441566-PAT00014
번째 클러스터에
Figure 112009076441566-PAT00015
개의 LRt　-　HRt　pair 들이 존재한다고 가정하자. 이 경우, 다음 [식 5]와 같은 관계가 성립한다.
Figure 112009076441566-PAT00016
[식 5]
즉, 블록 LRt　-　HRt　pair들이 총 M개가 존재하므로, 각각의 클러스터에 포함되는 LRt　-　HRt　pair들의 개수를 모두 합하면 M개가 된다.
Figure 112009076441566-PAT00017
번째 클러스터에 속한 LRt　-　HRt　pair 들에 대한 학습 과정에서는 LMS(Least Mean Square) 알고리즘을 사용할 수 있다.
Figure 112009076441566-PAT00018
번째 클러스터에 속한 LRt　-　HRt　pair 들은 라플라시안 특성이 유사한 것들이므로, [식 4]에 따른 가중치가 유사할 가능성이 높다. 이 경우,
Figure 112009076441566-PAT00019
번째 클러스터에 속한 LRt 블록에 대해　HRt　블록 내 (i, j)위치에 대응하는 가중치는　다음 [식 6]으로 정의된다.
Figure 112009076441566-PAT00020
Figure 112009076441566-PAT00021
[식 6]
LRL-weight LUT 생성 단계(S850)에서는, 복수의 클래스에 대해 고주파 정보를 담고 있는 LUT를 구성할 수 있다. 이렇게 생성되는 LUT를 도 10에 도시하였다.
도 10은 N 번째 클래스에 대한 최종적인 LUT를 도시한 도면이다.
최종적인 LUT(또는 dictionary)는 인덱싱(indexing)을 위한 L 개의
Figure 112009076441566-PAT00022
과 해당 가중치의 pair 들로 구성된다. 각,
Figure 112009076441566-PAT00023
은 NxN 의 크기를 가지며, 가중치에는 HR 위치별로 NxN 의 가중치 계수(weight coefficient)들이　존재한다. 따라서, HR position이 NxN 이라고　할　때, 각 클러스터 당 가중치 계수들 은 들은　총N4개가 된다. 예를　들어, N=5, L=512라고　할　때, LUT 내　총 가중치 정보의　크기는 320KB(coefficient 당 1 byte라 가정)이다.
Figure 112009076441566-PAT00024
의 크기까지 감안하면 LUT의 크기는 총 333KB 정도이다. 이와 같은 방식으로 모든 N개의 클래스에 대해 고주파 정보를 담고 있는 LUT를 구축할 수 있다. 잡음이 없는 HR 영상을 이용하여 학습을 수행하였으므로, 최종 결과는 잡음 제거 및 스케일링이 동시에 수행된 영상이 된다.
상기와 같이 구성된 LUT는 후술하는 고해상도 영상 합성 단계에서 각 LR 블록을HR 블록으로 합성하는 데 사용된다.
이하에서는, 도 11내지 도 12를 참조하여 저해상도 영상을 고해상도 영상으로 합성하는 과정에 대하여 상세히 설명한다.
도 11은 본 발명의 일 실시예에 의하여 다수의 영역으로 구분된 영상 프레임을 도시한 도면이다.
잡음으로 왜곡된 LR 영상이 입력되면, 먼저 LUT 구성을 위한 학습 단계와 동일한 방식으로 잡음 세기를 예측한다. 그러나 고해상도 영상의 합성 단계에서는 학습 단계와는 달리, 소정의 영역 단위로 잡음의 세기를 예측한다.
실제 잡음으로 왜곡된 영상을 보면 영상 전체에 잡음이 균등하게 분포하는 경우는 드물고, 잡음 세기 또한 지협적으로 다른 경우가 많다. 따라서, 영역 단위로 잡음을 예측하는 것이 효과적이다.
일 실시예에 의하면, 도 11에 도시된 바와 같이 영역 간의 오버랩(overlap) 없이 영상 내 영역을 나눌 수 있다. 다른 실시예에 의하면, 영역들이 적당히 오버랩 되도록 영역을 나눌 수도 있다. 또 다른 실시예에 의하면, 특정 크기의 사각형 모양이 아닌, 오브젝트(object), foreground, background를 기준으로 영역을 구분할 수도 있다.
각 영역 별로 잡음이 예측 되면, 영역 별로 해당 잡음 세기를 고려하여 학습 단계와 동일하게 입력 LR영상에 대해 초기 잡음 제거를 실시한다. 예를 들면, 해당 영역에 해당 잡음 세기를 고려한 Wiener 필터를 수행할 수 있다.
도 12는 본 발명의 일 실시예에 의하여 LR 블록에 대응하는 HR 블록을 생성하는 과정을 설명하기 위한 도면이다.
각 영역 별로 초기 잡음이 제거된 LR영상은, 도 12에 도시된 바와 같이 overlapping 방식으로 소정 개수의 LR 블록들로 구분된다. 입력 LR 블록을
Figure 112009076441566-PAT00025
라고 가정하자. 각
Figure 112009076441566-PAT00026
블록에 대해 도 8과 같이 LRL을 추출하여 정규화한 후,
Figure 112009076441566-PAT00027
에 근사한
Figure 112009076441566-PAT00028
를 상기 LUT에서 찾는다. 즉, 입력
Figure 112009076441566-PAT00029
과 LUT에 존재하는 L개의
Figure 112009076441566-PAT00030
들 간 거리(distance)를 계산하여 최소의 distance를 갖는 클러스터를 찾는 것이다. 이러한 과정을 정합(matching) 과정이라고 한다. 정합을 위한 distance measure로는 L1-norm이나 L2-norm과 같은 널리 알려진 distance measure를 포함하는 다양한 distance measure들을 채용할 수 있다. 정합을 통해 얻어진 최적 클러스터가
Figure 112009076441566-PAT00031
번째 클러스터라고 가정한다. 결국 입력 LR블록에 대응 하는 HR 블록 내 (i, j) 위치의 화소는
Figure 112009076441566-PAT00032
를 이용하여 식 [4]를 통해 얻어진다.
한편, 도 12에서 overlapping을 어떻게 하느냐에 따라 HR 특정 위치에서는 2개 이상의 화소들이 생성될 수 있다. 이 경우 그 평균을 구하여 최종적인 HR 화소로 결정할 수 있다. 이 경우, 각 영역 별로 상기와 같이 잡음 제거 및 up-scaling을 동시에 수행한다.
한편, 노이즈가 큰 경우에는 노이즈 픽셀로 인해 LUT 자체에 왜곡이 생기거나, inference 단계에서 정합에 영향을 받을 수 있다. 이런 문제를 해결하기 위해 라플라시안 결과에서 해당 픽셀이 특정 문턱값(T1)보다 크고, 인접하는 8개의 픽셀이 모두 특정 문턱값(T2)보다 작은 경우, 해당 픽셀을 노이즈 픽셀로 간주하여 LUT 구성은 물론, inference 단계의 정합 과정에서 배제할 수 있다. 예를 들어, 학습 단계에서 노이즈 픽셀들을 100% 배제하여 학습하거나, 주변 픽셀값들의 평균값으로 대체하여 학습할 수도 있다. 여기서 일반적으로 T2 <　T1이다.
입력 영상 내의 각 패치도 마찬가지이다. 상기 규칙에 따라 노이즈 픽셀로 간주되면 해당 픽셀들을 배제한 상태에서 정합을 수행할 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도 1은 복수 영상 기반 SR 기법을 설명하기 위한 도면.
도 2는 단일 영상 기반 SR 기법을 설명하기 위한 도면.
도 3은 노이즈가 섞여 있는 영상을 스케일링하는 과정을 도시한 도면.
도 4는 본 발명의 일 실시예에 의한 영상처리장치의 구성을 도시한 블럭도.
도 5는 본 발명의 일 실시예에 의한 영상처리과정을 도시한 도면.
도 6a는 본 발명의 일 실시예에 의한 LUT 구성을 위한 학습 과정을 설명하기 위한 도면.
도 6b는 본 발명의 일 실시예에 의하여 저해상도 영상을 고해상도 영상으로 합성하는 과정을 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 의하여 노이즈 특성 및 영상 특성에 따라 분류된 영상 클래스를 도시한 도면.
도 8은 본 발명의 일 실시예에 의하여 클래스별로 LUT를 생성하는 과정을 도시한 블록도.
도 9는 본 발명의 일 실시예에 의한 LR 블록-HR 블록 pair를 추출하는 과정을 설명하기 위한 도면.
도 10은 N 번째 클래스에 대한 최종적인 LUT를 도시한 도면.
도 11은 본 발명의 일 실시예에 의하여 다수의 영역으로 구분된 영상 프레임을 도시한 도면.
도 12는 본 발명의 일 실시예에 의하여 LR 블록에 대응하는 HR 블록을 생성 하는 과정을 설명하기 위한 도면.
< 도면의 주요 부분에 대한 부호의 설명 >
400: 영상처리장치 410: 영상 입력부
420: 영상 처리부 430: 디스플레이부
910: 저해상도 블록 920: 고해상도 블록

Claims (18)

  1. 영상처리장치에 있어서,
    영상을 입력 받는 영상 입력부; 및
    노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성하고, 생성된 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 영상 처리부를 포함하는 영상처리장치.
  2. 제1항에 있어서,
    상기 영상 처리부는, 복수 개의 상기 제1클래스 각각을 복수 개의 상기 제2클래스로 분류하는 영상처리장치.
  3. 제1항에 있어서,
    상기 학습 영상은, 저해상도 영상과 이에 대응되는 고해상도 영상의 쌍으로 구성되는 영상처리장치.
  4. 제3항에 있어서,
    상기 참조 데이터는, 상기 저해상도 영상과 상기 영상의 특성에 대응하여 설정되는 가중치의 쌍으로 구성되는 영상처리장치.
  5. 제1항에 있어서,
    상기 영상 처리부는, 노이즈가 포함된 저해상도 영상을 고해상도 영상으로 변환하는 영상처리장치.
  6. 제1항에 있어서,
    상기 영상의 특성은, 상기 영상의 고주파 성분 및 에지의 특성 중 적어도 하나를 포함하는 영상처리장치.
  7. 제1항에 있어서,
    상기 노이즈의 특성은, 상기 노이즈의 종류 및 상기 노이즈의 세기 중 적어도 하나를 포함하는 영상처리장치.
  8. 제1항에 있어서,
    상기 영상 처리부는, 상기 노이즈에 의하여 왜곡된 상기 영상이 입력되는 경우, 입력된 상기 영상의 영역 단위로 상기 노이즈의 세기를 예측하는 영상처리장치.
  9. 제1항에 있어서,
    상기 영상 처리부는, 입력된 상기 영상의 상기 노이즈의 특성 및 상기 영상 의 특성에 대응하는 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 영상처리장치.
  10. 영상처리방법에 있어서,
    영상을 입력 받는 단계;
    노이즈의 특성에 따른 제1클래스 및 상기 영상의 특성에 따른 제2클래스에 속하는 복수 개의 학습 영상에 기초하여 참조 데이터를 생성하는 단계; 및
    생성된 상기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 단계를 포함하는 영상처리방법.
  11. 제10항에 있어서,
    복수 개의 상기 제1클래스 각각을 복수 개의 상기 제2클래스로 분류하는 영상처리방법.
  12. 제10항에 있어서,
    상기 학습 영상은, 저해상도 영상과 이에 대응되는 고해상도 영상의 쌍으로 구성되는 영상처리방법.
  13. 제12항에 있어서,
    상기 참조 데이터는, 상기 저해상도 영상과 상기 영상의 특성에 대응하여 설 정되는 가중치의 쌍으로 구성되는 영상처리방법.
  14. 제10항에 있어서,
    노이즈가 포함된 저해상도 영상을 고해상도 영상으로 변환하는 영상처리방법.
  15. 제10항에 있어서,
    상기 영상의 특성은, 상기 영상의 고주파 성분 및 에지의 특성 중 적어도 하나를 포함하는 영상처리방법.
  16. 제10항에 있어서,
    상기 노이즈의 특성은, 상기 노이즈의 종류 및 상기 노이즈의 세기 중 적어도 하나를 포함하는 영상처리방법.
  17. 제10항에 있어서,
    상기 노이즈에 의하여 왜곡된 상기 영상이 입력되는 경우, 입력된 상기 영상의 영역 단위로 상기 노이즈의 세기를 예측하는 영상처리방법.
  18. 제10항에 있어서,
    입력된 상기 영상의 상기 노이즈의 특성 및 상기 영상의 특성에 대응하는 상 기 참조 데이터에 기초하여 입력된 상기 영상의 스케일링을 수행하는 영상처리방법.
KR1020090122717A 2009-12-10 2009-12-10 영상처리장치 및 영상처리방법 KR20110065997A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090122717A KR20110065997A (ko) 2009-12-10 2009-12-10 영상처리장치 및 영상처리방법
EP10187171A EP2352121A1 (en) 2009-12-10 2010-10-11 Image processing apparatus and method
US12/911,830 US8805120B2 (en) 2009-12-10 2010-10-26 Image processing apparatus and method which generates reference data according to learning images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090122717A KR20110065997A (ko) 2009-12-10 2009-12-10 영상처리장치 및 영상처리방법

Publications (1)

Publication Number Publication Date
KR20110065997A true KR20110065997A (ko) 2011-06-16

Family

ID=43569175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090122717A KR20110065997A (ko) 2009-12-10 2009-12-10 영상처리장치 및 영상처리방법

Country Status (3)

Country Link
US (1) US8805120B2 (ko)
EP (1) EP2352121A1 (ko)
KR (1) KR20110065997A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174715A1 (ko) * 2014-05-12 2015-11-19 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
KR102095518B1 (ko) * 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
WO2021172744A1 (ko) * 2020-02-25 2021-09-02 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102467092B1 (ko) * 2021-11-26 2022-11-16 블루닷 주식회사 복수의 신경망들을 이용하여 코딩 노이즈에 강인한 슈퍼 레졸루션 이미지 처리 방법 및 시스템
US11861808B2 (en) 2018-02-20 2024-01-02 Samsung Electronics Co., Ltd. Electronic device, image processing method, and computer-readable recording medium

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
WO2011090798A1 (en) 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
KR101869459B1 (ko) * 2010-09-10 2018-06-20 톰슨 라이센싱 블록-기반의 혼합된-해상도 데이터 프루닝을 이용하는 비디오 디코딩
CN103202017B (zh) * 2010-09-10 2017-02-22 汤姆逊许可公司 使用基于样本的数据修剪的视频解码的方法和装置
US8989514B2 (en) * 2011-02-03 2015-03-24 Voxeleron Llc Method and system for image analysis and interpretation
CN103235949B (zh) * 2013-04-12 2016-02-10 北京大学 图像兴趣点检测方法和装置
US9924094B2 (en) * 2013-11-25 2018-03-20 Canon Kabushiki Kaisha Image pickup apparatus capable of changing drive mode and image signal control method
US9607359B2 (en) * 2014-12-29 2017-03-28 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US10296605B2 (en) * 2015-12-14 2019-05-21 Intel Corporation Dictionary generation for example based image processing
CN105847968B (zh) * 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
CN106056562B (zh) * 2016-05-19 2019-05-28 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
KR102580519B1 (ko) 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN110414456B (zh) * 2019-07-30 2021-08-03 合肥师范学院 一种基于拓展瑞利判据的信号分辨与提取方法
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법
KR102273377B1 (ko) * 2020-12-14 2021-07-06 국방기술품질원 영상 합성 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4670169B2 (ja) * 2000-11-15 2011-04-13 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
US7171042B2 (en) * 2000-12-04 2007-01-30 Intel Corporation System and method for classification of images and videos
CA2418810C (en) * 2001-06-15 2010-10-05 Sony Corporation Image processing apparatus and method and image pickup apparatus
CN1305006C (zh) * 2001-07-12 2007-03-14 杜莱布斯公司 向图象处理装置提供格式化信息的方法和系统
EP1321896B1 (en) * 2001-12-21 2009-12-30 International Business Machines Corporation Method and circuits for scaling images using neural networks
US7130776B2 (en) * 2002-03-25 2006-10-31 Lockheed Martin Corporation Method and computer program product for producing a pattern recognition training set
JP4026491B2 (ja) * 2002-12-13 2007-12-26 ソニー株式会社 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体
JP4175124B2 (ja) * 2003-01-24 2008-11-05 ソニー株式会社 画像信号処理装置
US7627198B2 (en) * 2003-05-29 2009-12-01 Sony Corporation Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods
JP4055655B2 (ja) * 2003-05-29 2008-03-05 ソニー株式会社 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム
US7679676B2 (en) * 2004-06-03 2010-03-16 Koninklijke Philips Electronics N.V. Spatial signal conversion
US7447382B2 (en) * 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
US7974476B2 (en) * 2007-05-30 2011-07-05 Microsoft Corporation Flexible MQDF classifier model compression
JP5061882B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに学習装置
JP4882999B2 (ja) * 2007-12-21 2012-02-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP4803279B2 (ja) 2009-05-01 2011-10-26 ソニー株式会社 画像信号処理装置および方法、記録媒体、並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174715A1 (ko) * 2014-05-12 2015-11-19 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
US11861808B2 (en) 2018-02-20 2024-01-02 Samsung Electronics Co., Ltd. Electronic device, image processing method, and computer-readable recording medium
KR102095518B1 (ko) * 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
WO2021172744A1 (ko) * 2020-02-25 2021-09-02 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102467092B1 (ko) * 2021-11-26 2022-11-16 블루닷 주식회사 복수의 신경망들을 이용하여 코딩 노이즈에 강인한 슈퍼 레졸루션 이미지 처리 방법 및 시스템

Also Published As

Publication number Publication date
US20110142330A1 (en) 2011-06-16
EP2352121A1 (en) 2011-08-03
US8805120B2 (en) 2014-08-12

Similar Documents

Publication Publication Date Title
KR20110065997A (ko) 영상처리장치 및 영상처리방법
US8731337B2 (en) Denoising and artifact removal in image upscaling
KR101743861B1 (ko) 이미지 안정화를 위한 이미지 융합 방법
EP2164040B1 (en) System and method for high quality image and video upscaling
US8351730B2 (en) System and method for scaling images
US10198801B2 (en) Image enhancement using self-examples and external examples
US8275218B2 (en) Forward and backward image resizing method
JPH06245113A (ja) ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置
JP2021043874A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20050059171A (ko) 이미지 스케일링 방법
KR102635355B1 (ko) 지향성 스케일링 시스템들 및 방법들
Kim et al. On recent results in demosaicing of Samsung 108MP CMOS sensor using deep learning
CN109685729A (zh) 一种像素级阈值自适应的泊松去噪方法
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム
Savagave et al. Study of image interpolation
CN110580880A (zh) 一种基于rgb三角亚像素布局式的亚像素渲染方法、系统以及显示装置
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
WO2016035568A1 (ja) 信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラム
JP2019097004A (ja) 画像生成装置、画像生成方法及び画像生成プログラム
JP5804258B2 (ja) 画像処理装置、電子機器
JP2019092013A (ja) 画像生成装置、画像生成方法及び画像生成プログラム
JP2016174306A (ja) 画像処理装置、画面処理方法及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid