KR20100036475A - 고해상도 영상 획득 장치 및 그 방법 - Google Patents

고해상도 영상 획득 장치 및 그 방법 Download PDF

Info

Publication number
KR20100036475A
KR20100036475A KR1020080095718A KR20080095718A KR20100036475A KR 20100036475 A KR20100036475 A KR 20100036475A KR 1020080095718 A KR1020080095718 A KR 1020080095718A KR 20080095718 A KR20080095718 A KR 20080095718A KR 20100036475 A KR20100036475 A KR 20100036475A
Authority
KR
South Korea
Prior art keywords
image frame
transform coefficient
high resolution
resolution image
coefficient block
Prior art date
Application number
KR1020080095718A
Other languages
English (en)
Other versions
KR101498206B1 (ko
Inventor
황규영
김창현
최규하
나종범
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020080095718A priority Critical patent/KR101498206B1/ko
Priority to US12/457,170 priority patent/US8498498B2/en
Priority to JP2011528916A priority patent/JP5555706B2/ja
Priority to EP09817951.8A priority patent/EP2329655B1/en
Priority to PCT/KR2009/004195 priority patent/WO2010038941A2/en
Publication of KR20100036475A publication Critical patent/KR20100036475A/ko
Application granted granted Critical
Publication of KR101498206B1 publication Critical patent/KR101498206B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

고해상도 영상 획득 장치 및 그 방법이 제공된다. 고해상도 영상 획득 장치는 입력 영상 프레임을 배경 영역과 전경 영역으로 구분하고, 각각의 영역에 최적화된 해상도 향상 알고리즘을 적용함으로써, 효과적으로 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득할 수 있다.
Figure P1020080095718
고해상도 영상, 리컨스트럭션 기반 해상도 향상, 예제 기반 해상도 향상, 웨이블릿 변환, 움직임 정보

Description

고해상도 영상 획득 장치 및 그 방법{APPARATUS AND METHOD FOR OBTAINING HIGH RESOLUTION IMAGE}
본 발명의 실시예들은 고해상도 영상을 획득하는 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 복잡도(complexity)를 줄이고 효과적으로 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득할 수 있는 고해상도 영상 획득 장치 및 방법과 관련된 것이다.
디지털 카메라 내지 디지털 비디오 레코더를 이용하여 영상을 기록(recoding)하는 경우, 카메라의 소형화에 따른 광학적 한계, 즉 CCD(charge-coupled device)/CMOS(complementary metal-oxide semiconductor) 이미지 센서의 화소 수 부족으로 인한 공간 해상도의 한계, 및 기록된 영상의 압축/저장/전송 과정에서 발생하는 크기 변화로 인하여 고해상도의 영상을 기록하기가 어렵다. 따라서 기록된 영상에 대한 고해상도 영상을 획득하기 위하여, 신호 분석을 통한 고해상도 영상 향상 알고리즘의 개발이 필요하다.
저해상도 영상으로부터 고해상도 영상을 획득하기 위한 기존의 방법으로는 샤프닝(sharpening) 기법, 보간법(interpolation), 초해상도(super-resolution) 기 법 등이 있다.
샤프닝 기법은 화상의 선명도를 향상시키는 방법으로서, 미분 연산이나 고대역 강조 필터를 이용하여 영상의 해상도를 향상시킨다.
보간법은 픽셀값을 할당 받지 못한 픽셀(이를 hole이라고 한다)에 적당한 데이터 값들을 할당하여 영상의 해상도를 향상시킨다.
초해상도 기법은 상기 언급한 방법들에 비해 보다 고화질의 영상을 제공할 수 있으며, 대표적인 것으로는 리컨스트럭션(reconstruction) 기반 해상도 향상 알고리즘과 예제(example) 기반 해상도 향상 알고리즘이 있다.
리컨스트럭션 기반 해상도 향상 알고리즘은 여러 장의 영상 프레임을 이용하여 고해상도 영상을 만들어 내는 기법이다. 단 복잡한 물체의 움직임이 있는 일반적인 영상에 대해서는 적용이 불가능하다.
예제 기반 해상도 향상 알고리즘은 하나의 영상 프레임으로부터 고해상도 영상을 획득할 수 있다. 단 잡음에 취약하고 원하지 않는 아티팩트(artifact)가 발생할 수 있다.
본 발명의 일실시예에 따른 고해상도 영상 획득 장치는 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하는 영역 분할부, 상기 배경 영역에 대한 제1 고해상도 영상 프레임을 획득하는 제1 영상 프레임 획득부, 상기 전경 영역에 대한 제2 고해상도 영상 프레임을 획득하는 제2 영상 프레임 획득부, 및 상기 제1 고해상도 영상 프레임 및 상기 제2 고해상도 영상 프레임을 합성하여 상기 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득하는 영상 프레임 합성부를 포함한다.
이 때, 본 발명의 일실시예에 따른 고해상도 영상 획득 장치는 데이터베이스를 더 포함하고, 상기 데이터베이스는 기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획한 제1 변환 계수 블록 그룹, 및 상기 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록단위로 구획한 제2 변환 계수 블록 그룹을 생성하고, 상기 제1 변환 계수 블록 그룹에 포함되는 복수 개의 제1 변환 계수 블록과 상기 제2 변환 계수 블록 그룹에 포함되는 복수 개의 제2 변환 계수 블록을 상기 기준 영상 내에서의 상기 제1 변환 계수 블록 및 상기 제2 변환 계수 블록의 위치에 따라 매칭하여 저장한다.
또한 본 발명의 일실시예에 따른 고해상도 영상 획득 방법은 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하는 단계, 상기 배경 영역에 대한 제1 고해상도 영상 프레임을 획득하는 단계, 상기 전경 영역에 대한 제2 고해상도 영상 프레임을 획득하는 단계, 및 상기 제1 고해상도 영상 프레임 및 상기 제2 고해상도 영상 프레임을 합성하여 상기 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득하는 단계를 포함한다.
본 발명의 일실시예에 따른 고해상도 영상 획득 장치 및 그 방법은 서로 다른 해상도 향상 알고리즘을 함께 사용함으로써, 복잡도(complexity)를 줄이고 효과적으로 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득할 할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 고해상도 영상 획득 장치의 상세한 구성을 도시한 블록도이다.
본 발명의 일실시예에 따른 고해상도 영상 획득 장치(100)는 영역 분할부(110), 제1 영상 프레임 획득부(120), 제2 영상 프레임 획득부(130), 및 영상 프레임 합성부(140)을 포함한다. 또한, 본 발명의 일실시예에 따르면 입체 영상 표시 장치(100)는 데이터베이스(150)을 더 포함할 수 있다. 이하, 각 구성 요소 별로 그 기능을 상술하기로 한다.
영역 분할부(110)는 입력 영상 프레임을 배경 영역과 전경 영역으로 분할한다.
전경 영역은 입력 영상 프레임 내에서 움직이는 객체(object)를 포함하는 영역을 의미하고, 배경 영역은 입력 영상 프레임에서 전경 영역을 제외한 영역을 의미한다.
본 발명의 일실시예에 따르면, 영역 분할부(110)는 입력 영상 프레임의 움직임 정보(motion information)에 기초하여 입력 영상 프레임을 배경 영역과 전경 영역으로 분할할 수 있다.
또한, 본 발명의 일실시예에 따르면, 영역 분할부(110)는 배경 영역 움직임 추정부(111), 및 전경 영역 윤곽선 추출부(112)를 더 포함할 수 있다.
배경 영역 움직임 추정부(111)는 입력 영상 프레임과 상기 입력 영상 프레임의 이전 입력 영상 프레임을 이용하여 배경 영역의 움직임을 추정한다.
입력 영상 프레임 획득시, 영상 획득 장치의 움직임 등으로 인하여 배경 영역에서도 움직임이 발생하게 되는데, 배경 영역과 전경 영역을 분할함에 있어서 배경 영역 움직임 추정부(111)는 배경 영역의 움직임을 대략적으로 추정하는 기능을 수행한다.
본 발명의 일실시예에 따르면, 배경 영역 움직임 추정부(111)는 입력 영상 프레임 및 상기 입력 영상 프레임의 이전 입력 영상 프레임으로부터 특징점(salient point)을 각각 추출하고, 입력 영상 프레임의 특징점과 이전 입력 영상 프레임의 특징점을 매칭하여 상기 배경 영역의 움직임을 추정할 수 있다.
먼저, 배경 영역 움직임 추정부(111)는 어파인 움직임(affine motion)을 이용하여 입력 영상 프레임과 이전 입력 영상 프레임에서의 배경 영역의 움직임을 모델링한다.
일례로서, 배경 영역 움직임 추정부(111)는 해리스 코너 디텍터(harris corner detector)를 이용하여 입력 영상 프레임 및 이전 입력 영상 프레임으로부터 특징점을 각각 추출할 수 있다.
특징점을 추출한 후, 배경 영역 움직임 추정부(111)는 입력 영상 프레임의 특징점과 이전 입력 영상 프레임의 특징점을 매칭한다. 일례로서, 배경 영역 움직임 추정부(111)는 SAD(Sum of absolute differences), 및 NCC(Normalized cross correlation)를 측정하여 각각의 특징점을 매칭할 수 있다.
이 경우, 매칭된 특징점의 일부는 배경 영역이 아닌 전경 영역에 포함되는 특징점일 수 있는데, 배경 영역의 움직임을 정확하게 모델링 하기 위해서는 전경 영역에 포함되는 특징점을 제거하여야 한다. 일례로서, 배경 영역 움직임 추정부(111)는 RANSAC(Random sample consensus) 방법을 이용하여 전경 영역에서 추출된 특징점을 제거할 수 있다.
전경 영역에서 추출된 특징점들을 제거한 후, 배경 영역 움직임 추정부(111)는 매칭된 특징점들로부터 최소 자승 오류(least-square errors)를 최소로 하는 어파인 파라미터(affine parameter)를 추정하고, 추정된 어파인 파라미터를 이용하여 배경 영역의 움직임을 추정하게 된다.
전경 영역 윤곽선 추출부(112)는 추정된 배경 영역의 움직임에 기초하여 상기 입력 영상 프레임을 보상(compensation)하고, 상기 보상된 입력 영상 프레임과 상기 이전 입력 영상 프레임을 이용하여 상기 전경 영역의 윤곽선을 추출한다.
일례로서, 전경 영역 윤곽선 추출부(112)는 입력 영상 프레임과 보상된 입력 영상 프레임의 차 영상 프레임을 이용하여 전경 영역을 추정할 수 있다. 차 영 상 프레임은 입력 영상 프레임의 픽셀 값과 보상된 입력 영상 프레임의 픽셀 값의 차이 값을 픽셀 값으로 갖는 영상 프레임을 의미한다.
보상된 입력 영상 프레임은 배경 영역의 움직임이 보상된 영상 프레임이므로, 차 영상 프레임의 특정 픽셀 값이 주변 픽셀 값에 비해 매우 큰 경우, 상기 픽셀은 배경 영역이 아닌 전경 영역에 포함되는 것으로 판단할 수 있다. 따라서, 전경 영역 윤곽선 추출부(112)는 기설정된 문턱값(threshold value)을 기준으로 하여, 차 영상 프레임의 픽셀 값이 문턱값을 초과하는 경우 "1"의 값을, 그렇지 않은 경우에는 "0"의 값을 부여함으로써 차 영상 프레임을 이진화 할 수 있다. 이 경우, 전경 영역 추출부(112)는 이진화된 차 영상 프레임에서 픽셀 값이 "1"인 영역을 전경 영역으로 추정할 수 있다.
이 때, 전경 영역의 내부에 텍스처(texture)가 없다면, 전경 영역의 내부의 픽셀 값은 "0"이 되어 전경 영역 전체가 아닌 전경 영역의 경계 부분만이 검출된다. 이 경우, 전경 영역 윤곽선 추출부(112)는 이진화된 차 영상에 대해 모포로지컬 필터링(morphological filtering)을 적용하여 외부의 경계를 보존하면서 내부 영역의 픽셀에 대해 "1"의 픽셀 값을 부여하여 닫힌 형태의 전경 영역을 추출할 수 있다.
또한 본 발명의 일례로서, 전경 영역 윤곽선 추출부(112)는 상기 추출된 전경 영역과 배경 영역의 컬러 분포(color distribution)의 차이를 이용하여 전경 영역과 배경 영역을 보다 세밀하게 구분할 수 있다. 이 경우, 전경 영역 윤곽선 추출부(112)는 그랩컷(Grabcut) 알고리즘을 이용하여 전경 영역과 배경 영역을 세밀 하게 구분할 수 있다.
제1 영상 프레임 획득부(120)는 분할된 배경 영역에 대한 제1 고해상도 영상 프레임을 획득하고, 제2 영상 프레임 획득부(130)는 분할된 전경 영역에 대한 제2 고해상도 영상 프레임을 획득한다.
즉, 본 발명의 일실시예에 다른 고해상도 영상 획득 장치(100)는 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하고, 분할된 배경 영역과 전경 영역에 대해 각각 다른, 최적화된 해상도 향상 알고리즘을 적용함으로써, 효과적으로 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득할 수 있다.
본 발명의 일실시예에 따르면, 제1 영상 프레임 획득부(120)는 리컨스트럭션(reconstruction) 기반 해상도 향상 알고리즘을 이용하여 제1 고해상도 영상 프레임을 획득할 수 있다.
리컨스트럭션 기반 고해상도 영상 향상 알고리즘은 고해상도 영상과 저해상도 영상간 모델링을 이용하여 복수 개의 저해상도 영상(입력 영상)으로부터 고해상도 영상을 획득하는 알고리즘이다.
여기서, 입력 영상의 크기를 N 1 × N 2 , 획득하고자 하는 고해상도 영상의 크기를 L 1 N 1 × L 2 N 2 , 획득하고자 하는 고해상도 영상을 사전 순서로(lexicographically) 배열한 벡터를 x라고 가정한다.
저해상도 영상은 x가 워핑(warping)을 거쳐 블러(blur)되고 가로와 세로에 대해 각각 L 1, L 2만큼 서브 샘플링(sub-sampling)된 영상으로 모델링 될 수 있다. 워핑은 고해상도 영상과 저해상도 영상의 공간적인 위치 관계를 나타내며 주로 트랜스레이션(translation), 로테이션(rotation) 그리고 스케일링(scaling)을 고려한다. 블러는 영상 획득 시 발생하는 렌즈의 광학적 블러(optical blur), CCD로 인한 센서 블러(sensor blur), 및 모션 블러(motion blur)를 나타낸다. 서브 샘플링은 고해상도 영상과 저해상도 영상간의 해상도 비율을 의미한다.
상기 모델링 과정을 수식으로 나타내면 하기 수학식 1과 같이 표현할 수 있다.
Figure 112008068520418-PAT00001
여기서, p는 복수 개의 저해상도 영상의 개수, D k는 k번째 서브 샘플링 파라미터, B k는 k번째 블러 파라미터, R k는 k번째 워핑(또는 정합, registration) 파라미터, y k 는 k번째 저해상도 영상, n k는 k번째 저해상도 영상에 포함된 잡음을 각각 의미하고, D k, B k, 및 R k의 곱은 간단히 W k로 나타낼 수 있다.
저해상도 영상과 고해상도 영상간의 관계가 상기 수학식 1과 같을 경우 제1 영상 프레임 획득부(120)는 하기 수학식 2에 기초하여 제1 고해상도 영상 프레임을 획득할 수 있다.
Figure 112008068520418-PAT00002
여기서,
Figure 112008068520418-PAT00003
는 제1 고해상도 영상 프레임,
Figure 112008068520418-PAT00004
는 유사성 값(similarity cost),
Figure 112008068520418-PAT00005
는 정규화 값(regularization cost),
Figure 112008068520418-PAT00006
는 유사성 값과 정규화 값의 비중을 조절하기 위한 변수를 각각 의미한다.
본 발명의 일실시예에 따르면, 제2 영상 프레임 획득부(130)는 웨이블릿(wavelet) 변환을 기반으로 하는 예제(example) 기반 해상도 향상 알고리즘을 이용하여 상기 제2 고해상도 영상 프레임을 획득할 수 있다.
예제 기반 해상도 향상 알고리즘은 복수 개의 기준 영상들로부터 해상도 향상을 위한 데이터베이스를 생성하고, 데이터베이스 내에 저장된 정보를 이용하여 입력 영상 프레임(저해상도 영상 프레임)으로부터 고해상도 영상 프레임을 획득하는 알고리즘이다. 이 때, 기준 영상을 웨이블릿 변환하여 웨이블릿 변환 계수를 데이터베이스에 저장하고 이를 이용하여 고해상도 영상 프레임을 획득하는 경우, 웨이블릿 변환의 특성으로 인해 에지(edge) 성분의 잘 표현할 수 있어 효과적으로 고해상도 영상을 획득할 수 있다.
상기 언급한 바와 같이, 본 발명의 일실시예에 따르면, 고해상도 영상 획득 장치(100)는 데이터베이스(150)를 더 포함할 수 있다.
먼저, 데이터베이스(150)는 기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획한 제1 변환 계수 블록 그룹, 및 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록단위로 구획한 제2 변환 계수 블록 그룹을 생성한다.
즉, 데이터베이스(150)는 기준 영상에 대한 정보를 그 자체로 저장하지 않고, 기준 영상을 웨이블릿 변환한 후, 웨이블릿 변환 계수를 저장한다. 이 때, 데이터베이스(150)는 웨이블릿 변환 계수를 픽셀 단위로 저장하지 않고, 특정 블록 단위로 묶어서 저장할 수 있다.
이를 위해 데이터베이스(150)는 기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획하고, 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록 단위로 구획한다. 이 때, 다양한 영상에 대한 웨이블릿 변환 계수를 저장하기 위해 데이터베이스(150)는 적어도 하나 이상의 기준 영상에 대한 웨이블릿 변환 계수를 저장할 수 있다.
기준 영상에 대한 저해상도 영상 프레임은 기준 영상에 대한 고해상도 영상 프레임을 블러 및 다운 샘플링하여 생성될 수 있고, 별도로 입력될 수도 있다.
제1 블록단위로 구획한 제1 변환 계수 블록 그룹 내의 제1 변환 계수 블록 의 개수와 제2 블록단위로 구획한 제2 변환 계수 블록 그룹 내의 제2 변환 계수 블록의 개수는 동일하여야 하고, 일반적으로 고해상도 영상의 픽셀 수는 저해상도 영상보다 많으므로, 제2 블록단위는 제1 블록단위보다 클 수 있다.
다음으로, 데이터베이스(150)는 복수 개의 제1 변환 계수 블록과 복수 개의 제2 변환 계수 블록을 상기 기준 영상 내에서의 상기 제1 변환 계수 블록 및 상기 제2 변환 계수 블록의 위치에 따라 매칭하여 저장한다.
즉, 데이터베이스(150)는 기준 영상 내에서 동일한 위치를 나타내는 제1 변환 계수 블록 및 제2 변환 계수 블록을 매칭하여 저장한다. 일례로서, 데이터베이스(150)는 매칭된 제1 변환 계수 블록 및 제2 변환 계수를 트레이닝 데이터 세트(training data set)로서 저장할 수 있다.
본 발명의 일실시예에 따르면, 저해상도 영상 프레임의 웨이블릿 변환 계수 및 상기 고해상도 영상 프레임의 웨이블릿 변환 계수는 저고 영역(LH-band)의 웨이블릿 변환 계수 및 고저 영역(HL-band)의 웨이블릿 변환 계수 중에서 어느 하나를 포함할 수 있다.
즉, 저고 대역의 웨이블릿 변환 계수의 가로와 세로의 위치를 바꾸면(transpose), 고저 대역의 웨이블릿 변환 계수를 얻을 수 있기 때문에, 데이터베이스(150)에 저장되는 정보의 양을 줄이기 위해 저고 영역의 웨이블릿 변환 계수 및 고저 영역의 웨이블릿 변환 계수 중에서 어느 하나만을 저장할 수 있다.
본 발명의 일실시예에 따르면, 데이터베이스(150)는 제1 변환 계수 블록의 에지(edge) 각도 정보를 더 저장할 수 있다.
또한, 일례로서, 제1 변환 계수 블록이 에지가 아닌 텍스처를 표현하는 경우, 데이터베이스(150)는 에지 각도 정보를 저장하지 않고, 제1 변환 계수 블록이 텍스처임을 표시하는 정보를 더 저장할 수 있다. 텍스처임을 표시하는 정보는 트레이닝 데이터 세트에 함께 저장될 수 있다.
본 발명의 일실시예에 따르면, 제2 영상 프레임 획득부(130)은 웨이블릿 변환부(131), 검색부(132), 및 역 웨이블릿 변환부(133)를 포함할 수 있다.
웨이블릿 변환부(131)는 전경 영역을 웨이블릿 변환한다. 즉, 입력된 저해상도 영상 프레임의 전경 영역을 웨이블릿 변환하여 웨이블릿 변환 계수를 생성한다.
검색부(132)는 웨이블릿 변환된 전경 영역의 웨이블릿 변환 계수를 제1 블록단위로 구획하여 제3 변환 계수 블록 그룹을 생성하고, 제3 변환 계수 블록 그룹 내의 복수 개의 제3 변환 계수 블록 각각과 대응되는 제1 변환 계수 블록을 데이터베이스(150)에서 검색한다.
즉, 검색부(132)는 제1 변환 계수 블록의 블록단위(제1 블록단위)와 동일한 크기로 웨이블릿 변환된 전경 영역의 웨이블릿 변환 계수를 구획하여 복수 개의 제3 변환 계수 블록을 생성하고, 생성된 복수 개의 제3 변환 계수 블록 각각과 유사한 제1 변환 계수 블록을 데이터베이스(150)에서 검색한다.
역 웨이블릿 변환부(133)는 검색된 제1 변환 계수 블록과 매칭되는 제2 변환 계수 블록을 조합하여 제4 변환 계수 블록 그룹을 생성하고, 제4 변환 계수 블록 그룹을 역 웨이블릿 변환한다.
검색된 제1 변환 계수 블록들과 매칭되는 제2 변환 계수 블록을 제1 변환 계수 블록 그룹 내에서의 제1 변환 계수 블록의 순서에 따라 조합하면, 이는 입력 영상 프레임의 전경 영역에 대한 고해상도 영상 프레임의 웨이블릿 변환된 영상과 동일한 영상으로 간주할 수 있다. 역 웨이블릿 변환부(133)는 조합된 제2 변환 계수 블록 그룹을 역 웨이블릿 변환하는 기능을 수행한다.
이에 따라, 제2 영상 프레임(130)은 입력 영상 프레임의 전경 영역에 대한 고해상도 영상 프레임을 획득할 수 있게 된다
즉, 본 발명의 일실시예에 따른 고해상도 영상 획득 장치(100)는 리컨스트럭션 기반의 해상도 향상 알고리즘과 예제 기반 해상도 향상 알고리즘의 장점만을 취합하여 이를 동시에 적용함으로써, 복잡도를 줄이고 효과적으로 저해상도 영상으로부터 고해상도 영상을 획득할 수 있게 된다.
이하에서는 도 4를 참조하여, 제3 변환 계수 블록과 대응되는 제4 변환 계수 블록을 검색하는 과정을 자세하게 설명하기로 한다.
도 4는 본 발명의 일실시예에 따라 제3 변환 계수 블록과 매칭되는 제4 변환 계수 블록을 검색하는 과정을 도시한 도면이다
일례로서, 도 4에서는 제1 변환 계수 블록 및 제2 변환 계수 블록은 노멀라이즈된(normalized) 제1 변환 계수 블록 및 노멀라이즈된 제2 변환 계수 블록으로 가정한다. 제1 변환 계수 블록 및 제2 변환 계수 블록을 노멀라이즈하여 저장하면 데이터베이스에 저장되는 정보의 양을 줄일 수 있다.
먼저, 웨이블릿 변환된 입력 영상 프레임의 일부 영역(410)에 포함되는 제3 변환 계수 블록(411)을 추출하고, 노멀라이즈된 제3 변환 계수 블록(420)을 생성한다.
다음으로, 노멀라이즈된 제3 변환 계수 블록(420)과 유사한 노멀라이즈된 제1 변환 계수 블록을 찾아 제1 후보군(candidates)(430)을 생성한다.
이 후, 제1 변환 계수 블록 후보군(430)에 포함된 복수 개의 노멀라이즈된 제1 변환 계수 블록(4301 내지 4312)과 각각 매칭되는 노멀라이즈된 제2 변환 계수 블록(4401 내지 4412)을 찾아 제2 후보군(440)을 생성한다.
마지막으로, 인접한 블록과의 호환성(compatibility)을 고려하여, 제2 후보군(440)중에서 하나의 노멀라이즈된 제2 변환 계수 블록(4409)를 선택하고, 이를 디노멀라이즈(denormalize)하여 제3 변환 계수 블록(411)과 대응되는 제4 변환 계수 블록(451)을 생성한다. 도면 부호(452)는 이전 블록과 겹치는 영역을 나타낸다.
도 2는 본 발명의 일실시예에 따라, 웨이블릿 변환 계수를 데이터베이스에 저장하는 과정을 도시한 도면이다.
일례로서, 도 2에는 이산 웨이블릿 프레임 변환(discrete wavelet frame transform)을 이용하여 데이터베이스를 생성하는 과정을 도시하였다.
우선, 데이터베이스(150)는 기준 영상에 대한 저해상도 영상 프레임(210)과 기준 영상에 대한 고해상도 영상 프레임(230)을 입력받고, 이를 각각 이산 웨이블릿 프레임 변환하여 웨이블릿 프레임 변환된 저해상도 영상 프레임(220) 및 웨이블릿 프레임 변환된 고해상도 영상 프레임(240)을 각각 획득한다. 웨이블릿 프레임 변환된 저해상도 영상 프레임(220)은 저저 대역(LL-band)(221), 저고 대역(LH-band)(222), 고저 대역(HL-band)(223), 및 고고 대역(HH-band)(224)를 포함하고, 웨이블릿 프레임 변환된 고해상도 영상 프레임(240)은 저저 대역(241), 저고 대역(242), 고저 대역(243), 및 고고 대역(244)를 포함한다.
다음으로, 데이터베이스(150)는 웨이블릿 프레임 변환된 저해상도 영상 프레임(220)을 제1 블록 단위로 구획하고, 웨이블릿 프레임 변환된 고해상도 영상 프레임(240)을 제2 블록 단위로 구획한 후, 기준 영상 내에서의 상기 제1 변환 계수 블록 및 기 제2 변환 계수 블록의 위치에 따라 매칭하여 저장한다. 일례로서, 데이터베이스(150)는 매칭된 제1 변환 계수 블록 및 제2 변환 계수 블록을 트레이닝 데이터 세트로서 저장할 수 있다.
저해상도 영상의 해상도를 향상하는 경우, 영상에서의 고주파 성분이 필요하므로, 본 발명의 일례에 따르면, 데이터베이스(150)는 저저 대역(221 및 241)을 제외한 저고 대역(222 및 242), 고저 대역(223 및 243), 및 고고 대역(224 및 244)에 포함되는 웨이블릿 변환 계수를 저장할 수 있다.
또한, 고고 대역(224 및 244)의 웨이블릿 변환 계수는 해상도 향상시 사용되지 않을 수 있으므로, 본 발명의 일례에 따르면, 데이터베이스(150)는 저고 대역(222 및 242)의 웨이블릿 변환 계수 및 고저 대역(223 및 243)의 웨이블릿 변환 계수만을 저장할 수 있다.
또한, 저고 대역(222 및 242)의 웨이블릿 변환 계수의 가로와 세로의 위치를 트렌스포즈(transpose)하면, 고저 대역(223 및 243)의 웨이블릿 변환 계수를 얻 을 수 있으므로, 본 발명의 일례에 따르면, 데이터베이스(150)는 저고 대역(222 및 242)의 웨이블릿 변환 계수 및 고저 대역(223 및 243)의 웨이블릿 변환 계수 중 어느 하나 만을 저장할 수 있다.
트레이닝 데이터 세트에는 제1 변환 계수 블록이 에지에 관한 것인지 텍스처에 관한 것인지에 대한 정보가 더 포함될 수 있고, 제1 변환 계수 블록이 에지에 관한 것인 경우, 트레이닝 데이터 세트는 에지의 각도 정보를 더 포함할 수 있다.
이하에서는, 트레이닝 데이터 세트에 포함되는 제1 변환 계수 블록의 에지 각도 정보를 구하는 과정의 일례를 설명하기로 한다.
제1 변환 계수 블록 내의 각 픽셀의 픽셀 값을 I(i,j)라고 하면, 구조 행렬(structure matrix)는 하기 수학식 3과 같이 정의된다.
Figure 112008068520418-PAT00007
여기서,
Figure 112008068520418-PAT00008
는 x(가로) 방향의 그레디언트,
Figure 112008068520418-PAT00009
는 y(세로) 방향의 그레디언트를 각각 의미한다.
입력 영상에 포함된 잡음을 제거하기 위하여 상기 수학식 3을 블러시키면 하기 수학식 4를 구할 수 있다.
Figure 112008068520418-PAT00010
여기서, KP는 블러 변수를 의미한다.
상기의 구조 행렬 M2를 고유값 분해(eigenvalue decomposition)하면 에지에 수직한 방향 벡터와 평행한 방향 벡터를 구할 수 있는데, 픽셀의 각도는 에지에 평행한 방향 벡터로 결정할 수 있다.
상기와 같이 각 픽셀에 대한 각도가 결정된 후, 데이터베이스(150)는 각각의 제1 변환 계수 블록에 대하여, 특정 각도(예를 들어 10도)에 따라 픽셀의 각도를 분류한다. 이 때, 히스토그램에서의 각도 분포가 어느 한 각도에 집중 분포한다면 제1 변환 계수 블록은 에지에 관한 것으로 보고, 상기 각도를 그 블록이 대표하는 각도로 정하여 저장한다. 만약 히스토그램에서의 각도 분포가 일정하지 않다면 제1 변환 계수 블록은 텍스처에 관한 것으로 보고, 이에 대한 정보를 저장한다.
도 3은 본 발명의 일실시예에 따른 웨이블릿 변환에 기반한 예제 기반 해상도 향상 알고리즘을 이용하여 고해상도 영상을 획득하는 과정을 도시한 도면이다.
일례로서, 도 3에서는 이산 웨이블릿 프레임 변환에 기반한 예제 기반 해상도 향상 알고리즘을 이용하여 고해상도 영상을 획득하는 과정을 도시하였다.
또한, 도 3에서는 데이터베이스(150)는 저고 대역에 대한 정보 및 고고 대역에 대한 정보만을 저장하고 있는 경우를 도시하였다.
우선, 저해상도 입력 영상 프레임(310)을 웨이블릿 프레임 변환하여 웨이블릿 프레임 변환된 저해상도 영상 프레임(320)을 획득한다. 웨이블릿 프레임 변환된 저해상도 영상 프레임(320)은 저저 대역(321), 저고 대역(322), 고저 대역(323), 및 고고 대역(324)를 포함한다.
다음으로, 데이터베이스(150)에 저장된 정보를 이용하여 웨이블릿 프레임 변환된 저해상도 영상 프레임(320)에 대응되는 웨이블릿 프레임 변환된 고해상도 영상 프레임(360)을 획득한다.
고해상도 영상 프레임(360)의 저저 대역(361)은 저해상도 영상 프레임(320)을 이용하여 생성한다.
저해상도 영상 프레임(320)의 저고 대역(322)의 제3 변환 계수 블록과 대응되는 제1 변환 계수 블록을 저고 대역에 대한 정보를 저장하고 있는 데이터베이스1(340)에서 검색하고, 검색된 제1 변환 계수 블록과 매칭되는 제2 변환 계수 블록을 조합하여 고해상도 영상 프레임(360)의 저고 대역(362)을 생성한다.
또한, 저해상도 영상 프레임(320)의 고저 대역(323)의 제3 변환 계수 블록의 경우, 우선 가로와 세로의 위치가 트렌스포즈된 영상(330)을 생성하고, 트렌스포즈된 영상(330)의 제3 변환 계수 블록과 대응되는 제1 변환 계수 블록을 데이터베이스1(340)에서 검색한다. 검색된 제1 변환 계수 블록과 매칭되는 제2 변환 계수 블록을 조합하여 고해상도 영상 프레임(360)의 저고 대역(363)을 생성한다.
그리고, 저해상도 영상 프레임(320)의 고고 대역(324)의 제3 변환 계수 블록과 대응되는 제1 변환 계수 블록을 고고 대역에 대한 정보를 저장하고 있는 데이터베이스2(350)에서 검색하고, 검색된 제1 변환 계수 블록과 매칭되는 제2 변환 계수 블록을 조합하여 고해상도 영상 프레임(360)의 고고 대역(364)을 생성한다.
일례로서, 고해상도 영상 프레임(360)의 고고 대역(364)은 데이터베이스2(350)을 이용하여 생성하지 않고, 모든 픽셀 값을 "0"으로 하여 생성할 수도 있다.
마지막으로, 웨이블릿 프레임 변환된 고해상도 영상 프레임(360)을 역 웨이블릿 프레임 변환하여 저해상도 입력 영상 프레임(310)에 대한 고해상도 출력 영상 프레임(370)을 획득한다.
도 5 및 도 6은 본 발명의 일실시예에 따른 고해상도 영상 획득 방법에 대한 흐름도를 도시한 도면이다. 이하 도 5 및 도 6을 참고하여, 각 단계별로 수행되는 과정을 상술하기로 한다.
먼저, 단계(S510)에서는 입력 영상 프레임을 배경 영역과 전경 영역으로 분할한다.
본 발명의 일실시예에 따르면, 단계(S510)에서는 입력 영상 프레임의 움직임 정보에 기초하여 입력 영상 프레임을 배경 영역과 전경 영역으로 분할할 수 있다.
단계(S520)에서는 분할된 영역이 배경 영역인지 전경 영역인지를 판단한다.
단계(S520)에서 분할된 영역이 배경 영역인 것으로 판단한 경우, 단계(S530)에서는 배경 영역에 대한 제1 고해상도 영상 프레임을 획득한다.
본 발명의 일례에 따르면, 단계(S530)에서는 리컨스트럭션 기반 해상도 향상 알고리즘을 이용하여 제1 고해상도 영상 프레임을 획득할 수 있다.
단계(S520)에서 분할된 영역이 전경 영역인 것으로 판단한 경우, 단계(S540)에서는 전경 영역에 대한 제2 고해상도 영상 프레임을 획득한다.
본 발명의 일실시예에 따르면, 단계(S540)에서는 웨이블릿 변환을 기반으로 하는 예제 기반 해상도 향상 알고리즘을 이용하여 상기 제2 고해상도 영상 프레임을 획득할 수 있다.
본 발명의 일실시예에 따르면, 고해상도 영상 획득 방법은 기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획한 제1 변환 계수 블록 그룹 및 상기 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록단위로 구획한 제2 변환 계수 블록 그룹을 생성하는 단계(미도시), 및 상기 제1 변환 계수 블록 그룹에 포함되는 복수 개의 제1 변환 계수 블록과 상기 제2 변환 계수 블록 그룹에 포함되는 복수 개의 제2 변환 계수 블록을 상기 기준 영상 내에서의 상기 제1 변환 계수 블록 및 상기 제2 변환 계수 블록의 위치에 따라 매칭하여 데이터베이스에 저장하는 단계(미도시)를 더 포함할 수 있다. 이는 단계(S540)에서 웨이블릿 변환을 기반으로 하는 예제 기반 해상도 향상 알고리즘을 이용하여 상기 제2 고해상도 영상 프레임을 획득하는 경우에 있어, 예제(example)를 제공하기 위한 데이터베이스를 생성하는 단계이다.
또한, 본 발명의 일실시예에 따르면, 상기 데이터베이스에 저장하는 단계는 제1 변환 계수 블록의 에지 각도 정보를 저장하는 단계를 더 포함할 수 있다. 이는 데이터베이스에서의 정보 검색을 용이하게 하기 위함이다.
이하에서는 도 6을 참조하여, 단계(S520)에서 제2 고해상도 영상 프레임을 획득하는 과정을 설명하기로 한다.
도 6을 참조하면, 단계(S541)에서는 전경 영역을 웨이블릿 변환하고, 단계(S542)에서는 웨이블릿 변환된 전경 영역의 웨이블릿 변환 계수를 제1 블록단위로 구획하여 제3 변환 계수 블록 그룹을 생성한다. 제1 변환 계수 블록과 제3 변환 계수 블록의 크기는 제1 블록 단위로서 동일하다.
단계(S543)에서는 제3 변환 계수 블록 그룹 내의 복수 개의 제3 변환 계수 블록 각각과 대응되는 상기 제1 변환 계수 블록을 상기 데이터베이스에서 검색하고, 단계(S544)에서는 검색된 제1 변환 계수 블록과 매칭되는 상기 제2 변환 계수 블록을 조합하여 제4 변환 계수 블록 그룹을 생성한다. 제4 변환 계수 블록 그룹은 전경 영역에 대한 고해상도 영상을 웨이블릿 변환한 영상과 대응된다.
단계(S545)에서는 제4 변환 계수 블록 그룹을 역 웨이블릿 변환한다. 역 웨이블릿 변환된 제4 변환 계수 블록 그룹은 전경 영역에 대한 고해상도 영상 프레 임이 된다.
다시 도 5를 참조하면, 단계(S550)에서는 제1 고해상도 영상 프레임 및 제2 고해상도 영상 프레임을 합성하여 상기 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득한다.
즉, 단계(S550)에서는 단계(S530)에서 획득된 배경 영역에 대한 고해상도 영상 프레임과 단계(S540)에서 획득된 전경 영역에 대한 고해상도 영상 프레임을 더하여 입력 영상 전체에 대한 고해상도 영상 프레임을 획득한다.
지금까지 본 발명에 따른 고해상도 영상 획득 방법의 실시예들에 대하여 설명하였고, 앞서 도 1에서 설명한 고해상도 영상 획득 장치에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
또한, 본 발명에 따른 고해상도 영상 획득 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들 어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 고해상도 영상 획득 장치의 상세한 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따라, 웨이블릿 변환 계수를 데이터베이스에 저장하는 과정을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 웨이블릿 변환에 기반한 예제 기반 해상도 향상 알고리즘을 이용하여 고해상도 영상을 획득하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 제3 변환 계수 블록과 매칭되는 제4 변환 계수 블록을 검색하는 과정을 도시한 도면이다
도 5 및 도 6은 본 발명의 일실시예에 따른 고해상도 영상 획득 방법에 대한 흐름도를 도시한 도면이다.

Claims (17)

  1. 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하는 영역 분할부;
    상기 배경 영역에 대한 제1 고해상도 영상 프레임을 획득하는 제1 영상 프레임 획득부;
    상기 전경 영역에 대한 제2 고해상도 영상 프레임을 획득하는 제2 영상 프레임 획득부; 및
    상기 제1 고해상도 영상 프레임 및 상기 제2 고해상도 영상 프레임을 합성하여 상기 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득하는 영상 프레임 합성부
    를 포함하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  2. 제1항에 있어서,
    상기 제1 영상 프레임 획득부는
    리컨스트럭션(reconstruction) 기반 해상도 향상 알고리즘을 이용하여 상기 제1 고해상도 영상 프레임을 획득하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  3. 제1항에 있어서,
    상기 제2 영상 프레임 획득부는
    웨이블릿(wavelet) 변환을 기반으로 하는 예제(example) 기반 해상도 향상 알고리즘을 이용하여 상기 제2 고해상도 영상 프레임을 획득하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  4. 제1항에 있어서,
    상기 영역 분할부는
    상기 입력 영상 프레임의 움직임 정보(motion information)에 기초하여 상기 배경 영역과 상기 전경 영역으로 분할하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  5. 제1항에 있어서,
    상기 영역 분할부는
    상기 입력 영상 프레임과 상기 입력 영상 프레임의 이전 입력 영상 프레임을 이용하여 배경 영역의 움직임을 추정하는 배경 영역 움직임 추정부; 및
    상기 추정된 배경 영역의 움직임에 기초하여 상기 입력 영상 프레임을 보상(compensation)하고, 상기 보상된 입력 영상 프레임과 상기 이전 입력 영상 프레임을 이용하여 상기 전경 영역의 윤곽선을 추출하는 전경 영역 윤곽선 추출부
    를 포함하고,
    상기 영역 분할부는 상기 전경 영역의 윤곽선을 경계로 하여 상기 배경 영역과 상기 전경 영역을 분할하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  6. 제5항에 있어서,
    상기 배경 영역 움직임 추정부는
    상기 입력 영상 프레임 및 상기 입력 영상 프레임의 이전 입력 영상 프레임으로부터 특징점(salient point)을 각각 추출하고, 상기 입력 영상 프레임의 특징점과 상기 이전 입력 영상 프레임의 특징점을 매칭하여 상기 배경 영역의 움직임을 추정하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  7. 제1항에 있어서,
    데이터베이스
    를 더 포함하고,
    상기 데이터베이스는
    기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획한 제1 변환 계수 블록 그룹, 및 상기 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록단위로 구획한 제2 변환 계수 블록 그룹을 생성하고,
    상기 제1 변환 계수 블록 그룹에 포함되는 복수 개의 제1 변환 계수 블록과 상기 제2 변환 계수 블록 그룹에 포함되는 복수 개의 제2 변환 계수 블록을 상기 기준 영상 내에서의 상기 제1 변환 계수 블록 및 상기 제2 변환 계수 블록의 위치에 따라 매칭하여 저장하는 것을 특징으로 하는 고해상도 영상 획득 장치.
  8. 제7항에 있어서,
    상기 데이터베이스는
    상기 제1 변환 계수 블록의 에지(edge) 각도 정보를 더 저장하는 것을 특징으로 하는 특징으로 하는 고해상도 영상 획득 장치.
  9. 제7항에 있어서,
    상기 제2 영상 프레임 획득부는
    상기 전경 영역을 웨이블릿 변환하는 웨이블릿 변환부;
    상기 웨이블릿 변환된 전경 영역의 웨이블릿 변환 계수를 상기 제1 블록단위로 구획하여 제3 변환 계수 블록 그룹을 생성하고, 상기 제3 변환 계수 블록 그룹 내의 복수 개의 제3 변환 계수 블록 각각과 대응되는 상기 제1 변환 계수 블록을 상기 데이터베이스에서 검색하는 검색부; 및
    상기 검색된 제1 변환 계수 블록과 매칭되는 상기 제2 변환 계수 블록을 조합하여 제4 변환 계수 블록 그룹을 생성하고, 상기 제4 변환 계수 블록 그룹을 역 웨이블릿 변환하는 역 웨이블릿 변환부
    를 포함하는 것을 특징으로 하는 고해상도 영상 처리 장치.
  10. 제7항에 있어서,
    상기 저해상도 영상 프레임의 웨이블릿 변환 계수 및 상기 고해상도 영상 프레임의 웨이블릿 변환 계수는
    저고 영역(LH-band)의 웨이블릿 변환 계수 및 고저 영역(HL-band)의 웨이블릿 변환 계수 중에서 어느 하나를 포함하는 것을 특징으로 하는 고해상도 영상 처리 장치.
  11. 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하는 단계;
    상기 배경 영역에 대한 제1 고해상도 영상 프레임을 획득하는 단계;
    상기 전경 영역에 대한 제2 고해상도 영상 프레임을 획득하는 단계; 및
    상기 제1 고해상도 영상 프레임 및 상기 제2 고해상도 영상 프레임을 합성하여 상기 입력 영상 프레임에 대한 고해상도 영상 프레임을 획득하는 단계
    를 포함하는 것을 특징으로 하는 고해상도 영상 획득 방법.
  12. 제11항에 있어서,
    상기 제2 고해상도 영상 프레임을 획득하는 단계는
    웨이블릿 변환을 기반으로 하는 예제 기반 해상도 향상 알고리즘을 이용하여 상기 제2 고해상도 영상 프레임을 획득하는 것을 특징으로 하는 고해상도 영상 획득 방법.
  13. 제11항에 있어서,
    상기 입력 영상 프레임을 배경 영역과 전경 영역으로 분할하는 단계는
    상기 입력 영상 프레임의 움직임 정보에 기초하여 상기 배경 영역과 상기 전경 영역으로 분할하는 것을 특징으로 하는 고해상도 영상 획득 방법.
  14. 제11항에 있어서,
    기준 영상에 대한 저해상도 영상 프레임의 웨이블릿 변환 계수를 제1 블록단위로 구획한 제1 변환 계수 블록 그룹 및 상기 기준 영상에 대한 고해상도 영상 프레임의 웨이블릿 변환 계수를 제2 블록단위로 구획한 제2 변환 계수 블록 그룹을 생성하는 단계; 및
    상기 제1 변환 계수 블록 그룹에 포함되는 복수 개의 제1 변환 계수 블록과 상기 제2 변환 계수 블록 그룹에 포함되는 복수 개의 제2 변환 계수 블록을 상기 기준 영상 내에서의 상기 제1 변환 계수 블록 및 상기 제2 변환 계수 블록의 위치에 따라 매칭하여 데이터베이스에 저장하는 단계
    를 더 포함하는 것을 특징으로 하는 고해상도 영상 획득 방법.
  15. 제14항에 있어서,
    상기 데이터베이스에 저장하는 단계는
    상기 제1 변환 계수 블록의 에지(edge) 각도 정보를 저장하는 단계
    를 더 포함하는 것을 특징으로 하는 특징으로 하는 고해상도 영상 획득 방법.
  16. 제15항에 있어서,
    상기 제2 고해상도 영상 프레임을 획득하는 단계는
    상기 전경 영역을 웨이블릿 변환하는 단계;
    상기 웨이블릿 변환된 전경 영역의 웨이블릿 변환 계수를 상기 제1 블록단위로 구획하여 제3 변환 계수 블록 그룹을 생성하는 단계;
    상기 제3 변환 계수 블록 그룹 내의 복수 개의 제3 변환 계수 블록 각각과 대응되는 상기 제1 변환 계수 블록을 상기 데이터베이스에서 검색하는 단계;
    상기 검색된 제1 변환 계수 블록과 매칭되는 상기 제2 변환 계수 블록을 조합하여 제4 변환 계수 블록 그룹을 생성하는 단계; 및
    상기 제4 변환 계수 블록 그룹을 역 웨이블릿 변환하는 단계
    를 포함하는 것을 특징으로 하는 고해상도 영상 처리 방법.
  17. 제10항 내지 제16항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020080095718A 2008-09-30 2008-09-30 고해상도 영상 획득 장치 및 그 방법 KR101498206B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080095718A KR101498206B1 (ko) 2008-09-30 2008-09-30 고해상도 영상 획득 장치 및 그 방법
US12/457,170 US8498498B2 (en) 2008-09-30 2009-06-02 Apparatus and method of obtaining high resolution image
JP2011528916A JP5555706B2 (ja) 2008-09-30 2009-07-28 高解像度映像獲得装置およびその方法
EP09817951.8A EP2329655B1 (en) 2008-09-30 2009-07-28 Apparatus and method of obtaining high resolution image
PCT/KR2009/004195 WO2010038941A2 (en) 2008-09-30 2009-07-28 Apparatus and method of obtaining high resolution image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080095718A KR101498206B1 (ko) 2008-09-30 2008-09-30 고해상도 영상 획득 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100036475A true KR20100036475A (ko) 2010-04-08
KR101498206B1 KR101498206B1 (ko) 2015-03-06

Family

ID=42057024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080095718A KR101498206B1 (ko) 2008-09-30 2008-09-30 고해상도 영상 획득 장치 및 그 방법

Country Status (5)

Country Link
US (1) US8498498B2 (ko)
EP (1) EP2329655B1 (ko)
JP (1) JP5555706B2 (ko)
KR (1) KR101498206B1 (ko)
WO (1) WO2010038941A2 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348931B1 (ko) * 2011-12-29 2014-01-09 광운대학교 산학협력단 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법
KR101347616B1 (ko) * 2011-12-28 2014-01-16 기초과학연구원 초해상도 영상복원 장치 및 방법
KR20200006807A (ko) * 2018-07-11 2020-01-21 국방과학연구소 소나 영상 복원 장치 및 방법
KR20210027653A (ko) * 2019-08-30 2021-03-11 동국대학교 산학협력단 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
KR20220081018A (ko) * 2020-12-08 2022-06-15 주식회사 미러로이드 헤어 스타일링 서비스 제공 시스템, 모발 이미지 추출 장치 및 이를 이용한 모발 이미지 추출 방법
WO2023287250A1 (en) * 2021-07-16 2023-01-19 Samsung Electronics Co., Ltd. Brightness adjustment method and apparatus thereof
US12003859B2 (en) 2021-07-16 2024-06-04 Samsung Electronics Co., Ltd. Brightness adjustment method, and apparatus thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
WO2013079774A1 (en) * 2011-11-29 2013-06-06 Nokia Corporation Method, apparatus and computer program product for generating animated images
US8792013B2 (en) 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image
JP6088235B2 (ja) * 2012-12-17 2017-03-01 日本放送協会 超解像装置及びプログラム
CN104090709B (zh) * 2014-06-11 2017-11-21 小米科技有限责任公司 图片切换方法和装置
EP3166072A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method for denoising an image and apparatus for denoising an image
JP6883219B2 (ja) 2016-04-22 2021-06-09 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、システム
JP7184488B2 (ja) * 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置
US11223817B2 (en) 2018-11-12 2022-01-11 Electronics And Telecommunications Research Institute Dual stereoscopic image display apparatus and method
CN109767397B (zh) * 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
CN112001861B (zh) * 2020-08-18 2024-04-02 香港中文大学（深圳） 图像处理方法和装置、计算机设备及存储介质
KR102451422B1 (ko) * 2020-11-24 2022-10-07 울산과학기술원 초고해상도 이미지와 고속 광시야 이미지를 동시에 획득하는 방법 및 장치
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040054758A (ko) * 2001-11-01 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 이미지들의 향상된 공간 해상도
KR20030048719A (ko) 2001-12-12 2003-06-25 박상래 Dvr 시스템에서 영상전송 및 저장을 위한 웨이블릿 변환기반 영상 압축 기법
KR100534419B1 (ko) 2002-12-24 2005-12-07 한국전자통신연구원 웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치
JP4455980B2 (ja) 2003-11-20 2010-04-21 日本電信電話株式会社 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体
CN100493174C (zh) * 2004-01-09 2009-05-27 松下电器产业株式会社 图像处理方法和图像处理装置
JP4578864B2 (ja) * 2004-06-03 2010-11-10 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP2007293912A (ja) * 2004-06-09 2007-11-08 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
JP2006014121A (ja) 2004-06-29 2006-01-12 Sanyo Electric Co Ltd 画像符号化方法、画像符号化装置および撮像装置
JP2007000205A (ja) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに画像処理プログラム
JP5160451B2 (ja) * 2006-01-31 2013-03-13 トムソン ライセンシング エッジ・ベースの空間‐時間的フィルタリングの方法および装置
EP1826723B1 (en) * 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
JP2007280202A (ja) 2006-04-10 2007-10-25 Fujifilm Corp ウェーブレット変換を用いた画像処理方法及びその装置
JP4371120B2 (ja) 2006-05-16 2009-11-25 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP2008091979A (ja) 2006-09-29 2008-04-17 Hitachi Ltd 画像高画質化装置、及びその方法、並びに画像表示装置
JP4780564B2 (ja) 2006-11-21 2011-09-28 株式会社国際電気通信基礎技術研究所 画像処理装置、画像処理方法及び画像処理プログラム
JP4841504B2 (ja) 2007-05-31 2011-12-21 三洋電機株式会社 画像符号化装置および方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347616B1 (ko) * 2011-12-28 2014-01-16 기초과학연구원 초해상도 영상복원 장치 및 방법
KR101348931B1 (ko) * 2011-12-29 2014-01-09 광운대학교 산학협력단 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법
KR20200006807A (ko) * 2018-07-11 2020-01-21 국방과학연구소 소나 영상 복원 장치 및 방법
KR20210027653A (ko) * 2019-08-30 2021-03-11 동국대학교 산학협력단 딥러닝을 이용한 자가 촬영 영상의 화질 개선 방법
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
US12039696B2 (en) * 2020-03-27 2024-07-16 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
KR20220081018A (ko) * 2020-12-08 2022-06-15 주식회사 미러로이드 헤어 스타일링 서비스 제공 시스템, 모발 이미지 추출 장치 및 이를 이용한 모발 이미지 추출 방법
WO2023287250A1 (en) * 2021-07-16 2023-01-19 Samsung Electronics Co., Ltd. Brightness adjustment method and apparatus thereof
US12003859B2 (en) 2021-07-16 2024-06-04 Samsung Electronics Co., Ltd. Brightness adjustment method, and apparatus thereof

Also Published As

Publication number Publication date
WO2010038941A3 (en) 2012-10-18
JP2012506647A (ja) 2012-03-15
WO2010038941A2 (en) 2010-04-08
EP2329655A2 (en) 2011-06-08
US20100079609A1 (en) 2010-04-01
EP2329655A4 (en) 2013-09-04
EP2329655B1 (en) 2015-09-30
KR101498206B1 (ko) 2015-03-06
US8498498B2 (en) 2013-07-30
JP5555706B2 (ja) 2014-07-23

Similar Documents

Publication Publication Date Title
KR101498206B1 (ko) 고해상도 영상 획득 장치 및 그 방법
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
Mac Aodha et al. Patch based synthesis for single depth image super-resolution
Katsaggelos et al. Super resolution of images and video
CN109819321B (zh) 一种视频超分辨率增强方法
Su et al. Spatially adaptive block-based super-resolution
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
Kato et al. Multi-frame image super resolution based on sparse coding
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机系统
Yao et al. Occlusion-aware video temporal consistency
Mousavi et al. Sparsity-based color image super resolution via exploiting cross channel constraints
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
Abdulla et al. An improved image quality algorithm for exemplar-based image inpainting
CN116091322B (zh) 超分辨率图像重建方法和计算机设备
Fanaee et al. Face image super-resolution via sparse representation and wavelet transform
Akyol et al. Super-resolution reconstruction of faces by enhanced global models of shape and texture
Harikumar et al. Multiresolution image fusion: Use of compressive sensing and graph cuts
Li et al. Space–time super-resolution with patch group cuts prior
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
Sun et al. Partial Differential Equations‐Based Iterative Denoising Algorithm for Movie Images
Wang et al. Super resolution reconstruction via multiple frames joint learning
Rameshan et al. High dynamic range imaging under noisy observations
Zhang et al. Video Frame Interpolation via Multi-scale Expandable Deformable Convolution
Toan Super-resolution method for reconstructing street images from surveillance system based on real-ESRGAN

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6