KR101393048B1 - 이미지들의 수퍼 해상도를 위한 방법 및 장치 - Google Patents

이미지들의 수퍼 해상도를 위한 방법 및 장치 Download PDF

Info

Publication number
KR101393048B1
KR101393048B1 KR1020107023182A KR20107023182A KR101393048B1 KR 101393048 B1 KR101393048 B1 KR 101393048B1 KR 1020107023182 A KR1020107023182 A KR 1020107023182A KR 20107023182 A KR20107023182 A KR 20107023182A KR 101393048 B1 KR101393048 B1 KR 101393048B1
Authority
KR
South Korea
Prior art keywords
images
resolution image
motion
resolution
image
Prior art date
Application number
KR1020107023182A
Other languages
English (en)
Other versions
KR20100139030A (ko
Inventor
윤웨이 지아
Original Assignee
에이티아이 테크놀로지스 유엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이티아이 테크놀로지스 유엘씨 filed Critical 에이티아이 테크놀로지스 유엘씨
Publication of KR20100139030A publication Critical patent/KR20100139030A/ko
Application granted granted Critical
Publication of KR101393048B1 publication Critical patent/KR101393048B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

저 해상도 이미지들의 시퀀스를 이용하여 수퍼-해상도 이미지들을 발생시키는 방법이 개시된다. 이 방법은, 추정된(estimated) 고 해상도 이미지를 발생시키는 단계와, 상기 제 1 추정된 고 해상도 이미지와 저 해상도 이미지들의 시퀀스로부터의 비교 이미지들 간에 모션 추정(motion estimating)을 하는 단계와, 모션-보상 백 프로젝팅(motion-compensated back projecting)을 하는 단계와, 그리고 모션 프리 백 프로젝팅(motion-free back projecting)를 행하여, 수퍼 해상도 이미지(super resolved image)를 발생시키는 단계를 포함한다. 수퍼-해상도 이미지들을 발생시키기 위한 대응하는 시스템은 고 해상도 이미지 추정 모듈, 모션 추정 모듈, 모션-보상 백 프로젝션 모듈, 모션-프리 백 프로젝션 모듈, 입력 인터페이스 및 출력 인터페이스를 포함한다.

Description

이미지들의 수퍼 해상도를 위한 방법 및 장치{METHOD AND APPARATUS FOR SUPER-RESOLUTION OF IMAGES}
본 발명은 일반적으로 이미지들의 수퍼 해상도(super-resolution)에 관한 것이다.
예를 들어, 고선명 텔레비젼, 포렌식 이미징(forensic imaging), 서베일런스 이미징(surveillance imageing), 위성 이미징(satellite imaging), 의학적 및 과학적인 이미징과 같은 많은 응용들은 큰 장점을 갖는 증가된 양의 해상도를 이용한다. 이미지들에 있어서의 끊임없이 증가하는 해상도를 달성하기 위한 노력은, 요구되는 광학 및 전자공학에 있어서 비용 및 복잡성의 문제들에 직면하게 된다. 또한, 이미지의 픽셀 밀도를 증가시키기 위해 센서 내에서의 픽셀 사이즈를 줄이게 되면, 픽셀당 이용가능한 광의 양이 더 작아짐으로 인해 산탄 잡음(shot noise)의 효과가 증가하게 된다.
배경 기술로서, 비디오 신호는 이미지 프레임들의 연속적인 흐름이다. 각 프레임은 특정 장면(scene)의 시간적인 순간(temporal instant)을 캡춰한다. 이미지 프레임들은 또한 이들 간에 공간적인 차이(spatial difference)를 가질 수 있는데, 이러한 차이는 카메라의 이동 또는 캡춰되는 장면의 이동으로 인한 것이다. 예를 들어, 저 해상도(LR) 이미지와 같은 각각의 이미지는 일반적으로 상당한 양의 잡음을 갖는 장면의 표현이다. 이러한 잡음은 저 해상도 이미징과 같은 이미지 캡춰시에 유실되는 정보, 및 대체적으로 이미지와 실제 장면 간의 일치를 감소시키는 다른 형태의 전자 또는 광학적인 잡음으로 인한 것일 수 있다.
공간적인 보간(spatial interpolation)을 이용하는 해상도 강화 기술들, 예를 들어 바이-리니어 필터링(bi-linear filtering), 바이-큐빅 필터링(bi-cubic filtering) 및 폴리-페이즈 필터링(poly-phase filtering)은, 하나의 저 해상도 이미지 프레임의 픽셀들을 이용하여 고 해상도(HR) 이미지 프레임에 대한 부가적인 픽셀들을 끌어낸다. 일반적으로, 고 해상도 이미지에 대한 부가적인 픽셀들을 끌어내기 위해 단일 이미지 프레임 내의 픽셀들을 이용하게 되면, 흐린 이미지(blurred image)가 야기된다. 예를 들어, 바이-리니어 필터링에서는, 2개의 인접하는 픽셀들을 평균하여, 이들 사이에 삽입될 새로운 픽셀들의 값을 얻는데, 2개의 최초 픽셀들의 평균값인 이러한 새로운 픽셀은 이미지를 어느 정도 흐리게 할 가능성이 있다.
비디오 신호들의 수퍼-해상도는, 낮은 공간적 해상도의 입력 비디오 프레임 시퀀스를 이미지 프로세싱을 통해 높은 공간적 해상도의 출력 비디오 프레임 시퀀스로 변환되게 하는 기술이다. 공간적인 보간 기술들과 대조적으로, 다수의 저 해상도 프레임들로부터의 정보는 고 해상도 프레임을 발생(develop)시키는 데에 이용된다. 다수의 저 해상도 프레임 이미지들을 이용하게 되면, 수퍼-해상도에 단일의 저 해상도 이미지 내에서는 이용가능하지 않은 디테일(detail)들로 고 해상도 이미지들을 생성할 수 있는 능력을 제공한다. 이러한 고 해상도 이미지들은 보다 많은 공간적인 디테일, 보다 더 날카로운 에지들, 보다 적은 수의 인공물(artifact)(예를 들어, 흐림(blurring) 및 에일리어싱(aliasing)), 및 보다 적은 수의 눈에 띄는 잡음을 갖는다.
수퍼-해상도는 방정식 (1)로 수학적으로 나타낸 바와 같이 역 문제(inversion problem)로서 공식으로 나타낼 수 있다. 방정식 (1)은, 어떠한 장면의 저 해상도 이미지들의 관찰되는 시퀀스가, 이미징 프로세스 잡음 및 부가적인 랜덤 잡음에 의해 영향을 받는, 그 장면의 고 해상도 이미지로부터 도출됨을 나타낸다.
Figure 112010066854059-pct00001
여기서, X는 알려지지 않은 고 해상도 이미지를 나타내고, Y는 관찰되는 저 해상도 이미지를 나타내고, H는 이미징 프로세스의 시스템 매트릭스(system matrix)를 나타내며, 그리고 N은 랜덤한 부가 잡음(random additive noise)이다. H는 공간적인 해상도의 자연적인 손실을 나타내는데, 이는 예를 들어 광학적인 왜곡, 모션 블러(motion blur), 광학 또는 전자공학 장치 내에서의 잡음, 이미지의 전송시 유입되는 잡음, 및 불충분한 센서 밀도에 의해 야기된다. 일반적으로, 수퍼-해상도에서는, 관찰되는 이미지들의 세트(Y)로부터 해당하는 고 해상도 이미지(X)의 추정치(estimate)를 찾는 것이 목적이다.
수퍼-해상도에 대한 몇 개의 기술들이 당업계에 개시되어 있다. 다음의 문서들에 수퍼-해상도에 대한 개요가 잘 개시되어 있다: Park, S. C, Park, M.K., 및 Kang, M. G., "Super-resolution Image Reconstruction: a technical overview," IEEE Signal Processing Magazine, 20(3):21-36, May 2003; 및 Farsiu, S., Robinson, D., Elad, M., 및 Milanfar, P., "Advances and Challenges in Super-Resolution," International Journal of Imaging Systems and Technology, vol. 14, no. 2, pp. 47-57, August 2004. 일반적으로, 수퍼-해상도 기술들은 모션 기반(motion-based) 또는 모션 프리(motion -free)로서 분류될 수 있다. 모션 기반 기술들에서는, 다수의 저 해상도 이미지들 내의 물체(object)를 추적한 다음, 이 물체의 공간적으로 시프트된 형태들을 그 물체의 고 해상도 이미지 내에 결합시키고자 시도한다. 모션 프리 방법들에서는, 고 해상도 디테일들을 얻기 위해 저 해상도 및 고 해상도 이미지들 및 에지들의 알려진 해당 샘플들과 같은 큐(cue)들을 이용한다.
Tsai, R., 및 Huang, T., "Multiframe Image Restoration and Registration," Advances in Computer Vision and Image Processing, vol. 5, issue 3, pp. 223-226, March 1987에 개시되어 있는 주파수-도메인 방법들과 같은 모션 프리 기술들은 저 해상도 프레임들 간의 전체적인 모션에 의존한다. Kepel, D., 및 Zisserman, A., "Super-resolution from multiple views using learnt image models," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 627-634, Dec. 2001에 개시되어 있는 습득 기반(learning-based) 방법들과 같은 기타 모션 프리 기술들은, 저 해상도 이미지와 대응하는 고 해상도 이미지 간의 맵핑(mapping)들의 광범위한 데이터베이스의 개발을 필요로 한다.
당업계에 알려져있는 모션 기반 기술들은, Keren, D., Peleg, S., 및 Brada, R., "Image Sequence Enhancement Using Subpixel Displacements," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 742-746, June 1998에서 설명되는 비균일한 샘플링 방법들(non-uniform sampling methods); Stark, H., 및 Oskoui, P., "High-resolution image recovery from image-plane arrays using convex projections," Journal of the Optical Society of America, A; Optics and Image Science, vol. 6, pp. 1715-1726, Nov. 1989 에서 설명되는 POCS(projection onto convex sets) 방법들; Schultz, R., 및 Stevenson, R., "A Bayesian Approach to Image Expansion for Improved Definition," IEEE Transactions on Image Processing, vol. 3, no. 3, pp. 233-242, May 1994에서 설명되는 베이지안 방법들(bayesian methods); 및 Peleg, S., Keren, D., 및 Schweitzer, D., "Improving Image Resolution by Using subpixel Motion," Pattern Recognition Letters, vol. 5, issue 3, pp. 223-226, March 1987에서 설명되는 IBP(iterative back projection) 방법들 또는 시뮬레이트-및-정정(simulate-and-correct) 방법들을 포함한다. 이러한 방법들 각각은 높은 레벨의 계산적인 복잡성을 요구한다. 또한, POCS는 고 해상도 이미지의 특징들의 일부에 대한 선험적 지식(a-priori knowledge)을 요구할 수 있으며, 베이지안 방법들은 고 해상도 이미지를 정확하게 묘사하는 확률 모델(probability model)을 요구할 수도 있다.
따라서, 계산적인 복잡성이 감소하고, 요구되는 고 해상도 이미지의 선험적 지식을 필요로 하지 않는 수퍼-해상도 이미징 방법이 필요하다.
일 실시예에서, 본 발명은 저 해상도 이미지들의 시퀀스를 이용하여 수퍼-해상도 이미지들을 발생시키는 컴퓨터 구현 방법을 제공한다. 이 방법은, 수신된 저 해상도 이미지들의 시퀀스로부터 선택되는 제 1 저 해상도 이미지에 해당하는 제 1 추정된(estimated) 고 해상도 이미지를 발생시키는 단계와; 상기 제 1 추정된 고 해상도 이미지와 상기 저 해상도 이미지들의 시퀀스로부터의 비교 이미지들 간에 모션 추정(motion estimating)을 하여, 상기 제 1 추정된 고 해상도 이미지의 모션 추정 결과들을 발생시키는 단계와; 상기 제 1 추정된 고 해상도 이미지의 모션-보상 백 프로젝팅(motion-compensated back projecting)을 행하여, 제 2 추정된 고 해상도 이미지를 발생시키는 단계와; 상기 제 2 추정된 고 해상도 이미지의 모션 프리 백 프로젝팅(motion-free back projecting)을 행하여, 제 1 수퍼 해상도 이미지(super resolved image)를 발생시키는 단계와; 그리고 상기 제 1 수퍼 해상도 이미지를 출력하는 단계를 포함한다.
본 발명의 다른 실시예에서, 본 발명은 수퍼-해상도 이미지들을 발생시키기 위한 시스템을 제공하는 바, 이 시스템은 고 해상도 이미지 추정 모듈(high resolution image estimation module), 모션 추정 모듈(motion estimating module), 모션-보상 백 프로젝션 모듈, 모션-프리 백 프로젝션 모듈, 입력 인터페이스 및 출력 인터페이스를 포함한다. 입력 인터페이스에서 수신된 저 해상도 이미지들의 시퀀스는 고 해상도 이미지 추정 모듈, 모션 추정 모듈, 모션-보상 백 프로젝션 모듈 및 모션-프리 백 프로젝션 모듈에서 차례로 처리되며, 결과적으로 발생하는 고 해상도 이미지는 출력 인터페이스를 통해 전송된다.
본 발명의 다른 실시예들, 특징들 및 장점들 뿐 아니라, 본 발명의 다양한 실시예들의 구조 및 동작은 첨부 도면들을 참조하여 하기에서 상세히 설명된다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면들은 본 발명의 실시예들을 예시하며, 그리고 상기 제시한 일반적인 설명 및 하기 제시되는 실시예에 대한 상세한 설명과 함께, 본 발명의 원리를 설명한다. 도면들에서,
도 1은, 일 실시예에서, 저 해상도 프레임들과 출력 고 해상도 수퍼-해상도 프레임들 간의 시간적 관계를 도시하며, 여기서 처리 프레임 윈도우(process frame window)는 7 프레임이다.
도 2는 일 실시예에 따른 본 발명의 주요 처리 블록들의 흐름도이다.
도 3은 도 2의 모션 추정 처리 블록의 단계들의 흐름도이다.
도 4는 7 프레임들의 처리 프레임 윈도우를 갖는 실시예에 따라, 도 3에 나타낸 모션 추정 처리의 단계들을 보다 상세히 나타낸다.
도 5는, 본 발명의 다른 실시예에서, 비 이웃 이미지들(non-neighboring images) 간에 모션 벡터들을 계산하는 방법을 예시한다.
도 6은 도 2의 모션-보상 백 프로젝션 처리 블록에 있어서, 7 처리 프레임 윈도우로 이미지들을 처리하는 순서를 나타낸다.
도 7은 본 발명에 따른 모션-보상 백 프로젝션에서의 처리의 일부를 상세히 나타낸다.
도 8은 본 발명에 따라, 검출되는 모션 신뢰성의 척도인 λ를 계산하는 방법을 나타낸다.
도 9는 본 발명에 따른 시스템 내의 모듈들을 도시한다.
비록 본 발명이 특정의 응용들에 대한 예시적인 실시예들과 관련하여 설명되기는 하지만, 본 발명은 이러한 특정의 응용들로 제한되지 않는 다는 것을 이해해야 한다. 여기에서 제공되는 교시들을 이용하는 당업자라면, 본 발명의 범위 내에서의 부가적인 수정들, 응용들 및 실시예들과, 본 발명이 중요하게 이용될 부가적인 분야들을 인식할 것이다.
하기 설명되는 바와 같이, 본 발명이 (하드웨어 디스크립션 랭귀지 코드를 포함할 수 있는) 소프트웨어의 많은 다른 실시예들, 하드웨어, 펌웨어(firmware) 그리고/또는 도면들에 도시된 엔티티들에서 실시될 수 있음이 당업자에게 자명할 것이다. 본 발명은 본 발명을 실시하도록 특별화된(specialized) 하드웨어 제어를 갖는 임의의 실제 소프트웨어 코드로 제한되지 않는다. 따라서, 여기에서 제시되는 상세사항들의 레벨을 가정하여, 실시예들의 수정들 및 변형들이 가능함을 이해하고, 본 발명의 동작이 설명될 것이다.
본 발명의 일 실시예는 하기 설명되는 비디오의 수퍼-해상도를 위한 방법이다. 당업자라면 여기에서 제공되는 교시가, 예를 들어 스틸 이미지(still image)들과 같은 다른 미디어(media)의 수퍼-해상도에 적용될 수 있다는 것을 인식할 것이다. 예를 들어, 비디오의 수퍼-해상도와 같은 수퍼-해상도 처리에 대한 입력은 저 해상도 이미지들(또는 프레임)의 시퀀스, LR(0), LR(1), ...,이며, 이들 각각은 in_size_H × in_size_V의 공간적인 해상도를 갖는다. 치수들(dimensions) in_size_H × in_size_V는 여기에서 저 해상도로서 지칭된다. 수퍼-해상도 처리의 출력은 이미지들의 시퀀스 SR(0), SR(1),...이며, 이들 각각은 여기에서 고 해상도로서 지칭되는 out_size_H × out_size_V의 공간적인 해상도를 갖는다.
도 1은 본 발명의 일 실시예에 따른, 저 해상도 프레임들과 출력 고 해상도 수퍼-해상도 프레임들 간의 시간적인 관계의 도시(100)이다. 예시적인 도시(100)에서, 처리 프레임 윈도우는 7 프레임들이다. 도 1에서, 출력 고 해상도 이미지 SR(n)은 출력 이미지들의 시퀀스 내에서 시간 위치 t(n)를 가질 수 있는데, 이는 입력 이미지들의 시퀀스 내의 입력 저 해상도 이미지 LR(n)과 동일한 시간 위치이다.
고 해상도 이미지 SR(n)을 생성하기 위해서는, 일반적으로, 도 1에 나타낸 바와 같이, LR(n)으로부터의 정보 뿐 아니라, 다수의 그 인접 이미지들로부터의 정보, 예를 들어 시간적인 슬롯들 t(n-3) ... t(n+3)에서의 LR 이미지들에 대응하는 LR(n-3), LR(n-2), LR(n-1), LR(n+1), LR(n+2) 및 LR(n+3)를 이용하는 것이 유익하다.
보다 구체적으로, 도 1에서는, 고 해상도 프레임 SR(n)을 생성하는 데에 7개의 저 해상도 프레임들의 세트가 이용되는데, 이들은 이하 SR(n)의 처리 프레임 윈도우로서 지칭된다. 이러한 처리 프레임 윈도우의 사이즈는 미리 결정되거나, 또는 들어오는 이미지 시퀀스들의 특성에 기초하여 구현시에 동적으로 결정될 수 있다. SR(n)을 생성하는 데에 이용되는 저 해상도 이미지들은 LR(n-3) ...LR(n+3)이다. 비록 여기에서는 설명의 목적으로 7개의 프레임들의 처리 프레임 윈도가 이용되지만, 본 발명의 다른 실시예들은, 다른 응용들과 관련된, 예를 들어 광학적 품질(visual quality), 복잡성 및 지연, 반복 프레임들(repeated frames) 등과 같은 다양한 제약들을 충족시키기 위해, 다른 수의 저 해상도 프레임들 그리고/또는 프레임들의 다른 시간적인 구성들을 이용할 수 있음을 주목해야 한다.
예시를 위해, 본 발명은 저 해상도 프레임 LR(n)에 대응하여 발생되는 고 해상도 프레임 SR(n)의 측면에서 설명된다. 이러한 프로세스의 개관에 있어서, 목표되는 공간적인 해상도 out_size_H × out_size_V의 최초 추정된 고 해상도 프레임 PP(n)은, 예를 들어 공간적인 보간을 보간을 이용하여 LR(n)으로부터 발생된다. 다음으로, 프레임 PP(n)과 6개의 프레임들 SR(n-3), SR(n-2), SR(n-1), PP(n+1), PP(n+2) 및 PP(n+3) 각각 간에 모션 추정(ME)이 수행되는 바, 여기서 SR(n-3), SR(n-2) 및 SR(n-1)은, 각각 LR(n-3), LR(n-2) 및 LR(n-1)에 대응하는, 수퍼-해상도로의 변환이 이전에 완료된 고 해상도 프레임들이고, PP(n+1), PP(n+2) 및 PP(n+3)은 각각 LR(n+1), LR(n+2) 및 LR(n+3)에 대한 공간적인 보간으로부터의 출력 고 해상도 프레임들이다.
다음으로, LR(n+k)(k=-3,-2,-1,1,2,3) 내의 각 픽셀에 대해, PP(n) 내의 해당하는 픽셀들이 모션 추정 결과들 및 프로그램가능한 이웃 윈도우를 통해 식별된다. 이러한 고 해상도 픽셀들은 이후 LR(n+k)의 대응하는 저 해상도 픽셀과의 자신들의 일관성 레벨(consistency level)에 따라 업데이트된다. 저 해상도 프레임 LR(n) 내의 픽셀들은 이전 처리 블록으로부터 얻어진 고 해상도 이미지 내의 픽셀들을 조정하는 데에 이용되며, 그리고 출력은 최종 고 해상도 이미지 SR(n)인데, 이는 수퍼 해상도 이미지(super resolved image)라고도 지칭된다. 본 발명의 일 실시예에 따라 수퍼-해상도 비디오를 달성함에 있어서의 각 주요 처리 단계가 하기에서 상세히 설명된다.
최초 추정된 고 해상도 이미지의 발생
도 2는 본 발명의 일 실시예에서의 주요 처리 블록들의 흐름도(200)이다. 처리 블록(210)에서, 저 해상도 이미지 LR(n)은 해당하는 수퍼 해상도 이미지 SR(n)의 요구되는 치수들을 갖는 해당하는 최초 추정된 고 해상도 이미지 PP(n)을 발생시키는 데에 이용된다. 배경 기술로서, 공간적인 보간은 단일의 저 해상도 이미지로부터 고 해상도 이미지를 발생시키기 위한 당업계에 잘 알려져있는 방법이며, 예를 들어 바이-큐빅 필터링 및 폴리-페이즈 필터링이 이용될 수 있는 공간적 해상도 방법들이다. 최초 추정된 고 해상도 이미지를 발생시키기 위한 입력은 저 해상도이미지 LR(n)이며, 그리고 출력은 목표 해상도 out_size_H × out_size_V를 갖는 업스케일된(up-scaled) 이미지 PP(n)이다. 예를 들어, LR(n)은 공간적인 보간을 이용하여 공간적으로 업스케일되어 PP(n)을 발생시킨다. PP(n)은 수퍼 해상도 이미지 SR(n)의 최초 추정치이다.
모션 추정
PP(n)이 발생된 이후, 처리 블록(220)에서, PP(n)의 모션 추정 결과가 SR(n)의 처리 프레임 윈도우 내의 다른 시간 슬롯들 각각에 대해 발생된다.
PP(n)과 그 처리 프레임 윈도우 내에서 LR(n)을 앞서는 각 시간 슬롯에 대한 해당하는 고 해상도 이미지 간에 모션 벡터들이 생성된다. 예를 들어, 7개의 프레임들의 처리 프레임 윈도우를 가정하면, PP(n)과 각각의 고 해상도 이미지 SR(n-1), SR(n-2) 및 SR(n-3) 간에 모션 벡터들이 발생될 수 있는 바, 여기서 SR(n-1) ... SR(n-3)은 각각 저 해상도 이미지들 LR(n-1) ... LR(n-3)에 해당하는 수퍼 해상도 이미지들이다. 몇몇 실시예들에서는, 중간 고 해상도 이미지들 PP(n-1), PP(n-2) 및 PP(n-3)이 각각 SR(n-1), SR(n-2) 및 SR(n-3) 대신 이용될 수 있다. 하지만, 모션 정확성 및 계산 복잡성과 관련해서는 SR(n-1) ... SR(n-3)의 이용이 유익하다는 것을 주목해야 한다.
여기에서 설명되는 바와 같이, 이러한 실시는 각각의 고 해상도 이미지들을 홀딩(holding), 예를 들어 버퍼링할 것을 요구하며, 이에 따라 이들은 SR(n)을 발생시키는 데에 이용가능하다. 또한, PP(n)과, 처리 프레임 윈도우 내에서 LR(n) 다음에 오는 시간 슬롯들 각각에 대한 해당하는 고 해상도 이미지, 예를 들어 PP(n+1), PP(n+2) 및 PP(n+3) 간에 모션 벡터가 발생된다. PP(n+1) ... PP(n+3)은 각각 LR(n+1) ... LR(n+3)에 해당하는 최초 추정된 고 해상도 이미지들임을 주목해야 한다. 당업자라면 들어오는 이미지 프레임들을 몇 개의 처리 블록들로 어떠한 형태로 파이프라이닝(pipelining)하는 것이 요구될 수 있음을 이해할 것이다. 예를 들어, 일 실시예에서는, 모션 추정 블록(220)에서 PP(n)이 처리되고 있을 때, LR(n+1) ... LR(n+2)의 최초 고 해상도 추정치들이 이용가능해야 한다.
예를 들어, 칼라 이미지들을 처리할 때, 모션 추정은 3개의 모든 성분들을 이용하여 YUV 도메인에서 행해질 수 있다. 계산적인 복잡성을 줄이기 위해, 모션 추정은 휘도 샘플들(luminance samples) 만을 이용할 수 있다. RGB 포맷의 프레임들은 모션 추정 처리 이전에 YUV 포맷으로 변환될 수 있다.
모션 추정 블록의 출력들은 PP(n)과 각각의 프레임들 SR(n-3), SR(n-2), SR(n-1), PP(n+1), PP(n+2) 및 PP(n+3) 간의 모션 추정 결과들에 대해 MER(n+k,n)(k=-3,-2,-1,1,2,3)으로서 표시될 수 있다. 프레임들의 쌍 간의 모션 추정에 있어서, 하나의 프레임이 앵커(anchor)로서 이용되고 "기준 프레임" Fr로서 지칭되며, 그리고 "목표 프레임" Ft로서 지칭되는 다른 프레임에서 서치가 행해진다.여기에서는, 기준 프레임으로서의 Fr 및 목표 프레임으로서의 Ft를 이용하여 Fr와 Ft 간의 모션 추정 결과들을 나타내기 위해 MER(r,t)의 표기를 이용한다. 예를 들어, MER(n-3,n)은 SR(n-3)이 기준 프레임이고 PP(n)이 목표 프레임인 경우의 모션 추정 결과들을 나타낸다.
MER(n+k,n)은 예로서 k=-3을 이용하여 설명된다. 기준 프레임 SR(n-3)의 분할(partition)을 고려하는바, 여기서 SR(n-3)의 필셀들은 사이즈 block_size_H × block_size_V의 비중첩 블록들(non-overlapping blocks)로 분할되며, 상기 block_size_H는 블록 내의 수평(즉, 가로) 픽셀들의 수이고, block_size_V는 수직(즉, 세로) 픽셀들의 수이다. 위치 (bx * block_size_H, by * block_size_V)에서 자신의 상측 왼쪽 픽셀을 갖는 SR(n-3) 내의 블록(R)에 있어서, 그 모션 추정 결과는 MER(n-3, n) 내의 엘리먼트 MER(n-3, n, bx, by)로서 기록된다. MER(n-3, n, bx, by)는 4개의 데이터 아이템들, 즉 모션 벡터의 수평 성분인 MVx, 모션 벡터의 수직 성분인 MVy, 모션 벡터의 절대 차들의 합(sum-of-absolute differences)인 sad, 및 블록의 액티비티(activity)인 act로 이루어질 수 있다.
(MVx, MVy)가 블록들(R 및 T)의 모션 벡터이면, 기준 프레임 SR(n-3) 내의 (bx * block_size_H, by * block_size_V)에서의 블록(R)은 목표 프레임 PP(n)의 (bx * block size_H - MVx, by * block_size_V - MVy)에서의 블록(T)과 매치(match)된다. MVx와 MVy는 모두 정수(integer)들이다. 고 해상도의 모션 벡터의 정수 정확도(integer-precision)는 저 해상도의 서브-픽셀 정확도(sub-pixel precision)를 의미한다. 데이터 아이템 sad는 R 내의 픽셀들과 T 내의 픽셀들 간의 "절대 차들의 합"(SAD)을 나타낸다. 데이터 아이템 act는 블록(R)의 액티비티의 척도로서, 수평 및 수직 모두의, R의 2개의 이웃하는 픽셀들 간의 절대 차들의 합으로서 정의된다. 예를 들어, 블록 사이즈가 4×4 픽셀인 경우, R과 T 간의 sad는 방정식 (2)에서와 같이 정의될 수 있다.
Figure 112010066854059-pct00002
그리고, R의 act는 방정식 (3)에서와 같이 정의될 수 있다:
Figure 112010066854059-pct00003
Rij는 R의 i,j 픽셀을 나타내고, 마찬가지로 Ti ,j는 T의 i,j 픽셀을 나타낸다. 블록(R)은 상부 왼쪽 픽셀 R0 ,0 및 하부 오른쪽 픽셀 R3 ,3을 갖는 직사각형 영역이고, 마찬가지로 블록(T)은 상부 왼쪽 픽셀 T0 ,0 및 하부 오른쪽 픽셀 T3 ,3을 갖는 직사각형 영역이다. 방정식 (2) 및 (3)은 R 및 T를 둘러싸는 픽셀들은 또한 sad 및 act의 계산에서도 이용될 수 있다는 사실을 나타낸다. 블록의 액티비티는 해당하는 모션 추정 결과들의 신뢰성을 평가하는 데에 이용될 수 있다. 신뢰성을 정확하게 반영하기 위해서는, 하기 방정식 (4)에 나타낸 바와 같이, act는 절대적인 픽셀 차의 수(number of absolute pixel differences)의 측면에서 해당하는 SAD에 대해 노멀라이즈(normalize)되어야 한다:
Figure 112010066854059-pct00004
여기서, num_pixels_in_sad는 sad의 계산에 있어서 절대적인 픽셀 차의 수이고, num_pixels_in_act는 act의 계산시 절대적인 픽셀 차의 수이다. 용어 nact는 블록의 노멀라이즈된 액티비티이다. R과 T의 주위 픽셀들은 sad 및 act를 계산하는 데에도 이용될 수 있음을 주목해야 한다.
모션 추정: 절차들
모션 추정에는 많은 방법들이 이용될 수 있다. 본 발명의 일 실시예에서, 도 3에 도시한 바와 같이, 모션 추정은 3개의 단계로 수행된다.
도 3은 모션 추정 처리 블록에 있어서의 단계들의 흐름도이다. 제 1 단계(310)에서는, 서치 센터(search center)로서의 위치(0, 0)를 갖는 이웃하는 고 해상도 프레임들 간에 모션 추정이 수행된다. 예를 들어, 기준 프레임 내의 블록에 대한 모션 서치는 목표 프레임 내의 같은 장소에 위치하는(co-located) 블록 주위에서 행해진다. 제 2 단계(320)에서, PP(n)과 그 비인접 프레임들 간의 모션 벡터들이 이용가능한 모션 벡터들로부터 예측된다. 마지막 단계(330)에서는, 서치 센터들로서 예측된 모션 벡터들을 갖는 비인접 프레임들에 대해 모션 추정이 수행된다.
도 4는 3 단계의 모션 추정 프로세스의 부가적인 상세사항들을 도시한다. 단계화된 절차(staged procedure)들을 이용하여 모션 추정을 행하는 제안된 방법의 목적은, 각 모션 추정 단계에서 작은 실제 서치 면적들을 커버함으로써 넓은 유효 서치 면적(effective search area)을 달성하는 것이다. 이는 많은 수의 저 해상도 프레임들을 이용하여 고 해상도 프레임을 발생시키는 데에 특히 유용한데, 그 이유는 이러한 경우, 2개의 비인접 프레임들 간의 모션이 비교적 많을 수 있기 때문이다. 예를 들어, 실질적으로 시간적으로 멀리 떨어져있는 프레임 내에서 가장 잘 매칭하는 블록의 위치를 찾기 위해서는, 넓은 프레임 영역의 서치를 요구할 수 있다.
ME 단계 1: 제 1 단계(이의 상세한 사항은 410에 나타나있음)에서는, 이웃하는 고 해상도 프레임들의 쌍들 간에, 예를 들어 SR(n-3)과 SR(n-2) 간에, 그리고 SR(n-2)과 SR(n-1) 간에 모션 추정이 수행된다. 이웃하는 프레임들의 각 쌍에 대해, 2개의 ME들이 수행되는 바, 하나는 순 방향(forward direction)으로 그리고 다른 하나는 역 방향(backward direction)으로 수행된다. 예를 들어, PP(n+2)와 PP(n+3)의 쌍에 대해, 모션 추정은 순 방향으로 수행되며(이때, PP(n+2)는 기준이고, PP(n+3)은 목표이고, MER(n+2, n+3)은 모션 추정 결과임), 그리고 모션 추정은 역 방향으로도 수행된다(이때, PP(n+3)은 기준이고, PP(n+2)는 목표이고, MER(n+3, n+2)은 모션 추정 결과임). 이 단계에서의 모션 추정은 풀 서치 블록 매칭(full-search block matching)에 기초하는데, 여기서 (0, 0)은 서치 센터이고, 직사각형 서치 영역은 search_range_H의 가로 치수 및 search_range_V의 세로 치수를 갖는다.
기준 프레임 SR(n-3)은 사이즈 block_size_H × block_size_V의 비중첩 블록들로 분할된다. 다음으로,(x, y)에서 상부 왼쪽 픽셀을 갖는 SR(n-3) 내의 블록(R)에 대해, 해당하는 서치 영역은 PP(n) 내의 직사각형 영역으로서 정의되는데, 이는 상부 왼쪽 위치(x - search_range_Hl/2, y - search_range_Vl/2) 및 하부 오른쪽 위치(x + search_range_Hl/2, y + search_range_Vl/2)에 의해 범위가 정해지며, search_range_Hl 및 search_range_Vl은 프로그램가능한 정수들이다. 이후, SR(n-3) 내의 블록(R)에 대해 PP(n) 내의 가장 잘 매칭하는 블록을 서치할 때에, R은 상부 왼쪽 픽셀이 서치 영역 내에 포함되는 PP(n) 내의 블록들 각각과 비교된다. 비교에 이용되는 매칭 메트릭(matching metric)은 블록(R)의 픽셀들과 PP(n) 내의 각각의 후보 블록(candidate block)의 픽셀들 간의 SAD이다. 서치 영역 내의 모든 후보 블록들 중에서, 위치 (x', y')에서의 블록이 최소의 SAD를 갖는 다면, 블록(R)에 대한 모션 벡터(MV)는 (MVx, MVy)에 의해 주어지며, 여기서 MVx = x - x'이고, MVy = y - y'이다.
주목할 사항으로서, 이 단계에서, PP(n)의 처리에 있어서, MER(n+2, n+3) 및 MER(n+3, n+2)을 제외하고, 다른 모든 모션 추정 결과들은 연속적인 이미지들의 파이프라인된 처리로 인해 이전의 처리로부터 이용가능하다. 따라서, 이전의 모션 추정 결과들이 적절하게 버퍼링되고 모션 추정의 다음의 두 단계들에서 이용될 준비가 되었다면, 이 단계에서는, 단지 PP(n+2)와 PP(n+3) 간의 모션 추정들 만이 계산될 것이 요구된다. 모션 추정의 첫번째 단계 이후, 다음의 두 단계들은 바람직하게는 프레임 레벨에서 다음의 순서로 수행되는 것이 바람직하다. 즉, 먼저 SR(n-2) 및 PP(n+2)에 대한 단계 2 및 3이 수행된 다음, SR(n-3) 및 PP(n+3)에 대한 단계 2 및 3이 수행되는 것이 바람직하다. 이러한 순서가 바람직한 이유는 하기에서 설명된다.
ME 단계 2: 이 단계(이의 상세한 사항은 420에 나타나있음)에서는, 이용가능한 모션 추정 결과들에 기초하여, 비인접 프레임들 간의 모션 벡터들이 예측된다. 예측된 모션 벡터들은 단계 3에서 서치 센터들로서 이용될 것이다. 예를 들어, 기준 프레임으로서의 PP(n+2)와 목표 프레임으로서의 PP(n) 간의 예측된 모션 벡터들은 C_MV(n+2, n)으로서 표현될 수 있다. C_MV(n+2, n)을 결정하기 위해, MV(n+2, n+1)과 MV(n+1, n)이 결합되는바, 이 둘 모두는 모션 추정 처리의 이전 단계로부터 이용가능하다.
예를 들어, 도 5에 나타낸 바와 같이, PP(n+2)의 위치(x, y)의 블록(R)은 PP(n+1) 내의 최상의 매칭 블록인 블록(T)을 갖는데, 이는 기준 프레임으로서의 PP(n+2)와 목표 프레임으로서의 PP(n+1) 간의 모션 추정으로 결정된다. 주목할 사항으로서, 비록 R이 블록 그리드들(block grids), 예를 들어 x % block_size_H = 0 및 y % block_size_V = 0로 정렬되기는 하지만, T는 그 프레임의 블록 그리드로 정렬되지 않을 수도 있으며, 서치 영역 내의 어디에라도 위치될 수 있다. 도 5에 나타낸 바와 같이, 블록(T)은 PP(n+1) 내에 4개 까지의 그리드-정렬된 블록들로부터의 픽셀들을 포함할 수 있는데, 이들의 상부 왼쪽 픽셀들은 각각 (x0, y0), (x1, y1), (x2, y2) 및 (x3, y3)에 있다. 주목할 사항으로서, T에 의해 4개 이상의 블록들이 커버될 수 없다. T에 의해 4개 미만의 그리드-정렬된 블록들이 커버되는 경우, 4개의 상부 왼쪽 픽셀들중 일부는 중첩된다. 방정식 (5)에 나타낸 바와 같이, PP(n+2)로부터 PP(n)까지의 R에 대한 예측된 모션 벡터는 PP(n+2)부터 PP(n+1)까지의 블록(R)에 대한 모션 벡터들과 PP(n+1)부터 PP(n)까지의 블록(T)에 대한 모션 벡터들의 중간값(median)의 합으로서 설정될 수 있다:
Figure 112010066854059-pct00005
여기서, 모션 벡터들의 세트의 중간값은 그 세트 내의 나머지 모션 벡터들에 대한 거리들의 최저합(lowest sum)을 갖는 모션 벡터가 될 수 있다. 예를 들어, 그 세트 내의 각 모션 벡터를 2차원 공간 내의 포인트로서 고려하고, 그 세트 내의 모션 벡터들의 각 쌍 간의 거리를 계산한다. 이렇게 되면, 그 세트의 중간값은 나머지 모션 벡터들에 대한 거리의 합이 그 세트 내의 모션 벡터들 중에서 최소가 되는 모션 벡터가 될 수 있다. 주목할 사항으로서, 다른 실시예들에서, 2개의 모션 벡터들 간의 거리는 이러한 2개의 모션 벡터들에 해당하는 2개의 포인트들 간의 데카르트 거리(cartesian distance)로서 계산되거나, 또는 계산의 복잡성을 줄이기 위해 이러한 2개의 모션 벡터들 간의 가로 거리와 세로 거리의 합으로서 근사화될 수도 있다.
유사하게, 기준 프레임으로서의 PP(n+3)으로부터 목표 프레임으로서의 PP(n)까지의 예측된 모션 벡터들은 MER(n+3, n+2) 및 MER(n+2, n)으로부터의 모션 벡터들을 캐스케이딩(cascading)함으로써 얻어질 수 있는데, 여기서 MER(n+3, n+2)는 PP(n+2)에 대한 모션 추정의 단계 1로부터 얻어지고, MER(n+2, n)는 모션 추정의 단계 3으로부터 얻어진다. 주목할 사항으로서, 이러한 이유로, PP(n+2)에 대해 모션 추정 단계 2 및 3은 PP(n+3)의 단계 2 이전에 완료될 것이 요구된다. SR(n-2)로부터 PP(n)까지의, 그리고 SR(n-3)로부터 PP(n)까지의 예측된 모션 벡터들은 도 5에 나타낸 것과 유사하게 얻어질 수 있다.
본 발명의 다른 실시예에서, PP(n+2)로부터 PP(n)까지 R에 대한 모션 벡터를 예측할 때에, 방정식 (5)의 중간값 연산자(median operator)는 4개의 모션 벡터들의 산술 평균(arithmetic average)에 의해 대체될 수 있다. 다른 실시예에서, PP(n+2)로부터 PP(n)까지 R에 대한 모션 벡터를 예측할 때에, 블록(T)과 4개의 블록들(Si)(i=1, 2, 3, 4)(도 5 참조) 각각 간의 최소 SAD가 방정식 (5)에서 4개의 모션 벡터들의 중간값을 대신해서 이용될 수 있다. 본 발명의 또 다른 실시예에서, PP(n+2)로부터 PP(n)까지 R에 대한 모션 벡터를 예측할 때에, 다음의 4개의 모션 벡터들: MV(n+2,n+1,x,y) + MV(n+1,n,xi,yi)(i=0,1,2,3) 각각에 해당하는 SAD를 계산하고, 최소 SAD를 갖는 하나를 선택할 수 있다.
ME 단계 3: 모션 추정 블록에서의 처리의 마지막 단계(430)에서, 예측된 모션 벡터들을 리파인(refine)하여, MER(n+k, n)(k=-3, -2, 2, 3)을 결정하는 바, 이는 해당하는 예측된 모션 벡터들 주위를 서치함으로써 이루어진다. 예를 들어, MER(n+3, n)을 결정하기 위해, (x + C_MVx(n+3, n), y + C_MVy(n+3, n))에서의 서치 센터 및 서치 영역 (search_range_H3, search_range_V3)을 이용하여, 블록 기반의 모션 추정이 수행되는바, 여기서 search_range_H3 및 search_range_V3는 수평 서치 범위와 수직 서치 범위를 각각 나타내는 프로그램가능한 정수들이다. 모션 추정의 계산적인 복잡성을 줄이기 위해, 이 단계에서의 서치 범위는 모션 추정의 단계 1에서 보다 더 작게 설정될 수 있다.
모션 -보상 백 프로젝션( motion - compensated back projection )
모션 추정 처리 이후, 이미지 PP(n)은 모션-보상 백 프로젝션(MCBP) 처리를 받을 수 있다. 이 블록에 대한 입력들은, 모션 추정 처리 블록으로부터 출력되는 모션 추정 결과들 MER(n+k, n)(k = -3, -2, -1, 1, 2, 3), 해당하는 저 해상도 프레임들 LR(n+k), 및 공간적 보간 처리 블록으로부터의 고 해상도 프레임 PP(n)이다. MCBP 처리 블록으로부터의 출력은 업데이트된 고 해상도 프레임 PP(n)이며, 이는 MCBP(n)으로 표시된다.
프레임 레벨에서, 이 블록에서의 절차들은 도 6에 나타낸 캐스케이드된 순서로 수행된다. 도 6에 나타낸 것과 같은 여기에서 제안되는 프레임 순서는, PP(n)으로부터 시간적으로 더 멀리 떨어진 프레임들에 비해 PP(n)에 시간적으로 가까운 프레임들을 선호한다. 시간적으로 가까운 프레임들이 선호되는데, 그 이유는 일반적으로 모션 추정은 시간적인 거리가 더 큰 프레임들의 쌍 보다 시간적인 거리가 더 작은 프레임들의 쌍에 대해 더 신뢰적이기 때문이다. 또한, 이러한 순서는 MER(n+k, n)(k = 3, 2, 1)에 비해 모션 추정 결과들 MER(n-k, n)을 더 선호하는데, 이는 MER(n-k, n)이 발생되는 SR(n-k)가 MER(n+k, n)이 발생되는 PP(n+k) 보다 진짜(true) 장면에 대한 근접성(closeness)의 측면에서 일반적으로 더 정확하기 때문이다.
도 6의 제 1 단계는 MCBP 블록의 절차들을 설명하기 위한 예로서 이용된다. 나머지 단계들에 대해 동일한 절차들이 반복된다. 예를 들어, PP(n)은, 다음의 단계들에 따라, 도 7에 나타낸 LR(n+3)에 기초하여 리파인될 수 있다.
(1) PP(n+3) 내의 각각의 블록-그리드-정렬된 블록(R)에 있어서, PP(n) 내의 해당하는 모션-보상된 블록(T)은 모션 추정 결과들 MER(n+3, n)을 이용하여 찾는다. 예를 들어, 만일 블록(R)이 PP(n+3) 내의 위치 (x, y)에 있고, 그 모션 벡터가 (mvx, mvy)이면, 해당하는 모션-보상된 블록(T)은 PP(n) 내의 위치 (x-mvx, y-mvy)에 있는 블록이다.
(2) 블록(R)의 공간적인 위치 내의 저 해상도 프레임 LR(n+3)의 각 픽셀(z)에 대해, 대응하는 픽셀들이 PP(n+3)의 블록(R)에서 식별되는 바, 이는 미리 결정된 공간 윈도우, 예를 들어 도 7의 a00 ...a55, 및 결과적으로 PP(n)의 블록(T)의 대응하는 픽셀들, 예를 들어 a'00 ...a'55에 기초하여 이루어진다. PP(n) 내의 식별된 픽셀들로부터, z에 대응하는 시뮬레이트된 픽셀 z'가 발생된다. 주목할 사항으로서, 시뮬레이트된 픽셀 z'는 LR(n)의 존재하는(existing) 픽셀과 반드시 같은 위치(co-site)에 있는 것은 아니다. mvx 및 mvy 모두가 LR(n)의 해상도의 측면에서 정수들이고, 그리고 오로지 그럴 경우에만, 픽셀 z'가 LR(n)의 존재하는 픽셀과 같은 위치에 있다. 예를 들어, LR(n)을 수평 및 수직 모두로 3(three) 만큼 업스케일하기 위해 공간적인 보간을 이용하는 경우, 시뮬레이트된 픽셀 z'는, mvx % 3 = 0 이고 mvy % 3 = 0 이고, 그리고 오로지 그럴 때에만, LR(n)의 존재하는 픽셀과 같은 위치에 있다.
(3) 시뮬레이트된 픽셀 z'와 관찰된 픽셀 z 간의 잔류 오차(residue error)가 residue_err = z - z'로서 계산된다.
(4) MCBP(n+3, n) 프레임은, 도 7의 바닥 오른쪽에 나타낸 바와 같은 계산된 잔류 오차에 따라, 예를 들어 PP(n)의 픽셀들 a'00 ... a'55로부터 MCBP(n+3, n)의 픽셀들 aa"00 ... aa"55로, PP(n) 내의 픽셀들을 업데이트함으로써 발생된다.
상기 단계 2에서, LR(n+3)의 픽셀들 z에 대응하는 PP(n)의 픽셀들을 식별하고, 이러한 픽셀들로부터 픽셀 z'를 시뮬레이트하기 위해, 이상적으로는, 이미지 획득 프로세스(image acquisition process)의 PSF(point spread function)가 요구된다. PSF는 일반적으로 수퍼-해상도 처리에 이용가능하지 않고, 비디오 소스들 사이에서 종종 달라지기 때문에, 요구되는 강건함(robustness) 및 계산적인 복잡성 모두를 고려하여 PSF를 가정할 수 있다.
예를 들어, 폴리-페이즈 다운-샘플링 필터(poly-phase down-sampling filter)가 PSF로서 이용될 수 있다. 이러한 필터는, 예를 들어 6-탭 수직 폴리-페이즈 필터 및 이후(consequent)의 6-탭 수평 폴리-페이즈 필터로 이루어질 수 있다. 도 7에 나타낸 바와 같이, LR(n+3)의 픽셀 z는 PSF를 통해 PP(n+3)의 픽셀들 aa00 내지 aa55에 대응하고, 픽셀들 aa00 내지 aa55는 모션 벡터(mvx, mvy)를 통해 PP(n)의 픽셀들 aa'00 내지 aa'55에 대응하며, 이에 따라 z에 대응하는 PP(n)의 픽셀들은 aa'00 내지 aa'55이고, 시뮬레이트된 픽셀 z'는 다음과 같다:
Figure 112010066854059-pct00006
여기서, PSFij는 a'ij에 대응하는 PSF 내의 상수이다. 본 발명의 다른 실시예에서는, PSF로서 바이-큐빅 필터가 이용될 수 있다.
상기 단계 4에서, 잔류 오차는 λ*PSFij 만큼 스케일링되고, PP(n) 내의 픽셀 a'ij에 다시 더해져, MCBP(n+3, n)의 픽셀 a"ij를 발생시킨다. PSFij의 목적은, 픽셀 z'에 대한 각각의 기여(contribution)에 따라, PP(n)의 픽셀들 a'ij에 잔류 오차를 분포(distribute)시키는 것이다. 여기에서 제안되는 바와 같이, 스케일링 팩터(scaling factor)(λ)의 목적은 모션 추정 부정확성 및 잡음에 대해 알고리즘의 강건함을 증가시키는 것이다. λ는 블록(R)에 대한 모션 추정 결과들의 신뢰성에 따라 결정될 수 있다. 블록(R)에 대한 ME 결과들을 (mvx, mvy, sad, nact)라고 한다. PP(n+3) 내의 R의 8개의 바로 옆의 이웃 블록들 중에서, sp는 그 모션 벡터들이 (고 해상도의 측면에서) 수평 및 수직 모두에서 (mvx, mvy)와 1 픽셀 만큼 다른 블록들의 수라고 한다. 본 발명의 일 실시예에서, λ는 도 8에 나타낸 프로세스에 따라 결정될 수 있다.
도 8은 PP(n)의 픽셀들을 업데이트하는 것에 대한 잔류 오차로부터의 기여가 모션 추정 결과들의 신뢰성에 비례해야 함을 보여준다. 이러한 비례는, R의 이웃에서 변수 sp에 의해 표현되는 모션 필드 평탄성(motion field smoothness), 및 R과 T 간의 매치가 얼마나 잘 이루어지고 있는 지(이는, 예를 들어 sad 및 nact의 비교에 의해 표현된다)의 측면에서 측정된다. 주목할 사항으로서, 도 7에서, 시뮬레이트된 픽셀 z'가 LR(n)의 존재하는 픽셀과 동일한 위치에 있다면, λ는 반으로 감소되는데, 이는 잔류 오차로부터의 업데이팅 백 프로젝션 스트랭스(updating back-projection strength)가 반으로 줄어든다는 것을 의미한다. 그 이유는, z'가 LR(n)의 존재하는 픽셀과 같은 위치에 있는 경우, 그 픽셀 z'는 단지 정수개의 픽셀들 만큼 시프트된 픽셀 z의 변형(version)이며, 이에 따라 해상도 강화의 측면에서 많은 부가 정보를 제공하지 않기 때문이다. 하지만, 이는 PP(n) 내의 잡음을 줄이는 데에는 유익하다.
본 발명의 다른 실시예에서, 스케일링 팩터(λ)를 계산할 때, 모션 추정 결과들의 신뢰성은 픽셀 z에 대응하는 PP(n) 및 PP(n+3) 내의 픽셀들, 즉 PP(n+3)의 aa00 ... aa55 및 PP(n)의 aa'00 ... aa'55를 이용하여 측정될 수 있다. 예를 들어, 도 8에서 sad 및 nact는, R 및 T의 모든 픽셀들로부터 계산되는 대신, 단지 이러한 픽셀들로부터 계산될 수 있다.
모션 - 프리 백 프로젝션
MCBP 처리 이후, 모션 프리 백 프로젝션 처리 블록은 수퍼-해상도 프레임 SR(n)을 생성한다. 이 블록에 대한 입력은 모션-보상 백 프로젝션 블록으로부터의 고 해상도 프레임 MCBP(n), 및 저 해상도 프레임 LR(n)이다. 이 블록으로부터의 출력은 수퍼-해상도의 고 해상도 프레임 SR(n)이다.
이 단계에서의 처리들은 상기 설명한 모션-보상 백 프로젝션에서와 유사하며, 2개의 차이점을 갖는다. 즉, (1) 이 단계에서는 어떠한 모션도 수반되지 않으며, 이에 따라 (0, 0) 모션 벡터들은 LR(n)의 모든 픽셀들에 대해 이용되며, 그리고 (2) 스케일링 팩터(λ)는 상수로 설정될 수 있다(0≤λ≤1).
도 9는 본 발명의 예시적인 블록도를 도시한다. 도 9에서, 수퍼-해상도 비디오를 위한 시스템(900)은 단계(210)에 따른 이미지들의 처리에 의해 최초 추정된 고 해상도 이미지를 발생시키는 고 해상도 이미지 추정 모듈(920)을 포함한다. 또한, 단계(220)에 따라 모션 추정을 하는 모션 추정 모듈(930), 단계(230)에 따라 모션-보상 백 프로젝션을 하는 모션-보상 백 프라퍼게이션 모듈(motion-compensated back propagation module)(940), 및 단계(240)에 따라 모션-프리 백 프로젝션을 하는 모션-프리 백 프라퍼게이션 모듈(motion-free back propagation module)(950)을 포함한다. 당업자라면 모듈들(920 내지 950)이 소프트웨어, 펌웨어, 하드웨어(예를 들어, 합성(synthesize)된 하드웨어 디스크립션 랭귀지 코딩으로부터 또는 이를 이용하여 제조될 수 있는 프로세서들 또는 ASIC들)로, 또는 이들의 임의의 결합으로 실시될 수 있다는 것을 이해할 것이다. 본 실시예는 프로세서(970), 메모리(80), 저 해상도 이미지들이 수신되는 입력 인터페이스(910), 및 수퍼 해상도 이미지들이 전송되는 출력 인터페이스(960)를 더 포함할 수 있다. 본 발명의 예시적인 실시예들은 개인용 컴퓨터들, 개인 휴대 단말기들(PDA), 이동 장치들(예를 들어, 멀티미디어 포켓용 또는 휴대용 장치들), 디지털 텔레비젼들, 셋톱 박스들, 비디오 에디팅(editing) 및 디스플레잉(displaying) 장비 등과 같은 시스템을 포함할 수 있다.
결론
본 발명의 다른 실시예들은 저 해상도 스틸 이미지들을 고 해상도 스틸 이미지들로 변환하는 방법들 및 시스템들을 포함할 수 있다. 스틸 이미지들을 수퍼-해상도 스틸 이미지들로 처리하기 위해 본 발명에 의해 정의되는 기능의 설명은 수퍼-해상도 비디오의 처리와 유사하다. 예를 들어, 본 발명의 일 실시예에서, 저 해상도 스틸 이미지들의 시퀀스는 대응하는 고 해상도 이미지들로 변환될 수 있다.
본 발명에 개시된 하나 이상의 예시적인 실시예들은 본 발명 및 첨부된 청구항들을 어떤 식으로든 제한하는 것으로 의도되지 않는다.
본 발명은 특정 기능들 및 그 관계의 구현을 도시하는 기능 형성 블록들(functional building blocks)의 지원으로 상기 설명되었다. 이러한 기능 형성 블록들의 경계(boundary)들은 설명의 편의를 위해 여기에서 임의로 정의되었다. 특정되는 기능들 및 그 관계가 적절히 수행되는 한, 대안적인 경계들이 정의될 수 있다.
특정 실시예들에 대한 상기 설명은 본 발명의 일반적인 특성을 충분히 개시하고 있으며, 이에 따라 본 발명의 일반적인 개념을 벗어나지 않으면서, 과도한 실험없이, 당업계의 지식을 적용함으로써 상기 특정 실시예들을 수정하거나 그리고/또는 다양한 응용들에 적합하게 할 수 있다. 따라서, 이러한 적합화 및 수정은 여기에서 제시되는 교시 및 안내에 기초하여, 개시된 실시예들의 등가물들의 취지 및 범위 내에 있는 것으로 의도된다. 여기에서의 용어 및 표현은 한정이 아닌 설명을 위한 것이며, 이에 따라 본 명세서의 용어 및 표현은 당업자에 의해 상기 교시 및 안내에 비추어 해석되어야 한다.
본 발명의 범위는 상기 설명된 예시적인 실시예들중 어느 것에 의해서도 제한되서는 안되며, 하기의 청구항들 및 그 등가물들에 의해서만 정의되어야 한다.

Claims (15)

  1. 하나 이상의 프로세서들에 의해 실행될 때, 저 해상도 이미지들의 시퀀스를 이용하여 수퍼-해상도 이미지를 생성하는 방법을 수행하는 하나 이상의 명령어들의 하나 이상의 시퀀스들을 수록하고 있는 비-일시적인 컴퓨터 판독가능한 매체로서, 상기 명령어들이 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서는,
    상기 저 해상도 이미지들의 시퀀스로부터 유도된 다수의 고 해상도 비교 이미지들과 제 1 추정된(estimated) 고 해상도 이미지 간의 모션 추정 결과들을 이용하여, 상기 제 1 추정된 고 해상도 이미지를 모션-보상 백 프로젝팅(motion-compensated back projecting)함으로써, 제 2 추정된 고 해상도 이미지를 생성하는 단계와, 상기 모션 추정 결과들은,
    상기 다수의 고 해상도 비교 이미지들로부터의 비교 이미지들의 제 1 세트, 상기 다수의 고 해상도 비교 이미지들로부터의 비교 이미지들의 제 2 세트, 및 상기 제 1 추정된 고 해상도 이미지를 포함하는 제 1 워킹 시퀀스(working sequence)를 시간적으로(temporally) 시퀀싱하는 단계와, 여기서 상기 비교 이미지들의 제 1 세트 내의 각 이미지는 상기 저 해상도 이미지들의 시퀀스 내의 제 1 저 해상도 이미지 이전에(before) 발생하는 각각의 저 해상도 이미지로부터 유도되고, 상기 비교 이미지들의 제 2 세트 내의 각 이미지는 상기 저 해상도 이미지들의 시퀀스 내의 상기 제 1 저 해상도 이미지 이후에(after) 발생하는 각각의 저 해상도 이미지로부터 유도되며;
    상기 제 1 워킹 시퀀스로부터의 이웃하는 이미지들의 각 쌍 사이, 상기 제 2 워킹 시퀀스로부터의 이웃하는 이미지들의 각 쌍 사이, 상기 제 1 추정된 고 해상도 이미지와 상기 제 1 워킹 시퀀스로부터의 이미지 사이, 및 상기 제 1 추정된 고 해상도 이미지와 상기 제 2 워킹 시퀀스로부터의 이미지 사이에서 모션 벡터(motion vector)들을 계산하는 단계와;
    상기 제 1 추정된 고 해상도 이미지와 상기 제 1 워킹 시퀀스 및 제 2 워킹 시퀀스의 이미지들 사이에서의 추정된 모션 벡터들의 세트를 생성하는 단계와, 상기 추정된 모션 벡터들의 세트는 상기 계산된 모션 벡터들을 결합함에 의해서 생성되며; 그리고
    상기 추정된 모션 벡터들을 리파인(refine)하는 단계
    를 포함하는 방법에 의해 생성되며; 그리고
    상기 제 2 추정된 고 해상도 이미지를 모션-프리 백 프로젝팅(motion-free back projecting)함으로써 상기 수퍼 해상도 이미지를 생성하는 단계를 수행하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  2. 제1항에 있어서,
    상기 이웃하는 이미지들의 각 쌍 사이에서 모션 벡터들을 계산할 때에 생성되는 모션 벡터들을 결합시키는 것은,
    제 1 기준 프레임(reference frame) 내의 제 1 블록을 식별하고, 여기서 상기 제 1 블록은 상기 제 1 기준 프레임 내에서 그리드 정렬(grid alignment)되며;
    중간 프레임(intermediate frame) 내의 제 2 블록을 식별하고, 여기서 상기 제 2 블록은 상기 제 1 블록의 최상의 매칭 블록(best matching block)이며;
    목표 프레임(target frame) 내의 다수의 제 3 블록들을 식별하고, 여기서 상기 제 2 블록은 각각의 제 3 블록으로부터의 픽셀들을 포함하고, 상기 각각의 제 3 블록은 상기 목표 프레임 내에서 블록 정렬되며; 그리고
    상기 다수의 제 3 블록들을 나타내는 값을 계산하는 것을 포함하는 비-일시적인 컴퓨터 판독가능한 매체.
  3. 제2항에 있어서,
    상기 다수의 제 3 블록들을 나타내는 값은 상기 다수의 제 3 블록들과 상기 제 2 블록 간의 모션 벡터들의 중간값(median)인 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  4. 제2항에 있어서,
    상기 다수의 제 3 블록들을 나타내는 값은 상기 다수의 제 3 블록들과 상기 제 2 블록 간의 모션 벡터들의 산술 평균(arithmetic average)인 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  5. 제2항에 있어서,
    상기 다수의 제 3 블록들을 나타내는 값은 상기 다수의 제 3 블록들과 상기 제 2 블록 간의 모션 벡터들의 절대 차이들(absolute differences)의 최소합인 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  6. 저 해상도 이미지들의 시퀀스를 이용하여 수퍼-해상도 이미지를 생성하는 방법으로서,
    상기 저 해상도 이미지들의 시퀀스로부터 유도된 다수의 고 해상도 비교 이미지들과 제 1 추정된 고 해상도 이미지 사이에서 모션 추정을 수행하여 다수의 모션 추정 결과들을 생성하는 단계와, 상기 제 1 추정된 고 해상도 이미지는 상기 저 해상도 이미지들의 시퀀스로부터 선택된 제 1 저 해상도 이미지에 대응하고, 상기 다수의 고 해상도 비교 이미지들은 하나 이상의 이전에(previously) 생성된 수퍼-해상도 이미지들과 하나 이상의 중간(intermediate) 고 해상도 이미지들을 포함하고, 상기 하나 이상의 이전에 생성된 수퍼-해상도 이미지들은 상기 제 1 저 해상도 이미지 이전에 발생하는 저 해상도 이미지들 각각으로부터 유도되고, 상기 하나 이상의 중간 고 해상도 이미지들은 상기 제 1 저 해상도 이미지 이후에 발생하는 저 해상도 이미지들 각각으로부터 유도되며;
    제 2 추정된 고 해상도 이미지를 생성하기 위해, 상기 모션 추정 결과들을 이용하여 상기 제 1 추정된 고 해상도 이미지를 모션-보상 백 프로젝팅하는 단계와; 그리고
    상기 수퍼-해상도 이미지를 생성하기 위해, 상기 제 2 추정된 고 해상도 이미지를 모션-프리 백 프로젝팅하는 단계
    를 포함하는 것을 특징으로 하는 수퍼-해상도 이미지를 생성하는 방법.
  7. 수퍼-해상도 이미지들을 생성하는 시스템으로서,
    제 1 추정된 고 해상도 이미지와 다수의 고 해상도 비교 이미지들을 저 해상도 이미지들의 시퀀스로부터 유도하도록 된 고 해상도 이미지 추정 모듈과, 상기 제 1 추정된 고 해상도 이미지는 상기 저 해상도 이미지들의 시퀀스로부터 선택된 제 1 저 해상도 이미지에 대응하고, 상기 다수의 고 해상도 비교 이미지들은 하나 이상의 이전에 생성된 수퍼-해상도 이미지들과 하나 이상의 중간(intermediate) 고 해상도 이미지들을 포함하고, 상기 하나 이상의 이전에 생성된 수퍼-해상도 이미지들은 상기 제 1 저 해상도 이미지 이전에 발생하는 저 해상도 이미지들 각각으로부터 유도되고, 상기 하나 이상의 중간 고 해상도 이미지들은 상기 제 1 저 해상도 이미지 이후에 발생하는 저 해상도 이미지들 각각으로부터 유도되며;
    상기 제 1 추정된 고 해상도 이미지와 상기 다수의 고 해상도 비교 이미지들 사이에서 모션 추정을 수행하여 다수의 모션 추정 결과들을 생성하도록 된 모션 추정 모듈과;
    제 2 추정된 고 해상도 이미지를 생성하기 위해, 상기 모션 추정 결과들을 이용하여 상기 제 1 추정된 고 해상도 이미지를 모션-보상 백 프로젝팅하도록 된 모션-보상 백 프로젝션 모듈과; 그리고
    상기 수퍼-해상도 이미지를 생성하기 위해, 상기 제 2 추정된 고 해상도 이미지를 모션-프리 백 프로젝팅하도록 된 모션-프리 백 프로젝션 모듈
    을 포함하는 것을 특징으로 하는 수퍼-해상도 이미지들을 생성하는 시스템.
  8. 하나 이상의 프로세서들에 의해 실행될 때, 저 해상도 이미지들의 시퀀스를 이용하여 수퍼-해상도 이미지를 생성하는 방법을 수행하는 하나 이상의 명령어들의 하나 이상의 시퀀스들을 수록하고 있는 비-일시적인 컴퓨터 판독가능한 매체로서, 상기 명령어들이 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서는,
    상기 저 해상도 이미지들의 시퀀스로부터 유도된 다수의 고 해상도 비교 이미지들과 제 1 추정된(estimated) 고 해상도 이미지 간의 모션 추정 결과들을 이용하여, 상기 제 1 추정된 고 해상도 이미지를 모션-보상 백 프로젝팅(motion-compensated back projecting)함으로써, 제 2 추정된 고 해상도 이미지를 생성하는 단계와, 상기 제 1 추정된 고 해상도 이미지는 상기 저 해상도 이미지들의 시퀀스로부터 선택된 제 1 저 해상도 이미지에 대응하고, 상기 다수의 고 해상도 비교 이미지들은 하나 이상의 이전에 생성된 수퍼-해상도 이미지들과 하나 이상의 중간(intermediate) 고 해상도 이미지들을 포함하고, 상기 하나 이상의 이전에 생성된 수퍼-해상도 이미지들은 상기 제 1 저 해상도 이미지 이전에 발생하는 저 해상도 이미지들 각각으로부터 유도되고, 상기 하나 이상의 중간 고 해상도 이미지들은 상기 제 1 저 해상도 이미지 이후에 발생하는 저 해상도 이미지들 각각으로부터 유도되며; 그리고
    상기 제 2 추정된 고 해상도 이미지를 모션-프리 백 프로젝팅함으로써 상기 수퍼-해상도 이미지를 생성하는 단계
    를 수행하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  9. 제8항에 있어서,
    상기 하나 이상의 이전에 생성된 수퍼-해상도 이미지들은, 모션 보상 백 프라퍼게이션(motion compensated back propagation)과 모션 프리 백 프라퍼게이션(motion free back propagation) 중 적어도 하나를 이용하여 생성된 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  10. 제8항에 있어서,
    상기 저 해상도 이미지들의 시퀀스는 비디오 이미지들인 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  11. 제8항에 있어서,
    상기 모션-보상 백 프로젝팅은, 다수의 기준 이미지들에 따라 상기 제 1 추정된 고 해상도 이미지를 리파인하는 것을 포함하고, 여기서 상기 기준 이미지들은 상기 제 1 추정된 고 해상도 이미지에 시간적으로 가장 먼 것으로부터 시간적으로 가장 가까운 것으로 순서가 매겨지는 것(ordering)을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  12. 제11항에 있어서,
    상기 제 1 추정된 고 해상도 이미지에 대해 동일한 시간적인 거리를 갖는 기준 이미지들은 시간적으로 앞서는 순서(order of temporal precedence)로 처리되는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  13. 제12항에 있어서,
    상기 모션-보상 백 프로젝팅은 모션 보상의 잔류 오차(residue error)를 스케일링 팩터(scaling factor) 만큼 스케일링하는 것을 더 포함하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  14. 제13항에 있어서,
    상기 스케일링 팩터는 상기 다수의 모션 추정 결과들의 신뢰성에 의해 결정되는 것을 특징으로 하는 비-일시적인 컴퓨터 판독가능한 매체.
  15. 삭제
KR1020107023182A 2008-03-17 2009-03-12 이미지들의 수퍼 해상도를 위한 방법 및 장치 KR101393048B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/076,347 2008-03-17
US12/076,347 US8306121B2 (en) 2008-03-17 2008-03-17 Method and apparatus for super-resolution of images
PCT/IB2009/000508 WO2009115885A2 (en) 2008-03-17 2009-03-12 Method and apparatus for super-resolution of images

Publications (2)

Publication Number Publication Date
KR20100139030A KR20100139030A (ko) 2010-12-31
KR101393048B1 true KR101393048B1 (ko) 2014-05-27

Family

ID=41063000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107023182A KR101393048B1 (ko) 2008-03-17 2009-03-12 이미지들의 수퍼 해상도를 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8306121B2 (ko)
EP (1) EP2266095B1 (ko)
JP (1) JP5385969B2 (ko)
KR (1) KR101393048B1 (ko)
CN (1) CN102016915B (ko)
WO (1) WO2009115885A2 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233541B2 (en) * 2008-03-26 2012-07-31 Sony Corporation Recursive image quality enhancement on super resolution video
JP4504443B2 (ja) 2008-08-12 2010-07-14 株式会社東芝 再生装置および再生装置の制御方法
JP2012044233A (ja) * 2008-12-12 2012-03-01 Panasonic Corp 再生装置
JP4564565B2 (ja) * 2009-01-27 2010-10-20 株式会社東芝 再生装置および再生装置の制御方法
US8989519B2 (en) * 2009-04-20 2015-03-24 Yeda Research & Development Co. Ltd. Super resolution from a single signal
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8750645B2 (en) * 2009-12-10 2014-06-10 Microsoft Corporation Generating a composite image from video frames
US8558948B2 (en) * 2009-12-17 2013-10-15 Broadcom Corporation System, method, and apparatus for providing improved high definition video from upsampled standard definition video
JP2011180798A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
JP2011237998A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
CN102063730B (zh) * 2011-01-14 2012-09-12 华中科技大学 基于单分子定位的快速超分辨成像方法及系统
US9089274B2 (en) * 2011-01-31 2015-07-28 Seiko Epson Corporation Denoise MCG measurements
US8818124B1 (en) 2011-03-04 2014-08-26 Exelis, Inc. Methods, apparatus, and systems for super resolution of LIDAR data sets
US8594464B2 (en) 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
CN102880878B (zh) * 2011-07-15 2015-05-06 富士通株式会社 一种基于单幅图像进行超分辨率分析的方法及系统
US20130169834A1 (en) * 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
KR101341617B1 (ko) * 2012-03-14 2013-12-13 중앙대학교 산학협력단 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
CN103458154B (zh) * 2012-05-31 2016-03-30 北京大学 一种视频的超分辨率方法及装置
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US10568496B2 (en) 2012-07-26 2020-02-25 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
CN104619237B (zh) 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
KR101538313B1 (ko) * 2012-12-21 2015-07-22 서울시립대학교 산학협력단 블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치
WO2014144947A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Super resolution and color motion artifact correction in a pulsed color imaging system
EP2967300A4 (en) 2013-03-15 2016-11-23 Olive Medical Corp CONTROL OF THE INTEGRATED LIGHT ENERGY OF A LASER PULSE
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
EP3050029B1 (en) 2013-09-27 2018-07-04 Koninklijke Philips N.V. Motion compensated iterative reconstruction
AU2015230978B2 (en) 2014-03-21 2020-01-23 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
KR102374022B1 (ko) * 2014-09-26 2022-03-14 삼성전자주식회사 영상 처리 장치 및 방법
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
CN105590304B (zh) * 2014-10-24 2019-01-08 北京大学 超分辨率图像重建方法和装置
WO2016132145A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Online training of hierarchical algorithms
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
KR102584187B1 (ko) 2016-03-30 2023-10-05 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
RU2635883C1 (ru) * 2016-06-02 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и система обработки изображений для формирования изображений сверхвысокого разрешения
US10366480B2 (en) * 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
US10504206B2 (en) * 2016-07-06 2019-12-10 Micro Biz Ventures LLC Method and system for processing images from a remote image detector
EP3714404A4 (en) 2017-11-26 2021-08-18 Yeda Research and Development Co. Ltd SIGNAL GAIN AND MANIPULATION USING A SIGNAL-SPECIFIC DEEP NETWORK
CN112369009B (zh) 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
US10990826B1 (en) * 2019-03-20 2021-04-27 Xilinx, Inc. Object detection in video
US20240265494A1 (en) * 2023-02-07 2024-08-08 Microsoft Technology Licensing, Llc Realtime video super resolution using motion vectors
CN116523758B (zh) * 2023-07-03 2023-09-19 清华大学 基于关键帧的端云联合超分辨率视频重建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000028962A (ko) * 1998-10-09 2000-05-25 모리시타 요이찌 2:1 제거용의 효율적인 다운 변환 시스템
KR20070094298A (ko) * 2006-03-17 2007-09-20 주식회사 팬택앤큐리텔 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2596352B2 (ja) 1993-12-10 1997-04-02 日本電気株式会社 小数精度動きベクトル探索装置
JPH07288817A (ja) 1994-04-19 1995-10-31 Sony Corp 動きベクトル検出装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
WO2002045003A1 (en) * 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
US7215831B2 (en) * 2001-04-26 2007-05-08 Georgia Tech Research Corp. Video enhancement using multiple frame techniques
US7515747B2 (en) * 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
IL160152A (en) * 2004-02-01 2011-06-30 Rafael Advanced Defense Sys Super-resolution image processing
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
JP2006033141A (ja) 2004-07-13 2006-02-02 Seiko Epson Corp 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
TWI274509B (en) * 2005-02-22 2007-02-21 Sunplus Technology Co Ltd Method and system for dynamically adjusting motion estimation
JP4126378B2 (ja) * 2005-05-02 2008-07-30 国立大学法人東京工業大学 超解像処理の高速化方法
FR2886787A1 (fr) * 2005-06-06 2006-12-08 Thomson Licensing Sa Procede et dispositif de codage et de decodage d'une sequence d'images
JP4600209B2 (ja) 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
WO2007124163A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and apparatus for video mixing
JP4116649B2 (ja) * 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP2007329678A (ja) * 2006-06-07 2007-12-20 Matsushita Electric Ind Co Ltd 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置
US7876477B2 (en) * 2006-06-28 2011-01-25 Panasonic Corporation Image reading method and image expansion method
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
JP4646146B2 (ja) * 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8737485B2 (en) * 2007-01-31 2014-05-27 Sony Corporation Video coding mode selection system
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
US7974498B2 (en) * 2007-08-08 2011-07-05 Microsoft Corporation Super-resolution in periodic and aperiodic pixel imaging
JP5076755B2 (ja) * 2007-09-07 2012-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000028962A (ko) * 1998-10-09 2000-05-25 모리시타 요이찌 2:1 제거용의 효율적인 다운 변환 시스템
KR20070094298A (ko) * 2006-03-17 2007-09-20 주식회사 팬택앤큐리텔 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및장치

Also Published As

Publication number Publication date
US20090232213A1 (en) 2009-09-17
EP2266095B1 (en) 2019-04-24
US8306121B2 (en) 2012-11-06
EP2266095A2 (en) 2010-12-29
CN102016915A (zh) 2011-04-13
EP2266095A4 (en) 2015-01-28
CN102016915B (zh) 2014-02-26
KR20100139030A (ko) 2010-12-31
WO2009115885A2 (en) 2009-09-24
WO2009115885A3 (en) 2009-11-12
JP2011514605A (ja) 2011-05-06
JP5385969B2 (ja) 2014-01-08

Similar Documents

Publication Publication Date Title
KR101393048B1 (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
Shah et al. Resolution enhancement of color video sequences
Takeda et al. Super-resolution without explicit subpixel motion estimation
Belekos et al. Maximum a posteriori video super-resolution using a new multichannel image prior
US8279341B1 (en) Enhancing the resolution and quality of sequential digital images
Li et al. Video super-resolution using an adaptive superpixel-guided auto-regressive model
US8098962B2 (en) Signal processing method, apparatus, and program
CN106851046A (zh) 视频动态超分辨率处理方法及系统
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
WO2009053978A2 (en) Apparatus and method for improving image resolution using fuzzy motion estimation
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
JP4714038B2 (ja) 画像の高解像度化方法及び装置
WO2012066866A1 (ja) 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法
CN103618904B (zh) 基于像素的运动估计方法及装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
Takeda et al. Locally adaptive kernel regression for space-time super-resolution
JP4662969B2 (ja) 画像処理装置及び方法
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Kim et al. Robust video super resolution algorithm using measurement validation method and scene change detection
JP4232869B2 (ja) 変換ユニット及び装置並びに画像処理装置
JP6059899B2 (ja) フレーム補間装置及びプログラム
Hong et al. Multistage block-matching motion estimation for superresolution video reconstruction
JP4354799B2 (ja) 補間画像生成方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6