KR20120118477A

KR20120118477A - 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Info

Publication number: KR20120118477A
Application number: KR1020127021782A
Authority: KR
Inventors: 시타람 바가바티; 조안 야크; 동-칭 장
Original assignee: 톰슨 라이센싱
Priority date: 2010-01-22
Filing date: 2011-01-20
Publication date: 2012-10-26
Also published as: WO2011090790A1; WO2011090790A8; CN102823242A; KR101789845B1; CN102823242B; JP5911809B2; EP2526698A1; US20120294369A1; US9602814B2; JP2013518463A

Abstract

본 발명은 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다. 본 인코딩 방법은 고해상도 화상을 수신하고(610); 이로부터 저해상도 화상과 이 저해상도 화상과 메타데이터의 후디코딩 후처리를 가이드하기 위한 메타데이터를 생성하며(625); 이후 적어도 하나의 인코더를 사용하여 저해상도 화상과 메타데이터를 인코딩한다. 대응하는 디코딩 방법은 비트스트림을 수신하고 이로부터 디코더를 사용하여 저해상도 화상과 메타데이터를 디코딩하며; 이후 저해상도 화상과 메타데이터를 사용하여 저해상도 화상에 각각 대응하는 고해상도 화상을 재구성한다.

Description

샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치{METHODS AND APPARATUS FOR SAMPLING-BASED SUPER RESOLUTION VIDEO ENCODING AND DECODING}

본 출원은 그 전체 내용이 본 명세서에 참조 문헌으로 병합된 2010년 1월 22일에 출원된 미국 가출원 일련 번호 61/297,320호의 이익을 청구한다.

본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이며, 보다 상세하게는, 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다.

초 해상도(super resolution)를 사용하는 비디오 압축 방안은 제1종래 기술의 방안으로 제안되었다. 제1종래 기술의 방안에서, 입력 비디오의 공간적 사이즈는 인코딩 전에 특정 미리 결정된 저해상도(LR: low resolution) 사이즈로 감소된다. 저해상도 비디오가 디코더 측에 수신된 후에, 저해상도 비디오는 비트스트림으로 전송된 일부 부가 정보(메타데이터)와 함께 초 해상도 방법을 사용하여 원래의 사이즈로 업스케일링된다. 메타데이터는 각 블록을 이동하는 것, 이동하지 않는 플랫한 것 및 이동하지 않는 텍스처진 것으로 표시한 프레임의 블록 기반 분할을 포함한다. 이동하지 않는 플랫한 블록은 공간 보간에 의하여 업스케일링된다. 이동하는 블록에 대해서는 움직임 벡터가 수신기로 송신되며, 여기서 초 해상도 기술이 서브 픽셀 정보를 복구하기 위하여 적용된다. 이동하지 않는 텍스처진 블록에 대해서는 지터 있는(jittered) 다운샘플링 전략이 사용되며 여기서 4개의 상보적인 다운샘플링 그리드가 회전하는 순서로 적용된다.

그러나, 전술된 제1종래 기술의 방안은 불리하게도 이동하는 영역에 대해서는 스마트한 샘플링 전략을 사용하지 않는다. 오히려, 제1종래 기술의 방안은 초 해상도를 얻기 위해 저해상도 프레임들 사이에 서브픽셀 움직임의 존재에 의존한다. 그러나, 서브 픽셀 움직임이 항상 보장되는 것은 아니다.

제2종래 기술의 방안에서, 카메라는 프레임 캡쳐들 사이에 서브 픽셀 시프트로 기계적으로 이동된다. 그 목표는 후속하는 초 해상도에 더 적합한 저 해상도 비디오를 캡쳐하는 것이다. 정적인 백그라운드(static background)에 있어서, 제2종래 기술의 방안의 방법은 전술된 제1종래 기술의 방안에 있는 지터 있는 샘플링 개념과 유사하다. 그러나, 고정된 지터는 타깃 응용에서 있을 수 있는 비정적 백그라운드의 경우에, 즉 후속하는 초 해상도를 위해 고해상도 비디오를 다운샘플링하는 경우에는 효과적인 전략이 아니다.

종래 기술의 이들 및 다른 결점 및 단점은 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 본 발명의 원리에 의해 해결된다.

본 발명의 원리의 일 측면에 따르면, 장치가 제공된다. 본 장치는 고해상도 화상을 수신하고 이로부터 저해상도 화상과 메타데이터를 생성하기 위한 다운샘플러와 메타데이터 생성기를 포함한다. 이 메타데이터는 상기 저해상도 화상과 메타데이터의 후디코딩 후처리를 가이드하기 위한 것이다. 본 장치는 상기 저해상도 화상과 메타데이터를 인코딩하기 위한 적어도 하나의 인코더를 더 포함한다.

본 발명의 원리의 다른 측면에 따르면, 방법이 제공된다. 본 방법은 고해상도 화상을 수신하고 이로부터 저해상도 화상과 메타데이터를 생성하는 단계를 포함한다. 이 메타데이터는 저해상도 화상과 메타데이터의 후디코딩 후처리를 가이드하기 위한 것이다. 본 방법은 적어도 하나의 인코더를 사용하여 저해상도 화상과 메타데이터를 인코딩하는 단계를 더 포함한다.

본 발명의 원리의 또 다른 측면에 따르면, 장치가 제공된다. 본 장치는 비트스트림을 수신하고 이로부터 저해상도 화상과 메타데이터를 디코딩하기 위한 디코더를 포함한다. 본 장치는 상기 저해상도 화상과 메타데이터를 사용하여 저해상도 화상에 각각 대응하는 고해상도 화상을 재구성하기 위한 초해상도 후프로세서를 더 포함한다.

본 발명의 또 다른 측면에 따르면, 방법이 제공된다. 본 방법은 비트스트림을 수신하고 이로부터 디코더를 사용하여 저해상도 화상과 메타데이터를 디코딩하는 단계를 포함한다. 본 방법은 상기 저해상도 화상과 메타데이터를 사용하여 상기 저해상도 화상에 각각 대응하는 고해상도 화상을 재구성하는 단계를 더 포함한다.

본 발명의 이들 및 다른 측면, 특징 및 이점은 첨부 도면과 연계하여 판독되는 예시적인 실시예의 이하 상세한 설명으로부터 보다 명백하게 될 것이다.

본 발명의 원리는 이하 예시적인 도면에 따라 더 잘 이해될 수 있을 것이다.
도 1은 본 발명의 원리의 일 실시예에 따라 샘플링 기반 초 해상도를 위한 예시적인 시스템/방법을 도시한 하이 레벨의 블록도;
도 2는 본 발명의 원리의 일 실시예에 따라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더를 도시한 블록도;
도 3은 본 발명의 원리의 일 실시예에 따라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더를 도시한 블록도;
도 4a 내지 도 4d는 본 발명의 원리의 일 실시예에 따라 샘플링 기반 초 해상도 방법의 전처리 단계에 관한 데이터 및 단계를 도시한 도면;
도 5a 내지 도 5d는 본 발명의 원리에 따라 샘플링 기반 초해상도 방법의 후처리 단계에 관한 데이터 및 단계를 도시한 도면;
도 6은 본 발명의 원리의 일 실시예에 따라 샘플링 기반 초 해상도 방법의 전처리 단계에 관한 예시적인 방법을 도시한 흐름도;
도 7a 내지 도 7f는 본 발명의 원리의 일 실시예에 따라 HR 고해상도(HR) 프레임을 저해상도(LR)로 다운샘플링하는데 사용된 샘플링 그리드의 예를 도시한 도면;
도 8a 내지 도 8d는 본 발명의 원리의 일 실시예에 따라 추가적인 균일한 샘플링 그리드를 도시한 도면;
도 9는 본 발명의 원리의 일 실시예에 따라 샘플링 그리드의 선택과 관련된 단계들을 도시한 도면;
도 10은 본 발명의 원리의 일 실시예에 따라 샘플링 기반 초 해상도 방법의 후 처리 단계와 관련된 예시적인 방법을 도시한 흐름도;
도 11a 내지 도 11b는 본 발명의 원리의 일 실시예에 따라 2개의 프레임들 사이에 포어그라운드 대상(foreground object)의 움직임을 도시한 도면.

본 발명의 원리는 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다.

본 설명은 본 발명의 원리를 예시한다. 따라서, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 명시적으로 기술되거나 도시되지는 않았을지라도 본 발명의 사상과 범위 내에 포함되고 본 발명의 원리를 구현하는 여러 배열을 고안할 수 있을 것이라는 것을 이해할 수 있을 것이다.

본 명세서에 언급된 모든 예시와 조건적 언어들은 이 기술을 개선하려고 발명자(들)가 기여한 본 발명의 원리와 개념을 독자들이 이해하는 것을 돕기 위한 설명을 위한 목적으로 의도된 것이며 그러한 구체적으로 언급된 예시와 조건으로 제한하는 것으로 해석되어서는 아니된다.

나아가, 본 발명의 원리, 측면 및 실시예뿐만 아니라 특정 예시를 언급하는 모든 진술은 구조적 및 기능적으로 균등한 것을 포함하는 것으로 의도된 것이다. 부가적으로, 그러한 균등물은 현재 알려진 균등물뿐만 아니라 미래에 개발될 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함한다는 것으로 의도된다.

따라서, 예를 들어, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 제시된 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념적인 도식을 제시하는 것임을 이해할 수 있을 것이다. 이와 유사하게, 임의의 흐름도, 흐름 선도, 상태 전이도, 의사코드 등은 컴퓨터나 프로세서가 명시적으로 도시되지 않았을 지라도 컴퓨터로 판독가능한 매체에 실질적으로 제공되고 컴퓨터나 프로세서에 의해 실행될 수 있는 여러 공정을 나타낸다는 것을 이해할 수 있을 것이다.

도면에 도시된 여러 요소의 기능은 적절한 소프트웨어와 연관된 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 나아가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용이 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 말하는 것으로 해석되어서는 아니되며, 제한없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장장치를 암시적으로 포함할 수 있다.

종래의 것이든 및/또는 주문형이든 상관없이 다른 하드웨어가 또한 포함될 수 있다. 이와 유사하게 이 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 그 기능은 프로그램 논리의 동작을 통해, 전용 논리를 통해, 프로그램 제어 및 전용 논리의 상호작용을 통해 또는 심지어 수동으로 수행될 수 있으며, 특정 기술은 문맥으로부터 보다 구체적으로 이해되는 바와 같이 구현하는 자에 의해 선택될 수 있다.

특허청구범위에서, 특정 기능을 수행하는 수단으로 표시된 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소의 조합이나 b) 그 기능을 수행하는 소프트웨어를 실행하는 적절한 회로와 결합된 펌웨어, 마이크로 코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 임의의 방법을 포함하는 것으로 의도된다. 특허청구범위에 의해 한정된 본 발명의 원리는 여러 언급된 수단으로 제공된 기능이 특허청구범위가 요청하는 방식으로 서로 결합된 것에 존재한다. 따라서, 그 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것과 균등한 것이라고 간주된다.

명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"라는 언급과 그 다른 변형 어구의 언급은 실시예와 연관하여 기술된 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐 여러 곳에 나타나는 "일 실시예에서" 또는 "실시예에서"라는 어구의 표현과 그 임의의 다른 변형 어구는 동일한 실시예를 모두 언급하는 것이 아닐 수 있다.

예를 들어 "A/B", "A 및/또는 B" 그리고 "A 및 B 중 적어도 하나"에 있는 "/", " 및/또는" 및 "? 중 적어도 하나" 중 어느 하나의 사용은 예를 들어 처음 나열된 옵션(A)만을 선택하거나 두 번째 나열된 옵션(B)만을 선택하거나 두 개의 옵션(A와 B)을 선택하는 것을 포함하는 것으로 의도된 것이라는 것을 이해하여야 한다. 다른 예로서, "A, B 및/또는 C" 그리고 "A, B 및 C 중 적어도 하나"의 경우에서 이 어구는 처음 나열된 옵션(A)만을 선택하거나, 두 번째 나열된 옵션(B)만을 선택하거나, 세 번째 나열된 옵션(C)만을 선택하거나, 처음 및 두 번째 나열된 옵션(A 와 B)만을 선택하거나, 처음과 세 번째 나열된 옵션(A와 C)만을 선택하거나, 두 번째와 세 번째 나열된 옵션(B와 C)만을 선택하거나, 3개의 옵션(A와 B와 C)을 모두 선택하는 것을 포함하는 것으로 의도된 것이다. 이것은 이 기술 분야 및 관련 기술 분야의 통상의 지식을 가진 자에게는 명백한 바와 같이 많은 항목이 나열된 것으로 확장될 수 있다.

또한, 본 명세서에 사용된 바와 같이, "화상" 및 "이미지"라는 용어는 상호 교환 가능하게 사용되며 비디오 시퀀스로부터 정지 이미지 또는 정지 화상을 말한다. 알려진 바와 같이, 화상은 프레임이나 필드일 수 있다.

추가적으로, 본 명세서에 사용된 바와 같이, 예를 들어 저해상도 화상에서 "주변 공동 위치된 픽셀"(surrounding co-located pixel)의 픽셀 값으로부터 고해상도 모자이크에 있는 픽셀 위치에서의 픽셀 값을 보간하는 것에 의해 본 명세서에 기술된 고해상도 모자이크를 생성하는 것에 대하여 사용될 때"주변 공동 위치된 픽셀"이라는 용어는 고해상도 모자이크에서 현재 보간되고 있는 타깃 픽셀과 공동 위치된(즉, 동일한 위치를 가지는) 특정 픽셀 주변에 있는 저해상도 화상에 있는 픽셀을 말한다.

전술된 바와 같이, 본 발명의 원리는 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다. 본 발명의 원리는 비디오 압축 효율을 유리하게 개선시키는 것이라는 것을 이해할 수 있을 것이다. 구체적으로, 프레임들 사이에 움직임을 처리할 수 있는 스마트한 다운샘플링된 전략이 제안된다. 전처리 단계에서 고해상도(HR) 프레임이 저해상도(LR)로 다운샘플링되고 메타데이터는 후처리를 가이드하기 위해 생성된다. 후처리 단계에서, 디코딩된 저해상도 프레임과 수신된 메타데이터가 새로운 초해상도 프레임워크 내에서 사용되어 고해상도 프레임을 재구성한다. 저해상도 프레임만이 인코딩되고 송신된 메타데이터의 양이 적절히 낮으므로, 이 방안은 증가된 압축비를 제공할 가능성을 가지고 있다.

스마트한 다운샘플링 전략은 프레임들 사이의 움직임을 고려한다. 다운샘플링 전략은 프레임들이 지니는 픽셀 정보를 서로 상보하도록 LR 프레임을 생성하는 것(다시 말해, 프레임들 간 픽셀 리던던시를 감소시키는 것)에 의해 개선된 초 해상도 결과에 기여한다. 일부 의미에서 이 전략은 프레임들 사이에 서브 픽셀의 움직임을 강제하도록 시도한다.

예를 들어, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC (Advanced Video Coding) Standard/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 Recommendation (이후 "MPEG-4 AVC 표준")과 같은 종래의 비디오 압축 방법(주로 블록 기반 예측 방법)이 압축비의 포화점에 도달하게 시작하였다는 것을 주지해야 한다. 데이터 프루닝(data pruning) 방법은 표준 압축 방법에 의하여 달성된 것을 넘어 압축 효율을 개선시키는 것을 목표로 한다. 이 방법의 주된 원리는 인코딩 전에(또는 동안) 데이터를 제거하고 디코딩 후에(또는 동안) 수신기에서 제거된 데이터를 다시 배치하는 것이다. 데이터 프루닝 방법은 그 목표, 예를 들어, 블록/영역 제거와 인페인팅, 라인 제거와 보간 등을 달성하기 위해 여러 전처리 및 후처리 기술을 이용한다.

본 발명의 원리에 따라, 지능적인 다운샘플링(송신기에서)과 초해상도(수신기에서)는 데이터 프루닝에 이용되는 기술이다. 초 해상도는 여러 저해상도 이미지 또는 프레임에 걸쳐 정보를 시간적으로 통합하는 것에 의해 이미지나 비디오의 해상도를 증가시키는 공정이다. 이 데이터 프루닝 방안의 원리는 도 1에 도시되어 있다. 도 1을 참조하면, 샘플링 기반 초 해상도를 위한 예시적인 시스템/방법이 일반적으로 참조 부호 (100)으로 표시되어 있다. 고해상도(HR) 프레임이 입력되고 저해상도(LR) 프레임과 메타데이터를 얻기 위하여 {다운샘플러와 메타데이터 생성기(151)에 의해} 단계(110)에서 다운샘플링과 메타데이터 생성을 거친다. 저해상도 프레임과 메타데이터는 단계(115)에서 {인코더(152)에 의해} 인코딩된다. 인코딩된 저해상도 프레임과 메타데이터는 단계(120)에서 {디코더(153)에 의해} 디코딩된다. 저해상도 프레임과 메타데이터는 단계(130)에서 고해상도 출력 프레임을 제공하기 위하여 {초해상도 후프로세서(154)에 의해} 초해상도 후처리를 거친다. 따라서, 전처리 단계{단계(110)}에서, 고해상도 프레임은 저해상도로 다운샘플링되고 메타데이터는 후처리를 가이드하기 위해 생성된다. 특히, 프레임들 사이에 움직임을 처리할 수 있는 스마트한 다운샘플링 전략이 제안된다. 후처리 단계{단계(125)}에서, 디코딩된 저해상도 프레임과 수신된 메타데이터는 고해상도 프레임을 재구성하기 위하여 새로운 초해상도 프레임워크 내에서 사용된다. 저해상도 프레임만이 인코딩되고 송신된 메타데이터의 양이 적절히 낮다면, 증가된 압축비는 이 방안을 사용하여 획득될 수 있다. 다운샘플러와 메타데이터 생성기(151)는 또한 본 명세서에서 전 프로세서로 고려되고 언급될 수 있다는 것을 주지해야 한다.

이하 기술된 인코더와 디코더의 특정 구성으로 제한되는 것은 아니지만, 인코더(152)와 디코더(153)는 도 2 및 도 3에 각각 도시된 바와 같이 각각 구현될 수 있다.

도 2를 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더가 일반적으로 참조 부호 (200)으로 표시되어 있다. 비디오 인코더(200)는 가산기(285)의 비반전 입력과 신호 통신가능하게 연결된 출력을 가지는 프레임 정렬 버퍼(210)를 포함한다. 가산기(285)의 출력은 변환기 및 양자화기(225)의 제1입력과 신호 통신가능하게 연결된다. 변환기 및 양자화기(225)의 출력은 엔트로피 코더(245)의 제1입력과, 역 변환기 및 역 양자화기(250)의 제1입력과 신호 통신가능하게 연결된다. 엔트로피 코더(245)의 출력은 가산기(290)의 제1비반전 입력과 신호 통신가능하게 연결된다. 가산기(290)의 출력은 출력 버퍼(235)의 제1입력과 신호 통신가능하게 연결된다.

인코더 제어기(205)의 제1출력은 프레임 정렬 버퍼(210)의 제2입력, 역 변환기 및 역 양자화기(250)의 제2입력, 화상 유형 결정 모듈(215)의 입력, 매크로블록 유형(MB 유형) 결정 모듈(220)의 제1입력, 인트라 예측 모듈(260)의 제2입력, 디블록킹 필터(265)의 제2입력, 움직임 보상기(270)의 제1입력, 움직임 추정기(275)의 제1입력, 및 참조 화상 버퍼(280)의 제2입력과 신호 통신가능하게 연결된다.

인코더 제어기(205)의 제2입력은 SEI(Supplemental Enhancement Information) 삽입기(230)의 제1입력, 변환기 및 양자화기(225)의 제2입력, 엔트로피 코더(245)의 제2입력, 출력 버퍼(235)의 제2입력, 및 SPS 및 PPS(Sequence Parameter Set and Picture Parameter Set) 삽입기(240)의 입력과 신호 통신가능하게 연결된다.

SEI 삽입기(230)의 출력은 가산기(290)의 제2비반전 입력과 신호 통신가능하게 연결된다.

화상 유형 결정 모듈(215)의 제1출력은 프레임 정렬 버퍼(210)의 제3입력과 신호 통신가능하게 연결된다. 화상 유형 결정 모듈(215)의 제2출력은 매크로블록 유형 결정 모듈(220)의 제2입력과 신호 통신가능하게 연결된다.

SPS 및 PPS 삽입기(240)의 출력은 가산기(290)의 제3비반전 입력과 신호 통신가능하게 연결된다.

역 양자화기 및 역 변환기(250)의 출력은 가산기(219)의 제1비반전 입력과 신호 통신가능하게 연결된다. 가산기(219)의 출력은 인트라 예측 모듈(260)의 제1입력과 디블록킹 필터(265)의 제1입력과 신호 통신가능하게 연결된다. 디블록킹 필터(265)의 출력은 참조 화상 버퍼(280)의 제1입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(280)의 출력은 움직임 추정기(275)의 제2입력과 움직임 보상기(270)의 제3입력과 신호 통신가능하게 연결된다. 움직임 추정기(275)의 제1출력은 움직임 보상기(270)의 제2입력과 신호 통신가능하게 연결된다. 움직임 추정기(275)의 제2출력은 엔트로피 코더(245)의 제3입력과 신호 통신가능하게 연결된다.

움직임 보상기(270)의 출력은 스위치(297)의 제1입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2입력과 신호 통신가능하게 연결된다. 매크로블록 유형 결정 모듈(220)의 출력은 스위치(297)의 제3입력과 신호 통신가능하게 연결된다. 스위치(297)의 제3입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3입력과 비교하여)이 움직임 보상기(270)에 의해 제공될지 또는 인트라 예측 모듈(260)에 의해 제공될지 여부를 결정한다. 스위치(297)의 출력은 가산기(219)의 제2비반전 입력과 가산기(285)의 반전 입력과 신호 통신가능하게 연결된다.

프레임 정렬 버퍼(210)의 제1입력과 인코더 제어기(205)의 입력은 입력 화상을 수신하기 위하여 인코더(200)의 입력으로 이용가능하다. 나아가, SEI 삽입기(230)의 제2입력은 메타데이터를 수신하기 위하여 인코더(200)의 입력으로 이용가능하다. 출력 버퍼(235)의 출력은 비트스트림을 출력하기 위하여 인코더(200)의 출력으로 이용가능하다.

도 3을 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더는 일반적으로 참조 부호 (300)으로 표시되어 있다. 비디오 디코더(300)는 엔트로피 디코더(345)의 제1입력과 신호 통신가능하게 연결된 출력을 가지는 입력 버퍼(310)를 포함한다. 엔트로피 디코더(345)의 제1출력은 역 변환기 및 역 양자화기(350)의 제1입력과 신호 통신가능하게 연결된다.

역 변환기 및 역 양자화기(350)의 출력은 가산기(325)의 제2비반전 입력과 신호 통신가능하게 연결된다. 가산기(325)의 출력은 디블록킹 필터(365)의 제2입력과 인트라 예측 모듈(360)의 제1입력과 신호 통신가능하게 연결된다. 디블록킹 필터(365)의 제2출력은 참조 화상 버퍼(380)의 제1입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(380)의 출력은 움직임 보상기(370)의 제2입력과 신호 통신가능하게 연결된다.

엔트로피 디코더(345)의 제2출력은 움직임 보상기(370)의 제3입력, 디블록킹 필터(365)의 제1입력 및 인트라 추정기(360)의 제3입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(345)의 제3출력은 디코더 제어기(305)의 입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제1출력은 엔트로피 디코더(345)의 제2입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제2출력은 역 변환기 및 역 양자화기(350)의 제2입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제3출력은 디블록킹 필터(365)의 제3입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제4출력은 인트라 예측 모듈(360)의 제2입력, 움직임 보상기(370)의 제1입력, 및 참조 화상 버퍼(380)의 제2입력과 신호 통신가능하게 연결된다.

움직임 보상기(370)의 출력은 스위치(397)의 제1입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2입력과 신호 통신가능하게 연결된다. 스위치(397)의 출력은 가산기(325)의 제1비반전 입력과 신호 통신가능하게 연결된다.

입력 버퍼(310)의 입력은 입력 비트스트림을 수신하기 위하여 디코더(300)의 입력으로 이용가능하다. 디블록킹 필터(365)의 제1출력은 출력 화상을 출력하기 위하여 디코더(300)의 출력으로 이용가능하다.

샘플링 기반 초 해상도의 원리

샘플링 기반 SR의 중심 개념은 도 4a 내지 도 4d 및 도 5a 내지 도 5d에 도시되어 있다. 도 4a 내지 도 4d를 참조하면, 샘플링 기반 초 해상도 방법의 전처리 단계에 관한 데이터 및 단계들이 일반적으로 참조 부호 (400)으로 표시되어 있다. 구체적으로, 도 4a는 초해상도(HR) 프레임(410)의 입력 세트를 도시한다. 도 4b는 참조 프레임에 대하여 움직임 변환(Θ_t1)의 추정(420)을 도시한다. 도 4c는 참조 프레임 좌표(I는 항등 변환을 말한다는 것을 주지해야 한다)에서 초 해상도 충진 인수(filling factor)에 기초하여 샘플링 그리드(S_t)의 추정(430)을 도시한다. 도 4d는 다운샘플링된 저해상도(LR) 프레임과 그 대응하는 메타데이터(440)를 도시한다.

도 5a 내지 도 5d를 참조하면, 샘플링 기반 초 해상도 방법의 후처리 단계와 관련된 데이터 및 단계들이 일반적으로 참조 부호 (500)으로 표시되어 있다. 구체적으로, 도 5a는 저해상도 프레임과 메타데이터의 디코딩된 세트(510)를 도시한다. 도 5b는 참조 프레임 좌표(I는 항등 변환을 말한다는 것을 주지해야 한다)에 있는 저해상도 프레임으로부터 초해상도 모자이크의 생성(520)을 도시한다. 도 5c는 초해상도 모자이크로부터 고해상도 프레임의 재구성(530)을 도시한다. 도 5d는 초 분해 고해상도 프레임(540)을 도시한다.

후처리 단계에 관한 도 5a를 참조하면, 처음에 디코딩된 LR 프레임(

-

) 세트가 일부 관련 메타데이터와 함께 이용가능하다. 프레임들 중 하나는 참조 프레임(도 5a에서

) 으로 알려져 있다. 도 5b에서, 초해상도 모자이크는 저해상도 프레임의 픽셀을 메타데이터 정보를 사용하여 공통 좌표 시스템(참조 프레임의 것과 일치하는)으로 변환한 후에 구성된다. 이후, 도 5c에 대하여, 이 세트에 있는 각 고해상도 프레임은 메타데이터 정보를 사용하여 초 해상도 모자이크(현재 프레임 좌표로 다시 변환된)의 정보와 그 대응하는 저해상도 프레임을 결함하는 것에 의해 재구성된다. 상기 후처리 단계를 수행하기 위하여, 메타데이터는 각 프레임과 참조 프레임 사이에 픽셀의 움직임을 기술하고 대응하는 고해상도 프레임(전처리 단계에서)으로부터 각 저해상도 프레임을 생성하는데 사용되는 다운샘플링 공정을 기술할 필요가 있다. 이 정보는 전처리 단계에서 결정되어 메타데이터로서 송신된다.

도 4a를 참조하면, 입력 고해상도 비디오는 프레임의 세트로 분할되고, 이는 개별적으로 처리된다. H₁가 참조 프레임으로 취해진 고해상도 프레임(H₁ 내지 H₄)의 세트를 고려해 보자. 도 4b에서, 각 프레임과 참조 프레임 사이의 움직임이 추정된다. 도 4b에서 H_t로부터 H₁으로 움직임 변환은 Θ_t1로 표시된다. 도 4c에서, (다운)샘플링 그리드(S_t)는 대응하는 저해상도 프레임(L_t)을 생성하기 위하여 각 프레임(H_t)에 대해 선택된다. 도 4d에서, (다운샘플링된) 저해상도 프레임(L_t)은 인코더를 사용하여 압축되고 대응하는 메타데이터(움직임 및 샘플링 그리드 정보)와 함께 수신기로 송신될 수 있다. 수신기에서 후처리 단계에서, 디코딩된 저해상도 프레임은 메타데이터 정보와 함께 전술된 바와 같이 고해상도 프레임을 재구성하는데 사용된다.

이하에서는 전처리 및 후처리 단계에 수반된 단계들을 더 기술한다.

샘플링 기반 초해상도의 전처리 단계

전처리 단계에서, 입력 고해상도 비디오는 먼저 인접한 프레임의 세트로 분할된다. 각 세트는 개별적으로 처리된다. 일반적으로, 각 세트에서 M²개의 프레임을 선택하며, 여기서 M은 다운샘플링 인수이며, 즉 저해상도 프레임 크기에 대한 고해상도의 비율이다. 여기서 고해상도 프레임은 저해상도 프레임으로서 픽셀의 수에 M²배를 한 것을 포함하는 것이 적절하며, 그리하여 고해상도 프레임과 동일한 사이즈를 가지는 초해상도 모자이크를 구성하기 위해서는 M²개의 LR 프레임을 취해야 한다.

이제 다운샘플링 인수가 2(즉, M = 2)인 경우를 고려하고 4개의 고해상도 프레임의 세트(H_t; t = 1, 2, 3, 4)를 고려해보자.

도 6을 참조하면, 샘플링 기반 초해상도 방법의 전처리 단계에 관한 예시적인 방법은 일반적으로 참조 부호 (600)으로 표시되어 있다. 본 방법(600)은 제어를 기능 블록(610)으로 전달하는 시작 블록(605)을 포함한다. 기능 블록(610)은 고해상도 비디오 프레임(t = 1, ..., N)을 입력하며 제어를 기능 블록(615)으로 전달한다. 기능 블록(615)은 각 프레임과 참조 프레임 사이의 글로벌 움직임 추정을 수행하여 이에 대한 움직임 파라미터를 획득하며 제어를 기능 블록(620)으로 전달한다. 기능 블록(620)은 초해상도 품질에 관련된 기준에 기초하여 각 프레임에 대한 샘플링 그리드 선택을 수행하여 샘플링 그리드 지수(grid index)를 얻고 제어를 기능 블록(625)으로 전달한다. 기능 블록(625)은 저해상도 프레임을 얻기 위해 고해상도 프레임을 다운샘플링하며 제어를 기능 블록(630)으로 전달한다. 기능 블록(630)은 저해상도 프레임(t = 1, ..., N)을 인코더에 출력하고 제어를 종료 블록(699)으로 전달한다.

전처리 단계(예를 들어, 도 4 및 도 6에 대하여 도시된 바와 같이)에 수반된 단계들에 관한 추가 상세는 이하와 같이 제공된다:

1. 움직임 추정: H₁은 참조 프레임이라고 하자. 각 프레임(H_t)으로부터 참조 프레임(도 4b)으로의 움직임을 추정한다. H_t로부터 H₁으로 움직임 변환은 Θ_t1로 표시된다.

2. 샘플링 그리드 선택: 각 프레임(H_t)에 대해, 샘플링 그리드(S_t)는 대응하는 LR 프레임(L_t)을 생성하기 위하여 H_t로부터 취한 픽셀을 나타낸다. 그리드(S_t)는 각 프레임이 후처리 단계(도 5a 내지 도 5d)에서 초해상도 공정을 위해 상보적인 픽셀 정보를 제공하도록 선택된다. 프레임들 사이의 움직임은 그리드 선택 공정 동안에 고려된다.

3. 다운샘플링: 선택된 그리드(S_t)를 사용하여 저해상도 프레임(L_t) 각각이 생성된다. 저해상도 프레임은 인코더를 사용하여 압축되고 수신기로 송신된다. 프레임과 사용된 샘플링 그리드 사이에 움직임에 관한 정보는 메타데이터로서 또한 송신된다.

전술된 단계들 각각은 이후 더 상술된다.

움직임 추정

예시를 위하여, 이제 주어진 세트의 참조 프레임(도 4b)에 대해 이 세트에 있는 각 프레임(H_t) 사이에 움직임을 추정하는 하나의 방식을 설명한다. 일반화의 손상이 없이, 참조 프레임은 H₁인 것으로 가정된다. 프레임 중에서 글로벌 움직임만 있는 것으로 가정하는 것에 의해 문제를 간단하게 하자. 다시 말해, 임의의 2개의 프레임들 사이에 픽셀의 움직임이 몇몇 파라미터를 통해 글로벌 변환에 의해 기술될 수 있다고 가정한다. 글로벌 변환의 예는 병진이동, 회전, 어파인 워프(affine warp), 투영 변환(projective transformation) 등을 포함한다.

프레임(H_i)으로부터 프레임(H_j)으로 움직임을 추정하기 위하여, 먼저 프레임들 사이에 움직임을 기술하는 파라미터 글로벌 움직임 모델을 선택한다. H_i와 H_j로부터 데이터를 사용하여, 모델의 파라미터(θ_ij)가 결정된다. 이후, Θ_ij에 의해 변환을 나타내고 θ_ij에 의해 그 파라미터를 나타낸다. 변환(Θ_ij)은 H_i에서 H_j로 정렬(또는 워프)하는데(또는 역 모델 Θ_ji = Θ_ij ^-1을 사용하여 그 반대로) 사용될 수 있다.

글로벌 움직임은 여러 모델과 방법을 사용하여 추정될 수 있다. 하나의 일반적으로 사용되는 모델은 이하와 같이 주어진 투영 변환이다:

상기 식은 H_j에 새로운 위치(x', y')를 제공하며 이 새로운 위치로 H_i에서 (x, y)에 있는 픽셀이 이동된다. 따라서, 8개의 모델 파라미터(θ_ij = {a₁, a₂, a₃, b₁, b₂, b₃, c₁, c₂})는 H_i로부터 H_j로 움직임을 기술한다. 이 파라미터는 통상적으로 2개의 프레임들 사이에 포인트 대응관계의 세트를 먼저 결정한 후에 RANSAC (RANdom SAmple Consensus) 또는 그 변형과 같은 강력한 추정 프레임워크를 사용하여 추정된다. 프레임들 사이에 포인트 대응관계는 다수의 방법, 예를 들어 스케일 불변 특징 변환(SIFT: Scale-invariant Feature Transform) 특징을 추출하고 매칭하거나 광학적 흐름을 사용하여 결정될 수 있다.

샘플링 기반 초 해상도 과정을 위하여, 참조 프레임(H₁)에 대한 각 프레임(H_t) 사이의 움직임이 추정되어야 한다. 그리하여, 3개의 파리미터 세트가 추정된다: θ₂₁; θ₃₁ ; 및 θ₄₁ (변환 Θ₂₁, Θ₃₁ 및 Θ₄₁ 에 각각 대응하는). 이 변환은 가역적이고, 역(inverse) 모델 Θ_ji = Θ_ji ^-1 은 H_j로부터 H_i로의 움직임을 기술한다.

샘플링 그리드 선택

각 고해상도 프레임(H_t)에 대하여 샘플링 그리드(S_t)는 프레임을 다운샘플링하고 저해상도 버전(L_t)을 생성하기 위하여 선택되어야 한다. 샘플링 그리드는 대응하는 저해상도 프레임으로 팩킹되고 취해진 고해상도 프레임의 픽셀을 나타낸다. 도 7a 내지 도 7f를 참조하면, HR 고해상도(HR) 프레임을 저해상도(LR)로 다운샘플링하는데 사용된 샘플링 그리드의 예들이 일반적으로 참조 부호 (700)으로 표시되어 있다. 보다 상세하게, 도 7a는 고해상도 프레임의 픽셀(710)을 도시한다. 도 7b는 2의 다운샘플링 인수를 가지는 4개의 균일한 샘플링 그리드(720)를 도시한다. 심볼 "o"은 제1샘플링 그리드(g₁)를 나타내며, 심볼 "+"은 제2샘플링 그리드(g₂)를 나타내며, 심볼 "x"은 제3샘플링 그리드(g₃)을 나타내며, 심볼 "△"은 제4샘플링 그리드(g₄)를 나타낸다. 도 7c는 제1샘플링 그리드(g₁)로부터 발생하는 저해상도 프레임(730)을 도시한다. 도 7d는 제2그리드(g₂)로부터 발생하는 저해상도 프레임(74)을 도시한다. 도 7e는 제3그리드(g₃)로부터 발생하는 저해상도 프레임(750)을 도시한다. 도 7f는 제4그리드(g₄)로부터 발생하는 저해상도 프레임(460)을 도시한다.

도 8a 내지 도 8d를 참조하면, 추가적인 균일한 샘플링 그리드는 일반적으로 참조 부호 (800)으로 표시되어 있다. 보다 상세하게, 도 8a는 수평으로 지그재그 배열된 그리드(810)를 도시한다. 도 8b는 집합적으로 참조 부호 (820)으로 표시되고 개별적으로 각 심볼, 즉 o; +; x; 및 △로 지시된 샘플링 그리드(g₅, g₆, g₇, 및 g₈)를 도시한다. 도 8c는 수직으로 지그재그 배열된 샘플링 그리드(830)를 도시한다. 도 8d는 집합적으로 참조 부호 (840)으로 표시되고 개별적으로 각 심볼, 즉 o; +; x; 및 △로 표시된 샘플링 그리드(g₉, g₁₀, g₁₁, 및 g₁₂)를 도시한다.

여기서는 균일한 샘플링 그리드만을 사용하는, 즉 고해상도 프레임의 모든 부분에 걸쳐 균일한 수렴 밀도를 가지는 샘플링 그리드만을 사용하는 것으로 제한하자. 균일한 그리드를 사용하는 분명한 이점이 있다. 첫째, 이 균일한 그리드는 고해상도 프레임의 픽셀 중에 존재하는 공간적 및 시간적 관계를 대략적으로 보존하며 이것은 인코더{예를 들어, 도 1에 있는 인코더(115), 도 2에 있는 인코더(200)}가 효율적인 압축을 위해 비디오에 있는 공간적-시간적 리던던시를 이용하는 것을 도와준다. 둘째, 샘플링 기반 초해상도 시스템이 실패하는 경우, 균일하게 샘플링된 프레임은 고해상도 프레임을 생성하도록 공간적으로 보간될 수 있으며 이에 의해 최소의 경험 품질을 보장할 수 있다. 셋째, 균일한 그리드를 사용하여 샘플링된 픽셀을 저해상도 프레임으로 팩킹하는 것이 더 용이하다.

샘플링 그리드 선택 공정은 각 고해상도 프레임(H_t)에 대해 그리드(G = {g_i ; i = 1, ..., N_G)의 후보 풀(pool)로부터 적절한 샘플링 그리드(S_t)를 선택하는 문제로 제기된다. 일 실시예에서, 도 7b, 도 8b 및 도 8d에 도시된 12개의 후보 그리드(g₁ - g₁₂)로부터 선택한다. 지그재그 배열된 그리드(g₅-g₁₂)는 잠재적으로 직사각형 그리드(g₁ - g₄)보다 더 우수한 픽셀의 약간 회전되거나 전단된 그리드를 캡쳐할 수 있다는 것을 주지해야 한다.

그리드를 선택할 때 사용해야 하는 기본 기준은 후처리 단계에서 초 해상도 결과(즉, 초해상도 모자이크)의 예상된 품질을 최대화하는 것이다. 실제로, 이것은 각 프레임이 초해상도 공정을 위해 상보적인 픽셀 정보를 제공하도록 그리드(S_t)를 선택하는 것에 의해 달성된다. 그리드 선택 공정은 초해상도 모자이크 생성 공정의 일부를 복제하는 것에 의해 진행된다. 일 실시예에서, 그리드를 선택하는데 사용되는 기준은 초 해상도 충진 인수이다.

도 9를 참조하면, 샘플링 그리드의 선택에 관한 단계들이 일반적으로 참조 부호 (900)으로 표시되어 있다. 구체적으로, 도 9a는 참조 프레임에 대해 샘플링 그리드를 선택하는 단계(910)를 도시한다. 도 9b는 H₁과 동일한 사이즈의 비충진된 초 해상도 프레임(H_SR)이 개시되는(여기서 H_SR과 H₁ 사이에는 움직임이 없는 것으로 가정되므로 I는 항등 변환이다) 단계(920)를 도시한다. 도 9c는 각 후보 그리드에 대해 충진 인수를 선택하는 단계(930)를 도시한다. 도 9d는 대응하는 S_t를 선택하기 위해 각 프레임(H_t)에 대해 이전의 단계들을 반복하는 단계(940)를 도시한다.

샘플링 그리드를 선택하기 위한 이전의 방법(900)은 또한 (4개의 프레임의 세트를 가정하고, H₁는 참조 프레임이라고 가정해서) 이하와 같이 더 기술될 수 있다:

1. 참조 프레임(H₁)에 대해 각 프레임(H_t) 사이에 움직임 변환(Θ_t1)을 계산한다.

2. S₁ = g₁으로 참조 프레임에 대해 샘플링 그리드를 선택한다.

3. (H_SR과 H₁ 사이에 움직임이 없는 것으로 가정해서) 참조 프레임의 좌표에서 "비충진된" 초 해상도 프레임(H_SR)을 개시한다. 그리드(S₁)에 의해 주어진 픽셀 위치에 대응하는 H_SR에 픽셀을 "충진한다".

4. 각 나머지 HR 프레임(H_t)(t≠1)에 대해, G에 있는 각 가능한 후보 그리드의 충진 인수(filling factor)를 계산한다. 후보 그리드(g_i)의 충진 인수는 g_i가 H_t에 대해 선택될 때 충진되는 H_SR에서 이전에 비충진된 픽셀의 수로 정의된다. 최고 높은 충진 인수를 생성하는 그리드(g_i*)가 선택되고(즉, S_t = g_i*), H_t에서 대응하는 픽셀이 충진된다(움직임 변환 Θ_t1을 고려해서).

5. 세트에 있는 모든 프레임(H_t)이 처리된 경우, 종료한다. 그렇지 않으면 단계(4)로 다시 되돌아간다.

단계(4)에서, 후보 그리드(g_i)의 충진 인수는 다음과 같이 계산된다. 먼저, H_t에 대해 각 그리드(g_i

G)를 고려하며, g_i에 의해 주어진 픽셀을 (H_SR에서 가장 가까운 픽셀 위치로 라운딩하는) Θ_t1을 사용하여 H_SR로 변환(이동)하고, H_SR에서 이전에 비충진된 픽셀 위치가 변환된 픽셀에 의해 얼마나 많이 충진되었는지를 레코드하는 것에 의해 충진 인수를 계산한다. 이후, 최고 높은 충진 인수를 생성하는 그리드(g_i*)가 선택된다(즉, S_i = g_i*). 선택된 그리드(S_t) 및 최종 초해상도 품질이 프레임(H_t)이 처리된 순서에 따라 달라질 수 있는 것을 주지해야 한다. 하나의 정렬 전략은 참조 프레임으로부터 시간적 거리를 증가하는 순서로 프레임을 고려하는 것이다. 예를 들어, H₂가 참조 프레임인 경우, 다른 프레임은 이후 순서로 처리된다: H₁; H₃; 및 H₄.

초해상도 품질을 수반하는 충진 인수 척도 또는 완전히 다른 메트릭(metric)의 변화가 그리드 선택을 위한 기준으로 사용될 수 있다. 예를 들어, 충진되거나 충진되지 않은 것으로 H_SR에 있는 각 픽셀을 선언하는 대신에, 각 픽셀로 맵핑된 그리드 픽셀의 수를 추적할 수 있다. 이후, 충진 인수는 증분 정보의 척도로서 재정의될 수 있으며 여기서 H_SR에 더 큰 증분 기여를 가지는 그리드가 더 높은 스코어를 가진다. 그리드 선택을 위한 다른 기준은 (이전에 선택된 그리드(S₁ - S_t-1) 및 S_t에 대한 현재 후보 그리드를 사용하여) 초해상도 공정을 완전히 복제하고 예를 들어 참조 프레임에 대하여 PSNR에 기초하여 최고 높은 SR 품질을 생성하는 그리드(S_t)를 선택하는 것을 수반할 수 있다.

고해상도를 저해상도로 다운샘플링

그리드 선택 공정 후에, 각 고해상도 프레임(H_t)은 대응하는 샘플링 그리드(S_t)를 가진다. S_t의 특성에 따라 H_t는 다음과 같이 저해상도 프레임(L_t)으로 다운샘플링된다:

S_t가 직사각형 그리드(도 7b)인 경우, 즉 S_t = g_i(i = 1, 2, 3, 4)인 경우에, L_t는 S_t로부터 픽셀을 취하고 이를 도 7c 내지 도 7f에 도시된 바와 같이 수평으로 그리고 수직으로 팩킹하는 것에 의해 형성된다.

S_t가 수평으로 지그재그 배열된 그리드(도 8b)인 경우, 즉 S_t = g_i(i = 5, 6, 7, 8)인 경우, 샘플링된 픽셀을 가지는 각 행은 모든 이들 행에 있는 제1샘플링된 픽셀이 수직으로 정렬되도록 좌측으로 시프트된다. 이후, L_t는 전술된 바와 같이 픽셀을 팩킹하는 것에 의해 형성된다.

S_t가 수직으로 지그재그 배열된 그리드(도 8d)인 경우, 즉 S_t = g_i(i = 9, 10, 11, 12)인 경우, 샘플링된 픽셀을 가지는 각 열은 모든 이들 열에 있는 제1샘플링된 픽셀이 수평으로 정렬되도록 위쪽으로 시프트된다. 이후, L_t는 전술된 픽셀을 팩킹하는 것에 의해 형성된다.

여러 다른 구조를 가지는 균일한 샘플링 그리드에 대하여 적절한 패킹 전략이 고해상도 프레임으로부터 샘플링된 픽셀을 사용하여 직사각형 저해상도 프레임을 형성하기 위하여 고안될 수 있다.

이렇게 생성된 저해상도 프레임은 비디오 인코더를 사용하여 압축된다. 추정 움직임 변환 파라미터(θ₂₁, θ₃₁, θ₄₁)와 선택된 샘플링 그리드(S₁, S₂, S₃, S₄)를 포함하는 부가 정보가 메타데이터로서 전송된다. 여기서 그리드 그 자체 대신에 샘플링 그리드 지수들을 송신하는(즉, S_t = g_i인 경우 i를 송신하는) 것으로도 충분하다는 것을 주지해야 한다. 이 그리드는 후처리 단계에서 룩업 테이블로 알려져 있다.

샘플링 기반 SR의 후처리 단계

후처리 단계에서, 초해상도(SR)라고 알려진 공정으로 대응하는 고해상도 프레임을 재구성하기 위하여 디코딩된 저해상도 프레임과 메타데이터를 사용한다. 도 10을 참조하면, 샘플링 기반 초해상도 방법의 후처리 단계에 관한 예시적인 방법은 일반적으로 참조 부호 (1000)으로 표시되어 있다. 방법(1000)은 제어를 기능 블록(1010)으로 전달하는 시작 블록(1005)을 포함한다. 기능 블록(1010)은 디코더(t =1, ..., N)로부터 저해상도 비디오 프레임을 입력하고 제어를 기능 블록(1015)으로 전달한다. 기능 블록(1015)은 각 저해상도 프레임으로부터 유효 픽셀을 초해상도 모자이크 좌표로 변환하고 제어를 기능 블록(1020)으로 전달한다. 기능 블록(1020)은 정수 픽셀 위치에 있는 값을 보간하는 것에 의해 초해상도 모자이크를 생성하며 제어를 기능 블록(1025)으로 전달한다. 기능 블록(1025)은 초해상도 모자이크를 고해상도 프레임 좌표로 역 변환하는 것에 의해 각 고해상도 프레임을 재구성하며 제어를 기능 블록(1030)으로 전달한다. 기능 블록(1030)은 고해상도 프레임(t = 1, ..., N)을 재구성하며 제어를 종료 블록(1099)으로 전달한다. 기능 블록(1035)은 샘플링 그리드 지수를 사용을 위해 기능 블록(1015)으로 제공한다. 기능 블록(1040)은 움직임 파라미터(메타데이터)를 사용하기 위해 기능 블록(1015, 1025)으로 제공한다.

전 처리 단계(도 4a 내지 도 4d)에서 고해상도 프레임(H_t)(t = 1, 2, 3, 4)의 세트에 대응하는 디코딩된 LR 프레임(

)의 세트를 가지고 있다고 가정해 보자. 메타데이터는 움직임 파라미터와 샘플링 그리드 지수를 포함한다. 이하는 디코딩된 저해상도 프레임과 부가 정보를 사용하여 고해상도 프레임(

)을 재구성하는데 수반되는 단계(도 5a 내지 도 5d 참조)이다:

1. 저해상도 프레임으로부터 초해상도 모자이크의 생성: 이 단계에서, 고해상도 "SR" 모자이크 이미지(

)가 디코딩된 저해상도 프레임과 부가 정보의 세트로부터 픽셀을 사용하여 생성된다. 이것은 참조 이미지로 역할을 하며, 이로부터 HR 프레임이 재구성될 수 있다. 추가 상세에서, 각 재구성된 HR 프레임의 부분은 SR 모자이크로부터 오며, 나머지 부분은 대응하는 LR 프레임 픽셀로부터 공간적으로 보간될 수 있다.

2. 고해상도 프레임의 재구성: 세트에 있는 각 고해상도 프레임(

)은 공정을 가이드하는 부가 정보를 사용하여 초해상도 모자이크 이미지(

)와 저해상도 프레임(

)을 사용하여 재구성된다.

이들 단계들은 이하에서 더 설명된다.

저해상도 프레임으로부터 초해상도 모자이크의 생성

이 단계에서, 고해상도 초해상도 모자이크 이미지(

)가 디코딩된 저해상도 프레임{

(t = 1, 2, 3, 4)} 및 이와 연관된 메타데이터의 세트를 사용하여 구성되며, 이 메타데이터는 각 프레임으로부터 세트에 있는 참조 프레임(도 5a에서 t = 1에 있는 프레임)으로 변환(Θ_t1)과 저해상도 프레임(L_t)을 생성하는데 사용되는 그리드(S_t)를 포함한다.

은 참조 프레임과 동일한 좌표에 있는 것으로 가정되며, 즉

과

사이에는 움직임이 없다. 이하는

을 구성하는 단계들이다:

1. 당분간,

이 비정수 픽셀 위치가 존재할 수 있는, 예를 들어

(1.44, 2.35) = 128일 수 있는 연속적인 2D 픽셀 공간이라고 고려하자.

2. 변환된 그리드 위치{Θ_t1(S_t)}에 의해 주어진

에 있는 픽셀 위치를 디코딩된 저해상도 프레임(

)에 있는 대응하는 픽셀 값으로 충진한다. 세트(t = 1, 2, 3, 4)에서 각 디코딩된 저해상도 프레임에 대해 이것을 한다.

과

사이에는 움직임이 없으므로 Θ_t1 = I(항등 변환)이라는 것을 주지해야 한다.

3. 마지막으로, 이미지(

)는 이들 위치들 각각에서 주변 픽셀 값으로부터, 충분한(예를 들어, 임계값을 사용하여 결정된) 데이터가 이용가능한 모든 정수 픽셀 위치에 있는 픽셀 값을 보간하는 것에 의해 구성된다. 여러 (비균일한) 공간 보간 방법이 이 동작을 위해 이용가능하다. 이 방법은 픽셀 위치와 이에 대응하는 값의 세트를 취하며 임의의 수의 다른 위치에 보간된 값을 출력한다. MATLAB의 그리드 데이터 기능이 이 보간을 수행하는데 사용될 수 있다.

상기 단계들의 결과는 초해상도 모자이크 이미지(

)이다. 나아가, 유효성 맵이

의 어느 픽셀이 신뢰할만한 정보를 포함하고 있는지 결정될 수 있으며 이에 따라 이들 픽셀만이 고해상도 프레임의 재구성에 사용될 수 있다. 유효성의 척도는 픽셀 주위 인근에 있는 샘플(예를 들어, 샘플의 수나 밀도)에 기초하여 모자이크 이미지의 각 픽셀에서 계산될 수 있다. 이후, 모자이크에 있는 픽셀은 그 유효성 값이 충분히 높은 경우(예를 들어, 주어진 임계값보다 큰 경우)에만 재구성 공정에 사용된다.

고해상도 프레임의 재구성

이제 각 고해상도 프레임(

, t = 1, 2, 3, 4)이 다음과 같이 재구성된다:

1. 당분간,

를 비정수 픽셀 위치가 존재할 수 있는 연속적인 2D 픽셀 공간이라고 고려하자. 그리드(S_t)에 의해 주어지는

에 있는 픽셀 위치를

에서 대응하는 픽셀 값으로 충진한다.

2. 움직임 변환(Θ_1t)을 사용하여

에 있는 픽셀 위치를 변환한다. Θ_1t은 Θ_t1의 역 변환이라는 것을 주지해야 한다.

에 있는 정수 픽셀 위치(x)가 변환후

공간에 있는 위치(y)로 맵핑되는 경우,

에 있는 대응하는 값으로 y를 충진한다, 즉

(y) =

(x).

3. 마지막으로, 고해상도 프레임(

)은 이들 위치 각각에 있는 주변 픽셀 값으로부터 프레임에 있는 모든 정수 픽셀 위치에 있는 픽셀 값을 보간하는 것에 의해 재구성된다. 이것은 이전의 단락(단계 3)에서 전술된 공간 보간 방법을 사용하여 처리된다. 프레임 경계 외에 있는 픽셀은 결정되지 않는다.

포어그라운드 대상의 처리

지금까지, 프레임들 간 움직임은 글로벌 움직임 모델에 의해 충분히 기술되는 것으로 가정하였는데, 즉 모든 픽셀은 이 움직임 모델에 부착되는 것으로 가정하였다. 이제, 포어그라운드 대상을 처리하는 전략을 제시한다. 포어그라운드 대상은 프레임들 사이 글로벌 움직임을 따르지 않는 대상(또는 영역)으로 정의된다. 다시 말해, 이들 대상은 프레임들 사이의 글로벌 움직임과는 다른 움직임을 가진다. 도 11a 내지 도 11b를 참조하면, 2개의 프레임(프레임 1 및 프레임 t) 사이 포어그라운드 대상의 움직임은 일반적으로 참조 부호 (1100)으로 표시되어 있다. 샘플링 기반 초해상도 공정에 결함을 회피하기 위하여, 과정에서 특정 단계 동안 이 포어그라운드 대상을 위치시키고 이 지식을 사용하는 것이 중요하다. 포어그라운드는 이진 마스크(F_t)에 의해 표시될 수 있고 여기서 F_t = 1은 포어그라운드 픽셀을 나타내고, F_t = 0은 백그라운드 픽셀을 나타낸다.

포어그라운드 픽셀을 나타내는 각 프레임에 대해 이진 마스크(F_t)(도 11b에 도시된 것)를 얻었다고 가정하자. FG_t는 F_t = 1인 모든 픽셀의 세트이고,

는 F_t = 0인 모든 픽셀의 세트라고 하자. 그러면 이 정보는 다음과 같이 사용될 수 있다:

샘플링 그리드 선택 공정에서, 포어그라운드 영역은 L_t를 생성하기 위해 H_t를 샘플링하기 위한 샘플링 그리드를 결정하는 동안 배제될 수 있다. 단계(3 및 4)에서, FG_t에 있는 픽셀을 H_t로부터 H_SR로 맵핑하는 것을 회피할 수 있다. 따라서, 충진 인수(또는 다른 척도)가 백그라운드 픽셀에만 기초하여 계산된다. 나아가, 샘플링 그리드 추정 동안, H_t에서 충분히 플랫한 영역이 FG_t의 일부인 것으로 고려될 수 있다. 이것은 그리드 선택 공정 동안 상세를 갖는 영역에 더 높은 중요도를 제공하는 것에 의해 초해상도를 개선할 수 있다. 플랫한 영역은 공간적 분산과 같은 척도에 기초하여 결정될 수 있다.

고해상도 프레임을 저해상도로 다운샘플링하기 전에, 앤티에일리어싱 필터(anti-aliasing filter)가 프레임에서 포어그라운드 영역에 적용될 수 있다. 포어그라운드 영역이 현재 실시예에서 초 분해(super-resolved)되어 있지 않으므로, 앤티에일리어싱 동작은 후처리 단계에서 이들 영역에 대해 더 나은 공간적 보간 결과를 얻는데 도움이 될 수 있다.

초해상도 모자이크 생성 공정을 고려하자. 단계(2)에서,

의 포어그라운드 픽셀(FG_t)을

로 변환하는 것을 회피할 수 있다.

고해상도 프레임 재구성 공정의 단계(2)에서, FG_t에 의해 한정된 영역 내에 있는

로부터

로 변환된 픽셀을 버릴 수 있다. 나아가, 단계(1)에서,

에 의해 한정된 영역 내로 맵핑된 S_t로부터의 픽셀을 사용하지 않도록 (선택적으로) 선택할 수 있다.

이전의 2개의 변형에서,

또는

에서 충분히(예를 들어 임계값을 사용하여 결정된) 플랫한 영역은 FG_t의 일부인 것으로 고려될 수 있다. 이 경우에, 공간적 보간이 이들 영역을 업샘플링하는데 사용될 수 있다.

지금까지, 재구성된 고해상도 프레임(

)에 있는 포어그라운드 영역은 대응하여 디코딩된 저해상도 프레임(

)에 있는 픽셀로부터 바로 공간적으로 보간된다. 다른 저해상도 프레임으로부터 정보는 이들 영역을 초분해하는데 명시적으로 이용되지 않는다. 그러나, 수신기 측에서 부분적으로 또는 완전히 포어그라운드 영역을 초분해하기 위하여 블록 움직임 벡터(프레임들 사이에 서브 픽셀의 움직임을 이용하기 위해) 또는 고해상도 패치와 같은 일부 추가적인 정보를 메타데이터로서 송신하는 것이 가능할 수 있다.

상기에 더하여, 포어그라운드 정보를 사용하는 다른 기준이 그 결과의 품질을 개선하는데 사용될 수 있다.

포어그라운드 마스크 추정

독립적으로 이동하는 영역을 가지는 프레임으로부터 깨끗하고 신뢰할만한 포어그라운드 마스크를 추출하는 것은 어려운 문제이다. 픽셀 값에서 잡음과 함께 글로벌 움직임 추정에서의 에러는 공정을 복잡하게 한다. 나아가, 포어그라운드 정보를 메타데이터로서 콤팩트하게 나타내고 이를 디코더에 송신하는 문제가 또 있다.

각 고해상도 프레임(H_t)에 대해 포어그라운드 마스크(F_t)를 추출하는 하나의 방법이 이제 기술된다. 이것은 고해상도 프레임이 이용가능한 전처리 단계에서 일어난다. 이하는 이 공정에서의 단계들이다.

1. 프레임 H₁에서, 마스크 F₁이 제로(0)로 충진된다. 다시 말해, 모든 픽셀은 백그라운드인 것으로 고려된다.

2. F_t를 추출하기 위해, 프레임(H_t)이 H_1t = Θ_1t(H₁)와 비교되는데, 즉 H₁은 H_t의 좌표로 변환된다. 정규화된 상관 메트릭 N_t1(x)이 픽셀 주위 작은 인근을 고려하여 H_t에 있는 각 픽셀(x)과 H_1t에 있는 대응하는 픽셀 사이에 계산된다. H_1t에 대응하는 픽셀이 없다면 {즉, Θ_t1(x)가 H₁의 경계 외에 놓여있다면} F_t(x)은 1로 설정된다. 그렇지 않다면, N_t1(x) > T라면(여기서 T는 선택된 임계값임), F_t(x) = 0이다. 그렇지 않다면, F_t(x) = 1이다.

상기의 변형을 포함하는 다른 방법이 대신 사용될 수 있다.

마스크가 전처리 단계에서 계산된다면, 마스크가 수신기에 부가 정보로서 송신되어야 한다. 포어그라운드 마스크의 고해상도 버전을 송신하는 것이 반드시 필요한 것은 아닐 수 있다. 마스크는 H_t로부터 저해상도 프레임(L_t)를 생성하는데 사용된 것과 동일한 전략을 사용하여 저해상도로 다운샘플링된 후에 후처리 단계에서 업샘플링될 수 있다. 마스크는 또한 송신 전에 (예를 들어, ZIP, MPEG-4 AVC 표준 및/또는 임의의 다른 데이터 압축 구조를 사용하여) 압축될 수 있다. 대안적으로, 마스크를 송신하는 것은 디코딩된 저해상도 프레임과 메타데이터를 사용하여 수신기 측에서 이를 계산하는 것에 의해 완전히 회피될 수 있다. 그러나, 수신기에서 신뢰할만한 마스크를 계산하는 것은 어려운 문제이다.

이 기술 분야에 통상의 지식을 가진 자에게는 명백한 바와 같이 본 발명의 범위 내에 있으며 본 발명의 원리의 하나 이상의 실시예에서 사용될 수 있는 이하의 가능한 변형예들이 있다는 것을 주목해야 한다.

1. 본 방법이 4개의 프레임의 세트에 대해 기술되어 있으나, 이 세트에 있는 프레임의 수(N)에는 상한이 없다. 실제로 N은 적어도 4이어야 한다. 이 세트의 사이즈는 다운샘플링 인수와 프레임들 사이의 움직임의 양에 기초하여 결정될 수 있다.

2. K > N개의 프레임인 K를 가지는 시퀀스가 N개의 프레임 각각의 세트의 수로 다운될 수 있다. 각 세트는 제안된 방법을 사용하여 처리될 수 있다.

3. 참조 프레임은 세트에서 항상 제1프레임일 필요는 없다. 참조 프레임과 비참조 프레임 사이에 움직임의 양을 최소화하기 위하여 세트의 (시간적) 중심 부근에 있는 프레임을 사용하는 것이 유리할 수 있다.

4. 프레임의 세트를 재구성하는 동안, 프레임의 다른 세트로부터의 정보가 사용될 수 있다. 예를 들어, 이전의 세트로부터 재구성된 고해상도 참조 프레임을 사용하여 현재 세트에 있는 비참조 프레임을 재구성할 수 있다. 이를 위하여 프레임의 세트들 사이에 움직임 정보가 결정되고 메타데이터로서 송신될 수 있다. 또 현재 세트 외에 있는 프레임으로부터의 정보가 초해상도 모자이크 생성 공정 동안 사용될 수 있다.

5. 본 명세서에서 처리는 그레이스케일(단일 성분)과 컬러(멀티 성분) 프레임에 대해 모두 유효하다. 하나 이상의 전처리 및 후처리 단계(예를 들어, 샘플링 그리드 선택)는 이들 모두를 공동으로 고려하는 것에 의해 또는 각 컬러 성분에 대해 독립적으로 수행될 수 있다. 예를 들어, 상이한 샘플링 그리드가 각 컬러 성분에 대해 결정될 수 있다.

6. 다수의 샘플링 그리드가 단일 프레임의 상이한 영역에 대해 추정될 수 있다. 예를 들어, 프레임은 4개의 직사각형 사분면(quarter)으로 분할되고 각 사분면에 대해 샘플링 그리드가 선택될 수 있다. 이 경우, "샘플링 그리드 선택"이라고 명명된 상기 단락에 있는 단계(2,3,4)가 프레임에 기초하는 대신에 사분면에 기초하여 수행된다. 모든 후속하는 공정(다운샘플링, 후처리)은 프레임의 상이한 영역에 대해 상이한 샘플링 그리드를 사용하기 위해 적절히 변경된다.

7. 상이한 글로벌 움직임 변환이 단일 프레임의 상이한 영역에 대해 추정될 수 있다. 예를 들어, "움직임 추정"이라고 명명된 상기 단락에서 프레임은 4개의 직사각형 사분면으로 분할될 수 있으며, 상이한 변환이 세트에 있는 참조 프레임과 각각의 것 사이에 추정될 수 있다. 모든 후속하는 공정은 프레임에 있는 각 영역에 대해 대응하는 변환을 사용할 수 있다.

8. "움직임 추정"이라고 명명된 상기 단락에서, 세트에 있는 각 프레임으로부터 참조 프레임으로 변환을 추정하는 대신에, 각 프레임으로부터 그 다음 프레임으로 (또는 그 역으로) 변환을 추정하고 이들 중 하나 이상을 결합하여 필요한 변환을 유도하는 것도 가능하다.

9. 포어그라운드 마스크에서("포어그라운드 마스크 추정"이라고 명명된 상기 단락에서), 경계 픽셀의 밴드는 포어그라운드로, 예를 들어 고정된 블랙 경계를 처리하기 위해 고려될 수 있다. 전술된 바와 같이, 또 충분히 플랫한 영역을 포어그라운드로 고려하는 것이 가능하다.

이제 일부가 전술된 본 발명의 많은 부수적인 이점/특징들 중 일부에 대한 설명이 제공된다. 예를 들어, 하나의 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하는 장치이다. 다운샘플러와 메타데이터 생성기는 고해상도 화상을 수신하고 이로부터 저해상도 화상과 메타데이터를 생성한다. 이 메타데이터는 저해상도 화상과 메타데이터의 후디코딩 후처리를 가이드하기 위한 것이다. 적어도 하나의 인코더(152)가 저해상도 화상과 메타데이터를 인코딩한다.

다른 이점/특징은 전술된 바와 같은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 상기 메타데이터는 움직임 변환 정보와 샘플링 그리드 정보를 포함하는 것인 장치이다.

또 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 상기 메타데이터는 전술된 바와 같이 움직임 변환 정보와 샘플링 그리드 정보를 포함하며, 상기 움직임 변환 정보는 2개 이상의 고해상도 화상들 사이에 글로벌 움직임에 관한 글로벌 움직임 변환 정보를 포함하는 것인 장치이다.

더 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 상기 메타데이터는 전술된 바와 같이 움직임 변환 정보와 샘플링 그리드 정보를 포함하며, 상기 샘플링 그리드 정보는 다운샘플링에 의해 고해상도 화상으로부터 저해상도 화상을 생성하는데 사용된 복수의 다운샘플링 그리드 중 각 해당하는 것을 나타내는 샘플링 그리드 지수를 포함하는 것인 장치이다.

다른 이점/특징은 전술된 바와 같이 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며 상기 다운샘플러와 메타데이터 생성기는 참조 화상으로부터 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고, 움직임 정보에 기초하여 고해상도 화상을 다운샘플링하는데 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하고, 하나 이상의 다운샘플링 그리드를 사용하여 고해상도 화상을 다운샘플링하는 것에 의해 저해상도 화상을 생성하는 것인 장치이다.

더욱이, 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며, 상기 다운샘플러와 메타데이터 생성기는 전술된 바와 같이 참조 화상으로부터 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고, 움직임 정보에 기초하여 고해상도 화상을 다운샘플링할 때 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하고, 하나 이상의 다운샘플링 그리드를 사용하여 고해상도 화상을 다운샘플링하는 것에 의해 저해상도 화상을 생성하며, 상기 하나 이상의 다운샘플링 그리드는 고해상도 화상들 각각이 하나 이상의 다운샘플링 그리드를 사용하여 다운샘플링될 때 저해상도 화상의 후디코딩 후처리를 위한 상보적인 픽셀 정보를 제공하도록 움직임 정보에 기초하여 선택된 것인 장치이다.

더욱이, 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 상기 하나 이상의 다운샘플링 그리드는 고해상도 화상들 각각이 하나 이상의 다운샘플링 그리드를 사용하여 다운샘플링될 때 전술된 바와 같이 저해상도 화상의 후디코딩 후처리를 위한 상보적인 픽셀 정보를 제공하도록 움직임 정보에 기초하여 선택되며, 상기 그리드는 하나 이상의 다운샘플링 그리드 중 특정 그리드를 사용하여 생성된 초해상도 화상에 있는 이전에 충진되지 않은 픽셀의 수를 나타내는 충진 인수에 기초하여 더 선택되며, 상기 초 해상도 화상은 저해상도 화상과 메타데이터의 후디코딩 후처리에 의해 제공된 출력에 대응하는 것인 장치이다.

또한, 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 하나 이상의 다운샘플링 그리드는 고해상도 화상들 각각이 하나 이상의 다운샘플링 그리드를 사용하여 다운샘플링될 때 전술된 바와 같이 저해상도 화상의 후디코딩 후처리를 위한 상보적인 픽셀 정보를 제공하도록 움직임 정보에 기초하여 선택되고, 상기 그리드는 왜곡 척도에 기초하여 더 선택되는 것인 장치이다.

추가적으로, 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며, 상기 다운샘플러와 메타데이터 생성기는 전술된 바와 같이 참조 화상으로부터 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고, 움직임 정보에 기초하여 고해상도 화상을 다운샘플링하는데 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하며, 하나 이상의 다운샘플링 그리드를 사용하여 고해상도 화상을 다운샘플링하는 것에 의해 저해상도 화상을 생성하며, 상기 복수의 다운샘플링 그리드 중 상이한 그리드는 적어도 하나의 고해상도 화상의 특정한 화상의 상이한 부분을 다운샘플링하는데 사용되는 것인 장치이다.

더욱이, 다른 이점/특징은 다운샘플러와 메타데이터 생성기 및 적어도 하나의 인코더를 구비하며, 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며, 상기 다운샘플러와 메타데이터 생성기는 전술된 바와 같이 참조 화상으로부터 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고, 움직임 정보에 기초하여 고해상도 화상을 다운샘플링하는데 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하며, 하나 이상의 다운샘플링 그리드를 사용하여 고해상도 화상을 다운샘플링하는 것에 의해 저해상도 화상을 생성하며, 각 이진 마스크는 고해상도 화상들 각각에 대해 구성되고, 상기 이진 마스크는 고해상도 화상에서 포어그라운드 픽셀의 각 위치를 나타내는 것인 장치이다.

본 발명의 원리의 이들 및 다른 특징 및 이점은 본 명세서에 있는 교시 내용에 기초하여 이 기술 분야에 통상의 지식을 가진 자라면 용이하게 확인할 수 있다. 본 발명의 원리의 교시 내용이 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합의 여러 형태로 구현될 수 있다는 것을 이해할 수 있을 것이다.

가장 바람직하게는 본 발명의 원리의 교시 내용은 하드웨어와 소프트웨어의 조합으로 구현된다. 나아가, 소프트웨어는 프로그램 저장 장치에 유형적으로 구현되는 애플리케이션 프로그램으로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 이키텍처를 포함하는 기계에 업로딩되고 이 기계에 의해 실행될 수 있다. 바람직하게는, 이 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼에서 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로명령 코드를 더 포함할 수 있다. 본 명세서에 기술된 여러 공정과 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 부분이나 애플리케이션 프로그램의 부분 또는 이들의 임의의 조합일 수 있다. 나아가, 여러 다른 주변 장치들이 추가적인 데이터 저장 장치와 프린팅 장치와 같은 컴퓨터 플랫폼에 연결될 수 있다.

첨부 도면에 도시된 구성 시스템 요소 및 방법의 일부는 바람직하게는 소프트웨어로 구현될 수 있으므로, 시스템 요소나 공정 기능 블록들 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해할 수 있을 것이다. 본 명세서에 있는 교시 내용에 따라 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 원리의 이들 및 이와 유사한 구현예나 구성을 구상할 수 있을 것이다.

첨부 도면을 참조하여 본 명세서에서 예시적인 실시예들이 기술되었으나, 본 발명의 원리는 이들 정확한 실시예로 제한되는 것은 아니고 본 발명의 원리의 범위나 사상을 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자라면 여러 변경과 변형이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 모든 이러한 변경과 변형은 첨부된 청구범위에 개시된 본 발명의 원리의 범위 내에 포함된 것으로 의도된다.

Claims

고해상도 화상을 수신하고 이로부터 저해상도 화상과 메타데이터를 생성하되, 상기 메타데이터는 상기 저해상도 화상과 메타데이터의 후디코딩 후처리를 가이드하는 것인 다운샘플러와 메타데이터 생성기(151); 및
상기 저해상도 화상과 상기 메타데이터를 인코딩하기 위한 적어도 하나의 인코더(152)를 포함하는 장치.
제1항에 있어서, 상기 메타데이터는 움직임 변환 정보와 샘플링 그리드 정보를 포함하는 것인 장치.
제2항에 있어서, 상기 움직임 변환 정보는 2개 이상의 상기 고해상도 화상 사이에 글로벌 움직임에 관한 글로벌 움직임 변환 정보를 포함하는 것인 장치.
제2항에 있어서, 상기 샘플링 그리드 정보는 다운샘플링에 의해 상기 고해상도 화상으로부터 상기 저해상도 화상을 생성하는데 사용된 복수의 다운샘플링 그리드 중 각 해당 그리드를 나타내기 위한 샘플링 그리드 지수를 포함하는 것인 장치.
제1항에 있어서, 상기 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며, 상기 다운샘플러와 메타데이터 생성기(151)는, 상기 참조 화상으로부터 상기 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고 상기 움직임 정보에 기초하여 상기 고해상도 화상을 다운샘플링하는데 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하며 상기 하나 이상의 다운샘플링 그리드를 사용하여 상기 고해상도 화상을 다운샘플링하는 것에 의해, 상기 저해상도 화상을 생성하는 것인 장치.
제5항에 있어서, 상기 하나 이상의 다운샘플링 그리드는, 상기 고해상도 화상들 각각이 상기 하나 이상의 다운샘플링 그리드를 사용하여 다운샘플링될 때 상기 저해상도 화상의 후디코딩 후처리를 위한 상보적인 화상 정보를 제공하도록, 상기 움직임 정보에 기초하여 선택되는 것인 장치.
제6항에 있어서, 상기 그리드는 상기 하나 이상의 다운샘플링 그리드 중 특정한 그리드를 사용하여 생성된 초해상도 화상에 있는 이전에 비충진된 픽셀의 수를 나타내는 충진 인수에 기초하여 더 선택되며, 상기 초해상도 화상은 상기 저해상도 화상과 상기 메타데이터의 후디코딩 후처리에 의해 제공된 출력에 대응하는 것인 장치.
제6항에 있어서, 상기 그리드는 왜곡 척도에 기초하여 더 선택되는 것인 장치.
제5항에 있어서, 상기 복수의 다운샘플링 그리드 중 상이한 그리드들이 적어도 하나의 상기 고해상도 화상 중 특정한 화상의 상이한 부분을 다운샘플링하는데 사용되는 것인 장치.
제5항에 있어서, 각 이진 마스크는 상기 고해상도 화상들 각각에 대해 구성되고, 상기 이진 마스크는 상기 고해상도 화상에 있는 포어그라운드 픽셀의 각 위치를 나타내는 것인 장치.
고해상도 화상을 수신하고(610) 이로부터 저해상도 화상과 메타데이터를 생성하는 단계(625, 110)로서, 상기 메타데이터는 상기 저해상도 화상과 상기 메타데이터의 후디코딩 후처리를 가이드하기 위한 것인 단계; 및
적어도 하나의 인코더를 사용하여 상기 저해상도 화상과 상기 메타데이터를 인코딩하는 단계(115)를 포함하는 방법.
제11항에 있어서, 상기 메타데이터는 움직임 변환 정보와 샘플링 그리드 정보(615, 620)를 포함하는 것인 방법.
제12항에 있어서, 상기 움직임 변환 정보는 2개 이상의 상기 고해상도 화상(615)들 사이에 글로벌 움직임에 관한 글로벌 움직임 변환 정보를 포함하는 것인 방법.
제12항에 있어서, 상기 샘플링 그리드 정보는 다운샘플링(620)에 의해 상기 고해상도 화상으로부터 상기 저해상도 화상을 생성하는데 사용된 복수의 다운샘플링 그리드 중 각 해당 그리드를 나타내기 위한 샘플링 그리드 지수를 포함하는 것인 방법.
제11항에 있어서, 상기 고해상도 화상은 적어도 하나의 참조 화상과 하나 이상의 비참조 화상을 포함하며, 상기 다운샘플러와 메타데이터 생성기는, 참조 화상으로부터 상기 하나 이상의 비참조 화상들 각각으로 움직임을 추정하고(615) 상기 움직임 정보에 기초하여 상기 고해상도 화상을 다운샘플링하는데 사용하기 위한 복수의 후보 다운샘플링 그리드로부터 하나 이상의 다운샘플링 그리드를 선택하며(620) 상기 하나 이상의 다운샘플링 그리드를 사용하여 상기 고해상도 화상을 다운샘플링하는(625) 것에 의해, 상기 저해상도 화상을 생성하는 것인 방법.
제15항에 있어서, 상기 하나 이상의 다운샘플링 그리드는, 상기 고해상도 화상들 각각이 상기 하나 이상의 다운샘플링 그리드를 사용하여 다운샘플링될 때 상기 저해상도 화상의 후디코딩 후처리를 위한 상보적인 픽셀 정보를 제공하도록, 상기 움직임 정보에 기초하여 선택되는 것인 방법.
제16항에 있어서, 상기 그리드는 상기 하나 이상의 다운샘플링 그리드 중 특정한 그리드를 사용하여 생성된 초해상도 화상에 있는 이전에 충진되지 않은 픽셀의 수를 나타내는 충진 인수에 기초하여 더 선택되며, 상기 초 해상도 화상은 상기 저해상도 화상과 상기 메타데이터의 후디코딩 후처리에 의해 제공된 출력에 대응하는 것인 방법.
제16항에 있어서, 상기 그리드는 왜곡 척도에 기초하여 더 선택되는 것인 방법.
제15항에 있어서, 상기 복수의 다운샘플링 그리드 중 상이한 그리드들이 적어도 하나의 고해상도 화상들 중 특정한 화상의 상이한 부분을 다운샘플링하는데 사용되는 것인 방법.
제15항에 있어서, 각 이진 마스크가 상기 고해상도 화상들 각각에 대해 구성되고, 상기 이진 마스크는 상기 고해상도 화상에 있는 포어그라운드 픽셀의 각 위치를 나타내는 것인 방법.
비트스트림을 수신하고 이로부터 저해상도 화상과 메타데이터를 디코딩하기 위한 디코더(153); 및
상기 저해상도 화상과 상기 메타데이터를 사용하여 상기 저해상도 화상에 각각 대응하는 고해상도 화상을 재구성하기 위한 초 해상도 후프로세서(154)를 포함하는 장치.
제21항에 있어서, 상기 메타데이터는 움직임 변환 정보와 샘플링 그리드 정보를 포함하는 것인 장치.
제22항에 있어서, 상기 움직임 변환 정보는 2개 이상의 상기 고해상도 화상들 사이에 글로벌 움직임에 관한 글로벌 움직임 변환 정보를 포함하는 것인 장치.
제22항에 있어서, 상기 샘플링 그리드 정보는 다운샘플링에 의해 상기 고해상도 화상으로부터 상기 저해상도 화상을 생성하는데 사용된 복수의 다운샘플링 그리드들 중 각 해당 그리드를 나타내기 위한 샘플링 그리드 지수를 포함하는 것인 장치.
제21항에 있어서, 상기 초해상도 후프로세서(154)는 상기 메타데이터와 상기 저해상도 화상으로부터 고해상도 모자이크를 생성하며, 상기 저해상도 화상, 상기 메타데이터 및 상기 고해상도 모자이크를 사용하여 상기 고해상도 화상을 재구성하는 것인 장치.
제25항에 있어서, 상기 고해상도 모자이크는 상기 저해상도 화상에 있는 주변 공동 위치된 픽셀(surrounding co-located pixel)의 픽셀 값으로부터 상기 고해상도 모자이크에 있는 픽셀 위치에 있는 픽셀 값을 보간하는 것에 의해 생성되는 것인 장치.
제25항에 있어서, 상기 초해상도 후프로세서(154)는 상기 고해상도 모자이크에 있는 픽셀 각각에 대한 유효성의 척도를 포함하는 유효성 맵을 생성하는 것인 장치.
제27항에 있어서, 상기 고해상도 모자이크에 있는 픽셀들 중 주어진 어느 하나에 대해 유효성의 척도는 상기 픽셀들 중 주어진 하나의 주위 인근에 있는 샘플에 기초하여 계산되고, 상기 픽셀들 중 주어진 하나는 상기 픽셀들 중 주어진 하나에 대해 계산된 유효성의 척도가 임계값보다 큰 경우에만 상기 고해상도 화상을 재구성하는데 사용하도록 허용되는 것인 장치.
제25항에 있어서, 상기 고해상도 화상들 중 주어진 어느 하나는 상기 저해상도 화상들 중 대응하는 것에 있는 주변 공동 위치된 픽셀, 상기 고해상도 모자이크에 있는 주변 공동 위치된 픽셀, 및 상기 저해상도 화상의 적어도 다른 것에 있는 주변 공동 위치된 픽셀 중 적어도 하나의 픽셀의 픽셀 값으로부터 상기 고해상도 화상들 중 주어진 하나에 있는 픽셀 위치에서의 픽셀 값을 보간하는 것에 의해 재구성되고, 상기 고해상도 모자이크에 있는 상기 주변 공동 위치된 픽셀로부터 보간하는 것은 상기 고해상도 화상들 중 주어진 하나와 상기 저해상도 모자이크 사이에 픽셀의 움직임 변환을 수반하며, 상기 저해상도 화상들 중 적어도 다른 하나에 있는 상기 주변 공동 위치된 픽셀로부터 보간하는 것은 상기 고해상도 화상들 중 주어진 하나와 상기 저해상도 화상들 중 적어도 다른 하나 사이에 픽셀의 움직임 변환을 수반하는 것인 장치.
제21항에 있어서, 상기 고해상도 화상의 특정한 화상의 포어그라운드 픽셀은 상기 저해상도 화상에 있는 주변 공동 위치된 픽셀로부터 보간하는 것에 의해 재구성되는 것인 장치.
비트스트림을 수신하고 이로부터 디코더를 사용하여 저해상도 화상과 메타데이터를 디코딩하는 단계(1010); 및
상기 저해상도 화상과 상기 메타데이터를 사용하여 상기 저해상도 화상에 각각 대응하는 고해상도 화상을 재구성하는 단계(1025)를 포함하는 방법.
제31항에 있어서, 상기 메타데이터는 움직임 변환 정보와 샘플링 그리드 정보를 포함하는 것인 방법.
제32항에 있어서, 상기 움직임 변환 정보는 2개 이상의 상기 고해상도 화상 사이에 글로벌 움직임에 관한 글로벌 움직임 변환 정보를 포함하는 것인 방법.
제32항에 있어서, 상기 샘플링 그리드 정보는 다운샘플링에 의해 상기 고해상도 화상으로부터 상기 저해상도 화상을 생성하는데 사용된 복수의 다운샘플링 그리드 중 각 해당 그리드를 나타내기 위한 샘플링 그리드 지수를 포함하는 것인 방법.
제31항에 있어서, 상기 메타데이터와 상기 저해상도 화상으로부터 고해상도 모자이크를 생성하는 단계(1020)를 더 포함하며, 상기 재구성하는 단계는 상기 저해상도 화상, 상기 메타데이터 및 상기 고해상도 모자이크를 사용하여 상기 고해상도 화상을 재구성하는 것인 방법.
제35항에 있어서, 상기 고해상도 모자이크는 상기 저해상도 화상에 있는 주변 공동 위치된 픽셀의 픽셀 값으로부터 상기 고해상도 모자이크에 있는 픽셀 위치에 있는 픽셀 값을 보간하는(1020) 것에 의해 생성되는 것인 방법.
제35항에 있어서, 상기 고해상도 모자이크에 있는 각 픽셀에 대한 유효성의 척도를 포함하는 유효성 맵을 생성하는 단계를 더 포함하는 방법.
제37항에 있어서, 상기 고해상도 모자이크에 있는 상기 픽셀들 중 주어진 어느 하나에 대해 유효성의 척도는 상기 픽셀들 중 주어진 하나의 주위 인근에 있는 샘플에 기초하여 계산되고, 상기 픽셀들 중 주어진 하나는 상기 픽셀들 중 주어진 하나에 대해 계산된 유효성의 척도가 임계값보다 큰 경우에만 상기 고해상도 화상을 재구성하는데 사용하기 위해 허용가능한 것인 방법.
제35항에 있어서, 상기 고해상도 화상들 중 주어진 어느 하나는 상기 저해상도 화상들 중 대응하는 것에 있는 주변 공동 위치된 픽셀, 상기 고해상도 모자이크에 있는 주변 공동 위치된 픽셀, 및 상기 저해상도 화상들 중 적어도 다른 하나에 있는 주변 공동 위치된 픽셀 중 적어도 하나의 픽셀의 픽셀 값으로부터 상기 고해상도 화상들 중 주어진 하나에 있는 픽셀 위치에서의 픽셀 값을 보간하는 것에 의해 재구성되며, 상기 고해상도 모자이크에 있는 상기 주변 공동 위치된 픽셀로부터 보간하는 것은 상기 고해상도 화상들 중 주어진 하나와 상기 고해상도 모자이크 사이에 픽셀의 움직임 변환을 수반하며, 상기 저해상도 화상들 중 적어도 다른 하나에 있는 상기 주변 공동 위치된 픽셀로부터 보간하는 것은 상기 고해상도 화상들 중 주어진 하나와 상기 저해상도 화상들 중 적어도 다른 하나 사이에 픽셀의 움직임 변환을 수반하는 것인 방법.
제31항에 있어서, 상기 고해상도 화상의 특정한 화상의 포어그라운드 픽셀은 상기 저해상도 화상에 있는 주변 공동 위치된 픽셀로부터 보간하는 것에 의해 재구성되는 것인 방법.
인코딩된 비디오 신호 데이터를 포함하는 컴퓨터 판독가능한 저장 매체로서,
고해상도 화상으로부터 생성된 인코딩된 저해상도 화상 및 메타데이터를 포함하되, 상기 메타데이터는 상기 저해상도 화상과 상기 메타데이터의 후디코딩 후처리를 가이드하기 위한 것인 컴퓨터 판독가능한 저장 매체.