KR20130143566A - 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 - Google Patents

움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 Download PDF

Info

Publication number
KR20130143566A
KR20130143566A KR1020137009099A KR20137009099A KR20130143566A KR 20130143566 A KR20130143566 A KR 20130143566A KR 1020137009099 A KR1020137009099 A KR 1020137009099A KR 20137009099 A KR20137009099 A KR 20137009099A KR 20130143566 A KR20130143566 A KR 20130143566A
Authority
KR
South Korea
Prior art keywords
pictures
motion
video sequence
picture
input video
Prior art date
Application number
KR1020137009099A
Other languages
English (en)
Other versions
KR101878515B1 (ko
Inventor
동-칭 장
미슨 조지 제이콥
시타람 바가바티
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130143566A publication Critical patent/KR20130143566A/ko
Application granted granted Critical
Publication of KR101878515B1 publication Critical patent/KR101878515B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 압축을 위해 움직임 보상된 샘플 기반 초해상도를 사용하여 비디오 신호를 인코딩하는 방법 및 장치가 제공된다. 장치는 움직임을 가지는 입력 비디오 시퀀스에 대한 움직임 파라미터를 추정하기 위한 움직임 파라미터 추정기(510)를 포함한다. 입력 비디오 시퀀스는 복수의 화상을 포함한다. 본 장치는 움직임 파라미터에 기초하여 움직임의 양을 감소시키는 것에 의해 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 수행하기 위한 이미지 워퍼(520)를 더 포함한다. 본 장치는 비디오 시퀀스의 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하기 위한 샘플 기반 초해상도 프로세서(530)를 더 포함한다. 하나 이상의 고해상도 대체 패치 화상은 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체한다.

Description

비디오 압축을 위해 움직임 보상된 샘플 기반 초해상도를 사용하여 비디오 신호를 인코딩하는 방법 및 장치{METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION}
본 출원은 미국 가출원 제61/403086호(출원일: 2010년 9월 10일, 발명의 명칭: "MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION", Technicolor 문서 번호 PU100190)의 이익을 청구한다.
본 출원은 이하 공동 계류 중인 공동 소유된 특허 출원들, 즉,
(1) 국제 특허 출원(PCT) 일련 번호 PCT/US11/000107(발명의 명칭: SAMPLING-BASED SUPER-RESOLUTION APPROACH FOR EFFICENT VIDEO COMPRESSION, 출원일: 2011년 1월 20일)(Technicolor 문서 번호 PU100004);
(2) 국제 특허 출원(PCT) 일련 번호 PCT/US11/000117(발명의 명칭: DATA PRUNING FOR VIDEO COMPRESSION USING EXAMPLE-BASED SUPER-RESOLUTION, 출원일: 2011년 1월 21일)(Technicolor 문서 번호 PU100014);
(3) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION, 출원일: 2011, 9월 XX)(Technicolor 문서 번호 PU100266);
(4) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100193);
(5) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100267);
(6) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100194);
(7) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100268);
(8) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR EFFICIENT REFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100195);
(9) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR EFFICIENT REFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU110106);
(10) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR ENCODING VIDEO SIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100196);
(11) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR DECODING VIDEO SIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100269); 및
(12) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: PRUNING DECISION OPTIMIZATION IN EXAMPLE-BASED DATA PRUNING COMPRESSION, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU10197)에 관한 것이다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 보다 상세하게는 비디오 압축을 위해 움직임 보상된 샘플 기반 초해상도를 위한 방법 및 장치에 관한 것이다.
발명의 명칭이 "Data pruning for video compression using example-based super-resolution"이고 Dong-Qing Zhang, Sitaram Bhagavathy, 및 Joan Llach에 의해 2010년 1월 22일에 출원된 공동 계류 중이고 공동 소유한 미국 가특허 출원(일련 번호 61/336516)(Technicolor 문서 번호 PU100014)에 개시된 것과 같은 이전 접근법에서는, 샘플 기반 초해상도(SR)(example-based super-resolution)를 사용하여 압축하기 위한 비디오 데이터 프루닝(data pruning)이 제안되었다. 데이터 프루닝을 위한 샘플 기반 초해상도는 고해상도(high-res) 샘플 패치 및 저해상도(low-res) 프레임을 디코더에 송신한다. 디코더는 저해상도 패치를 샘플 고해상도 패치로 대체하는 것에 의해 고해상도 프레임을 복구한다.
도 1을 참조하면, 이전 접근법의 하나의 측면이 기술된다. 보다 구체적으로, 샘플 기반 초해상도를 위해 인코더측 처리의 하이 레벨 블록도가 일반적으로 참조 부호 (100)으로 지시된다. 입력 비디오는 클러스터링된 패치를 얻기 위해 (패치 추출기 및 클러스터기(151)에 의해) 단계(110)에서 패치 추출과 클러스터링을 거친다. 또한, 입력 비디오는 또한 다운사이징된 프레임을 출력하기 위해 (다운사이저(153)에 의해) 단계(115)에서 다운사이징을 거친다. 클러스터링된 패치는 (팩킹된) 패치 프레임을 출력하기 위해 (패치 패커(152)에 의해) 단계(120)에서 패치 프레임으로 팩킹된다.
도 2를 참조하면, 이전 접근법의 다른 측면이 기술된다. 보다 구체적으로, 샘플 기반 초해상도를 위한 디코더측 처리의 하이 레벨 블록도가 일반적으로 참조 부호 (200)으로 지시된다. 디코딩된 패치 프레임은 처리된 패치를 얻기 위해 (패치 추출기 및 프로세서(251)에 의해) 단계(210)에서 패치 추출 및 처리를 거친다. 처리된 패치는 (패치 라이브러리(252)에 의해) 단계(215)에서 저장된다. 디코딩된 다운사이징된 프레임은 업사이징된 프레임을 얻기 위해 (업사이저(253)에 의해) 단계(220)에서 업사이징을 거친다. 업사이징된 프레임은 대체 패치를 얻기 위해 (패치 검색기 및 대체기(254)에 의해) 단계(225)에서 패치 검색 및 대체를 거친다. 대체 패치는 고해상도 프레임을 얻기 위해 (후치 프로세서(255)에 의해) 단계(230)에서 후 처리를 거친다.
이전 접근법에서 제시된 방법은 정적 비디오(static video)(상당한 배경 또는 전경 객체 움직임이 없는 비디오)에 잘 작용한다. 예를 들어, 실험에 따르면, 특정 유형의 정적 비디오에 대해, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC (Advanced Video Coding) Standard/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 Recommendation (이후 "MPEG-4 AVC 표준")에 따른 인코더와 같은 독립 비디오 인코더를 사용하는 것에 비해 샘플 기반 초해상도를 사용하는 경우 압축 효율이 증가될 수 있다.
그러나, 상당한 객체 또는 배경 움직임이 있는 비디오에서는 샘플 기반 초해상도를 사용하는 압축 효율은 독립적인 MPEG-4 AVC 인코더를 사용하는 것에 비해 종종 더 악화된다. 이것은 상당한 움직임이 있는 비디오에서는 대표적인 패치를 추출하는 클러스터링 공정이 일반적으로 패치 이동과 다른 변환(예를 들어, 줌(zooming), 회전, 등)으로 인해 상당히 더 중복하는 대표적인 패치를 생성하여, 패치 프레임의 수를 증가시키고 패치 프레임의 압축 효율을 감소시키기 때문이다.
도 3을 참조하면, 샘플 기반 초해상도를 위한 이전 접근법에서 사용되는 클러스터링 공정은 일반적으로 참조 부호 (300)으로 지시된다. 도 3의 예에서, 클러스터링 공정은 6개의 프레임(프레임 1 내지 프레임 6으로 표시)을 수반한다. (움직이는) 객체는 도 3에서 곡선 라인으로 지시된다. 클러스터링 공정(300)은 도 3의 상부 부분과 하부 부분에 대하여 도시된다. 상부 부분에서 입력 비디오 시퀀스의 연속 프레임으로부터 공동 위치된 입력 패치(310)가 도시된다. 하부 부분에서, 클러스터에 대응하는 대표적인 패치(320)가 도시된다. 특히, 하부 부분은 클러스터1의 대표 패치(321)를 도시하고, 클러스터2의 대표 패치(322)를 도시한다.
요컨대, 데이터 프루닝을 위한 샘플 기반 초해상도는 고해상도(본 명세서에서 "high-res"라고도 언급된다) 샘플 패치와 저해상도(본 명세서에서 "low-res"라고도 언급된다) 프레임을 디코더(도 1 참조)에 송신한다. 디코더는 저해상도 패치를 샘플 고해상도 패치로 대체하는 것에 의해 고해상도 프레임을 복구한다(도 2 참조). 그러나, 전술된 바와 같이, 움직이는 비디오에서, 대표 패치를 추출하는 클러스터링 공정은 일반적으로 패치 이동(도 3 참조)과 다른 변환(줌, 회전 등과 같은 것)으로 인해 상당히 더 중복하는 대표 패치를 생성하여, 패치 프레임의 수를 증가시키고 패치 프레임의 압축 효율을 감소시킨다.
본 출원은 개선된 압축 효율로 비디오 압축을 하기 위한 움직임 보상된 샘플 기반 초해상도를 위한 방법 및 장치를 개시한다.
본 발명의 원리의 일 측면에 따르면, 샘플 기반 초해상도를 위한 장치가 제공된다. 본 장치는 움직임을 가지는 입력 비디오 시퀀스를 위한 움직임 파라미터를 추정하는 움직임 파라미터 추정기를 포함한다. 입력 비디오 시퀀스는 복수의 화상을 포함한다. 본 장치는 또한 움직임 파라미터에 기초하여 움직임의 양을 감소시키는 것에 의해 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 수행하기 위한 이미지 워퍼(warper)를 더 포함한다. 본 장치는 비디오 시퀀스의 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하기 위한 샘플 기반 초해상도 프로세서를 더 포함한다. 하나 이상의 고해상도 대체 패치 화상은 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체한다.
본 발명의 원리의 다른 측면에 따르면, 샘플 기반 초해상도를 위한 방법이 제공된다. 본 방법은 움직임을 가지는 입력 비디오 시퀀스를 위한 움직임 파라미터를 추정하는 단계를 포함한다. 입력 비디오 시퀀스는 복수의 화상을 포함한다. 본 방법은 움직임 파라미터에 기초하여 움직임의 양을 감소시키는 것에 의해 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 수행하는 단계를 더 포함한다. 본 방법은 비디오 시퀀스의 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하는 단계를 더 포함한다. 하나 이상의 고해상도 대체 패치 화상은 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체한다.
본 발명의 원리의 더 다른 측면에 따르면, 샘플 기반 초해상도를 위한 장치가 제공된다. 본 장치는 움직임을 가지는 입력 비디오 시퀀스의 정적 버전으로부터 생성된 하나 이상의 고해상도 대체 패치 화상을 수신하고, 하나 이상의 고해상도 대체 패치 화상으로부터 입력 비디오 시퀀스의 정적 버전의 재구성된 버전을 생성하기 위해 샘플 기반 초해상도를 수행하기 위한 샘플 기반 초해상도 프로세서를 포함한다. 입력 비디오 시퀀스의 정적 버전의 재구성된 버전은 복수의 화상을 포함한다. 본 장치는 입력 비디오 시퀀스를 위한 움직임 파라미터를 수신하고, 움직임을 가지는 입력 비디오 시퀀스의 재구성을 생성하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환하기 위해 움직임 파라미터에 기초하여 역 화상 워핑 공정을 수행하기 위한 역 이미지 워퍼를 더 포함한다.
본 발명의 원리의 다른 측면에 따르면, 샘플 기반 초해상도를 위한 방법이 제공된다. 본 방법은 움직임을 가지는 입력 비디오 시퀀스를 위한 움직임 파라미터 및 입력 비디오 시퀀스의 정적 버전으로부터 생성된 하나 이상의 고해상도 대체 패치 화상을 수신하는 단계를 포함한다. 본 방법은 하나 이상의 고해상도 대체 패치 화상으로부터 입력 비디오 시퀀스의 정적 버전의 재구성된 버전을 생성하기 위해 샘플 기반 초해상도를 수행하는 단계를 더 포함한다. 입력 비디오 시퀀스의 정적 버전의 재구성된 버전은 복수의 화상을 포함한다. 본 방법은 움직임을 가지는 입력 비디오 시퀀스의 재구성을 생성하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환하기 위해 움직임 파라미터에 기초하여 역 화상 워핑 공정을 수행하는 단계를 더 포함한다.
본 발명의 원리의 더 다른 측면에 따르면, 샘플 기반 초해상도를 위한 장치가 제공된다. 본 장치는 움직임을 가지는 입력 비디오 시퀀스를 위한 움직임 파라미터를 추정하는 수단을 포함한다. 입력 비디오 시퀀스는 복수의 화상을 포함한다. 본 장치는 움직임 파라미터에 기초하여 움직임의 양을 감소시키는 것에 의해 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 변환하는 수단을 더 포함한다. 본 장치는 비디오 시퀀스의 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하는 수단을 더 포함한다. 하나 이상의 고해상도 대체 패치 화상은 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체한다.
본 발명의 추가적인 측면에 따르면, 샘플 기반 초해상도를 위한 장치가 제공된다. 본 장치는 움직임을 가지는 입력 비디오 시퀀스를 위한 움직임 파라미터 및 입력 비디오 시퀀스의 정적 버전으로부터 생성된 하나 이상의 고해상도 대체 패치 화상을 수신하는 수단을 포함한다. 본 장치는 하나 이상의 고해상도 대체 패치 화상으로부터 입력 비디오 시퀀스의 정적 버전의 재구성된 버전을 생성하기 위해 샘플 기반 초해상도를 수행하는 수단을 더 포함한다. 입력 비디오 시퀀스의 정적 버전의 재구성된 버전은 복수의 화상을 포함한다. 본 장치는 움직임을 가지는 입력 비디오 시퀀스의 재구성을 생성하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환시키기 위해 움직임 파라미터에 기초하여 역 화상 워핑 공정을 수행하는 수단을 더 포함한다.
본 발명의 원리의 이들 및 다른 측면, 특징 및 이점은 첨부 도면을 참조하여 판독될 예시적인 실시예의 이하 상세한 설명으로부터 명백해질 것이다.
본 발명의 원리는 이하 예시적인 도면에 따라 더 잘 이해될 수 있을 것이다.
도 1은 이전의 접근법에 따라 샘플 기반 초해상도를 위한 인코더 측 처리를 도시하는 하이 레벨 블록도;
도 2는 이전의 접근법에 따라 샘플 기반 초해상도를 위한 디코더 측 처리를 도시하는 하이 레벨 블록도;
도 3은 이전의 접근법에 따라 샘플 기반 초해상도에 사용되는 클러스터링 공정을 도시한 도면;
도 4는 본 발명의 원리의 일 실시예에 따라 객체 움직임이 있는 비디오를 정적 비디오로 변환하는 예를 도시한 도면;
도 5는 본 발명의 원리의 일 실시예에 따라 인코더에 사용하기 위한 프레임 워핑으로 움직임 보상된 샘플 기반 초해상도 처리를 위한 예시적인 장치를 도시한 블록도;
도 6은 본 발명의 원리의 일 실시예에 따라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더를 도시한 블록도;
도 7은 본 발명의 원리의 일 실시예에 따라 인코더에서 움직임 보상된 샘플 기반 초해상도를 위한 예시적인 방법을 도시한 흐름도;
도 8은 본 발명의 원리의 일 실시예에 따라 디코더에서 역 프레임 워핑을 가지는 움직임 보상된 샘플 기반 초해상도 처리를 위한 예시적인 장치를 도시한 블록도;
도 9는 본 발명의 원리의 일 실시예에 다라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더를 도시한 블록도;
도 10은 본 발명의 원리의 일 실시예에 따라 디코더에서 움직임 보상된 샘플 기반 초해상도를 위한 예시적인 방법을 도시한 흐름도.
본 발명의 원리는 비디오 압축을 위해 움직임 보상된 샘플 기반 초해상도를 위한 방법 및 장치에 관한 것이다.
본 설명은 본 발명의 원리를 예시한다. 따라서, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 명시적으로 기술되거나 도시되지는 않았을지라도, 본 발명의 사상과 범위 내에 포함되고 본 발명의 원리를 구현하는 여러 배열을 고안할 수 있을 것이라는 것을 이해할 수 있을 것이다.
본 명세서에 언급된 모든 예시와 조건적 언어들은 이 기술을 개선하려고 발명자(들)가 기여한 본 발명의 원리와 개념을 독자들이 이해하는 것을 돕기 위한 설명을 위한 목적으로 의도된 것이므로, 그러한 구체적으로 언급된 예시와 조건으로 제한하는 것으로 해석되어서는 안 된다.
나아가, 본 발명의 원리, 측면 및 실시예뿐만 아니라 특정 예시를 언급하는 모든 진술은 구조적 및 기능적으로 균등한 것을 포함하는 것으로 의도된 것이다. 부가적으로, 그러한 균등물은 현재 알려진 균등물 뿐만 아니라 미래에 개발된 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함한다는 것으로 의도된다.
따라서, 예를 들어, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 제시된 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 제시하는 것임을 이해할 수 있을 것이다. 이와 유사하게, 임의의 흐름도, 흐름 다이아그램, 상태 전이도, 의사코드 등은 컴퓨터나 프로세서가 명시적으로 도시되지 않았을 지라도, 컴퓨터로 판독가능한 매체에 실질적으로 제공되고 컴퓨터나 프로세서에 의해 실행될 수 있는 여러 공정을 나타낸다는 것을 이해할 수 있을 것이다.
도면에 도시된 여러 요소의 기능은 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 나아가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 말하는 것으로 해석되어서는 아니되며, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장장치를 암시적으로 포함할 수 있으나 이로 제한되는 것은 아니다.
종래의 것이든 및/또는 주문형이든 상관없이 다른 하드웨어가 또한 포함될 수 있다. 이와 유사하게 이 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 그 기능은 프로그램 논리회로의 동작을 통해, 전용 논리회로를 통해, 프로그램 제어 및 전용 논리회로의 상호작용을 통해 또는 심지어 수동으로 수행될 수 있으며, 특정 기술은 문맥으로부터 보다 구체적으로 이해되는 바와 같이 구현하는 자에 의해 선택될 수 있다.
특허청구범위에서, 특정 기능을 수행하는 수단으로 표시된 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소의 조합이나 b) 그 기능을 수행하는 소프트웨어를 실행하는 적절한 회로와 결합된 펌웨어, 마이크로 코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 임의의 방법을 포함하는 것으로 의도된다. 특허청구범위에 의해 한정된 본 발명의 원리는 여러 언급된 수단으로 제공된 기능이 특허청구범위가 요청하는 방식으로 서로 결합된 것에 존재한다. 따라서, 그 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것과 균등한 것이라고 간주된다.
명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"라는 언급과 그 다른 변형 어구의 언급은 실시예와 연관하여 기술된 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐 여러 곳에 나타나는 "하나의 실시예에서" 또는 "실시예에서"라는 어구의 표현과 그 임의의 다른 변형 어구는 동일한 실시예를 모두 언급하는 것이 아닐 수 있다.
예를 들어, "A/B", "A 및/또는 B" 그리고 "A 및 B 중 적어도 하나"에 있는 "/", " 및/또는" 및 "∼ 중 적어도 하나" 중 어느 하나의 사용은 처음 나열된 옵션(A)만을 선택하거나 두 번째 나열된 옵션(B)만을 선택하거나 또는 두 개의 옵션(A와 B)을 모두 선택하는 것을 포함하는 것으로 의도된 것이라는 것을 이해하여야 한다. 다른 예로서, "A, B 및/또는 C" 그리고 "A, B 및 C 중 적어도 하나"의 경우에서 이 어구는 처음 나열된 옵션(A)만을 선택하거나, 두 번째 나열된 옵션(B)만을 선택하거나 세 번째 나열된 옵션(C)만을 선택하거나 처음 및 두 번째 나열된 옵션(A 와 B)만을 선택하거나, 처음과 세 번째 나열된 옵션(A와 C)만을 선택하거나 두 번째와 세 번째 나열된 옵션(B와 C)만을 선택하거나 3개의 옵션(A와 B와 C)을 모두 선택하는 것을 포함하는 것으로 의도된 것이다. 이것은 이 기술 분야 및 관련 기술 분야의 통상의 지식을 가진 자에게는 명백한 바와 같이 많은 항목을 나열한 것으로 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, "화상" 및 "이미지"라는 용어는 상호 교환가능하게 사용되며 비디오 시퀀스로부터 정지 이미지 또는 화상을 말한다. 알려진 바와 같이, 화상은 프레임이나 필드일 수 있다.
전술된 바와 같이 본 발명의 원리는 움직임 보상된 샘플 기반 초해상도 비디오 압축을 위한 방법 및 장치에 관한 것이다. 유리하게는, 본 발명의 원리는 중복하는 대표 패치의 수를 감소시키고 압축 효율을 증가시키는 방식을 제공한다.
본 발명의 원리에 따라, 본 출원은 상당한 배경 및 객체 움직임이 있는 비디오 세그먼트를 상대적으로 정적인 비디오 세그먼트로 변환하는 개념을 개시한다. 보다 구체적으로, 도 4에서, 객체 움직임이 있는 비디오를 정적 비디오로 예시적으로 변환하는 것은 일반적으로 참조 부호 (400)으로 지시된다. 이 변환(400)은 정적 비디오(420)의 프레임1, 프레임2, 및 프레임3을 얻기 위해 객체 움직임(410)이 있는 비디오의 프레임1, 프레임2, 및 프레임3에 적용되는 프레임 워핑 변환을 수반한다. 이 변환(400)은 클러스터링 공정(즉, 샘플 기반 초해상도 방법의 인코더 측 처리 성분)과 인코딩 공정 전에 수행된다. 변환 파라미터는 복구를 위해 디코더 측으로 송신된다. 샘플 기반 초해상도 방법은 정적 비디오에서 더 높은 압축 효율을 초래할 수 있고, 변환 파라미터 데이터의 사이즈는 움직임이 있는 비디오를 정적 비디오로 변환하는 것에 의해 통상 매우 작으므로, 움직임이 있는 비디오에서 잠재적으로 압축 효율을 얻는 것이 가능하다.
도 5를 참조하면, 인코더에 사용하기 위해 프레임 워핑을 가지는 움직임 보상된 샘플 기반 초해상도 처리를 위한 예시적인 장치가 일반적으로 참조 부호 (500)으로 지시된다. 본 장치(500)는 이미지 워퍼(520)의 입력과 신호 통신하는 제1 출력을 가지는 움직임 파라미터 추정기(510)를 포함한다. 이미지 워퍼(520)의 출력은 샘플 기반 초해상도 인코더측 프로세서(530)의 입력과 신호 통신가능하게 연결된다. 샘플 기반 초해상도 인코더측 프로세서(530)의 제1 출력은 인코더(540)의 입력과 신호 통신가능하게 연결되고 인코더에 다운사이징된 프레임을 제공한다. 샘플 기반 초해상도 인코더 측 프로세서(530)의 제2 출력은 인코더(540)의 입력과 신호 통신가능하게 연결되고 인코더에 패치 프레임을 제공한다. 움직임 파라미터 추정기(510)의 제2 출력은 움직임 파라미터를 제공하기 위해 장치(500)의 출력으로 이용가능하다. 움직임 파라미터 추정기(510)의 입력은 입력 비디오를 수신하기 위해 장치(500)에의 입력으로 이용가능하다. 인코더(540)의 출력(미도시)은 비트스트림을 출력하기 위해 장치(500)의 제2 출력으로 이용가능하다. 비트스트림은 예를 들어 인코딩된 다운사이징된 프레임, 인코더 패치 프레임 및 움직임 파라미터를 포함할 수 있다.
인코더(540)에 의해 수행되는 기능, 즉 인코딩은 생략될 수 있고, 다운사이징된 프레임, 패치 프레임, 및 움직임 파라미터는 임의의 압축 없이 디코더 측으로 송신될 수 있는 것으로 이해된다. 그러나, 비트 율을 절감하기 위해 다운사이징된 프레임과 패치 프레임은 디코더 측으로 송신되기 전에 바람직하게는 (인코더(540)에 의해) 압축된다. 또한, 다른 실시예에서, 움직임 파라미터 추정기(510), 이미지 워퍼(520), 및 샘플 기반 초해상도 인코더 측 프로세서(530)는 비디오 인코더 내에 포함되고 그 일부일 수 있다.
따라서, 인코더측에서 클러스터링 공정이 수행되기 전에 움직임 추정이 (움직임 파라미터 추정기(510)에 의해) 수행되고, 프레임 워핑 공정이 움직임이 있는 객체나 배경을 가지는 프레임을 상대적으로 정적인 비디오로 변환하기 위해 (이미지 워퍼(520)에 의해) 적용된다. 움직임 추정 공정으로부터 추출되는 파라미터는 별도의 채널을 통해 디코더 측으로 송신된다.
도 6을 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더가 일반적으로 참조 부호 (600)으로 지시된다. 비디오 인코더(600)는 결합기(685)의 비반전 입력과 신호 통신하는 출력을 구비하는 프레임 정렬 버퍼(610)를 포함한다. 결합기(685)의 출력은 변환기 및 양자화기(625)의 제1 입력과 신호 통신가능하게 연결된다. 변환기 및 양자화기(625)의 출력은 엔트로피 코더(645)의 제1 입력과, 역변환기 및 역양자화기(650)의 제1 입력과 신호 통신가능하게 연결된다. 엔트로피 코더(645)의 출력은 결합기(690)의 제1 비반전 입력과 신호 통신가능하게 연결된다. 결합기(690)의 출력은 출력 버퍼(635)의 제1 입력과 신호 통신가능하게 연결된다.
인코더 제어기(605)의 제1 출력은 프레임 정렬 버퍼(610)의 제2 입력, 역변환기 및 역양자화기(650)의 제2 입력, 화상 유형 결정 모듈(615)의 입력, 매크로블록 유형(MB 유형) 결정 모듈(620)의 제1 입력, 인트라 예측 모듈(660)의 제2 입력, 디블록킹 필터(665)의 제2 입력, 움직임 보상기(670)의 제1 입력, 움직임 추정기(675)의 제1 입력, 및 참조 화상 버퍼(680)의 제2 입력과 신호 통신가능하게 연결된다.
인코더 제어기(605)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(630)의 제1 입력, 변환기 및 양자화기(625)의 제2 입력, 엔트로피 코더(645)의 제2 입력, 출력 버퍼(635)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(640)의 입력과 신호 통신가능하게 연결된다.
SEI 삽입기(630)의 출력은 결합기(690)의 제2 비반전 입력과 신호 통신가능하게 연결된다.
화상 유형 결정 모듈(615)의 제1 출력은 프레임 정렬 버퍼(610)의 제3 입력과 신호 통신가능하게 연결된다. 화상 유형 결정 모듈(615)의 제2 출력은 매크로 블록 유형 결정 모듈(620)의 제2 입력과 신호 통신가능하게 연결된다.
SPS 및 PPS 삽입기(640)의 출력은 결합기(690)의 제3 비반전 입력과 신호 통신가능하게 연결된다.
역양자화기 및 역변환기(650)의 출력은 결합기(619)의 제1 비반전 입력과 신호 통신가능하게 연결된다. 결합기(619)의 출력은 인트라 예측 모듈(660)의 제1 입력과 디블록킹 필터(665)의 제1 입력과 신호 통신가능하게 연결된다. 디블록킹 필터(665)의 출력은 참조 화상 버퍼(680)의 제1 입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(680)의 출력은 움직임 추정기(675)의 제2 입력과 움직임 보상기(670)의 제3 입력과 신호 통신가능하게 연결된다. 움직임 추정기(675)의 제1 출력은 움직임 보상기(670)의 제2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(675)의 제2 출력은 엔트로피 코더(645)의 제3 입력과 신호 통신가능하게 연결된다.
움직임 보상기(670)의 출력은 스위치(697)의 제1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(660)의 출력은 스위치(697)의 제2 입력과 신호 통신가능하게 연결된다. 매크로 블록 유형 결정 모듈(620)의 출력은 스위치(697)의 제3 입력과 신호 통신가능하게 연결된다. 스위치(697)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉, 제3 입력에 비해)이 움직임 보상기(670)에 의해 제공될지 또는 인트라 예측 모듈(660)에 의해 제공될지를 결정한다. 스위치(697)의 출력은 결합기(619)의 제2 비반전 입력과 결합기(685)의 반전 입력과 신호 통신가능하게 연결된다.
프레임 정렬 버퍼(610)의 제1 입력과 인코더 제어기(605)의 입력은 입력 화상을 수신하기 위해 인코더(600)의 입력으로 이용가능하다. 또한, SEI 삽입기(630)의 제2 입력은 메타데이터를 수신하기 위해 인코더(600)의 입력으로 이용가능하다. 출력 버퍼(635)의 출력은 비트스트림을 출력하기 위해 인코더(100)의 출력으로 이용가능하다.
도 5에서 인코더(540)는 인코더(600)로 구현될 수 있는 것으로 이해된다.
도 7을 참조하면, 인코더에서 움직임 보상된 샘플 기반 초해상도를 위한 예시적인 방법이 일반적으로 참조 부호 (700)으로 지시된다. 본 방법(700)은 제어를 기능 블록(710)으로 전달하는 시작 블록(705)을 포함한다. 기능 블록(710)은 객체 움직임을 가지는 비디오를 입력하며 제어를 기능 블록(715)으로 전달한다. 기능 블록(715)은 객체 움직임이 있는 입력 비디오에 대해 움직임 파라미터를 추정하고 저장하며 제어를 루프 제한 블록(720)으로 전달한다. 루프 제한 블록(720)은 각 프레임에 대해 루프를 수행하며 제어를 기능 블록(725)으로 전달한다. 기능 블록(725)은 추정된 움직임 파라미터를 사용하여 현재 프레임을 워핑하며 제어를 결정 블록(730)으로 전달한다. 결정 블록(730)은 모든 프레임의 처리가 완료되었는지 여부를 결정한다. 모든 프레임의 처리가 완료되면, 제어는 기능 블록(735)으로 전달된다. 그렇지 않으면, 제어는 기능 블록(720)으로 리턴한다 기능 블록(735)은 샘플 기반 초해상도 인코더 측 처리를 수행하며 제어를 기능 블록(740)으로 전달한다. 기능 블록(740)은 다운사이징된 프레임, 패치 프레임 및 움직임 파라미터를 출력하며 제어를 종료 블록(499)으로 전달한다.
도 8을 참조하면, 디코더에서 역 프레임 워핑을 가지는 움직임 보상된 샘플 기반 초해상도 처리를 위한 예시적인 장치가 일반적으로 참조 부호 (800)으로 지시된다. 디코더(810)를 포함하는 본 장치(800)는 전술된 인코더(540)를 포함하는 장치(500)에 의해 생성된 신호를 처리한다. 본 장치(800)는 샘플 기반 초해상도 디코더측 프로세서(820)의 제1 입력 및 제2 입력과 신호 통신하는 출력을 가지는 디코더(810)를 포함하며 (디코딩된) 다운사이징된 프레임과 패치 프레임을 각각 디코더에 제공한다. 샘플 기반 초해상도 디코더측 프로세서(820)의 출력은 또한 초해상도 비디오를 역 프레임 워퍼에 제공하기 위해 역 프레임 워퍼(830)의 입력과 신호 통신가능하게 연결된다. 역 프레임 워퍼(830)의 출력은 비디오를 출력하기 위해 장치(800)의 출력으로 이용가능하다. 역 프레임 워퍼(830)의 입력은 움직임 파라미터를 수신하기 위해 이용가능하다.
디코더(810)에서 수행되는 기능, 즉 디코딩은 생략될 수 있으며, 다운사이징된 프레임과 패치 프레임은 임의의 압축 없이 디코더 측에 의해 수신될 수 있는 것으로 이해된다. 그러나, 비트 율을 절감하기 위해 다운사이징된 프레임과 패치 프레임은 바람직하게는 디코더 측으로 송신되기 전에 인코더 측에서 압축된다. 또한, 다른 실시예에서, 샘플 기반 초해상도 디코더 측 프로세서(820)와 역 프레임 워퍼는 비디오 디코더에 포함되고 그 일부일 수 있다.
따라서, 디코더 측에서 프레임이 샘플 기반 초해상도에 의해 복구된 후에 역 워핑 공정이 복구된 비디오 세그먼트를 원래의 비디오의 좌표 시스템으로 변환하도록 수행된다. 역 워핑 공정은 인코더 측에서 추정되어 인코더측으로부터 송신된 움직임 파라미터를 사용한다.
도 9를 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더가 일반적으로 참조 부호 (900)으로 지시된다. 비디오 디코더(900)는 엔트로피 디코더(945)의 제1 입력과 신호 통신가능하게 연결된 출력을 가지는 입력 버퍼(910)를 포함한다. 엔트로피 디코더(945)의 제1 출력은 역변환기 및 역양자화기(950)의 제1 입력과 신호 통신가능하게 연결된다. 역 변환기 및 역양자화기(950)의 출력은 결합기(925)의 제2 비반전 입력과 신호 통신가능하게 연결된다. 결합기(925)의 출력은 디블록킹 필터(965)의 제2 입력과 인트라 예측 모듈(960)의 제1 입력과 신호 통신가능하게 연결된다. 디블록킹 필터(965)의 제2 출력은 참조 화상 버퍼(980)의 제1 입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(980)의 출력은 움직임 보상기(970)의 제2 입력과 신호 통신가능하게 연결된다.
엔트로피 디코더(945)의 제2 출력은 움직임 보상기(970)의 제3 입력, 디블록킹 필터(965)의 제1 입력, 및 인트라 예측기(960)의 제3 입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(945)의 제3 출력은 디코더 제어기(905)의 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제1 출력은 엔트로피 디코더(945)의 제2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제2 출력은 역변환기 및 역양자화기(950)의 제2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제3 출력은 디블록킹 필터(965)의 제3 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제4 출력은 인트라 예측 모듈(960)의 제2 입력, 움직임 보상기(970)의 제1 입력 및 참조 화상 버퍼(980)의 제2 입력과 신호 통신 가능하게 연결된다.
움직임 보상기(970)의 출력은 스위치(997)의 제1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(960)의 출력은 스위치(997)의 제2 입력과 신호 통신가능하게 연결된다. 스위치(997)의 출력은 결합기(925)의 제1 비반전 입력과 신호 통신가능하게 연결된다.
입력 버퍼(910)의 입력은 입력 비트 스트림을 수신하기 위해 디코더(900)의 입력으로 이용가능하다. 디블록킹 필터(965)의 제1 출력은 출력 화상을 출력하기 위해 디코더(900)의 출력으로 이용가능하다.
도 8로부터 디코더(810)는 디코더(900)로 구현될 수 있는 것으로 이해된다.
도 10을 참조하면, 디코더에서 움직임 보상된 샘플 기반 초해상도를 위한 예시적인 방법이 일반적으로 참조 부호 (1000)으로 지시된다. 본 방법(1000)은 제어를 기능 블록(1010)으로 전달하는 시작 블록(1005)을 포함한다. 기능 블록(1010)은 다운사이징된 프레임, 패치 프레임, 및 움직임 파라미터를 입력하며 제어를 기능 블록(1015)으로 전달한다. 기능 블록(1015)은 샘플 기반 초해상도 디코더측 처리를 수행하며 제어를 루프 제한 블록(1020)으로 전달한다. 루프 제한 블록(1020)은 각 프레임에 대한 루프를 수행하며 제어를 기능 블록(1025)으로 전달한다. 기능 블록(1025)은 수신된 움직임 파라미터를 사용하여 역 프레임 워핑을 수행하며 제어를 결정 블록(1030)으로 전달한다. 결정 블록(1030)은 모든 프레임의 처리가 완료되었는지를 결정한다. 모든 프레임의 처리가 완료되면, 제어는 기능 블록(1035)으로 전달된다. 그렇지 않으면, 제어는 기능 블록(1020)으로 리턴한다. 기능 블록(1035)은 복구된 비디오를 출력하며 제어를 종료 블록(1099)으로 전달한다.
입력 비디오는 프레임 그룹(GOF: Groups of Frames)으로 분할된다. 각 GOF는 움직임 추정, 프레임 워핑, 및 샘플 기반 초해상도를 위한 기본 유닛이다. GOF에서 프레임 중 하나(예를 들어, 중간 또는 시작 프레임)가 움직임 추정을 위한 참조 프레임으로 선택된다. GOF는 고정된 길이이거나 가변 길이를 가질 수 있다.
움직임 추정
움직임 추정은 참조 프레임에 대해 하나의 프레임에 있는 픽셀의 대체를 추정하는데 사용된다. 움직임 파라미터는 디코더 측으로 송신되어야 하므로, 움직임 파라미터의 수는 가능한 한 작아야 한다. 그러므로, 작은 개수의 파라미터에 의해 지배되는 특정 파라미터 움직임 모델을 선택하는 것이 바람직하다. 예를 들어, 본 명세서에 개시된 현재 시스템에서, 8개의 파라미터에 의해 특징지어질 수 있는 평면 움직임 모델이 사용된다. 이 파라미터 움직임 모델은 많은 상이한 유형의 비디오에서 일반적인 병진이동, 회전, 아핀 워프(affine warp), 사영 변환과 같은 프레임 간 전체 움직임을 모델링할 수 있다. 예를 들어, 카페라가 패닝(panning)할 때, 카메라 패닝은 병진이동 움직임을 초래한다. 전경 객체 움직임은 이 모델에 의하여 매우 잘 캡처되지 못할 수 있으나, 전경 객체가 작고 배경 움직임이 상당한 경우, 변환된 비디오는 거의 정적으로 유지될 수 있다. 물론, 8개의 파라미터에 의해 특징지어질 수 있는 파라미터 움직임 모델을 사용하는 것은 단지 예시적인 것이므로, 8개를 초과하는 파라미터, 8개 미만의 파라미터, 또는 심지어 8개의 파라미터(여기서, 하나 이상의 파라미터는 전술된 모델과 상이한 것이다)에 의해 특징지어질 수 있는 다른 파라미터 움직임 모델이 본 발명의 원리의 사상을 유지하면서 본 발명의 원리의 개시 내용에 따라 사용될 수도 있다.
일반성을 상실함이 없이, 참조 프레임은 H1이고, GOF에서 나머지 프레임은 Hi(i=2, 3,..., N)이라고 가정된다. 2개의 프레임(Hi)과 프레임(Hj) 사이에 전체 움직임은 실제로 Hi에서 픽셀을 Hj에서 대응하는 픽셀의 위치로 이동시키거나 또는 그 역으로 이동시키는 변환에 의해 특징지어질 수 있다. Hi에서 Hj로 변환하는 것은 Θij로 표시되고, 그 파라미터는 θij로 표시된다. 변환 Θij 는 Hi를 Hj와 (또는 역 모델(Θji = Θij -1을 사용하는 그 역으로) 정렬(또는 워핑)하는데 사용될 수 있다.
전체 움직임은 여러 모델과 방법을 사용하여 추정될 수 있고, 그리하여 본 발명의 원리는 전체 움직임을 추정하는 임의의 특정 방법 및/또는 모델로 제한되지 않는다. 예를 들어, 하나의 일반적으로 사용되는 모델(본 명세서에서 언급되는 현재 시스템에서 사용되는 모델)은 다음 수식 (1)으로 주어진 사영 변환이다:
Figure pct00001
(1)
상기 수식은 Hi에서 (x, y)에 있는 픽셀이 이동된 Hj에서의 새로운 위치(x', y')를 제공한다. 따라서, 8개의 모델 파라미터 θij=(a1, a2, a3, b1, b2, b3, c1, c2)는 Hi에서 Hj로의 움직임을 기술한다. 파라미터는 통상 제일 먼저 2개의 프레임들 사이 점 대응 세트를 결정하고 나서 이후 RANSAC(RANdom SAmple Consensus) 또는 그 변형, 예를 들어, M.A. Fischler 및 R. C. Bolles 저 "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" (Communications of the ACM, vol. 24, 1981, pp. 381-395) 및 P. Η. S. Torr 및 A. Zisserman 저 "MLESAC: A New Robust Estimator with Application to Estimating Image Geometry" (Journal of Computer Vision and Image Understanding, vol. 78, no. 1, 2000, pp. 138-156)에 기술된 것과 같은 강력한 추정 프레임워크를 사용하는 것에 의해 추정된다. 프레임들 사이 점 대응은 예를 들어 D. G. Lowe 저 "Distinctive image features from scale-invariant keypoints" (International Journal of Computer Vision, vol. 2, no. 60, 2004, pp. 91-110)에 기술된 것과 같은 SIFT(Scale-Invariant Feature Transform) 특징을 추출하고 매칭하거나 또는 M. J. Black 및 P. Anandan 저 "The robust estimation of multiple motions: Parametric and piecewise-smooth flow fields" (Computer Vision and Image Understanding, vol. 63, no. 1, 1996, pp. 75-104)에 기술된 것과 같은 광학 흐름을 사용하는 다수의 방법에 의하여 결정될 수 있다.
전체 움직임 파라미터는 참조 프레임과 정렬하도록 GOF에서 프레임(참조 프레임을 제외한 것)을 워핑하는데 사용된다. 그리하여, 각 프레임(Hi)(i=2, 3,..., N)과 참조 프레임(H1) 사이에 움직임 파라미터가 추정되어야 한다. 변환은 가역적이고 역 변환 Θji=Θij -1은 Hj에서 Hi로의 움직임을 기술한다. 역 변환은 최종 프레임을 원래의 프레임으로 다시 워핑하는데 사용된다. 역 변환은 원래의 비디오 세그먼트를 복구하기 위해 디코더 측에서 사용된다. 변환 파라미터는 압축되어 비디오 복구 공정을 가능하게 하기 위해 디코더 측으로 사이드 채널을 통해 송신된다.
전체 움직임 모델과는 별도로, 블록 기반 방법과 같은 다른 움직임 추정 방법이 보다 높은 정밀도를 달성하기 위해 본 발명의 원리에 따라 사용될 수 있다. 블록 기반 방법은 프레임을 블록으로 분할하며 각 블록에 대해 움직임 모델을 추정한다. 그러나, 블록 기반 모델을 사용하여 움직임을 기술하는 것은 상당히 더 많은 비트를 차지한다.
프레임 워핑 및 역 프레임 워핑
움직임 파라미터가 추정된 후에, 인코더 측에서 프레임 워핑 공정이 비참조 프레임을 참조 프레임과 정렬하기 위해 수행된. 그러나, 비디오 프레임에서 일부 영역은 전술된 전체 움직임 모델에 따르지 않는 것이 가능하다. 프레임 워핑을 적용하는 것에 의해 이들 영역은 프레임에서 나머지 영역과 함께 변환될 수 있다. 그러나, 이것은 이들 영역이 작은 경우 이들 영역의 워핑이 워핑된 프레임에서 이들 영역의 인공적인 움직임만을 야기하므로 큰 문제를 야기하지 않는다. 인공적인 움직임이 있는 이들 영역이 작은 한, 대표 패치에 상당한 증가를 초래하지 않으므로, 전체적으로 워핑 공정은 여전히 대표 패치의 총 수를 감소시킬 수 있다. 또한, 작은 영역의 인공적인 움직임은 역 워핑 공정에 의하여 역전될 수 있다.
역 프레임 워핑 공정은 복구된 프레임을 샘플 기반 초해상도 성분을 다시 원래의 좌표 시스템으로 워핑하기 위해 디코더 측에서 수행된다.
본 발명의 원리의 이들 및 다른 특징과 이점은 본 명세서에 개시된 내용에 기초하여 이 기술 분야에 통상의 지식을 가진 자라면 용이하게 확인할 수 있을 것이다. 본 발명의 원리의 개시 내용은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합의 여러 형태로 구현될 수 있는 것으로 이해된다.
가장 바람직하게는 본 발명의 원리의 교시 내용은 하드웨어와 소프트웨어의 조합으로 구현된다. 나아가, 소프트웨어는 프로그램 저장 장치에 유형적으로 구현되는 애플리케이션 프로그램으로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 이키텍처를 포함하는 기계에 업로딩되고 이 기계에 의해 실행될 수 있다. 바람직하게는 이 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼에 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로명령 코드를 더 포함할 수 있다. 본 명세서에 기술된 여러 공정과 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 부분이나 애플리케이션 프로그램의 부분 또는 이들의 임의의 조합일 수 있다. 나아가, 여러 다른 주변 장치들이 추가적인 데이터 저장 장치와 프린팅 장치와 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 요소 및 방법의 일부는 바람직하게는 소프트웨어로 구현될 수 있으므로, 시스템 요소나 공정 기능 블록들 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해할 수 있을 것이다. 본 명세서에 있는 교시 내용에 따라 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 원리의 이들 및 이와 유사한 구현에나 구성을 구상할 수 있을 것이다.
첨부 도면을 참조하여 본 명세서에서 예시적인 실시예들이 기술되었으나, 본 발명의 원리는 이들 정확한 실시예로 제한되는 것은 아니고 본 발명의 원리의 범위나 사상을 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자라면 여러 변경과 변형이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 모든 이러한 변경과 변형은 첨부된 청구범위에 개시된 본 발명의 원리의 범위 내에 있는 것으로 의도된다.

Claims (20)

  1. 움직임을 가지는 입력 비디오 시퀀스에 대한 움직임 파라미터를 추정하는 움직임 파라미터 추정기(510)로서, 상기 입력 비디오 시퀀스는 복수의 화상을 포함하는 것인 움직임 파라미터 추정기(510);
    상기 움직임 파라미터에 기초하여 상기 움직임의 양을 감소시키는 것에 의해 상기 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환시키는 화상 워핑 공정을 수행하는 이미지 워퍼(image warper)(520); 및
    상기 비디오 시퀀스의 상기 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하는 샘플 기반 초해상도 프로세서(530)를 포함하되,
    상기 하나 이상의 고해상도 대체 패치 화상은 상기 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체하기 위한 것인 장치.
  2. 제1항에 있어서, 상기 샘플 기반 초해상도 프로세서(530)는 상기 입력 비디오 시퀀스로부터 하나 이상의 다운사이징된 화상을 더 생성하고, 상기 하나 이상의 다운사이징된 화상은 상기 복수의 화상 중 하나 이상에 각각 대응하고 상기 입력 비디오 시퀀스를 재구성하는데 사용하는 것인 장치.
  3. 제1항에 있어서, 상기 장치는 비디오 인코더 모듈(540)에 포함되는 것인 장치.
  4. 제1항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상 중에서 참조 화상과 적어도 하나의 다른 화상 사이에 전체 움직임을 모델링하는 평면 움직임 모델링을 사용하여 추정되고, 상기 전체 움직임은 상기 참조 화상에 있는 픽셀을 상기 적어도 하나의 다른 화상에 있는 각 픽셀로 이동시키거나 또는 상기 적어도 하나의 다른 화상에 있는 상기 각 픽셀을 상기 참조 화상에 있는 상기 픽셀로 하나 이상의 가역 변환을 포함하는 것인 장치.
  5. 제1항에 있어서, 상기 움직임 파라미터는 화상 그룹에 기초하여 추정되는 것인 장치.
  6. 제1항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상을 복수의 블록으로 분할하고 상기 복수의 블록 각각에 대해 각 움직임 모델을 추정하는 블록 기반 움직임 접근법을 사용하여 추정되는 것인 장치.
  7. 제1항에 있어서, 상기 화상 워핑 공정은 상기 복수의 화상에 포함된 화상 그룹 중에서의 참조 화상을 상기 화상 그룹 중에서의 비참조 화상을 정렬하는 것인 장치.
  8. 움직임을 가지는 입력 비디오 시퀀스에 대한 움직임 파라미터를 추정하는 단계(715)로서, 상기 입력 비디오 시퀀스는 복수의 화상을 포함하는 것인 상기 추정하는 단계(715);
    상기 움직임 파라미터에 기초하여 상기 움직임의 양을 감소시키는 것에 의해 상기 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 수행하는 단계(725); 및
    상기 비디오 시퀀스의 상기 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하는 단계(735)를 포함하되,
    상기 하나 이상의 고해상도 대체 패치 화상은 상기 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체하기 위한 것인 방법.
  9. 제8항에 있어서, 상기 샘플 기반 초해상도를 수행하는 단계(735)는 상기 입력 비디오 시퀀스로부터 하나 이상의 다운사이징된 화상을 생성하는 단계를 포함하고, 상기 하나 이상의 다운사이징된 화상은 상기 복수의 화상 중 하나 이상의 화상에 각각 대응하며 상기 입력 비디오 시퀀스를 재구성하는데 사용하는 것인 방법.
  10. 제8항에 있어서, 상기 방법은 비디오 인코더에서 수행되는 것인 방법.
  11. 제8항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상 중에서 참조 화상과 적어도 하나의 다른 화상 사이에 전체 움직임을 모델링하는 평면 움직임 모델을 사용하여 추정되고, 상기 전체 움직임은 상기 참조 화상에 있는 픽셀을 상기 적어도 하나의 다른 화상에 있는 각 공동 위치된 픽셀로 이동시키거나 또는 상기 적어도 하나의 다른 화상에 있는 상기 공동 위치된 픽셀을 상기 참조 화상에 있는 상기 픽셀로 이동시키는 하나 이상의 가역 변환을 포함하는 것인 방법.
  12. 제8항에 있어서, 상기 움직임 파라미터는 화상 그룹에 기초하여 추정되는 것인 방법.
  13. 제8항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상을 복수의 블록으로 분할하고 상기 복수의 블록 각각에 대해 각 움직임 모델을 추정하는 블록 기반 움직임 접근법을 사용하여 추정되는 것인 방법.
  14. 제8항에 있어서, 상기 화상 워핑 공정은 상기 복수의 화상에 포함된 화상 그룹 중에서의 참조 화상을 상기 화상 그룹 중에서의 비참조 화상과 정렬하는 것인 방법.
  15. 움직임을 가지는 입력 비디오 시퀀스에 대한 움직임 파라미터를 추정하는 수단(510)으로서, 상기 입력 비디오 시퀀스는 복수의 화상을 포함하는 것인 상기 추정 수단(510);
    상기 움직임 파라미터에 기초하여 상기 움직임의 양을 감소시키는 것에 의해 상기 입력 비디오 시퀀스의 정적 버전을 제공하기 위해 상기 복수의 화상 중 하나 이상의 화상을 변환하는 화상 워핑 공정을 수행하는 수단(520); 및
    상기 비디오 시퀀스의 상기 정적 버전으로부터 하나 이상의 고해상도 대체 패치 화상을 생성하기 위해 샘플 기반 초해상도를 수행하는 수단(530)을 포함하되,
    상기 하나 이상의 고해상도 대체 패치 화상은 상기 입력 비디오 시퀀스의 재구성 동안 하나 이상의 저해상도 패치 화상을 대체하기 위한 것인 장치.
  16. 제15항에 있어서, 상기 샘플 기반 초해상도를 수행하는 수단(530)은 상기 입력 비디오 시퀀스로부터 하나 이상의 다운사이징된 화상을 더 생성하며, 사익 하나 이상의 다운사이징된 화상은 상기 복수의 화상 중 하나 이상의 화상에 각각 대응하고 상기 입력 비디오 시퀀스를 재구성하는데 사용하는 것인 장치.
  17. 제15항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상 중에서 참조 화상과 적어도 하나의 다른 화상 사이에 전체 움직임을 모델링하는 평면 움직임 모델을 사용하여 추정되고, 상기 전체 움직임은 상기 참조 화상에 있는 픽셀을 상기 적어도 하나의 다른 화상에 있는 각 공동 위치된 픽셀로 이동시키거나 또는 상기 적어도 하나의 다른 화상에 있는 상기 공동 위치된 픽셀을 상기 참조 화상에 있는 상기 픽셀로 이동시키는 하나 이상의 가역 변환을 포함하는 것인 장치.
  18. 제15항에 있어서, 상기 움직임 파라미터는 화상 그룹에 기초하여 추정되는 것인 장치.
  19. 제15항에 있어서, 상기 움직임 파라미터는 상기 복수의 화상을 복수의 블록으로 분할하고 상기 복수의 블록 각각에 대해 각 움직임 모델을 추정하는 블록 기반 움직임 접근법을 사용하여 추정되는 것인 장치.
  20. 제15항에 있어서, 상기 화상 워핑 공정은 상기 복수의 화상에 포함된 화상 그룹 중에서의 참조 화상을 상기 화상 그룹 중에서의 비참조 화상과 정렬하는 것인 장치.
KR1020137009099A 2010-09-10 2011-09-09 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 KR101878515B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40308610P 2010-09-10 2010-09-10
US61/403,086 2010-09-10
PCT/US2011/050913 WO2012033962A2 (en) 2010-09-10 2011-09-09 Methods and apparatus for encoding video signals using motion compensated example-based super-resolution for video compression

Publications (2)

Publication Number Publication Date
KR20130143566A true KR20130143566A (ko) 2013-12-31
KR101878515B1 KR101878515B1 (ko) 2018-07-13

Family

ID=44652031

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137006098A KR101906614B1 (ko) 2010-09-10 2011-09-09 모션 보상 예제 기반 초해상도를 사용하는 비디오 디코딩
KR1020137009099A KR101878515B1 (ko) 2010-09-10 2011-09-09 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137006098A KR101906614B1 (ko) 2010-09-10 2011-09-09 모션 보상 예제 기반 초해상도를 사용하는 비디오 디코딩

Country Status (7)

Country Link
US (2) US20130163673A1 (ko)
EP (2) EP2614642A2 (ko)
JP (2) JP2013537381A (ko)
KR (2) KR101906614B1 (ko)
CN (2) CN103141092B (ko)
BR (1) BR112013004107A2 (ko)
WO (2) WO2012033963A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011090798A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
EP2526698A1 (en) 2010-01-22 2012-11-28 Thomson Licensing Methods and apparatus for sampling -based super resolution video encoding and decoding
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2013105946A1 (en) * 2012-01-11 2013-07-18 Thomson Licensing Motion compensating transformation for video coding
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
US9774865B2 (en) * 2013-12-16 2017-09-26 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution
JP6986721B2 (ja) * 2014-03-18 2021-12-22 パナソニックＩｐマネジメント株式会社 復号装置及び符号化装置
CN106056540A (zh) * 2016-07-08 2016-10-26 北京邮电大学 基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
CA3049732C (en) * 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
CN111882486B (zh) * 2020-06-21 2023-03-10 南开大学 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法
CN118283201B (zh) * 2024-06-03 2024-10-15 上海蜜度科技股份有限公司 视频合成方法、系统、存储介质及电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10711A (en) 1854-03-28 Improvement in furnaces for zinc-white
US11711A (en) 1854-09-19 William h
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7386049B2 (en) * 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
AU2002951574A0 (en) * 2002-09-20 2002-10-03 Unisearch Limited Method of signalling motion information for efficient scalable video compression
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
US7218796B2 (en) * 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
US7933464B2 (en) * 2006-10-17 2011-04-26 Sri International Scene-based non-uniformity correction and enhancement method using super-resolution
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
WO2010122502A1 (en) * 2009-04-20 2010-10-28 Yeda Research And Development Co. Ltd. Super-resolution from a single signal
CN101551903A (zh) * 2009-05-11 2009-10-07 天津大学 步态识别中的超分辨率图像恢复方法
WO2011090798A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Data pruning for video compression using example-based super-resolution

Also Published As

Publication number Publication date
JP2013537381A (ja) 2013-09-30
EP2614642A2 (en) 2013-07-17
BR112013004107A2 (pt) 2016-06-14
KR101878515B1 (ko) 2018-07-13
WO2012033963A8 (en) 2012-07-19
KR20130105827A (ko) 2013-09-26
US20130163673A1 (en) 2013-06-27
CN103210645A (zh) 2013-07-17
WO2012033962A2 (en) 2012-03-15
CN103141092A (zh) 2013-06-05
JP6042813B2 (ja) 2016-12-14
WO2012033963A2 (en) 2012-03-15
CN103141092B (zh) 2016-11-16
EP2614641A2 (en) 2013-07-17
CN103210645B (zh) 2016-09-07
JP2013537380A (ja) 2013-09-30
KR101906614B1 (ko) 2018-10-10
WO2012033962A3 (en) 2012-09-20
WO2012033963A3 (en) 2012-09-27
US20130163676A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101878515B1 (ko) 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩
Agustsson et al. Scale-space flow for end-to-end optimized video compression
JP2013537381A5 (ko)
KR101789845B1 (ko) 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR101885633B1 (ko) 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩
KR101838320B1 (ko) 예시-기반 데이터 프루닝을 이용한 비디오 디코딩
JP2013541276A5 (ko)
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
EP3146719A1 (en) Re-encoding image sets using frequency-domain differences
KR20210024624A (ko) 이미지 인코딩 방법, 디코딩방법, 인코더 및 디코더
KR20120117613A (ko) 동영상 부호화 장치 및 방법
Guo et al. Motion matters: A novel framework for compressing surveillance videos
JP2012175424A (ja) 符号化処理装置および符号化処理方法
JP5938424B2 (ja) 画像ブロックを再構成および符号化する方法
KR102127212B1 (ko) 다시점 영상 정보의 복호화 방법 및 장치
WO2024006167A1 (en) Inter coding using deep learning in video compression
JP6156489B2 (ja) 画像符号化装置、画像符号化方法、及び撮像装置
JP2005184114A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2005175943A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2005167601A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant