KR101883265B1 - 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치 - Google Patents

패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치 Download PDF

Info

Publication number
KR101883265B1
KR101883265B1 KR1020127022967A KR20127022967A KR101883265B1 KR 101883265 B1 KR101883265 B1 KR 101883265B1 KR 1020127022967 A KR1020127022967 A KR 1020127022967A KR 20127022967 A KR20127022967 A KR 20127022967A KR 101883265 B1 KR101883265 B1 KR 101883265B1
Authority
KR
South Korea
Prior art keywords
patches
patch
high resolution
video sequence
input video
Prior art date
Application number
KR1020127022967A
Other languages
English (en)
Other versions
KR20120123132A (ko
Inventor
동-칭 장
호안 라치
시타람 바가바티
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120123132A publication Critical patent/KR20120123132A/ko
Application granted granted Critical
Publication of KR101883265B1 publication Critical patent/KR101883265B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치가 제공된다. 방법은 입력 비디오 시퀀스로부터 하나 이상의 고 해상도 대체 패치들을 생성하고(1320), 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것이다. 이러한 생성 단계는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 하나 이상의 고 해상도 대체 패치들을 생성하고, 패치 공간 시프팅 프로세스는 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리 아티팩트들을 감소시키기 위한 것이며, 데이터는, 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 하나 이상의 고 해상도 대체 패치들이 생성되도록, 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이다.

Description

패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치{METHODS AND APPARATUS FOR REDUCING VECTOR QUANTIZATION ERROR THROUGH PATCH SHIFTING}
관련 출원서들에 대한 교차-참조
본 출원서는 그 전체가 여기에 참고로 통합되고 2010년 2월 2일에 출원된 미국 예비 출원 일련번호 61/300,551의 이점을 청구한다.
<기술분야>
본 원리들은 일반적으로는 벡터 양자화에 관한 것으로, 특히 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치에 관한 것이다.
우리는 이전에, 비디오 데이터 프루닝(pruning)을 위한 예제-기반 슈퍼 해상도 방법(이하에서는, "예제-기반 슈퍼 해상도 방법"으로 지칭됨) 및 장치를 개발했었다. 예제-기반 슈퍼 해상도는 입력 픽쳐의 저 해상도 패치들을 질의 키워드들로서 이용하여 패치 라이브러리에서 고 해상도 패치들을 찾아내고, 저 해상도 입력 픽쳐의 저 해상도 패치들을 검색된 고 해상도 패치들로 대체함으로써, 저-해상도 픽쳐를 고-해상도 픽쳐로 변환하는 슈퍼 해상도 기술이다.
추가적인 세부사항으로는, 이러한 예제-기반 슈퍼 해상도 방법에서, 인코더 측의 고-해상도 비디오 프레임들은 이미지 패치들 또는 블록들(예를 들면, 예제-기반 슈퍼 해상도 방법의 구현에서, 우리는 16 x 16 픽셀 블록들을 이용한다)로 분할된다. 그리고나서, 이미지 패치들은 다수의 클러스터들로 그룹화된다. 클러스터들의 대표 패치들은 다운사이징된 프레임들과 함께 디코더 측에 전송된다. 디코더 측에서는, 대표 패치들이 추출된다. 저-해상도 비디오들의 패치들은 고-해상도 대표 패치들로 대체되어, 복원된 고-해상도 비디오를 생성한다.
도 1을 참조하면, 예제-기반 슈퍼 해상도 시스템/방법의 하이 레벨 블록도는 참조번호 100에 의해 개괄적으로 표시되어 있다. 고 해상도(HR) 프레임들이 입력되어 단계 110에서 인코더 측 전-처리를 받아(인코더 측 프리-프로세서(151)에 의함) 다운-사이징된 프레임들 및 패치 프레임들을 획득한다. 다운-사이징된 프레임들 및 패치 프레임들은 단계 115에서 인코딩된다(인코더(152)에 의함). 인코딩된 다운사이징된 프레임들 및 패치 프레임들은 단계 120에서 디코딩된다(디코더(153)에 의함). 로우(low) 다운-사이징된 프레임 및 패치 프레임들은 슈퍼 해상도 후-처리를 받아(슈퍼 해상도 포스트 프로세서(154)에 의함), 단계 125에서 고 해상도 출력 프레임들을 제공한다.
도 2를 참조하면, 도 1의 예제-기반 슈퍼 해상도 시스템/방법에 대응하는 인코더 측 전-처리의 하이 레벨 블록도는 참조번호 200에 의해 개괄적으로 표시되어 있다. 입력 비디오가 단계 210에서 패치 추출 및 클러스터링을 받아(패치 추출기 및 클러스터러(251)에 의함), 클러스터링된 패치들을 획득한다. 더구나, 입력 비디오가 단계 215에서 다운사이징을 받아(다운사이저(252)에 의함) 그로부터 다운사이징된 프레임들을 출력한다. 클러스터링된 패치들이 단계 220에서 패치 프레임들로 팩킹되어(패치 팩커(252)에 의함) 그로부터 (팩킹된) 패치 프레임들을 출력한다.
도 3을 참조하면, 도 1의 예제-기반 슈퍼 해상도 시스템/방법에 대응하는 디코더 측 후-처리의 하이 레벨 블록도는 참조번호 300에 의해 개괄적으로 표시되어 있다. 디코딩된 패치 프레임들이 단계 310에서 패치 추출 및 처리를 받아(패치 추출기 및 클러스터러(351)에 의함), 처리된 패치들을 획득한다. 처리된 패치들은 단계 315에서 저장된다(패치 라이브러리(352)에 의함). 디코딩된 다운-사이징된 프레임들이 단계 320에서 업사이징을 받아(업사이저(353)에 의함), 업사이징된 프레임들을 획득한다. 업사이징된 프레임들은 단계 325에서 패치 검색 및 대체를 받아(패치 검색기 및 대체기(354)에 의함), 대체 패치들을 획득한다. 대체 패치들은 단계 330에서 후-처리를 받아(포스트-프로세서(355)에 의함), 고 해상도 프레임들을 획득한다.
도 1-3과 관련된 예제-기반 슈퍼 해상도 시스템/방법의 핵심 컴포넌트들은 패치 클러스터링 및 패치 대체이다. 프로세스는 벡터 양자화 기반 압축과 일부 공통성들을 가지고 있다. 시스템이 정적 장면들을 가지는 비디오들에 적용되는 경우에, 비디오들은 매우 잘 복원될 수 있다. 그러나, 입력 비디오들이 모션을 가지고 있는 경우에, 복원된 비디오들에서 지터링 아티팩트들이 관찰될 수 있다. 아티팩트들은 패치 클러스터링 및 패치 대체 프로세스들에 의해 유발된다. 도 4를 참조하면, 모션에 의해 유발되는 양자화 에러는 참조 번호 400에 의해 일반적으로 표시된다. 오브젝트(모션 상태임)의 양자화 에러는 6개의 프레임들(프레임 1 내지 프레임 6으로 지정됨)에서 캡쳐된다. 오브젝트(모션 상태임)는 도 4에서 곡선에 의해 표시된다. 양자화 에러(400)는 도 4의 상부 부분, 중간 부분 및 하부 부분에 대해 도시되어 있다. 상부 부분에서, 입력 비디오 시퀀스의 연속적인 프레임들로부터의 동일-로케이팅된 입력 패치들(410)이 도시되어 있다. 중간 부분에서, 클러스터들에 대응하는 대표 패치들(420)이 도시되어 있다. 특히, 중간 부분은 클러스터 1의 대표 패치(421), 및 클러스터 2의 대표 패치(422)를 도시하고 있다. 하부 부분에서, 복원된 비디오 시퀀스의 패치들(430)이 도시되어 있다. 비디오 시퀀스에서 오브젝트 모션은 결과적으로 시프팅된 오브젝트 에지들을 가지는 패치들의 시퀀스로 나타난다. 연속적인 프레임들의 시퀀스에서 패치들이 매우 유사하게 보이므로, 이들은 하나의 클러스터(또는 일부 다른 작은 개수의 클러스터들)로 그룹화되고 단일 대표 패치(또는 일부 다른 작은 개수의 대표 패치들)로서 표현되어 있다. 클러스터들의 개수는 처리될 비디오 시퀀스에서 연속적인 프레임들의 개수보다 명백하게 작으므로, 우리는 상기 문장에서 용어 "작은(low)"을 이용한다. 복원 프로세스 동안에, 대응하는 저-해상도 패치들은 클러스터와 연관된 대표 패치들로 대체된다. 상이한 공간적 시프트들을 가지는 패치들이 동일한 패치로 대체되므로, 복원된 비디오의 오브젝트들의 에지들이 프레임들에 걸쳐 점프하고, 결과적으로 지터링 아티팩트들로 나타난다.
유의할 점은, 상기 언급된 예제-기반 슈퍼 해상도 방법 및 장치뿐만 아니라, 다른 예제-기반 슈퍼 해상도 접근법들이 또한 존재한다는 점이다. 그러므로, 다른 예제-기반 슈퍼 해상도 접근법들에 대해, 유의할 점은, 패치-대체 프로세스의 아티팩트 문제가 고려되지 않았다는다는 점이다. 하나의 이유는, 제1 종래 기술 접근법에 따른 예제-기반 슈퍼 해상도 알고리즘은 비디오들보다는 이미지들을 위해 개발되었기 때문이다. 또한, 유사한 시스템들뿐만 아니라 상기 언급된 제1 종래 기술 접근법에 대응하는 시스템은 압축보다는 슈퍼 해상도를 위해 개발되었으므로, 이들은 클러스터링 컴포넌트를 가지지 않으며, 따라서 그들 시스템들의 아티팩트 문제는 도 1-3에 대해 상기 설명된 비디오 데이터 프루닝(pruning)을 위한 예제-기반 슈퍼 해상도 방법만큼 심각하지 않을 수 있다.
요약하면, 데이터 프루닝을 위한 예제-기반 슈퍼 해상도는 고-해상도(또한 여기에서 "고-res"로 지칭됨) 예제 패치들 및 저-해상도(또한, 여기에서 "저-res"로 지칭됨) 프레임들을 디코더에게 전송한다. 디코더는 저-해상도 패치들을 예제 고-해상도 패치들로 대체함으로써 고-해상도 프레임들을 복원한다(도 3 참조). 그러나, 모션을 가지는 비디오들에 대해, 패치 대체 프로세스는 결과적으로 벡터 양자화(VQ) 에러들로 인한 지터링 아티팩트들로 종종 나타난다.
종래 기술의 이들 및 다른 결점들 및 단점들은 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치들에 관한 본 원리들에 의해 고려된다.
본 원리들의 양태에 따르면, 장치가 제공된다. 장치는 입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하기 위한 패치 발생기를 포함한다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것이다. 패치 발생기는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 하나 이상의 고 해상도 대체 패치들을 생성한다. 패치 공간 시프팅 프로세스는 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리(jittery) 아티팩트들을 감소시키기 위한 것이다. 데이터는, 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 하나 이상의 고 해상도 대체 패치들이 생성되도록, 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이다.
본 원리들의 또 하나의 양태에 따르면, 프로세서를 이용하여 수행된 방법이 제공된다. 방법은 입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하는 단계를 포함한다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것이다. 생성 단계는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 하나 이상의 고 해상도 대체 패치들을 생성한다. 패치 공간 시프팅 프로세스는 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리 아티팩트들을 감소시키기 위한 것이다. 데이터는, 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 하나 이상의 고 해상도 대체 패치들이 생성되도록, 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이다.
본 원리들의 또 다른 하나의 양태에 따르면, 장치가 제공된다. 장치는 모션-유도된 벡터 양자화 에러를 가지는 하나 이상의 고 해상도 대체 패치들을 수신하고 모션-유도된 벡터 양자화 에러에 의해 유발된 지터리 아티팩트들을 감소시키도록 하나 이상의 고 해상도 대체 패치들을 적어도 공간적으로 시프팅하기 위한 패치 시프터를 포함한다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스에 대응하고 그로부터 도출된다. 장치는 패치 시프터와 신호 통신 상태이고, 입력 비디오 시퀀스에 대응하고 그로부터 도출되는 하나 이상의 공간적으로 시프팅된 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 이용하여 입력 비디오 시퀀스를 재구성하기 위한 픽쳐 재구성 디바이스를 더 포함한다.
본 원리들의 또 다른 하나의 양태에 따르면, 프로세서를 이용하여 수행되는 방법이 제공된다. 방법은 모션-유도된 벡터 양자화 에러를 가지는 하나 이상의 고 해상도 대체 패치들을 수신하는 단계를 포함한다. 방법은 모션-유도된 벡터 양자화 에러에 의해 유발된 지터리 아티팩트들을 감소시키도록 하나 이상의 고 해상도 대체 패치들을 적어도 공간적으로 시프팅하는 단계를 더 포함한다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스에 대응하고 그로부터 도출된다. 방법은 또한 입력 비디오 시퀀스에 대응하고 그로부터 도출되는 하나 이상의 공간적으로 시프팅된 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 이용하여 상기 입력 비디오 시퀀스를 재구성하는 단계를 포함한다.
본 원리들의 이들 및 다른 양태들, 특징들 및 장점들은 첨부된 도면들과 관련하여 읽어져야 되는 예로 든 실시예들의 이하의 상세한 설명으로부터 자명하게 될 것이다.
본 원리들은 이하의 예로 든 도면들에 따라 더 잘 이해될 수 있다.
도 1은 종래 기술에 따라, 예제-기반 슈퍼 해상도 시스템/방법을 도시하는 하이 레벨 블록도이다.
도 2는 종래 기술에 따라, 도 1의 예제-기반 슈퍼 해상도 시스템/방법에 대응하는 인코더 측 전-처리를 도시하는 하이 레벨 블록도이다.
도 3은 종래 기술에 따라, 도 1의 예제-기반 슈퍼 해상도 시스템/방법에 대응하는 디코더 측 후-처리를 도시하는 하이 레벨 블록도이다.
도 4는 본 원리들이 적용될 수 있는, 모션에 의해 유발되는 양자화 에러를 도시하는 다이어그램이다.
도 5는 본 원리들의 하나의 실시예에 따라, 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 예로 든 시스템을 도시하는 블록도이다.
도 6은 본 원리들의 하나의 실시예에 따라, 본 원리들이 적용될 수 있는 예로 든 비디오 인코더를 도시하는 블록도이다.
도 7은 본 원리들의 하나의 실시예에 따라, 본 원리들이 적용될 수 있는 예로 든 비디오 디코더를 도시하는 블록도이다.
도 8은 본 원리들의 하나의 실시예에 따라, 확장된 패치를 도시하는 블록도이다.
도 9는 본 원리들의 하나의 실시예에 따라, 본 원리들이 적용될 수 있는 포워드 모션 벡터를 도시하는 다이어그램이다.
도 10은 본 원리들의 하나의 실시예에 따라, 본 원리들이 적용될 수 있는 백워드 모션 벡터를 도시하는 다이어그램이다.
도 11은 본 원리들의 하나의 실시예에 따라, 패치 시프팅을 위한 예로 든 방법을 도시하는 흐름도이다.
도 12는 본 원리들의 하나의 실시예에 따라, 개선된 대표 패치들을 생성하기 위한 예로 든 방법을 도시하는 흐름도이다.
도 13은 본 원리들의 하나의 실시예에 따라, 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 예로 든 방법을 도시하는 흐름도이다.
도 14는 본 원리들의 하나의 실시예에 따라, 패치 라이브러리를 생성하기 위한 예로 든 방법을 도시하는 흐름도이다.
도 15는 본 원리들의 하나의 실시예에 따라, 패치 시프팅을 통해 벡터 양자화 벡터를 감소시키기 위한 또 하나의 예로 든 방법을 도시하는 흐름도이다.
본 원리들은 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치에 관한 것이다.
본 설명은 본 원리들을 예시하고 있다. 따라서, 본 기술분야의 숙련자들이라면, 여기에 명시적으로 기재되어 있거나 도시되어 있지 않더라도, 본 원리들을 실시하고 그 사상 및 범주 내에 포함되는 다양한 배열들을 고안할 수 있을 것이라는 것은 자명하다.
여기에 인용된 모든 예들 및 조건어는 발명자(들)에 의해 본 기술을 진전시키는데 공헌되는 본 원리들 및 개념들을 독자가 이해하는 것을 도우려는 학습 목적들을 위한 것이고, 그러한 구체적으로 인용된 예들 및 조건들에 대한 제한이 없는 것으로 해석되어야 된다.
더구나, 그 특정 예들뿐만 아니라, 본 원리들의 원리들, 양태들, 및 실시예들을 인용하는 본 명세서의 모든 언급들은 그 구조적 및 기능적 등가물들 양쪽 모두를 포함하려는 것이다. 추가로, 그러한 등가물들은 장래에 개발되는 등가물들, 즉 구조에 관계없이 동일한 기능을 수행하도록 개발되는 임의의 구성요소들뿐만 아니라 현재 주지된 등가물들 양쪽 모두를 포함하려는 것이다.
그러므로, 예를 들면, 본 기술분야의 숙련자들이라면, 여기에 프리젠팅된 블록도들은 본 원리들을 구현하는 예시적 회로의 개념적 뷰들을 표현한다는 것을 잘 알고 있을 것이다. 유사하게, 임의의 플로우차트들, 흐름도들, 상태 천이도들, 의사코드, 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되고 따라서 컴퓨터 또는 프로세서 - 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없음 - 에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 것도 알고 있을 것이다.
도면들에 도시된 다양한 구성요소들의 기능들은 적절한 소프트웨어와 연관된어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공되는 경우에, 기능들은 단일 전용 프로세서에 의해, 단일 공유된 프로세서에 의해, 또는 그 일부가 공유될 수 있는 복수의 개별적인 프로세서들에 의해 제공될 수 있다. 더구나, 용어 "프로세서" 또는 "컨트롤러"의 명시적인 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되고, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 스토리지를 제한없이 내재적으로 포함할 수 있다.
통상적인 및/또는 관례적인 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 스위치들은 단지 개념적이다. 그들 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 컨트롤 및 전용 로직의 인터액션을 통해, 또는 심지어 수동으로 수행될 수 있고, 특정 기술은 컨텍스트로부터 더 구체적으로 이해되는 대로 구현자에 의해 선택가능하다.
본 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 임의의 구성요소는 예를 들면, a) 그 기능을 수행하는 회로 구성요소들의 조합, 또는 b) 소프트웨어가 기능을 수행하도록 실행하기 위한 적절한 회로와 조합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태로 된 소프트웨어를 포함하여, 그 기능을 수행하는 임의의 방식을 포함하려는 것이다. 그러한 청구항들에 의해 정의된 본 원리들은 다양한 인용된 수단에 의해 제공된 기능들이 청구항들이 요구하는 방식으로 조합되고 합쳐진다는 사실에 있다. 따라서, 이들 기능들을 제공할 수 있는 임의의 수단은 여기에 도시된 것들과 등가적인 것으로 간주된다.
명세서에서 본 원리들의 "하나의 실시예" 또는 "실시예", 그리고 그 변동들에 대한 참조도, 그 실시예와 관련하여 기재된 특정 특징, 구조, 특성, 등이 본 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 그러므로, 본 명세서 전체에 걸쳐 다양한 장소들에서 나타나는 구문 "하나의 실시예에서", 또는 "실시예에서"뿐만 아니라 그 임의의 다른 변동들의 출현들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
이하 "/", " 및/또는", 및 " 중 적어도 하나"의 임의의 하나의 이용은, 예를 들면 "A/B", "A 및/또는 B", 및 "A 및 B 중 적어도 하나"의 경우들에서, 제1 리스팅된 옵션 (A)만의 선택, 또는 제2 리스팅된 옵션 (B)만의 선택, 또는 양쪽 옵션들 (A 및 B)의 선택을 포함하려는 것이라는 것은 자명하다. 하나의 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 그러한 구문들은 제1 리스팅된 옵션 (A)만의 선택, 또는 제2 리스팅된 옵션 (B)만의 선택, 또는 제3 리스팅된 옵션 (C)만의 선택, 또는 제1 및 제2 리스팅된 옵션들(A 및 B)만의 선택, 또는 제1 및 제3 리스팅된 옵션들(A 및 C)만의 선택, 또는 제2 및 제3 리스팅된 옵션들(B 및 C)만의 선택, 또는 모든 3가지 옵션들(A 및 B 및 C)의 선택을 포함하려는 것이다. 이것은 본 기술분야 및 관련 기술분야의 통상의 기술자에게 자명한 바와 같이, 리스팅되는대로의 다수의 아이템들에 대해 확장될 수 있다.
또한, 여기에 이용되는 바와 같이, 단어들 "픽쳐"및 "이미지"는 상호교환가능하게 이용되고, 일반적으로는 정지 이미지 또는 비디오 시퀀스로부터의 픽쳐를 지칭한다. 그러나, 유의할 점은, 예제-기반 슈퍼 해상도에 대한 종래의 접근법들은 이미지들에 관한 것으로 비디오 시퀀스로부터의 픽쳐들에 관한 것은 아니라는 점이다. 주지된 바와 같이, 픽쳐는 하나의 프레임 또는 하나의 필드일 수 있다.
도 5를 참조하면, 패치 시프팅을 통해 벡터 양자화 벡터를 감소시키기 위한 예로 든 시스템은 참조번호 500에 의해 일반적으로 표시된다. 시스템(500)은 패치 팩커(510)의 입력과 신호 통신 상태에 있는 출력을 가지는 패치 발생기를 포함한다. 패치 팩커(510)의 출력은 인코더(515)의 입력과 신호 통신 상태로 접속된다. 인코더의 출력은 디코더(530)의 입력과 신호 통신 상태로 접속된다. 디코더(530)의 출력은 패치 추출기(535)의 입력과 신호 통신 상태로 접속된다. 패치 추출기(535)의 출력은 패치 라이브러리(550)의 제1 입력과 신호 통신 상태로 접속된다.
다운사이저(520)의 출력은 인코더(525)의 입력과 신호 통신 상태로 접속된다. 인코더(525)의 출력은 디코더(540)의 입력과 신호 통신 상태로 접속된다. 디코더(540)의 출력은 업사이저(545)의 입력과 신호 통신 상태로 접속된다. 업사이저(545)의 출력은 패치 검색기(555)의 입력과 신호 통신 상태로 접속된다. 패치 검색기(555)의 제1 출력은 패치 시프터(560)의 입력과 신호 통신 상태로 접속된다. 패치 검색기(444)의 제2 출력은 패치 라이브러리(550)의 제2 입력과 신호 통신 상태로 접속된다.
패치 발생기(505)의 입력 및 다운사이저(520)의 입력은 입력 픽쳐를 수신하기 위한, 시스템(500)에 대한 입력으로서 가용하다. 패치 시프터(560)의 출력은 고 해상도 픽쳐를 출력하기 위한, 시스템(500)의 출력으로서 가용하다.
인코더(525)와 디코더(540)의 사이뿐만 아니라, 인코더(515)와 디코더(530) 사이의 접속은, 인코더들(515, 525)로부터 디코더들(530, 540)에 정보를 통신하는데 필요한 대로, 일시적일 수 있다는 것은 자명할 것이다.
또한, 패치 발생기(505), 패치 팩커(510), 인코더(515), 다운사이저(520) 및 인코더(525)는 인코더 측에 관한 것인데 대해, 디코더(530), 패치 추출기(535), 패치 라이브러리(550), 디코더(540), 업사이저(545), 패치 검색기(555), 및 패치 시프터(560)는 디코더 측에 관한 것이라는 것은 자명하다.
또한, 패치 시프터(560)는 픽쳐 재구성 디바이스를 포함하는 것으로 간주될 수 있고, 여기에서 하나의 실시예에서 패치 시프터는 모션-유도된 벡터 양자화 에러를 가지는 하나 이상의 고 해상도 대체 패치들을 수신하고 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리(jittery) 아티팩트들을 감소시키도록 하나 이상의 고 해상도 대체 패치들을 적어도 공간적으로 시프팅한다는 것은 자명하다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스에 대응하고 그로부터 도출된다. 하나의 실시예에서 패치 시프터에 포함되는 것으로 가정되는 픽쳐 재구성 디바이스는 입력 비디오 시퀀스에 대응하고 이로부터 도출되는 하나 이상의 공간적으로 시프팅된 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 이용하여 입력 비디오 시퀀스를 재구성한다.
패치 발생기(505)는 추출된 패치들을 클러스터링하고 대표 패치들을 생성한다. 패치 팩커(510)는 대표 패치들을 패치 프레임들에 팩킹한다. 비디오 인코더들(515 및 525)은 패치 프레임들(패치 팩커(510)에 의해 제공됨) 및 다운사이징된 프레임들(다운사이저(520)에 의해 제공됨)을 각각 인코딩한다. 다운사이저(520)는 원래의 픽쳐를 디코더 측에 전송하기 위해 더 작은 크기로 다운사이징한다. 비디오 디코더들(530 및 540)은 (인코딩된) 패치 프레임들 및 (인코딩된) 다운사이징된 프레임들을 각각 디코딩한다. 패치 추출기(535)는 패치 프레임들로부터 패치들을 추출한다. 업사이저(545)는 디코딩된 다운사이징된 픽쳐를 업스케일링한다. 패치 검색기(555)는 패치 라이브러리에서 패치들을 검색하고, 픽쳐 내의 블록들을 발견된 패치들로 대체한다. 패치 시프터(560)는 패치들을 시프팅하여 벡터 양자화 에러를 정정한다.
도 6을 참조하면, 본 원리들이 적용될 수 있는 예로 든 비디오 인코더는 참조번호 600에 의해 일반적으로 표시된다. 비디오 인코더(600)는 조합기(685)의 비-반전 입력과 신호 통신 상태에 있는 출력을 가지는 프레임 순서화 버퍼(610)를 포함한다. 조합기(685)의 출력은 변환기 및 양자화기(625)의 제1 입력과 신호 통신 상태로 접속된다. 변환기 및 양자화기(625)의 출력은 엔트로피 인코더(645)의 제 1 입력 및 역 변환기 및 역 양자화기(650)의 제1 입력과 신호 통신 상태로 접속된다. 엔트로피 인코더(645)의 출력은 조합기(690)의 제1 비-반전 입력과 신호 통신 상태로 접속된다. 조합기(690)의 출력은 출력 버퍼(635)의 제1 입력과 신호 통신 상태로 접속된다.
인코더 컨트롤러(605)의 제1 출력은 프레임 순서화 버퍼(610)의 제2 입력, 역 변환기 및 역 양자화기(650)의 제2 입력, 픽쳐-타입 결정 모듈(615)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(620)의 제1 입력, 인트라 예측 모듈(660)의 제2 입력, 디블록킹 필터(665)의 제2 입력, 모션 보상기(670)의 제1 입력, 모션 추정기(675)의 제1 입력, 및 기준 픽쳐 버퍼(680)의 제2 입력과 신호 통신 상태로 접속된다.
인코더 컨트롤러(605)의 제2 출력은 부가적 인핸스먼트 정보(SEI) 삽입기(630)의 제1 입력, 변환기 및 양자화기(625)의 제2 입력, 엔트로피 코더(645)의 제2 입력, 출력 버퍼(635)의 제2 입력, 및 시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(640)의 입력과 신호 통신 상태로 접속된다.
SEI 삽입기(630)의 출력은 조합기(690)의 제2 비-반전 입력과 신호 통신 상태로 접속된다.
픽쳐-타입 결정 모듈(615)의 제1 출력은 프레임 순서화 버퍼(610)의 제3 입력과 신호 통신 상태로 접속된다. 픽쳐-타입 결정 모듈(615)의 제2 출력은 매크로블록-타입 결정 모듈(620)의 제2 입력과 신호 통신 상태로 접속된다.
시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(640)의 출력은 조합기(690)의 제3 비-반전 입력과 신호 통신 상태로 접속된다.
역 양자화기 및 역 변환기(650)의 출력은 조합기(619)의 제1 비-반전 입력과 신호 통신 상태로 접속된다. 조합기(619)의 출력은 인트라 예측 모듈(660)의 제1 입력, 및 디블록킹 필터(665)의 제1 입력과 신호 통신 상태로 접속된다. 디블록킹 필터(665)의 출력은 기준 픽쳐 버퍼(680)의 제1 입력과 신호 통신 상태로 접속된다. 기준 픽쳐 버퍼(680)의 출력은 모션 추정기(675)의 제2 입력, 및 모션 보상기(670)의 제3 입력과 신호 통신 상태로 접속된다. 모션 추정기(675)의 제1 출력은 모션 보상기(670)의 제2 입력과 신호 통신 상태로 접속된다. 모션 추정기(675)의 제2 출력은 엔트로피 코더(645)의 제3 입력과 신호 통신 상태로 접속된다.
모션 보상기(670)의 출력은 스위치(697)의 제1 입력과 신호 통신 상태로 접속된다. 인트라 예측 모듈(660)의 출력은 스위치(697)의 제2 입력과 신호 통신 상태로 접속된다. 매크로블록-타입 결정 모듈(620)의 출력은 스위치(697)의 제3 입력과 신호 통신 상태로 접속된다. 스위치(697)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교됨)이 모션 보상기(670) 또는 인트라 예측 모듈(660)에 의해 제공되어야 하는지 여부를 결정한다. 스위치(697)의 출력은 조합기(619)의 제2 비-반전 입력, 및 조합기(685)의 반전 입력과 신호 통신 상태로 접속된다.
프레임 순서화 버퍼(610)의 제1 입력, 및 인코더 컨트롤러(605)의 입력은 입력 픽쳐를 수신하기 위한, 인코더(600)의 입력들로서 가용하다. 더구나, 부가적 인핸스먼트 정보(SEI) 삽입기(630)의 제2 입력은 메타데이터를 수신하기 위한, 인코더(600)의 입력으로서 가용하다. 출력 버퍼(635)의 출력은 비트스트림을 출력하기 위한, 인코더(100)의 출력으로서 가용하다.
도 5로부터의 인코더들(515 및 525)의 하나 이상은 인코더(600)로서 구현될 수 있다는 것은 자명하다.
도 7을 참조하면, 본 원리들이 적용될 수 있는 예로 든 비디오 디코더가 참조번호 700에 의해 일반적으로 표시된다. 비디오 디코더(700)는 엔트로피 디코더(745)의 제1 입력과 신호 통신 상태로 접속된 출력을 가지는 입력 버퍼(710)를 포함한다. 엔트로피 디코더(745)의 제1 출력은 역 변환기 및 역 양자화기(750)의 제1 입력과 신호 통신 상태로 접속된다. 역 변환기 및 역 양자화기(750)의 출력은 조합기(725)의 제2 비-반전 입력과 신호 통신 상태로 접속된다. 조합기(725)의 출력은 디블록킹 필터(765)의 제2 입력, 및 인트라 예측 모듈(760)의 제1 입력과 신호 통신 상태로 접속된다. 디블록킹 필터(765)의 제2 출력은 기준 픽쳐 버퍼(780)의 제1 입력과 신호 통신 상태로 접속된다. 기준 픽쳐 버퍼(780)의 출력은 모션 보상기(770)의 제2 입력과 신호 통신 상태로 접속된다.
엔트로피 디코더(745)의 제2 출력은 모션 보상기(770)의 제3 입력, 디블록킹 필터(765)의 제1 입력, 및 인트라 예측기(760)의 제3 입력과 신호 통신 상태로 접속된다. 엔트로피 디코더(745)의 제3 출력은 디코더 컨트롤러(705)의 입력과 신호 통신 상태로 접속된다. 디코더 컨트롤러(705)의 제1 출력은 엔트로피 디코더(745)의 제2 입력과 신호 통신 상태로 접속된다. 디코더 컨트롤러(705)의 제2 출력은 역 변환기 및 역 양자화기(750)의 제2 입력과 신호 통신 상태로 접속된다. 디코더 컨트롤러(705)의 제3 출력은 디블록킹 필터(765)의 제3 입력과 신호 통신 상태로 접속된다. 디코더 컨트롤러(705)의 제4 출력은 인트라 예측 모듈(760)의 제2 입력, 모션 보상기(770)의 제1 입력, 및 기준 픽쳐 버퍼(780)의 제2 입력과 신호 통신 상태로 접속된다.
모션 보상기(770)의 출력은 스위치(797)의 제1 입력과 신호 통신 상태로 접속된다. 인트라 예측 모듈(760)의 출력은 스위치(797)의 제2 입력과 신호 통신 상태로 접속된다. 스위치(797)의 출력은 조합기(725)의 제1 비-반전 입력과 신호 통신 상태로 접속된다.
입력 버퍼(710)의 입력은 입력 비트스트림을 수신하기 위한, 디코더(700)의 입력으로서 가용하다. 디블록킹 필터(765)의 제1 출력은 출력 픽쳐를 출력하기 위한, 디코더(700)의 출력으로서 가용하다.
도 5로부터의 디코더들(530 및 540)의 하나 이상은 디코더(700)로서 구현될 수 있다는 것은 자명하다.
상기 언급된 바와 같이, 본 원리들은 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치에 관한 것이다. 더 상세하게는, 적어도 하나의 실시예에서, 우리는 대체 고-해상도 패치들을 시프팅하고 복원된 고-해상도 비디오의 시공간적 스무드니스를 시행함으로써 벡터 양자화 에러에 의해 유발되는 지터링 아티팩트들을 감소시킨다.
본 방법은 슈퍼 해상도 기반 데이터 프루닝 프레임워크(상기 도 1-3과 관련하여 설명된 바와 같음)에 대해 특별히 개발되었지만, 알고리즘은 벡터 양자화, 및 패치 대체와 관련된 모든 시스템들에 대해 적용가능하다. 예를 들면, 본 원리들은 비디오 에피톰(epitome) 및 전통적인 벡터 양자화 기반 이미지/비디오 압축 시스템들뿐만 아니라 상기 언급된 제1 종래 기술 접근법(및 유사한 접근법들)의 예제-기반 이미지 슈퍼 해상도에도 적용될 수 있다. 에피톰 기반 접근법들은 이미지(또는 비디오)를 패치들로 분할하고, 대표 패치들을 포함하는 작은 미니어쳐, 및 이미지 내의 패치들을 에피톰 미니어쳐의 것들에 매핑하는 주관적 맵으로서 이미지를 표현한다. 작은 미니어쳐(즉, 에피톰)는 원래 이미지 또는 비디오의 압축된 버전으로 간주될 수 있고, 따라서, 에피톰은 잠재적으로 압축 목적을 위해 이용될 수 있다.
일반성을 위해, 우리는 이하의 2개의 컴포넌트들, (1) 예제(또는 대표) 패치 생성, 및 (2) 패치 대체를 포함하는 추상적인 시스템에 초점을 맞춘다. 상이한 어플리케이션들에서, 그러한 패러다임은 변동들을 가질 수 있다. 예를 들면, 상기 언급된 제1 종래기술 접근법에서, 예제 패치 생성은 클러스터링없이 이미지 데이터베이스로부터 패치들을 수집함으로써 실현된다. 우리의 예제-기반 슈퍼 해상도 방법에서(물론 일부 다른 벡터 양자화 기반 압축 스킴들에서도), 예제(또는 대표) 패치들은 입력 비디오들/이미지들로부터 추출된 패치들을 클러스터링함으로써 생성된다.
도 13을 참조하면, 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 예로 든 방법은 참조번호 1300에 의해 일반적으로 표시된다. 방법(1300)은 도 5에 도시된 인코더 측에서 수행되는 기능들에 대응한다. 방법(1300)은 제어를 기능 블록(1310) 및 기능 블록(1330)에 전달하는 시작 블록(1305)을 포함한다. 기능 블록(1310)은 고 해상도 패치들을 추출하고, 제어를 기능 블록(1315)으로 전달한다. 기능 블록(1315)은 고 해상도 패치들을 클러스터링하고, 각 클러스터에 대한 대표 고 해상도 패치들을 획득하며, 제어를 기능 블록(1320)으로 전달한다. 기능 블록(1320)은 대표 고 해상도 패치들을 고 해상도 프레임들에 팩킹하고, 제어를 기능 블록(1325)으로 전달한다. 기능 블록(1325)은 고 해상도 패치 프레임들 및 패치 크기 도출 데이터를 인코딩하고, 제어를 종료 블록(1399)으로 전달한다. 기능 블록(1330)은 원래의 픽쳐를 다운사이징하여 다운사이징된 픽쳐를 획득하고, 제어를 기능 블록(1335)으로 전달한다. 기능 블록(1335)은 다운사이징된 픽쳐를 인코딩하고, 제어를 종료 블록(1399)으로 전달한다.
도 14를 참조하면, 패치 라이브러리를 생성하기 위한 예로 든 방법은 참조번호 1400에 의해 일반적으로 표시된다. 방법(1400)은 제어를 기능 블록(1410)으로 전달하는 시작 블록(1405)을 포함한다. 기능 블록(1410)은 고 해상도 패치 프레임들을 수신하여 디코딩하고, 제어를 기능 블록(1415)으로 전달한다. 기능 블록(1415)은 패치 프레임들로부터 고 해상도 패치들을 추출하고, 제어를 기능 블록(1420)으로 전달한다. 기능 블록(1420)은 추출된 고 해상도 패치들을 이용하여 패치 라이브러리를 생성하고, 제어를 종료 블록(1499)으로 전달한다.
도 15를 참조하면, 패치 시프팅을 통해 벡터 양자화 벡터를 감소시키기 위한 또 하나의 예로 든 방법은 참조번호 1500에 의해 개괄적으로 표시되어 있다. 방법(1500)은 도 5에 도시된 디코더 측에서 수행된 기능들에 대응한다. 방법(1500)은 제어를 기능 블록(1510)으로 전달하는 시작 블록(1505)을 포함한다. 기능 블록(1510)은 다운사이징된 픽쳐들을 업사이징하고, 제어를 기능 블록(1515)으로 전달한다. 기능 블록(1515)은 저 해상도 패치들을 고 해상도 패치들로 대체하고, 제어를 기능 블록(1520)으로 전달한다. 기능 블록(1520)은 고 해상도 패치들을 공간적으로 시프팅하여 최상의 패치 위치를 획득하고, 제어를 기능 블록(1525)으로 전달한다. 기능 블록(1525)은 공간적으로 시프트된 고 해상도 패치들을 이용하여 입력 비디오 시퀀스를 재구성하고, 제어를 종료 블록(1599)으로 전달한다.
아티팩트들을 감소시키는 패치 시프팅
예제 패치 생성 컴포넌트가 클러스터링 프로세스를 포함하는 경우에, 클러스터링 프로세스는 결과적으로 벡터 양자화 에러들로 나타난다. 상이한 타입들의 양자화 에러들이 존재할 수 있다. 하나의 타입의 양자화 에러는 도 4에 예시된 바와 같이, 모션에 의해 유발된다.
본 원리들에 따라, 우리는 복원 프로세스 동안에 예제(대표) 패치들을 시프팅함으로써, 모션으로부터 기인하는 양자화 에러를 해결한다.
패치 시프팅
예제-기반 슈퍼 해상도의 경우에, 복원된 이미지 또는 비디오 프레임들에서 홀(hole)들을 발생시키기 않고 고-해상도 패치들을 시프트하기 위해서는, 클러스터링 동안에 생성되는 예제 패치들은 대체를 위해 저-해상도 프레임들의 패치들보다 더 커야 한다. 예를 들면, 프레임들의 저 해상도 패치들의 크기가 NxN 픽셀들인 경우에, 대표 패치의 크기는 MxM이어야 하고, 여기에서 M>N이다. 따라서, 하나의 디멘젼에서 최대 패치 시프트는 M-N이다. 도 8을 참조하면, 확장된 패치는 참조번호 800에 의해 개괄적으로 표시되어 있다. 또한 도시되어 있는 것은 대체를 위한 하나의 프레임 내의 저 해상도 패치(810)이다. 알 수 있는 바와 같이, 확장된 패치(800)는 다른 "프레임 영역들"로 확장된다.
현재의 예제-기반 슈퍼 해상도 시스템에서, 클러스터링 프로세스는 NxN 픽셀 크기를 가지는 패치들의 세트에 대해 수행된다. 그러나, 클러스터링 프로세스가 수행된 후에, 대표 패치들은 MxM 픽셀 크기를 가지는 대응하는 확장된 패치들을 평균화함으로써 생성된다. 확장된 패치들은 추가적인 경계 확장(각 디멘젼에서 M-N 픽셀)을 가지는 클러스터링에 이용되는 패치들이다. 경계부에서의 패치들에 대해, 확장된 패치들은 프레임 외부의 영역에 추가적인 픽셀들을 패딩함으로써 생성된다. 상이한 패딩 전략들, 예를 들면 흑색 픽셀들로 패딩하기, 경계부에서 픽셀들을 복제하기, 등이 이용될 수 있다.
디코더 측에서, 패치 대체 및 시프팅 프로세스 이전에, 패칭 매칭 목적을 위한 정규 대표 패치들(NxN 픽셀 블록)은 확장된 패치들로부터 크로핑(cropping)에 의해 생성된다. 프레임 복원 프로세스 동안에, 저-해상도 이미지 내에서 주어진 패치 위치에서의 저-해상도 패치는 라이브러리 내의 정규 대표 패치들(NxN 픽셀 블록들)에 매칭된다. 최소 거리를 가지는 라이브러리 내의 패치가 추천(candidate)으로서 선택된다. 그리고나서, 확장된 예제 패치(예를 들면, 도 8)를 이용하는 패치 시프팅 프로세스가 적용되어, 결과적으로 확장된 예제 패치의 노출된 부분(즉, 저-해상도 패치를 대체할 부분)과 대체를 위한 저-해상도 패치 사이의 최소 거리로 나타나는 시프트 좌표를 구한다(도 3). 이것은 실질적으로 패치 구하기(finding) 및 패치 시프팅을 포함하는 2-스테이지 프로세스이다. 최상 패치 추천 및 최상 패치 시프트 좌표가 동시에 획득될 수 있게 하기 위해, 모든 패치 매칭 단계에 대해, 패치 시프팅이 또한 적용되도록 이들 단계들이 조합될 수 있다. 그러나, 그러한 조인트(joint) 프로세스는 계산상 훨씬 더 비용이 많이 든다.
벡터 양자화 압축 어플리케이션들에 대해, 패치들을 정렬하는데 이용될 수 있는 저-해상도 이미지들 및 저-해상도 패치들이 전혀 없다. 그러나, 패치 시프팅은 이하에 기술되는 바와 같이 시공간적 스무디니스를 시행함으로서 여전히 달성될 수 있다.
시공간적 스무디니스의 시행(enforcing)
앞서, 패치 시프팅은 공간적 및 시간적 제한들을 고려하지 않고 간단한 매칭 프로세스에 의해 실현된다. 결과적으로, 시공간적 일관성이 시행되지 않으므로, 복원 이후에 아티팩트들이 여전히 보여질 수 있다.
우리의 현재 시스템에서, 시공간적 제한들은 그 변수들이 연장된 패치들의 시프트 좌표들인 코스트 함수를 최소화시킴으로써 시행된다. 구체적으로는, i번째 연장된 패치 Pi에 대해, 시프트 좌표는 Si=(xi, yi)이고, 여기에서 xi는 픽셀에 의해 측정된 수평 시프트이며, yi는 수직 시프트이다. 단지 공간 제한들만이 고려되는 경우에, 코스트 함수를 이하와 같이 구성할 수 있다.
Figure 112012070604475-pct00001
여기에서, Si는 i번째 패치의 시프트 좌표이고, λ는 가중 인자이며, C1은 시프트된 패치와 템플레이트 패치 사이의 차이를 측정하는 코스트 함수이다(여기에서, 템플레이트 패치는 예제-기반 슈퍼 해상도의 경우의 저-해상도 패치이다). 템플레이트 패치가 Mi이고, 시프트되고 크로핑된 패치가 T(Pi｜Si)인 경우 - 여기에서, T(.)는 시프트 좌표 Si에 따라 Mi의 크기를 매칭하도록 확장된 패치를 시프트하고 크로핑하며 다운스케일링하는 변환임 -, C1은
Figure 112012070604475-pct00002
로서 정의된다. C2는 i번째 패치의 경계 픽셀들을 이용하여 정의된다. 경계 영역을 Ω로 표시되는 것으로 하자. 그러면,
Figure 112012070604475-pct00003
이고, 여기에서,
Figure 112012070604475-pct00004
은 경계 영역 Ω 내에서 제한된 거리 계산을 나타낸다. I는 최종 반복으로부터의 복원된 비디오 프레임이다. C2에 대한 다른 대안 코스트 함수들, 예를 들면 패치 차이를 계산하는데 픽셀들보다는 이미지 그래디언트들을 이용하는 코스트 함수들이 이용될 수도 있다는 것은 자명하다. 알고리즘은 수학식 2의 코스트 함수를 C1 코스트 함수만을 가지도록 최소화시킴으로써 S1, S2, ..., SM의 초기값들로 시작되는 반복 프로세스이다. 이하의 반복들에 대해, C2 함수가 이용된다.
상기 구성은 시간적 일관성을 고려하지 않는다. 시간적 일관성이 고려되는 경우에, 패치 시프팅 이전에 모션 벡터 필드들이 계산되어야 된다. 우리의 현재 시스템에서, 우리는 각 패치 위치에 대한 포워드 및 백워드 모션 벡터들 양쪽 모두를 계산한다. 포워드 모션 벡터는 다음 프레임의 대응하는 패치에 비교한 현재 프레임의 패치의 변위이다(도 9 참조). 백워드 모션 벡터는 이전 프레임의 대응하는 패치에 비교한 현재 프레임의 패치의 변위이다(도 10). 도 9를 참조하면, 포워드 모션 벡터는 참조번호 900에 의해 일반적으로 표시된다. 포워드 모션 벡터(900)는 i번째 프레임(910) 및 (I+1)번째 프레임(920)에 대응한다. 도 10을 참조하면, 백워드 모션 벡터는 참조번호 1000에 의해 일반적으로 표시된다. 백워드 모션 벡터(1000)는 (i-1)번째 프레임(1010) 및 i번째 프레임(910)에 대응한다.
시간적 일관성을 고려하면, 코스트 함수는 이하와 같이 된다.
Figure 112012070604475-pct00005
여기에서, C3은 이하와 같이 시간적 일관성을 시행하기 위한 코스트 함수이다.
Figure 112012070604475-pct00006
여기에서, F(Mi)는 그 포워드 모션 벡터에 따라 패치 Mi에 대응하는 다음 프레임의 패치이다. 패치 Mi의 상부 좌측 코너의 좌표가 (x,y)인 경우, 다음 비디오 프레임의 대응하는 패치의 상부 좌측 코너의 좌표는 (x+U(x,y), y+V(x,y))이어야 한다(도 9). 유사하게, B(Mi)는 그 백워드 모션 벡터에 따라 패치 Mi에 대응하는 이전 프레임의 패치이다.
수학식 3의 코스트 함수는, 확장된 패치의 시프트 좌표 Si가 템플레이트(i번째 저 해상도 패치) 및 그 인접하는 영역(i번째 패치의 경계 픽셀들)에만 종속된다는 점에서, 패치들에 대해 마코프 랜덤 필드(MRF)를 실제로 정의한다. 마코프 랜덤 필드의 최소화는 예를 들면 기울기 하강(descent), 신뢰 전파, 몬테 카를로(Monte Carlo), 등을 포함하지만 이들로 제한되지 않는 다양한 접근법들에 의해 실현될 수 있다. 우리의 현재 시스템에서, 기울기 하강 접근법은 효율적이고 만족할만한 결과들을 제공하므로 이것이 이용된다. 최소화 절차는 이하와 같은 반복 프로세스이다(도 11).
1. 시공간적 제한없이 패치들을 시프팅함으로써, 모든 프레임들의 모든 패치들의 시프트 좌표들을 초기화한다. 이것은 C2 및 C3 항이 없는 수학식 3의 코스트 함수를 최소화시키는 것과 등가이다.
2. 각 프레임에 대해, C2 및 C3 항들을 가지는 수학식 3의 코스트 함수를 최소화시킨다. 그 후에, 선택된 패치들 및 시프트 좌표들을 이용하여 고-해상도 프레임을 복원한다.
3. 중지 조건이 충족되면, 알고리즘을 빠져 나온다. 그렇지 않으면, 단계 2로 되돌아간다.
다양한 중지 조건들이 이용될 수 있다. 하나의 가능한 선택은 최종 반복 및 현재 반복의 전체 코스트 사이의 차이가 특정 임계보다 작은 경우에 알고리즘을 중지하게 하는 것이다.
유의할 점은, 본 원리들의 하나의 실시예에서, 우리의 제안된 방법의 최적화 프레임워크는 마코프 랜덤 필드(MRF)에 기초하고 있다는 점이다. 추가로 유의할 점은, 상기 언급된 제1 종래 기술 접근법은 패치들의 선택을 최적화하기 위해 MRF 프레임워크를 이용했지만, 우리는 벡터 양자화 에러에 의해 유발되는 아티팩트들을 최소화시키기 위해 MRF를 이용하여 패치들을 시프팅한다는 점이다.
도 11을 참조하면, 패치 시프팅을 위한 예로 든 방법은 참조번호 1100에 의해 개괄적으로 표시되어 있다. 방법(1100)은 제어를 기능 블록(1110)으로 전달하는 시작 블록(1105)을 포함한다. 기능 블록(1110)은 저-해상도 프레임들 및 확장된 예제 패치들을 입력하고, 제어를 기능 블록(1115)으로 전달한다. 기능 블록(1115)은 모든 프레임들에 대한 모든 패치들의 시프트 좌표들을 초기화하고, 제어를 기능 블록(1120)으로 전달한다. 기능 블록(1120)은 코스트 함수를 최소화하여 최상의 시프트 좌표들을 구하고, 제어를 기능 블록(1125)으로 전달한다. 기능 블록(1125)은 패치들 및 최상의 시프트 좌표들을 이용하여 고 해상도 프레임들을 복원하고, 제어를 결정 블록(1130)으로 전달한다. 결정 블록(1130)은 코스트 함수가 수렴하는지 여부를 결정한다. 그렇다면, 제어는 기능 블록(1135)으로 전달된다. 그렇지 않으면, 제어는 기능 블록(1120)으로 리턴된다. 기능 블록(1135)은 최상의 시프트 좌표들을 출력하고, 제어를 종료 블록(1199)으로 전달한다.
서브-픽셀 패치 시프팅
오브젝트 또는 백그라운드 모션이 매우 작다면, 상기 언급된 시공간적 제한들이 이용되는 경우라도, 우리는 여전히 지터링 아티팩트들을 볼 것이다. 서브-픽셀 패치 시프팅은 패치 정렬을 더 정확하게 만드는데 이용된다. 서브-픽셀 패치 시프팅을 이용하는 알고리즘은 시공간적 스무디니스를 시행하는 것에 관해 상기 설명된 것과 대략적으로 동일하다. 차이점은, 시프트 좌표들이 분수값들, 예를 들면 1/2 픽셀, 1/3 픽셀, 등을 취한다는 점이다.
서브-픽셀 패치 시프팅을 이용하는 것은, 수학식 3의 MRF 코스트 함수에 대해 더 많은 상태 번호들(즉, 시프트 좌표들의 공간의 크기)이 있을 것이고, 따라서 서브-픽셀 시프팅이 정규 패치 시프팅보다 더 복잡하다는 것을 의미한다. 계산상 복잡성을 감소시키는 하나의 방법은 이하와 같이 계층적 매칭 스킴을 이용하는 것이다. 우리는 처음에 픽셀 패치 시프팅 스킴을 이용하여 패치의 위치를 대략적으로 결정하고, 그리고나서 좁은 범위를 가지는 서브-픽셀 패치 시프팅이 뒤따라서 패치 위치를 세밀화한다.
더 나은 대표 패치들의 생성
지금까지, 패치 시프팅은 비디오 복원 스테이지 동안에만 적용된다. 그러나, 패치 시프팅은 또한 클러스터링 프로세스 동안에 더 나은 대표 패치들을 생성하는데에도 이용될 수 있다.
대표 패치들은 하나의 클러스터 내의 모든 패치들을 평균화함으로써 클러스터링 동안에 대개는 생성된다. 평균화 프로세스는, 일반적으로 패치들 내의 오브젝트 에지들이 평균화 이전에 정렬되지 않는다면, 결과적으로 패치 이미지들의 더 낮은 해상도로 나타날 것이다. 그러므로, 오브젝트 에지들이 더 잘 보존될 수 있도록 패치들을 정렬하기 위해, 패치 시프팅은 평균화 프로세스 이전에 적용된다. 각 클러스터에 대해, 정렬은 이하의 반복적인 절차에 의해 실현될 수 있다.
1. 하나의 클러스터 내의 모든 패치들을 평균화하여, 클러스터의 초기 대표 패치를 획득한다.
2. 클러스터 내의 패치들의 각각의 주어진 하나를 대표 패치와 매칭하여 전체 차이를 최소화시킴으로써(예를 들면, 유클리드 거리, 등을 이용함), 클러스터 내의 각 패치를 대표 패치에 정렬한다.
3. 모든 패치들이 제로 시프트라면, 알고리즘은 중지하고 대표 패치를 출력한다. 그렇지 않으면, 대표 패치는 시프트된 패치들을 평균화함으로써 재계산되고, 다시 단계 2로 리턴된다.
상기 언급된 접근법과는 별도로, 더 나은 대표 패치들을 생성하는 것은 또한 예를 들면 제1 예로 든 접근법 및 제2 예로 든 접근법에서와 같은 다른 접근법들에 의해 실현될 수도 있다. 제1 예로 든 접근법에서, 클러스터 내의 패치들을 평균화하기 보다는, 우리는 평균화된 패치로부터 최소 거리를 가지는 클러스터로부터의 패치들 중 하나를 선택할 수 있다. 제2 예로 든 접근법에서, 클러스터 내의 모든 패치들을 평균화하기 보다는, 우리는 클러스터 센터(즉, 평균화된 패치)로부터 너무 멀리 편차가 나는 아웃라이어(outlier) 패치들을 제외하면서, 클러스터 내의 일부 패치들만을 이용하여 평균화를 수행할 수 있다.
더 일반적인 패치 변환으로 확장
패치 시프팅은 일반적인 패치 기하학적 변환의 특별한 경우이다. 그러므로, 패치 시프팅의 아이디어는 줌인/아웃, 회전, 투영(projective) 변환, 등을 포함하지만 이들로 제한되지 않는 더 일반적인 기하학적 변환들을 수용하는 더 일반적인 변환들로 일반화될 수 있다. 이들 변환들을 포함하는 알고리즘은 시프트 좌표들을 더 일반적인 변환 파라미터들로 대체함으로써 시공간적 스무디니스를 시행하는 것에 관해 상기 제공된 알고리즘과 유사하다. 그러한 파라미터들의 예들은 트랜슬레이션(translation) 파라미터들, 회전 파라미터들, 퍼스펙티브(perspective) 파라미터들, 등을 포함하지만 이들로 제한되지 않는다. 그러나, 일반 패치 변환의 주요 이슈는 계산상 복잡성이 패치 시프팅의 복잡성보다 훨씬 더 클 수 있다는 점이다.
도 12를 참조하면, 개선된 대표 패치들을 생성하기 위한 예로 든 방법은 참조번호 1200에 의해 개괄적으로 표시되어 있다. 방법(1200)은 제어를 기능 블록(1210)으로 전달하는 시작 블록(1205)을 포함한다. 기능 블록(1210)은 클러스터 및 그 패치들을 입력하고, 제어를 기능 블록(1215)으로 전달한다. 기능 블록(1215)은 초기 대표 패치를 계산하고, 제어를 기능 블록(1220)으로 전달한다. 기능 블록(1220)은 패치들을 대표 패치와 정렬하고, 제어를 결정 블록(1225)으로 전달한다. 결정 블록(1225)은 모든 패치들이 제로 시프트를 가지는지 여부를 결정한다. 그렇다면, 제어는 기능 블록(1230)으로 전달된다. 그렇지 않으면, 제어는 기능 블록(1235)으로 전달된다. 기능 블록(1230)은 대표 패치를 출력하고, 제어를 종료 블록(1299)으로 전달한다. 기능 블록(1235)은 대표 패치를 재계산하고 제어를 기능 블록(1220)으로 리턴한다.
실험 결과들
우리는 예제-기반 비디오 슈퍼 해상도 어플리케이션들에 대한 다양한 비디오들에 대해 패치 시프팅 알고리즘을 테스트했다. 결과들은, 서브-픽셀 시프트 및 MRF 최적화를 가지는 패치 시프팅 알고리즘이 모션에 의해 유발되는 지터링 아티팩트들을 크게 감소시켰다는 것을 보여주었다.
다양한 실시예들 및 변동들
1. MRF 기반 프레임워크는 일부 다른 코스트 함수 기반 공식들로 대체될 수 있다.
2. 수학식 3의 MRF 코스트 함수는 상이한 최적화 방법들에 의해 최소화될 수 있다.
3. 수학식 3의 제2 항은 다른 경계 조건들로 대체될 수 있다.
4. 다양한(상이한) 공식들이 수학식 3의 제3항에 이용될 수 있다.
5. 더 나은 대표 패치들을 생성하는 것에 관해 여기에 설명된 방법의 다양한 다른 방법들 및 접근법들로의 대체.
이제, 본 발명의 다수의 부수적인 장점들/특징들의 일부에 대한 설명이 제공될 것이고, 그 일부는 상기 언급되었다. 예를 들면, 하나의 장점/특징은 입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하기 위한 패치 발생기를 가지는 장치이다. 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것이다. 패치 발생기는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 하나 이상의 고 해상도 대체 패치들을 생성한다. 패치 공간 시프팅 프로세스는 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리 아티팩트들을 감소시키기 위한 것이다. 데이터는, 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 하나 이상의 고 해상도 대체 패치들이 생성되도록, 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이다.
또 하나의 장점/특징은 상기 기재된 패치 발생기를 가지는 장치로서, 여기에서 모션-유도된 벡터 양자화 에러는 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발된다.
또 다른 하나의 장점/특징은 패치 발생기를 가지는 장치로서, 여기에서 모션-유도된 벡터 양자화 에러는 상기 설명된 바와 같이 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발되고, 양자화 프로세스는 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용된 클러스터링 프로세스에 대응하며, 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 복수의 패치들의 하나들을 그룹화하기 위한 것이고, 하나 이상의 고 해상도 대체 패치들은 복수의 패치들의 하나들로부터 도출된다.
또 다른 하나의 장점/특징은 패치 발생기를 가지는 장치로서, 양자화 프로세스는 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용된 클러스터링 프로세스에 대응하고, 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 복수의 패치들의 하나들을 함께 그룹화하기 위한 것이며, 하나 이상의 고 해상도 대체 패치들은 상기 설명된 바와 같이 복수의 패치들의 하나들로부터 도출되고, 여기에서 클러스터링 프로세스는 동일한 클러스터 내의 복수의 패치들의 하나들을 평균화하는 단계를 포함하며, 패치 공간 시프팅 프로세스는 평균화를 준비하여 복수의 패치들의 하나들 내에 오브젝트 에지들을 정렬하기 위해, 동일한 클러스터에 포함을 위해 복수의 패치들의 하나들을 선택하는 것에 후속하여, 그리고 동일한 클러스터 내의 복수의 패치들의 하나들의 평균화 이전에, 복수의 패치들의 하나들에 적용된다.
더구나, 또 하나의 장점/특징은 패치 발생기를 가지는 장치로서, 클러스터링 프로세스는 동일한 클러스터 내의 복수의 패치들의 하나들을 평균화하는 단계를 포함하고, 패치 공간 시프팅 프로세스는 상기 설명된 바와 같이 평균화를 준비하여 복수의 패치들의 하나들 내에서 오브젝트 에지들을 정렬하기 위해, 동일한 클러스터에 포함을 위해 복수의 패치들의 하나들을 선택하는 것에 후속하여, 그리고 동일한 클러스터 내의 복수의 패치들의 하나들의 평균화 이전에, 복수의 패치들의 하나들에 적용되고, 여기에서, 동일한 클러스터 내의 복수의 패치들의 하나들의 단지 일부만이 클러스터 센터로부터의 대응하는 패치 거리에 기초하여 평균화된다.
또한, 또 하나의 장점/특징은 상기 설명된 바와 같은 패치 발생기를 가지는 장치로서, 모션-유도된 벡터 양자화 에러는 입력 비디오 시퀀스의 재구성 동안에 수행되는 패치 대체 프로세스에 의해 유발된다.
또한, 또 하나의 장점/특징은 상기 설명된 패치 발생기를 가지는 장치로서, 장치는 입력 비디오 시퀀스로부터 하나 이상의 다운-사이징된 픽쳐들을 생성하기 위한 다운-사이저, 및 패치 발생기 및 다운-사이저와 신호 통신 상태에 있고, 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 결과적인 비트스트림으로 인코딩하기 위한 하나 이상의 비디오 인코더들을 더 포함한다.
추가로, 또 하나의 장점/특징은 상기 설명된 패치 발생기를 가지는 장치로서, 방법은 비디오 인코더에서 수행된다.
본 원리들의 이들 및 다른 특징들 및 장점들은 본 가르침들에 기초하여 본 기술분야의 통상의 기술자에 의해 용이하게 확인될 수 있다. 본 원리들의 가르침들은 하드웨어, 소프트웨어, 펌웨어, 특별 목적 프로세서들, 또는 그 조합들의 다양한 형태들로 구현될 수 있다.
가장 바람직하게는, 본 원리들의 가르침들은 하드웨어 및 소프트웨어의 조합으로서 구현된다. 더구나, 소프트웨어는 프로그램 저장 유닛 상에 실체적으로 실시되는 어플리케이션 프로그램으로서 구현될 수 있다. 어플리케이션 프로그램은 임의의 적합한 아키텍쳐를 포함하는 머신에 업로딩되어 실행될 수 있다. 양호하게는, 머신은 하나 이상의 중앙 처리 유닛들("CPU"), 랜덤 액세스 메모리("RAM"), 및 입/출력("I/O") 인터페이스들과 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 오퍼레이팅 시스템 및 마이크로명령 코드를 포함할 수 있다. 여기에 기재된 다양한 프로세스들 및 기능들은 마이크로명령 코드의 일부 또는 어플리케이션 프로그램의 일부, 또는 그 임의의 조합 중 하나일 수 있고, 이는 CPU에 의해 실행될 수 있다. 뿐만 아니라, 추가적인 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변장치 유닛들이 컴퓨터 플램폼에 접속될 수 있다.
추가로, 첨부된 도면들에 도시된 구성 시스템 컴포넌트들 및 방법들의 일부는 양호하게는 소프트웨어로 구현되기 때문에, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들은 본 원리들이 프로그래밍되는 방식에 따라 상이할 수 있다는 것은 자명하다. 본 가르침들이 주어지면, 본 기술분야의 통상의 기술자라면, 본 원리들의 이들 및 유사한 구현들 또는 구성들을 생각할 수 있을 것이다.
여기에서 예시적 실시예들은 첨부된 도면들을 참조하여 설명되었지만, 본 원리들은 이들 정확한 실시예들로 제한되지 않고, 본 원리들의 범주 또는 사상으로부터 벗어나지 않고서도 본 기술분야의 통상의 기술자에 의해 다양한 변경들 및 변형들이 달성될 수 있다는 것은 자명하다. 모든 그러한 변경들 및 변형들은 첨부된 청구항들에 제시된 본 원리들의 범주 내에 포함된다고 할 것이다.

Claims (35)

  1. 장치로서,
    입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하기 위한 패치 발생기 - 상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것임 -
    를 포함하고,
    상기 패치 발생기는 상기 입력 비디오 시퀀스로부터 추출된 패치들에 대한 클러스터링 프로세스를 통해 상기 하나 이상의 고 해상도 대체 패치들을 생성하고 - 상기 클러스터링 프로세스에 이어서 상기 입력 비디오 시퀀스로부터 대응하는 확장된 패치들을 평균화함 -, 상기 확장된 패치들은 상기 입력 비디오 시퀀스로부터의 상기 추출된 패치들에 추가적인 경계 확장을 갖고 상기 입력 비디오 시퀀스로부터 추출된 패치들보다 큰 크기이며, 상기 고 해상도 대체 패치들은 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해 상기 하나 이상의 저 해상도 패치들보다 크며, 상기 패치 발생기는 상기 확장된 패치들의 대응하는 부분과 상기 저 해상도 패치들 사이에서 시프트될 때 최소 유클리드 거리를 갖는 상기 확장된 패치들의 일부를 이용하는 상기 패치 공간 시프팅 프로세스를 이용하는 장치.
  2. 제1항에 있어서, 모션-유도된 벡터 양자화 에러는 상기 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발되는 장치.
  3. 제2항에 있어서, 상기 양자화 프로세스는 상기 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용된 클러스터링 프로세스에 대응하고, 상기 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 복수의 패치들의 하나들을 함께 그룹화하기 위한 것이며, 상기 하나 이상의 고 해상도 대체 패치들은 상기 복수의 패치들의 하나들로부터 도출되는 장치.
  4. 장치로서,
    입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하기 위한 패치 발생기 - 상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것임 -
    를 포함하고,
    상기 패치 발생기는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 상기 하나 이상의 고 해상도 대체 패치들을 생성하며, 상기 패치 공간 시프팅 프로세스는 상기 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리 아티팩트(jittery artifact)들을 감소시키기 위한 것이고, 상기 데이터는, 상기 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 상기 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 상기 하나 이상의 고 해상도 대체 패치들이 생성되도록, 상기 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이고,
    상기 모션-유도된 벡터 양자화 에러는 상기 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발되고,
    상기 양자화 프로세스는 상기 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용되는 클러스터링 프로세스에 대응하고, 상기 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 상기 복수의 패치들의 하나들을 함께 그룹화하기 위한 것이며, 상기 하나 이상의 고 해상도 대체 패치들은 상기 복수의 패치들의 하나들로부터 도출되며,
    상기 클러스터링 프로세스는 동일한 클러스터 내의 상기 복수의 패치들의 하나들을 평균화하는 단계를 포함하고, 평균화를 준비하여 상기 복수의 패치들의 하나들 내에 오브젝트 에지들을 정렬하기 위해, 상기 동일한 클러스터로의 포함을 위해 상기 복수의 패치들의 하나들을 선택하는 것에 후속하여, 그리고 상기 동일한 클러스터 내의 상기 복수의 패치들의 하나들의 평균화 이전에, 상기 패치 공간 시프팅 프로세스가 상기 복수의 패치들의 하나들에 적용되는 장치.
  5. 제4항에 있어서, 상기 동일한 클러스터 내의 상기 복수의 패치들의 하나들의 단지 일부만이 클러스터 센터로부터의 대응하는 패치 거리에 기초하여 평균화되는 장치.
  6. 제1항에 있어서, 모션-유도된 벡터 양자화 에러는 상기 입력 비디오 시퀀스의 재구성 동안에 수행되는 패치 대체 프로세스에 의해 유발되는 장치.
  7. 제1항에 있어서,
    상기 입력 비디오 시퀀스로부터 하나 이상의 다운-사이징된 픽쳐들을 생성하기 위한 다운-사이저; 및
    상기 패치 발생기 및 상기 다운-사이저와 신호 통신 상태에 있고, 상기 고 해상도 대체 패치들 및 상기 하나 이상의 다운-사이징된 픽쳐들을 결과적인 비트스트림으로 인코딩하기 위한 하나 이상의 비디오 인코더들
    을 더 포함하는 장치.
  8. 제1항에 있어서, 상기 장치는 비디오 인코더에서 수행되는 장치.
  9. 프로세서를 이용하여 수행된 방법으로서,
    입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하는 단계 - 상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것임 -
    를 포함하고,
    상기 생성 단계는 상기 입력 비디오 시퀀스로부터 추출된 패치들에 대한 클러스터링 프로세스를 통해 상기 하나 이상의 고 해상도 대체 패치들을 생성하고 - 상기 클러스터링 프로세스에 이어서 상기 입력 비디오 시퀀스로부터 대응하는 확장된 패치들을 평균화함 -, 상기 확장된 패치들은 상기 입력 비디오 시퀀스로부터의 상기 추출된 패치들에 추가적인 경계 확장을 갖고 상기 입력 비디오 시퀀스로부터 추출된 패치들보다 큰 크기이며, 상기 고 해상도 대체 패치들은 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해 상기 하나 이상의 저 해상도 패치들보다 크며, 상기 프로세서는 상기 확장된 패치들의 대응하는 부분과 상기 저 해상도 패치들 사이에서 시프트될 때 최소 유클리드 거리를 갖는 상기 확장된 패치들의 일부를 이용하는 상기 패치 공간 시프팅 프로세스를 이용하는 방법.
  10. 제9항에 있어서, 모션-유도된 벡터 양자화 에러는 상기 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발되는 방법.
  11. 제10항에 있어서, 상기 양자화 프로세스는 상기 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용된 클러스터링 프로세스에 대응하고, 상기 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 복수의 패치들의 하나들을 함께 그룹화하기 위한 것이며, 상기 하나 이상의 고 해상도 대체 패치들은 상기 복수의 패치들의 하나들로부터 도출되는 방법.
  12. 프로세서를 이용하여 수행된 방법으로서,
    입력 비디오 시퀀스로부터, 하나 이상의 고 해상도 대체 패치들을 생성하는 단계 - 상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것임 -
    를 포함하고,
    상기 생성 단계는 패치 공간 시프팅 프로세스에 대응하는 데이터를 이용하여 상기 하나 이상의 고 해상도 대체 패치들을 생성하며, 상기 패치 공간 시프팅 프로세스는 상기 하나 이상의 고 해상도 대체 패치들에서 모션-유도된 벡터 양자화 에러에 의해 유발되는 지터리 아티팩트들을 감소시키기 위한 것이고, 상기 데이터는, 상기 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해, 상기 하나 이상의 저 해상도 패치들의 패치 크기보다 큰 패치 크기를 가지는 상기 하나 이상의 고 해상도 대체 패치들이 생성되도록, 상기 하나 이상의 고 해상도 대체 패치들의 패치 크기를 적어도 도출하기 위한 것이고,
    상기 모션-유도된 벡터 양자화 에러는 상기 하나 이상의 고 해상도 대체 패치들의 생성 동안에 적용되는 양자화 프로세스에 의해 유발되고,
    상기 양자화 프로세스는 상기 입력 비디오 시퀀스로부터 추출된 복수의 패치들에 적용되는 클러스터링 프로세스에 대응하고, 상기 클러스터링 프로세스는 하나 이상의 기준에 기초하여 유사한 특성들을 가지는 복수의 패치들의 하나들을 함께 그룹화하기 위한 것이며, 상기 하나 이상의 고 해상도 대체 패치들은 상기 복수의 패치들의 하나들로부터 도출되며,
    상기 클러스터링 프로세스는 동일한 클러스터 내의 상기 복수의 패치들의 하나들을 평균화하는 단계를 포함하고, 평균화를 준비하여 상기 복수의 패치들의 하나들 내에 오브젝트 에지들을 정렬하기 위해, 상기 동일한 클러스터로의 포함을 위해 상기 복수의 패치들의 하나들을 선택하는 것에 후속하여, 그리고 상기 동일한 클러스터 내의 상기 복수의 패치들의 하나들의 평균화 이전에, 상기 패치 공간 시프팅 프로세스가 상기 복수의 패치들의 하나들에 적용되는 방법.
  13. 제12항에 있어서, 상기 동일한 클러스터 내의 상기 복수의 패치들의 하나들의 단지 일부만이 클러스터 센터로부터의 대응하는 패치 거리에 기초하여 평균화되는 방법.
  14. 제9항에 있어서, 모션-유도된 벡터 양자화 에러는 상기 입력 비디오 시퀀스의 재구성 동안에 수행되는 패치 대체 프로세스에 의해 유발되는 방법.
  15. 제9항에 있어서,
    상기 고 해상도 대체 패치들 및 하나 이상의 저 해상도 패치들을 결과적인 비트스트림으로 인코딩하는 단계를 더 포함하는 방법.
  16. 제9항에 있어서, 상기 방법은 비디오 인코더에서 수행되는 방법.
  17. 장치로서,
    모션-유도된 벡터 양자화 에러를 가지는 하나 이상의 고 해상도 대체 패치들을 수신하고 상기 모션-유도된 벡터 양자화 에러에 의해 유발된 지터리 아티팩트들을 감소시키도록 상기 하나 이상의 고 해상도 대체 패치들을 적어도 공간적으로 시프팅하기 위한 패치 시프터 - 상기 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스로부터 추출된 패치들에 대한 클러스터링 프로세스를 통해 상기 입력 시퀀스에 대응하고 그로부터 도출되며 - 상기 클러스터링 프로세스에 이어서 상기 입력 비디오 시퀀스로부터 대응하는 확장된 패치들을 평균화함 -, 상기 확장된 패치들은 상기 입력 비디오 시퀀스로부터의 상기 추출된 패치들에 추가적인 경계 확장을 갖고 상기 입력 비디오 시퀀스로부터 추출된 패치들보다 큰 크기이며, 상기 고 해상도 대체 패치들은 하나 이상의 저 해상도 패치들보다 크며, 상기 패치 시프터는 상기 확장된 패치들의 대응하는 부분과 상기 저 해상도 패치들 사이에서 시프트될 때 최소 유클리드 거리를 갖는 상기 확장된 패치들의 일부를 이용하는 패치 공간 시프팅 프로세스를 이용함 -; 및
    상기 패치 시프터와 신호 통신 상태에 있고, 상기 입력 비디오 시퀀스에 대응하고 그로부터 도출되는 상기 하나 이상의 공간적으로 시프팅된 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 이용하여 상기 입력 비디오 시퀀스를 재구성하기 위한 픽쳐 재구성 디바이스
    를 포함하는 장치.
  18. 제17항에 있어서, 상기 입력 비디오 시퀀스는 벡터 양자화 기반 압축 프로세스, 예제-기반 비디오 슈퍼 해상도 프로세스, 비디오 에피톰(epitome) 프로세스, 및 비디오 압축을 위한 비디오 프루닝(pruning) 프로세스 중 적어도 하나에서 재구성되는 장치.
  19. 제17항에 있어서, 상기 고 해상도 대체 패치들은 공간 및 시간 제한들을 이용하여, 각각 공간적 및 시간적으로 시프트되는 장치.
  20. 제17항에 있어서, 마코프 랜덤 필드가 상기 재구성된 비디오 시퀀스에서 시공간적 스무디니스(smoothness)를 시행하는데 이용되는 장치.
  21. 제20항에 있어서, 상기 마코프 랜덤 필드는 코스트 함수로서 구현되고, 여기에서 패치 시프트 좌표들은 상기 하나 이상의 고 해상도 대체 패치들의 대응하는 하나에 대한 대응하는 시프트를 결정하는 코스트 함수의 변수들로서 이용되는 장치.
  22. 제17항에 있어서, 상기 공간 시프팅은 상기 지터리 아티팩트들을 더 감소시키는 서브-픽셀 패치 시프팅을 포함하는 장치.
  23. 제22항에 있어서, 상기 서브-픽셀 패치 시프팅은 계층적 패치 매칭 프로세스에서 이용되고, 여기에서 픽셀 패치 시프팅 프로세스는 상기 하나 이상의 고 해상도 대체 패치들 중 하나에 의해 대체되어야 될 저 해상도 패치의 위치를 추정하는데 이용되고, 그리고나서 서브-픽셀 패치 시프팅 프로세스는 상기 추정을 세련화(refine)하도록 수행되며, 상기 픽셀 패치 시프팅 프로세스보다 상기 서브-픽셀 패치 시프팅 프로세스에서 좁은 범위가 이용되는 장치.
  24. 제17항에 있어서, 상기 패치 시프터와 신호 통신 상태에 있고, 비트스트림으로부터의 상기 고 해상도 대체 패치들 및 상기 하나 이상의 다운-사이징된 픽쳐들을 디코딩하기 위한 비디오 디코더를 더 포함하는 장치.
  25. 제17항에 있어서, 상기 장치는 비디오 디코더에 포함되는 장치.
  26. 프로세서를 이용하여 수행되는 방법으로서,
    모션-유도된 벡터 양자화 에러를 가지는 하나 이상의 고 해상도 대체 패치들을 수신하는 단계;
    상기 모션-유도된 벡터 양자화 에러에 의해 유발된 지터리 아티팩트들을 감소시키도록, 상기 하나 이상의 고 해상도 대체 패치들을 적어도 공간적으로 시프팅하는 단계 - 상기 하나 이상의 고 해상도 대체 패치들은 입력 비디오 시퀀스로부터 추출된 패치들에 대한 클러스터링 프로세스를 통해 상기 입력 비디오 시퀀스에 대응하고 그로부터 도출되며 - 상기 클러스터링 프로세스에 이어서 상기 입력 비디오 시퀀스로부터 대응하는 확장된 패치들을 평균화함 -, 상기 확장된 패치들은 상기 입력 비디오 시퀀스로부터의 상기 추출된 패치들에 추가적인 경계 확장을 갖고 상기 입력 비디오 시퀀스로부터 추출된 패치들보다 큰 크기이며, 상기 고 해상도 대체 패치들은 하나 이상의 저 해상도 패치들보다 크며, 상기 프로세서는 상기 확장된 패치들의 대응하는 부분과 상기 저 해상도 패치들 사이에서 시프트될 때 최소 유클리드 거리를 갖는 상기 확장된 패치들의 일부를 이용하는 패치 공간 시프팅 프로세스를 이용함 -; 및
    상기 입력 비디오 시퀀스에 대응하고 그로부터 도출되는 상기 하나 이상의 공간적으로 시프팅된 고 해상도 대체 패치들 및 하나 이상의 다운-사이징된 픽쳐들을 이용하여, 상기 입력 비디오 시퀀스를 재구성하는 단계
    를 포함하는 방법.
  27. 제26항에 있어서, 상기 입력 비디오 시퀀스는 벡터 양자화 기반 압축 프로세스, 예제-기반 비디오 슈퍼 해상도 프로세스, 비디오 에피톰 프로세스, 및 비디오 압축을 위한 비디오 프루닝 프로세스 중 적어도 하나에서 재구성되는 방법.
  28. 제26항에 있어서, 상기 고 해상도 대체 패치들은 공간 및 시간 제한들을 이용하여, 각각 공간적 및 시간적으로 시프트되는 방법.
  29. 제26항에 있어서, 마코프 랜덤 필드가 상기 재구성된 비디오 시퀀스에서 시공간적 스무디니스를 시행하는데 이용되는 방법.
  30. 제29항에 있어서, 상기 마코프 랜덤 필드는 코스트 함수로서 구현되고, 여기에서 패치 시프트 좌표들은 상기 하나 이상의 고 해상도 대체 패치들의 대응하는 하나에 대한 대응하는 시프트를 결정하는 코스트 함수의 변수들로서 이용되는 방법.
  31. 제26항에 있어서, 상기 공간 시프팅은 상기 지터리 아티팩트들을 더 감소시키는 서브-픽셀 패치 시프팅을 포함하는 방법.
  32. 제31항에 있어서, 상기 서브-픽셀 패치 시프팅은 계층적 패치 매칭 프로세스에서 이용되고, 여기에서 픽셀 패치 시프팅 프로세스는 상기 하나 이상의 고 해상도 대체 패치들 중 하나에 의해 대체되어야 될 저 해상도 패치의 위치를 추정하는데 이용되고, 그리고나서 서브-픽셀 패치 시프팅 프로세스는 상기 추정을 세련화하도록 수행되며, 상기 픽셀 패치 시프팅 프로세스보다 상기 서브-픽셀 패치 시프팅 프로세스에서 좁은 범위가 이용되는 방법.
  33. 제26항에 있어서, 비트스트림으로부터의 상기 고 해상도 대체 패치들 및 상기 하나 이상의 다운-사이징된 픽쳐들을 디코딩하는 단계를 더 포함하는 방법.
  34. 제26항에 있어서, 상기 방법은 비디오 디코더에서 수행되는 방법.
  35. 비디오 신호 데이터가 그 위에 인코딩되는 비일시적인 컴퓨터 판독가능 저장 매체로서,
    입력 비디오 시퀀스로부터 생성된 하나 이상의 고 해상도 대체 패치들 - 상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스의 재구성 동안에 하나 이상의 저 해상도 패치들을 대체하기 위한 것임 -
    을 포함하고,
    상기 하나 이상의 고 해상도 대체 패치들은 상기 입력 비디오 시퀀스로부터 추출된 패치들에 대한 클러스터링 프로세스를 통해 생성되고 - 상기 클러스터링 프로세스에 이어서 상기 입력 비디오 시퀀스로부터 대응하는 확장된 패치들을 평균화함 -, 상기 확장된 패치들은 상기 입력 비디오 시퀀스로부터의 상기 추출된 패치들에 추가적인 경계 확장을 갖고 상기 입력 비디오 시퀀스로부터 추출된 패치들보다 큰 크기이며, 상기 고 해상도 대체 패치들은 패치 공간 시프팅 프로세스에 이용하기에 적합하도록 하기 위해 상기 하나 이상의 저 해상도 패치들보다 크며, 상기 패치 공간 시프팅 프로세스는 상기 확장된 패치들의 대응하는 부분과 상기 저 해상도 패치들 사이에서 시프트될 때 최소 유클리드 거리를 갖는 상기 확장된 패치들의 일부를 이용하는 컴퓨터 판독가능 저장 매체.
KR1020127022967A 2010-02-02 2011-02-01 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치 KR101883265B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30055110P 2010-02-02 2010-02-02
US61/300,551 2010-02-02
PCT/US2011/000186 WO2011097013A1 (en) 2010-02-02 2011-02-01 Methods and apparatus for reducing vector quantization error through patch shifting

Publications (2)

Publication Number Publication Date
KR20120123132A KR20120123132A (ko) 2012-11-07
KR101883265B1 true KR101883265B1 (ko) 2018-07-31

Family

ID=43709175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127022967A KR101883265B1 (ko) 2010-02-02 2011-02-01 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치

Country Status (6)

Country Link
US (1) US9420291B2 (ko)
EP (1) EP2532164A1 (ko)
JP (1) JP5844745B2 (ko)
KR (1) KR101883265B1 (ko)
CN (1) CN102823243B (ko)
WO (1) WO2011097013A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102329A1 (en) * 2014-01-01 2015-07-09 Lg Electronics Inc. Method and apparatus for processing video signal for reducing visibility of blocking artifacts
EP2905937B1 (en) * 2014-02-11 2022-01-12 Alcatel Lucent Efficient and scalable caching and representation of media with cross-similarities
US20150271512A1 (en) * 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
EP3079364A1 (en) * 2015-04-09 2016-10-12 Thomson Licensing Methods and devices for generating, encoding or decoding images with a first dynamic range, and corresponding computer program products and computer-readable medium
KR20170073088A (ko) 2015-12-18 2017-06-28 삼성전자주식회사 패치에 기반하여 연기 난류를 모델링하는 방법 및 장치
GB2552323B (en) * 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
CN113347374A (zh) * 2016-08-25 2021-09-03 上海交通大学 基于多分辨率的多视角媒体呈现方法
KR102621118B1 (ko) * 2018-11-01 2024-01-04 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159171A (ja) 2007-12-25 2009-07-16 Toshiba Corp 画像高解像度化方法および装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
KR101174130B1 (ko) * 2005-08-03 2012-08-14 삼성전자주식회사 초해상도 향상 처리장치 및 방법
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression
JP4956464B2 (ja) 2008-02-28 2012-06-20 株式会社東芝 画像高解像度化装置、学習装置および方法
US8538201B2 (en) 2008-05-21 2013-09-17 Tp Vision Holding B.V. Image resolution enhancement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159171A (ja) 2007-12-25 2009-07-16 Toshiba Corp 画像高解像度化方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. M. Bishop, et al. Super-resolution Enhancement of Video. Proc. Ninth International Conference on Artificial Intelligence and Statistics 2003. Jan. 2003, pp.1-8
X. Li, et al. Example-based image super-resolution with class-specific predictors. Journal of Visual Communication and Image Representation, Jul. 2009, pp.312-322

Also Published As

Publication number Publication date
JP2013519296A (ja) 2013-05-23
KR20120123132A (ko) 2012-11-07
US20130028330A1 (en) 2013-01-31
JP5844745B2 (ja) 2016-01-20
CN102823243B (zh) 2017-05-31
CN102823243A (zh) 2012-12-12
US9420291B2 (en) 2016-08-16
WO2011097013A1 (en) 2011-08-11
EP2532164A1 (en) 2012-12-12

Similar Documents

Publication Publication Date Title
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
CN113612994B (zh) 具有仿射运动补偿的视频编解码的方法
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US7643690B2 (en) Image decoding and encoding apparatus, method and computer readable storage medium
US10440383B2 (en) Image predictive encoding and decoding system
KR101878515B1 (ko) 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩
TW201739252A (zh) 具有仿射運動補償的視訊編碼的方法以及裝置
US20140177706A1 (en) Method and system for providing super-resolution of quantized images and video
US11490078B2 (en) Method and apparatus for deep neural network based inter-frame prediction in video coding
KR102210274B1 (ko) 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체
Shen et al. Down-sampling based video coding with super-resolution technique
KR102127212B1 (ko) 다시점 영상 정보의 복호화 방법 및 장치
JP2005323252A (ja) 画像符号化装置及び画像復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant