KR20130139261A - 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩 - Google Patents

블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩 Download PDF

Info

Publication number
KR20130139261A
KR20130139261A KR1020137009098A KR20137009098A KR20130139261A KR 20130139261 A KR20130139261 A KR 20130139261A KR 1020137009098 A KR1020137009098 A KR 1020137009098A KR 20137009098 A KR20137009098 A KR 20137009098A KR 20130139261 A KR20130139261 A KR 20130139261A
Authority
KR
South Korea
Prior art keywords
pruned
blocks
block
original
picture
Prior art date
Application number
KR1020137009098A
Other languages
English (en)
Other versions
KR101885633B1 (ko
Inventor
동-칭 장
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130139261A publication Critical patent/KR20130139261A/ko
Application granted granted Critical
Publication of KR101885633B1 publication Critical patent/KR101885633B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 시퀀스에서 화상을 인코딩하는 장치는 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별하기 위한 프루닝 블록 식별기(410)를 포함한다. 본 장치는 프루닝될 하나 이상의 원래의 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 것에 의해 화상의 프루닝된 버전을 생성하기 위한 블록 대체기(415)를 더 포함한다. 본 장치는 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 생성하기 위한 메타데이터 생성기(410)를 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 장치는 화상의 프루닝된 버전과 메타데이터를 인코딩하기 위한 인코더를 추가적으로 포함한다.

Description

블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩{VIDEO ENCODING USING BLOCK-BASED MIXED-RESOLUTION DATA PRUNING}
본 출원은 미국 가출원 제61/403087호(출원일: 2010년 9월 10일, 발명의 명칭: "BLOCK-BASED MIXED-RESOLUTION DATA PRUNING FOR IMPROVING VIDEO COMPRESSION EFFICIENCY", Technicolor 문서 번호 PU100194)의 이익을 청구한다.
본 출원은 이하 공동 계류 중인 공동 소유된 특허 출원들, 즉,
(1) 국제 특허 출원(PCT) 일련 번호 PCT/US11/000107 (발명의 명칭: SAMPLING-BASED SUPER-RESOLUTION APPROACH FOR EFFICENT VIDEO COMPRESSION, 출원일: 2011년 1월 20일)(Technicolor 문서 번호 PU100004);
(2) 국제 특허 출원(PCT) 일련 번호 PCT/US11/000117 (발명의 명칭: DATA PRUNING FOR VIDEO COMPRESSION USING EXAMPLE-BASED SUPER-RESOLUTION, 출원일: 2011년 1월 21일)(Technicolor 문서 번호 PU100014);
(3) 국제 특허 출원(PCT) 일련 번호 XXXX (발명의 명칭: METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100190);
(4) 국제 특허 출원(PCT) 일련 번호 XXXX (발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION, 출원일: 2011, 9월 XX)(Technicolor 문서 번호 PU100266);
(5) 국제 특허 출원(PCT) 일련 번호 XXXX (발명의 명칭: METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100193);
(6) 국제 특허 출원(PCT) 일련 번호 XXXX (발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100267);
(7) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100268);
(8) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHODS AND APPARATUS FOR EFFICIENT REFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100195);
(9) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR EFFICIENT REFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU110106);
(10) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR ENCODING VIDEO SIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100196);
(11) 국제 특허 출원(PCT) 일련 번호 XXXX(발명의 명칭: METHOD AND APPARATUS FOR DECODING VIDEO SIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU100269); 및
(12) 국제 특허 출원(PCT) 일련 번호 XXXX (발명의 명칭: PRUNING DECISION OPTIMIZATION IN EXAMPLE-BASED DATA PRUNING COMPRESSION, 출원일: 2011년 9월 XX)(Technicolor 문서 번호 PU10197)에 관한 것이다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 보다 상세하게는 비디오 압축 효율을 개선시키기 위해 블록 기반 혼합 해상도 데이터 프루닝(block-based mixed-resolution data pruning)을 하기 위한 방법 및 장치에 관한 것이다.
비디오 코딩 효율을 개선시키기 위해 데이터 프루닝을 하기 위한 여러 상이한 접근법이 있다. 예를 들어, 제1 접근법은 수직 및 수평 라인을 제거하는 것이다. 제1 접근법은 인코딩 전에 비디오 프레임에서 수직 및 수평 라인을 제거하고, 디코딩 후에 비선형 보간에 의해 이 라인을 복구한다. 어느 라인이 제거될 지는 이 라인이 고주파수 신호를 포함하고 있는지에 의해 결정된다. 제1 접근법의 문제는 제1 접근법이 픽셀을 선택적으로 제거하는 융통성이 부족하다는 것이다. 즉, 제1 접근법은 전체 라인이 고주파수를 가지는 작은 양(amount)의 신호를 포함하는 경우에도 용이하게 복구될 수 없는 중요한 픽셀을 포함하는 라인을 제거할 수 있다.
전술된 제1 접근법에 비해 다른 유형의 접근법은 라인이 아니라 블록을 제거하고 복구하는 블록 제거에 기초한다. 그러나, 이 다른 유형의 접근법은 인루프(in-loop) 방법을 사용하는데 이는 인코더 아키텍처가 블록 제거를 수용하도록 변경되어야 하는 것을 의미한다. 그리하여, 다른 유형의 접근법은 인코더가 변경되어야 하므로 엄격하게는 전 처리 기반 접근법이 아니다.
이들 접근법의 이들 및 다른 단점 및 결점은 비디오 압축 효율을 개선시키기 위해 블록 기반 혼합 해상도 데이터 프루닝을 하기 위한 방법 및 장치에 관한 본 발명의 원리에 의해 해결된다.
본 발명의 원리의 일 측면에 따르면, 비디오 시퀀스에서 화상을 인코딩하는 장치가 제공된다. 본 장치는 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별하기 위한 프루닝 블록 식별기를 포함한다. 본 장치는 프루닝될 하나 이상의 원래의 블록에 대한 하나 이상의 대체 블록을 각각 생성하는 것에 의해 화상의 프루닝된 버전을 생성하기 위한 블록 대체기를 더 포함한다. 본 장치는 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 생성하기 위한 메타데이터 생성기를 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 장치는 화상의 프루닝된 버전과 메타데이터를 인코딩하기 위한 인코더를 추가적으로 포함한다.
본 발명의 원리의 다른 측면에 따르면, 비디오 시퀀스에서 화상을 인코딩하는 방법이 제공된다. 본 방법은 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별하는 단계를 포함한다. 본 방법은 프루닝될 하나 이상의 원래의 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 것에 의해 화상의 프루닝된 버전을 생성하는 단계를 더 포함한다. 본 방법은 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 생성하는 단계를 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 방법은 적어도 하나의 인코더를 사용하여 화상의 프루닝된 버전과 메타데이터를 인코딩하는 단계를 추가적으로 포함한다.
본 발명의 원리의 또 다른 측면에 따르면, 비디오 시퀀스에서 화상의 프루닝된 버전을 복구하기 위한 장치가 제공된다. 본 장치는 화상의 프루닝된 버전에서 하나 이상의 프루닝된 블록을 식별하기 위한 프루닝된 블록 식별기를 포함한다. 본 장치는 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 디코딩하기 위한 메타데이터 디코더를 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 장치는 하나 이상의 프루닝된 블록에 대해 하나 이상의 대체 블록을 각각 생성하기 위한 블록 복원기를 더 포함한다.
본 발명의 원리의 더 다른 측면에 따르면, 비디오 시퀀스에서 화상의 프루닝된 버전을 복구하는 방법이 제공된다. 본 방법은 화상의 프루닝된 버전에서 하나 이상의 프루닝된 블록을 식별하는 단계를 포함한다. 본 방법은 디코더를 사용하여 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 디코딩하는 단계를 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 방법은 하나 이상의 프루닝된 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 단계를 더 포함한다.
본 발명의 원리의 추가적인 측면에 따르면, 비디오 시퀀스에서 화상을 인코딩하는 장치가 제공된다. 본 장치는 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별하는 수단을 포함한다. 본 장치는 프루닝될 하나 이상의 원래의 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 것에 의해 화상의 프루닝된 버전을 생성하는 수단을 더 포함한다. 본 장치는 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 생성하는 수단을 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 장치는 화상의 프루닝된 데이터와 메타데이터를 인코딩하는 수단을 추가적으로 포함한다.
본 발명의 원리의 더 추가적인 측면에 따르면, 비디오 시퀀스에서 화상의 프루닝된 버전을 복구하는 장치가 제공된다. 본 장치는 화상의 프루닝된 버전에서 하나 이상의 프루닝된 블록을 식별하는 수단을 포함한다. 본 장치는 화상의 프루닝된 버전을 복구하기 위한 메타데이터를 디코딩하는 수단을 더 포함한다. 본 메타데이터는 하나 이상의 대체 블록의 위치 정보를 포함한다. 본 장치는 하나 이상의 프루닝된 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 수단을 더 포함한다.
본 발명의 이들 및 다른 측면, 특징과 이점은 첨부 도면을 참조하여 판독될 예시적인 실시예의 이하 상세한 설명으로부터 보다 명백하게 될 것이다.
본 발명의 원리는 이하 예시적인 도면에 따라 더 잘 이해될 수 있을 것이다.
도 1은 본 발명의 원리의 일 실시예에 따라 블록 기반 혼합 해상도 데이터 프루닝 시스템/빙법의 하이 레벨 블록도를 도시한 블록도;
도 2는 본 발명의 원리의 일 실시예에 따라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더를 도시한 블록도;
도 3은 본 발명의 원리의 일 실시예에 따라 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더를 도시한 블록도;
도 4는 본 발명의 원리의 일 실시예에 따라 블록 기반 혼합 해상도 데이터 프루닝을 위한 예시적인 시스템을 도시한 블록도;
도 5는 본 발명의 원리의 일 실시예에 따라 비디오 압축을 위한 블록 기반 혼합 해상도 데이터 프루닝을 하기 위한 예시적인 방법을 도시한 블록도;
도 6은 본 발명의 원리의 일 실시예에 따라 블록 기반 혼합 해상도 데이터 프루닝을 위한 데이터 복구를 위한 예시적인 시스템을 도시한 블록도;
도 7은 본 발명의 원리의 일 실시예에 따라 비디오 압축을 위한 블록 기반 혼합 해상도 데이터 프루닝을 위한 데이터 복구를 위한 예시적인 방법을 도시한 흐름도;
도 8은 본 발명의 원리의 일 실시예에 따라 예시적인 혼합 해상도 프레임을 도시한 도면;
도 9는 본 발명의 원리의 일 실시예에 따라 공간 주파수 공간에 도시된 블록 기반 혼합 해상도 데이터 프루닝 공정의 일례를 도시한 도면;
도 10은 본 발명의 원리의 일 실시예에 따라 메타데이터 인코딩을 위한 예시적인 방법을 도시한 흐름도;
도 11은 본 발명의 원리의 일 실시예에 따라 메타데이터 디코딩을 위한 예시적인 방법을 도시한 흐름도;
도 12는 본 발명의 원리의 일 실시예에 따라 예시적인 블록 ID를 도시한 도면.
본 발명의 원리는 비디오 압축 효율을 개선시키기 위해 블록 기반 혼합 해상도 데이터 프루닝을 위한 방법 및 장치에 관한 것이다.
본 설명은 본 발명의 원리를 예시한다. 따라서, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 명시적으로 기술되거나 도시되지는 않았을지라도, 본 발명의 사상과 범위 내에 포함되고 본 발명의 원리를 구현하는 여러 배열을 고안할 수 있을 것이라는 것을 이해할 수 있을 것이다.
본 명세서에 언급된 모든 예시와 조건적 언어들은 이 기술을 개선하려고 발명자(들)가 기여한 본 발명의 원리와 개념을 독자들이 이해하는 것을 돕기 위한 설명을 위한 목적으로 의도된 것이므로, 그러한 구체적으로 언급된 예시와 조건으로 제한하는 것으로 해석되어서는 안 된다.
나아가, 본 발명의 원리, 측면 및 실시예뿐만 아니라 특정 예시를 언급하는 모든 진술은 구조적 및 기능적으로 균등한 것을 포함하는 것으로 의도된 것이다. 부가적으로, 그러한 균등물은 현재 알려진 균등물 뿐만 아니라 미래에 개발된 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함한다는 것으로 의도된다.
따라서, 예를 들어, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 제시된 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 제시하는 것임을 이해할 수 있을 것이다. 이와 유사하게, 임의의 흐름도, 흐름 다이어그램, 상태 전이도, 의사코드 등은 컴퓨터나 프로세서가 명시적으로 도시되지 않았을 지라도, 컴퓨터로 판독가능한 매체에 실질적으로 제공되고 컴퓨터나 프로세서에 의해 실행될 수 있는 여러 공정을 나타낸다는 것을 이해할 수 있을 것이다.
도면에 도시된 여러 요소의 기능은 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 나아가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 말하는 것으로 해석되어서는 안 되며, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장장치를 암시적으로 포함할 수 있으나 이로 제한되는 것은 아니다.
종래의 것이든 및/또는 주문형이든 상관없이 다른 하드웨어가 또한 포함될 수 있다. 이와 유사하게 이 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 그 기능은 프로그램 논리회로의 동작을 통해, 전용 논리회로를 통해, 프로그램 제어 및 전용 논리회로의 상호작용을 통해 또는 심지어 수동으로 수행될 수 있으며, 특정 기술은 문맥으로부터 보다 구체적으로 이해되는 바와 같이 구현하는 자에 의해 선택될 수 있다.
특허청구범위에서, 특정 기능을 수행하는 수단으로 표시된 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소의 조합이나 b) 그 기능을 수행하는 소프트웨어를 실행하는 적절한 회로와 결합된 펌웨어, 마이크로 코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 임의의 방법을 포함하는 것으로 의도된다. 특허청구범위에 의해 한정된 본 발명의 원리는 여러 언급된 수단으로 제공된 기능이 특허청구범위가 요청하는 방식으로 서로 결합된 것에 존재한다. 따라서, 그 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것과 균등한 것이라고 간주된다.
명세서에서 본 발명의 원리의 "일 실시예" 또는 "실시예"라는 언급과 그 다른 변형 어구의 언급은 실시예와 연관하여 기술된 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐 여러 곳에 나타나는 "하나의 실시예에서" 또는 "실시예에서"라는 어구의 표현과 그 임의의 다른 변형 어구는 동일한 실시예를 모두 언급하는 것이 아닐 수 있다.
예를 들어,"A/B", "A 및/또는 B" 그리고 "A 및 B 중 적어도 하나"에 있는 "/", " 및/또는" 및 "∼ 중 적어도 하나" 중 어느 하나의 사용은 처음 나열된 옵션(A)만을 선택하거나 두 번째 나열된 옵션(B)만을 선택하거나 또는 두 개의 옵션(A와 B)을 모두 선택하는 것을 포함하는 것으로 의도된 것으로 이해되어야 한다. 다른 예로서, "A, B 및/또는 C" 그리고 "A, B 및 C 중 적어도 하나"의 경우에서 이 어구는 처음 나열된 옵션(A)만을 선택하거나, 두 번째 나열된 옵션(B)만을 선택하거나 또는 세 번째 나열된 옵션(C)만을 선택하거나 처음 및 두 번째 나열된 옵션(A 와 B)만을 선택하거나, 처음과 세 번째 나열된 옵션(A와 C)만을 선택하거나 두 번째와 세 번째 나열된 옵션(B와 C)만을 선택하거나 3개의 옵션(A와 B와 C)을 모두 선택하는 것을 포함하는 것으로 의도된 것이다. 이것은 이 기술 분야 및 관련 기술 분야의 통상의 지식을 가진 자에게는 명백한 바와 같이 많은 항목을 나열한 것으로 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, "화상" 및 "이미지"라는 용어는 상호 교환가능하게 사용되며 비디오 시퀀스로부터 정지 이미지 또는 화상을 말한다. 알려진 바와 같이, 화상은 프레임이나 필드일 수 있다.
추가적으로, "복구(recovery)" 및 "복원(restoration)"이라는 용어는 본 명세서에서 상호 교환가능하게 사용되는 것으로 이해된다.
전술된 바와 같이, 본 발명의 원리는 비디오 압축 효율을 개선시키기 위해 블록 기반 혼합 해상도 데이터 프루닝에 관한 것이다. 데이터 프루닝은 입력 비디오 데이터를 인코딩하기 전에 입력 비디오 데이터의 일부를 제거하는 것에 의해 더 우수한 비디오 코딩 효율을 달성하는 비디오 전처리 기술이다. 제거된 비디오 데이터는 디코딩된 데이터로부터 추론하는 것에 의해 디코더 측에서 복구된다. 데이터 프루닝의 일례는 입력 비디오에서 수평 및 수직 스캔 라인의 일부를 제거하는 이미지 라인 제거이다.
비디오를 프루닝하는 혼합 해상도 데이터 프루닝 방식을 위한 프레임워크가 본 발명의 원리에 따라 개시되며, 여기서 비디오에 있는 고해상도(high-res) 블록이 저해상도(low-res) 블록 또는 평탄(flat) 블록에 의해 대체된다. 또한 본 발명의 원리에 따라 이미지 처리 기술과 엔트로피 코딩의 조합을 사용하는 프루닝된 블록의 위치를 인코딩하는 메타데이터 인코딩 방식이 개시된다.
본 발명의 원리의 일 실시예에 따라, 비디오 프레임은 중복되지 않는 블록(non-overlapping blocks)으로 분할되고, 블록 중 일부는 저해상도 블록 또는 단순히 평탄 블록으로 대체된다. 프루닝된 비디오는 이후 압축을 위해 비디오 인코더로 송신된다. 프루닝 공정은 보다 효과적인 비디오 인코딩을 초래하는데, 그 이유는 비디오 프레임에서 일부 블록이 더 적은 고주파수 신호를 가지는 저해상도 또는 평탄 블록으로 대체되기 때문이다. 대체된 블록은 인페인팅(inpainting), 텍스처 합성 등과 같은 여러 기존의 알고리즘에 의해 복구될 수 있다. 본 발명의 원리에 따라, 본 출원은 복구 공정에 필요한 메타데이터를 인코딩하고 송신하는 방법을 개시한다.
비디오 압축을 개선시키기 위해 데이터 프루닝에 대한 전술된 다른 종류의 접근법과는 달리, 본 발명의 원리는 인코더와 디코더가 본래대로 유지되고 블랙 박스로 처리되며 임의의 인코딩( 및 디코딩) 표준 또는 구현으로 대체될 수 있는 엄격하게는 루프 외(out-of-loop) 접근법을 제공한다. 이러한 루프 외 접근법의 이점은 사용자가 특정 상황에서 실현가능하지 않을 수 있는 인코딩 및 디코딩 작업흐름을 변경할 필요가 없다는 것이다.
도 1을 참조하면, 블록 기반 혼합 해상도 데이터 프루닝 시스템/방법의 하이 레벨 블록도가 일반적으로 참조 부호 (100)으로 지시된다. 입력 비디오가 제공되어 전처리된 프레임을 획득하기 위하여 (인코더측 전치 프로세서(151)에 의해) 단계(110)에서 인코더측 전처리를 거친다. 전 처리된 프레임은 단계(115)에서 (인코더(152)에 의해) 인코딩된다. 인코딩된 프레임은 단계(120)에서 (디코더(153)에 의해) 디코딩된다. 디코딩된 프레임은 단계(125)에서 출력 비디오를 제공하기 위하여 (디코더측 후치 프로세서(154)에 의해) 후 처리를 거친다.
데이터 프루닝 처리는 인코더측 전치 프로세서(151)에서 수행된다. 프루닝된 비디오는 이후 인코더(152)로 송신된다. 복구에 필요한 메타데이터와 함께 인코딩된 비디오는 디코더(153)로 송신된다. 디코더(153)는 프루닝된 비디오를 압축 해제하고, 디코더측 후치 프로세서(154)는 수신된 메타데이터를 가지고 또는 없이(일부 상황에서 메타데이터는 요구되지 않아서 그리하여 복구에 사용되지 않는 것이 가능하므로) 프루닝된 비디오로부터 원래의 비디오를 복구한다.
도 2를 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 인코더가 일반적으로 참조 부호 (200)으로 지시된다. 비디오 인코더(200)는 예를 들어 도 1에 도시된 비디오 인코더(152)로 사용될 수 있다. 비디오 인코더(200)는 결합기(285)의 비반전 입력과 신호 통신하는 출력을 구비하는 프레임 정렬 버퍼(210)를 포함한다. 결합기(285)의 출력은 변환기 및 양자화기(225)의 제1 입력과 신호 통신가능하게 연결된다. 변환기 및 양자화기(225)의 출력은 엔트로피 코더(245)의 제1 입력과, 역변환기 및 역양자화기(250)의 제1 입력과 신호 통신가능하게 연결된다. 엔트로피 코더(245)의 출력은 결합기(290)의 제1 비반전 입력과 신호 통신가능하게 연결된다. 결합기(190)의 출력은 출력 버퍼(235)의 제1 입력과 신호 통신가능하게 연결된다.
인코더 제어기(205)의 제1 출력은 프레임 정렬 버퍼(210)의 제2 입력, 역변환기 및 역양자화기(250)의 제2 입력, 화상 유형 결정 모듈(215)의 입력, 매크로블록 유형(MB 유형) 결정 모듈(220)의 제1 입력, 인트라 예측 모듈(260)의 제2 입력, 디블록킹 필터(265)의 제2 입력, 움직임 보상기(270)의 제1 입력, 움직임 추정기(275)의 제1 입력, 및 참조 화상 버퍼(280)의 제2 입력과 신호 통신가능하게 연결된다.
인코더 제어기(205)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(230)의 제1 입력, 변환기 및 양자화기(225)의 제2 입력, 엔트로피 코더(245)의 제2 입력, 출력 버퍼(235)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(240)의 입력과 신호 통신가능하게 연결된다.
SEI 삽입기(230)의 출력은 결합기(290)의 제2 비반전 입력과 신호 통신가능하게 연결된다.
화상 유형 결정 모듈(215)의 제1 출력은 프레임 정렬 버퍼(210)의 제3 입력과 신호 통신가능하게 연결된다. 화상 유형 결정 모듈(215)의 제2 출력은 매크로 블록 유형 결정 모듈(220)의 제2 입력과 신호 통신가능하게 연결된다.
SPS 및 PPS 삽입기(240)의 출력은 결합기(290)의 제3 비반전 입력과 신호 통신가능하게 연결된다.
역양자화기 및 역변환기(250)의 출력은 결합기(219)의 제1 비반전 입력과 신호 통신가능하게 연결된다. 결합기(219)의 출력은 인트라 예측 모듈(260)의 제1 입력과 디블록킹 필터(265)의 제1 입력과 신호 통신가능하게 연결된다. 디블록킹 필터(265)의 출력은 참조 화상 버퍼(280)의 제1 입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(280)의 출력은 움직임 추정기(275)의 제2 입력과, 움직임 보상기(270)의 제3 입력과 신호 통신가능하게 연결된다. 움직임 추정기(275)의 제1 출력은 움직임 보상기(270)의 제2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(275)의 제2 출력은 엔트로피 코더(245)의 제3 입력과 신호 통신가능하게 연결된다.
움직임 보상기(270)의 출력은 스위치(297)의 제1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력과 신호 통신가능하게 연결된다. 매크로블록 유형 결정 모듈(220)의 출력은 스위치(297)의 제3 입력과 신호 통신가능하게 연결된다. 스위치(297)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력에 비해)이 움직임 보상기(270)에 의해 제공될지 또는 인트라 예측 모듈(260)에 의해 제공될지를 결정한다. 스위치(297)의 출력은 결합기(219)의 제2 비반전 입력과 결합기(285)의 반전 입력과 신호 통신가능하게 연결된다.
프레임 정렬 버퍼(210)의 제1 입력과 인코더 제어기(205)의 입력은 입력 화상을 수신하기 위해 인코더(200)의 입력으로 이용가능하다. 또한, SEI 삽입기(230)의 제2 입력은 메타데이터를 수신하기 위하여 인코더(200)의 입력으로 이용가능하다. 출력 버퍼(235)의 출력은 비트스트림을 출력하기 위하여 인코더(200)의 출력으로 이용가능하다.
도 3를 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 비디오 디코더가 일반적으로 참조 부호 (300)으로 지시된다. 비디오 디코더(300)는 예를 들어 도 1에 도시된 비디오 디코더(153)로 사용될 수 있다. 비디오 디코더(300)는 엔트로피 디코더(345)의 제1 입력과 신호 통신가능하게 연결된 출력을 가지는 입력 버퍼(310)를 포함한다. 엔트로피 디코더(345)의 제1 출력은 역변환기 및 역양자화기(350)의 제1 입력과 신호 통신가능하게 연결된다. 역 변환기 및 역양자화기(350)의 출력은 결합기(325)의 제2 비반전 입력과 신호 통신가능하게 연결된다. 결합기(325)의 출력은 디블록킹 필터(365)의 제2 입력과 인트라 예측 모듈(360)의 제1 입력과 신호 통신가능하게 연결된다. 디블록킹 필터(365)의 제2 출력은 참조 화상 버퍼(380)의 제1 입력과 신호 통신가능하게 연결된다. 참조 화상 버퍼(380)의 출력은 움직임 보상기(370)의 제2 입력과 신호 통신가능하게 연결된다.
엔트로피 디코더(345)의 제2 출력은 움직임 보상기(370)의 제3 입력, 디블록킹 필터(365)의 제1 입력, 및 인트라 예측기(360)의 제3 입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(345)의 제3 출력은 디코더 제어기(305)의 입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제1 출력은 엔트로피 디코더(345)의 제2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제2 출력은 역변환기 및 역양자화기(350)의 제2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제3 출력은 디블록킹 필터(365)의 제3 입력과 신호 통신가능하게 연결된다. 디코더 제어기(305)의 제4 출력은 인트라 예측 모듈(360)의 제2 입력, 움직임 보상기(370)의 제1 입력 및 참조 화상 버퍼(380)의 제2 입력과 신호 통신 가능하게 연결된다.
움직임 보상기(370)의 출력은 스위치(397)의 제1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2 입력과 신호 통신가능하게 연결된다. 스위치(397)의 출력은 결합기(325)의 제1 비반전 입력과 신호 통신가능하게 연결된다.
입력 버퍼(310)의 입력은 입력 비트 스트림을 수신하기 위해 디코더(300)의 입력으로 이용가능하다. 디블록킹 필터(365)의 제1 출력은 출력 화상을 출력하기 위해 디코더(300)의 출력으로 이용가능하다.
도 4를 참조하면, 블록 기반 혼합 해상도 데이터 프루닝을 위한 예시적인 시스템이 일반적으로 참조 부호 (400)으로 지시된다. 본 시스템(400)은 프루닝 블록 식별기(410)의 입력과 신호 통신가능하게 연결된 출력을 구비하는 분할기(405)를 포함한다. 프루닝 블록 식별기(410)의 제1 출력은 블록 대체기(415)의 입력과 신호 통신가능하게 연결된다. 프루닝 블록 식별기(410)의 제2 출력은 메타데이터 인코더(420)의 입력과 신호 통신가능하게 연결된다. 분할기(405)의 입력은 중복되지 않는 블록으로 분할하기 위한 원래의 비디오를 수신하기 위해 시스템(400)에 입력으로 이용가능하다. 블록 대체기(415)의 출력은 혼합 해상도 비디오를 출력하기 위해 시스템(400)의 출력으로 이용가능하다. 메타데이터 인코더의 출력은 인코딩된 메타데이터를 출력하기 위해 시스템(400)의 출력으로 이용가능하다.
도 5를 참조하면, 비디오 압축을 위해 블록 기반 혼합 해상도 데이터 프루닝을 위한 예시적인 방법이 일반적으로 참조 부호 (500)으로 지시된다. 단계(505)에서, 비디오 프레임이 입력된다. 단계(510)에서, 비디오 프레임이 중복되지 않는 블록으로 분할된다. 단계(515)에서, 루프가 각 블록에 대해 수행된다. 단계(520)에서, 현재 블록을 프루닝할지 여부가 결정된다. 그렇다면, 본 방법은 단계(525)로 진행한다. 그렇지 않으면, 본 방법은 단계(515)로 리턴한다. 단계(525)에서, 블록은 프루닝되고 대응하는 메타데이터가 저장된다. 단계(530)에서, 모든 블록이 완료되었는지(처리되었는지) 여부가 결정된다. 그렇다면, 제어는 기능 블록(535)으로 전달된다. 그렇지 않으면, 본 방법은 단계(515)로 리턴한다. 단계(530)에서 프루닝된 프레임 및 대응하는 메타데이터가 출력된다.
도 4 및 도 5를 참조하면, 프루닝 공정 동안, 입력 프레임이 제일 먼저 중복되지 않는 블록으로 분할된다. 이후 프루닝 블록 식별 공정이 프루닝될 수 있는 복구가능한 블록을 식별하기 위해 수행된다. 프루닝된 블록의 좌표(coordinate)는 메타데이터로 저장되며 이는 인코딩되어 디코더측으로 송신될 수 있다. 프루닝하기 위해 준비된 블록은 저해상도 블록 또는 단순히 평탄 블록으로 대체될 수 있다. 그 결과 고해상도를 가지는 블록의 일부와 저해상도를 가지는 블록의 일부를 구비하는 비디오 프레임(즉, 혼합된 해상도 프레임)이 생성된다.
도 6을 참조하면, 블록 기반 혼합 해상도 데이터 프루닝을 위한 데이터 복구를 위한 예시적인 시스템이 일반적으로 참조 부호 (600)으로 지시된다. 본 시스템(600)은 프루닝된 블록 식별기(610)의 제1 입력과 신호 통신가능하게 연결된 출력을 가지는 분할기(605)를 포함한다. 메타데이터 디코더(615)의 출력은 프루닝된 블록 식별기(610)의 제2 입력과 블록 복원기(620)의 제2 입력과 신호 통신가능하게 연결된다. 프루닝된 블록 식별기(610)의 출력은 블록 복원기(620)의 제1 입력과 신호 통신가능하게 연결된다. 분할기(605)의 입력은 중복되지 않는 블록으로 분할하기 위한 프루닝된 혼합 해상도 비디오를 수신하기 위해 시스템(600)의 입력으로 이용가능하다. 메타데이터 인코더(615)의 입력은 또한 인코딩된 메타데이터를 수신하기 위해 시스템(600)의 입력으로 이용가능하다. 블록 복원기(620)의 출력은 복구된 비디오를 출력하기 위해 시스템(600)의 출력으로 이용가능하다.
도 7을 참조하면, 비디오 압축을 위한 블록 기반 혼합 해상도 데이터 프루닝을 위한 데이터 복구를 위한 예시적인 방법이 일반적으로 참조 부호 (700)으로 지시된다. 단계(705)에서, 프루닝된 혼합 해상도 프레임이 입력된다. 단계(710)에서, 프레임이 중복되지 않는 블록으로 분할된다. 단계(715)에서, 루프가 각 블록에 대해 수행된다. 단계(720)에서, 현재 블록이 프루닝 블록인지 여부가 결정된다. 그렇다면, 본 방법은 단계(725)로 진행한다. 그렇지 않으면, 본 방법은 단계(715)로 리턴한다. 단계(725)에서, 블록이 복원된다. 단계(730)에서, 모든 블록이 완료되었는지(처리되었는지) 여부가 결정된다. 그렇다면, 본 방법은 단계(735)로 진행한다. 그렇지 않다면, 본 방법은 단계(715)로 리턴한다. 단계(735)에서 복구된 프레임이 출력된다.
도 6 및 도 7을 참조하면, 복구 공정 동안, 프루닝된 블록은 메타데이터의 도움으로 식별된다. 또한, 프루닝된 블록은 인페인팅과 같은 여러 알고리즘을 사용하여 메타데이터의 도움으로 또는 도움 없이 블록 복원 공정으로 복구된다. 블록 복원 및 식별은 본 발명의 원리에 초점이 없는 다른 플러그인 방법으로 대체될 수 있다. 즉, 본 발명의 원리는 임의의 특정 블록 복원 및 식별 공정에 기초하지 않으므로, 임의의 응용가능한 블록 복원 및 식별 공정이 본 발명의 원리의 사상을 유지하면서 본 발명의 원리의 개시 내용에 따라 사용될 수 있다.
프루닝 공정
입력 비디오 프레임이 제일 먼저 중복되지 않는 블록으로 분할된다. 블록 사이즈는 예를 들어, 16ㅧ16픽셀 또는 8ㅧ8픽셀로 변할 수 있다. 그러나, 블록 분할은 최대 압축 효율을 달성할 수 있도록 인코더에 의해 사용된 것과 동일한 것이 바람직하다. 예를 들어, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC (Advanced Video Coding) Standard/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 Recommendation (이후 "MPEG-4 AVC 표준")에 따라 인코딩할 때, 매크로블록은 16ㅧ16픽셀이다. 따라서, MPEG-4 AVC 표준을 수반하는 실시예에서, 데이터 프루닝을 위한 블록 사이즈의 바람직한 선택은 16ㅧ16픽셀이다.
각 블록에 대해, 블록 식별 공정은 블록이 프루닝되어야 할지 여부를 결정한다. 이것은 여러 기준에 기초할 수 있으나, 이 기준은 복원 공정에 의해 결정되어야 한다. 예를 들어, 인페인팅 접근법이 블록을 복원하는데 사용되는 경우, 이 기준은 블록이 특정 인페인팅 공정을 사용하여 복원될 수 있을지 여부이어야 한다. 이 블록이 인페인팅 공정에 의해 복원가능한 경우, 블록은 프루닝 블록으로 표시된다.
프루닝 블록이 식별된 후에, 프루닝 블록은 저해상도 블록 또는 평탄 블록으로 대체되어 혼합된 해상도의 프레임을 초래한다. 도 8을 참조하면, 예시적인 혼합 해상도 프레임은 일반적으로 참조 부호 (800)으로 지시된다. 도 8로부터 프레임의 일부 부분은 고해상도를 가지고, 프레임의 일부 부분은 평탄 블록으로 대체된 것을 볼 수 있다. 저해상도 또는 평탄 블록에서 고주파수 신호는 프루닝 공정 동안 제거된다. 따라서, 저해상도 또는 평탄 블록이 보다 효과적으로 인코딩될 수 있다. 도 9를 참조하면, 공간 주파수 공간에 도시된 블록 기반 혼합 해상도 데이터 프루닝 공정의 일례가 일반적으로 참조 부호 (900)으로 지시된다. 이 평탄 블록은 기본적으로 DC 성분만이 유지되는 블록이며, 저해상도 블록은 AC 성분 중 일부가 제거된 블록이다. 실제로, 프루닝된 블록이 평탄 블록으로 대체되도록 결정되면, 제일 먼저 입력 블록의 평균 색상(average color)을 계산하는 것이 가능하며, 이후 블록 내 모든 픽셀의 색상이 이 평균 색상으로 설정된다. 공정은 이 블록의 DC 성분만을 유지하는 것과 동등하다. 프루닝된 블록이 저해상도 블록으로 대체되도록 결정되면, 저역 통과 필터가 입력 블록에 적용되고, 이 블록은 저역 통과 필터링된 버전으로 대체된다. 평탄 블록을 사용하든지 또는 저해상도 블록을 사용하든지 상관없이, 저역 통과 필터의 파라미터는 사용되는 복원 알고리즘의 유형에 의해 결정되어야 한다.
메타데이터 인코딩 및 디코딩
복원 공정에서 프루닝된 블록을 올바르게 복원하기 위하여, 메타데이터로 표시된 블록의 위치는 디코더 측으로 송신되어야 한다. 하나의 간단한 접근법은 일반적인 무손실 데이터 압축 알고리즘을 사용하여 위치 데이터를 압축하는 것이다. 그러나, 본 시스템에서는 프루닝된 블록이 저해상도 또는 평탄 블록이고, 저해상도 또는 평탄 블록은 프루닝된 블록이 고주파수 신호를 포함하는지 여부를 검출하는 것에 의해 식별될 수 있다는 것에 의해 더 우수한 압축 효율을 달성하는 것이 가능하다.
프루닝된 블록의 최대 주파수가 프루닝 및 복원 알고리즘에 의해 미리 결정된 Fm이라고 가정하면, 최대 주파수(Fm)보다 더 큰 신호 성분의 에너지를 계산하는 것이 가능하다. 에너지가 임계값보다 더 작으면, 블록은 잠재적인 프루닝된 블록이다. 이것은, 제일 먼저 저역 통과 필터를 블록 이미지에 적용하고, 이후 입력 블록 이미지로부터 필터링된 블록 이미지를 감산한 다음, 고주파수 신호의 에너지를 계산하는 것에 의해 달성될 수 있다. 수리적으로, 다음 수식 (1)과 같다:
Figure pct00001
(1)
여기서 E는 고주파수 신호의 에너지이고, B는 입력 블록 이미지이고, H는 대역폭(Fm)을 가지는 저역 통과 필터이고, HB는 B의 저역 통과 필터링된 버전이다.
Figure pct00002
는 이미지의 에너지를 계산하는 함수이다.
그러나, 전술된 공정은 프루닝되지 않은 블록이 평탄(flat) 또는 평활(smooth)일 수도 있으므로 100% 신뢰할 수 있는 것은 아니다. 그러므로, 또한 디코더에 식별 공정에 의한 "나머지(residuals)", 즉 긍정 오류(false positive) 블록의 좌표 및 누락된 블록의 좌표를 송신하는 것이 더 필요하다.
이론적으로, 이들 3개의 성분, 즉 임계값, 긍정 오류 블록의 좌표, 및 누락된 블록의 좌표를 디코더 측에 송신하는 것이 가능하다. 그러나, 더 간단한 공정을 위해, 인코더 측에서 임계값이 모든 프루닝된 블록이 식별되도록 변할 수 있다. 이에 따라, 누락된 블록이 없게 된다. 이 공정은 낮은 고주파수 에너지를 가지는 프루닝되지 않은 블록인 일부 긍정 오류 블록을 초래할 수 있다. 따라서, 긍정 오류 블록의 수가 프루닝된 블록의 수보다 더 크다면, 모든 프루닝된 블록의 좌표가 바로 송신되고, 신호송신 플래그는 0으로 설정된다. 그렇지 않으면, 긍정 오류 블록의 좌표가 송신되고, 신호송신 플래그는 1로 설정된다.
도 10을 참조하면, 메타데이터 인코딩을 위한 예시적인 방법이 일반적으로 참조 부호 (1000)으로 지시된다. 단계(1005)에서, 프루닝된 프레임이 입력된다. 단계(1010)에서 저해상도 블록 식별이 수행된다. 단계(1015)에서 저해상도 블록 식별에 누락이 있는지 여부가 결정된다. 그렇다면, 본 방법은 단계(1020)로 진행한다. 그렇지 않으면, 본 방법은 단계(1050)로 진행한다. 단계(1020)에서 프루닝된 블록보다 더 많은 긍정 오류가 있는지 여부가 결정된다. 그렇다면, 본 방법은 단계(1040)로 진행한다. 그렇지 않다면, 본 방법은 단계(1045)로 진행한다. 단계(1040)에서 프루닝된 블록 시퀀스가 사용되고, 플래그는 0으로 설정된다. 단계(1025)에서 차등(differentiation)이 수행된다. 단계(1030)에서 무손실 인코딩이 수행된다. 단계(1035)에서 인코딩된 메타데이터는 출력된다. 단계(1045)에서 긍정 오류 시퀀스가 사용되고, 플래그는 1로 설정된다. 단계(1050)에서 임계값이 조절된다.
따라서, 이하 예시적인 메타데이터 시퀀스가 제공된다:
Figure pct00003
"플래그" 세그먼트는 이하 시퀀스가 긍정 오류 블록의 좌표인지 또는 프루닝된 블록의 좌표인지 여부를 나타내는 이진수이다. "임계값"수는 수식 (1)을 사용하여 저해상도 또는 평탄 블록 식별을 하는데 사용된다.
도 11을 참조하면, 메타데이터 디코딩을 위한 예시적인 방법이 일반적으로 참조 부호 (1100)으로 지시된다. 단계(1105)에서, 인코딩된 메타데이터가 입력된다. 단계(1110)에서 무손실 디코딩이 수행된다. 단계(1115)에서 역 차등이 수행된다. 단계(1120)에서 플래그=0인지 여부가 결정된다. 그렇다면, 본 방법은 단계(1125)로 진행한다. 그렇지 않으면, 본 방법은 단계(1130)로 진행한다. 단계(1125)에서 좌표 시퀀스가 출력된다. 단계(1130)에서 저해상도 블록 식별이 수행된다. 단계(1135)에서 긍정 오류가 제거된다. 단계(1140)에서 좌표 시퀀스가 출력된다.
도 11을 계속 참조하면, 블록 좌표를 디코더 측에 송신하기 위해 픽셀 좌표 대신 블록 좌표가 사용된다. 프레임에서 M개의 블록이 있는 경우, 좌표 수는 1에서 M의 범위에 이른다. 또한, 복원 공정 동안 블록에 종속성이 없다면, 블록의 좌표 수는, 블록을 증가하는 수의 시퀀스로 만들고, 제일 먼저 좌표 수와 이전 수 사이에 차이를 계산하도록 차등 코딩 방식을 사용하고, 차이 시퀀스를 인코딩하도록 분류될 수 있다. 예를 들어, 좌표 시퀀스가 3, 4, 5, 8, 13, 14라고 가정하면, 차등 시퀀스는 3, 1, 1, 3, 5, 1이 된다. 차등 공정은 이 수를 1에 더 가깝게 만들어서, 더 작은 엔트로피를 가지는 수의 분배를 초래한다. 데이터가 더 작은 엔트로피를 가지는 경우, 데이터는 정보 이론에 따라 더 작은 코드 길이를 가지고 인코딩될 수 있다. 그 결과 차등 시퀀스는 허프만 코드(Huffman code)와 같은 무손실 압축 방식에 의해 더 인코딩될 수 있다. 복원 공정 동안 블록에 종속성이 있다면, 차등 공정은 간단히 스킵될 수 있다. 블록에 종속성이 있는지 여부는 복원 알고리즘의 특성에 의해 사실상 결정된다.
메타데이터 디코딩 공정 동안, 디코더 측 프로세서는 제일 먼저 수신된 임계값을 사용하여 저해상도 블록 식별 공정을 실행할 수 있다. 수신된 "플래그" 세그먼트에 따라 메타데이터 디코딩 공정은 이후의 시퀀스가 긍정 오류 블록 시퀀스인지 또는 프루닝된 블록 시퀀스인지 여부를 결정한다. 복원 공정 동안 블록에 종속성이 없다면, 이후의 시퀀스는 좌표 시퀀스를 생성하기 위해 제일 먼저 역 차등화될 수 있다. "플래그"에 따라, 시퀀스가 프루닝된 블록 시퀀스의 좌표라면, 공정은 그 결과 시퀀스를 직접 출력한다. 긍정 오류 시퀀스라면, 디코더 측 공정은 제일 먼저 저해상도 블록 식별 공정에 의해 식별된 최종 블록 시퀀스를 취할 수 있고 이후 긍정 오류 시퀀스에 포함된 모든 좌표를 제거할 수 있다.
상이한 메타데이터 인코딩 방식이 예를 들어 블록 ID를 디코더 측에 직접 송신하는 것과 같이 사용될 수 있는 것으로 이해된다. 이들 및 다른 변경은 본 명세서에 개시된 본 발명의 원리의 개시 내용으로부터 이 기술 분야에 통상의 지식을 가진 자라면 용이하게 구상할 수 있을 것이다.
복원 공정
복원 공정은 프루닝된 비디오가 디코딩된 후에 수행된다. 복원 전에, 프루닝된 블록의 위치는 본 명세서에 개시된 바와 같이 메타데이터를 디코딩하는 것에 의해 획득된다.
각 블록에 대해, 복원 공정은 프루닝된 블록에서 컨텐츠를 복구하기 위해 수행된다. 여러 알고리즘이 복원을 위해 사용될 수 있다. 복원의 일례는 인접한 픽셀로부터 보간하는 것에 의해 이미지에서 누락 픽셀을 복원하는 이미지 인페인팅이다. 본 출원의 제안된 접근법에서는 각 프루닝된 블록이 저해상도 블록 또는 평탄 블록으로 대체되므로, 저해상도 블록 또는 평탄 블록에 의해 운반되는 정보는 복구 공정을 가능하게 하기 위해 사이드 정보로서 사용될 수 있어서, 더 높은 복구 정밀도가 달성될 수 있다. 블록 복구 모듈은 전통적인 인페인팅 및 텍스처 합성 기반 방법과 같은 임의의 복구 방식으로 대체될 수 있다. 도 12를 참조하면, 예시적인 블록 ID가 일반적으로 참조 부호 1200으로 지시된다.
본 발명의 원리의 이들 및 다른 특징과 이점은 본 명세서에 개시된 내용에 기초하여 이 기술 분야에 통상의 지식을 가진 자라면 용이하게 확인할 수 있을 것이다. 본 발명의 원리의 개시 내용은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합의 여러 형태로 구현될 수 있는 것으로 이해된다.
가장 바람직하게는 본 발명의 원리의 교시 내용은 하드웨어와 소프트웨어의 조합으로 구현된다. 나아가, 소프트웨어는 프로그램 저장 장치에 유형적으로 구현되는 애플리케이션 프로그램으로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 이키텍처를 포함하는 기계에 업로딩되고 이 기계에 의해 실행될 수 있다. 바람직하게는 이 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼에 구현된다. 컴퓨터 플랫폼은 운영 시스템 및 마이크로명령 코드를 더 포함할 수 있다. 본 명세서에 기술된 여러 공정과 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 부분이나 애플리케이션 프로그램의 부분 또는 이들의 임의의 조합일 수 있다. 나아가, 여러 다른 주변 장치들이 추가적인 데이터 저장 장치와 프린팅 장치와 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 요소 및 방법의 일부는 바람직하게는 소프트웨어로 구현될 수 있으므로, 시스템 요소나 공정 기능 블록들 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해할 수 있을 것이다. 본 명세서에 있는 교시 내용에 따라 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 원리의 이들 및 이와 유사한 구현에나 구성을 구상할 수 있을 것이다.
첨부 도면을 참조하여 본 명세서에서 예시적인 실시예들이 기술되었으나, 본 발명의 원리는 이들 정확한 실시예로 제한되는 것은 아니고 본 발명의 원리의 범위나 사상을 벗어남이 없이 이 기술 분야에 통상의 지식을 가진 자라면 여러 변경과 변형이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 모든 이러한 변경과 변형은 첨부된 청구범위에 개시된 본 발명의 원리의 범위 내에 있는 것으로 의도된다.

Claims (24)

  1. 비디오 시퀀스에서 화상을 인코딩하는 장치로서,
    상기 화상의 원래의 버전으로부터 프루닝(pruning)될 하나 이상의 원래의 블록을 식별하는 프루닝 블록 식별기(410);
    상기 프루닝될 하나 이상의 원래의 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 것에 의해 상기 화상의 프루닝된 버전을 생성하는 블록 대체기(415);
    상기 화상의 상기 프루닝된 버전을 복구하기 위한 메타데이터를 생성하는 메타데이터 생성기(410)로서, 상기 메타데이터는 상기 하나 이상의 대체 블록의 위치 정보를 포함하는 것인 메타데이터 생성기(410); 및
    상기 화상의 상기 프루닝된 버전과 상기 메타데이터를 인코딩하는 인코더(110)를 포함하는 장치.
  2. 제1항에 있어서, 상기 화상의 상기 프루닝된 버전은 상기 화상의 상기 원래의 버전을 복수의 블록으로 분한하고, 프루닝될 상기 하나 이상의 원래의 블록을 상기 하나 이상의 대체 블록으로 각각 대체하는 것에 의해 생성되고, 상기 하나 이상의 대체 블록 중 적어도 주어진 블록에 있는 모든 픽셀은 동일한 색상 값 또는 더 낮은 해상도 중 하나를 가지고, 상기 더 낮은 해상도는 프루닝될 상기 하나 이상의 원래의 블록에 대하여 결정되는 것인 장치.
  3. 제2항에 있어서, 상기 동일한 색상 값은 상기 복수의 블록 중 상기 적어도 하나의 블록 내 상기 픽셀의 색상 값의 평균인 것인 장치.
  4. 제2항에 있어서, 상기 화상의 상기 프루닝된 버전은 혼합 해상도 화상인 것인 장치.
  5. 제2항에 있어서, 상기 하나 이상의 프루닝된 블록은 프루닝될 상기 하나 이상의 원래의 블록의 각각보다 특정된 주파수를 넘는 더 적은 정보를 포함하는 것인 장치.
  6. 제1항에 있어서, 상기 위치 정보는 상기 하나 이상의 대체 블록에 대한 좌표 정보를 포함하는 것인 장치.
  7. 제1항에 있어서, 상기 프루닝 블록 식별기(410)는 상기 화상의 상기 원래의 버전으로부터 프루닝될 상기 하나 이상의 원래의 블록을 식별하기 위해 식별 공정을 수행하며, 프루닝될 상기 하나 이상의 원래의 블록 중 주어진 블록은 특정된 주파수보다 더 큰 프루닝될 상기 하나 이상의 원래의 블록 중 상기 주어진 블록의 신호 성분의 에너지 양에 기초하여 상기 식별 공정에 의하여 식별되는 것인 장치.
  8. 제 7항에 있어서, 상기 메타데이터는 상기 식별 공정에 대하여 긍정 오류 블록과 누락된 블록의 위치 정보를 더 포함하는 것인 장치.
  9. 비디오 시퀀스에서 화상을 인코딩하는 방법으로서,
    상기 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별(520)하는 단계;
    프루닝될 상기 하나 이상의 원래의 블록에 대해 하나 이상의 대체 블록을 각각 생성하는 것에 의해 상기 화상의 프루닝된 버전을 생성(525)하는 단계;
    상기 화상의 상기 프루닝된 버전을 복구하는 메타데이터를 생성(520)하는 단계; 및
    상기 화상의 상기 프루닝된 버전과 상기 메타데이터를 적어도 하나의 인코더를 사용하여 인코딩(1000)하는 단계를 포함하며,
    상기 메타데이터는 상기 하나 이상의 대체 블록의 위치 정보를 포함하는 것인 방법.
  10. 제9항에 있어서, 상기 화상의 상기 프루닝된 버전은 상기 화상의 상기 원래의 버전을 복수의 블록으로 분할(505)하고, 프루닝될 상기 하나 이상의 원래의 블록을 상기 하나 이상의 대체 블록으로 대체(525)하는 것에 의해 생성되고, 상기 하나 이상의 대체 블록 중 적어도 주어진 블록에 있는 모든 픽셀은 동일한 색상 값 도는 더 낮은 해상도 중 하나를 구비하고, 상기 더 낮은 해상도는 프루닝될 상기 하나 이상의 원래의 블록에 대해 결정되는 것인 방법.
  11. 제10항에 있어서, 상기 동일한 색상 값은 상기 복수의 블록 중 상기 적어도 하나의 블록 내 상기 픽셀의 색상 값의 평균과 동일한 것인 방법.
  12. 제10항에 있어서, 상기 화상의 상기 프루닝된 버전은 혼합 해상도 화상(800)인 것인 방법.
  13. 제10항에 있어서, 상기 하나 이상의 프루닝된 블록은 프루닝된 상기 하나 이상의 원래의 블록의 각 블록보다 특정된 주파수를 넘는 더 적은 정보(900)를 포함하는 것인 방법.
  14. 제9항에 있어서, 상기 위치 정보는 상기 하나 이상의 대체 블록에 대한 좌표 정보를 포함하는 것인 방법.
  15. 제9항에 있어서, 프루닝될 상기 하나 이상의 원래의 블록을 식별하는 상기 단계는 상기 화상의 상기 원래의 버전으로부터 프루닝될 상기 하나 이상의 원래의 블록을 식별하는 식별 공정을 수행하는 단계를 포함하며, 프루닝될 상기 하나 이상의 원래의 블록 중 주어진 블록은 특정된 주파수보다 더 큰 프루닝될 상기 하나 이상의 원래의 블록 중 상기 주어진 블록의 신호 성분의 에너지 양에 기초하여 상기 식별 공정에 의하여 식별되는 것인 방법.
  16. 제15항에 있어서, 상기 메타 데이터는 상기 식별 공정(1015, 1020)에 대하여 긍정 오류 블록과 누락된 블록의 위치 정보를 더 포함하는 것인 방법.
  17. 비디오 시퀀스에서 화상을 인코딩하는 장치로서,
    상기 화상의 원래의 버전으로부터 프루닝될 하나 이상의 원래의 블록을 식별(410)하는 수단;
    프루닝될 상기 하나 이상의 원래의 블록에 대한 하나 이상의 대체 블록을 각각 생성하는 것에 의해 상기 화상의 프루닝된 버전을 생성(415)하는 수단;
    상기 화상의 상기 프루닝된 버전을 복구하기 위한 메타데이터를 생성(410)하는 수단; 및
    상기 화상의 상기 프루닝된 버전과 상기 메타데이터를 인코딩(110)하는 수단을 포함하며, 상기 메타데이터는 상기 하나 이상의 대체 블록의 위치 정보를 포함하는 장치.
  18. 제17항에 있어서, 상기 화상의 상기 프루닝된 버전은 상기 화상의 상기 원래의 버전을 복수의 블록으로 분할하고, 프루닝될 상기 하나 이상의 원래의 블록을 상기 하나 이상의 대체 블록으로 각각 대체하는 것에 의해 생성되고, 상기 하나 이상의 대체 블록 중 적어도 주어진 블록에 있는 모든 픽셀은 동일한 색상 값 또는 더 낮은 해상도 중 하나를 구비하며, 상기 더 낮은 해상도는 프루닝될 상기 하나 이상의 원래의 블록에 대하여 결정되는 것인 장치.
  19. 제18항에 있어서, 상기 동일한 색상 값은 상기 복수의 블록 중 상기 적어도 하나의 블록 내 상기 픽셀의 색상 값의 평균인 것인 장치.
  20. 제18항에 있어서, 상기 화상의 상기 프루닝된 버전은 혼합 해상도 화상인 것인 장치.
  21. 제18항에 있어서, 상기 하나 이상의 프루닝된 블록은 프루닝될 상기 하나 이상의 원래의 블록 각각보다 특정된 주파수를 넘는 더 적은 정보를 포함하는 것인 장치.
  22. 제17항에 있어서, 상기 위치 정보는 상기 하나 이상의 대체 블록에 대한 좌표 정보를 포함하는 것인 장치.
  23. 제17항에 있어서, 상기 식별(410)하는 수단은 상기 화상의 상기 원래의 버전으로부터 프루닝될 상기 하나 이상의 원래의 블록을 식별하기 위한 식별 공정을 수행하고, 프루닝될 상기 하나 이상의 원래의 블록 중 주어진 블록은 특정된 주파수보다 더 큰 프루닝될 상기 하나 이상의 원래의 블록 중 상기 주어진 블록의 신호 성분의 에너지 양에 기초하여 상기 식별 공정에 의해 식별되는 것인 장치.
  24. 제23항에 있어서, 상기 메타데이터는 상기 식별 공정에 대하여 긍정 오류 블록과 누락된 블록의 위치 정보를 더 포함하는 것인 장치.
KR1020137009098A 2010-09-10 2011-09-09 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩 KR101885633B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40308710P 2010-09-10 2010-09-10
US61/403,087 2010-09-10
PCT/US2011/050919 WO2012033966A1 (en) 2010-09-10 2011-09-09 Video encoding using block- based mixed - resolution data pruning

Publications (2)

Publication Number Publication Date
KR20130139261A true KR20130139261A (ko) 2013-12-20
KR101885633B1 KR101885633B1 (ko) 2018-08-06

Family

ID=44652033

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137005893A KR101869459B1 (ko) 2010-09-10 2011-09-09 블록-기반의 혼합된-해상도 데이터 프루닝을 이용하는 비디오 디코딩
KR1020137009098A KR101885633B1 (ko) 2010-09-10 2011-09-09 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137005893A KR101869459B1 (ko) 2010-09-10 2011-09-09 블록-기반의 혼합된-해상도 데이터 프루닝을 이용하는 비디오 디코딩

Country Status (7)

Country Link
US (2) US20130170558A1 (ko)
EP (2) EP2614646A1 (ko)
JP (2) JP6071001B2 (ko)
KR (2) KR101869459B1 (ko)
CN (2) CN103210648B (ko)
BR (1) BR112013005316A2 (ko)
WO (2) WO2012033966A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823242B (zh) 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
CN102726044B (zh) 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
EP2645712A1 (en) * 2012-03-26 2013-10-02 Siemens Aktiengesellschaft Image downsampling
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US9947071B2 (en) * 2014-06-27 2018-04-17 Samsung Electronics Co., Ltd. Texture pipeline with online variable rate dictionary compression
US10115177B2 (en) 2014-06-27 2018-10-30 Samsung Electronics Co., Ltd. Online texture compression and decompression in hardware
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
KR101954851B1 (ko) * 2015-02-16 2019-03-06 삼성전자주식회사 메타데이터 기반 영상 처리 방법 및 장치
US10623775B1 (en) * 2016-11-04 2020-04-14 Twitter, Inc. End-to-end video and image compression
EP3583777A4 (en) * 2017-02-16 2020-12-23 Nokia Technologies Oy VIDEO PROCESSING PROCESS AND TECHNICAL EQUIPMENT
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10713997B2 (en) * 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
US10776957B2 (en) 2018-10-02 2020-09-15 Samsung Electronics Co., Ltd. Online image compression in hardware
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
US11432009B2 (en) * 2019-07-02 2022-08-30 Intel Corporation Techniques for encoding and decoding immersive video
US11477429B2 (en) 2019-07-05 2022-10-18 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203744A (ja) * 2005-01-24 2006-08-03 Victor Co Of Japan Ltd 静止画生成装置及び静止画生成方法
WO2010033151A1 (en) * 2008-09-18 2010-03-25 Thomson Licensing Methods and apparatus for video imaging pruning

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
JP2000511744A (ja) * 1997-04-02 2000-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理システム及び方法
CN1133327C (zh) * 1997-12-23 2003-12-31 汤姆森特许公司 低噪声编码解码装置和方法
US7623706B1 (en) * 2000-09-29 2009-11-24 Hewlett-Packard Development Company, L.P. Reduction of chromatic bleeding artifacts in images containing subsampled chrominance values
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
JP3759932B2 (ja) * 2003-01-15 2006-03-29 ティーオーエー株式会社 画像圧縮方法及び伸張方法
JP3944738B2 (ja) * 2003-03-18 2007-07-18 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4205008B2 (ja) * 2004-04-08 2009-01-07 三菱電機株式会社 画像データ通信方法
US8391368B2 (en) * 2005-04-08 2013-03-05 Sri International Macro-block based mixed resolution video compression system
AU2006201210A1 (en) * 2006-03-23 2007-10-11 Canon Information Systems Research Australia Pty Ltd Motion characterisation
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
JP4829836B2 (ja) * 2007-04-26 2011-12-07 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、コンピュータプログラム、復号装置、及びコンピュータ可読記憶媒体
CN101681499B (zh) * 2007-06-14 2013-04-24 汤姆逊许可证公司 修改经编码的比特流
US8081842B2 (en) * 2007-09-07 2011-12-20 Microsoft Corporation Image resizing for web-based image search
US8204325B2 (en) * 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
JP5457853B2 (ja) * 2010-01-20 2014-04-02 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
US20110210960A1 (en) * 2010-02-26 2011-09-01 Google Inc. Hierarchical blurring of texture maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203744A (ja) * 2005-01-24 2006-08-03 Victor Co Of Japan Ltd 静止画生成装置及び静止画生成方法
WO2010033151A1 (en) * 2008-09-18 2010-03-25 Thomson Licensing Methods and apparatus for video imaging pruning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hui C et al: "Reduced Resolution Residual Coding for H.264-based Compression System", ISCAS 2006, 21 May 2006, pages 3486-9. *

Also Published As

Publication number Publication date
EP2614646A1 (en) 2013-07-17
KR101869459B1 (ko) 2018-06-20
EP2614640A1 (en) 2013-07-17
JP2013541276A (ja) 2013-11-07
KR20130139238A (ko) 2013-12-20
JP6071001B2 (ja) 2017-02-01
CN103210648A (zh) 2013-07-17
CN103098468B (zh) 2017-02-15
WO2012033966A1 (en) 2012-03-15
WO2012033967A1 (en) 2012-03-15
CN103210648B (zh) 2017-06-09
CN103098468A (zh) 2013-05-08
US20130182776A1 (en) 2013-07-18
JP6067563B2 (ja) 2017-01-25
JP2013539934A (ja) 2013-10-28
BR112013005316A2 (pt) 2016-08-16
US20130170558A1 (en) 2013-07-04
KR101885633B1 (ko) 2018-08-06

Similar Documents

Publication Publication Date Title
KR101885633B1 (ko) 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩
JP2013541276A5 (ko)
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
KR102287414B1 (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
US9338477B2 (en) Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
KR101855542B1 (ko) 예제 기반 데이터 프루닝을 이용한 비디오 부호화
KR102011491B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP5805097B2 (ja) 映像符号化及び復号化のためのｄｃイントラ予測モードのための方法及び装置
KR101878515B1 (ko) 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩
CN102577377A (zh) 用于对图像数据进行去块滤波的设备和方法以及使用所述设备和方法的视频解码设备和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
GRNT Written decision to grant