KR20080090421A - 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치 - Google Patents

비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치 Download PDF

Info

Publication number
KR20080090421A
KR20080090421A KR1020087017177A KR20087017177A KR20080090421A KR 20080090421 A KR20080090421 A KR 20080090421A KR 1020087017177 A KR1020087017177 A KR 1020087017177A KR 20087017177 A KR20087017177 A KR 20087017177A KR 20080090421 A KR20080090421 A KR 20080090421A
Authority
KR
South Korea
Prior art keywords
block
resolution
video
encoding
mode
Prior art date
Application number
KR1020087017177A
Other languages
English (en)
Inventor
알렉산드로스 토우라피스
질 맥도날드 보이세
펭 인
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080090421A publication Critical patent/KR20080090421A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

비디오 인코더와 디코더에서 감소된 해상도를 가진 갱신 모드와 복잡도 크기조정에 대한 제약 있는 예측을 위한 방법 및 장치가 제공된다. 복잡도의 크기조정이 가능한 비디오 인코더는, 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 블록에 대한 내부 모드 예측을 발생시킴으로써, 비디오 시퀀스에서의 특정 화상에서 블록을 인코딩하는 인코더(1100)를 포함한다. 제약 있는 내부 예측 프로세스는 감소된 해상도를 가진 갱신 모드에서의 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써, 아티팩트를 감소시킨다.

Description

비디오 인코더 및 디코더에서의 해상도가 감소한 갱신 모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한 방법 및 장치{METHOD AND APPARATUS FOR CONSTRAINED PREDICTION FOR REDUCED RESOLUTION UPDATE MODE AND COMPLEXITY SCALABILITY IN VIDEO ENCODER AND DECODERS}
관련된 출원에 대한 상호-참조
본 출원은 2006년 1월 31일 출원된 미국 가출원 일련 번호 60/764,253호의 이익을 주장한다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 특히 비디오 인코더와 디코더에서 해상도가 감소한 갱신 모드에 대한 제약 있는 예측 및 복잡도 크기조정을 위한 방법 및 장치에 관한 것이다.
방송 비디오 애플리케이션이 동시 방송 인코딩의 비트속도 페널티(penalty)를 초래하지 않고, 다양한 사용자 디바이스에 대한 지원을 제공하는 것이 바람직하다. 비디오 디코딩은 복잡한 동작이고, 그 복잡도는 바로 코딩된 비디오의 해상도에 의존한다. 저전력 휴대용 디바이스는 통상 매우 엄격한 복잡도 제한과 낮은 해상도의 디스플레이를 가진다. 상이한 해상도에 대응하는 2개 이상의 비디오 비트스트림의 동시 방송은 더 낮은 해상도의 디바이스의 복잡도 요구사항을 다루는데 사 용될 수 있지만, 본 발명에 따른 복잡도의 크기조정이 가능한 시스템보다 높은 총 비트속도를 요구한다. 따라서, 높은 비디오 코딩 비트속도 효율을 유지하면서, 복잡도의 크기조정이 가능한 디코더를 허용하는 해결책에 대한 필요성이 존재한다.
SNR 크기조정, 공간 크기조정, 시간 크기조정, 및 미세 입자(fine grain) 크기조정을 포함하는, 많은 상이한 크기조정 방법들이 널리 연구되었고 MPEG-2 표준과 MPEG-4 표준의 크기조정 프로필에서 표준화되었다. 크기조정 코딩의 대부분의 작업은 낮은 해상도를 가진 층이 제한된 대역폭을 가지는 비트속도 크기조정에 목표를 두었다. 도 1에 도시된 것처럼, 통상적인 공간 크기조정 시스템은 일반적으로 참조 번호 100으로 표시된다. 이 시스템(100)은 비디오 시퀀스를 수신하기 위해 복잡도의 크기조정이 가능한 비디오 인코더(110)를 포함한다. 복잡도의 크기조정이 가능한 비디오 인코더(110)의 제 1 출력은, 낮은 대역폭의 네트워크(120)와 멀티플렉서(130)의 제 1 입력과의 신호 교신시에 연결된다. 복잡도의 크기조정이 가능한 비디오 인코더(110)의 제 2 출력은 멀티플렉스(130)의 제 2 입력과의 신호 교신시에 연결된다. 낮은 대역폭 네트워크(120)의 출력은 낮은 해상도의 디코더(140)의 입력과의 신호 교신시에 연결된다. 멀티플렉스(130)의 출력은 높은 대역폭의 네트워크(150)의 입력과의 신호 교신시에 연결된다. 높은 대역폭의 네트워크(150)의 출력은 디멀티플렉서(160)의 입력과의 신호 교신시에 연결된다. 디멀티플렉서(160)의 제 1 입력은 높은 해상도의 디코더(170)의 제 1 입력과의 신호 교신시에 연결되고, 디멀티플렉서(160)의 제 2 출력은 높은 해상도의 디코더(170)의 제 2 입력과의 신호 교신시에 연결된다. 낮은 해상도의 디코더(140)의 출력은 기본 층 비트스트림에 대한 시스템(100)의 출력으로서 이용 가능하고, 높은 해상도의 디코더(170)의 출력은 크기조정이 가능한 비트스트림에 있어서 시스템(100)의 출력으로서 이용 가능하다.
크기조정이 가능한 코딩은 실제로 널리 채택되지 않았는데, 이는 인코더와 디코더의 복잡도가 상당히 증가하는 것과, 크기조정이 가능한 인코더의 코딩 효율이 통상 크기조정이 가능하지 않은 인코더의 코딩 효율보다 한참 아래이기 때문이다.
공간적으로 크기조정이 가능한 인코더와 디코더는 통상, 높은 해상도의 크기조정 인코더/디코더가 정상적인 높은 해상도의 인코더/디코더에 존재하게 되는 것 외의 추가 기능성을 제공할 것을 요구한다. MPEG-2 공간 크기조정이 가능한 인코더에서는, 낮은 해상도의 기준 화상 또는 높은 해상도의 기준 화상으로부터 예측이 수행될지에 대한 결정이 이루어진다. MPEG-2 공간 크기조정이 가능한 디코더는 낮은 해상도의 기준 화상 또는 높은 해상도의 기준 화상으로부터 예측할 수 있어야 한다. 기준 화상의 2가지 세트는 MPEG-2 공간 크기조정 인코더/디코더에 의해 요구되는데, 하나는 낮은 해상도의 화상에 대한 것이고 다른 하나는 높은 해상도의 화상에 대한 것이다. 도 2는 종래 기술에 따라, 2개의 층을 지원하는 복잡도가 낮은 공간 크기조정 인코더(200)에 대한 블록도를 도시한다. 도 3은 종래 기술에 따라 2개의 층을 지원하는 복잡도가 낮은 공간 크기조정이 가능한 디코더(300)에 대한 블록도를 도시한다.
도 2를 참조하면, 2개의 층을 지원하는 공간 크기조정이 가능한 비디오 인코 더는 참조 번호(200)에 의해 일반적으로 표시된다. 비디오 인코더(200)는 높은 해상도의 입력 비디오 시퀀스를 수신하기 위한 다운샘플러(downsampler)(210)를 포함한다. 다운샘플러(210)는 낮은 해상도의 크기조정이 가능하지 않은 인코더(212)와의 신호 교신시에 결합되고, 차례로 낮은 해상도의 프레임 저장기(stores)(214)와의 신호 교신시에 결합된다. 낮은 해상도의 크기조정이 가능하지 않은 인코더(212)는 낮은 해상도의 비트스트림을 출력하고, 또한 낮은 해상도의 크기조정이 가능하지 않은 디코더(220)와의 신호 교신시에 결합된다.
낮은 해상도의 크기조정이 가능하지 않은 디코더(220)는 업샘플러(upsampler)(230)와의 신호 교신시에 결합되고, 차례로 크기조정이 가능한 높은 해상도의 인코더(240)와의 신호 교신시에 결합된다. 크기조정이 가능한 높은 해상도의 인코더(240)는 또한 높은 해상도의 입력 비디오 시퀀스를 수신하고, 높은 해상도의 프레임 저장기(250)와의 신호 교신시에 결합되며, 높은 해상도의 크기조정이 가능한 비트스트림을 출력한다. 낮은 해상도의 크기조정이 가능하지 않은 인코더(212)의 출력과 크기조정이 가능한 높은 해상도의 인코더(240)의 출력은, 공간 크기조정이 가능한 비디오 인코더(200)의 출력으로서 이용 가능하다.
그러므로, 높은 해상도의 입력 비디오 시퀀스는 복잡도가 낮은 인코더(200)에 의해 수신되고 다운-샘플링되어 낮은 해상도의 비디오 시퀀스를 생성하게 된다. 낮은 해상도의 비디오 시퀀스는 크기조정이 가능하지 않은 낮은 해상도의 비디오 압축 인코더를 사용하여 인코딩되어 낮은 해상도의 비트스트림을 생성한다. 낮은 해상도의 비트스트림은 크기조정이 가능하지 않은 낮은 해상도의 비디오 압축 디코 더를 사용하여 디코딩된다. 이 기능은 인코더의 내부에서 수행될 수 있다. 디코딩된 낮은 해상도의 시퀀스는 업샘플링되고, 크기조정이 가능한 높은 해상도의 인코더로의 2개의 입력 중 하나로서 제공된다. 크기조정이 가능한 높은 해상도의 인코더는 비디오를 인코딩하여 높은 해상도의 크기조정이 가능한 비트스트림을 생성한다.
도 3을 참조하면, 2개의 층을 지원하는 공간 크기조정이 가능한 비디오 디코더가 참조 번호(300)로 일반적으로 표시된다. 비디오 디코더(300)는 낮은 해상도의 비트스트림을 수신하기 위한 낮은 해상도의 디코더(360)를 포함하고, 이는 낮은 해상도의 프레임 저장기(362)와의 신호 교신시에 결합되며, 낮은 해상도의 비디오 시퀀스를 출력한다. 낮은 해상도의 디코더(360)는 또한 업샘플러(370)와의 신호 교신시에 결합되고, 차례로 크기조정이 가능한 높은 해상도의 디코더(380)와의 신호 교신시에 결합된다.
크기조정이 가능한 높은 해상도의 디코더(380)는 또한 높은 해상도의 프레임 저장기(390)와의 신호 교신시에 결합된다. 크기조정이 가능한 높은 해상도의 디코더(380)는 높은 해상도의 크기조정이 가능한 비트스트림을 수신하고, 높은 해상도의 비디오 시퀀스를 출력한다. 낮은 해상도의 디코더(360)의 출력과, 크기조정이 가능한 높은 해상도의 디코더의 출력은 공간 크기조정이 가능한 비디오 디코더(300)의 출력으로서 이용 가능하다.
그러므로, 높은 해상도의 크기조정이 가능한 비트스트림과 낮은 해상도의 비트스트림 모두가 복잡도가 낮은 디코더(300)에 의해 수신된다. 낮은 해상도의 비트 스트림은 낮은 해상도의 프레임 저장기를 이용하는, 크기조정이 가능하지 않은 낮은 해상도의 비디오 압축 디코더를 사용하여 디코딩된다. 디코딩된 낮은 해상도의 비디오는 업샘플링된 다음, 높은 해상도의 크기조정이 가능한 디코더로 입력된다. 높은 해상도의 크기조정이 가능한 디코더는 높은 해상도의 프레임 저장기 한 세트를 이용하고, 높은 해상도의 출력 비디오 시퀀스를 생성한다.
도 4를 참조하면, 크기조정이 가능하지 않은 비디오 인코더가 일반적으로 참조 번호(400)로 표시된다. 비디오 인코더(400)로의 입력은 결합기(410)의 비반전 입력과의 신호 교신시에 연결된다. 결합기(410)의 출력은 변환기/양자화기(420)와의 신호 교신시에 연결된다. 변환기/양자화기(420)의 출력은 엔트로피 코더(440)와의 신호 교신시에 연결된다. 엔트로피 코더(440)의 출력은 인코더(400)의 출력으로서 이용 가능하다.
변환기/양자화기(420)의 출력은 또한 역 변환기/역 양자화기(450)와의 신호 교신시에 연결된다. 역 변환기/역 양자화기(450)의 출력은 디블록(deblock) 필터(460)의 입력과의 신호 교신시에 연결된다. 디블록 필터(460)의 출력은 기준 화상 저장기(470)와의 신호 교신시에 연결된다. 기준 화상 저장기(470)의 제 1 출력은 움직임 추정기(480)의 제 1 입력과의 신호 교신시에 연결된다. 인코더(400)로의 입력은 또한 움직임 추정기(480)의 제 2 입력과의 신호 교신시에 연결된다. 움직임 추정기(480)의 출력은 움직임 보상기(490)의 제 1 입력과의 신호 교신시에서 연결된다. 기준 화상 저장기(470)의 제 2 출력은 움직임 보상기(490)의 제 2 입력과의 신호 교신시에 연결된다. 움직임 보상기(490)의 출력은 결합기(410)의 반전 입력과 의 신호 교신시에 연결된다.
도 5를 참조하면, 크기조정이 가능하지 않은 비디오 디코더가 일반적으로 참조 번호(500)로 표시된다. 비디오 디코더(500)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(510)를 포함한다. 엔트로피 디코더(510)의 제 1 출력은 역 양자화기/역 변환기(520)의 입력과의 신호 교신시에 연결된다. 역 양자화기/변환기(520)의 출력은 결합기(540)의 제 1 비반전 입력과의 신호 교신시에 연결된다.
결합기(540)의 출력은 디블록 필터(590)의 입력과의 신호 교신시에 연결된다. 디블록 필터(590)의 출력은 기준 화상 저장기(550)의 입력과의 신호 교신시에 연결된다. 기준 화상 저장기(550)의 출력은, 움직임 보상기(560)의 제 1 입력과의 신호 교신시에 연결된다. 움직임 보상기(560)의 출력은 결합기(540)의 제 2 비반전 입력과의 신호 교신시에 연결된다. 엔트로피 디코더(510)의 제 2 출력은 움직임 보상기(560)의 제 2 입력과의 신호 교신시에 연결된다. 디블록 필터(590)의 출력은 비디오 디코더(500)의 출력으로서 이용 가능하다.
H.264/MPEG AVC가 감소된 해상도 갱신(RRU: Reduced Resolution Update) 모드를 사용하기 위해 확장되는 것이 제안되었다. RRU 모드는 움직임 추정과 전(full) 해상도의 화상의 보상을 수행하면서, 코딩될 잔여 매크로블록(MB)의 개수를 감소시킴으로써, 낮은 비트속도에서 코딩 효율을 개선한다. 도 6을 참조하면, RRU 비디오 인코더는 일반적으로 참조 번호(600)로 표시된다. 비디오 인코더(600)로의 입력은 결합기(610)의 비반전 입력과의 신호 교신시에 연결된다. 결합기(610)의 출력은 다운샘플러(612)의 입력과의 신호 교신시에 연결된다. 변환기/양자화 기(620)의 입력은, 다운샘플러(612)의 출력과 또는 결합기(610)의 출력과의 신호 교신시에 연결된다. 변환기/양자화기(620)의 출력은 엔트로피 코더(640)와의 신호 교신시에 연결된다. 엔트로피 코더(640)의 출력은 비디오 인코더(600)의 출력으로서 이용 가능하다.
변환기/양자화기(620)의 출력은 또한 역 변환기/역 양자화기(650)의 입력과의 신호 교신시에 연결된다. 역 변환기/역 양자화기(650)의 출력은 업샘플러(655)의 입력과의 신호 교신시에 연결된다. 디블록 필터(660)의 입력은 역 변환기/역 양자화기(650)의 출력과 또는 업샘플러(655)의 출력과의 신호 교신시에 연결된다. 디블록 필터(660)의 출력은 기준 화상 저장기(670)의 입력과의 신호 교신시에 연결된다. 기준 화상 저장기(670)의 제 1 출력은 움직임 추정기(680)의 제 1 입력과의 신호 교신시에 연결된다. 인코더(600)의 입력은 또한 움직임 추정기(680)의 제 2 입력과의 신호 교신시에 연결된다. 움직임 추정기(680)의 출력은 움직임 보상기(690)의 제 1 입력과의 신호 교신시에 연결된다. 기준 화상 저장기(670)의 제 2 출력은 움직임 보상기(690)의 제 2 입력과의 신호 교신시에 연결된다. 움직임 보상기(690)의 출력은 결합기(610)의 반전 입력과의 신호 교신시에 연결된다.
도 7을 참조하면, RRU 비디오 인코더가 일반적으로 참조 번호(700)로 표시된다. 비디오 디코더(700)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(710)를 포함한다. 엔트로피 디코더(710)의 출력은 역 양자화기/역 변환기(720)의 입력과의 신호 교신시에 연결된다. 역 양자화기/역 변환기(720)의 출력은 업샘플러(722)의 입력과의 신호 교신시에 연결된다. 업샘플러(722)의 출력은 결합기(740)의 제 1 입 력과의 신호 교신시에 연결된다.
결합기(740)의 출력은 디블록 필터(790)와의 신호 교신시에 연결된다. 디블록 필터(790)의 출력은 전 해상도의 기준 화상 저장기(750)의 입력과의 신호 교신시에 연결된다. 디블록 필터(790)의 출력은 또한 비디오 디코더(700)의 출력으로서 이용 가능하다. 전 해상도의 기준 화상 저장기(750)의 출력은 움직임 보상기(760)와의 신호 교신시에 연결되고, 이 움직임 보상기(760)는 결합기(740)의 제 2 입력과의 신호 교신시에 연결된다.
복잡도의 크기조정이 가능한 코덱(codec)을 설계하기 위해 RRU 개념을 사용하는 것이 제안되었다. 디코더 복잡도와 해상도의 2가지 상이한 레벨을 지원하는 시스템에 대한 일 예가 제공된다. 낮은 해상도의 디코더는 크기가 더 작은 디스플레이를 가지고, 매우 엄격한 디코더 복잡도 제한을 가진다. 전 해상도의 디코더는 크기가 더 큰 디스플레이를 가지고 덜 엄격하지만 여전히 중요한 디코더 복잡도 제한을 가진다. 방송 또는 멀티캐스트 시스템은 비트 속도가 BRbase인 기본 층과 비트 속도가 BRenhan인 강화 층인 2개의 비트스트림을 송신한다. 이 2개의 비트스트림은 함께 다중화되고 단일 운반 스트림으로 보내질 수 있다. 도 8을 참조하면, 복잡도의 크기조정이 가능한 방송 시스템이 일반적으로 참조 번호(800)로 표시된다. 복잡도의 크기조정이 가능한 방송 시스템(800)은, 복잡도의 크기조정이 가능한 비디오 인코더(810)와 낮은 해상도의 디코더(850) 및 전 해상도의 디코더(870)를 포함한다. 복잡도의 크기조정이 가능한 비디오 인코더(810)의 제 1 출력은 멀티플렉 서(820)의 제 1 입력과의 신호 교신시에 연결된다. 복잡도의 크기조정이 가능한 비디오 인코더(810)의 제 2 출력은 멀티플렉서(820)의 제 2 입력과의 신호 교신시에 연결된다. 멀티플렉서(820)의 출력은 네트워크(830)와의 신호 교신시에 연결된다. 네트워크(830)의 출력은 제 1 디멀티플렉서(840)의 입력과, 제 2 디멀티플렉서(850)의 입력과의 신호 교신시에 연결된다. 제 1 디멀티플렉서(840)의 출력은 낮은 해상도의 디코더(850)의 입력과의 신호 교신시에 연결된다. 제 2 디멀티플렉서(860)의 제 1 출력은 전 해상도의 디코더(870)의 제 1 입력과의 신호 교신시에 연결된다. 제 2 디멀티플렉서(860)의 제 2 출력은 전 해상도의 디코더(870)의 제 2 입력과의 신호 교신시에 연결된다. 낮은 해상도의 디코더(850)의 출력은 기본 층 비트스트림에 대한 시스템(800)의 출력으로서 이용 가능하고, 전 해상도의 디코더(870)의 출력은 크기조정이 가능한 비트스트림에 대한 시스템(800)의 출력으로서 이용 가능하다.
낮은 해상도의 디코더(850)는 기본 층 비트스트림만을 처리하고 전 해상도의 디코더(870)는 기본 층 비트스트림과 강화 층 비트스트림 모두를 처리한다. RRU는 기본 층에서 사용되고, 이는 디코더에서 상이한 복잡도를 지닌 낮은 해상도의 시퀀스와 높은 해상도의 시퀀스 모두로 디코딩될 수 있다. 강화 층 비트스트림은 기본 층 비트스트림의 디코딩 결과에 더해질 전 해상도의 에러 신호를 포함하는데, 이 디코딩은 전 해상도의 움직임 보상으로 행해졌다. 강화 층의 비트속도는 기본 층의 비트속도보다 낮게 끝날 수 있고, 이는 기본 층 비트속도가 통상적으로 강화 층 비트속도에 비해 작은 통상적인 공간 크기조정의 경우와는 상이한 것이다. 전 해상도 에러 신호는 반드시 모든 코딩된 매크로블록 또는 슬라이스/화상에 대해 보내져야 하는 것은 아니다.
종래 기술의 이들 및 다른 결점 및 단점은 본 발명의 원리에 의해 다루어지고, 본 발명의 원리는 RRU 모드에 대한 제약 있는 예측과 비디오 인코더 및 디코더에서의 복잡도 크기조정에 대한 방법 및 장치에 관한 것이다.
본 발명의 원리의 일 양상에 따르면, 비디오 시퀀스를 인코딩하기 위해, 복잡도의 크기조정이 가능한 비디오 인코더가 제공된다. 복잡도의 크기조정이 가능한 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함한다. 상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시킨다.
본 발명의 원리의 또다른 양상에 따르면, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩 방법이 제공된다. 이 방법은 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계를 포함한다. 상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시킨다.
본 발명의 원리의 또다른 양상에 따르면, 비디오 비트스트림을 디코딩하기 위해 복잡도가 크기조정이 가능한 비디오 디코더가 제공된다. 이 복잡도가 크기조정이 가능한 비디오 디코더는 상기 비디오 비트스트림의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스에 기초하여 발생된 상기 블록에 대한 내부 모드 예측을 사용하여 디코딩하는 디코더를 포함한다. 상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시킨다.
본 발명의 원리의 추가 양상에 따르면, 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법이 제공된다. 이 방법은 상기 비디오 비트스트림의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스에 기초하여 발생된 상기 블록에 대한 내부 모드 예측을 사용하여 디코딩하는 단계를 포함한다. 제약 있는 내부 예측 프로세스는 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써, 상기 아티팩트를 감소시킨다.
본 발명의 원리의 또다른 추가 양상에 따르면, 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더가 제공된다. 이 복잡도가 크기조정이 가능한 비디오 인코더는 상기 비디오 시퀀스에서의 특별한 높은 해상도의 화상에서의 블록을, 해상도가 감소한 갱신 모드에서 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써, 높은 해상도로 인코딩하는 인코더를 포함한다.
본 발명의 원리의 또다른 양상에 따르면, 비디오 시퀀스의 복잡도의 크기조정이 가능한 비디오 인코딩을 위한 방법이 제공되고, 이 방법은 상기 비디오 시퀀스에서의 특별한 높은 해상도의 화상에서의 블록을, 해상도가 감소한 갱신 모드에서 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써, 높은 해상도로 인코딩하는 단계를 포함한다.
본 발명의 원리의 추가적인 일 양상에 따르면, 비디오 비트스트림을 디코딩하기 위해 복잡도가 크기조정이 가능한 비디오 디코더가 제공된다. 이 복잡도의 크기조정이 가능한 비디오 디코더는 해상도가 감소한 갱신 블록을 낮은 해상도로 재구성하기 위해 수정된 내부 예측 프로세스를 수행하고, 재구성된 감소된 해상도 갱신 블록을 높은 해상도로 업샘플링함으로써, 높은 해상도로 상기 비디오 비트스트림에서의 특정 화상에서의 해상도가 감소한 갱신 블록을 디코딩하는 디코더를 포함한다.
본 발명의 원리의 또다른 양상에 따르면, 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법이 제공된다. 이 방법은 해상도가 감소한 갱신 블록을 낮은 해상도로 재구성하기 위해 수정된 내부 예측 프로세스를 수행하고, 재구성된 감소된 해상도 갱신 블록을 높은 해상도로 업샘플링함으로써, 높은 해상도로 상기 비디오 비트스트림에서의 특정 화상에서의 해상도가 감소한 갱신 블록을 디코딩하는 단계를 포함한다.
본 발명의 원리의 또다른 양상에 따르면, 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더가 제공된다. 이 복잡도가 크기조정이 가능한 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함한다. 상기 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 상기 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다.
본 발명의 원리의 추가적인 일 양상에 따르면, 비디오 시퀀스의 복잡도의 크기조정이 가능한 비디오 인코딩을 위한 방법이 제공된다. 이 방법은 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계를 포함한다. 이 인코딩 단계는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 상기 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다.
본 발명의 원리의 또다른 추가 양상에 따르면, 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더가 제공된다. 이 복잡도의 크기조정이 가능한 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함하고, 이 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 높은 해상도를 가진 비트스트림 모두의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다.
본 발명의 원리의 또다른 추가 양상에 따르면, 비디오 시퀀스의 복잡도의 크기조정이 가능한 비디오 인코딩을 위한 방법이 제공되고, 이 방법은 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계를 포함한다. 이 인코딩 단계는 상기 비디오 시퀀스로부터 인코딩된 높은 해상도를 가진 비트스트림과 낮은 해상도를 가진 비트스트림 모두의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다.
본 발명의 원리의 이들 및 다른 양상, 특성 및 장점은 첨부 도면과 관련하여 읽어질 다음에 나오는 예시적인 실시예의 상세한 설명으로부터 명백해진다.
본 발명의 원리는 다음에 나오는 예시적인 도면에 따라 더 잘 이해될 수 있다.
도 1은 종래 기술에 따른 전형적인 공간 크기 조정 시스템에 대한 블록도.
도 2는 종래 기술에 따른 2개의 층을 지원하는 공간 크기 조정이 가능한 인코더에 대한 블록도.
도 3은 종래 기술에 따른 2개의 층을 지원하는 공간 크기 조정이 가능한 디코더에 대한 블록도.
도 4는 종래 기술에 따른 H.264/MPEG AVC 표준에서 사용된 정상적인 크기조정이 가능하지 않은 비디오 인코더에 대한 블록도.
도 5는 종래 기술에 따른 H.264/MPEG AVC와 사용된 정상적인 크기조정이 가능하지 않은 비디오 디코더에 대한 블록도.
도 6은 종래 기술에 따른 해상도가 감소한 갱신(RRU: Reduced Resolution Update) 비디오 인코더에 대한 블록도.
도 7은 종래 기술에 따른 해상도가 감소한 갱신(RRU) 비디오 디코더에 대한 블록도.
도 8은 종래 기술에 따른 복잡도의 크기조정 방송 시스템에 대한 블록도.
도 9는 본 발명의 원리의 일 실시예에 따라 본 발명이 적용될 수 있는 낮은 해상도의 복잡도의 크기조정이 가능한 비디오 디코더에 대한 블록도.
도 10은 본 발명의 원리의 일 실시예에 따라 본 발명이 적용될 수 있는 높은 해상도의 복잡도의 크기조정이 가능한 비디오 디코더에 대한 블록도.
도 11은 본 발명의 원리의 일 실시예에 따라 본 발명이 적용될 수 있는 복잡도의 크기조정이 가능한 비디오 인코더에 대한 블록도.
도 12는 본 발명의 원리의 일 실시예에 따라 복잡도가 높은 디코더에 대한 예시적인 예측기 픽셀에 대한 도면.
도 13은 본 발명의 원리의 일 실시예에 따라 복잡도가 낮은 디코더에 대한 예시적인 예측기 픽셀에 대한 도면.
도 14는 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 제약 있는 내부 예측을 사용하여 매크로블록을 인코딩하는 예시적인 방법에 대한 흐름도.
도 15는 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 제약 있는 내부 예측을 사용하여 매크로블록을 디코딩하는 예시적인 방법에 대한 흐름도.
도 16은 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 수정된 내부 예측을 사용하여, 비디오 시퀀스에서의 높은 해상도를 가진 화상의 매크로블록을 높은 해상도로 인코딩하는 예시적인 방법에 대한 흐름도.
도 17은 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 수정된 내부 예측을 사용하여, 비디오 비트스트림에서의 높은 해상도를 가진 화상의 매크로블록을 높은 해상도로 디코딩하는 예시적인 방법에 대한 흐름도.
도 18은 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 수정된 내부 예측 프로세스를 사용하여, 비디오 시퀀스에서의 특정 화상에 있는 매크로블록을 인코딩하는 예시적인 방법에 대한 흐름도.
도 19는 본 발명의 원리의 일 실시예에 따라 해상도가 감소한 갱신(RRU) 모드에 대한 수정된 내부 예측 프로세스를 사용하여, 비디오 시퀀스에서의 특정 화상에 있는 매크로블록을 인코딩하는 예시적인 방법에 대한 흐름도.
본 발명의 원리는 비디오 인코더와 디코더에서 해상도가 감소한 갱신 모드에 대한 제약 있는 예측 및 복잡도 크기조정을 위한 방법 및 장치에 관한 것이다.
본 발명의 설명은 본 발명의 원리를 예시한다. 그러므로 비록 본 명세서에서 명백히 설명되거나 도시되지 않을지라도, 당업자라면 본 발명의 원리를 구현하고 그것의 사상 및 범주 내에 포함되는 다양한 배열을 고안할 수 있다는 것을 알게 된다.
본 명세서에서 인용된 모든 예와 조건부 언어는, 읽는 사람이 본 발명의 원리를 그리고 본 발명의 발명자(들)에 의해 관련 분야를 진전시키는데 제공된 개념을 이해하는데 도움을 주기 위한 교육학적인 목적을 위해 의도되고, 그러한 구체적인 인용된 예와 조건에 제한되지 않는 것으로 해석되어야 한다.
게다가, 본 명세서에서 본 발명의 원리의 원리, 양상 및 실시예를 인용하는 모든 문장들은 그것들의 특정 예와 함께 그것들의 구조적 및 기능적 등가물 모두를 포함하는 것으로 의도된다. 또한, 그러한 등가물은 앞으로 개발되는 등가물, 즉 구 조에 관계없이 동일한 기능을 수행하는 개발된 임의의 요소들과 함께 현재 알려진 등가물을 모두 포함하는 것으로 의도된다.
그러므로, 예컨대 당업자라면 본 명세서에 나타난 블록도가 본 발명의 원리들을 구현하는 예시적인 회로의 개념도를 나타낸다는 점을 알게 된다. 유사하게, 임의의 플로우 차트, 흐름도, 상태 전이도, 의사코드 등이 컴퓨터 판독 가능한 매체에 실질적으로 나타날 수 있고 컴퓨터나 프로세서에 의해 그렇게 실행될 수 있는 다양한 프로세스를, 그러한 컴퓨터나 프로세서가 명백히 도시되어 있는지에 관계없이, 나타낸다는 점을 알게 된다.
도면들에 도시된 다양한 요소의 기능은 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어와 함께 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능은 단일 전용 프로세서, 단일 공유된 프로세서 또는 그 중 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명백한 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 가리키는 것으로 해석되어서는 안 되고, 제한없이 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM")및 비휘발성 저장기를 암암리에 포함할 수 있다.
다른 종래의 및/또는 맞춤(custom) 하드웨어 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치는 단지 개념적이다. 그것들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어부와 전용 로직의 상호작용 을 통해, 또는 심지어는 수동으로 실행될 수 있고, 그 특별한 기술은 상황으로부터 더 구체적으로 이해되는 것처럼, 그 구현자에 의해 선택될 수 있다.
청구항에서, 특정된 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는, 예컨대 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 따라서 그 기능을 수행하기 위해 소프트웨어를 실행하도록 적절한 회로와 결합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 기능을 수행하는 임의의 방식을 포함하는 것으로 의도된다. 그러한 청구항에 의해 한정된 것과 같은 본 발명의 원리는, 다양한 인용된 수단에 의해 제공된 기능들이 청구항이 요구하는 방식으로 조합되고 결합된다는 사실에 존재한다. 그러므로 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에서 도시된 것들과 등가인 것으로 간주된다.
본 발명의 원리의 "일 실시예" 또는 "실시예"에 대한 명세서에서의 참조는, 그 실시예와 관련하여 설명된 특별한 특성, 구조, 특징 등이 본 발명의 원리의 적어도 일 실시예에서 포함된다는 것을 의미한다. 그러므로, 명세서 전반에 걸쳐 다양한 곳에서 등장하는 "일 실시예에서" 또는 "실시예에서"라는 어구의 출현은 반드시 모두가 동일한 실시예를 가리키는 것은 아니다.
도 9를 참조하면, 본 발명의 원리가 적용될 수 있는 낮은 해상도를 가지고 복잡도가 크기조정이 가능한 예시적인 비디오 디코더가 일반적으로 참조 번호(900)로 표시되어 있다. 이 비디오 디코더(900)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(910)를 포함한다. 엔트로피 디코더(910)의 제 1 출력은 역 양자화기/역 변환기(920)의 입력과의 신호 교신시에 연결된다. 역 양자화기/역 변환기(920) 의 출력은 결합기(940)의 제 1 비반전 입력과의 신호 교신시에 연결된다.
결합기(940)의 출력은 디블록 필터(990)의 입력과의 신호 교신시에 연결된다. 디블록 필터(990)의 출력은 기준 화상 저장기(950)의 입력과의 신호 교신시에 연결된다. 디블록 필터(990)의 출력은 비디오 디코더(900)의 출력으로서 또한 이용 가능하다. 기준 화상 저장기(950)의 출력은 움직임 보상기(960)의 제 1 입력과의 신호 교신시에 연결된다. 움직임 보상기(960)의 출력은 결합기(940)의 제 2 비반전 입력과의 신호 교신시에 연결된다. 엔트로피 디코더(910)의 제 2 출력은 움직임 벡터(MV: motion vector) 해상도 감소기(999)의 입력과의 신호 교신시에 연결된다. MV 해상도 감소기(999)의 출력은 움직임 보상기(960)의 제 2 입력과의 신호 교신시에 연결된다.
디코더(900)에서, 기본 층 비트스트림은 엔트로피 디코딩된다. 움직임 벡터는 낮은 해상도에 대응하기 위해 정확도에 있어 그것들을 감소시키도록 라운딩된다(rounded). 이 낮은 해상도의 크기조정이 가능한 디코더의 복잡도는, 크기조정이 가능하지 않은 디코더의 복잡도와 매우 유사한데, 이는 움직임 벡터의 크기(scaling)가 매우 낮은 복잡도를 가지기 때문이다. 낮은 해상도와 전(full) 해상도 사이의 각 차원(dimension)에서의 해상도 비에 2인 인자가 사용되면, 시스템에서 라운딩 업 또는 라운딩 다운이 선택되는지에 따라 단지 오른쪽 이동(right shift) 또는 추가 및 오른쪽 이동으로 라운딩이 구현될 수 있다.
도 10을 참조하면, 본 발명의 원리가 적용될 수 있는 예시적인 높은 해상도를 가진 복잡도가 크기조정이 가능한 비디오 디코더(1000)가 일반적으로 참조 번 호(1000)로 표시되어 있다. 비디오 디코더(1000)는 기본 층 비트스트림을 수신하기 위한 제 1 엔트로피 디코더(1005)를 포함한다. 제 1 엔트로피 디코더(1005)의 출력은 제 1 역 양자화기/역 변환기(1010)의 입력과의 신호 교신시에 연결된다. 제 1 역 양자화기/역 변환기(1010)의 출력은 업샘플러(1015)의 입력과의 신호 교신시에 연결된다. 업샘플러(1015)의 출력은 제 1 결합기(1020)의 제 1 입력과의 신호 교신시에 연결된다.
제 1 결합기(1020)의 출력은 제 2 결합기(1025)의 제 1 입력과의 신호 교신시에 연결된다. 전 해상도 기준 화상 저장기(1030)의 출력은 움직임 보상기(1035)의 제 1 입력과의 신호 교신시에 연결된다. {움직임 벡터(MV)들을 출력하기 위한} 엔트로피 디코더의 제 2 출력은 움직임 보상기(1035)의 제 2 입력과의 신호 교신시에 연결된다. 움직임 보상기(1035)의 출력은 제 1 결합기(1020)의 제 2 입력과의 신호 교신시에 연결된다.
제 2 엔트로피 디코더(1040)의 입력은 강화된 층 비트스트림을 수신하기 위한 것이다. 제 2 엔트로피 디코더(1040)의 출력은 제 2 역 양자화기/역 변환기(1045)의 입력과의 신호 교신시에 연결된다. 제 2 역 양자화기/역 변환기(1045)의 출력은 제 2 결합기(1025)의 제 2 입력과의 신호 교신시에 연결된다.
디블록 필터(1050)의 입력은 제 1 결합기(1020)의 출력 또는 제 2 결합기(1025)의 출력과의 신호 교신시에 연결된다. 디블록 필터(1050)의 출력은 전 해상도 기준 화상 저장기(1030)의 입력과의 신호 교신시에 연결된다. 디블록 필터(1050)의 출력은 비디오 디코더(1000)의 출력으로서 이용 가능하다.
기본 층 비트스트림 상에서 동작하는 디코더(1000)의 부분은 RRU 디코더와 유사하다. 엔트로피 디코딩과 역 양자화 및 역 변환 후, 나머지는 업샘플링된다. 움직임 보상은 전 해상도 예측을 형성하기 위해 전 해상도 기준 화상에 적용되고, 업샘플링된 나머지는 그러한 예측에 추가된다. 전 해상도 에러 신호가 강화 층 비트스트림에 존재한다면, 그것은 엔트로피 디코딩되고, 역 양자화되며 변환된 다음, RRU 재구성된 신호에 더해진다. 그 다음 디블로킹 필터가 적용된다.
도 11을 참조하면 본 발명의 원리가 적용될 수 있는 복잡도가 크기조정이 가능한 예시적인 비디오 인코더가 일반적으로 참조 번호(1100)로 표시되어 있다. 비디오 인코더(1100)의 입력은 제 1 결합기(1105)의 비반전 입력과의 신호 교신시에 연결된다. 제 1 결합기(1105)의 출력은 다운샘플러(1112)의 입력과의 신호 교신시에 연결된다. 다운샘플러(1112)의 출력은 제 1 변환기/양자화기(1115)의 입력과의 신호 교신시에 연결된다. 제 1 변환기/양자화기(1115)의 출력은 제 1 엔트로피 코더(1120)의 입력과의 신호 교신시에 연결된다. 제 1 엔트로피 코더(1120)의 출력은 기본 층 비트스트림에 대한 인코더(1100)의 출력으로서 이용 가능하다.
제 1 변환기/양자화기(1115)의 출력은 또한 제 1 역 변환기/역 양자화기(1125)의 입력과의 신호 교신시에 연결된다. 제 1 역 변환기/역 양자화기(1125)의 출력은 업샘플러(1155)의 입력과의 신호 교신시에 연결된다. 업샘플러(1155)의 출력은 제 2 결합기(1160)의 반전 입력, 제 3 결합기(1165)의 제 1 비반전 입력 및 스위치(1191)의 입력과의 신호 교신시에 연결된다.
비디오 인코더(1100)로의 입력은 또한 제 2 결합기(1160)의 비반전 입력과의 신호 교신시에 연결된다. 제 2 결합기(1160)의 출력은 스위치(1162)의 입력과의 신호 교신시에 연결된다. 스위치(1162)의 출력은 제 2 변환기/양자화기(1170)로의 입력과의 신호 교신시에 연결된다. 제 2 변환기/양자화기(1170)의 출력은 제 2 엔트로피 코더(1175)의 입력과의 신호 교신시에 연결된다. 제 2 엔트로피 코더(1175)의 출력은 강화된 층 비트스트림에 대한 인코더(1100)의 출력으로서 이용 가능하다. 제 2 변환기/양자화기(1170)의 출력은 또한 제 2 역 변환기/역 양자화기(1180)의 입력과의 신호 교신시에 연결된다. 제 2 역 변환기/역 양자화기(1180)의 출력은 제 3 결합기(1165)의 제 2 비반전 입력과의 신호 교신시에 연결된다.
비디오 인코더(1100)로의 입력은 또한 움직임 추정기(1185)의 제 1 입력과의 신호 교신시에 연결된다. 움직임 추정기(1185)의 출력은 움직임 보상기(1190)의 제 1 입력과의 신호 교신시에 연결된다. 움직임 보상기(1190)의 출력은 제 1 결합기(1105)의 반전 입력과의 신호 교신시에 연결된다. 전 해상도 기준 화상 저장기(1192)의 제 1 출력은 움직임 추정기(1185)의 제 2 입력과의 신호 교신시에 연결된다. 전 해상도 기준 화상 저장기(1192)의 제 2 출력은 움직임 보상기(1190)의 제 2 입력과의 신호 교신시에 연결된다. 전 해상도 기준 화상 저장기(1192)의 입력은 디블록 필터(1195)의 출력과의 신호 교신시에 연결된다. 디블록 필터(1195)의 입력은 스위치(1191)의 출력과의 신호 교신시에 연결된다. 스위치(1191)의 또다른 입력은 제 3 결합기(1165)의 출력과의 신호 교신시에 연결된다.
인코더(1100)는 낮은 해상도의 비디오 품질보다는 전 해상도 비디오 품질을 최적화하려고 시도한다. 움직임 추정은 전 해상도 비디오 화상에 관해 수행된다. 입력 화상으로부터 움직임 보상된 예측을 뺀 후에는, 예측 나머지가 다운샘플링된다. RRU 코덱에서와는 다르게, 다운샘플링은 모든 화상에 적용되어, 낮은 해상도의 디코더가 항상 디코딩할 화상을 가질 수 있게 된다. 다운샘플링된 나머지는 변환되고 양자화되며 엔트로피 코딩된다. 이는 기본 층 비트스트림을 형성한다. 역 양자화기와 역 변환이 적용된 다음, 코딩된 나머지가 전 해상도로 다시 업샘플링된다. 인코더(1100)는 화상 또는 슬라이스에 대한 강화 층 전 해상도 에러 신호를 보낼 것인지 아닌지를 고를 수 있다. 일반적으로, 강화 층 전 해상도 에러 신호는 모든 I 슬라이스에 대해 코딩되고, 전 해상도 입력 화상이 디코딩된 업샘플링된 것을 뺄 때, 에러 신호의 크기에 기초하여 P 슬라이스와 B 슬라이스에 대해 선택적으로 보내질 수 있다. 강화 층 전 해상도 에러 신호가 코딩되어야 한다면, 코딩된 기본 층 업샘플링된 코딩된 화상이 입력 전 해상도 화상으로부터 빼진다. 그 차이는 이후 양자화되고, 변환되며 강화 층 비트스트림을 형성하기 위해 엔트로피 코딩된다. 강화 층 비트스트림은 내부-코딩된(intra-coded) 슬라이스들을 포함하는 것으로 보일 수 있다.
본 발명의 원리에 따르면, 비디오 인코딩과 디코딩에 대한 내부-예측 프로세스에 영향을 미치는 일정한 제약을 도입함으로써, 복잡도의 크기조정이 가능한 디코더에 대한 주관적인 품질을 더 개선한다.
본래 RRU 모드에 대해 제안된 내부 예측 방법은, 비록 인코딩 성능 측면에서 효율적이지만, RRU 슬라이스들이 복잡도의 크기조정이 가능한 시스템 내에서 고려된다면 심각한 아티팩트를 초래할 수 있다는 것을 관찰하였다. 이들 아티팩트는 주 로 인접 픽셀이 특히 낮고 높은 복잡도를 가진 디코더 내의 방향성 예측 모드의 경우에 내부 예측 프로세스 내에서 고려되는 방식에 기인한다. 도 12를 참조하면, 복잡도가 높은 디코더에 대한 예측기 픽셀들이 일반적으로 참조 번호(1200)에 의해 표시되어 있다. 예측기 픽셀들(1200)은 픽셀(C0 내지 C15), X 및 R0 내지 R8을 포함한다. 도 13을 참조하면, 복잡도가 낮은 디코더에 대한 예측기 픽셀들은 일반적으로 참조 번호(1300)에 의해 표시되어 있다. 예측기 픽셀들(1300)은 픽셀(c0 내지 c7), x 및 r0 내지 r3을 포함한다. 그러나 본래의 RRU 구현예에 대해서, 내부 예측을 위한 예측 픽셀들 사이의 분산이 본래의 해상도를 가진 비디오에 비해 낮은 복잡도를 가진 디코더에 있어서 훨씬 높다는 사실을 관찰한다. 이는 기본적으로 종래의 방법의 복잡도가 높은 디코더에서는 이러한 분산의 고려가 전혀 이루어지지 않았다는 사실을 고려하는 모든 내부 방향성 모드에서 즉각적인 영향을 미친다. 예컨대, 수직 좌측 예측의 제 1 샘플(a00)에 있어서, 샘플(C0, C1)은 높은 복잡도를 가진 것으로 간주되는 데 반해, 낮은 복잡도를 가진 샘플에 있어서는 샘플(c0, c1)로부터 b00가 예측되었다. 그렇지만 c1은 샘플(C2, C3)과 훨씬 더 높은 관계를 가진다. 만약, 예컨대 c1이 에지(edge)에 대응한다면, 이는 이러한 예측의 특징을 상당히 변경하게 되고, 따라서 디코딩된 낮은 복잡도를 가진 시퀀스 내에서 잠재적으로 아티팩트를 생성한다. 상이한 방향성 예측 모드로 인해 임의의 다른 예측 샘플들의 평균을 구할 때 동일한 문제가 발생한다.
비록 이러한 문제를 회피하기 위한 가장 간단한 해결책이 내부 코딩을 위한 모든 방향성 코드를 금지하는 것이지만, 이는 효율 측면에서 최상의 해결책은 아닐 수 있다. 대신, 복잡도가 높은 디코딩된 시퀀스와 복잡도가 낮은 디코딩된 시퀀스 사이의 이러한 관계를 고려하기 위해, 더 높은 복잡도를 가진 디코더에 대한 RRU 슬라이스의 내부 예측을 수정하는 것을 제안한다.
더 구체적으로, 먼저 본래의 전 해상도 샘플(도 12)을 다운샘플링하고 이들 새로운 샘플(도 13)에 기초한 낮은 해상도의 예측을 생성함으로써, 복잡도가 높은 디코더에 대한 예측을 수행하는 것을 제안한다. 그 후, 이러한 낮은 해상도의 예측이 전 해상도{예컨대, 0차 홀드(hold)를 사용하는}로 업샘플링되고 예측을 위해 사용된다. 다운샘플링은 다양한 방법들을 사용하여 수행될 수 있다. 예컨대, 홀수의 예측 샘플들(x=X, c1=C1, c3=C3, c5=C5, c7=C7, c9=C9, c11=C11, c13=C13, c15=C15, r1=R1, r3=R3, r5=R5, r7=R7), 짝수의 샘플들만을 유지하거나, 간단한 평균 구하기{x=X, c1=(C0+C1)>>1, c3=(C2+C3)>>1, c5=(C4+C5)>>1, c7=(C6+C7)>>1, c9=(C8+C9)>>1, c11=(C10+C11)>>1, c13=(C12+C13)>>1, c15=(C14+C15)>>1, r1=(R0+R1)>>1, r3=(R2+R3)>>1, r5=(R4+R5)>>1, r7=(R6+R7)>>1}를 수행함으로써 유지할 수 있다.
성능을 개선하기 위해, 대안적인 일 실시예에서는 홀수 샘플들이 홀수 위치에 대해 고려되고, 짝수 샘플들은 짝수 위치에 대해 고려된다.
비록 이러한 방법의 특정 경우에서는 낮은 복잡도를 가진 디코더에 대한 주관적인 품질을 개선할 수 있지만 높은 복잡도를 가진 디코더에 대해서는 성능을 훼손할 수 있다. 그러므로, "rru_complexity_constrained_flag"라는 이름을 가진 새로운 파라미터를 도입함으로써, 슬라이스 헤더나 매크로블록 레벨에서 높은 레벨의 구문을 사용하여 이러한 방법을 신호로 알리는 것을 제안한다. 이 파라미터가 인에이블되면, 높은 복잡도를 가진 디코더 내의 내부 블록에 대한 예측은 위에서와 같이 수행된다. 반대로, 이 파라미터가 디스에이블되면, 종래의 방법에서와 같이 예측이 수행된다. 이 파라미터의 고려는 낮은 복잡도를 가진 디코더와 높은 복잡도를 가진 디코더 사이의 성능 교환(tradeoff)을 초래할 수 있다는 점을 알아야 한다.
낮은 복잡도를 가진 디코더의 품질은, 낮은 복잡도를 가진 디코딩된 시퀀스의 품질에 기초하여, 특히 내부 모드에 관하여 인코딩하는 동안 특정 결정을 수행함으로써 개선될 수 있다. 더 구체적으로는 흔히 모드 결정이 본래의 소스 영상에 비교된 왜곡 기준을 고려함으로써 수행된다. 매우 흔한 방법은 라그랑지안(Lagrangian) 최적화를 사용하는 것인데, 즉 이는 J = D +λ* R를 계산하는 것으로, D는 왜곡이고, R은 현재 데이터를 인코딩하기 위해 요구되는 비트이며, λ는 라그랑지안 곱셈기(multiplier)이다. 낮은 복잡도를 가진 디코더에 대한 품질을 개선하는 간단한 방법은, 예컨대 본래의 비디오 시퀀스의 다운샘플링된 버전을 "소스(source)"로서 고려함으로써, 낮은 복잡도를 가진 디코더에 대해서만 왜곡을 고려하는 것이다. 낮은 복잡도를 가진 디코더와 높은 복잡도를 가진 디코더 모두에 대해 개선된 품질을 제공하는 개선된 방법은, 2가지 경우 모두에 대한 품질에 있어서의 영향력을 고려하는 것이다. 그러므로, D = a*DH+b*DL에 따라 왜곡(D)을 계산하는 것을 제안하는데, 여기서 DH는 높은 복잡도를 가진 디코더의 왜곡이고, DL은 낮은 복잡도를 가진 디코더의 다운샘플링된 소스에 기초한 왜곡이며, a와 b는 높은 복잡도를 가진 디코더와 낮은 복잡도를 가진 디코더 사이의 품질 교환을 가능하게 하는 가중(weighting) 파라미터이다.
도 14를 참조하면, 해상도가 감소한 갱신(RRU) 모드에 대한 제약 있는 내부 예측을 사용하는 매크로블록을 인코딩하는 예시적인 방법이, 일반적으로 참조 번호(1400)에 의해 표시되어 있다. 제약 있는 내부 예측은 RRU 모드에 대한 특별한 예측 모드를 금지하여, 화상이 마지막으로 디코딩될 때 RRU 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시킨다.
이 방법(1400)은 제어를 기능 블록(1410)과 기능 블록(1415)으로 넘기는 시작 블록(1405)을 포함한다.
기능 블록(1410)은 모든 모드를 가지고 RRU 모드에 있어서의 현재의 매크로블록에 대한 내부 예측을 테스트하고, 왜곡 측정값(J1)을 계산하며 제어를 결정 블록(1420)으로 넘긴다.
기능 블록(1415)은 특별한 예측 모드의 사용을 금지함으로써 RRU 모드에 있어서의 현재의 매크로블록에 대한 내부 예측을 테스트하고, 제어를 결정 블록(1420)으로 넘긴다.
결정 블록(1420)은 왜곡 측정값(J1)이 왜곡 측정값(J2)보다 작은지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(1425)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(1435)으로 넘어간다.
기능 블록(1425)은 rru_complexity_constrained_flag를 1과 같게 설정하고, 제어를 기능 블록(1430)에 넘긴다. 기능 블록(1430)은 현재의 RRU 매크로블록을 인 코딩한 다음 제어를 종료 블록(1499)에 넘긴다.
기능 블록(1435)은 rru_complexity_constrained_flag를 0과 같게 설정하고, 제어를 기능 블록(1430)에 넘긴다.
도 15를 참조하면, 해상도가 감소한 갱신(RRU) 모드에 있어서 제약 있는 내부 예측을 사용하여 매크로블록을 디코딩하는 예시적인 방법이, 일반적으로 참조 번호(1500)에 의해 표시되어 있다. 제약 있는 내부 예측은 RRU 모드에 대한 특별한 예측 모드를 금지하여, 화상이 마지막으로 디코딩될 때 RRU 모드에 있는 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시킨다.
이 방법(1500)은 제어를 기능 블록(1510)에 넘기는 시작 블록(1505)을 포함한다. 기능 블록(1510)은 현재의 RRU 매크로블록에 대한 비트스트림을 분석하고 제어를 결정 블록(1515)에 넘긴다. 결정 블록(1515)은 rru_complexity_constrained_flag가 1과 같은지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(1520)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(1525)으로 넘어간다.
기능 블록(1520)은 특별한 예측 모드를 금지함으로써 제약 있는 내부 예측으로 RRU 매크로블록을 디코딩하고, 제어를 종료 블록(1599)으로 넘긴다.
기능 블록(1525)은 내부 예측으로 RRU 매크로블록을 디코딩하고, 제어를 종료 블록(1599)으로 넘긴다.
도 16을 참조하면, 해상도가 감소한 갱신(RRU) 모드에 있어서 수정된 내부 예측을 사용하여 높은 해상도로, 비디오 시퀀스에 있는 높은 해상도를 가진 화상의 매크로블록을 인코딩하는 예시적인 방법이 일반적으로 참조 번호(1600)에 의해 표시되어 있다.
이 방법(1600)은 제어를 기능 블록(1610)과 기능 블록(1615)에 넘기는 시작 블록(1605)을 포함한다. 기능 블록(1610)은 모든 모드를 가지고 RRU 모드에 대한 내부 예측을 테스트하고, 왜곡 측정값(J1)을 계산하며, 제어를 결정 블록(1635)에 넘긴다.
기능 블록(1615)은 화상에서의 RRU 매크로블록을 다운샘플링하고, 제어를 기능 블록(1620)에 넘긴다. 기능 블록(1620)은 내부 예측을 수행한 다음, 제어를 기능 블록(1625)으로 넘긴다. 기능 블록(1625)은 재구성된 매크로블록을 업샘플링한 다음 제어를 기능 블록(1630)으로 넘긴다. 기능 블록(1630)은 왜곡 측정값(J2)을 계산하고, 제어를 결정 블록(1635)으로 넘긴다.
결정 블록(1635)은 왜곡 측정값(J2)이 왜곡 측정값(J1)보다 작은지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(1640)으로 넘어간다. 만약 그렇지 않다면, 제어는 기능 블록(1645)으로 넘어간다.
기능 블록(1640)은 rru_complexity_constrained_flag를 1과 같게 설정하고 제어를 기능 블록(1650)에 넘긴다. 기능 블록(1650)은 현재의 RRU 매크로블록을 인코딩한 다음 제어를 종료 블록(1699)에 넘긴다.
기능 블록(1645)은 rru_complexity_constrained_flag를 0과 같게 설정하고 제어를 기능 블록(1650)에 넘긴다.
도 17을 참조하면, 해상도가 감소한 갱신(RRU) 모드에 있어서 수정된 내부 예측을 사용하여 높은 해상도로, 비디오 비트스트림에 있는 높은 해상도를 가진 화상의 매크로블록을 디코딩하는 예시적인 방법이 일반적으로 참조 번호(1700)에 의해 표시되어 있다.
이 방법(1700)은 제어를 기능 블록(1710)에 넘기는 시작 블록(1705)을 포함한다. 기능 블록(1710)은 현재의 RRU 매크로블록에 대한 비트스트림을 분석한 다음 제어를 결정 블록(1715)에 넘긴다.
결정 블록(1715)은 rru_complexity_constrained_flag가 1과 같은지 여부를 결정한다. 만약 그렇다면 제어는 기능 블록(1720)으로 넘어간다. 그렇지 않으면, 제어는 기능 블록(1730)으로 넘어간다.
기능 블록(1720)은 내부 예측으로 다운샘플링된 RRU 매크로블록을 디코딩하고, 제어를 기능 블록(1725)에 넘긴다. 이 기능 블록(1725)는 다운샘플링된 RRU 매크로블록을 업샘플링하고, 제어를 종료 블록(1799)에 넘긴다.
기능 블록(1730)은 내부 예측으로 RRU 매크로블록을 디코딩하고 제어를 종료 블록(1799)에 넘긴다.
도 18을 참조하면, 해상도가 감소한 갱신(RRU) 모드에 있어서 일정한 내부 모드 결정을 사용하여, 비디오 시퀀스에서의 특정 화상에 있는 매크로블록을 인코딩하는 예시적인 방법이, 일반적으로 참조 번호(1800)에 의해 표시되어 있다. 수정된 내부 예측 프로세스에 대한 결정은, 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 그 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초한다.
이 방법(1800)은 제어를 기능 블록(1810)에 넘기는 시작 블록(1805)을 포함한다. 기능 블록(1810)은 내부 예측(낮은 해상도의 비트스트림과 다운샘플링된 소스 시퀀스의 각각의 품질에 기초한 예측 결정을 가지고)을 수행하고, 제어를 기능 블록(1815)에 넘긴다. 기능 블록(1815)은 현재의 RRU 매크로블록을 인코딩하고, 제어를 종료 블록(1899)에 넘긴다.
도 19를 참조하면, 해상도가 감소한 갱신(RRU) 모드에 있어서 일정한 내부 모드 결정을 사용하여, 비디오 시퀀스에서의 특정 화상에 있는 매크로블록을 인코딩하는 예시적인 방법이, 일반적으로 참조 번호(1900)에 의해 표시되어 있다. 수정된 내부 예측 프로세스에 대한 결정은, 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 그 비디오 시퀀스로부터 인코딩된 높은 해상도를 가진 비트스트림의 각각의 품질에 기초한다.
이 방법(1900)은 제어를 기능 블록(1910)에 넘기는 시작 블록(1905)을 포함한다. 기능 블록(1910)은 내부 예측(낮은 해상도의 비트스트림과 높은 해상도의 비트스트림의 각각의 품질에 기초한 예측 결정을 가지고)을 수행하고, 제어를 기능 블록(1915)에 넘긴다. 기능 블록(1915)은 현재의 RRU 매크로블록을 인코딩하고, 제어를 종료 블록(1999)에 넘긴다.
이제 본 발명의 많은 부수적인 장점/특성의 일부에 대한 설명이 주어지고, 그 중 일부는 위에서 언급되었다. 예컨대, 한 가지 장점/특성은 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으 로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함한다. 이 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시킨다. 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 상기 아티팩트의 도입과 연관되고 상기 제약 있는 내부 예측 프로세스에 의한 사용이 금지된 특정 예측 모드는, 방향성 내부 예측 모드를 포함한다. 게다가, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 상기 인코더는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여, 상기 블록에 대한 제약 있는 내부 예측 프로세스의 사용을 신호로 알린다.
또한, 또다른 장점/특성은 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 상기 비디오 시퀀스에서의 특별한 높은 해상도의 화상에서의 블록을, 해상도가 감소한 갱신 모드에서 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써, 높은 해상도로 인코딩하는 인코더를 포함한다. 또한, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 이 인코더는 다운샘플링된 블록을 얻기 위해 높은 해상도로 상기 블록을 다운샘플링하고, 상기 다운샘플링된 블록에 기초하여 낮은 해상도의 내부 예측을 발생시키며, 낮은 해상도의 내부 예측과 상기 다운샘플 링된 블록 사이의 나머지(residue)와 낮은 해상도의 내부 예측을 사용하여 낮은 해상도로 상기 블록을 재구성하고, 상기 재구성된 블록을 높은 해상도로 업샘플링한다. 또한, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 이 인코더는 상기 블록 내의 예측된 샘플 위치에 따른 다운샘플링을 위해, 상기 블록에 대응하는 적어도 하나의 본래의 높은 해상도를 가진 샘플을 선택한다. 게다가, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 이 인코더는 상기 적어도 하나의 본래의 높은 해상도의 샘플의 평균을 구하는 것과 필터링하는 것 중 적어도 하나에 의한 다운샘플링을 수행한다. 또한 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더로서, 이 인코더는 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시키기 위해 수정된 내부 예측 프로세스를 사용하고, 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여 수정된 내부 예측 프로세스의 사용을 신호로 알린다.
추가로, 또다른 장점/특성은 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함한다. 이 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 상기 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다. 게다가 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 라그랑지안(Lagrangian) 최적화 기술을 사용하여 각 품질을 평가한다. 또한 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 낮은 해상도를 가진 비트스트림과 다운샘플링된 소스 시퀀스에 대한 가중치가 부여된(weighted) 왜곡값을 결정한다.
또한, 또다른 장점/특성은 비디오 시퀀스를 인코딩하기 위해 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더를 포함한다. 이 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 높은 해상도를 가진 비트스트림 모두의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내린다. 추가로, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 라그랑지안 최적화 기술을 사용하여 각 품질을 평가한다. 게다가, 또다른 장점/특성은 전술한 바와 같은 복잡도가 크기조정이 가능한 비디오 인코더이고, 이 비디오 인코더는 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 높은 해상도를 가진 비트스트림과 낮은 해상도를 가진 비트스트림에 대한 가 중치가 부여된 왜곡값을 결정한다.
본 발명의 원리의 이들 및 다른 특성과 장점은 본 명세서에서의 가르침에 기초하여 당업자에 의해 즉시 확인될 수 있다. 본 발명의 원리의 가르침이 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특별한 목적의 프로세서 또는 이들의 결합으로 구현될 수 있음이 이해되어야 한다.
가장 바람직하게, 본 발명의 원리의 가르침은 하드웨어와 소프트웨어의 결합으로서 구현될 수 있다. 게다가, 그러한 소프트웨어는 프로그램 저장 유닛 상에 명백히 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되고 그러한 기계에 의해 실행될 수 있다. 바람직하게, 그 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및/또는 입력/출력("I/O") 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체재와 마이크로인스트럭션 코드를 포함한다. 본 명세서에서 설명된 다양한 프로세스와 기능은 마이크로인스트럭션 코드의 부분이거나 애플리케이션 프로그램의 부분일 수 있거나 CPU에 의해 실행될 수 있는 이들의 임의의 결합일 수 있다. 또한, 추가 데이터 저장 유닛과 프린팅 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 시스템 구성 성분과 방법의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 성분 또는 프로세스 기능 블록 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 점이 또한 이 해되어야 한다. 본 명세서에서 주어진 가르침으로, 당업자라면 본 발명의 원리의 이들 및 유사한 구현예 또는 구성예를 예측할 수 있다.
비록, 본 명세서에 예시적인 실시예가 첨부 도면을 참조하여 설명되었지만, 본 발명의 원리는 이들 정밀한 실시예에 국한되지 않고, 당업자에 의해 본 발명의 원리의 범주 또는 사상으로부터 벗어나지 않고 다양한 변경 및 수정이 실행될 수 있음이 이해되어야 한다. 모든 그러한 변경 및 수정은 첨부된 청구항에서 전개된 바와 같은 본 발명의 원리의 범주 내에 포함되는 것으로 의도된다.
전술한 바와 같이, 본 발명은 비디오 인코딩 및 디코딩, 특히 비디오 인코더와 디코더에서 해상도가 감소한 갱신 모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한 방법 및 장치에 이용 가능하다.

Claims (42)

  1. 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부(intra) 모드 예측을 발생시킴으로써 인코딩하는 인코더(1100)를 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시키는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  2. 제 1항에 있어서, 상기 아티팩트의 도입과 연관되고 상기 제약 있는 내부 예측 프로세스에 의한 사용이 금지된 특정 예측 모드는, 방향성 내부 예측 모드를 포함하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  3. 제 1항에 있어서, 상기 인코더(1100)는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여, 상기 블록에 대한 제약 있는 내부 예측 프로세스의 사용을 신호로 알리는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  4. 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법으로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계(1415)를 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시키는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  5. 제 4항에 있어서, 상기 아티팩트의 도입과 연관되고 제약 있는 내부 예측 프로세스에 의해 사용하는 것이 금지된 상기 특정 예측 모드는 방향성 내부 예측 모드를 포함하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  6. 제 4항에 있어서, 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여, 상기 블록에 대한 제약 있는 내부 예측 프로세스의 사 용을 신호로 알리는 단계(1425)를 더 포함하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  7. 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치로서,
    상기 비디오 비트스트림의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스에 기초하여 발생된 상기 블록에 대한 내부 모드 예측을 사용하여 디코딩하는 디코더(900, 1000)를 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시키는, 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치.
  8. 제 7항에 있어서, 상기 아티팩트의 도입과 연관되고 상기 제약 있는 내부 예측 프로세스에 의한 사용이 금지된 특정 예측 모드는, 방향성 내부 예측 모드를 포함하는, 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치.
  9. 제 7항에 있어서, 상기 디코더(900, 1000)는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나에 기초하여, 상기 블록에 대한 제약 있는 내부 예측 프로세스의 사용을 결정하는, 비디오 비트스트림을 크기조정이 가능 하게 디코딩하는 장치.
  10. 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법으로서,
    상기 비디오 비트스트림의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스에 기초하여 발생된 상기 블록에 대한 내부 모드 예측을 사용하여 디코딩하는 단계(1520)를 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시키는, 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  11. 제 10항에 있어서, 상기 아티팩트의 도입과 연관되고 제약 있는 내부 예측 프로세스에 의해 사용하는 것이 금지된 상기 특정 예측 모드는 방향성 내부 예측 모드를 포함하는, 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  12. 제 10항에 있어서, 상기 디코딩 단계는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나에 기초하여, 상기 블록에 대한 제약 있는 내부 예측 프로세스의 사용을 결정하는(1515), 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  13. 비디오 인코딩을 위한 비디오 신호 구조물로서,
    특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩된, 비디오 시퀀스의 특정 화상에 있는 블록을 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아티팩트를 감소시키는, 비디오 인코딩을 위한 비디오 신호 구조물.
  14. 인코딩된 비디오 신호 데이터를 가지는 저장 매체로서,
    특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 낮은 해상도와 높은 해상도 모두에 대한 아티팩트를 감소시키는 제약 있는 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩된, 비디오 시퀀스의 특정 화상에 있는 블록을 포함하고,
    상기 제약 있는 내부 예측 프로세스는, 상기 감소된 해상도를 가진 갱신 모드에서 아티팩트의 도입과 연관된 특정 예측 모드의 사용을 금지함으로써 상기 아 티팩트를 감소시키는, 인코딩된 비디오 신호 데이터를 가지는 저장 매체.
  15. 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치로서,
    상기 비디오 시퀀스에서의 특별한 높은 해상도의 화상에서의 블록을, 해상도가 감소한 갱신 모드에서 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써, 높은 해상도로 인코딩하는 인코더(1100)를
    포함하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  16. 제 15항에 있어서, 상기 인코더(1100)는 다운샘플링된 블록을 얻기 위해 높은 해상도로 상기 블록을 다운샘플링하고, 상기 다운샘플링된 블록에 기초하여 낮은 해상도의 내부 예측을 발생시키며, 낮은 해상도의 내부 예측과 상기 다운샘플링된 블록 사이의 나머지(residue)와 낮은 해상도의 내부 예측을 사용하여 낮은 해상도로 상기 블록을 재구성하고, 상기 재구성된 블록을 높은 해상도로 업샘플링하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  17. 제 16항에 있어서, 상기 인코더(1100)는 상기 블록 내의 예측된 샘플 위치에 따른 다운샘플링을 위해, 상기 블록에 대응하는 적어도 하나의 본래의 높은 해상도를 가진 샘플을 선택하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  18. 제 17항에 있어서, 상기 인코더(1100)는 상기 적어도 하나의 본래의 높은 해 상도의 샘플의 평균을 구하는 것과 필터링하는 것 중 적어도 하나에 의한 다운샘플링을 수행하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  19. 제 15항에 있어서, 상기 인코더(1100)는 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시키기 위해 수정된 내부 예측 프로세스를 사용하고, 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여 수정된 내부 예측 프로세스의 사용을 신호로 알리는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  20. 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법으로서,
    상기 비디오 시퀀스에서의 특별한 높은 해상도의 화상에서의 블록을, 해상도가 감소한 갱신 모드에서 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써, 높은 해상도로 인코딩하는 단계(1620)를 포함하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  21. 제 20항에 있어서, 상기 인코딩 단계는 다운샘플링된 블록을 얻기 위해 높은 해상도로 상기 블록을 다운샘플링하고, 상기 다운샘플링된 블록에 기초하여 낮은 해상도의 내부 예측을 발생시키며, 낮은 해상도의 내부 예측과 상기 다운샘플링된 블록 사이의 나머지(residue)와 낮은 해상도의 내부 예측을 사용하여 낮은 해상도 로 상기 블록을 재구성하고, 상기 재구성된 블록을 높은 해상도로 업샘플링하는(1615, 1620, 1625), 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  22. 제 21항에 있어서, 상기 인코딩 단계는 상기 블록 내의 예측된 샘플 위치에 따른 다운샘플링을 위해, 상기 블록에 대응하는 적어도 하나의 본래의 높은 해상도를 가진 샘플을 선택하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  23. 제 22항에 있어서, 상기 인코딩 단계는 상기 적어도 하나의 본래의 높은 해상도의 샘플의 평균을 구하는 것과 필터링하는 것 중 적어도 하나에 의한 다운샘플링을 수행하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  24. 제 21항에 있어서, 상기 인코딩 단계는 상기 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시키기 위해 수정된 내부 예측 프로세스를 사용하고, 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나를 사용하여 수정된 내부 예측 프로세스의 사용을 신호로 알리는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  25. 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치로서,
    해상도가 감소한 갱신 블록을 낮은 해상도로 재구성하기 위해 수정된 내부 예측 프로세스를 수행하고, 재구성된 감소된 해상도 갱신 블록을 높은 해상도로 업샘플링함으로써, 높은 해상도로 상기 비디오 비트스트림에서의 특정 화상에서의 해상도가 감소한 갱신 블록을 디코딩하는 디코더(900)를 포함하는, 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치.
  26. 제 27항에 있어서, 상기 디코더(900)는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나에 기초하여 해상도가 감소한 갱신 블록에 대한 수정된 내부 예측 프로세스의 사용을 결정하는, 비디오 비트스트림을 크기조정이 가능하게 디코딩하는 장치.
  27. 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법으로서,
    해상도가 감소한 갱신 블록을 낮은 해상도로 재구성하기 위해 수정된 내부 예측 프로세스를 수행하고, 재구성된 감소된 해상도 갱신 블록을 높은 해상도로 업샘플링함으로써, 높은 해상도로 상기 비디오 비트스트림에서의 특정 화상에서의 해상도가 감소한 갱신 블록을 디코딩하는 단계(1720, 1725)를 포함하는, 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법.
  28. 제 27항에 있어서, 상기 디코딩 단계는 블록-레벨 구문, 슬라이스-레벨 구문 및 높은 레벨의 구문 중 적어도 하나에 기초하여 상기 블록에 대한 수정된 내부 예측 프로세스의 사용을 결정하는(1715), 비디오 비트스트림의 복잡도가 크기조정이 가능한 비디오 디코딩을 위한 방법.
  29. 비디오 인코딩을 위한 비디오 신호 구조물로서,
    해상도가 감소한 갱신 모드에 있는 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써 높은 해상도로 인코딩된 비디오 시퀀스에서 특정의 높은 해상도를 가진 화상에 있는 상기 블록을 포함하는, 비디오 인코딩을 위한 비디오 신호 구조물.
  30. 인코딩된 비디오 신호 데이터를 가지는 저장 매체로서,
    해상도가 감소한 갱신 모드에 있는 블록에 대한 낮은 해상도의 내부 모드 예측을 발생시킴으로써 높은 해상도로 인코딩된 비디오 시퀀스에서 특정의 높은 해상도를 가진 화상에 있는 상기 블록을 포함하는, 인코딩된 비디오 신호 데이터를 가지는 저장 매체.
  31. 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정 된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 인코더(1100)를 포함하고,
    상기 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 상기 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  32. 제 31항에 있어서, 상기 인코더(1100)는 라그랑지안(Lagrangian) 최적화 기술을 사용하여 각 품질을 평가하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  33. 제 31항에 있어서, 상기 인코더(1100)는 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 낮은 해상도를 가진 비트스트림과 다운샘플링된 소스 시퀀스에 대한 가중치가 부여된(weighted) 왜곡값을 결정하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하는 장치.
  34. 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법으로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정 된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계(1810)를 포함하고,
    상기 인코딩 단계는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 상기 비디오 시퀀스로부터 인코딩된 다운샘플링된 소스 시퀀스의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  35. 제 34항에 있어서, 상기 인코딩 단계는 라그랑지안 최적화 기술을 사용하여 각 품질을 평가하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  36. 제 34항에 있어서, 상기 인코딩 단계는 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 낮은 해상도를 가진 비트스트림과 다운샘플링된 소스 시퀀스에 대한 가중치가 부여된 왜곡값을 결정하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  37. 비디오 시퀀스를 크기조정이 가능하게 인코딩하기 위한 장치로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으 로써 인코딩하는 인코더(1100)를 포함하고,
    상기 인코더는 상기 비디오 시퀀스로부터 인코딩된 낮은 해상도를 가진 비트스트림과 높은 해상도를 가진 비트스트림 모두의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하기 위한 장치.
  38. 제 37항에 있어서, 상기 인코더(1100)는 라그랑지안 최적화 기술을 사용하여 각 품질을 평가하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하기 위한 장치.
  39. 제 37항에 있어서, 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 높은 해상도를 가진 비트스트림과 낮은 해상도를 가진 비트스트림에 대한 가중치가 부여된 왜곡값을 결정하는, 비디오 시퀀스를 크기조정이 가능하게 인코딩하기 위한 장치.
  40. 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법으로서,
    상기 비디오 시퀀스의 특정 화상에 있는 블록을, 상기 특정 화상이 마지막으로 디코딩될 때, 감소된 해상도를 가진 갱신 모드에서 아티팩트를 감소시키는 수정된 내부 예측 프로세스를 사용하여 상기 블록에 대한 내부 모드 예측을 발생시킴으로써 인코딩하는 단계(1910)를 포함하고,
    상기 인코딩 단계는 상기 비디오 시퀀스로부터 인코딩된 높은 해상도를 가진 비트스트림과 낮은 해상도를 가진 비트스트림 모두의 각각의 품질에 기초하여, 상기 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  41. 제 40항에 있어서, 상기 인코딩 단계는 라그랑지안 최적화 기술을 사용하여 각 품질을 평가하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
  42. 제 40항에 있어서, 상기 인코딩 단계는 수정된 내부 예측 프로세스에 대한 인코딩 결정을 내리는데 사용하기 위해, 높은 해상도를 가진 비트스트림과 낮은 해상도를 가진 비트스트림에 대한 가중치가 부여된 왜곡값을 결정하는, 비디오 시퀀스의 복잡도가 크기조정이 가능한 비디오 인코딩을 위한 방법.
KR1020087017177A 2006-01-31 2007-01-30 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치 KR20080090421A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US76425306P 2006-01-31 2006-01-31
US60/764,253 2006-01-31

Publications (1)

Publication Number Publication Date
KR20080090421A true KR20080090421A (ko) 2008-10-08

Family

ID=38283337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017177A KR20080090421A (ko) 2006-01-31 2007-01-30 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치

Country Status (7)

Country Link
US (1) US20090010333A1 (ko)
EP (1) EP1982527A2 (ko)
JP (1) JP2009525637A (ko)
KR (1) KR20080090421A (ko)
CN (1) CN101375605A (ko)
MY (1) MY184464A (ko)
WO (1) WO2007089696A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378749B1 (ko) * 2009-04-14 2014-03-28 톰슨 라이센싱 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154808B2 (en) 2005-01-14 2015-10-06 Thomson Licensing Method and apparatus for INTRA prediction for RRU
US10193655B2 (en) * 2008-01-15 2019-01-29 Futurewei Technologies, Inc. Method and apparatus for scheduling multimedia streams over a wireless broadcast channel
KR101692829B1 (ko) * 2008-06-12 2017-01-05 톰슨 라이센싱 감소된 비트 깊이 갱신 모드와 감소된 크로마 샘플링 갱신 모드로 비디오 코딩 및 디코딩하기 위한 방법 및 장치
US9479786B2 (en) 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US20110002554A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by residual decimation
CN107071490B (zh) 2010-11-04 2020-07-14 Ge视频压缩有限责任公司 解码装置和方法、编码装置和方法、存储和传输图像方法
US20120207386A1 (en) * 2011-02-11 2012-08-16 Microsoft Corporation Updating A Low Frame Rate Image Using A High Frame Rate Image Stream
CN103797792B (zh) 2011-09-15 2018-06-05 Vid拓展公司 用于空间预测的系统和方法
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
US9584805B2 (en) 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
CN103813174B (zh) 2012-11-12 2016-04-27 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
EP3104609A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
US20180146190A1 (en) * 2015-06-08 2018-05-24 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
FR3054945B1 (fr) * 2016-08-05 2019-09-06 Viaccess Procede de lecture et de generation d'un flux video contenant des images compressees et chiffrees
CN116033149A (zh) 2018-08-09 2023-04-28 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
KR102285738B1 (ko) * 2018-10-19 2021-08-05 삼성전자주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
JP7256658B2 (ja) * 2019-03-01 2023-04-12 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1939066B (zh) * 2004-04-02 2012-05-23 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378749B1 (ko) * 2009-04-14 2014-03-28 톰슨 라이센싱 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치
US9020287B2 (en) 2009-04-14 2015-04-28 Thomson Licensing Methods and apparatus for filter parameter determination and selection responsive to variable transforms in sparsity-based de-artifact filtering

Also Published As

Publication number Publication date
MY184464A (en) 2021-04-01
WO2007089696A3 (en) 2007-11-15
JP2009525637A (ja) 2009-07-09
US20090010333A1 (en) 2009-01-08
CN101375605A (zh) 2009-02-25
WO2007089696A2 (en) 2007-08-09
EP1982527A2 (en) 2008-10-22

Similar Documents

Publication Publication Date Title
KR20080090421A (ko) 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치
KR101277355B1 (ko) 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치
US8116376B2 (en) Complexity scalable video decoding
KR20210061991A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
KR101292676B1 (ko) 공간적 스케일링 가능한 비디오 인코딩 및 디코딩을 위한슬라이스 적응형 움직임 벡터 코딩을 위한 방법 및 장치
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
WO2007018688A1 (en) Method and apparatus for weighted prediction for scalable video coding
KR20060134976A (ko) 고급 비디오 코딩을 위한 감소된 해상도의 갱신 모드
US20140192886A1 (en) Method and Apparatus for Encoding an Image Into a Video Bitstream and Decoding Corresponding Video Bitstream Using Enhanced Inter Layer Residual Prediction

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid