KR101277355B1 - 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치 - Google Patents

복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치 Download PDF

Info

Publication number
KR101277355B1
KR101277355B1 KR1020077008369A KR20077008369A KR101277355B1 KR 101277355 B1 KR101277355 B1 KR 101277355B1 KR 1020077008369 A KR1020077008369 A KR 1020077008369A KR 20077008369 A KR20077008369 A KR 20077008369A KR 101277355 B1 KR101277355 B1 KR 101277355B1
Authority
KR
South Korea
Prior art keywords
base layer
picture
reference picture
coded
enhancement layer
Prior art date
Application number
KR1020077008369A
Other languages
English (en)
Other versions
KR20070063539A (ko
Inventor
펭 인
질 맥도날드 보이세
푸빈 비브해스 팬디트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20070063539A publication Critical patent/KR20070063539A/ko
Application granted granted Critical
Publication of KR101277355B1 publication Critical patent/KR101277355B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

비디오 비트스트림을 각각 디코딩하고 인코딩하는 스케일러블 복잡도 비디오 디코더 및 인코더가 제공된다. 스케일러블 복잡도 비디오 디코더는 제1 결합기(1020), 제2 결합기(1025) 및 블록분리 필터(1050)를 포함한다. 제1 결합기(1020)는, 블록분리 동작을 적용하지 않고 디스플레이하기 위한 재구성되어 업샘플링된 기본 계층 픽처를 형성하기 위해 전해상도 움직임 보상 예측 및 디코딩되어 업샘플링된 기본 계층 나머지를 결합하기 위한 것이다. 제2 결합기(1025)는, 제1 결합기와 신호 통신하고, 재구성된 전해상도 확장 계층 픽처를 형성하기 위해 재구성되어 업샘플링된 기본 계층 픽처를 디코딩된 확장 계층 나머지와 결합하기 위한 것이다. 블록분리 필터(1050)는 제2 결합기와 신호 통신하고, 디스플레이하기 위한 필터링되어 재구성된 전해상도 확장 계층 픽처를 출력하기 위해 재구성된 전해상도 확장 계층 픽처 상에서만 블록분리 동작을 수행하기 위한 것이다.
스케일러블 복잡도 비디오 디코더, 스케일러블 복잡도 비디오 인코더, 기본 계층, 확장 계층, 움직임 보상기, 블록분리 필터, 업샘플링, 다운샘플링

Description

복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치{METHOD AND APPARATUS FOR COMPLEXITY SCALABLE VIDEO ENCODING AND DECODING}
<관련 출원의 상호 참조>
본 출원은 여기에서 전체적으로 참조로 사용되는 2004년 10월 13일자로 출원된 미합중국 가출원 제60/618,254호의 권리를 주장한다.
본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 더욱 구체적으로 스케일러블(scalable) 복잡도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다.
브로드캐스트(broadcast) 비디오 애플리케이션은 동시방송 인코딩의 비트율 패널티(penalty)를 초래하지 않고 다양한 사용자 장치에 지원을 제공하는 것이 바람직하다. 비디오 디코딩은 복잡한 동작이고, 복잡도는 코딩된 비디오의 해상도에 크게 의존한다. 저전력 휴대 장치는 전형적으로 매우 엄격한 복잡도 제한 및 낮은 해상도 디스플레이를 갖는다. 상이한 해상도에 대응하는 2개 이상의 비디오 비트스트림의 동시방송 브로드캐스팅은 더 낮은 해상도 장치의 복잡도 요구사항을 처리하기 위해 이용될 수 있지만, 본 발명에 따른 복잡도 스케일러블 시스템보다 더 높은 총 비트율을 필요로 한다. 따라서, 높은 비디오 코딩 비트율 효율을 유지하면 서 복잡도 스케일러블 디코더를 제공하는 해결책이 필요하다.
여러가지 상이한 스케일러빌리티(scalability) 방법은 MPEG-2 및 MPEG-4 표준의 스케일러빌리티 프로파일에서 SNR 스케일러빌리티, 공간 스케일러빌리티, 시간 스케일러빌리티 및 파인 그레인(fine grain) 스케일러빌리티를 포함하여, 널리 연구되고 표준화되어 왔다. 스케일러블 코딩에서의 대부분의 작업은 저해상도 계층이 제한된 대역폭을 갖는 비트율 스케일러빌리티를 목표로 한 것이었다. 도 1에 도시된 바와 같이, 전형적인 공간 스케일러빌리티 시스템은 일반적으로 참조번호(100)로 표시된다. 시스템(100)은 비디오 시퀀스를 수신하는 복잡도 스케일러블 비디오 인코더(110)를 포함한다. 복잡도 스케일러블 비디오 인코더(110)의 제1 출력은 저대역폭 네트워크(120) 및 멀티플렉서(130)의 제1 입력과 신호 통신하여 접속된다. 복잡도 스케일러블 비디오 인코더(110)의 제2 출력은 멀티플렉서(130)의 제2 입력과 신호 통신하여 접속된다. 저 대역폭 네트워크(120)의 출력은 저해상도 디코더(140)의 입력과 신호 통신하여 접속된다. 멀티플렉서(130)의 출력은 고 대역폭 네트워크(150)의 입력과 신호 통신하여 접속된다. 고 대역폭 네트워크(150)의 출력은 디멀티플렉서(160)의 입력과 신호 통신하여 접속된다. 디멀티플레서(160)의 제1 출력은 고해상도 디코더(170)의 제1 입력과 신호 통신하여 접속되고, 디멀티플렉서(160)의 제2 출력은 고해상도 디코더(170)의 제2 입력과 신호 통신하여 접속된다. 저해상도 디코더(140)의 출력은 기본 계층 비트스트림을 위한 시스템(100)의 출력으로서 이용가능하고, 고해상도 디코더(170)의 출력은 스케일러블 비트스트림을 위한 시스템(100)의 출력으로서 이용가능하다.
스케일러블 코딩은 인코더 및 디코더 복잡도의 상당한 증가 때문에, 그리고 스케이러블 인코더의 코딩 효율이 전형적으로 비-스케일러블 인코더의 효율보다 상당히 낮기 때문에, 실제로 널리 채택되지 않았다.
공간 스케일러블 인코더 및 디코더는 전형적으로, 고해상도 스케일러블 인코더/디코더가 정규 고해상도 인코더/디코더에서 존재할 수 있는 것보다 추가적인 기능을 제공할 것을 요구한다. MPEG-2 공간 스케일러블 인코더에서, 예측이 저해상도 참조 픽처로부터 수행되는지 고해상도 참조 픽처로부터 수행되는지에 관해 판정이 이루어진다. MPEG-2 공간 스케일러블 디코더는 저해상도 참조 픽처 또는 고해상도 참조 픽처로부터 예측할 수 있어야 된다. 2 세트의 참조 픽처 저장부가 MPEG-2 공간 스케일러블 인코더/디코더에 의해 요구되는데, 하나는 저해상도 픽처를 위한 것이고, 다른 하나는 고해상도 픽처를 위한 것이다. 도 2는 종래 기술에 따른, 2개의 계층을 지원하는 저-복잡도 공간 스케일러블 인코더(200)의 블록도를 도시한 것이다. 도 3은 종래 기술에 따른, 2개의 계층을 지원하는 저-복잡도 공간 스케일러블 디코더(300)의 블록도를 도시한 것이다.
도 2를 참조하면, 2개의 계층을 지원하는 공간 스케일러블 비디오 인코더는 일반적으로 참조번호(200)로 표시된다. 비디오 인코더(200)는 고해상도 입력 비디오 시퀀스를 수신하는 다운샘플러(downsampler)(210)를 포함한다. 다운샘플러(210)는 저해상도 비-스케일러블 인코더(212)와 신호 통신하여 연결되는데, 이 인코더(212)는 차례로 저해상도 프레임 저장부(214)와 신호 통신하여 연결된다. 저해상도 비-스케일러블 인코더(212)는 저해상도 비트스트림을 출력하고, 또한 저 해상도 비-스케일러블 디코더(220)와 신호 통신하여 연결된다.
저해상도 비-스케일러블 디코더(220)는 업샘플러(upsampler;230)와 신호 통신하여 연결되는데, 이 업샘플러(230)는 차례로 스케일러블 고해상도 인코더(240)와 신호 통신하여 연결된다. 스케일러블 고해상도 인코더(240)는 또한 고해상도 입력 비디오 시퀀스를 수신하고, 고해상도 프레임 저장부(250)와 신호 통신하여 연결되며, 고해상도 스케일러블 비트스트림을 출력한다. 저해상도 비-스케일러블 인코더(212)의 출력 및 스케일러블 고해상도 인코더의 출력은 공간 스케일러블 비디오 인코더(200)의 출력으로서 이용가능하다.
그러므로, 고해상도 입력 비디오 시퀀스는 저-복잡도 인코더(200)에 의해 수신되고, 저해상도 비디오 시퀀스를 생성하기 위해 다운-샘플링된다. 저해상도 비디오 시퀀스는 비-스케일러블 저해상도 비디오 압축 인코더를 사용하여 인코딩되어, 저해상도 비트스트림을 생성한다. 저해상도 비트스트림은 비-스케일러블 저해상도 비디오 압축 디코더를 사용하여 디코딩된다. 이 기능은 인코더 내부에서 수행될 수 있다. 디코딩된 저해상도 시퀀스는 업샘플링되고, 스케일러블 고해상도 인코더로의 2개의 입력 중 하나로서 제공된다. 스케일러블 고해상도 인코더는 고해상도 스케일러블 비트스트림을 생성하기 위해 비디오를 인코딩한다.
도 3을 참조하면, 2개의 계층을 지원하는 공간 스케일러블 비디오 디코더는 일반적으로 참조번호(300)로 표시된다. 비디오 디코더(300)는 저해상도 비트스트림을 수신하는 저해상도 디코더(360)를 포함하는데, 저해상도 디코더(360)는 저해상도 프레임 저장부(362)와 신호 통신하여 연결되고, 저해상도 비디오 시퀀스를 출 력한다. 저해상도 디코더(360)는 또한 업샘플러(370)와 신호 통신하여 연결되고, 이 업샘플러(370)는 차례로 스케일러블 고해상도 디코더(380)와 신호 통신하여 연결된다.
스케일러블 고해상도 디코더(380)는 또한 고해상도 프레임 저장부(390)와 신호 통신하여 연결된다. 스케일러블 고해상도 디코더(380)는 고해상도 스케일러블 비트스트림을 수신하고, 고해상도 비디오 시퀀스를 출력한다. 저해상도 디코더(360)의 출력 및 스케일러블 고해상도 디코더의 출력은 공간 스케일러블 비디오 디코더(300)의 출력으로서 이용가능하다.
그러므로, 고해상도 스케일러블 비트스트림 및 저해상도 비트스트림은 저-복잡도 디코더(300)에 의해 수신된다. 저해상도 비트스트림은 저해상도 프레임 저장부를 이용하는 비-스케일러블 저해상도 비디오 압축 디코더를 사용하여 디코딩된다. 디코딩된 저해상도 비디오는 업샘플링된 다음에, 고해상도 스케일러블 디코더로 입력된다. 고해상도 스케일러블 디코더는 한 세트의 고해상도 프레임 저장부를 이용하고, 고해상도 출력 비디오 시퀀스를 생성한다.
도 4를 참조하면, 비-스케일러블 비디오 인코더는 일반적으로 참조번호(400)로 표시된다. 비디오 인코더(400)로의 입력은 덧셈 결합부(410)의 비반전 입력과 신호 통신하여 접속된다. 덧셈 결합부(410)의 출력은 변환기/양자화기(420)와 신호 통신하여 접속된다. 변환기/양자화기(420)의 출력은 엔트로피 코더(entropy coder)(440)와 신호 통신하여 접속된다. 엔트로피 코더(440)의 출력은 인코더(400)의 출력으로서 이용가능하다.
변환기/양자화기(420)의 출력은 또한 역 변환기/양자화기(450)와 신호 통신하여 접속된다. 역 변환기/양자화기(450)의 출력은 블록분리(deblock) 필터(460)의 입력과 신호 통신하여 접속된다. 블록분리 필터(460)의 출력은 참조 픽처 저장부(470)와 신호 통신하여 접속된다. 참조 픽처 저장부(470)의 제1 출력은 움직임 추정기(motion estimator)(480)의 제1 입력과 신호 통신하여 접속된다. 인코더(400)로의 입력은 또한 움직임 추정기(480)의 제2 입력과 신호 통신하여 접속된다. 움직임 추정기(480)의 출력은 움직임 보상기(490)의 제1 입력과 신호 통신하여 접속된다. 참조 픽처 저장부(470)의 제2 출력은 움직임 보상기(490)의 제2 입력과 신호 통신하여 접속된다. 움직임 보상기(490)의 출력은 덧셈 결합부(410)의 반전 입력과 신호 통신하여 접속된다.
도 5를 참조하면, 비-스케일러블 비디오 디코더는 일반적으로 참조번호(500)로 표시된다. 비디오 디코더(500)는 비디오 시퀀스를 수신하는 엔트로피 디코더(510)를 포함한다. 엔트로피 디코더(510)의 제1 출력은 역 양자화기/변환기(520)의 입력과 신호 통신하여 접속된다. 역 양자화기/변환기(520)의 출력은 덧셈 결합부(540)의 제1 입력과 신호 통신하여 접속된다.
덧셈 결합부(540)의 출력은 블록분리 필터(590)와 신호 통신하여 접속된다. 블록분리 필터(590)의 출력은 참조 픽처 저장부(550)와 신호 통신하여 접속된다. 참조 픽처 저장부(550)는 움직임 보상기(560)의 제1 입력과 신호 통신하여 접속된다. 움직임 보상기(560)의 출력은 덧셈 결합부(540)의 제2 입력과 신호 통신하여 접속된다. 엔트로피 디코더(510)의 제2 출력은 움직임 보상기(560)의 제2 입력과 신호 통신하여 접속된다. 블록분리 필터(590)의 출력은 비디오 디코더(500)의 출력으로서 이용가능하다.
H.264/MPEG AVC가 감소된 해상도 갱신(RRU;Reduced Resolution Update) 모드를 사용하도록 확장되는 것이 제안되었다. RRU 모드는, 전(full) 해상도 픽처의 움직임 추정 및 보상을 수행하면서, 코딩될 나머지 매크로블록(MB;macroblock)의 수를 감소시킴으로써 낮은 비트율로 코딩 효율을 향상시킨다. 도 6을 참조하면, RRU 비디오 인코더는 일반적으로 참조번호(600)로 표시된다. 비디오 인코더(600)로의 입력은 덧셈 결합부(610)의 비반전 입력과 신호 통신하여 접속된다. 덧셈 결합부(610)의 출력은 다운샘플러(612)의 입력과 신호 통신하여 접속된다. 변환기/양자화기(620)의 입력은 다운샘플러(612)의 출력 또는 덧셈 결합부(610)의 출력과 신호 통신하여 접속된다. 변환기/양자화기(620)의 출력은 엔트로피 코더(640)와 신호 통신하여 접속된다. 엔트로피 코더(640)의 출력은 비디오 인코더(600)의 출력으로서 이용가능하다.
변환기/양자화기(620)의 출력은 또한 역 변환기/양자화기(650)의 입력과 신호 통신하여 접속된다. 역 변환기/양자화기(650)의 출력은 업샘플러(655)의 입력과 신호 통신하여 접속된다. 블록분리 필터(660)의 입력은 역 변환기/양자화기(650)의 출력 또는 업샘플러(655)의 출력과 신호 통신하여 접속된다. 블록분리 필터(660)의 출력은 참조 픽처 저장부(670)의 입력과 신호 통신하여 접속된다. 참조 픽처 저장부(670)의 제1 출력은 움직임 추정기(680)의 제1 입력과 신호 통신하여 접속된다. 인코더(600)로의 입력은 또한 움직임 추정기(680)의 제2 입력과 신호 통신하여 접속된다. 움직임 추정기(680)의 출력은 움직임 보상기(690)의 제1 입력과 신호 통신하여 접속된다. 참조 픽처 저장부(670)의 제2 출력은 움직임 보상기(690)의 제2 입력과 신호 통신하여 접속된다. 움직임 보상기(690)의 출력은 덧셈 결합부(610)의 반전 입력과 신호 통신하여 접속된다.
도 7을 참조하면, RRU 비디오 디코더는 일반적으로 참조번호(700)로 표시된다. 비디오 디코더(700)는 비디오 시퀀스를 수신하는 엔트로피 디코더(710)를 포함한다. 엔트로피 디코더(710)의 출력은 역 양자화기/변환기(720)의 입력과 신호 통신하여 접속된다. 역 양자화기/변환기(720)의 출력은 업샘플러(722)의 입력과 신호 통신하여 접속된다. 업샘플러(722)의 출력은 덧셈 결합부(740)의 제1 입력과 신호 통신하여 접속된다.
덧셈 결합부(740)의 출력은 블록분리 필터(790)와 신호 통신하여 접속된다. 블록분리 필터(790)의 출력은 전해상도 참조 픽처 저장부(750)의 입력과 신호 통신하여 접속된다. 블록분리 필터(790)의 출력은 또한 비디오 디코더(700)의 출력으로서 이용가능하다. 전해상도 참조 픽처 저장부(750)의 출력은 움직임 보상기(760)와 신호 통신하여 접속되는데, 움직임 보상기(760)는 덧셈 결합부(740)의 제2 입력과 신호 통신하여 접속된다.
복잡도 스케일러블 코덱(codec)을 설계하기 위해 RRU 개념을 이용하는 것이 제안되었다. 일 예는 2가지 상이한 레벨의 디코더 복잡도 및 해상도를 지원하는 시스템에 제공된다. 저해상도 디코더는 더 작은 디스플레이 크기를 갖고, 매우 엄격한 디코더 복잡도 제한을 갖는다. 전해상도 디코더는 더 큰 디스플레이 크기를 갖고, 덜 엄격하지만, 여전히 중요한 디코더 복잡도 제한을 갖는다. 브로드캐스트 또는 멀티캐스트 시스템은 2개의 비트스트림, 즉 비트율 BRbase을 갖는 기본 계층 및 비트율 BRenhan을 갖는 확장 계층을 전송한다. 2개의 비트스트림은 함께 멀티플렉스되어, 단일 전송 스트림으로 보내질 수 있다. 도 8을 참조하면, 복잡도 스케일러블 브로드캐스트 시스템은 일반적으로 참조번호(800)로 표시된다. 시스템(800)은 복잡도 스케일러블 비디오 인코더 및 저해상도 디코더 및 전해상도 디코더를 포함한다. 복잡도 스케일러블 브로드캐스트 시스템(800)은 복잡도 스케일러블 비디오 인코더(810)를 포함한다. 복잡도 스케일러블 비디오 인코터(810)의 제1 출력은 멀티플렉서(820)의 제1 입력과 신호 통신하여 접속된다. 복잡도 스케일러블 비디오 인코더(810)의 제2 출력은 멀티플렉서(820)의 제2 입력과 신호 통신하여 접속된다. 멀티플렉서(820)의 출력은 네트워크(830)와 신호 통신하여 접속된다. 네트워크(830)의 출력은 제1 디멀티플렉서(840)의 입력 및 제2 디멀티플렉서(850)의 입력과 신호 통신하여 접속된다. 제1 디멀티플렉서(840)의 출력은 저해상도 디코더(850)의 입력과 신호 통신하여 접속된다. 제2 디멀티플렉서(860)의 제1 출력은 전해상도 디코더(870)의 제1 입력과 신호 통신하여 접속된다. 제2 디멀티플렉서(860)의 제2 출력은 전해상도 디코더(870)의 제2 입력과 신호 통신하여 접속된다. 저해상도 디코더(850)의 출력은 기본 계층 비트스트림을 위한 시스템(800)의 출력으로서 이용가능하고, 전해상도 디코더(870)의 출력은 스케일러블 비트스트림을 위한 시스템(800)의 출력으로서 이용가능하다.
저해상도 디코더(850)는 기본 계층 비트스트림만을 처리하고, 전해상도 디코더(870)는 기본 계층 비트스트림 및 확장 계층 비트스트림을 둘 다 처리한다. RRU는 디코더에서 상이한 복잡도를 갖는 저해상도 및 고해상도 시퀀스 둘 다로 디코딩될 수 있는 기본 계층에서 이용된다. 확장 계층 비트스트림은, 전해상도 움직임 보상으로 행해진 기본 계층 비트스트림의 디코딩 결과에 더해질 전해상도 에러 신호를 포함한다. 확장 계층의 비트율은 결국 기본 계층의 비트율보다 낮아질 수 있는데, 이것은 기본 계층 비트율이 전형적으로 확장 계층 비트율에 비해 작은 전형적인 공간 스케일러빌리티의 경우와 다르다. 전해상도 에러 신호는 반드시 각각의 코딩된 매크로블록 또는 슬라이스(slice)/픽처마다 보내지는 것은 아니다.
종래 기술의 상기 및 다른 결점 및 단점은 스케일러블 복잡도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 본 발명에 의해 처리된다.
본 발명의 일 양상에 따르면, 비디오 비트스트림을 디코딩하는 스케일러블 복잡도 비디오 디코더가 제공된다. 비디오 디코더는 제1 결합기, 제2 결합기 및 블록분리 필터를 포함한다. 제1 결합기는 블록분리 동작을 적용하지 않고 디스플레이하기 위한 재구성되어 업샘플링된 기본 계층 픽처를 형성하기 위해, 전해상도 움직임 보상 예측 및 디코딩되어 업샘플링된 기본 계층 나머지를 결합하기 위한 것이다. 제2 결합기는 제1 결합기와 신호 통신하고, 재구성된 전해상도 확장 계층 픽처를 형성하기 위해 재구성되어 업샘플링된 기본 계층 픽처를 디코딩된 확장 계층 나머지와 결합하기 위한 것이다. 블록분리 필터는 제2 결합기와 신호 통신하고, 디스플레이하기 위한 필터링되어 재구성된 전해상도 확장 계층 픽처를 출력하기 위해 재구성된 전해상도 확장 계층 픽처 상에서만 블록분리 동작을 수행하기 위한 것이다.
본 발명의 다른 양상에 따르면, 비디오 비트스트림을 디코딩하는 공간 스케일러블 비디오 디코더가 제공된다. 비디오 디코더는 업샘플러 및 블록분리 필터를 포함한다. 업샘플러는 업샘플링된 예측 나머지를 형성하기 위해 비디오 비트스트림에 대응하는 코딩된 예측 나머지 상에서 업샘플링 동작을 수행하기 위한 것이다. 블록분리 필터는 업샘플링 동작의 전 또는 후에 블록분리 동작을 수행하기 위한 것이다.
본 발명의 또 다른 양상에 따르면, 비디오 비트스트림을 디코딩하는 공간 스케일러블 비디오 디코더가 제공된다. 비디오 디코더는 업샘플러 및 참조 픽처 저장부를 포함한다. 업샘플러는 업샘플링된 기본 계층 예측 나머지를 형성하기 위해 기본 계층 예측 나머지를 업샘플링하기 위한 것이다. 참조 픽처 저장부는 업샘플링된 기본 계층 예측 나머지로부터 형성된 업샘플링된 기본 계층 참조 픽처를 대응하는 이전의 전해상도 참조 픽처와 함께 저장하기 위한 것이다.
본 발명의 또 다른 양상에 따르면, 복수의 픽처의 비디오 신호 데이터를 인코딩하는 공간 스케일러블 비디오 인코더가 제공된다. 비디오 인코더는 인트라 코딩 수단 및 인터 코딩 수단을 포함한다. 인트라 코딩 수단은 인트라 코딩된 픽처를 형성하기 위해 계층화 코딩 기술을 이용하여 인트라 코딩을 수행하기 위한 것이다. 인터 코딩 수단은 인터 코딩된 픽처를 형성하기 위해 RRU 기술을 이용하여 인터 코딩을 수행하기 위한 것이다. 인터 코딩 수단은 다운샘플링된 저해상도 예측 나머지를 형성하기 위해 예측 나머지를 다운샘플링하는 다운샘플러를 포함한다. 인터 코딩 수단은 다운샘플러와 신호 통신하고, 다운샘플링된 저해상도 예측 나머지를 코딩하는 변환기/양자화기를 더 포함한다.
본 발명의 또 다른 양상에 따르면, 비디오 비트스트림을 디코딩하는 스케일러블 복잡도 방법이 제공된다. 이 방법은 블록분리 동작을 적용하지 않고 디스플레이하기 위한 재구성되어 업샘플링된 기본 계층 픽처를 형성하기 위해 전해상도 움직임 보상 예측 및 디코딩되어 업샘플링된 기본 계층 나머지를 결합하는 단계를 포함한다. 이 방법은 재구성된 전해상도 확장 계층 픽처를 형성하기 위해 재구성되어 업샘플링된 기본 계층 픽처를 디코딩된 확장 계층 나머지와 결합하는 단계를 더 포함한다. 이 방법은 또한 디스플레이하기 위한 필터링되어 재구성된 전해상도 확장 계층 픽처를 출력하기 위해 재구성된 전해상도 확장 계층 픽처 상에서만 블록분리 동작을 수행하는 단계를 포함한다.
본 발명의 또 다른 양상에 따르면, 비디오 비트스트림을 디코딩하는 공간 스케일러블 방법이 제공된다. 이 방법은 업샘플링된 예측 나머지를 형성하기 위해, 비디오 비트스트림에 대응하는 코딩된 예측 나머지 상에서 업샘플링 동작을 수행하는 단계를 포함한다. 이 방법은 업샘플링 동작의 전 또는 후에 블록분리 동작을 수행하는 단계를 더 포함한다.
본 발명의 부가적인 양상에 따르면, 비디오 비트스트림을 디코딩하는 공간 스케일러블 방법이 제공된다. 이 방법은 업샘플링된 기본 계층 예측 나머지를 형성하기 위해 기본 계층 예측 나머지를 업샘플링하는 단계를 포함한다. 이 방법은 업샘플링된 기본 계층 예측 나머지로부터 형성된 업샘플링된 기본 계층 참조 픽처를 대응하는 이전의 전해상도 참조 픽처와 함께 저장하는 단계를 더 포함한다.
본 발명의 더욱 부가적인 양상에 따르면, 다수의 픽처의 비디오 신호 데이터를 인코딩하는 공간 스케일러블 방법이 제공된다. 이 방법은 인트라 코딩된 픽처를 형성하기 위해 계층화 코딩 기술을 이용하여 인트라 코딩을 수행하는 단계를 포함한다. 이 방법은 또한 인터 코딩된 픽처를 형성하기 위해 RRU 기술을 이용하여 인터 코딩을 수행하는 단계(1706)를 포함한다. 인터 코딩 단계는, 다운샘플링된 저해상도 예측 나머지를 형성하기 위해 예측 나머지를 다운샘플링하는 단계를 포함한다. 인터 코딩 단계는 다운샘플링된 저해상도 예측 나머지를 코딩하는 단계를 더 포함한다.
본 발명의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 관련하여 설명될 예시적인 실시예에 관한 다음의 상세한 설명으로부터 명백해질 것이다.
본 발명은 다음의 예시적인 도면에 따라 더욱 잘 이해될 수 있다.
도 1은 종래 기술에 따른 전형적인 공간 스케일러빌리티 시스템의 블록도를 도시한다.
도 2는 종래 기술에 따른, 2개의 계층을 지원하는 공간 스케일러블 인코더의 블록도를 도시한다.
도 3은 종래 기술에 따른, 2개의 계층을 지원하는 공간 스케일러블 디코더의 블록도를 도시한다.
도 4는 종래 기술에 따른, H.264/MPEG AVC 표준에서 사용된 정규 비-스케일러블 비디오 인코더의 블록도를 도시한다.
도 5는 종래 기술에 따른, H.264/MPEG AVC와 함께 사용된 정규 비-스케일러블 비디오 디코더의 블록도를 도시한다.
도 6은 종래 기술에 따른, RRU(Reduced Resolution Update) 비디오 인코더의 블록도를 도시한다.
도 7은 종래 기술에 따른, RRU 비디오 디코더의 블록도를 도시한다.
도 8은 종래 기술에 따른, 복잡도 스케일러빌리티 브로드캐스트 시스템의 블록도를 도시한다.
도 9는 본 발명이 적용될 수 있는 저해상도 복잡도 스케일러블 비디오 디코더의 블록도를 도시한다.
도 10은 본 발명이 적용될 수 있는 고해상도 복잡도 스케일러블 비디오 디코더의 블록도를 도시한다.
도 11은 본 발명이 적용될 수 있는 복잡도 스케일러블 비디오 인코더의 블록도를 도시한다.
도 12는 본 발명의 원리에 따른 복잡도 스케일러빌리티의 도면을 도시한다.
도 13은 본 발명의 원리에 따라 전해상도에서 비디오 데이터를 디코딩하는 방법의 순서도를 도시한다.
도 14는 본 발명의 원리에 따른 슬라이스 헤더 구문(slice header syntax)의 테이블을 도시한다.
도 15는 본 발명의 원리에 따른 NAL 유닛 유형 코드의 테이블을 도시한다.
도 16은 본 발명의 원리에 따라 저해상도에서 비디오 데이터를 디코딩하는 방법의 순서도를 도시한다.
도 17은 본 발명의 원리에 따라 비디오 데이터를 인코딩하는 방법의 순서도를 도시한다.
본 발명은 스케일러블 복잡도 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에서, 2개 이상의 계층에 대한 총 비트율은 최저 해상도 계층의 낮은 복잡도를 유지하면서 최적화된다.
본 설명은 본 발명의 원리를 예시적으로 나타낸 것이다. 그러므로, 본 분야에 숙련된 기술자들은, 여기에서 명시적으로 설명되거나 도시되지 않았더라도 본 발명의 원리를 구현하고 본 발명의 사상 및 범위에 포함되는 여러가지 장치를 안출할 수 있을 것이라는 것을 알 수 있을 것이다.
여기에서 설명된 모든 예 및 조건 언어는 발명자에 의해 기술의 발전에 기여한 개념 및 본 발명의 원리를 독자가 이해하는 것을 돕기 위해 교육적 목적으로 의도된 것으로, 그러한 구체적으로 설명된 예 및 조건으로 제한되지 않는 것으로 해석되어야 한다.
게다가, 여기에서 본 발명의 특정 예뿐만 아니라, 본 발명의 원리, 실시양상 및 실시예를 설명하는 모든 문장은 본 발명의 구조적 및 기능적 등가물을 모두 포 함하는 것이다. 부수적으로, 그러한 등가물은 장래 개발될 등가물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발될 임의의 구성 요소뿐만 아니라 현재 알려져 있는 등가물을 모두 포함하는 것이다.
그러므로, 예를 들어, 본 분야에 숙련된 기술자들이라면, 여기에서 나타낸 블록도는 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 나타낸다는 것을 알 수 있을 것이다. 이와 마찬가지로, 임의의 플로우차트, 순서도, 상태 전이도, 유사부호(pseudocode) 등은, 컴퓨터 또는 프로세서가 명시적으로 표시되는 지에 관계없이, 컴퓨터 판독가능 매체에 실질적으로 표현되어 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 알 수 있을 것이다.
도면에 도시된 다양한 구성요소의 기능은, 적절한 소프트웨어와 결합하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 다수의 개별 프로세서에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 오로지 소프트웨어를 실행할 수 있는 하드웨어만을 나타내는 것으로 해석되어서는 안되고, 디지털 신호 처리기(DSP) 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM) 및 비휘발성 저장장치를 (이에 제한되지 않고) 암시적으로 포함할 수 있다.
그외 다른 하드웨어, 즉 종래의 하드웨어 및/또는 주문형 하드웨어가 또한 포함될 수 있다. 이와 마찬가지로, 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 그들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 수동으로도 실행될 수 있는데, 특정 기술은 문맥으로부터 더욱 구체적으로 이해될 수 있으며 구현자(implementer)에 의해 선택가능하다.
본 발명의 청구범위에서, 지정된 기능을 수행하는 수단으로서 표현된 임의의 구성요소는 예를 들어, a) 그 기능을 수행하는 회로 소자들의 결합, 또는 b) 그 기능을 수행하기 위해 소프트웨어를 실행하는 적절한 회로와 결합된 임의의 형태, 따라서 펌웨어 또는 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하여, 그 기능을 수행하는 여러 방식을 포함할 수 있다. 그러한 청구범위에 의해 정의된 본 발명은, 여러 가지 설명된 수단에 의해 제공된 기능들이 결합되어 청구 범위가 청구하는 방식으로 결합된다는 사실에 귀속된다. 그러므로, 그러한 기능을 제공할 수 있는 임의의 수단은 여기에서 나타낸 것과 동등한 것으로 간주된다.
도 9를 참조하면, 저해상도 복잡도 스케일러블 비디오 디코더는 일반적으로 참조번호(900)로 표시된다. 비디오 디코더(900)는 비디오 시퀀스를 수신하는 엔트로피 디코더(910)를 포함한다. 엔트로피 디코더(910)의 제1 출력은 역 양자화기/변환기(920)의 입력과 신호 통신하여 접속된다. 역 양자화기/변환기(920)의 출력은 덧셈 결합부(940)의 제1 입력과 신호 통신하여 접속된다.
덧셈 결합부(940)의 출력부는 블록분리 필터(990)와 신호 통신하여 접속된다. 블록분리 필터의 출력은 참조 픽처 저장부(950)의 입력과 신호 통신하여 접속된다. 블록분리 필터(990)의 출력은 또한 비디오 디코더(900)의 출력으로서 이용 가능하다. 참조 픽처 저장부(950)의 출력은 움직임 보상기(960)의 제1 입력과 신호 통신하여 접속된다. 움직임 보상기(960)의 출력은 덧셈 결합부(940)의 제2 입력과 신호 통신하여 접속된다. 엔트로피 디코더(910)의 제2 출력은 움직임 벡터(MV) 해상도 저감기(reducer)(999)의 입력과 신호 통신하여 접속된다. MV 해상도 저감기(999)의 출력은 움직임 보상기(960)의 제2 입력과 신호 통신하여 접속된다.
디코더(900)에서, 기본 계층 비트스트림은 엔트로피 디코딩된다. 움직임 벡터는 저해상도에 대응하기 위한 정확도로 그들을 저감하도록 라운딩(rounding)된다. 이 저해상도 스케일러블 디코더의 복잡도는, 움직임 벡터의 스케일링이 매우 낮은 복잡도로 될 때, 비-스케일러블 디코더의 복잡도와 매우 유사하다. 저해상도와 전해상도 간의 각 크기에서의 해상도 비에서 팩터 2가 사용되면, 라운딩은 시스템에서 잘라올림(rounding up)이 선택되든 잘라버림(rounding down)이 선택되든, 우향 시프트만으로, 또는 더하기와 우향 시프트로 구현될 수 있다.
도 10을 참조하면, 고해상도 복잡도 스케일러블 비디오 디코더(1000)는 일반적으로 참조번호(1000)로 표시된다. 비디오 디코더(1000)는 기본 계층 비트스트림을 수신하는 제1 엔트로피 디코더(1005)를 포함한다. 제1 엔트로피 디코더(1005)의 출력은 제1 역 양자화기/변환기(1010)의 입력과 신호 통신하여 접속된다. 제1 역 양자화기/변환기(1010)의 출력은 업샘플러(1015)의 입력과 신호 통신하여 접속된다. 업샘플러(1015)의 출력은 제1 덧셈 결합부(1020)의 제1 입력과 신호 통신하여 접속된다.
제1 덧셈 결합부(1020)의 출력은 제2 덧셈 결합부(1025)의 제1 입력과 신호 통신하여 접속된다. 전해상도 참조 픽처 저장부(1030)의 출력은 움직임 보상기(1035)의 제1 입력과 신호 통신하여 접속된다. (움직임 벡터(MV)를 출력하는) 엔트로피 디코더(1005)의 제2 출력은 움직임 보상기(1035)의 제2 입력과 신호 통신하여 접속된다. 움직임 보상기(1035)의 출력은 제1 덧셈 결합부(1020)의 제2 입력과 신호 통신하여 접속된다.
제2 엔트로피 디코더(1040)의 입력은 확장 계층 비트스트림을 수신하기 위한 것이다. 제2 엔트로피 디코더(1040)의 출력은 제2 역 양자화기/변환기(1045)의 입력과 신호 통신하여 접속된다. 제2 역 양자화기/변환기(1045)의 출력은 제2 덧셈 결합부(1025)의 제2 입력과 신호 통신하여 접속된다.
블록분리 필터(1050)로의 입력은 제1 덧셈 결합부(1020)의 출력 또는 제2 덧셈 결합부(1025)의 출력과 신호 통신하여 접속된다. 블록분리 필터(1050)의 출력은 전해상도 참조 픽처 저장부(1030)의 입력과 신호 통신하여 접속된다. 블록분리 필터(1050)의 출력은 비디오 디코더(1000)의 출력으로서 이용가능하다.
기본 계층 비트스트림 상에서 동작하는 디코더(1000)의 부분은 RRU 디코더와 유사하다. 엔트로피 디코딩과 역 양자화 및 역 변환 후에, 나머지가 업샘플링된다. 움직임 보상은 전해상도 예측을 형성하기 위해 전해상도 참조 픽처에 적용되고, 업샘플링된 나머지는 예측에 더해진다. 전해상도 에러 신호가 확장 계층 비트스트림 내에 존재하면, 그것은 엔트로피 디코딩되고, 역 양자화 및 역 변환된 다음에, RRU 재구성 신호에 더해진다. 그 다음, 블록분리 필터가 적용된다.
도 11을 참조하면, 복잡도 스케일러블 비디오 인코더는 일반적으로 참조번호(1100)로 표시된다. 비디오 인코더(1100)로의 입력은 제1 덧셈 결합부(1105)의 비반전 입력과 신호 통신하여 접속된다. 제1 덧셈 결합부(1105)의 출력은 다운샘플러(1112)의 입력과 신호 통신하여 접속된다. 다운샘플러(1112)의 출력은 제1 변환기/양자화기(1115)의 입력과 신호 통신하여 접속된다. 제1 변환기/양자화기(1115)의 출력은 제1 엔트로피 코더(1120)의 입력과 신호 통신하여 접속된다. 제1 엔트로피 코더(1120)의 출력은 기본 계층 비트스트림을 위한 인코더(1100)의 출력으로서 이용가능하다.
제1 변환기/양자화기(1115)의 출력은 또한 제1 역 변환기/양자화기(1125)의 입력과 신호 통신하여 접속된다. 제1 역 변환기/양자화기(1125)의 출력은 업샘플러(1155)의 입력과 신호 통신하여 접속된다. 업샘플러(1155)의 출력은 제2 덧셈 결합부(1160)의 반전 입력 및 제3 덧셈 결합부(1165)의 제1 비반전 입력과 신호 통신하여 접속된다.
비디오 인코더(1100)로의 입력은 또한 제2 덧셈 결합부(1160)의 비반전 입력과 신호 통신하여 접속된다. 제2 덧셈 결합부(1160)의 출력은 스위치(1162)의 입력과 신호 통신하여 접속된다. 스위치(1162)의 출력은 제2 변환기/양자화기(1170)의 입력과 신호 통신하여 접속된다. 제2 변환기/양자화기(1170)의 출력은 제2 엔트로피 코더(1175)의 입력과 신호 통신하여 접속된다. 제2 엔트로피 코더(1175)의 출력은 확장 계층 비트스트림을 위한 인코더(1100)의 출력으로서 이용가능하다. 제2 변환기/양자화기(1170)의 출력은 또한 제2 역 변환기/양자화기(1180)의 입력과 신호 통신하여 접속된다. 제2 역 변환기/양자화기(1180)의 출력은 제3 덧셈 결합부(1165)의 제2 비반전 입력과 신호 통신하여 접속된다.
비디오 인코더(1100)로의 입력은 또한 움직임 추정기(1185)의 제1 입력과 신호 통신하여 접속된다. 움직임 추정기(1185)의 출력은 움직임 보상기(1190)의 제1 입력과 신호 통신하여 접속된다. 움직임 보상기(1190)의 출력은 제1 덧셈 결합부(1105)의 반전 입력과 신호 통신하여 접속된다. 전해상도 참조 픽처 저장부(1192)의 제1 출력은 움직임 추정기(1185)의 제2 입력과 신호 통신하여 접속된다. 전해상도 참조 픽처 저장부(1192)의 제2 출력은 움직임 보상기(1190)의 제2 입력과 신호 통신하여 접속된다. 전해상도 참조 픽처 저장부(1192)의 입력은 블록분리 필터(1195)의 출력과 신호 통신하여 접속된다. 블록분리 필터(1195)의 입력은 스위치(1191)의 출력과 신호 통신하여 접속된다. 스위치(1191)의 다른 입력은 제3 덧셈 결합부(1165)의 출력과 신호 통신하여 접속된다.
인코더(1100)는 저해상도 비디오 품질보다 오히려 전해상도 비디오 품질을 최적화시키고자 한다. 움직임 추정은 전해상도 비디오 픽처 상에서 수행된다. 입력 픽처로부터 움직임 보상 예측을 뺀 후, 예측 나머지가 다운샘플링된다. RRU 코덱에서와 달리, 다운샘플링은 모든 픽처에 적용되어, 저해상도 디코더가 항상 디코딩할 픽처를 갖는다. 다운샘플링된 나머지는 변환되고 양자화되어, 엔트로피 코딩된다. 이것은 기본 계층 비트스트림을 형성한다. 역 양자화 및 역 변환이 적용된 다음, 코딩된 나머지는 다시 전해상도로 업샘플링된다. 인코더(1100)는, 픽처 또는 슬라이스에 대한 확장 계층 전해상도 에러 신호를 보낼 것인 지의 여부를 선택할 수 있다. 일반적으로, 확장 계층 전해상도 에러 신호는 모든 I 슬라이스에 대해 코딩되고, 전해상도 입력 픽처에서 디코딩 업샘플링된 픽처를 뺄 때 에러 신호의 크기에 기초하여 P 및 B 슬라이스에 대해 선택적으로 보내질 수 있다. 확장 계층 전해상도 에러 신호가 코딩될 경우, 코딩된 기본 계층 업샘플링 코딩된 픽처는 입력된 전해상도 픽처로부터 빼진다. 그 다음, 그 차는 확장 계층 비트스트림을 형성하기 위해 양자화되고 변환되어 엔트로피 코딩된다. 확장 계층 비트스트림은 인트라(intra)-코딩된 슬라이스만을 포함하는 것으로 보일 수 있다.
본 발명의 원리에 따라, 새로운 복잡도 스케일러블 비디오 인코더 및 디코더가 설명된다. 모든 유형의 슬라이스에 대해 RRU를 이용하는, 도 8과 관련하여 도시되고 설명된 종래의 방법과 대조적으로, 본 발명에서는, RRU가 인터(inter)-픽처(P 및 B)를 위해 기본 계층에서 이용되고, 종래의 공간 스케일러빌리티 방법이 인트라-픽처(I)를 위해 이용된다. 그러므로, 인터-픽처의 경우, 기본 계층은 디코더의 복잡도 레벨에 기초하여 저해상도 또는 전해상도 시퀀스로 디코딩될 수 있다. 즉, 움직임 추정/보상 후에 형성된 비디오 나머지를 코딩하기 위해 사용된 비트는 저해상도 디코더 및 전해상도 디코더에서 모두 사용된다. 기본 계층 비트스트림에서 전송된 움직임 벡터는 저해상도 디코더 및 전해상도 디코더에서 모두 사용되지만, 저해상도 디코더에서보다 전해상도 디코더에서 정확도가 더 높다. 또한, 움직임 보상 예측은 저해상도 디코더에서 저해상도로 행해지고, 고해상도 디코더에서 고해상도로 행해진다. 저해상도 프레임 저장부는 저해상도 디코더에서 사용되고, 고해상도 프레임 저장부는 고해상도 디코더에서 사용된다. 확장 계층은 I 픽처가 기본 계층에서 존재할 때만 보내진다.
저해상도 디코더의 디코더 복잡도는, 모든 디코딩 동작(역 양자화/변환, 움직임 보상, 블록분리)이 저해상도에서 수행되기 때문에 낮게 유지된다. 그러나, 기본 계층 비트스트림의 비트율은, 엔트로피 디코더 복잡도에 나쁜 영향을 주는 동시방송 또는 공간 스케일러블 비트스트림에 비해 높아지는 경향이 있다. 확장 계층이 기본 계층에서의 I 픽처에 대해서만 제공되도록 제한되면, 전해상도 디코더의 복잡도는, 비-I 픽처의 경우에 단지 한 층의 디코딩만이 필요하기 때문에 전형적인 공간 스케일러빌리티 디코더보다 낮다.
I 프레임은 H.263에서와 같은 종래의 공간 스케일러블 방법을 이용하여 코딩된다. 기본 계층에서의 I 프레임은 H.264 인트라 코딩 방법을 이용하여 저해상도로 코딩된다. 기본 계층 I 프레임의 확장 계층의 경우에, H.263에서의 방법은 H.264의 새로운 특징과 결합하여 이용된다. 확장 계층 픽처는 업샘플링된 시간적으로 동시의 기본 계층 참조 픽처 및 종래의 기본 계층 전해상도 참조 픽처로부터 예측될 수 있다. 업샘플링은, 하프-샘플 보간(half-sample interpolation)의 목적으로 H.264에서 정의된 6-탭(tap) 보간 필터 {1,-5,20,20,-5,1}/32, 또는 소정의 다른 쌍선형 필터로 수행될 수 있다. 확장 계층 내의 픽처는 그 대응하는 업샘플링된 기본 계층 참조 I 픽처로부터 예측되는 경우에 EI로 지칭되고, 단일 예측으로 이전의 기본 계층 전해상도 참조 픽처 및 업샘플링된 참조 I 픽처로부터 예측되는 경우에 EP로 지칭되며, 쌍예측으로 이전의 기본 계층 전해상도 참조 픽처 및 업샘플링된 참조 I 픽처 모두로부터 예측되는 경우에 EB로 지칭된다. EI 픽처는 H.264 에서 I-슬라이스 구문을 사용하여 코딩된다. 즉, EI는 먼저, 움직임 벡터가 0이라고 가정함으로써 전해상도 픽처 및 그 대응하는 업샘플링된 기본 계층 참조 픽처의 나머지로서 형성된다. 그 다음, 나머지는 I 픽처로서 정확하게 코딩된다. 보다 구체적으로, (업샘플링된) 재구성 기본 계층으로부터의 현재 매크로블록 및 이웃하는 매크로블록 나머지는 128을 더하고 (0, 255)로 클리핑(clipping)함으로써 조정되고, 그 다음에, 예를 들어 AVC(Advanced Video Coding Standard)의 부조항 8.3에서 지정된 바와 같이, 공간 인트라 예측을 위해 사용된다. 그 다음, 128의 감산 및 (-256, 255)로의 클리핑이 수행된다. 그 다음, 계층간 인트라 예측된 나머지는, 재구성된 확장 계층 매크로블록을 형성하기 위해 (업샘플링된) 재구성된 기본 계층 상에 더해진다. EI를 코딩하기 위한 대안적인 방법은, 예를 들어 MPEG-2/MPEG-4/H.263에서와 같이, 어떤 공간 예측도 없이 나머지 픽처를 코딩하는 것이다. 확장 계층 픽처가 코딩된 EP일 때, 업샘플링된 기본 계층 참조 픽처 및 그 이전의 기본 계층 전해상도 참조 픽처는 참조 픽처 리스트 0에 놓인다. EP가 코딩된 후, 업샘플링된 기본 계층 참조 픽처는 참조 픽처 버퍼로부터 제거될 수 있다. EP는 H.264에서 P-슬라이스 구문을 사용하여 코딩된다. 확장 계층 픽처가 코딩된 EB일 때, 업샘플링된 기본 계층 참조 픽처 및 그 이전의 기본 계층 전해상도 참조 픽처는 참조 픽처 리스트 0 및 참조 픽처 리스트 1에 놓인다. 참조 픽처 리스트 1 내의 처음 2개의 픽처의 디폴트 순위는 참조 픽처 리스트 0의 것과 달라야 된다. EB가 코딩된 후, 업샘플링된 기본 계층 참조 픽처는 참조 픽처 버퍼로부터 제거될 수 있다. EB는 H.264에서 B-슬라이스 구문을 사용하여 코딩된다. 다른 방식은 매 크로블록 적응식으로 MB가 EI, EP 및 EB에서 코딩되는 방법을 결합하는 매크로블록식이다. 즉, 매크로블록은 업샘플링된 재구성 기본 계층으로부터 확장 계층 나머지에 대한 공간 인트라 예측을 사용하여 코딩될 수 있거나, 또는 매크로블록은 인트라-MB로서, 또는 참조 픽처로부터의 단일 예측 또는 쌍예측으로서 코딩될 수 있다.
도 12를 참조하면, 본 발명의 원리에 따른 복잡도 스케일러빌리티는 일반적으로 참조번호(1200)로 표시된다. 복잡도 스케일러빌리티(1200)은 기본 계층(1210) 및 확장 계층(1220)을 수반한다. 관련된 픽처 유형은 I 픽처(1230), P 픽처(1240), EI 픽처(1250), EP 픽처(1260) 및 EB 픽처(1270)를 포함한다. 두 계층에서의 P 픽처(1240)는 둘 다 동일한 비트스트림으로부터 디코딩되지만, 상이한 디코딩 기술을 이용한다.
도 13을 참조하면, 전해상도에서 픽처용 비디오 데이터를 디코딩하는 방법은 일반적으로 참조번호(1300)로 표시된다.
시작 블록(1302)은 기능 블록(1305) 및 기능 블록(1310)에 제어를 넘긴다. 기능 블록(1310)은 확장 계층 비트스트림을 추출하고, 기능 블록(1330)에 제어를 넘긴다. 기능 블록(1330)은 확장 계층 픽처를 디코딩하고, 종료 블록(1335)에 제어를 넘긴다.
기능 블록(1305)은 기본 계층 비트스트림을 추출하고, 판정 블록(1315)에 제어를 넘긴다. 판정 블록(1315)은 현재의 픽처가 INTER-RRU (인코딩된) 픽처인 지의 여부를 판정한다. 현재의 픽처가 INTER-RRU 픽처가 아니면, 제어는 기능 블 록(1320)으로 보내진다. 그렇지 않고, 현재의 픽처가 INTER-RRU 픽처이면, 제어는 기능 블록(1340)으로 보내진다.
기능 블록(1320)은 현재의 픽처를 INTRA 디코딩하고, 기능 블록(1325)에 제어를 넘긴다. 기능 블록(1325)은 현재의 픽처를 업샘플링하고, 기능 블록(1330)에 제어를 넘긴다.
기능 블록(1340)은 현재 픽처의 나머지를 업샘플링하고, 기능 블록(1345)에 제어를 넘긴다. 기능 블록(1345)은 현재의 픽처를 전해상도로 INTER 디코딩하고, 종료 블록(1335)에 제어를 넘긴다.
도 13의 방법(1300)은 예를 들어 도 10의 디코더(1000)에 의해 구현될 수 있다. 인터-픽처에 대한 기본 계층 비트스트림 상에서 동작하는 디코더(1000)의 부분은 RRU 디코더이다. 엔트로피 디코딩(1005) 및 역 양자화 및 역 변환(1010) 후, 나머지가 업샘플링된다(1015). 움직임 보상(1035)은 전해상도 예측을 형성하기 위해 전해상도 참조 픽처에 적용되고, 업샘플링된 나머지는 예측에 더해진다(1020). 인트라 픽처의 경우, 기본 계층 디코더는 저해상도에서 동작되는 표준 H.264 디코더이다. 블록분리 필터(1050)는 선택적이다. 블록분리 필터(1050)는 업샘플링 전에 또는 업샘플링 후에 삽입될 수 있다. 업샘플링된 재구성 기본 계층 픽처는 예측을 위해 참조 픽처 버퍼(1030)에 보내진다. 확장 계층 디코더(1040)는 전해상도에서 동작되는 표준 H.264 디코더이다. EI 픽처가 디코더(1300)로 입력되면, 발생된 나머지 픽처는 업샘플링된 참조 픽처 상에 더해지고, 그 다음에 블록분리될 것이다. EP 픽처가 디코더(1300)에 입력되면, 어떤 추가 단계도 필요없다.
일반적으로, EP/EB는 EI보다 더욱 효율적으로 코딩될 수 있다. 그러나, 몇몇 애플리케이션의 경우에, 채널 변경 또는 기타 트릭(trick) 모드와 같이, EI는 빠른 액세스를 위해 사용되어야 한다. 그럼에도 불구하고, I 픽처가 항상 기본 계층에서 이용가능하기 때문에, 확장 계층에서의 EI 픽처의 빈도수는 채널 변경 직후에 전해상도에 약간의 드리프트(drift)를 허용함으로써 감소될 수 있다. 즉, 채널 변경이 발생하고, 확장 계층 픽처가 EP/EB일 때, 업샘플링된 기본 계층 참조 픽처는 다음 픽처의 예측을 위한 참조 픽처로서 사용될 것이다. 드리프트를 제한하기 위해, IDR형 제한은 다음 인터-픽처에 대해 사용될 수 있고, 즉 다음 인터-픽처는 I 픽처 이전의 픽처로부터 예측할 수 없다. 드리프트는 다음 EI 픽처까지 완전히 회복될 것이다.
그러므로, 본 발명의 원리에 따른 복잡도 스케일러블 비디오 인코더 및 디코더는 전해상도에 대한 높은 코딩 효율을 목표로 하고, 저해상도에 대한 제한된 드리프트 전파를 허용한다. 저해상도 및 전해상도 디코더의 디코더 복잡도는, 동시방송을 위해 가능할 수 있는 것과 같은 비-스케일러블 코덱의 복잡도와 매우 유사하다. 저해상도 디코더 복잡도는 비-스케일러블 저해상도 H.264/AVC 디코더의 복잡도와 매우 유사하다. 전해상도 디코더 복잡도는 비-I 픽처를 위한 표준 H.264/AVC 디코더에서 아주 조금 변경되는데, 나머지 업샘플러만이 추가될 뿐이다. 확장 계층은 I-픽처에 대해서만 디코딩되므로, 각 해상도에서 하나씩 2개의 움직임 보상이 수행될 것을 요구하는, 따라서 2개의 프레임 저장부를 필요로 하는 전형적인 공간 스케일러빌리티 디코더와 달리, 움직임 보상은 단일 픽처에 대해 한번만 수행된다.
복잡도 스케일러블 비디오 코덱은 H.264로 포트(port)되어 확장될 수 있다. 새로운 슬라이스 파라미터(reduced_resolution_update)가 추가되고, 이에 따라 현재의 슬라이스는 32x32 사이즈 매크로블록으로 더욱 나누어지고, low_resolution 픽처의 사이즈는 pic_width/2 x pic_height/2이다. 수평으로 또는 수직으로 임의의 비율로 임의의 저해상도를 지원하기 위해, 2개의 추가적 파라미터 low_width_scale 및 low_height_scale가 부가되어, 현재의 슬라이스가 (low_width_scale*16) x (low_height_scale*16) 사이즈의 매크로블록으로 더 나누어질 수 있게 한다. 대응하는 저해상도 사이즈는 (pic_width/low_width_scale x pic_height/low_height_scale)이다. 다른 파라미터 complexity_scalable_enable은 현재의 슬라이스가 2개의 계층으로서 코딩될 것인지 나타내기 위해 추가된다. 현재의 슬라이스가 기본 계층으로서 코딩되면, 파라미터 enhancement_layer_flag는 0으로 설정되고; 그렇지 않으면 1로 설정된다. enhancement_layer_flag가 1로 설정되고, slice_type이 I이면, 확장 계층은 EI로서 코딩된다. enhancement_layer_flag가 1로 설정되고, slice_type이 P이면, 확장 계층은 EP로서 코딩된다. 저해상도의 사이즈는 low_width_scale 및 low_height_scale로 표시된다. 도 14를 참조하면, 슬라이스 헤더 구문을 위한 테이블은 일반적으로 참조번호(1400)로 표시된다. slice_header() 예에 대한 2개의 테이블이 존재한다. 제1 테이블은 임의의 공간 해상도 스케일러빌리티를 위해 사용될 수 있다. 제2 테이블은 공간 스케일러빌리티가 2인 것으로 가정한다. 저해상도 디코더가 확장 계층을 빠르게 바이패스하기 위해, 확장 계층을 위한 새로운 NAL 유닛 유형(유형 13)이 여기에서 도 15에 도시된 바와 같이 제공된다. 도 15를 참조하면, NAL 유닛 유형 코덱을 위한 테이블은 일반적으로 참조번호(1500)로 표시된다.
도 16을 참조하면, 픽처의 비디오 데이터를 저해상도로 디코딩하는 방법은 일반적으로 참조번호(1600)로 표시된다.
시작 블록(1602)은 기능 블록(1605)에 제어를 넘긴다. 기능 블록(1605)은 기본 계층 비트스트림을 추출하고, 판정 블록(1610)에 제어를 넘긴다. 판정 블록(1610)은 현재의 픽처가 INTER-RRU (인코딩된) 픽처인 지의 여부를 판정한다. 현재의 픽처가 INTER-RRU 픽처가 아니면, 제어는 기능 블록(1615)으로 보내진다. 그렇지 않고, 현재의 블록이 INTER-RRU 픽처이면, 제어는 기능 블록(1625)으로 보내진다.
기능 블록(1615)은 현재의 픽처를 INTRA 디코딩하고, 종료 블록(1620)에 제어를 넘긴다.
기능 블록(1625)은 현재 픽처의 움직임 벡터를 다운스케일(downscale)하고, 기능 블록(1630)으로 제어를 넘긴다. 기능 블록(1630)은 현재 픽처를 저해상도로 INTER 디코딩하고, 종료 블록(1620)으로 제어를 넘긴다.
도 17을 참조하면, 비디오 데이터를 인코딩하는 방법은 일반적으로 참조번호(1700)로 표시된다.
시작 블록(1702)은 판정 블록(1704)으로 제어를 넘긴다. 판정 블록(1704)은 기본 계층이 인트라-코딩될 것인 지의 여부를 판정한다. 기본 계층이 인트라-코딩 되지 않으면, 제어는 기능 블록(1706)으로 보내진다. 그렇지 않고, 기본 계층이 인트라-코딩되면, 제어는 기능 블록(1710)으로 보내진다.
기능 블록(1706)은 기본 계층을 전해상도로 RRU 인터-코딩하고, 기능 블록(1708)에 제어를 넘긴다. 기능 블록(1708)은 기본 계층 비트스트림을 출력한다.
기능 블록(1710)은 기본 계층에서의 픽처를 다운샘플링하고, 기능 블록(1720)에 제어를 넘긴다. 기능 블록(1720)은 픽처를 인트라 픽처로서 저해상도로 코딩하고, 제어를 기능 블록(1708) 및 기능 블록(1730)으로 넘긴다.
기능 블록(1730)은 인트라-코딩된 픽처를 업샘플링하고, 제어를 기능 블록(1740)으로 넘긴다. 기능 블록(1740)은 픽처를 전해상도로 코딩하고, 제어를 기능 블록(1750)으로 넘긴다. 기능 블록(1750)은 확장 계층 비트스트림을 출력한다.
이제 본 발명의 많은 부수적인 장점/특징 중의 몇가지가 설명된다. 예를 들어, 한가지 장점/특징은, 기본 계층 비트스트림 및 확장 계층 비트스트림을 포함하는 비디오 비트스트림을 디코딩하는 스케일러블 복잡도 비디오 디코더인데, 이 디코더는 블록분리 동작의 사용없이 전해상도 비디오 시퀀스를 형성하기 위해 기본 계층 비트스트림을 디코딩하는 디코딩 수단을 포함한다. 다른 장점/특징은, 전해상도 비디오 시퀀스를 출력하고 업샘플링 프로세스의 전 또는 후에 블록분리 필터를 사용하는 스케일러블 복잡도 비디오 디코더이다. 또 다른 장점/특징은, 전해상도 비디오 시퀀스를 출력하고, 그 이전의 기본 계층 전해상도 참조 픽처에 더하여 업샘플링된 기본 계층 참조 픽처를 저장하는 참조 픽처 저장부를 갖는 스케일러블 복잡도 비디오 디코더이다. 또 다른 장점/특징은, 인트라 픽처를 위한 계층화 코 딩 기술 및 인터 픽처를 위한 RRU 기술을 이용하는 스케일러블 복잡도 비디오 인코더이다. 게다가, 다른 장점/특징은 인트라 픽처가 기본 계층 및 확장 계층을 갖고, 인터 픽처가 기본 계층만을 갖는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 더구나, 다른 장점/특징은 인트라 픽처의 경우에, 대응하는 확장 계층이 EI, EP 및 EB를 사용하여 코딩될 수 있는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 또한, 다른 장점/특징은 움직임 벡터를 0으로 가정하고 I-슬라이스 구문을 사용하여 코딩함으로써 전해상도 픽처 및 그에 대응하는 업샘플링된 기본 계층 참조 픽처의 나머지로서 EI 픽처가 형성되는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 또 다른 장점/특징은 인트라 픽처를 위한 확장 계층이 EI, EP 및 EB를 사용하여 코딩될 수 있고, 업샘플링된 기본 계층 참조 픽처 및 그 이전의 기본 계층 전해상도 참조 픽처가 단일 예측을 위한 참조 픽처 리스트 0 또는 쌍예측을 위한 참조 리스트 0 및 1에 배치될 수 있는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 더구나, 다른 장점/특징은 인트라 픽처를 위한 확장 계층이 EI, EP 및 EB를 사용하여 코딩될 수 있고, 단일 예측이 사용될 때 확장 계층이 EP로 나타내지고 P-슬라이스 구문을 사용하여 코딩될 수 있는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 게다가, 다른 장점/특징은 인트라 픽처를 위한 확장 계층이 EI, EP 및 EB를 사용하여 코딩될 수 있고, 쌍예측이 사용될 때 확장 계층이 EB로 나타내지고 B-슬라이스 구문을 사용하여 코딩될 수 있는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다. 게다가, 다른 장점/특징은 매크로블록 적응식으로 EI, EP 및 EB에서 MB가 코딩되는 방법을 결합하여, 인트라 픽처를 위한 확장 계층이 매크로블록에 기초하여 코딩될 수 있는 상술된 바와 같은 스케일러블 복잡도 비디오 인코더이다.
본 발명의 이들 및 다른 특징 및 장점은 여기에서의 교시에 기초하여 관련된 분야에 숙련된 기술자에 의해 용이하게 확인될 수 있다. 본 발명의 교시는 하드웨어, 소프트웨어, 펌웨어, 전용 프로세서, 또는 그 조합의 다양한 형태로 구현될 수 있다는 것을 알 수 있을 것이다.
가장 양호하게, 본 발명의 교시는 하드웨어와 소프트웨어의 조합으로서 구현된다. 게다가, 소프트웨어는 프로그램 저장 유닛 상에 실체적으로 구현된 응용 프로그램으로서 양호하게 구현된다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되어 그 기계에 의해 실행될 수 있다. 양호하게, 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM) 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 체계 및 마이크로명령어 코드를 포함할 수 있다. 여기에서 설명된 다양한 프로세스 및 기능은 CPU에 의해 실행될 수 있는 마이크로명령어 코드의 일부 또는 응용 프로그램의 일부, 또는 그것의 임의의 조합일 수 있다. 그 밖에, 다양한 다른 주변 장치는 추가 데이터 저장 유닛 및 프린팅 유닛과 같이 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면에 도시된 구성 시스템 컴포넌트 및 방법이 소프트웨어로 양호하게 구현되기 때문에, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속은 본 발명이 프로그램되는 방식에 따라 다를 수 있다는 것을 또한 알 수 있을 것 이다. 본 명세서의 교시를 통해, 관련된 분야에 숙련된 기술자는 본 발명의 이들 및 유사한 구현 또는 구성을 생각해낼 수 있을 것이다.
예시적인 실시예가 첨부 도면을 참조하여 설명되었지만, 본 발명은 바로 그 실시예들에 제한되지 않고, 본 발명의 범위 또는 정신을 벗어나지 않고서 관련 분야에 숙련된 기술자에 의해 다양한 변경 및 변형이 행해질 수 있다는 것을 알 수 것을 것이다. 그러한 모든 변경 및 변형은 첨부된 청구범위에서 명시된 바와 같은 본 발명의 범위 내에 포함되는 것이다.

Claims (21)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 복수의 픽처의 비디오 신호 데이터를 인코딩하는 공간 스케일러블 비디오 인코더에 있어서,
    인트라(intra) 코딩된 픽처를 형성하기 위해 계층화 코딩 기술을 이용하여 인트라 코딩을 수행하는 인트라 코딩 수단(1120, 1175); 및
    인터(inter) 코딩된 픽처를 형성하기 위해 감소된 해상도 갱신(RRU;Reduced-Resolution Update) 기술을 이용하여 인터 코딩을 수행하는 인터 코딩 수단(1120)
    을 포함하고,
    상기 인터 코딩 수단은,
    다운샘플링된(downsampled) 저해상도 예측 나머지를 형성하기 위해 예측 나머지를 다운샘플링하는 다운샘플러; 및
    상기 다운샘플러와 신호 통신하고, 상기 다운샘플링된 저해상도 예측 나머지를 코딩하는 변환기/양자화기
    를 포함하는 공간 스케일러블 비디오 인코더.
  5. 제4항에 있어서, 상기 인트라 코딩된 픽처는 기본 계층과 확장 계층 둘 다를 갖도록 코딩되고, 상기 인터 코딩된 픽처는 기본 계층만을 갖도록 코딩되는 공간 스케일러블 비디오 인코더.
  6. 제4항에 있어서, 인트라 코딩된 기본 계층 픽처의 경우에, 그 확장 계층은,
    확장 계층 내의 확장 계층 코딩된 픽처(1250)가, 대응하는 업샘플링된 기본 계층 참조 픽처로부터 예측되거나,
    확장 계층 코딩된 픽처(1260)가, 단일 예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되거나,
    확장 계층 코딩된 픽처(1270)가, 쌍예측(bi-prediction)으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측
    되도록 코딩되는 공간 스케일러블 비디오 인코더.
  7. 제6항에 있어서, 상기 대응하는 업샘플링된 기본 계층 참조 픽처로부터 예측된 확장 계층 코딩된 픽처(1250)는, 대응하는 움직임 벡터를 0으로 간주함으로써 현재의 오리지널 전해상도 픽처 및 대응하는 업샘플링된 기본 계층 참조 픽처의 나머지로서 형성되고, I-슬라이스(slice) 구문을 사용하여 코딩되는 공간 스케일러블 비디오 인코더.
  8. 제6항에 있어서, 단일 예측을 위한 참조 픽처 리스트 0 내에 또는 쌍예측을 위한 참조 픽처 리스트 1 내에 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처를 배치하는 수단을 더 포함하는 공간 스케일러블 비디오 인코더.
  9. 제6항에 있어서, 상기 확장 계층 코딩된 픽처(1260)는, P-슬라이스 구문을 사용하는 단일 예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되는 공간 스케일러블 비디오 인코더.
  10. 제6항에 있어서, 상기 확장 계층 코딩된 픽처(1270)는 B-슬라이스 구문을 사용하는 쌍예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되는 공간 스케일러블 비디오 인코더.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 다수의 픽처의 비디오 신호 데이터를 인코딩하는 공간 스케일러블 방법에 있어서,
    인트라 코딩된 픽처를 형성하기 위해 계층화 코딩 기술을 이용하여 인트라 코딩을 수행하는 단계(1710, 1720, 1730, 1740); 및
    인터 코딩된 픽처를 형성하기 위해 RRU 기술을 이용하여 인터 코딩을 수행하는 단계(1706)
    를 포함하고,
    상기 인터 코딩 단계는,
    다운샘플링된 저해상도 예측 나머지를 형성하기 위해 예측 나머지를 다운샘플링하는 단계; 및
    상기 다운샘플링된 저해상도 예측 나머지를 코딩하는 단계
    를 포함하는 공간 스케일러블 방법.
  15. 제14항에 있어서, 상기 인트라 코딩된 픽처는 기본 계층과 확장 계층 둘 다 갖도록 코딩되고(1704, 1708, 1750), 상기 인터 코딩된 픽처는 기본 계층만을 갖도록 코딩되는(1704, 1706, 1708) 공간 스케일러블 방법.
  16. 제14항에 있어서, 인트라 코딩된 기본 계층 픽처의 경우에, 그 확장 계층은,
    확장 계층 내의 확장 계층 코딩된 픽처(1250)가, 대응하는 업샘플링된 기본 계층 참조 픽처로부터 예측되거나(1740),
    확장 계층 코딩된 픽처(1260)가, 단일 예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되거나(1740),
    확장 계층 코딩된 픽처(1270)가, 쌍예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측(1740)
    되도록 코딩되는 공간 스케일러블 방법.
  17. 제16항에 있어서, 상기 대응하는 업샘플링된 기본 계층 참조 픽처로부터 예측된 확장 계층 코딩된 픽처(1250)는, 대응하는 움직임 벡터를 0으로 간주함으로써 현재의 오리지널 전해상도 픽처 및 대응하는 업샘플링된 기본 계층 참조 픽처의 나머지로서 형성되고, I-슬라이스 구문을 사용하여 코딩되는(1740) 공간 스케일러블 방법.
  18. 제16항에 있어서, 단일 예측을 위한 참조 픽처 리스트 0 내에 또는 쌍예측을 위한 참조 픽처 리스트 1 내에 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처를 배치하는 단계를 더 포함하는 공간 스케일러블 방법.
  19. 제16항에 있어서, 상기 확장 계층 코딩된 픽처(1260)는, P-슬라이스 구문을 사용하는 단일 예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되는(1740) 공간 스케일러블 방법.
  20. 제16항에 있어서, 상기 확장 계층 코딩된 픽처(1270)는, B-슬라이스 구문을 사용하는 쌍예측으로 상기 업샘플링된 기본 계층 참조 픽처 및 상기 이전의 기본 계층 전해상도 참조 픽처 둘 다로부터 예측되는(1740) 공간 스케일러블 방법.
  21. 삭제
KR1020077008369A 2004-10-13 2005-10-12 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치 KR101277355B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61825404P 2004-10-13 2004-10-13
US60/618,254 2004-10-13
PCT/US2005/036511 WO2006044370A1 (en) 2004-10-13 2005-10-12 Method and apparatus for complexity scalable video encoding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020137006801A Division KR101407748B1 (ko) 2004-10-13 2005-10-12 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070063539A KR20070063539A (ko) 2007-06-19
KR101277355B1 true KR101277355B1 (ko) 2013-06-20

Family

ID=35709073

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077008369A KR101277355B1 (ko) 2004-10-13 2005-10-12 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치
KR1020137006801A KR101407748B1 (ko) 2004-10-13 2005-10-12 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137006801A KR101407748B1 (ko) 2004-10-13 2005-10-12 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8467459B2 (ko)
EP (1) EP1800494A1 (ko)
JP (2) JP2008516556A (ko)
KR (2) KR101277355B1 (ko)
CN (1) CN101040533B (ko)
WO (1) WO2006044370A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580461B2 (en) 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN101317460A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于有效的可伸缩流适配的系统和方法
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8345755B2 (en) * 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US8937997B2 (en) 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
EP2014097A4 (en) * 2006-05-03 2010-07-14 Ericsson Telefon Ab L M METHOD AND DEVICE FOR RECOVERING MEDIA FROM A MEDIA PRESENTATION
US9332274B2 (en) 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
EP2060123A4 (en) 2006-09-07 2016-05-04 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / ENCODING A VIDEO SIGNAL
AP2545A (en) * 2006-10-20 2012-12-20 Nokia Corp Virtual decoded reference picture marking and reference picture list
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
EP2092748A4 (en) * 2006-12-14 2011-01-05 Thomson Licensing METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY
KR101465813B1 (ko) * 2006-12-20 2014-11-27 톰슨 리서치 펀딩 코포레이션 Ｉｐｔｖ 시스템에서 로우 비트 레이트 스트림을 이용하는 비디오 데이터 손실 복원
KR20080098328A (ko) * 2007-05-04 2008-11-07 한국전자통신연구원 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8750390B2 (en) 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8260952B2 (en) * 2008-01-31 2012-09-04 Microsoft Corporation Multi-rate peer-assisted data streaming
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
WO2009114557A1 (en) * 2008-03-10 2009-09-17 Vidyo, Inc. System and method for recovering the decoding order of layered media in packet-based communication
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2010036772A2 (en) 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
EP2356812B1 (en) * 2008-11-12 2015-06-10 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
WO2010126227A2 (en) * 2009-04-27 2010-11-04 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN102474620A (zh) 2009-07-10 2012-05-23 三星电子株式会社 在分层视频编码中的空间预测方法和设备
EP2571273A4 (en) * 2010-05-14 2013-12-11 Samsung Electronics Co Ltd METHOD FOR ENCRYPTING AND DECOMPOSING VIDEO CONTENT AND DEVICE FOR ENCRYPTION AND DECOMPOSITION OF VIDEO CONTENT USING ADVANCED BLOCK FILTERING
US8548062B2 (en) * 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
KR101826353B1 (ko) 2010-07-20 2018-02-09 에스케이텔레콤 주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
CN105227958B (zh) * 2010-07-20 2019-06-25 Sk电信有限公司 用于解码视频信号的解码装置
EP2479994B1 (en) * 2011-01-19 2017-03-15 BlackBerry Limited Method and device for improved multi-layer data compression
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
US20120300838A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Low resolution intra prediction
CN108391135B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
CN107295341B (zh) 2011-07-22 2020-02-28 Sk电信有限公司 视频编码方法
JP5813236B2 (ja) * 2011-09-16 2015-11-17 ドルビー ラボラトリーズ ライセンシング コーポレイション フレーム互換なフル解像度立体視３ｄ圧縮および復元
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
KR101718954B1 (ko) * 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US9014263B2 (en) * 2011-12-17 2015-04-21 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
CN104247423B (zh) * 2012-03-21 2018-08-07 联发科技（新加坡）私人有限公司 可伸缩视频编码系统的帧内模式编码方法和装置
WO2013162450A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
WO2013189257A1 (en) 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
CN102833542B (zh) * 2012-08-09 2015-12-02 芯原微电子(北京)有限公司 一种提高可伸缩视频编码质量增强层编码速度装置和方法
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
WO2014038905A2 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
TW201424397A (zh) * 2012-09-28 2014-06-16 Samsung Electronics Co Ltd 可調式視訊解碼、編碼方法及其裝置與非暫時性電腦可讀記錄體
EP3661215A1 (en) 2012-09-28 2020-06-03 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
CN103916673B (zh) * 2013-01-06 2017-12-22 华为技术有限公司 基于双向预测的编码方法、解码方法和装置
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
MX344186B (es) * 2013-04-12 2016-12-08 Ericsson Telefon Ab L M Construccion de listas de imagenes de referencia entre capas.
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
WO2015016535A1 (ko) * 2013-07-30 2015-02-05 주식회사 케이티 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105453564B (zh) 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
US9706221B2 (en) * 2013-10-29 2017-07-11 Vixs Systems Inc. Motion search with scaled and unscaled pictures
JP6435741B2 (ja) 2014-09-22 2018-12-12 トヨタ自動車株式会社 バンプストッパキャップ
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
WO2016168529A1 (en) 2015-04-17 2016-10-20 Vid Scale, Inc. Chroma enhancement filtering for high dynamic range video coding
US10257524B2 (en) * 2015-07-01 2019-04-09 Mediatek Inc. Residual up-sampling apparatus for performing transform block up-sampling and residual down-sampling apparatus for performing transform block down-sampling
US10123044B2 (en) * 2015-07-16 2018-11-06 Mediatek Inc. Partial decoding circuit of video encoder/decoder for dealing with inverse second transform and partial encoding circuit of video encoder for dealing with second transform
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
US20230055497A1 (en) * 2020-01-06 2023-02-23 Hyundai Motor Company Image encoding and decoding based on reference picture having different resolution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050096790A (ko) * 2004-03-31 2005-10-06 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
WO2005099276A2 (en) * 2004-04-02 2005-10-20 Thomson Licensing Complexity scalable video encoding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06101841B2 (ja) * 1984-01-11 1994-12-12 日本電気株式会社 動画像信号の符号化方法およびその装置
US6301304B1 (en) * 1998-06-17 2001-10-09 Lsi Logic Corporation Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US6631163B1 (en) 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
US20020191698A1 (en) * 2001-06-15 2002-12-19 Solidstreaming, Inc. Video data CODEC system with low computational complexity
US6704362B2 (en) 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
EP2051525A1 (en) * 2007-10-15 2009-04-22 Mitsubishi Electric Information Technology Centre Europe B.V. Bandwidth and content dependent transmission of scalable video layers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050096790A (ko) * 2004-03-31 2005-10-06 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
WO2005099276A2 (en) * 2004-04-02 2005-10-20 Thomson Licensing Complexity scalable video encoding

Also Published As

Publication number Publication date
US8467459B2 (en) 2013-06-18
KR101407748B1 (ko) 2014-06-17
EP1800494A1 (en) 2007-06-27
US20070286283A1 (en) 2007-12-13
CN101040533B (zh) 2010-10-06
JP2008516556A (ja) 2008-05-15
KR20130036777A (ko) 2013-04-12
JP5823430B2 (ja) 2015-11-25
KR20070063539A (ko) 2007-06-19
WO2006044370A1 (en) 2006-04-27
JP2013146092A (ja) 2013-07-25
CN101040533A (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
KR101277355B1 (ko) 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법및 장치
US8213508B2 (en) Complexity scalable video encoding
KR101292676B1 (ko) 공간적 스케일링 가능한 비디오 인코딩 및 디코딩을 위한슬라이스 적응형 움직임 벡터 코딩을 위한 방법 및 장치
US20090010333A1 (en) Method and Apparatus for Constrained Prediction for Reduced Resolution Update Mode and Complexity Scalability in Video Encoders and Decoders
US8867618B2 (en) Method and apparatus for weighted prediction for scalable video coding
US20070189392A1 (en) Reduced resolution update mode for advanced video coding
WO2004114671A2 (en) Method and apparatus for low-complexity spatial scalable decoding
KR20150054751A (ko) 영상 복호화 방법 및 이를 이용하는 장치
US20060193384A1 (en) Method and apparatus for low-complexity spatial scalable decoding

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 6