KR20080093425A - 비디오 신호의 디코딩/인코딩 방법 및 장치 - Google Patents

비디오 신호의 디코딩/인코딩 방법 및 장치 Download PDF

Info

Publication number
KR20080093425A
KR20080093425A KR1020087017971A KR20087017971A KR20080093425A KR 20080093425 A KR20080093425 A KR 20080093425A KR 1020087017971 A KR1020087017971 A KR 1020087017971A KR 20087017971 A KR20087017971 A KR 20087017971A KR 20080093425 A KR20080093425 A KR 20080093425A
Authority
KR
South Korea
Prior art keywords
information
layer
prediction
inter
flag
Prior art date
Application number
KR1020087017971A
Other languages
English (en)
Other versions
KR100896290B1 (ko
Inventor
전병문
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080093425A publication Critical patent/KR20080093425A/ko
Application granted granted Critical
Publication of KR100896290B1 publication Critical patent/KR100896290B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 제 1 레이어의 비트스트림을 디코딩하는 단계, 제 2 레이어의 현재 블록에 대하여 레이어 간 예측이 수행되는지 여부를 나타내는 플래그 정보를 획득하는 단계, 상기 플래그 정보에 기초하여 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보들을 획득하는 단계 및 상기 오프셋 정보들을 이용하여 상기 제 1 레이어를 업샘플링하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.

Description

비디오 신호의 디코딩/인코딩 방법 및 장치{METHOD AND APPARATUS FOR DECODING/ENCODING A VIDEO SIGNAL}
본 발명은, 비디오 신호의 코딩에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
그 중, 스케일러블 비디오 코딩된 비트스트림은 그 일부분만 선택적으로 디코딩될 수 있다. 예를 들어, 낮은 복잡도의 디코더는 기본적인 레이어를 디코딩할 수 있고, 낮은 전송율의 비트스트림은 제한된 용량을 가지는 네트워크를 통한 전송을 위해 추출될 수 있다. 보다 점차적으로 높은 해상도의 이미지를 생성할 수 있게 하기 위해서 영상의 화질을 단계별로 증가시킬 필요가 있다.
기술적 과제
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
기술적 해결방법
본 발명은 비디오 신호를 코딩할 때 코딩 효율을 향상시키기 위한 방법을 제공하고자 한다.
또한, 본 발명은 참조 레이어에 대응되는 영역이 없는 경우에 레이어 간 예측과 관련된 정보의 전송을 최소로 하는 방법을 제공하고자 한다.
또한, 본 발명은 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 확인함으로써 레이어 간 예측에 관련된 정보의 전송을 최소로 하는 방법을 제공하고자 한다.
또한, 본 발명은 레이어 간 예측이 수행되는지 여부를 나타내는 정보를 확인함으로써 레이어 간 예측에 관련된 정보의 전송을 최소로 하는 방법을 제공하고자 한다.
또한, 본 발명은 퀄러티 식별 정보를 확인함으로써 레이어 간 예측에 관련된 정보의 전송을 최소로 하는 방법을 제공하고자 한다.
또한, 본 발명은 슬라이스 경계에 대한 취급을 나타내는 정보를 정의함으로써 비디오 신호의 코딩 효율을 높일 수 방법을 제공하고자 한다.
또한, 본 발명은 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 적절한 위치에서 확인함으로써 비디오 신호의 코딩 효율을 높일 수 있는 방법을 제공하고자 한다.
유리한 효과
본 발명은 인핸스드 레이어의 현재 블록이 레이어 간 예측을 이용할 수 있는지를 확인함으로써, 상기 인핸스드 레이어의 현재 블록이 레이어간 예측에 이용되지 않는 경우에는 레이어간 예측에 이용되는 코딩 정보를 전송할 필요가 없게 되므로 코딩 효율을 높일 수 있다. 또한, 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 적절한 위치에서 확인함으로써 레이어 간 예측에 관련된 정보의 전송을 최소화할 수 있다. 예를 들어, 레이어 간 예측이 수행되는지 여부를 나타내는 정보 및/또는 퀄러티 식별 정보를 확인함으로써 레이어 간 예측에 관련된 정보의 전송을 최소로 할 수 있다. 또한, 본 발명은 슬라이스 경계에 대한 취급을 나타내는 정보를 정의함으로써 패러렐 프로세싱(parallel processing)이 가능할 수 있다. 이러한 다양한 방법들을 이용하여 비디오 신호의 코딩 효율을 현저하게 향상시킬 수 있다.
도 1은 본 발명이 적용되는 스케일러블 비디오 코딩 시스템의 개략적인 블럭도를 나타낸다.
도 2 및 도 3은 본 발명이 적용되는 실시예로서, 스케일러블 비디오 코딩된 비트스트림에 추가될 수 있는 스케일러블 영상에 대한 속성 정보 및 이를 설명하기 위한 픽쳐들의 구조를 나타낸다.
도 4는 본 발명이 적용되는 실시예로서, 샘플된 베이스 레이어와 인핸스드 레이어와의 크로핑(cropping) 관계를 나타낸 것이다.
도 5 및 도 6은 본 발명이 적용되는 실시예들로서, 레이어 간 예측을 통한 매크로블록 예측 및 서브 매크로블록 예측과 관련된 신택스들을 나타낸 것이다.
도 7은 본 발명이 적용되는 실시예로서, 레이어 간 예측을 통한 레지듀얼 예 측과 관련된 신택스를 나타낸 것이다.
도 8은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라 디블록킹 필터링을 수행하기 위한 신택스 구조를 나타낸다.
도 9는 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보를 획득하기 위한 신택스 구조를 나타낸다.
도 10은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 참조 레이어에 있는 인트라 블록의 사용 제한 여부를 나타내는 플래그 정보를 획득하기 위한 신택스 구조를 나타낸다.
도 11은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 적응적인 예측 정보를 획득하기 위한 신택스 구조를 나타낸다.
발명의 실시를 위한 최선의 형태
상기 목적을 달성하기 위하여 본 발명은, 제 1 레이어의 비트스트림을 디코딩하는 단계, 제 2 레이어의 현재 블록에 대하여 레이어 간 예측이 수행되는지 여부를 나타내는 플래그 정보를 획득하는 단계, 상기 플래그 정보에 기초하여 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보들을 획득하는 단계 및 상기 오프셋 정보들을 이용하여 상기 제 1 레이어를 업샘플링하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명은, 업샘플링 과정을 위한 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보를 획득하는 단계를 더 포함하고, 오프셋 정보들은, 상기 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보에 기초하여 획득되는 것을 특징으로 한다.
또한, 본 발명은, 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보에 기초하여 색차 신호의 위상 변화에 대한 정보를 획득하는 단계를 더 포함하고, 상기 색차 신호의 위상 변화에 대한 정보를 이용하여 상기 제 1 레이어를 업샘플링하는 것을 특징으로 한다.
또한, 본 발명은, 색차 신호의 위상 변화에 대한 정보는 수평 방향에 대한 정보와 수직 방향에 대한 정보를 모두 포함하는 것을 특징으로 한다.
또한, 본 발명은, 색차 신호의 위상 변화에 대한 정보는 영상 포맷을 나타내는 정보에 기초하여 획득되는 것을 특징으로 한다.
또한, 본 발명은, 제 2 레이어의 현재 블록에 대한 퀄러티를 식별해주는 정보를 획득하는 단계를 더 포함하고, 오프셋 정보는 상기 퀄러티 식별 정보에 기초하여 획득되는 것을 특징으로 한다.
발명의 실시를 위한 형태
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 스케일러블한 중복성을 고려하는 압축 코딩에 대한 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 공간적 중복성, 시점간 중복성 등에도 적용될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 타입을 나타내는 정보(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR(Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS(Sequence Parameter Set, 시퀀스 파라미터 세트), PPS(Picture Parameter Set, 픽쳐 파라미터 세트), SEI(Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
따라서, 상기 NAL 단위의 타입을 나타내는 정보(nal_unit_type)가 스케일러블 비디오 코딩된 슬라이스임을 나타내는 경우, 상기 스케일러블 코딩에 관한 여러 가지 속성 정보들을 추가함으로써 코딩 효율을 높일 수 있다. 예를 들어, 현재 액세스 유닛이 순간 복호 리프레쉬(Instantaneous Decoding Refresh, 이하 IDR이라 함.) 액세스 유닛인지를 나타내는 플래그 정보, 공간적 스케일러빌러티를 나타내는 식별 정보(dependency identification information), 퀄러티 식별 정보(quality identification information), 레이어간 예측이 사용되는지 여부를 나타내는 플래그 정보(no_inter_layer_pred_flag), 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보, 시간적 스케일러빌러티를 나타내는 식별 정보, 우선 순위(priority) 식별 정보 등을 추가할 수 있다. 이는 도 2에서 상세히 설명하도록 한다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 스케일러블 영상을 다루기 위해서는 입력되는 비트스트림이 스케일 러블 영상에 관한 프로파일인지 여부를 식별하고, 스케일러블 영상에 관한 프로파일로 식별되면 스케일러블 영상에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 스케일러블 영상에 관한 프로파일이란, H.264/AVC의 추가 기술로서 스케일러블 비디오(scalable video)를 다루는 프로파일 모드(profile mode)를 나타낸다. SVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 SVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 스케일러블 영상에 관한 프로파일을 나타낼 때 스케일러블 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
이하에서는 비디오 신호의 효율적인 디코딩 방법을 제공하기 위한 다양한 실시예들을 설명하도록 한다.
도 1은 본 발명이 적용되는 스케일러블 비디오 코딩 시스템의 개략적인 블럭도를 나타낸다.
다양한 통신환경과 다양한 단말기에 최적화된 영상을 제공하기 위해서는 단말기에 제공되는 영상 또한 다양하게 준비되어야만 한다. 단말기마다 그에 최적화된 영상을 제공한다는 것은 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 부담으로 작용할 수 밖에 없다. 이러한 이유로, 컨텐츠 제공자는 원영상을 고속 비트레이트의 압축 영상 데이터로 인코딩해 두고, 단말기로부터 영상요청이 수신되는 경우 원영상을 디코딩한 다음, 단말기의 영상처리 능력에 맞는 영상 데이터로 다시 인코딩하여 제공할 수 있다. 그러나 이와 같은 트랜스코딩(transcoding)의 경우 인코딩-디코딩-인코딩 과정이 수반되므로, 영상 제공에 있어서 시간 지연이 발생할 수 밖에 없고, 이에 따라 복잡한 하드웨어의 디바이스와 알고리즘이 추가로 요구된다.
반면, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 방식은 비디오 신호를 인코딩함에 있어, 최고 화질로 인코딩하되, 그 결과 생성된 픽쳐 시퀀스의 부분 시퀀스만을 디코딩해 사용해도 영상 표현이 가능하도록 하는 방식이다. 여기서, 부분 시퀀스라 함은 시퀀스 전체에서 간헐적으로 선택된 프레임들로 이루어진 시퀀스를 의미할 수 있다. SVC로 인코딩된 픽쳐 시퀀스는 낮은 비트레이트에 대해 공간적 스케일러빌리티(spatial scalability)를 이용하여 영상의 사이즈를 줄일 수도 있다. 또한, 퀄러티 스케일러빌리티를 이용하여 영상의 화질을 낮출 수도 있다. 이때 소화면 및/또는 초당 프레임수 등이 낮은 픽쳐 시퀀스를 베이스 레이어라 하고 상대적으로 대화면 및/또는 초당 프레임수은 시퀀스를 인핸스드 또는 인핸스먼트 레이어라 할 수 있다.
그런데, 앞서 언급한 바와 같은 스케일러블 방식으로 인코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽쳐 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽쳐 시퀀스를 제공할 수도 있다. 이러한 보조 시퀀스를 베이스 레이어(base layer)라 하고, 주 픽처 시퀀스를 인핸스드(enhanced) 또는 인핸스먼트(enhancement) 레이어라 할 수 있다.
본 명세서에서는 레이어 간 예측을 위한 다양한 실시예를 설명함에 있어서, 제 1 레이어와 제 2 레이어의 개념이 적용될 것이다. 예를 들어, 상기 제 2 레이어는, 상기 제 1 레이어와 다른 공간 해상도 또는 다른 화면 비율을 가질 수 있다. 또는 상기 제 2 레이어는, 상기 제 1 레이어와 다른 화질을 가질 수 있다. 구체적 예로, 상기 제 1 레이어는 베이스 레이어일 수 있고, 상기 제 2 레이어는 인핸스드 레이어일 수 있다. 또는 레이어간 예측을 수행함에 있어서, 상기 제 1 레이어는 참조 레이어일 수 있고, 상기 제 2 레이어는 현재 레이어일 수 있다. 따라서, 이하에서는 설명하는 베이스 레이어와 인핸스드 레이어는 일실시예에 불과할 뿐이므로, 이에 한정하여 해석되어서는 안될 것이다.
이하에서는 스케일러블 비디오 코딩 시스템에 대해 보다 구체적으로 알아보도록 한다. 상기 스케일러블 비디오 코딩 시스템은 인코딩 장치(102)와 디코딩 장치(110)를 포함한다. 상기 인코딩 장치(102)는 베이스 레이어 인코딩부(104), 인핸스드 레이어 인코딩부(106) 및 멀티플렉싱부(108)를 포함하고, 디코딩 장치(110)는 디멀티플렉싱부(112), 베이스 레이어 디코딩부(114) 및 인핸스드 레이어 디코딩부(116)를 포함할 수 있다. 베이스 레이어 인코딩부(104)는 입력된 영상신호 X(n)을 압축하여 베이스 비트스트림을 생성할 수 있다. 인핸스드 레이어 인코딩부(106)는 입력 영상신호 X(n)과 베이스 레이어 인코딩부(104)에 의해 생성되는 정보를 이용하여 인핸스드 레이어 비트스트림을 생성할 수 있다. 멀티플렉싱부(108)는 상기 베이스 레이어 비트스트림과 상기 인핸스드 레이어 비트스트림을 이용하여 스케일러 블 비트스트림을 생성할 수 있다.
이렇게 생성된 스케일러블 비트스트림은 소정 채널을 통해 디코딩 장치(110)로 전송되고, 전송된 스케일러블 비트스트림은 디코딩 장치(110)의 디멀티플렉싱부(112)에 의해 인핸스드 레이어 비트스트림과 베이스 레이어 비트스트림으로 구분될 수 있다. 베이스 레이어 디코딩부(114)는 베이스 레이어 비트스트림을 수신하여 인트라 매크로블록의 영상 신호와 인터 블록의 레지듀얼 및 움직임 정보를 복호한다. 이 때, 싱글 루프 디코딩(single loop decoding) 방식에 기초하여 복호할 수 있다.
인핸스드 레이어 디코딩부(116)는 인핸스드 레이어 비트스트림을 수신하고, 베이스 레이어 디코딩부(114)에서 복원된 신호를 참조하여 출력 영상신호 Xe(n)를 복호한다. 여기서, 출력 영상신호 Xb(n)은 출력 영상신호 Xe(n)에 비하여 화질이 낮거나 해상도가 낮은 영상신호가 될 것이다.
상기 인핸스드 레이어 디코딩부(116)는 제 1 헤더 정보 획득부, 제 2 헤더 정보 획득부, 디블록킹 필터부 및 업샘플링부를 포함할 수 있다. 제 1 헤더 정보 획득부에서는 NAL의 헤더로부터 비트스트림의 속성 정보를 획득할 수 있다. 예를 들어, 퀄러티 식별 정보, 레이어 간 예측이 이용되는지 여부를 나타내는 정보 등을 획득할 수 있다. 제 2 헤더 정보 획득부에서는 슬라이스 헤더로부터 비트스트림의 속성 정보를 획득할 수 있다. 예를 들어, 업샘플링 과정에 있어서 슬라이스 경계에 대한 취급을 나타내는 정보, 디블록킹 필터의 동작에 관련된 정보, 색차 신호의 위상 변화에 대한 정보, 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보 및 적응적인 예측 수행 여부를 나타내는 정보 등을 획득할 수 있다. 디블록킹 필터부에서는 디블록킹 필터의 동작에 관련된 정보를 이용하여 디블록킹 필터링을 수행할 수 있다. 업샘플링부에서는 레이어 간 예측을 위해 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보들을 이용하여 제 1 레이어를 업샘플링할 수 있다. 이렇게 업샘플된 제 1 레이어의 정보들을 이용하여 레이어 간 예측을 수행할 수 있다.
이처럼, 상기 인핸스드 레이어 인코딩부(106)와 상기 인핸스드 레이어 디코딩부(116)에서는 레이어 간 예측 방법을 이용하여 코딩을 수행하게 된다. 레이어 간 예측(interlayer prediction)이란, 베이스 레이어의 모션(motion) 정보 및/또는 텍스쳐(texture) 정보를 이용하여 인핸스드 레이어의 영상 신호를 예측하는 것을 의미할 수 있다. 여기서, 텍스쳐 정보란 이미지 데이터 혹은 매크로블록에 속한 픽셀 값을 의미할 수 있다. 베이스 레이어의 텍스쳐 정보를 이용하는 레이어 간 예측 방법에는, 예를 들어, 인트라 베이스 예측(intra base prediction) 모드와 레지듀얼 예측(residual prediction) 모드가 있다. 인트라 베이스 예측 모드란, 베이스 레이어의 대응되는 영역을 기초로 하여 인핸스드 레이어의 블록을 예측하는 모드를 의미할 수 있다. 이 때, 상기 베이스 레이어의 대응되는 영역은 인트라 모드(intra mode)로 코딩된 영역을 의미할 수 있다. 반면, 레지듀얼 예측 모드는 이미지 차이값인 레지듀얼 데이터를 갖도록 코딩된, 베이스 레이어의 대응 영역을 이용할 수 있다. 이 때, 상기 베이스 레이어의 대응 영역은 샘플링(sampling)을 통해 확대 또는 축소되어 사용될 수 있다. 샘플링(sampling)이란, 이미지 해상도(image resolution)를 변화시키는 것을 의미할 수 있다. 상기 샘플링은 리샘플링(resampling), 다운샘플링(downsampling), 업샘플링(upsampling) 등을 포함할 수 있다. 예를 들어, 레이어 간 예측을 수행하기 위해 인트라 샘플들을 리샘플링할 수 있다. 또는 다운샘플링 필터를 이용하여 픽셀 데이터를 재생성함으로써 이미지 해상도를 줄일 수 있는데, 이를 다운샘플링(downsampling)이라 할수 있다. 또는, 업샘플링 필터를 사용하여 몇 개의 추가적인 픽셀 데이터를 만들어 냄으로써 이미지 해상도를 크게 할 수 있는데, 이를 업샘플링(upsampling)이라 할 수 있다. 상기 리샘플링은 다운샘플링과 업샘플링의 개념을 포함할 수 있다. 본 명세서에서 샘플링이란 용어는 실시예의 기술적 사상 및 기술적 범위에 따라 적절하게 해석할 수 있을 것이다.
한편, 동일한 영상 콘텐츠에 대해서 서로 다른 용도 또는 목적으로 베이스 레이어와 인핸스드 레이어가 생성되어, 공간적 해상도, 프레임 레이트, 비트 레이트 등이 서로 다를 수 있다. 레이어 간 예측 방법에 따라 영상 신호를 코딩할 때 인핸스드 레이어와 베이스 레이어의 공간적 해상도의 비가 2의 정수가 아닌 경우(non-dyadic case)를 확장된 공간적 스케일러빌러티(ESS : Extended Spatial Scalability)라 할 수 있다. 예를 들어, 가로:세로 16:9 비율의 영상 신호에 대해서 레이어 간 예측 방법에 따라 인핸스드 레이어를 코딩 할 때, 4:3 비율의 화면으로 코딩된 베이스 레이어를 이용해야 하는 경우가 발생할 수 있다. 이 경우, 베이스 레이어는 원래 영상 신호의 일부가 잘린(cropping) 상태로 코딩되었기 때문에, 레이어 간 예측을 위해 확대되더라도 인핸스드 레이어의 일부 영역은 커버할 수 없게 된다. 따라서, 인핸스드 레이어의 일부 영역은 업샘플링되는 베이스 레이어에서 대응되는 영역이 없기 때문에 베이스 레이어를 이용하지 못할 수 있다. 즉, 상기 일부 영역에 대해서는 레이어 간 예측 방법이 적용될 수 없음을 의미한다. 이러한 경우, 레이어 간 예측에 이용되는 코딩 정보들을 전송하지 않을 수 있다. 이에 대한 구체적인 실시예들을 도 5 내지 도 11에서 상세하게 설명하도록 한다.
도 2 및 도 3은 본 발명이 적용되는 실시예로서, 스케일러블 비디오 코딩된 비트스트림에 추가될 수 있는 스케일러블 영상에 대한 속성 정보 및 이를 설명하기 위한 픽쳐들의 구조를 나타낸다.
상기 도 2에서는 스케일러블 영상에 대한 속성 정보들이 추가될 수 있는 NAL 단위의 구성의 일례를 나타낸다. 크게 NAL 단위는 NAL 단위의 헤더와 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)로 구성될 수 있다. 그리고, NAL 단위의 헤더에서는 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보(nal_ref_idc)와 NAL 단위의 타입을 나타내는 정보(nal_unit_type)를 포함할 수 있다. 또한, 제한적으로 상기 NAL 단위 헤더의 확장 영역도 포함할 수 있다. 예를 들어, 상기 NAL 유닛의 타입을 나타내는 정보가 스케일러블 비디오 코딩과 관련이 있는 경우 또는 prefix NAL 유닛을 나타내는 경우에, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역을 포함할 수 있다. 구체적 예로, 상기 nal_unit_type = 20 또는 14일때 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 또한, 상기 NAL 유닛 헤더의 확장 영역 내에서는, SVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보(svc_mvc_flag)에 따라 스케일러블 영상에 대한 속성 정보들을 추가할 수 있다.
또 다른 예로, 상기 NAL 유닛의 타입을 나타내는 정보가 서브셋 시퀀스 파라 미터 세트(subset sequence parameter set)를 나타내는 정보일 경우, 상기 RBSP는 서브셋 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 구체적 예로, nal_unit_type = 15 일 경우, 상기 RBSP는 서브셋 시퀀스 파라미터 세트에 대한 정보, 슬라이스 레이어에 대한 정보 등을 포함할 수 있다. 이 때, 프로파일 정보에 따라 상기 서브셋 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 예를 들어, 프로파일 정보(profile_idc)가 스케일러블 비디오 코딩에 관련된 프로파일인 경우, 상기 서브셋 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 또는 프로파일 정보에 따라 시퀀스 파라미터 세트가 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 상기 시퀀스 파라미터 세트의 확장 영역은 레이어 간 예측을 위한 디블록킹 필터의 특성을 제어하는 정보, 업샘플링 과정을 위한 파라미터 관련 정보 등을 포함할 수 있다. 이하 스케일러블 영상에 대한 다양한 속성 정보들, 예를 들어, NAL 유닛 헤더의 확장 영역, 시퀀스 파라미터 세트의 확장 영역, 또는 슬라이스 레이어에 포함될 수 있는 속성 정보들에 대해 구체적으로 살펴보도록 한다.
예를 들어, 상기 레이어 간 예측을 위한 디블록킹 필터의 특성을 제어하는 정보가 존재하는지 여부를 나타내는 플래그 정보(inter_layer_deblocking_filter_control_present_flag)를 상기 시퀀스 파라미터 세트의 확장 영역으로부터 획득할 수 있다. 상기 디블록킹 필터의 특성을 제어하는 정보는 도 8에서 상세히 설명하도록 한다. 또한, 상기 업샘플링 과정을 위한 파라미터 관련 정보의 위치를 나타내는 정보(extended_spatial_scalability)를 상기 시 퀀스 파라미터 세트의 확장 영역으로부터 획득할 수 있다. 구체적 예로, 상기 extended_spatial_scalability = 0 이면, 업샘플링 과정을 위한 어떠한 파라미터도 시퀀스 파라미터 세트나 슬라이스 헤더에 존재하지 않음을 의미할 수 있다. 그리고, 상기 extended_spatial_scalability = 1 이면, 상기 업샘플링 과정을 위한 파라미터가 시퀀스 파라미터 세트에 존재함을 의미할 수 있다. 상기 extended_spatial_scalability = 2 이면, 상기 업샘플링 과정을 위한 파라미터가 슬라이스 헤더에 존재함을 의미할 수 있다. 상기 업샘플링 과정을 위한 파라미터에 대해서는 도 9에서 상세히 설명하도록 한다.
먼저, 레이어 간 예측이 이용되는지 여부를 나타내는 정보(④)란, 코딩된 슬라이스를 디코딩함에 있어서 레이어 간 예측이 이용되는지 여부를 나타내는 플래그 정보를 의미할 수 있다. 상기 플래그 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 예를 들어, 상기 플래그 정보가 1일 경우, 레이어 간 예측이 이용되지 않음을 의미할 수 있다. 그리고, 상기 플래그 정보가 0일 경우에는 매크로블록 레이어에서의 코딩 방식에 따라 레이어간 예측이 이용될 수도 있고, 이용되지 않을 수 있다. 이는 매크로블록 단위에서 레이어 간 예측이 이용될 수도 있고, 이용되지 않을 수도 있기 때문이다.
퀄러티 식별 정보(quality identification information)(③)란, NAL 단위에 대한 퀄러티를 식별해주는 정보를 의미한다. 상기 속성 정보를 설명함에 있어서 도 3을 이용하도록 한다. 예를 들어, 하나의 픽쳐를 서로 다른 퀄러티의 레이어로 코딩할 수 있다. 도 3에서 Spa_Layer0, Spa_Layer1에 있는 레이어들 모두가 각각 서 로 다른 퀄러티의 레이어로 코딩될 수 있다. 구체적 예로, 상기 NAL 단위에 대한 퀄러티를 식별해주는 정보를 quality_id 라고 할 때, B1,B2, ...,B10 레이어들은 quality_id = 0 이라 할 수 있고, Q1,Q2, ...,Q10 레이어들은 quality_id = 1 이라 할 수 있다. 즉, B1,B2, ...,B10 레이어들은 화질이 가장 낮은 레이어들을 의미할 수 있다. 이를 베이스 픽쳐(base picture)라고 한다. Q1,Q2, ...,Q10 레이어들은 각각 B1,B2, ...,B10 레이어들을 포함하면서 B1,B2, ...,B10 레이어들보다 화질이 좋은 레이어들에 해당한다. 이러한 퀄러티 식별 정보는 다양하게 정의될 수 있다. 예를 들어, 16단계로 표현될 수도 있다.
공간적 스케일러빌러티를 나타내는 식별 정보란, NAL 단위에 대한 의존 관계를 식별해주는 정보를 의미한다. 상기 속성 정보를 설명함에 있어서 도 3을 이용하도록 한다. 예를 들어, 공간적 해상도에 따라 의존 관계가 달라질 수 있다. 도 3에서 Spa_Layer0, Spa_Layer1 각각에 있는 레이어들은 각각 동일한 해상도를 가질 수 있다. Spa_Layer0에 있는 레이어들은 Spa_Layer1에 있는 레이어들을 다운 샘플링하여 얻어진 픽쳐들일 수 있다. 구체적 예로, 상기 NAL 단위에 대한 의존 관계를 식별해주는 정보를 dependency_id 라고 할 때, Spa_Layer0에 있는 레이어들의 dependency_id = 0 이라고 할 수 있고, Spa_Layer1에 있는 레이어들의 dependency_id = 1 이라고 할 수 있다. 이러한 의존 관계 식별 정보는 다양하게 정의될 수 있다. 이처럼, 의존 관계를 식별해주는 정보와 동일한 값을 가지고 있는 NAL 단위들을 디펜던시 레프리젠테이션(dependency representation)이라 표시할 수 있다.
상기에서 살펴본 퀄러티 식별 정보와 의존 관계를 식별해주는 정보에 따라 하나의 레이어가 정의될 수 있다. 이때, 퀄러티 식별 정보 및 의존 관계를 식별해주는 정보와 동일한 값들을 가지고 있는 NAL 단위들을 레이어 레프리젠테이션(layer representation)이라 표시할 수 있다.
또한, 시간적 스케일러빌러티(temporal scalability)를 나타내는 식별 정보란, NAL 단위에 대한 시간적 레벨(temporal level)을 식별해주는 정보를 의미한다. 상기 시간적 레벨은 계층적 B 픽쳐(hierarchical B picture)구조에서 설명될 수 있다. 예를 들어, 도 3의 Spa_Layer0에서 (B1,Q1) 레이어와 (B3,Q3) 레이어는 동일한 시간적 레벨(Tem_Layer0)을 가질 수있다.(B5,Q5) 레이어가 (B1,Q1) 레이어와 (B3,Q3) 레이어를 참조하는 경우, 상기 (B5,Q5) 레이어는 상기 (B1,Q1) 레이어와 (B3,Q3) 픽쳐의 시간적 레벨(Tem_Layer0)보다 높은 시간적 레벨(Tem_Layer1)을 가질 수 있다. 마찬가지로, (B7,Q7) 레이어가 (B1,Q1) 레이어와 (B5,Q5) 레이어를 참조하는 경우, 상기 (B7,Q7) 레이어는 상기 (B5,Q5) 레이어의 시간적 레벨(Tem_Layer2)보다 높은 시간적 레벨(Tem_Layer2)을 가질 수 있다. 하나의 액세스 유닛 내에 있는 모든 NAL 단위들은 동일한 시간적 레벨값을 가질 수 있다. 또한, IDR 액세스 유닛의 경우에는 상기 시간적 레벨 값이 0이 될 수 있다.
참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보는 레이어 간 예측 과정에서 참조 베이스 픽쳐들이 참조 픽쳐로서 이용되는지, 아니면 디코딩된 픽쳐들이 참조 픽쳐로서 이용되는지 여부를 나타낸다. 상기 플래그 정보는 동일한 레이어 상에 있는, 즉 의존 관계를 식별해주는 정보가 동일한 NAL 단위들에 대해서는 동일한 값을 가질 수 있다.
우선순위 식별(priority identification) 정보란, NAL 유닛의 우선 순위를 식별해주는 정보를 의미한다. 이를 이용하여 레이어간 확장성 또는 픽쳐간 확장성을 제공할 수 있다. 예를 들어, 상기 우선순위 식별 정보를 이용하여 사용자에게 다양한 시간적 레벨 및 공간적 레벨의 영상을 제공할 수 있다. 따라서, 사용자는 원하는 시간 및 공간의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 우선순위 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 또한, 상기 우선 순위 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있으며, 디코딩 장치에 의해서 결정될 수도 있다.
또한, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보로는 현재 액세스 유닛이 IDR 액세스 유닛인지를 나타내는 플래그 정보가 있을 수 있다.
또한, 슬라이스 레이어에서는 레이어 간 예측을 위한 다양한 정보들을 포함할 수 있다. 예를 들어, 업샘플링 과정에 있어서 슬라이스 경계에 대한 취급을 나타내는 정보(⑤), 디블록킹 필터의 동작에 관련된 정보(⑥), 색차 신호의 위상 변화에 대한 정보(⑦), 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보(⑧) 및 적응적인 예측 수행 여부를 나타내는 정보(⑨) 등을 포함할 수 있다. 상기 정보들은 슬라이스 헤더로부터 획득될 수 있다.
상기 디블록킹 필터의 동작에 관련된 정보(⑥)의 예로서는 디블록킹 필터의 동작 방법을 나타내는 정보(disable_deblocking_filter_idc), 디블록킹 필터링 수행시 필요한 오프셋 정보(inter_layer_slice_alpha_c0_offset_div2, inter_layer_slice_beta_offset_div2)등이 있을 수 있다.
그리고, 색차 신호의 위상 변화에 대한 정보(⑦)의 예로서, 레이어 간 예측에 이용되는 픽쳐의 색차 성분의 수평, 수직 위상 변화에 대한 정보(ref_layer_chroma_phase_x_plus1, ref_layer_chroma_phase_y_plus1)가 있을 수 있다. 또한, 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보(⑧)의 예로서, 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 상,하,좌,우 위치 차이를 나타내는 오프셋 정보들(scaled_ref_layer_left_offset, scaled_ref_layer_top_offset, scaled_ref_layer_right_offset, scaled_ref_layer_bottom_offset)이 있을 수 있다.
또한, 상기 업샘플링 과정에 있어서 슬라이스 경계에 대한 취급을 나타내는 정보(⑤)의 예로서, 제 1 레이어에 있는 대응 블록이 제 2 레이어의 2개 이상의 슬라이스에 걸쳐 있는 경우, 제 2 레이어에 있는 현재 블록에 대하여 제 1 레이어에 있는 인트라 블록을 이용한 레이어간 예측 사용 제한 여부를 나타내는 정보(constrained_intra_resampling_flag)가 있을 수 있다.
또한, 적응적인 예측 수행 여부를 나타내는 정보(⑨)는 슬라이스 헤더와 매크로블록 레이어 내에 예측 관련 정보의 존재 여부를 나타낼 수 있다. 상기 적응적인 예측 수행 여부를 나타내는 정보에 따라 어떠한 적응적인 예측 방법이 이용될지가 결정될 수 있다. 이에 대해서는 도 8에서 상세히 설명하도록 한다.
도 4는 본 발명이 적용되는 실시예로서, 샘플된 베이스 레이어와 인핸스드 레이어와의 크로핑(cropping) 관계를 나타낸 것이다.
스케일러블 비디오 코딩에 있어서, 인핸스드 레이어의 현재 블록이 레이어 간 예측을 이용할 수 있는지를 확인할 수 있다. 예를 들어, 현재 블록 내의 모든 픽셀에 대응되는 영역이 베이스 레이어에 있는지를 확인할 수 있다. 상기 확인 결과, 상기 인핸스드 레이어의 현재 블록이 레이어간 예측에 이용되지 않는 경우에는 레이어간 예측에 이용되는 코딩 정보를 전송할 필요가 없게 되므로 코딩 효율을 높일 수 있다.
이처럼, 인핸스드 레이어의 현재 블록이 레이어 간 예측을 이용할 수 있는지를 확인할 수 있는 함수를 정의할 수 있다. 예를 들어, 현재 블록 내의 모든 픽셀에 대응되는 영역이 베이스 레이어에 있는지를 확인할 수 있는 함수로서, in_crop_window()를 정의할 수 있다. 인핸스드 레이어에서 수평 방향의 매크로블록 인덱스를 mbIdxX라 하고 수직 방향의 매크로블록 인덱스를 mbIdxY라 할 때, 다음의 조건들을 만족하면 상기 함수 in_crop_window()는 'TRUE'(또는'1') 값을 리턴할 수 있다.
mbIdxX ≥ (ScaledBaseLeftOffset + 15) / 16
mbIdxX ≤ (ScaledBaseLeftOffset + ScaledBaseWidth - 1) / 16
mbIdxY ≥ (ScaledBaseTopOffset + 15)/ 16
mbIdxY ≤ (ScaledBaseTopOffset + ScaledBaseHeight - 1)/ 16
상기 mbIdxX는 매크로블록 주소와 수평 방향의 매크로블록 개수를 이용하여 유도될 수 있다. 상기 mbIdxY는 매크로블록 적응형 프레임-필드(MacroBlock Adaptive Frame-Field)가 적용되는지 여부에 따라 유도되는 방식이 다를 수 있다. 예를 들어, 매크로블록 적응형 프레임-필드가 적용되는 경우에는 매크로블록 쌍을 고려하여 유도될 수 있다. 상기 매크로블록 쌍을 고려할 때, 상위 매크로블록(top macroblock)의 인덱스를 mbIdxY0라 하고, 하위 매크로블록(bottom macroblock)의 인덱스를 mbIdxY1이라 하자. 상기 mbIdxY0 는 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 상측 위치 차이를 나타내는 오프셋 정보와 수평 방향의 매크로블록 개수 정보로부터 유도될 수 있다. 이 때, 상기 수평 방향의 매크로블록 개수 정보는 현재 픽쳐가 프레임 픽쳐인지 필드 픽쳐인지 여부에 따라 그 값이 달라질 수 있다. 그리고, 상기 mbIdxY1 은 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 상측 위치 차이를 나타내는 오프셋 정보와 수직 방향의 매크로블록 개수 정보로부터 유도될 수 있다. 한편, 매크로블록 적응형 프레임-필드가 적용되지 않는 경우에는 상기 mbIdxY0와 mbIdxY1 은 동일한 값을 가질 수 있다.
또한, 상기 ScaledBaseLeftOffset 은 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 좌측 위치 차이를 나타내는 오프셋 정보를 나타낸다. 상기 ScaledBaseTopOffset 은 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 상측 위치 차이를 나타내는 오프셋 정보를 나타낸다. 상기 ScaledBaseWidth 는 업샘플된 픽쳐의 수평 방향 폭을 나타내며, 상기 ScaledBaseHeight 는 업샘플된 픽쳐의 수직 방향 높이를 나타낸다.
위의 조건을 하나라도 만족하지 않은 경우, 상기 함수 in_crop_window()는 'FALSE'(또는 '0') 값을 리턴할 수 있다.
현재 블록(CurrMbAddr) 내의 적어도 하나 이상의 픽셀에 대해서 대응되는 픽 셀이 업샘플된 베이스 레이어에 있지 않는 경우, 즉 in_crop_window(CurrMbAddr)가 'FALSE' 값을 리턴하는 경우, 레이어 간 예측과 관련된 일부 정보는 인핸스드 레이어에서 사용되지 않게 되고 이러한 정보는 전송하지 않을 수 있다. 따라서, 본 발명의 실시예에서는, 상기 in_crop_window(CurrMbAddr)를 통해 대응되는 베이스 레이어 영역이 없는 것으로 확인되면 해당 영상 블록에 대해서는 레이어 간 예측과 관련된 정보의 전송을 생략할 수 있다.
본 발명의 일실시예로서, 상기 함수 in_crop_window()를 이용하여 코딩하는 경우를 설명하도록 한다.
상기 인핸스드 레이어 인코딩부(106)는, in_crop_window(CurrMbAddr)를 통해 현재 블록에 대응되는 영역이 베이스 레이어에 존재하는 것으로 확인되는 경우, 베이스 레이어의 텍스쳐 및/또는 모션 정보를 이용하여 레이어 간 예측을 수행한다. 이 때, 상기 모션 정보에는 레퍼런스 인덱스(reference index) 정보, 모션 벡터(motion vector) 정보, 파티션(partition) 정보 등이 포함될 수 있다.
또한, 상기 인핸스드 레이어 인코딩부(106)는, 텍스처 및/또는 모션 정보에 대해서 베이스 레이어의 것을 그대로 사용하거나 또는 이로부터 유도하는 경우, 이를 가리키는 지시 정보를 인핸스드 레이어의 데이터 스트림에 추가하여 디코더(110)에 알릴 수 있다. 그러나, 상기 인핸스드 레이어 인코딩부(106)는, in_crop_window(CurrMbAddr)를 통해 현재 영상 블록에 대응되는 영역이 베이스 레이어에 존재하지 않는 것으로 확인되는 경우, 레이어 간 예측없이 인핸스드 레이어를 생성할 수 있다. 한편, 상기 디코더(110)에서 상기 in_crop_window(CurrMbAddr) 를 통해 현재 블록에 대응되는 영역이 베이스 레이어에 존재하지 않는 것으로 확인되면 상기 디코더(110)는 상기 지시 정보를 전송하지 않은 것으로 판단한다.
도 5 및 도 6은 본 발명이 적용되는 실시예들로서, 레이어 간 예측을 통한 매크로블록 예측 및 서브 매크로블록 예측과 관련된 신택스들을 나타낸 것이다.
레이어 간 예측을 수행하게 되는 경우, 현재 NAL의 슬라이스 데이터에 레이어 간 예측과 관련된 정보가 디코더로 전송된다. 예를 들어, 인핸스드 레이어 현재 블록의 모션 벡터 예측시, 베이스 레이어의 모션 벡터를 사용할지 여부를 나타내는 플래그(motion_prediction_flag_lx)를 매크로블록 레이어로부터 획득할 수 있다. 본 발명의 실시예에서, 상기 디코더에서는 in_crop_window(CurrMbAddr)를 확인함으로써 레이어 간 예측에 관련된 정보가 인코더에서 전송되었는지 여부를 알 수 있다(510,610). 예를 들어, 상기 in_crop_window(CurrMbAddr)에 따라 현재 영상 블록에 대응되는 영역이 베이스 레이어에 존재하지 않는 경우, 상기 motion_prediction_flag_10/11 플래그는 비트스트림으로 전송하지 않을 수 있다(520/530, 620/630).
또한, 모션 벡터 예측과 관련된 정보가 매크로블록 내에 존재하는지 여부를 나타내는 플래그(adaptive_motion_prediction_flag)가, 현재 NAL의 슬라이스 데이터로부터 획득될 수 있다. 본 발명의 실시예에서는 상기 adaptive_motion_prediction_flag와 상기 in_crop_window(CurrMbAddr)를 모두 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다(510). 예를 들어, 상기 in_crop_window(CurrMbAddr)에 따라 현재 영상 블록에 대 응되는 영역이 베이스 레이어에 존재하지 않거나, 상기 adaptive_motion_prediction_flag에 따라 모션 벡터 예측과 관련된 정보가 매크로블록 내에 존재하지 않는 경우에는, 상기 motion_prediction_flag_10/11 플래그를 전송하지 않을 수 있다(520/530, 620/630)). 상기에서 설명한 기술적 사상은 도 6에 나타난 서브 매크로블록 예측에서도 동일하게 적용될 수 있다.
이처럼, 상기 2가지 정보를 모두 확인하여 2가지 조건을 모두 만족하는 경우에만 레이어 간 예측과 관련된 정보를 전송함으로써 코딩 효율을 높일 수 있다.
도 7은 본 발명이 적용되는 실시예로서, 레이어 간 예측을 통한 레지듀얼 예측과 관련된 신택스를 나타낸 것이다.
레이어 간 예측을 수행하게 되는 경우, 현재 NAL의 슬라이스 데이터에 레이어 간 예측과 관련된 정보가 디코더로 전송된다. 예를 들어, 현재 블록의 레지듀얼 신호를 예측하는 경우, 베이스 레이어의 레지듀얼 신호를 이용할지 여부를 나타내는 플래그(residual_prediction_flag)를 매크로블록 레이어로부터 획득할 수 있다(740). 이 때, 상기 베이스 레이어는 레이어 레프리젠테이션 정보를 이용하여 알 수 있다. 본 발명의 실시예에서는 상기 in_crop_window(CurrMbAddr)를 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다.
예를 들어, 매크로블록 내에 레지듀얼 신호의 예측과 관련된 정보가 존재하는지 여부를 나타내는 정보(adaptive_residual_prediction_flag) 및 슬라이스 타입에 따라(710), 상기 residual_prediction_flag를 획득할 수 있다. 또한, 매크로블록의 타입(mb_type)이 베이스 레이어의 대응 영역으로부터 유도되는 경우인지를 확 인할 수 있다(720). 즉, base_mode_flag가 '1'인 경우를 의미할 수있다. 또는 매크로블록과 서브 매크로블록의 타입이 인트라 모드가 아닌 것으로 결정되고(MbPartPredType(mb_type, 0) != Intra_16x16(8x8 및 4x4)), 현재 매크로블록에 대응되는 영역이 베이스 레이어에 존재하는지 여부도 함께 확인할 수 있다(730). 확인 결과, 매크로블록의 타입이 인트라 모드가 아니고, 현재 매크로블록에 대응되는 영역이 베이스 레이어에 존재하는 경우에만, 상기 residual_prediction_flag를 획득할 수 있다. 따라서, 현재 매크로블록이 인트라 모드가 아닌 것으로 결정되더라도 베이스 레이어에 대응 영역이 없는 경우(in_crop_window(CurrMbAddr)가 '0'인 경우)에는, 레지듀얼 예측이 수행되지 않는다. 그리고, 인코더(102)에서는 상기 residual_prediction_flag를 포함시키지 않은 상태로 인핸스드 레이어를 생성하게 된다.
상기 residual_prediction_flag가 '1'인 경우 레지듀얼 신호는 베이스 레이어의 레지듀얼 신호로부터 예측되지만, '0'인 경우 레지듀얼 신호는 예측되지 않고 그대로 인코딩된다. 또한, 상기 residual_prediction_flag가 존재하지 않는 경우에는 다음과 같이 유도될 수 있다. 예를 들어, 아래와 같은 조건들을 모두 만족시키는 경우에만 상기 residual_prediction_flag가 미리 정해진 값(default_residual_prediction_flag)으로 유도될 수 있다. 첫째, base_mode_flag가 '1'이거나 또는 매크로블록이 인트라 모드를 가리키지 않아야 한다. 둘째, in_crop_window(CurrMbAddr)가 '1'이어야 한다. 셋째, 레이어 간 예측이 이용되는지 여부를 나타내는 플래그(no_inter_layer_pred_flag)가 0이어야 한다. 넷째, 슬 라이스 타입이 EI 슬라이스가 아니어야 한다. 그렇지 않으면 '0'으로 유도될 수 있다.
한편, 상기 인핸스드 레이어 디코딩부(116)는, in_crop_window(CurrMbAddr)를 통해 현재 영상 블록에 대응되는 영역이 베이스 레이어에 존재하지 않는 것으로 확인되는 경우, 매크로블록 또는 서브 매크로블록 내에 모션 예측 플래그(motion_prediction_flag) 정보가 존재하지 않는 것으로 판단하고, 레이어 간 예측 없이 인핸스드 레이어의 데이터 비트스트림만으로 영상 신호를 복원할 수 있다. 또한, 상기 인핸스드 레이어 디코딩부(116)는, 상기 레지듀얼 예측에 관한 신택스 엘리먼트가 인핸스드 레이어의 데이터 비트스트림에 포함되어 있지 않는 경우 레지듀얼 예측 플래그(residual_prediction_flag)를 유도할 수 있다. 이 때, in_crop_window(CurrMbAddr)를 통해 현재 영상 블록에 대응되는 영역이 베이스 레이어에 존재하는지 여부를 고려할 수 있다. 그리고, 상기 인핸스드 레이어 디코딩부(116)는, 상기 in_crop_window(CurrMbAddr)가 '0'인 경우, 현재 영상 블록에 대응되는 영역이 베이스 레이어에 존재하지 않는 것으로 확인할 수 있다. 이 경우, 상기 residual_prediction_flag를 '0'으로 유도하여 베이스 레이어의 레지듀얼 신호를 이용하는 레지듀얼 예측없이 인핸스드 레이어의 데이터만으로 영상 신호를 복원할 수 있다.
도 8은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라 디블록킹 필터링을 수행하기 위한 신택스 구조를 나타낸다.
본 발명의 실시예에서는 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다. 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 예를 들어, 레이어 간 예측이 이용되는지 여부를 나타내는 정보(no_inter_layer_pred_flag)와 퀄러티 식별 정보(quality_id)에 따라(810), 디블록킹 필터의 동작에 관련된 정보를 획득할 수 있다. 디블록킹 필터의 동작에 관련된 정보의 예로서는 디블록킹 필터의 동작 방법을 나타내는 정보(disable_deblocking_filter_idc), 디블록킹 필터링 수행시 필요한 오프셋 정보(slice_alpha_c0_offset_div2, slice_beta_offset_div2) 등이 있을 수 있다.
먼저 상기 디블록킹 필터의 동작 방법을 나타내는 정보는 디블록킹 필터의 특성을 제어하는 정보에 기초하여 획득될 수 있다. 상기 디블록킹 필터의 특성을 제어하는 정보는 상기 도 2에서 살펴본 바와 같이 시퀀스 파라미터 세트의 확장 영역으로부터 획득될 수 있다. 예를 들어, 상기 디블록킹 필터의 특성을 제어하는 정보로서, 레이어 간 예측을 위한 디블록킹 필터의 특성을 제어하는 정보가 존재하는지 여부를 나타내는 플래그 정보(inter_layer_deblocking_filter_control_present_flag)가 있을 수 있다(820). 상기 플래그 정보에 따라 상기 디블록킹 필터의 동작 방법을 나타내는 정보를 획득할 수 있게 된다(830).
구체적 예로, disable_deblocking_filter_idc = 0 일 경우, 현재 픽쳐의 모든 휘도 신호와 색차 신호의 블록 엣지에 대해서 필터링이 수행될 수 있다. disable_deblocking_filter_idc = 1 일 경우에는 현재 픽쳐의 모든 블록 엣지에 대 해서 필터링을 수행하지 않을 수 있다. 또한, 2일 경우에는 슬라이스 경계가 겹치는 블록 엣지를 제외한 모든 블록 엣지에 대해서 필터링이 수행될 수 있다. 3일 경우에는 먼저 슬라이스 경계가 겹치지 않는 블록 엣지에 대해서 필터링을 수행한 후, 그 다음에 슬라이스 경계가 겹치는 블록 엣지에 대해서 필터링을 수행할 수 있다. 4일 경우에는 휘도 신호의 블록 엣지에 대해서만 필터링을 수행하고, 색차 신호의 블록 엣지에 대해서는 필터링을 수행하지 않을 수 있다. 5일 경우에는 슬라이스 경계가 겹치는 블록 엣지를 제외한 모든 휘도 신호의 블록 엣지에 대해서 필터링을 수행하고, 색차 신호의 블록 엣지에 대해서는 필터링을 수행하지 않을 수 있다. 6일 경우에는 색차 신호의 블록 엣지에 대해서는 필터링을 수행하지 않고 휘도 신호의 블록 엣지에 대해서만 필터링을 수행할 수 있다. 먼저 슬라이스 경계가 겹치지 않는 휘도 신호의 블록 엣지에 대해서 필터링을 수행한 후, 그 다음에 슬라이스 경계가 겹치는 휘도 신호의 블록 엣지에 대해서 필터링을 수행할 수 있다.
상기 디블록킹 필터의 동작 방법을 나타내는 정보에 기초하여 디블록킹 필터링 수행시 필요한 오프셋 정보를 획득할 수 있다. 예를 들어, 상기 disable_deblocking_filter_idc 값이 1일 경우에는 모든 블록 엣지에 대해서 디블록킹 필터링을 수행하지 않으므로, 상기 disable_deblocking_filter_idc 값이 1이 아니어야 상기 디블록킹 필터링 수행시 필요한 오프셋 정보를 획득할 수 있다(840). 예를 들어, inter_layer_slice_alpha_c0_offset_div2와 inter_layer_slice_beta_offset_div2 는 레이어 간 예측시 매크로블록 내에서 디블록킹 필터 테이블을 액세스할 때 이용되는 오프셋 정보를 의미할 수 있다(850). 따 라서, 상기 획득된 오프셋 정보를 이용하여 디블록킹 필터링을 수행할 수 있게 된다.
도 9는 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보를 획득하기 위한 신택스 구조를 나타낸다.
본 발명의 실시예에서는 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다. 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 예를 들어, 레이어 간 예측이 이용되는지 여부를 나타내는 정보(no_inter_layer_pred_flag)와 퀄러티 식별 정보(quality_id)에 따라(910), 업샘플링 과정을 위한 파라미터 관련 정보를 획득할 수 있다. 상기 업샘플링 과정을 위한 파라미터 관련 정보의 예로서는 색차 신호의 위상 변화에 대한 정보(930), 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보(940) 등이 있을 수 있다. 상기 파라미터 관련 정보들은 시퀀스 파라미터 세트의 확장 영역 및 슬라이스 헤더로부터 획득될 수 있다.
상기 색차 신호의 위상 변화에 대한 정보(930)의 예로서, 레이어 간 예측에 이용되는 픽쳐의 색차 성분의 수평 위상 변화에 대한 정보(ref_layer_chroma_phase_x_plus1)와 수직 위상 변화에 대한 정보(ref_layer_chroma_phase_y_plus1)가 있을 수 있다. 또한, 상기 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보(940)의 예로서, 레이어 간 예측에 이용되는 업샘 플된 픽쳐와 현재 픽쳐 사이의 상,하,좌,우 위치 차이를 나타내는 오프셋 정보들(scaled_ref_layer_left_offset, scaled_ref_layer_top_offset, scaled_ref_layer_right_offset, scaled_ref_layer_bottom_offset)이 있을 수 있다.
상기 파라미터 관련 정보들은 상기 파라미터 관련 정보들의 위치를 나타내는 정보(extended_spatial_scalability)에 기초하여 획득될 수 있다. 예를 들어, 상기 extended_spatial_scalability 가 0 이면, 업샘플링 과정을 위한 상기 파라미터 정보들은 시퀀스 파라미터 세트와 슬라이스 헤더 어디에도 존재하지 않음을 의미할 수 있다. 상기 extended_spatial_scalability 가 1 이면, 상기 파라미터 정보들은 시퀀스 파라미터 세트에는 존재하나, 슬라이스 헤더에는 존재하지 않음을 의미할 수 있다. 또한, 상기 extended_spatial_scalability 가 2 이면, 상기 파라미터 정보들은 슬라이스 헤더에는 존재하나, 시퀀스 파라미터 세트에는 존재하지 않음을 의미할 수 있다. 따라서, 상기 extended_spatial_scalability 가 2인 경우에 슬라이스 헤더 내에서 상기 파라미터 정보들을 제어할 수 있다(920). 또한, 상기 extended_spatial_scalability 가 1인 경우에는 시퀀스 파라미터 세트 내에서 상기 파라미터 정보들을 제어할 수 있게 된다.
상기 색차 신호의 위상 변화에 대한 정보(930)와 상기 픽쳐들 사이의 위치 차이를 나타내는 오프셋 정보(940)는 업샘플링 과정에서 이용될 수 있다.
도 10은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 참조 레이어에 있는 인트라 블록의 사용 제한 여부를 나타내는 플래그 정보를 획득 하기 위한 신택스 구조를 나타낸다.
본 발명의 실시예에서는 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다. 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 예를 들어, 레이어 간 예측이 이용되는지 여부를 나타내는 정보(no_inter_layer_pred_flag)와 퀄러티 식별 정보(quality_id)에 따라(1010), 업샘플링 과정에 있어서 슬라이스 경계에 대한 취급을 나타내는 정보를 획득할 수 있다. 상기 슬라이스 경계에 대한 취급을 나타내는 정보의 예로서는, 제 2 레이어에 있는 현재 블록에 대하여 제 1 레이어에 있는 인트라 블록의 사용 제한 여부를 나타내는 정보(constrained_intra_resampling_flag)가 있을 수 있다(1020). 상기 인트라 블록의 사용 제한 여부를 나타내는 정보를 정의함으로써, 패러렐 프로세싱(parallel processing)을 수행할 때 디코딩 속도를 향상시킬 수 있다. 이러한 상기 인트라 블록의 사용 제한 여부를 나타내는 정보는 슬라이스 헤더로부터 획득될 수 있다.
상기 인트라 블록의 사용 제한 여부를 나타내는 정보는 슬라이스 헤더로부터 획득될 수 있기 때문에, 그 값이 1 이라 하더라도 각 매크로블록마다 대응되는 제 1 레이어의 영역이, 상기 제 1 레이어의 특정 슬라이스 내에 포함되는지를 확인할 필요가 있다. 따라서, 상기 constrained_intra_resampling_flag 가 1일 때, 현재 블록에 대응되는 제 1 레이어의 영역이, 상기 제 1 레이어의 특정 슬라이스 내에 포함되는지를 확인할 수 있다. 예를 들어, 제 1 레이어에 있는 대응 블록이 2 이상 의 슬라이스에 걸쳐 있는 경우, 현재 블록은 상기 제 1 레이어에 있는 인트라 블록을 이용할 수 없음으로 마킹될 수 있다. 즉, 상기 현재 블록은 인트라 베이스 예측 모드를 이용하여 코딩될 수 없다. 여기서, 인트라 베이스 예측 모드란, 베이스 레이어의 대응되는 영역을 기초로 하여 인핸스드 레이어의 블록을 예측하는 모드를 의미할 수 있다. 이 때, 상기 베이스 레이어의 대응되는 영역은 인트라 모드로 코딩된 영역을 의미할 수 있다. 또는 상기 대응되는 제 1 레이어의 영역이 상기 제 1 레이어의 특정 슬라이스 내에 포함되는 경우에는 상기 제 1 레이어에 있는 인트라 블록을 사용하여 상기 현재 블록을 디코딩할 수 있다. 이 때, 현재 블록은 인트라 베이스 예측 모드를 이용할 수 있음으로 마킹될 수 있다.
또한, 상기 constrained_intra_resampling_flag가 1일 때, 상기 도 8에서 설명한 디블록킹 필터의 동작 방법을 나타내는 정보(disable_deblocking_filter_idc)가 제한될 수 있다. 예를 들어, 상기 disable_deblocking_filter_idc 값은 1,2 또는 4의 값만 가질 수 있다.
반면, 상기 constrained_intra_resampling_flag 가 0일 때는 제 1 레이어에 있는 대응 블록이 2 이상의 슬라이스에 걸쳐 있더라도, 제 2 레이어에 있는 현재 블록은 상기 제 1 레이어에 있는 인트라 블록을 사용하여 디코딩될 수 있다.
상기에서 설명한 실시예들은 휘도 신호뿐만 아니라 색차 신호에도 동일한 방식으로 적용될 수 있다.
도 11은 본 발명이 적용되는 실시예로서, 레이어 간 예측 수행 여부에 따라, 적응적인 예측 정보를 획득하기 위한 신택스 구조를 나타낸다.
본 발명의 실시예에서는 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보를 확인함으로써 레이어 간 예측에 관련된 정보를 인코더에서 전송하지 않을 수 있다. 상기 스케일러블 비디오 코딩된 비트스트림의 속성 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있다. 예를 들어, 레이어 간 예측이 이용되는지 여부를 나타내는 정보(no_inter_layer_pred_flag)에 기초하여 적응적인 예측 정보를 획득할 수 있다(1110). 상기 적응적인 예측 정보는 예측과 관련된 신택스가 대응되는 위치에 존재하는지 여부를 나타낼 수 있다. 예를 들어, 슬라이스 헤더와 매크로블록 레이어에 예측과 관련된 신택스가 존재하는지를 나타내는 정보(adaptive_prediction_flag), 모션 예측과 관련된 신택스가 매크로블록 레이어에 존재하는지를 나타내는 정보(adaptive_motion_prediction_flag), 레지듀얼 예측과 관련된 신택스가 매크로블록 레이어에 존재하는지를 나타내는 정보(adaptive_residual_prediction_flag) 등이 있을 수 있다.
상기 레이어 간 예측이 이용되는지 여부를 나타내는 정보에 따라 레이어 간 예측이 수행되는 경우, 먼저 슬라이스 데이터의 존재 여부를 나타내는 정보(slice_skip_flag)를 획득할 수 있다(1120). 상기 슬라이스 데이터의 존재 여부를 나타내는 정보를 확인함으로써 레이어 간 예측을 수행하기 위해 매크로블록 내의 정보들을 유도할지 여부가 결정될 수 있다. 상기 슬라이스 데이터의 존재 여부를 나타내는 정보에 따라 슬라이스 내에 슬라이스 데이터가 존재하는 경우(1130), 적응적인 예측 플래그(adaptive_prediction_flag)를 획득할 수 있다(1140). 그리고, 매크로블록 레이어에 레지듀얼 예측와 관련된 신택스가 존재하는지를 나타내는 정 보(adaptive_residual_prediction_flag)도 획득할 수 있다(1180). 상기 적응적인 예측 플래그에 따라, 베이스 레이어의 대응 블록으로부터 모션 정보 등을 그대로 가져올 지 여부를 나타내는 정보를 어떻게 유도할 지를 나타내는 정보(default_base_mode_flag)를 획득할 수 있다(1150). 그에 따라 베이스 레이어의 대응 블록으로부터 모션 정보 등을 그대로 가져오지 않는 경우(1155), 모션 예측과 관련된 신택스가 매크로블록 레이어에 존재하는지를 나타내는 정보(adaptive_motion_prediction_flag)를 획득할 수 있다(1160). 또한, 모션 예측과 관련된 신택스가 매크로블록 레이어에 존재하지 않는 경우(1165), 모션 예측 플래그 정보를 어떻게 추론할 지를 나타내는 정보(default_motion_prediction_flag)를 획득할 수 있다(1170).
상기 모션 예측과 관련된 신택스가 매크로블록 레이어에 존재하는지를 나타내는 정보(adaptive_motion_prediction_flag)와 매크로블록 레이어에 레지듀얼 예측와 관련된 신택스가 존재하는지를 나타내는 정보(adaptive_residual_prediction_flag)는 매크로블록 레이어 내에서 이용될 수 있다. 예를 들어, 상기 adaptive_motion_prediction_flag에 기초하여 베이스 레이어의 모션 벡터를 사용할지 여부를 나타내는 플래그(motion_prediction_flag_lx)를 획득할 수 있다. 또한, 상기 adaptive_residual_prediction_flag에 기초하여 베이스 레이어의 레지듀얼 신호를 이용할지 여부를 나타내는 플래그(residual_prediction_flag)를 획득할 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 복호화하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (11)

  1. 제 1 레이어의 비트스트림을 디코딩하는 단계;
    제 2 레이어의 현재 블록에 대하여 레이어 간 예측이 수행되는지 여부를 나타내는 플래그 정보를 획득하는 단계;
    상기 플래그 정보에 기초하여, 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보들을 획득하는 단계; 및
    상기 오프셋 정보들을 이용하여 상기 제 1 레이어를 업샘플링하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1항에 있어서,
    상기 업샘플링 과정을 위한 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보를 획득하는 단계를 더 포함하되,
    상기 오프셋 정보들은, 상기 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 2항에 있어서,
    상기 파라미터가 해당 영역에 존재하는지 여부를 나타내는 정보에 기초하여, 색차 신호의 위상 변화에 대한 정보를 획득하는 단계를 더 포함하되,
    상기 색차 신호의 위상 변화에 대한 정보를 이용하여 상기 제 1 레이어를 업 샘플링하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 3항에 있어서,
    상기 색차 신호의 위상 변화에 대한 정보는 영상 포맷을 나타내는 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  5. 제 3항에 있어서,
    상기 색차 신호의 위상 변화에 대한 정보는 수평 방향에 대한 정보와 수직 방향에 대한 정보를 모두 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  6. 제 2항에 있어서,
    상기 제 2 레이어의 현재 블록에 대한 퀄러티를 식별해주는 정보를 획득하는 단계를 더 포함하되,
    상기 오프셋 정보는 상기 퀄러티 식별 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  7. 제 1항에 있어서,
    상기 제 2 레이어는, 동일한 비디오 신호로부터 상기 제 1 레이어와 다른 공간 해상도 또는 다른 화면 비율을 갖는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  8. 제 1 레이어의 비트스트림을 디코딩하는 베이스 레이어 디코딩부;
    제 2 레이어의 현재 블록에 대하여 레이어 간 예측이 수행되는지 여부를 나타내는 플래그 정보를 획득하는 제 1 헤더 정보 획득부;
    상기 플래그 정보에 기초하여, 레이어 간 예측에 이용되는 업샘플된 픽쳐와 현재 픽쳐 사이의 위치 차이를 나타내는 오프셋 정보들을 획득하는 제 2 헤더 정보 획득부; 및
    상기 오프셋 정보들을 이용하여 상기 제 1 레이어를 업샘플링하는 업샘플링부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치.
  9. 제 1항에 있어서,
    상기 비디오 신호는, 방송 신호로서 수신된 것임을 특징으로 하는 비디오 신호 디코딩 방법.
  10. 제 1항에 있어서,
    상기 비디오 신호는, 디지털 미디엄을 통해 수신된 것임을 특징으로 하는 비디오 신호 디코딩 방법.
  11. 제 1항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
KR1020087017971A 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치 KR100896290B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US85953206P 2006-11-17 2006-11-17
US60/859,532 2006-11-17
KR20060132282 2006-12-22
KR1020060132282 2006-12-22
US89705107P 2007-01-24 2007-01-24
US60/897,051 2007-01-24

Publications (2)

Publication Number Publication Date
KR20080093425A true KR20080093425A (ko) 2008-10-21
KR100896290B1 KR100896290B1 (ko) 2009-05-07

Family

ID=39401884

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020087017970A KR100896289B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020087017971A KR100896290B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020087017972A KR100896291B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020097003240A KR101349836B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020087017970A KR100896289B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020087017972A KR100896291B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020097003240A KR101349836B1 (ko) 2006-11-17 2007-11-19 비디오 신호의 디코딩/인코딩 방법 및 장치

Country Status (5)

Country Link
US (4) US7742532B2 (ko)
EP (3) EP1985121A4 (ko)
JP (3) JP2009538086A (ko)
KR (4) KR100896289B1 (ko)
WO (3) WO2008060127A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR20150015497A (ko) * 2012-07-04 2015-02-10 인텔 코포레이션 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용
US10484717B2 (en) 2012-07-09 2019-11-19 Vid Scale, Inc. Codec architecture for multiple layer video coding

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US7587287B2 (en) * 2003-04-04 2009-09-08 Abbott Diabetes Care Inc. Method and system for transferring analyte test data
KR20060059782A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
CN102158697B (zh) * 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8054885B2 (en) * 2006-11-09 2011-11-08 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8144997B1 (en) * 2006-12-21 2012-03-27 Marvell International Ltd. Method for enhanced image decoding
JP5686594B2 (ja) * 2007-04-12 2015-03-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報（ｖｕｉ）用の方法及び装置
CN103281563B (zh) * 2007-04-18 2016-09-07 汤姆森许可贸易公司 解码方法
US20140072058A1 (en) 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner
TWI330987B (en) * 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US9848209B2 (en) 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
US9924184B2 (en) * 2008-06-30 2018-03-20 Microsoft Technology Licensing, Llc Error detection, protection and recovery for video decoding
US9788018B2 (en) * 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
US9131241B2 (en) * 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
EP2194717A2 (en) * 2008-12-08 2010-06-09 Electronics and Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
KR101593569B1 (ko) * 2009-02-02 2016-02-15 삼성전자주식회사 콘텐츠 오브젝트 구성 방법 및 시스템
TWI489834B (zh) * 2009-04-28 2015-06-21 Panasonic Corp Image decoding method and image decoding apparatus
US8506402B2 (en) * 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US8340510B2 (en) 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US20110216829A1 (en) * 2010-03-02 2011-09-08 Qualcomm Incorporated Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
US9049493B2 (en) * 2010-09-13 2015-06-02 Intel Corporation Techniques enabling video slice alignment for low-latecy video transmissions over mmWave communications
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
JP5738434B2 (ja) 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
JP5833682B2 (ja) 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
KR102349348B1 (ko) 2011-06-14 2022-01-10 엘지전자 주식회사 영상 정보 인코딩 및 디코딩 방법
CA2838989A1 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Scalable video coding techniques
WO2013002709A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) Indicating bit stream subsets
US9148663B2 (en) 2011-09-28 2015-09-29 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204171B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
KR20130034566A (ko) 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
US9204148B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9185404B2 (en) * 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US9892188B2 (en) * 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
EP2595382B1 (en) 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
KR102003925B1 (ko) * 2011-11-23 2019-10-02 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
US20130195201A1 (en) * 2012-01-10 2013-08-01 Vidyo, Inc. Techniques for layered video encoding and decoding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
KR20130107861A (ko) * 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2013165215A1 (ko) * 2012-05-04 2013-11-07 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
EP2858354B1 (en) 2012-05-25 2022-12-21 Sun Patent Trust Video image coding method, video image decoding method, video image coding device, video image decoding device, and video image coding-decoding device
EP2858357B1 (en) 2012-06-04 2022-07-06 Sun Patent Trust Video image encoding method, video image decoding method
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
KR101752149B1 (ko) * 2012-06-26 2017-07-11 미쓰비시덴키 가부시키가이샤 동화상 부호화·복호 장치 및 방법
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
JP2015167267A (ja) * 2012-07-03 2015-09-24 シャープ株式会社 画像復号装置、および画像符号化装置
CN108235033B (zh) 2012-07-03 2020-11-03 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US9973751B2 (en) * 2012-08-16 2018-05-15 Vid Scale, Inc. Slice base skip mode signaling for multiple layer video coding
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
BR112015006551B1 (pt) * 2012-09-27 2022-12-06 Dolby Laboratories Licensing Corporation Processamento de figuração de referência entre camadas para escalabilidade padrão de codificação
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
CA2871828C (en) * 2012-09-28 2015-09-15 Sony Corporation Image processing device
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
JP2015536119A (ja) * 2012-10-09 2015-12-17 インテレクチュアル ディスカバリー カンパニー リミテッド マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置
US10097825B2 (en) * 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN109982076B (zh) 2012-12-14 2022-12-13 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
US9247256B2 (en) 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
WO2014104242A1 (ja) * 2012-12-28 2014-07-03 シャープ株式会社 画像復号装置、および画像符号化装置
KR20230080500A (ko) 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
GB2509705B (en) * 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
WO2014107650A1 (en) * 2013-01-04 2014-07-10 Vidyo, Inc. Techniques for prediction of unavailable samples in inter-layer predicted video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN104904211B (zh) * 2013-01-04 2018-06-12 索尼公司 Jctvc-l0227：带有profile-tier-level语法结构的更新的vps_extension
WO2014106641A1 (en) * 2013-01-07 2014-07-10 Thomson Licensing Video coding and decoding methods and corresponding devices including flag for enhancement layer
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
KR20140095442A (ko) 2013-01-23 2014-08-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
WO2014129872A1 (ko) * 2013-02-25 2014-08-28 삼성전자 주식회사 메모리 대역폭 및 연산량을 고려한 스케일러블 비디오 부호화 장치 및 방법, 스케일러블 비디오 복호화 장치 및 방법
US9294776B2 (en) 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
KR102309086B1 (ko) * 2013-03-21 2021-10-06 소니그룹주식회사 화상 부호화 장치 및 방법과, 화상 복호 장치 및 방법
US9998735B2 (en) * 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
US20140307803A1 (en) 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
CN117956141A (zh) * 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
US9503733B2 (en) 2013-04-10 2016-11-22 ARRIS Enterprises, LLC Re-sampling with phase offset adjustment for luma and chroma to signal adaptive filters in scalable video coding
SG11201508427YA (en) * 2013-04-15 2015-11-27 Luca Rossato Hybrid backward-compatible signal encoding and decoding
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
KR20160021222A (ko) * 2013-06-18 2016-02-24 브이아이디 스케일, 인크. Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합
MX348561B (es) * 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
WO2015005136A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに、画像復号装置および方法
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
CA2918456C (en) * 2013-07-16 2018-09-04 Arris Enterprises, Inc. Resampling filters for scalable video coding with phase offset adjustment and signaling of same
US10171821B2 (en) * 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
FR3008840A1 (fr) 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
JP5999773B2 (ja) * 2013-09-03 2016-09-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101530774B1 (ko) * 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015053287A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
WO2015054634A2 (en) * 2013-10-11 2015-04-16 Vid Scale, Inc. High level syntax for hevc extensions
US20150103878A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015060616A1 (ko) 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR102248848B1 (ko) * 2013-10-26 2021-05-06 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
KR20150050408A (ko) 2013-10-29 2015-05-08 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064678A (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015083575A1 (ja) * 2013-12-06 2015-06-11 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
KR20150075041A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN112887735B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
US10341685B2 (en) 2014-01-03 2019-07-02 Arris Enterprises Llc Conditionally parsed extension syntax for HEVC extension processing
US10469853B2 (en) 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
CA2943121C (en) 2014-03-18 2020-09-08 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
KR20150110295A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10187659B2 (en) * 2014-04-25 2019-01-22 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coding data transform device
WO2015168581A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
WO2015184470A1 (en) 2014-05-30 2015-12-03 Arris Enterprises, Inc. Reference layer offset parameters for inter-layer prediction in scalable video coding
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
KR102553320B1 (ko) * 2015-03-05 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
WO2016140445A1 (ko) * 2015-03-05 2016-09-09 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR102553322B1 (ko) * 2015-04-20 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
WO2017038103A1 (en) * 2015-09-04 2017-03-09 Sharp Kabushiki Kaisha Systems and methods for signaling of video parameters and information associated with caption services
US10912117B2 (en) * 2016-05-23 2021-02-02 Lg Electronics Inc. Method and apparatus for competition-based transmitting of uplink data in wireless communication system to which non-orthogonal multiple access scheme is applied
TWI621354B (zh) * 2016-12-12 2018-04-11 Chunghwa Telecom Co Ltd Multi-network video uninterrupted set-top box system and method
CN110213650B (zh) * 2019-05-17 2022-02-15 芯原微电子（成都）有限公司 一种软件快速搜索视频码流中同步字的方法及装置
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
JP7439249B2 (ja) * 2019-10-07 2024-02-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド サブビットストリーム抽出におけるエラー回避
US11863789B2 (en) 2020-03-31 2024-01-02 Tencent America LLC Method for signaling rectangular slice partitioning in coded video stream
US11412256B2 (en) * 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US776933A (en) * 1903-12-12 1904-12-06 Uriah Clinton Pipes Musical instrument.
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
JPH0779436A (ja) 1993-09-07 1995-03-20 Toshiba Corp 動きベクトル検出装置
DE644698T1 (de) 1993-09-14 1995-08-03 Gold Star Co B-Bild Verarbeitungsvorrichtung mit halbpixel Bewegungskompensation für einen Bildkodierer.
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JPH10276437A (ja) 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化／復号化方法及び装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP2003518882A (ja) * 1999-12-28 2003-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｓｎｒスケーラブルビデオ符号化方法及び対応する復号化方法
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2004289745A (ja) 2003-03-25 2004-10-14 Toshiba Corp 動画像復号化方法および装置
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
WO2005022919A1 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
JP5280003B2 (ja) 2003-09-07 2013-09-04 マイクロソフト コーポレーション 映像コーデックにおけるスライス層
US7415069B2 (en) 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7664176B2 (en) 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2008516556A (ja) * 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
JP5065051B2 (ja) 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100728222B1 (ko) * 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
EP1878257A1 (en) * 2005-04-12 2008-01-16 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
WO2006108863A2 (en) 2005-04-13 2006-10-19 Thomson Licensing Process for scalable coding of images
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US7797540B2 (en) 2005-10-03 2010-09-14 Bea Systems, Inc. Predictive support system for software
AU2006303886B2 (en) * 2005-10-12 2011-11-17 Interdigital Vc Holdings, Inc. Region of interest H .264 scalable video coding
CN101401440A (zh) * 2006-01-09 2009-04-01 诺基亚公司 可伸缩视频编码中的差错恢复模式判决
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
MX2008011652A (es) * 2006-03-29 2008-09-22 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
EP2082576A4 (en) * 2006-10-23 2011-05-04 Vidyo Inc SYSTEM AND METHOD FOR VARIABLE-SCALE VIDEO ENCODING USING TELESCOPIC MODE INDICATORS
US9277243B2 (en) * 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US8054885B2 (en) 2006-11-09 2011-11-08 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR20150015497A (ko) * 2012-07-04 2015-02-10 인텔 코포레이션 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
US10484717B2 (en) 2012-07-09 2019-11-19 Vid Scale, Inc. Codec architecture for multiple layer video coding
US11012717B2 (en) 2012-07-09 2021-05-18 Vid Scale, Inc. Codec architecture for multiple layer video coding
US11627340B2 (en) 2012-07-09 2023-04-11 Vid Scale, Inc. Codec architecture for multiple layer video coding

Also Published As

Publication number Publication date
US20090010332A1 (en) 2009-01-08
KR101349836B1 (ko) 2014-01-10
EP2082580A4 (en) 2010-01-13
JP2009538086A (ja) 2009-10-29
KR20080099245A (ko) 2008-11-12
US7742524B2 (en) 2010-06-22
WO2008060126A1 (en) 2008-05-22
KR20080093426A (ko) 2008-10-21
KR100896289B1 (ko) 2009-05-07
KR100896290B1 (ko) 2009-05-07
JP5063684B2 (ja) 2012-10-31
US20100158116A1 (en) 2010-06-24
EP1980107A1 (en) 2008-10-15
KR20090039795A (ko) 2009-04-22
EP2082580A1 (en) 2009-07-29
US8184698B2 (en) 2012-05-22
EP1980107A4 (en) 2010-01-13
US20090060040A1 (en) 2009-03-05
JP2009538085A (ja) 2009-10-29
US7742532B2 (en) 2010-06-22
JP2009538084A (ja) 2009-10-29
WO2008060125A1 (en) 2008-05-22
WO2008060127A1 (en) 2008-05-22
EP1985121A4 (en) 2010-01-13
EP1985121A1 (en) 2008-10-29
US20090010331A1 (en) 2009-01-08
KR100896291B1 (ko) 2009-05-07
US8229274B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
KR100896290B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR100900294B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR102698537B1 (ko) 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US20170264905A1 (en) Inter-layer reference picture processing for coding standard scalability
TWI392368B (zh) 視訊訊號之解碼方法、解碼裝置及其電腦可讀取媒介
EP3942803A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CA3136556A1 (en) Techniques for bitstream extraction for subpicture in coded video stream
US12063359B2 (en) Method, an apparatus and a computer program product for video encoding and video decoding with wavefront-based gradual random access

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170314

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180314

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 11