KR101349837B1 - 비디오 신호의 디코딩/인코딩 방법 및 장치 - Google Patents

비디오 신호의 디코딩/인코딩 방법 및 장치 Download PDF

Info

Publication number
KR101349837B1
KR101349837B1 KR1020097004916A KR20097004916A KR101349837B1 KR 101349837 B1 KR101349837 B1 KR 101349837B1 KR 1020097004916 A KR1020097004916 A KR 1020097004916A KR 20097004916 A KR20097004916 A KR 20097004916A KR 101349837 B1 KR101349837 B1 KR 101349837B1
Authority
KR
South Korea
Prior art keywords
picture
quality
base picture
identification information
nal unit
Prior art date
Application number
KR1020097004916A
Other languages
English (en)
Other versions
KR20090045323A (ko
Inventor
박승욱
전병문
박지호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090045323A publication Critical patent/KR20090045323A/ko
Application granted granted Critical
Publication of KR101349837B1 publication Critical patent/KR101349837B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 퀄러티 베이스 픽쳐와 퀄러티 인핸스드 픽쳐를 포함하는 비디오 신호를 디코딩하는 방법에 있어서, 상기 퀄러티 베이스 픽쳐가 참조 픽쳐로 이용될지 여부를 나타내는 참조 식별 정보를 획득하는 단계와, 상기 퀄러티 베이스 픽쳐를 버퍼에 저장할지 여부를 나타내는 베이스 픽쳐 저장 식별 정보를 획득하는 단계와, 상기 참조 식별 정보와 상기 베이스 픽쳐 저장 식별 정보 중 적어도 하나에 기초하여, 상기 퀄러티 베이스 픽쳐를 참조 베이스 픽쳐로 마킹하는 단계 및 상기 마킹된 퀄러티 베이스 픽쳐를 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 퀄러티는 이미지 퀄러티를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
스케일러블 비디오 코딩, 버퍼, 마킹

Description

비디오 신호의 디코딩/인코딩 방법 및 장치{METHOD AND APPARATUS FOR DECODING/ENCODING OF A VIDEO SIGNAL}
본 발명은, 비디오 신호의 코딩에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
그 중, 스케일러블 비디오 코딩된 비트스트림은 그 일부분만 선택적으로 디코딩될 수 있다. 예를 들어, 낮은 복잡도의 디코더는 기본적인 레이어를 디코딩할 수 있고, 낮은 전송율의 비트스트림은 제한된 용량을 가지는 네트워크를 통한 전송을 위해 추출될 수 있다. 보다 점차적으로 높은 해상도의 이미지를 생성할 수 있게 하기 위해서 영상의 화질을 단계별로 증가시킬 필요가 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
또한, 본 발명은 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높이고자 한다.
또한, 본 발명은 스케일러블 비디오 코딩된 비트스트림의 재작성을 위한 신택스를 정의함으로써 코덱 사이의 호환성을 높이고자 한다.
또한, 본 발명은 참조 베이스 픽쳐를 저장할지 여부를 알려주는 신택스를 적절한 위치에서 제한함으로써 코덱 사이의 호환성을 높이고자 한다.
또한, 본 발명은 참조 베이스 픽쳐를 저장할지 여부를 알려주는 신택스를 적절한 위치에서 정의함으로써 비디오 신호의 코딩 효율을 높이고자 한다.
또한, 본 발명은 참조 베이스 픽쳐를 저장할지 여부를 알려주는 신택스를 적절한 위치에서 정의함으로써 복호 픽쳐 버퍼를 효율적으로 관리하고자 한다.
또한, 본 발명은 참조 베이스 픽쳐를 저장할지 여부를 알려주는 신택스를 적절한 위치에서 정의함으로써 디코딩된 픽쳐 마킹을 효율적으로 수행하고자 한다.
또한, 본 발명은 전송과정상의 에러로 인해 비디오 신호의 복호과정에서 발생되는 문제를 최소화할 수 있는 디코딩 방법을 제공하고자 한다.
또한, 본 발명은 전송과정상의 에러로 인해 영상신호의 복호과정에서 발생되는 문제를 최소화할 수 있는 디코딩 방법에 따른 복호 픽쳐 버퍼의 관리방법을 제공하고자 한다.
상기 목적을 달성하기 위하여 본 발명은, 퀄러티 베이스 픽쳐와 퀄러티 인핸스드 픽쳐를 포함하는 비디오 신호를 디코딩하는 방법에 있어서, 상기 퀄러티 베이스 픽쳐가 참조 픽쳐로 이용될지 여부를 나타내는 참조 식별 정보를 획득하는 단계와, 상기 퀄러티 베이스 픽쳐를 버퍼에 저장할지 여부를 나타내는 베이스 픽쳐 저장 식별 정보를 획득하는 단계와, 상기 참조 식별 정보와 상기 베이스 픽쳐 저장 식별 정보 중 적어도 하나에 기초하여, 상기 퀄러티 베이스 픽쳐를 참조 베이스 픽쳐로 마킹하는 단계 및 상기 마킹된 퀄러티 베이스 픽쳐를 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 퀄러티는 이미지 퀄러티를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명에서, 퀄러티 베이스 픽쳐는 시간적 해상도가 가장 낮은 것을 특징으로 한다.
또한, 본 발명에서, 베이스 픽쳐 저장 식별 정보는 퀄러티 베이스 픽쳐에 대응되는 슬라이스의 헤더로부터 획득되는 것을 특징으로 한다.
또한, 본 발명은, 코덱 호환을 위해 특정 신택스의 획득을 스킵하는 제한 식별 정보를 확인하는 단계를 더 포함하되, 베이스 픽쳐 저장 식별 정보는 제한 식별 정보에 기초하여 획득되는 것을 특징으로 한다.
또한, 본 발명은, 퀄러티 베이스 픽쳐와 퀄러티 인핸스드 픽쳐를 포함하는 비디오 신호를 디코딩하는 장치에 있어서, 상기 퀄러티 베이스 픽쳐가 참조 픽쳐로 이용될지 여부를 나타내는 참조 식별 정보를 획득하고, 상기 퀄러티 베이스 픽쳐를 버퍼에 저장할지 여부를 나타내는 베이스 픽쳐 저장 식별 정보를 획득하는 식별 정보 획득부와, 상기 참조 식별 정보와 상기 베이스 픽쳐 저장 식별 정보 중 적어도 하나에 기초하여, 상기 퀄러티 베이스 픽쳐를 참조 베이스 픽쳐로 마킹하는 복호 픽쳐 버퍼부 및 상기 마킹된 퀄러티 베이스 픽쳐를 이용하여 상기 비디오 신호를 디코딩하는 디코딩부를 포함하되, 상기 퀄러티는 이미지 퀄러티를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 장치를 제공한다.
또한, 본 발명은 템포럴 도메인 및 스케일러블 도메인 상에서 파셜 레퍼런싱을 이용한 스케일러블 디코딩 방법에 있어서, 제1 템포럴 지점의 파셜 픽쳐를 획득하는 단계와 상기 파셜 픽쳐를 참조하여, 상기 제1 템포럴 지점 이후에 위치하는 제2 템포럴 지점의 풀 픽쳐를 디코딩하는 단계를 포함하되, 상기 파셜 픽쳐의 스케일러블 도메인 상의 레벨은 상기 풀 픽쳐의 스케일러블 도메인 상의 레벨보다 하위 레벨인 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명은 상기 풀 픽쳐는 상기 제1 템포럴 지점의 파셜 픽쳐에 대응하는 상기 제2 템포럴 지점의 파셜 픽쳐를 스케일러블 디코딩하여 획득하는 것을 특징으로 한다.
또한, 본 발명은 비트스트림에서 파셜 레퍼런싱 정보에 대응하는 신택스를 제한하는 제한 플래그 정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명은 현재 NAL 유닛의 퀄러티 레벨을 확인하는 단계, 상기 현재 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 확인하는 단계, 상기 확인 결과에 따라 상기 현재 NAL 유닛이 가장 낮은 퀄러티 레벨에 해당하면서 참조 픽쳐의 슬라이스를 포함하는 경우, 상기 현재 NAL 유닛을 버퍼에 저장할지 여부를 나타내는 제 1 플래그 정보를 획득하는 단계 및 상기 제 1 플래그 정보에 기초하여, 상기 NAL 유닛을 포함하는 디코딩된 픽쳐를 참조 베이스 픽쳐로 마킹하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.
또한, 본 발명은 현재 NAL 유닛의 퀄러티 레벨과, 상기 현재 NAL 유닛이 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 확인하는 식별 정보 확인부와 상기 확인 결과에 따라 상기 현재 NAL 유닛이 가장 낮은 퀄러티 레벨에 해당하면서 참조 픽쳐의 슬라이스를 포함하는 경우, 상기 현재 NAL 유닛을 버퍼에 저장할지 여부를 나타내는 제 1 플래그 정보에 기초하여, 상기 NAL 유닛을 포함하는 디코딩된 픽쳐를 참조 베이스 픽쳐로 마킹하는 복호 픽쳐 버퍼부를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 장치를 제공한다.
본 발명은 비디오 신호를 코딩함에 있어서, 코덱 호환을 위한 신택스를 정의함으로써 서로 다른 종류의 코덱 사이의 호환성을 높일 수 있다. 예를 들어, 스케일러블 비디오 코딩된 비트스트림을 AVC 코덱으로 코딩된 비트스트림으로 변환하기 위한 신택스 구조를 정의함으로써 코덱 사이의 호환성을 높일 수 있다. 또한, 본 발명을 이용할 때, DPB(Decoded Picture Buffer)를 보다 효율적으로 관리함으로써, DPB의 부담을 감소시켜 코딩 속도를 향상시킬 수 있다. 또한, 스케일러블 비디오 영상에 대한 다양한 속성 정보들을 이용함으로써 보다 효율적인 코딩이 가능할 수 있다.
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 스케일러블한 중복성을 고려하는 압축 코딩에 대한 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 공간적 중복성, 시점간 중복성 등에도 적용될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 타입을 나타내는 정보(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
따라서, 상기 NAL 단위의 타입을 나타내는 정보(nal_unit_type)가 스케일러블 비디오 코딩된 슬라이스임을 나타내는 경우, 상기 스케일러블 코딩에 관한 여러 가지 속성 정보들을 추가함으로써 코딩 효율을 높일 수 있다. 예를 들어, 현재 액세스 유닛이 순간 복호 리프레쉬(Instantaneous Decoding Refresh, 이하 IDR 이라 함.) 액세스 유닛인지를 나타내는 플래그 정보, 공간적 스케일러빌러티를 나타내는 식별 정보(dependency identification information), 퀄러티 식별 정보(quality identification information), 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보, 시간적 스케일러빌러티를 나타내는 식별 정보, 우선 순위(priority) 식별 정보 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼를 보다 효율적으로 관리하기 위하여 상기 스케일러블 코딩에 관한 여러 가지 속성 정보들을 이용할 수 있다. 이는 도 2에서 상세히 설명하도록 한다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식 별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 스케일러블 영상을 다루기 위해서는 입력되는 비트스트림이 스케일러블 영상에 관한 프로파일인지 여부를 식별하고, 스케일러블 영상에 관한 프로파일로 식별되면 스케일러블 영상에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 스케일러블 영상에 관한 프로파일이란, H.264/AVC의 추가 기술로서 스케일러블 비디오(scalable video)를 다루는 프로파일 모드(profile mode)를 나타낸다. SVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 SVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 스케일러블 영상에 관한 프로파일을 나타낼 때 스케일러블 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다.
이하에서는 비디오 신호의 효율적인 디코딩 방법을 제공하기 위한 다양한 실시예들을 설명하도록 한다.
도 1은 본 발명이 적용되는 스케일러블 비디오 코딩 시스템의 개략적인 블럭도를 나타낸다.
다양한 통신환경과 다양한 단말기에 최적화된 영상을 제공하기 위해서는 단말기에 제공되는 영상 또한 다양하게 준비되어야만 한다. 단말기마다 그에 최적화된 영상을 제공한다는 것은 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 부담으로 작용할 수 밖에 없다. 이러한 이유로, 컨텐츠 제공자는 원영상을 고속 비트레이트의 압축 영상 데이터로 인코딩해 두고, 단말기로부터 영상요청이 수신되는 경우 원영상을 디코딩한 다음, 단말기의 영상처리 능력에 맞는 영상 데이터로 다시 인코딩하여 제공할 수 있다. 그러나 이와 같은 트랜스코딩(transcoding)의 경우 인코딩-디코딩-인코딩 과정이 수반되므로, 영상 제공에 있어서 시간 지연이 발생할 수 밖에 없고, 이에 따라 복잡한 하드웨어의 디바이스와 알고리즘이 추가로 요구된다.
반면, 스케일러블 비디오 코딩(Scalable Video Coding: SVC) 방식은 비디오 신호를 인코딩함에 있어, 최고 화질로 인코딩하되, 그 결과 생성된 픽쳐 시퀀스의 부분 시퀀스만을 디코딩해 사용해도 영상 표현이 가능하도록 하는 방식이다. 여기서, 부분 시퀀스라 함은 시퀀스 전체에서 간헐적으로 선택된 프레임들로 이루어진 시퀀스를 의미할 수 있다. SVC로 인코딩된 픽쳐 시퀀스는 낮은 비트레이트에 대해 공간적 스케일러빌리티(spatial scalability)를 이용하여 영상의 사이즈를 줄일 수도 있다. 또한, 퀄러티 스케일러빌리티를 이용하여 영상의 화질을 낮출 수도 있다. 이때 소화면 및/또는 초당 프레임수 등이 낮은 픽쳐 시퀀스를 베이스 레이어라 하고 상대적으로 대화면 및/또는 초당 프레임수은 시퀀스를 인핸스드 또는 인핸스먼트 레이어라 할 수 있다.
그런데, 앞서 언급한 바와 같은 스케일러블 방식으로 인코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽쳐 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽쳐 시퀀스를 제공할 수도 있다. 이러한 보조 시퀀스를 베이스 레이어(base layer)라 하고, 주 픽처 시퀀스를 인핸스드(enhanced) 또는 인핸스먼트(enhancement) 레이어라 할 수 있다.
이러한 스케일러블 비디오 코딩 시스템에 대해 보다 구체적으로 알아보도록 한다. 상기 스케일러블 비디오 코딩 시스템은 인코딩 장치(102)와 디코딩 장치(110)를 포함한다. 상기 인코딩 장치(102)는 베이스 레이어 인코딩부(104), 인핸스드 레이어 인코딩부(106) 및 멀티플렉싱부(108)를 포함하고, 디코딩 장치(110)는 디멀티플렉싱부(112), 베이스 레이어 디코딩부(114) 및 인핸스드 레이어 디코딩 부(116)를 포함할 수 있다. 베이스 레이어 인코딩부(104)는 입력된 영상신호 X(n)을 압축하여 베이스 비트스트림을 생성할 수 있다. 인핸스드 레이어 인코딩부(106)는 입력 영상신호 X(n)과 베이스 레이어 인코딩부(104)에 의해 생성되는 정보를 이용하여 인핸스드 레이어 비트스트림을 생성할 수 있다. 멀티플렉싱부(108)는 상기 베이스 레이어 비트스트림과 상기 인핸스드 레이어 비트스트림을 이용하여 스케일러블 비트스트림을 생성할 수 있다.
이렇게 생성된 스케일러블 비트스트림은 소정 채널을 통해 디코딩 장치(110)로 전송되고, 전송된 스케일러블 비트스트림은 디코딩 장치(110)의 디멀티플렉싱부(112)에 의해 인핸스드 레이어 비트스트림과 베이스 레이어 비트스트림으로 구분될 수 있다. 베이스 레이어 디코딩부(114)는 베이스 레이어 비트스트림을 수신하여 출력 영상신호 Xb(n)을 복호하고, 인핸스드 레이어 디코딩부(116)는 인핸스드 레이어 비트스트림을 수신하고, 베이스 레이어 디코딩부(114)에서 복원된 신호를 참조하여 출력 영상신호 Xe(n)를 복호한다. 여기서, 출력 영상신호 Xb(n)은 출력 영상신호 Xe(n)에 비하여 화질이 낮거나 해상도가 낮은 영상신호가 될 것이다.
스케일러블 비디오 코딩에서, 인핸스드 레이어까지 인코딩되어 전송된 특정픽쳐를 복호할 때, 전송과정에서 인핸스드 레이어 비트스트림 중 일부가 손실될 수 있다. 이 경우, 상기 디코딩 장치(110)는 손실된 인핸스드 레이어 비트스트림을 이용하여 해당 픽쳐를 복호하게 되므로, 원 영상과 복호된 영상의 화질이 다르게 될 수 있다. 특히, 이러한 문제가 발생된 픽쳐가 다른 픽쳐를 복호화하는데 필요한 레퍼런스 픽쳐이면서 템포럴 레벨이 가장 낮은 픽쳐인 경우에는 그 문제는 더욱 심각 해질 수 있다. 따라서, 상기 템포럴 레벨이 가장 낮은 픽쳐에 대해서는 보다 효율적인 관리가 필요하다. 이는 도 3 및 도 4에서 상세히 설명하도록 한다.
본 발명의 실시예로서, 스케일러블 비디오 코딩에서는 DPB(Decoded Picture Buffer)에서 풀 픽쳐와 파셜 픽쳐를 스케일러블하게 저장 또는 마킹할 수 있다. 여기서, 풀 픽쳐란 퀄러티 레벨이 가장 상위에 있는 픽쳐를 의미할 수 있다. 그리고, 파셜 픽쳐란, 퀄러티 레벨이 가장 하위에 있는 픽쳐를 의미할 수 있다. 또는 상기 풀 픽쳐와 파셜 픽쳐는 퀄러티 레벨이 상대적으로 높고 낮음을 나타내기 위해 정의할 수도 있다. 예를 들어, 퀄러티 레벨이 5단계(0∼4)인 경우, 퀄러티 레벨이 0∼3인 경우를 파셜 픽쳐라 할 수 있고, 퀄러티 레벨이 4인 경우를 풀 픽쳐라고 할 수 있다. 또는 퀄러티 레벨이 0인 경우만 파셜 픽쳐라고 할 수도 있다.
또한, 제 1 템포럴 지점에 있는 파셜 픽쳐를 참조 픽쳐로 이용하기 위해서는 미리 저장해 놓을 필요가 있다. 따라서, 제 1 템포럴 지점 이후에 있는 제 2 템포럴 지점의 파셜 픽쳐 또는 풀 픽쳐를 디코딩하기 위하여 상기 제 1 템포럴 지점에 있는 파셜 픽쳐를 참조 픽쳐로 이용할 수 있다. 그리고, 상기 제 1 템포럴 지점에 있는 풀 픽쳐 또는 파셜 픽쳐는 참조 픽쳐로서 적응적으로 이용될 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 스케일러블 비디오 코딩된 비트스트림에 추가될 수 있는 스케일러블 영상에 대한 속성 정보를 나타낸다.
상기 도 2에서는 스케일러블 영상에 대한 속성 정보들이 추가될 수 있는 NAL 단위의 구성의 일례를 나타낸다. 크게 NAL 단위는 NAL 단위의 헤더와 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)로 구성될 수 있다. 그리고, NAL 단위의 헤더에서는 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지 여부를 나타내는 식별 정보(nal_ref_idc)와 NAL 단위의 타입을 나타내는 정보(nal_unit_type)를 포함할 수 있다. 또한, 제한적으로 상기 NAL 단위 헤더의 확장 영역도 포함할 수 있다. 예를 들어, 상기 NAL 유닛의 타입을 나타내는 정보가 스케일러블 비디오 코딩과 관련이 있는 경우 또는 prefix NAL 유닛을 나타내는 경우에, 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역을 포함할 수 있다. 구체적 예로, 상기 nal_unit_type = 20 또는 14일때 상기 NAL 유닛은 상기 NAL 유닛 헤더의 확장 영역도 포함할 수 있다. 또한, 상기 NAL 유닛 헤더의 확장 영역 내에서는, SVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보(svc_mvc_flag)에 따라 스케일러블 영상에 대한 속성 정보들을 추가할 수 있다.
또 다른 예로, 상기 NAL 유닛의 타입을 나타내는 정보가 서브셋 시퀀스 파라미터 세트(subset sequence parameter set)를 나타내는 정보일 경우, 상기 RBSP는 서브셋 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 구체적 예로, nal_unit_type = 15 일 경우, 상기 RBSP는 서브셋 시퀀스 파라미터 세트에 대한 정보를 포함할 수 있다. 이 때, 프로파일 정보에 따라 상기 서브셋 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 예를 들어, 프로파일 정보(profile_idc)가 스케일러블 비디오 코딩에 관련된 프로파일인 경우, 상기 서브셋 시퀀스 파라미터 세트는 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 또는 프로파일 정보에 따라 시퀀스 파라미터 세트가 시퀀스 파라미터 세트의 확장 영역을 포함할 수 있다. 상기 시퀀스 파라미터 세트의 확장 영역은 코덱 호 환(codec compatibility)을 위한 특정한 신택스를 제한하는 제한 플래그 정보(restriction flag information)를 포함할 수 있다.
이하 스케일러블 영상에 대한 다양한 속성 정보들, 예를 들어, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보들, 또는 시퀀스 파라미터 세트의 확장 영역에 포함될 수 있는 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저, 공간적 스케일러빌러티를 나타내는 식별 정보란, NAL 단위에 대한 의존 관계를 식별해주는 정보를 의미한다. 예를 들어, 공간적 해상도에 따라 의존 관계가 달라질 수 있다. 도 3에서 Spa_Layer0, Spa_Layer1에 있는 픽쳐들은 각각 동일한 해상도를 가질 수 있다. Spa_Layer0에 있는 픽쳐들은 Spa_Layer1에 있는 픽쳐들을 다운 샘플링하여 얻어진 픽쳐들일 수 있다. 구체적 예로, 상기 NAL 단위에 대한 의존 관계를 식별해주는 정보를 dependency_id 라고 할 때, Spa_Layer0에 있는 픽쳐들의 dependency_id = 0 이라고 할 수 있고, Spa_Layer1에 있는 픽쳐들의 dependency_id = 1 이라고 할 수 있다. 이러한 의존 관계 식별 정보는 다양하게 정의될 수 있다. 이처럼, 의존 관계를 식별해주는 정보와 동일한 값을 가지고 있는 NAL 단위들을 디펜던시 레프리젠테이션(dependency representation)이라 표시할 수 있다.
퀄러티 식별 정보(quality identification information)란, NAL 단위에 대한 퀄러티를 식별해주는 정보를 의미한다. 예를 들어, 하나의 픽쳐를 서로 다른 퀄러티의 픽쳐로 코딩할 수 있다. 도 3에서 Spa_Layer0, Spa_Layer1에 있는 픽쳐들 모두가 각각 서로 다른 퀄러티의 픽쳐로 코딩될 수 있다. 구체적 예로, 상기 NAL 단 위에 대한 퀄러티를 식별해주는 정보를 quality_id 라고 할 때, B1,B2, ...,B10 픽쳐들은 quality_id = 0 이라 할 수 있고, Q1,Q2, ...,Q10 픽쳐들은 quality_id = 1 이라 할 수 있다. 즉, B1,B2, ...,B10 픽쳐들은 화질이 가장 낮은 픽쳐들을 의미할 수 있다. 이를 베이스 픽쳐(base picture)라고 한다. Q1,Q2, ...,Q10 픽쳐들은 각각 B1,B2, ...,B10 픽쳐들을 포함하면서 B1,B2, ...,B10 픽쳐들보다 화질이 좋은 픽쳐들에 해당한다. 이러한 퀄러티 식별 정보는 다양하게 정의될 수 있다. 예를 들어, 16단계로 표현될 수도 있다.
상기에서 살펴본 의존 관계를 식별해주는 정보와 퀄러티 식별 정보에 따라 하나의 레이어가 정의될 수 있다. 이때, 의존 관계를 식별해주는 정보 및 퀄러티 식별 정보와 동일한 값들을 가지고 있는 NAL 단위들을 레이어 레프리젠테이션(layer representation)이라 표시할 수 있다.
시간적 스케일러빌러티(temporal scalability)를 나타내는 식별 정보란, NAL 단위에 대한 시간적 레벨(temporal level)을 식별해주는 정보를 의미한다. 상기 시간적 레벨은 계층적 B 픽쳐(hierarchical B picture)구조에서 설명될 수 있다. 예를 들어, 도 3의 Spa_Layer0에서 (B1,Q1) 픽쳐와 (B3,Q3) 픽쳐는 동일한 시간적 레벨(Tem_Layer0)을 가질 수있다. (B5,Q5) 픽쳐가 (B1,Q1) 픽쳐와 (B3,Q3) 픽쳐를 참조하는 경우, 상기 (B5,Q5) 픽쳐는 상기 (B1,Q1) 픽쳐와 (B3,Q3) 픽쳐의 시간적 레벨(Tem_Layer0)보다 높은 시간적 레벨(Tem_Layer1)을 가질 수 있다. 마찬가지로, (B7,Q7) 픽쳐가 (B1,Q1) 픽쳐와 (B5,Q5) 픽쳐를 참조하는 경우, 상기 (B7,Q7) 픽쳐는 상기 (B5,Q5) 픽쳐의 시간적 레벨(Tem_Layer2)보다 높은 시간적 레 벨(Tem_Layer2)을 가질 수 있다. 하나의 액세스 유닛 내에 있는 모든 NAL 단위들은 동일한 시간적 레벨값을 가질 수 있다. 또한, IDR 액세스 유닛의 경우에는 상기 시간적 레벨 값이 0이 될 수 있다.
참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보는 인터 예측 과정에서 참조 베이스 픽쳐들이 참조 픽쳐로서 이용되는지, 아니면 디코딩된 픽쳐들이 참조 픽쳐로서 이용되는지 여부를 나타낸다. 상기 플래그 정보는 동일한 레이어 상에 있는, 즉 의존 관계를 식별해주는 정보가 동일한 NAL 단위들에 대해서는 동일한 값을 가질 수 있다.
우선순위 식별(priority identification) 정보란, NAL 유닛의 우선 순위를 식별해주는 정보를 의미한다. 이를 이용하여 레이어간 확장성 또는 픽쳐간 확장성을 제공할 수 있다. 예를 들어, 상기 우선순위 식별 정보를 이용하여 사용자에게 다양한 시간적 레벨 및 공간적 레벨의 영상을 제공할 수 있다. 따라서, 사용자는 원하는 시간 및 공간의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 우선순위 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 또한, 상기 우선 순위 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있으며, 디코딩 장치에 의해서 결정될 수도 있다.
또한, NAL 유닛 헤더의 확장 영역에 포함될 수 있는 속성 정보로는 현재 액세스 유닛이 IDR 액세스 유닛인지를 나타내는 플래그 정보가 있을 수 있다.
도 3은 본 발명이 적용되는 실시예로서, 참조 베이스 픽쳐를 저장하고 이를 이용하는 과정을 설명하기 위한 스케일러블 비디오 코딩의 다양한 스케일러빌러티 구조도이다.
먼저, 시간적 스케일러빌러티에서는 비디오 영상의 레이어를 프레임 레이트에 의해 결정할 수 있다. 상기 도 3을 보면, 각 레이어마다 아래에서 위로 갈수록 상위의 시간적 스케일러블 레이어를 의미하며, 이는 프레임 레이트가 높아짐을 나타낸다. 시간적 스케일러블 비디오 코딩은 H.264 비디오 코딩에 계층적 B 픽쳐(hierarchical B picture) 또는 계층적 P 픽쳐(hierarchical P picture) 개념을 적용하여 구현할 수 있다. 예를 들어, 시간적 레벨 Tem_Layer1에 속하는 픽쳐(B5,Q5)를 예측할 때, 상기 시간적 레벨 Tem_Layer1보다 큰 값을 가지는 시간적 레벨 Tem_Layer2에 속하는 픽쳐(B7,Q7,B9,Q9)는 참조 픽쳐로 이용될 수 없다. 그러나, 시간적 레벨이 낮은 Tem_Layer0에 속하는 픽쳐(B1,Q1,B3,Q3)는 참조 픽쳐로 이용될 수 있다. 따라서, 임의의 시간적 레이어에 속하는 픽쳐는 그보다 상위 레이어에 속하는 픽쳐의 디코딩 여부와 관계없이 독립적으로 디코딩이 가능할 수 있다. 디코더의 능력에 따라서 디코딩이 가능한 레벨이 결정되면 해당 프레임 레이트에 의한 H.264 호환가능한 비디오 신호를 디코딩할 수 있다.
상기 도 3에서, 공간적 스케일러빌러티를 설명하면, Spa_Layer0, Spa_Layer1에 있는 픽쳐들은 각각 동일한 해상도를 가질 수 있다. Spa_Layer0에 있는 픽쳐들은 Spa_Layer1에 있는 픽쳐들을 다운 샘플링하여 얻어진 픽쳐들일 수 있다. 예를 들어, NAL 단위에 대한 의존 관계를 식별해주는 정보를 dependency_id 라고 할 때, Spa_Layer0에 있는 픽쳐들의 dependency_id = 0, Spa_Layer1에 있는 픽쳐들의 dependency_id = 1 이라고 할 수 있다.
또한, 퀄러티 스케일러빌러티를 설명하면, 공간축 상에 있는 각 레이어의 픽쳐들은 각각 다른 퀄러티의 픽쳐를 가질 수 있다. 예를 들어, NAL 단위에 대한 퀄러티를 식별해주는 정보를 quality_id 라고 할 때, B1,B2, ...,B10 픽쳐들은 quality_id = 0 이라 할 수 있고, Q1,Q2, ...,Q10 픽쳐들은 quality_id = 1 이라 할 수 있다. 즉, B1,B2, ...,B10 픽쳐들은 화질이 가장 낮은 픽쳐들을 의미할 수 있다. 반면, Q1,Q2, ...,Q10 픽쳐들은 B1,B2, ...,B10 픽쳐들보다는 화질이 좋은 픽쳐들에 해당한다. 이러한 퀄러티 식별 정보는 다양하게 정의될 수 있다. 예를 들어, 16단계로 표현될 수도 있다.
본 발명의 실시예로서, 참조 베이스 픽쳐를 저장하고 이를 디코딩 과정에서 이용하는 경우를 설명하도록 한다.
상기 도 3에 있는 픽쳐들을 기준으로 볼 때, 디코딩 순서는 B1,Q1,B2,Q2,B3,Q3, ...,B10,Q10(1->2->3->4->...->9->10)처럼 될 수 있다. 이 때 현재 디코딩하려는 픽쳐를 B4라고 하면, 상기 B1,Q1,B2,Q2,B3,Q3픽쳐들은 이미 디코딩된 픽쳐들이다. B4 픽쳐는 시간적 레벨이 가장 낮은 픽쳐이면서, 퀄러티 레벨도 가장 낮은 픽쳐에 해당된다. 상기 B4 픽쳐는 베이스 픽쳐인 B2 픽쳐를 참조할 수 있다. 따라서, 상기 B2 픽쳐는 복호 픽쳐 버퍼에 저장되어 있어야 한다.
이때 상기 B2 픽쳐는 이미 디코딩된 픽쳐인데, 상기 B2 픽쳐를 디코딩할 때 상기 B2 픽쳐가 이후에 코딩될 픽쳐(예를 들어, B4픽쳐)를 위해 복호 픽쳐 버퍼에 저장될지 여부를 알려주는 플래그 정보가 필요할 수 있다. 예를 들어, 현재 NAL 단위가 참조 베이스 픽쳐에 해당되는 경우에 상기 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 store_ref_base_pic_flag 라 정의할 수 있다. 또한, 상기 B2 픽쳐는 베이스 픽쳐로서 참조될 것이라는 표시가 필요할 수 있다. 따라서, 복호 픽쳐 버퍼에서는 상기 B2 픽쳐 디코딩 이후 참조 베이스 픽쳐(reference base picture)로 마킹할 수 있다. 이런 과정을 거친 후에 상기 B4 픽쳐를 디코딩할 때, 상기 B4 픽쳐는, store_ref_base_pic_flag 에 따라 복호 픽쳐 버퍼에 저장되어 있고 참조 베이스 픽쳐로 마킹된 B2 픽쳐를 참조 픽쳐로서 활용할 수 있다.
본 발명이 적용되는 다른 실시예로서, 현재 NAL 단위가 가장 낮은 퀄러티 레벨에 해당하면서 참조 픽쳐의 슬라이스를 포함하는 경우, 상기 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위한 과정을 설명하고자 한다. 예를 들어, 상기 플래그 정보는 스케일러블 비디오 코딩된 비트스트림만을 위한 신택스 요소일 수 있다. 따라서, 코덱 호환성을 위해 상기 플래그 정보를 막아줄 수 있는 다른 정보가 필요할 수 있다. 또는 비트스트림의 포맷을 용이하게 변환시키기 위해 상기 플래그 정보를 막아줄 수 있는 다른 정보가 필요할 수 있다. 예를 들어, 코덱 호환을 위해 스케일러블 비디오 코딩된 비트스트림의 재작성을 위한 플래그 정보를 정의할 수 있다.
기존 코덱과의 호환을 위해, 예를 들어, 스케일러블 비디오 코딩된 비트스트림을 AVC 코덱으로 디코딩하는 경우, 상기 스케일러블 비디오 코딩된 비트스트림을 AVC 비트스트림으로 재작성할 필요가 있다. 이 때, 상기 제한 플래그 정보가 스케일러블 비디오 코딩된 비트스트림에만 적용되는 신택스 정보를 막아줄 수 있다. 이 를 막음으로써 간단한 변환 과정을 통해 AVC 비트스트림으로 변환할 수 있게 된다. 예를 들어, 이를 slice_header_restriction_flag 로 나타낼 수 있다. 상기 제한 플래그 정보는 시퀀스 파라미터 세트 또는 서브 시퀀스 파라미터 세트로부터 획득될 수 있다. 또는 서브 시퀀스 파라미터 세트의 확장 영역으로부터 획득될 수도 있다.
상기 제한 플래그 정보에 의해 특정 코덱에만 이용되는 신택스 요소를 제한할 수 있다. 예를 들어,상기 제한 플래그 정보를 이용하여, 현재 NAL 단위가 가장 낮은 퀄러티 레벨에 해당하면서 참조 픽쳐의 슬라이스를 포함하는 경우에 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 상기 플래그 정보를 슬라이스 헤더에서 제한할 수 있다. 즉, slice_header_restriction_flag = 0 일때에만 store_ref_base_pic_flag 정보를 획득할 수 있다. 또는 slice_header_restriction_flag = 1 일때에는 store_ref_base_pic_flag 정보를 획득할 수 없다. 이는 스케일러블 비디오 코딩된 비트스트림의 슬라이스 헤더를 AVC 코덱으로 디코딩이 가능하도록 AVC 비트스트림의 헤더와 동일하게 만들어 주는 역할을 하는 것이다.
도 4는 본 발명이 적용되는 실시예로서, 참조 베이스 픽쳐를 저장하는 과정을 설명하기 위한 흐름도를 나타낸다.
먼저 상기 도 3을 이용하여 설명하면, 현재 픽쳐인 B4 픽쳐를 디코딩하려 할때, 상기 B4 픽쳐는 시간적 레벨이 가장 낮은 픽쳐이면서, 퀄러티 레벨도 가장 낮은 픽쳐에 해당된다. 즉, 베이스 레프리젠테이션으로 표시되는 베이스 픽쳐에 해당될 수 있다. 따라서, 상기 B4 픽쳐는 베이스 픽쳐인 B2 픽쳐를 참조할 수 있으며, 상기 B2 픽쳐를 참조하기 위해서는 상기 B2 픽쳐는 이미 복호 픽쳐 버퍼에 저장되어 있어야 한다.
이하에서는 상기 B2 픽쳐를 참조 픽쳐로서 이용하기 위해 복호 픽쳐에 저장하는 과정을 설명하고자 한다. B2 픽쳐를 디코딩할 때, 현재 NAL 단위 헤더의 확장 영역으로부터 퀄러티 식별 정보를 획득할 수 있다. 상기 도 2에서 설명한 바와 같이 퀄러티 식별 정보가 가장 낮은 값을 나타내는 경우, B2 픽쳐의 현재 NAL 단위는 베이스 픽쳐에 해당될 수 있다. 따라서, 상기 획득된 퀄러티 식별 정보에 따라 B2 픽쳐의 현재 NAL 단위가 베이스 픽쳐에 해당되는지 여부를 확인할 필요가 있다(S410). 그리고, B2 픽쳐는 참조 픽쳐로 이용될 것이기 때문에 이를 NAL 단위의 헤더에서 알려줄 수 있다. 예를 들어, 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지를 나타내는 식별 정보(nal_ref_idc)를 획득할 수 있다. 상기 식별 정보에 따라 B2 픽쳐의 현재 NAL 단위는 참조 픽쳐의 슬라이스를 포함하고 있는지 확인할 필요가 있다(S420). 상기 식별 정보들에 따라 현재 NAL 단위가 베이스 픽쳐이면서 참조 픽쳐의 슬라이스를 포함하고 있는 경우, 현재 NAL 단위는 참조 베이스 픽쳐에 해당할 수 있다.
이처럼 현재 NAL 단위가 가장 낮은 퀄러티 레벨에 해당하면서 참조 픽쳐의 슬라이스를 포함하는 경우, 참조 픽쳐 마킹 과정을 거치게 된다. 참조 베이스 픽쳐는 복호 픽쳐 버퍼의 픽쳐 마킹 과정에서 추가적으로 참조 베이스 픽쳐(reference base picture)로 마킹될 수 있다. 이 때, 상기 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보를 획득할 수 있는데, 상기 플래그 정보를 획득하기 위해 서는 상기 플래그 정보를 제한하는 또 다른 플래그 정보가 없어야 한다. 예를 들어, 코덱 호환을 위한 특정 신택스를 제한하는 제한 플래그 정보를 확인할 필요가 있다(S430). 상기 플래그 정보는 서브셋 시퀀스 파라미터 세트의 확장 영역으로 획득된 정보일 수 있다. 구체적 예로, 코덱 호환성을 위해 스케일러블 비디오 코딩된 비트스트림을 AVC 비트스트림으로 재작성하기 위한 제한 플래그 정보를 slice_header_restriction_flag 라 하자. 상기 제한 플래그 정보로서 슬라이스 헤더 내에 시퀀스 파라미터 세트를 참조하는 특정 신택스가 존재하는지 여부를 나타낼 수 있다. 상기 제한 플래그 정보에 기초하여 상기 현재 NAL 단위를 버퍼에 저장할지 여부를 알려주는 플래그 정보를 획득할 수 있다(S440).
또한, 상기 현재 NAL 단위를 버퍼에 저장할지 여부를 알려주는 플래그 정보에 따라 상기 현재 NAL 단위가 저장되어 있고, 상기 현재 NAL 단위가 IDR 픽쳐가 아닌 경우에는 디코딩된 베이스 레이어의 참조 픽쳐를 마킹하는 과정을 수행할 수 있다.
상기 현재 NAL 단위를 버퍼에 저장할지 여부를 알려주는 플래그 정보에 따라 상기 현재 NAL 단위가 저장되고, 저장된 NAL 단위를 포함하는 디코딩된 픽쳐가 참조 베이스 픽쳐로 마킹되면, 상기 참조 베이스 픽쳐를 이용하여 비디오 신호를 디코딩할 수 있다(S450). 예를 들어, 상기 B2 픽쳐가 상기 플래그 정보에 따라 저장되고 참조 베이스 픽쳐로 마킹되면, 현재 픽쳐인 B4 픽쳐를 디코딩할 때 상기 B2 픽쳐를 참조 픽쳐로 이용할 수 있게 된다.
도 5는 본 발명이 적용되는 일실시예로서, 참조 베이스 픽쳐를 저장하고 마 킹하기 위한 신택스 구조를 나타낸다.
도 5는 상기 도 4에서 설명한 흐름도의 기술적 사상을 신택스 구조예로 나타낸 것이다. 먼저, 슬라이스 헤더에서 퀄러티 식별 정보에 따라 현재 NAL 단위가 베이스 픽쳐에 해당되는지 여부를 확인할 필요가 있다(S510). 그리고, 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지를 나타내는 식별 정보(nal_ref_idc)에 따라, 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지 확인할 필요가 있다(S520). 상기 식별 정보들에 따라 현재 NAL 단위가 베이스 픽쳐이면서 참조 픽쳐의 슬라이스를 포함하고 있는 경우, 현재 NAL 단위는 참조 베이스 픽쳐에 해당할 수 있다. 이처럼 현재 NAL 단위가 참조 베이스 픽쳐에 해당되는 경우, 참조 픽쳐 마킹 과정을 거치게 된다(S530). 참조 베이스 픽쳐는 복호 픽쳐 버퍼의 픽쳐 마킹 과정에서 추가적으로 참조 베이스 픽쳐(reference base picture)로 마킹될 수 있다.
이 때, 상기 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보를 획득할 수 있는데, 상기 플래그 정보를 획득하기 위해서는 코덱 호환을 위한 특정 신택스를 제한하는 제한 플래그 정보를 확인할 필요가 있다(S540). 상기 플래그 정보는 서브셋 시퀀스 파라미터 세트의 확장 영역으로 획득된 정보일 수 있다. 예를 들어, 코덱 호환성을 위해 스케일러블 비디오 코딩된 비트스트림을 AVC 비트스트림으로 재작성하기 위한 제한 플래그 정보를 slice_header_restriction_flag 라 할 수 있다. 상기 제한 플래그 정보로서 슬라이스 헤더 내에 시퀀스 파라미터 세트를 참조하는 특정 신택스가 존재하는지 여부를 나타낼 수 있다. 상기 제한 플래그 정 보에 따라 상기 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보를 획득할 수 있다(S550).
또한, 상기 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보에 따라 참조 베이스 픽쳐가 저장되어 있고, 상기 참조 베이스 픽쳐가 IDR 픽쳐가 아닌 경우(S560)에는 디코딩된 베이스 레이어의 참조 픽쳐를 마킹하는 과정을 수행할 수 있다(S570).
또는 참조 베이스 픽쳐가 인터 예측 과정에서 참조 픽쳐로 이용되는지, 아니면 디코딩된 픽쳐가 참조 픽쳐로 이용되는지를 나타내는 플래그 정보를 확인할 수 있다. 확인 결과, 참조 베이스 픽쳐가 참조 픽쳐로 이용되고, 상기 참조 베이스 픽쳐가 IDR 픽쳐가 아닌 경우(S560)에는 디코딩된 베이스 레이어의 참조 픽쳐를 마킹하는 과정을 수행할 수 있다(S570).
도 6은 본 발명이 적용되는 일실시예로서, 참조 베이스 픽쳐를 저장하고 마킹하기 위한 신택스 구조를 나타낸다.
NAL 단위로 신호를 처리함에 있어서, 현재 NAL 단위에 선행하는 또 다른 NAL 단위를 이용할 수 있다. 이를 prefix NAL 이라고 한다. 상기 prefix NAL은 베이스 레이어 비트스트림과 AVC 코덱과의 호환성을 유지하면서 SVC에만 적용되는 정보를 베이스 레이어에 전달하기 위하여 이용될 수 있다. 예를 들어, 상기 도 5에서 설명한 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보를 prefix NAL에 포함시킬 수 있다. 구체적 예로, 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지를 나타내는 식별 정보(nal_ref_idc)에 따라, 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는지 확인할 필요가 있다. 상기 식별 정보에 따라 현재 NAL 단위가 참조 픽쳐의 슬라이스를 포함하고 있는 경우, 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보를 획득할 수 있다.
또한, 상기 참조 베이스 픽쳐를 저장할지 여부를 알려주는 플래그 정보에 따라 참조 베이스 픽쳐가 저장되어 있고, 상기 참조 베이스 픽쳐가 IDR 픽쳐가 아닌 경우에는 디코딩된 베이스 레이어의 참조 픽쳐를 마킹하는 과정을 수행할 수 있다.
또는 참조 베이스 픽쳐가 인터 예측 과정에서 참조 픽쳐로 이용되는지, 아니면 디코딩된 픽쳐가 참조 픽쳐로 이용되는지를 나타내는 플래그 정보를 확인할 수 있다. 확인 결과, 참조 베이스 픽쳐가 참조 픽쳐로 이용되고, 상기 참조 베이스 픽쳐가 IDR 픽쳐가 아닌 경우에는 디코딩된 베이스 레이어의 참조 픽쳐를 마킹하는 과정을 수행할 수 있다.
도 7 내지 도 12는 본 발명이 적용되는 일실시예들로서, 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위한 신택스 구조를 나타낸다.
도 7의 실시예에서는 참조 베이스 픽쳐를 저장하기 위한 플래그 정보를 store_base_rep_flag 라 정의할 수 있다. 상기 플래그 정보는 슬라이스 헤더로부터 획득될 수 있다(S710). 상기 플래그 정보를 획득하기 위하여 일정한 조건이 주어질 수 있다. 예를 들어, 슬라이스 타입이 PR 이 아닌 경우를 들 수 있다. 즉, 향상된 퀄러티 레벨을 나타내는 슬라이스 타입이 아닌 경우로서, 퀄러티 레벨이 가장 낮은 경우라 할 수 있다. 또한, 코덱 호환성을 위해 현재 슬라이스의 특정 신택스를 막 을지 여부를 나타내는 정보를 확인할 수도 있다. 예를 들어, 비트스트림의 포맷을 용이하게 변환시키기 위해 상기 플래그 정보를 막아줄 수 있는 다른 정보를 확인할 수 있다. 또는 코덱 호환을 위해 스케일러블 비디오 코딩된 비트스트림의 재작성을 위한 플래그 정보를 정의할 수 있다. 상기에서 살펴본 바와 같이, 슬라이스 타입이 PR이 아니면서 상기 플래그 정보에 의해 제한되지 않는 경우에, 참조 베이스 픽쳐를 저장하기 위한 상기 플래그 정보를 획득할 수 있다.
도 8의 실시예에서는 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위해, 또 다른 플래그 정보를 정의할 수 있다. 예를 들어, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보를 정의할 수 있다. 상기 플래그 정보는 인터 예측 과정에서 참조 베이스 픽쳐들이 참조 픽쳐로서 이용되는지, 아니면 디코딩된 픽쳐들이 참조 픽쳐로서 이용되는지 여부를 나타낸다. 상기 플래그 정보는 동일한 레이어 상에 있는, 즉 의존 관계를 식별해주는 정보가 동일한 NAL 단위들에 대해서는 동일한 값을 가질 수 있다. 상기 플래그 정보는 NAL 단위 헤더의 확장 영역에서 정의할 수 있다(S810).
그리고, 현재 슬라이스가 베이스 레이어에 해당하면서 퀄러티 레벨이 가장 낮은지 여부를 확인할 수 있다(S820). 현재 슬라이스가 참조 픽쳐로서 이용되는지 여부를 확인할 수 있다(S830). 또한, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 확인하고(S840), 참조 픽쳐로서 이용되는 경우에 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(S850). 상기 현재 NAL 단위를 버퍼에 저장하고, NAL 단위의 종류가 SVC에 관련되어 있을 경우에(S860), 상기 현재 NAL 단위를 포함하는 디코딩된 픽쳐를 참조 베이스 픽쳐로 마킹하는 과정을 수행할 수 있다(S870). 또한, 슬라이스 헤더에서도 일정한 조건하에 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다. 예를 들어, 슬라이스 타입이 향상된 퀄러티 레벨의 슬라이스를 나타내고, 퀄러티 레이어를 나누었을 때 첫번째 부분에 해당되며, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는 경우에(S880), 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(S890).
도 9의 실시예에서는 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위해 다른 방법으로 정의할 수 있다. 예를 들어, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보와 함께 NAL 단위 헤더의 확장 영역에서 정의할 수 있다.
도 10의 실시예에서는 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위해, 또 다른 플래그 정보를 이용할 수 있다. 예를 들어, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보를 정의할 수 있다. 상기 플래그 정보는 NAL 단위 헤더의 확장 영역에서 정의할 수 있다(S1010). 그리고, 현재 슬라이스가 베이스 레이어에 해당하면서 퀄러티 레벨이 가장 낮은지 여부를 확인할 수 있다(S1020), 현재 슬라이스가 참조 픽쳐로서 이용되는지 여부를 확인하고(S1030), 참조 픽쳐로서 이용되는 경우에 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(S1040). 상기 현재 NAL 단위를 버퍼에 저장하고, NAL 단위의 종류가 SVC에 관련되어 있을 경우 에(S1050), 상기 현재 NAL 단위를 포함하는 디코딩된 픽쳐를 참조 베이스 픽쳐로 마킹하는 과정을 수행할 수 있다(S1060). 또한, 슬라이스 헤더에서도 일정한 조건하에 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다. 예를 들어, 슬라이스 타입이 향상된 퀄러티 레벨의 슬라이스가 아니고, 코덱 호환성을 위해 현재 슬라이스의 특정 신택스를 막지 않고, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는 경우에(S1070), 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(S1080).
도 11의 실시예에서는 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위해, 또 다른 플래그 정보를 이용할 수 있다. 예를 들어, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지 여부를 나타내는 플래그 정보를 이용할 수 있다. 예를 들어, 슬라이스 타입이 향상된 퀄러티 레벨의 슬라이스가 아니고, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는 경우에, 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(a). 또는 코덱 호환성을 위해 현재 슬라이스의 특정 신택스를 막지 않고, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는 경우에, 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(b). 또는 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지만을 확인한 후, 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(c).
도 12의 실시예에서는 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위해, 또 다른 플래그 정보를 이용할 수 있다.
예를 들어, 먼저 슬라이스 타입이 향상된 퀄러티 레벨의 슬라이스를 나타내고, 퀄러티 레이어를 나누었을 때 첫번째 부분에 해당되는지 여부를 확인할 수 있다(S1210). 그리고, 참조 베이스 픽쳐가 참조 픽쳐로서 이용되는지, 또한 현재 슬라이스의 퀄러티 레벨이 첫번째 향상된 퀄러티 레벨을 나타내는지를 확인할 수 있다(S1230). 그에 따라 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득할 수 있다(S1250).
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 복호화하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
도 1은 본 발명이 적용되는 스케일러블 비디오 코딩 시스템의 개략적인 블럭도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 스케일러블 비디오 코딩된 비트스트림에 추가될 수 있는 스케일러블 영상에 대한 속성 정보를 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 참조 베이스 픽쳐를 저장하고 이를 이용하는 과정을 설명하기 위한 스케일러블 비디오 코딩의 다양한 스케일러빌러티 구조도이다.
도 4는 본 발명이 적용되는 실시예로서, 참조 베이스 픽쳐를 저장하는 과정을 설명하기 위한 흐름도를 나타낸다.
도 5는 본 발명이 적용되는 일실시예로서, 참조 베이스 픽쳐를 저장하고 마킹하기 위한 신택스 구조를 나타낸다.
도 6은 본 발명이 적용되는 일실시예로서, 참조 베이스 픽쳐를 저장하고 마킹하기 위한 신택스 구조를 나타낸다.
도 7 내지 도 12는 본 발명이 적용되는 일실시예들로서, 현재 NAL 단위를 버퍼에 저장할지 여부를 나타내는 플래그 정보를 획득하기 위한 신택스 구조를 나타낸다.

Claims (5)

  1. 퀄러티 베이스 픽쳐와 퀄러티 인핸스드 픽쳐를 포함하는 비디오 신호를 디코딩하는 방법에 있어서,
    상기 퀄러티 베이스 픽쳐가 참조 픽쳐로 이용될지 여부를 나타내는 참조 식별 정보를 획득하는 단계;
    상기 퀄러티 베이스 픽쳐를 버퍼에 저장할지 여부를 나타내는 베이스 픽쳐 저장 식별 정보를 획득하는 단계;
    상기 참조 식별 정보와 상기 베이스 픽쳐 저장 식별 정보 중 적어도 하나에 기초하여, 상기 퀄러티 베이스 픽쳐를 참조 베이스 픽쳐로 마킹하는 단계; 및
    상기 마킹된 퀄러티 베이스 픽쳐를 이용하여 상기 비디오 신호를 디코딩하는 단계
    를 포함하되,
    상기 퀄러티는 이미지 퀄러티를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  2. 제 1항에 있어서,
    상기 퀄러티 베이스 픽쳐는 상기 퀄러티 인핸스드 픽쳐와 비교하여 시간적 해상도가 낮은 것을 특징으로 하는 비디오 신호 디코딩 방법.
  3. 제 1항에 있어서,
    상기 베이스 픽쳐 저장 식별 정보는 상기 퀄러티 베이스 픽쳐에 대응되는 슬라이스의 헤더로부터 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  4. 제 1항에 있어서,
    코덱 호환을 위해 특정 신택스의 획득을 스킵하는 제한 식별 정보를 확인하는 단계를 더 포함하되,
    상기 베이스 픽쳐 저장 식별 정보는 상기 제한 식별 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
  5. 퀄러티 베이스 픽쳐와 퀄러티 인핸스드 픽쳐를 포함하는 비디오 신호를 디코딩하는 장치에 있어서,
    상기 퀄러티 베이스 픽쳐가 참조 픽쳐로 이용될지 여부를 나타내는 참조 식별 정보를 획득하고, 상기 퀄러티 베이스 픽쳐를 버퍼에 저장할지 여부를 나타내는 베이스 픽쳐 저장 식별 정보를 획득하는 식별 정보 획득부와;
    상기 참조 식별 정보와 상기 베이스 픽쳐 저장 식별 정보 중 적어도 하나에 기초하여, 상기 퀄러티 베이스 픽쳐를 참조 베이스 픽쳐로 마킹하는 복호 픽쳐 버퍼부; 및
    상기 마킹된 퀄러티 베이스 픽쳐를 이용하여 상기 비디오 신호를 디코딩하는 디코딩부
    를 포함하되,
    상기 퀄러티는 이미지 퀄러티를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 장치.
KR1020097004916A 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치 KR101349837B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US84266106P 2006-09-07 2006-09-07
US60/842,661 2006-09-07
US85780206P 2006-11-09 2006-11-09
US60/857,802 2006-11-09
US85895706P 2006-11-15 2006-11-15
US60/858,957 2006-11-15
US85953206P 2006-11-17 2006-11-17
US60/859,532 2006-11-17
PCT/KR2007/004350 WO2008030067A1 (en) 2006-09-07 2007-09-07 Method and apparatus for decoding/encoding of a video signal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017975A Division KR100908062B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090045323A KR20090045323A (ko) 2009-05-07
KR101349837B1 true KR101349837B1 (ko) 2014-01-10

Family

ID=39157444

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020097004916A KR101349837B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020087017975A KR100908062B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020087017974A KR100904444B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020087017975A KR100908062B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치
KR1020087017974A KR100904444B1 (ko) 2006-09-07 2007-09-07 비디오 신호의 디코딩/인코딩 방법 및 장치

Country Status (7)

Country Link
US (2) US8428144B2 (ko)
EP (2) EP2060123A4 (ko)
JP (2) JP5143829B2 (ko)
KR (3) KR101349837B1 (ko)
CN (1) CN102158697B (ko)
TW (2) TWI376958B (ko)
WO (2) WO2008030067A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961363B2 (en) 2012-10-09 2018-05-01 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
CA2666452C (en) * 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
WO2008047258A2 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
EP2137973B1 (en) * 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
BR122012021950A2 (pt) * 2007-10-05 2015-08-04 Thomson Licensing Aparelho para incorporação de informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo com múltiplos visualizações (mvc)
JP5238069B2 (ja) * 2008-04-25 2013-07-17 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ トランスポート・データストリーム内で参照するフレキシブル・サブストリーム
KR101220175B1 (ko) * 2008-12-08 2013-01-11 연세대학교 원주산학협력단 Ｓｖｃ 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 ｐｅｓ 패킷 생성 및 처리 방법
US8531961B2 (en) 2009-06-12 2013-09-10 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US8627396B2 (en) 2009-06-12 2014-01-07 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
KR101247595B1 (ko) 2009-06-12 2013-03-26 시그너스 브로드밴드, 인코포레이티드 통신 네트워크의 지능형 폐기 시스템 및 방법
US8745677B2 (en) 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
US8965139B2 (en) * 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
WO2012096981A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. Improved nal unit header
EP2666296A4 (en) * 2011-01-19 2013-12-25 Ericsson Telefon Ab L M INDICATION OF BITS FLOW SUBASSEMBLIES
DK3787289T3 (da) 2011-06-14 2022-08-29 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billedinformationer
US10944994B2 (en) * 2011-06-30 2021-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Indicating bit stream subsets
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
WO2013048324A1 (en) * 2011-09-29 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Reference picture list handling
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
KR102071577B1 (ko) * 2012-03-20 2020-01-30 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 복호화 방법 및 그 장치
TWI752680B (zh) 2012-04-13 2022-01-11 美商Ｇｅ影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
CN115442623B (zh) 2012-06-29 2024-08-23 Ge视频压缩有限责任公司 解码视频数据流的方法、存储介质、编码器、解码器
EP2863630A4 (en) * 2012-07-03 2016-03-09 Samsung Electronics Co Ltd Method and apparatus for video coding with temporal scalability and method and apparatus for video decoding with temporal scalability
EP2871567A4 (en) 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
GB2505169B (en) 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
US9723321B2 (en) 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
CN109982078B (zh) * 2012-12-14 2023-03-28 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
EP2942963A4 (en) 2013-01-04 2016-08-17 Samsung Electronics Co Ltd SCALABLE VIDEO ENCODING METHOD AND APPARATUS USING IMAGE OVERHEAD SAMPLING IN CONSIDERATION OF A PHASE AND METHOD AND APPARATUS FOR SCALEABLE VIDEO DECODING
US20150373354A1 (en) * 2013-01-07 2015-12-24 Samsung Electronics Co., Ltd. Method and device for encoding/decoding image so that image is compatible with multiple codecs
US10368089B2 (en) 2013-01-23 2019-07-30 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
RU2018128647A (ru) 2013-03-21 2018-10-05 Сони Корпорейшн Устройство кодирования изображения и способ и устройство декодирования изображения и способ
US20160080752A1 (en) * 2013-04-17 2016-03-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
WO2014196198A1 (ja) * 2013-06-05 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015009020A1 (ko) * 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015053596A1 (ko) 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US10045019B2 (en) 2013-10-22 2018-08-07 Kt Corporation Method and device for encoding/decoding multi-layer video signal
CN105684446B (zh) 2013-10-29 2020-01-07 株式会社Kt 多层视频信号编码/解码方法和装置
KR20150075041A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015147427A1 (ko) 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
EP4088462A4 (en) 2020-02-14 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM
WO2022131845A1 (ko) * 2020-12-17 2022-06-23 엘지전자 주식회사 Nal 유닛 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006183A (ko) * 2004-07-15 2006-01-19 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
JPH0779436A (ja) 1993-09-07 1995-03-20 Toshiba Corp 動きベクトル検出装置
CN1085466C (zh) 1993-09-14 2002-05-22 株式会社金星社 图象解码器中包括半象素单元运动补偿装置的b帧处理装置
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JPH10276437A (ja) 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化／復号化方法及び装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
WO2001049036A1 (en) 1999-12-28 2001-07-05 Koninklijke Philips Electronics N.V. Snr scalable video encoding method and corresponding decoding method
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
WO2003091989A1 (en) 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2004289745A (ja) 2003-03-25 2004-10-14 Toshiba Corp 動画像復号化方法および装置
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
BRPI0413988A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para decodificar blocos intra-inter codificador hìbridos
MXPA06002495A (es) 2003-09-07 2006-06-20 Microsoft Corp Capa de porcion en codificador/descodificador (codec) de video.
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7664176B2 (en) 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
WO2006044370A1 (en) 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703749B1 (ko) 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP5065051B2 (ja) 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1862010A4 (en) 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
TW200704202A (en) 2005-04-12 2007-01-16 Nokia Corp Method and system for motion compensated fine granularity scalable video coding with drift control
WO2006108863A2 (en) 2005-04-13 2006-10-19 Thomson Licensing Process for scalable coding of images
US20060256863A1 (en) 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
MX2008004760A (es) * 2005-10-12 2008-11-13 Thomson Licensing Region de codificacion de video h .264 escalable de interes.
WO2007080480A2 (en) 2006-01-09 2007-07-19 Nokia Corporation Error resilient mode decision in scalable video coding
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008051995A2 (en) * 2006-10-23 2008-05-02 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
EP4224853A1 (en) 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006183A (ko) * 2004-07-15 2006-01-19 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961363B2 (en) 2012-10-09 2018-05-01 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor
US10219001B2 (en) 2012-10-09 2019-02-26 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor

Also Published As

Publication number Publication date
WO2008030068A1 (en) 2008-03-13
KR20090045323A (ko) 2009-05-07
JP5143829B2 (ja) 2013-02-13
JP2009540733A (ja) 2009-11-19
US8401085B2 (en) 2013-03-19
US20090034626A1 (en) 2009-02-05
US8428144B2 (en) 2013-04-23
KR100908062B1 (ko) 2009-07-15
JP5143830B2 (ja) 2013-02-13
EP2060123A4 (en) 2016-05-04
TWI364990B (en) 2012-05-21
CN102158697A (zh) 2011-08-17
EP2060123A1 (en) 2009-05-20
KR100904444B1 (ko) 2009-06-26
EP2060122A4 (en) 2016-04-27
EP2060122A1 (en) 2009-05-20
KR20080093427A (ko) 2008-10-21
CN102158697B (zh) 2013-10-09
WO2008030067A1 (en) 2008-03-13
US20090220010A1 (en) 2009-09-03
KR20080099246A (ko) 2008-11-12
TW200833117A (en) 2008-08-01
JP2009540734A (ja) 2009-11-19
TWI376958B (en) 2012-11-11
TW200829030A (en) 2008-07-01

Similar Documents

Publication Publication Date Title
KR101349837B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
RU2612577C2 (ru) Способ и устройство для кодирования видеоинформации
JP5947405B2 (ja) ビデオ符号化方法および装置
RU2725656C2 (ru) Устройство, способ и компьютерная программа для кодирования и декодирования видеоинформации
JP6486421B2 (ja) ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置
KR100896289B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
JP5144522B2 (ja) スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法
US11818371B2 (en) Coded picture with mixed VCL NAL unit type
JP2016208542A (ja) 高ダイナミックレンジ画像を生成するデコーダ及びその方法
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
US20150023432A1 (en) Scalable video-encoding method and apparatus, and scalable video-decoding method and apparatus
CN101395925B (zh) 用于解码/编码视频信号的方法及装置
JP2015126507A (ja) 画像復号装置、画像符号化装置、及び符号化データ
WO2015098713A1 (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161214

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171214

Year of fee payment: 5