KR20080055859A - 관심 구역의 ｈ.264 스케일러블 비디오 코딩 - Google Patents

관심 구역의 ｈ.264 스케일러블 비디오 코딩 Download PDF

Info

Publication number
KR20080055859A
KR20080055859A KR1020087007164A KR20087007164A KR20080055859A KR 20080055859 A KR20080055859 A KR 20080055859A KR 1020087007164 A KR1020087007164 A KR 1020087007164A KR 20087007164 A KR20087007164 A KR 20087007164A KR 20080055859 A KR20080055859 A KR 20080055859A
Authority
KR
South Korea
Prior art keywords
slice
bit stream
enhancement layer
layer bit
group
Prior art date
Application number
KR1020087007164A
Other languages
English (en)
Other versions
KR101329167B1 (ko
Inventor
펭 인
질 맥도날드 보이세
퍼빈 비브하스 팬디트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080055859A publication Critical patent/KR20080055859A/ko
Application granted granted Critical
Publication of KR101329167B1 publication Critical patent/KR101329167B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인코더, 디코더, 대응하는 인코딩 및 디코딩 방법, 비디오 신호 구조, 및 저장 매체가 스케일러블 비디오 인코딩 및 디코딩을 위해 제공된다. 스케일러블 비디오 인코더는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하기 위해 화상을 인코딩하기 위한 인코더(100)를 포함한다. 기본 층 비트 스트림과 확장 층 비트 스트림은 상기 화상을 복수의 이미지 블록으로 분할하고, 상기 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 2개의 슬라이스 그룹 중 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않도록, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하고, 상기 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하여 형성된다.

Description

관심 구역의 Ｈ.264 스케일러블 비디오 코딩 {REGION OF INTEREST H.264 SCALABLE VIDEO CODING}
본 출원은 본 명세서에 그 전문이 참조로 통합되어 있고, 2005년 10월 12일 "METHOD AND APPARATUS FOR SCALABLE VIDEO ENCODING AND DECODING"이라는 제목으로 출원된 미국 가출원 일련 번호 60/725,700호의 이익을 주장한다.
본 발명은 일반적으로 비디오 인코딩과 디코딩에 관한 것으로, 특히 스케일러블(scalable) 비디오 인코딩과 디코딩을 위한 방법 및 장치에 관한 것이다.
관심 구역(ROI: Regions-of-interest)의 스케일러빌리티(scalability)는 일부 스케일러블 비디오 코딩 애플리케이션에 대한 가장 중요한 특징이다. 사용자는 ROI의 내부와 외부에서 상이한 공간/시간/품질 스케일러빌리티를 가지기를 원할 수 있다.
유연한 매크로블록 순서화(FMO: Flexible macroblock ordering)가 ROI의 특징을 구현하기 위해 논의되어 왔다. 국제 표준화 기구/국제 전기표준 협회(ISO/IEC) 동화상 전문가 그룹-4(MPEG-4) 파트 10 어드밴스드 비디오 코딩(AVC: Advanced Video Coding) 표준/국제 전기통신 연합, 전기통신 섹터(Sector)(ITU-T)H.264 표준(이후, "MPEG4/H.264 표준" 또는 간단히 "H.264 표준"이라고 한다)는 이미지에서의 각 매크로블록이 슬라이스 그룹에 포함되고, 모든 슬라이스 그룹이 1차 코딩된 화상에서 코딩될 것을 요구한다(비록, 그것이 중복 화상에 대해서는 요구되지 않을지라도). H.264 표준은 슬라이스 그룹을 어떠한 잃어버리는 슬라이스 그룹도 허용하지 않는데, 이는 심지어 비(non)-ROI를 포함하는 슬라이스 그룹에 대해서도 여전히 이들 슬라이스 그룹을 코딩할 필요가 있고 그것들을 네트워크로 보낼 필요가 있다는 것을 의미한다. 인코더가 ROI 밖의 매크로블록에 대한 비트를 제어하는 옵션을 가진다는 사실이 논의될 수 있다. 예컨대, 종래 기술의 일 구현예에서, 인코더는 비-ROI에서의 모든 매크로블록을 BL_SKIP 또는 INTRA_BL 모드로 코딩할 수 있다. 심지어 BL_SKIP 또는 INTRA_BL 모드를 신호로 알릴 것이 요구되는 비트가 작을 수 있을지라도, 여전히 인코더가 그것들을 코딩하는 데 있어서 수고를 필요로 한다. 더 중요한 것은, 비-ROI를 코딩하기 위해서는 여분의 NAL 유닛을 요구하고, 따라서 여분의 비트 속도 오버헤드(bit rate overhead)를 요구한다는 점이다. 예컨대, 1/4 공통 중간 포맷(QCIF: quarter common intermediate format) 기본 층과 공통 중간 포맷(CIF) 확장(enhancement) 층(30fps)에 대한 (1/4 대 3/4)와 (1/2 대 1/2)의 ROI 대 비-ROI 분할(split)의 경우, 실시간 프로토콜(RTP)을 통해 확장 층에서의 비-ROI 구역에 대해 INTRA_BL 모드를 송신하기 위한 비트 속도 오버헤드는 대략 각각 12kbps와 9kbps로서 계산된다. 동시에 그것은 모든 이들 NAL 유닛을 구문 분석하기 위해 라우터에 부담을 증가시킨다. 또한, 디코더는 여전히 비-ROI에 대한 이들 비트 스트림을 구문 분석할 필요가 있다. 결합 스케일러블 비디오 모델(JSVM: Joint Scalable Video Model) 버전 3.0에서, 기본 층 매크로블록 타입 에 관계없이 확장 층에서의 모든 매크로블록에 대해 INTRA_BL 모드를 지원하는 것은, 다중루프 디코딩을 요구하고, 이는 일부 프로파일에 대해서는 허용되지 않을 수 있다. 이 강제사항은 만약 인코더가 오직 단일 루프 디코딩을 지원한다면 INTRA_BL 모드를 사용하는 것을 제한한다. 그러므로, 현재로서는 JSVM 버전 3.0이 단일 또는 다중 디코딩 루프에 관계없이 비-ROI에서의 모든 MB에 대해서 INTRA_BL 모드를 사용하는 것을 허용하지 않는다.
종래 기술의 이들 및 다른 결점과 단점은 본 발명에 의해 다루어지고, 본 발명은 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다.
본 발명의 일 양상에 따르면, 스케일러블 비디오 인코더가 제공된다. 이 스케일러블 비디오 인코더는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 화상을 인코딩하기 위한 인코더를 포함한다. 이 기본 층 비트 스트림과 확장 층 비트 스트림은 화상을 복수의 이미지 블록으로 분할하고, 이러한 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하여, 2개 이상의 슬라이스 그룹으로부터의 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않게 되고, 확장 층에서 상기 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문(syntax) 요소를 인코딩함으로써 형성된다.
본 발명의 또다른 양상에 따르면, 스케일러블 비디오 인코딩을 위한 방법이 제공된다. 이 방법은 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하기 위해, 1개의 화상을 인코딩하는 단계를 포함한다. 이 인코딩 단계는 그 화상을 복수의 이미지 블록으로 분할하는 단계를 포함한다. 이 인코딩 단계는 또한 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하는 단계를 포함한다. 이 인코딩 단계는 또한 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하는 단계를 포함하여, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않게 된다. 이 인코딩 단계는 부가적으로 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하는 단계를 포함한다.
본 발명의 또다른 양상에 따르면, 스케일러블 비디오 디코더가 제공된다. 이 스케일러블 비디오 디코더는 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함한다. 이 기본 층 비트 스트림과 확장 층 비트 스트림은 복수의 슬라이스 그룹 중 적어도 하나가 확장 층에서 의도적으로 인코딩되지 않는 것을 표시하기 위해 구문 요소를 읽고, 그 구문 요소에 의해 표시된 복수의 슬라이스 그룹 중 적어도 하나에 대한 기본 층 정보만을 사용하여 확장 층 비트 스트림을 디코딩하며, 확장 층 정보를 사용하여 확장 층에서 복수의 슬라이스 그룹 중 임의의 나머지 슬라이스 그룹을 디코딩함으로써 디코딩된다.
본 발명의 또다른 양상에 따르면, 스케일러블 비디오 디코딩을 위한 방법이 제공된다. 이 방법은 복수의 슬라이스 그룹 중 적어도 하나가 확장 층에서 의도적으로 인코딩되지 않음을 표시하는 구문 요소를 읽음으로써 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하는 단계, 구문 요소에 의해 표시된 복수의 슬라이스 그룹 중 적어도 하나에 대한 기본 층 정보만을 사용하여 확장 층 비트 스트림을 디코딩하는 단계, 및 확장 층 정보를 사용하여 확장 층에서 복수의 슬라이스 그룹 중 임의의 나머지 슬라이스 그룹을 디코딩하는 단계를 포함한다.
본 발명의 또다른 양상에 따르면, 스케일러블 비디오 인코딩을 위한 비디오 신호 구조가 제공된다. 이 비디오 신호 구조는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 인코딩된 화상을 포함한다. 이 기본 층과 확장 층 비트 스트림은, 그 화상을 복수의 이미지 블록으로 분할하고, 그러한 복수의 이미지 블록을 기본 층 비트 스트림에서는 1개 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않게 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하고, 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하여 형성된다.
본 발명의 또다른 양상에 따르면, 인코딩된 스케일러블 비디오 신호 데이터를 가지는 저장 매체가 제공된다. 이 저장 매체는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 인코딩된 화상을 포함한다. 이 기본 층 비트 스트림과 확장 층 비트 스트림은 그 화상을 복수의 이미지 블록으로 분할하고, 그 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하며, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하고, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않도록, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하고, 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하여 형성된다.
본 발명의 이들 및 다른 양상, 특징 및 장점은 첨부 도면과 함께 읽어질 전형적인 실시예의 다음 상세한 설명으로부터 분명해진다.
본 발명은 다음 예시적인 도면에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 원리가 적용될 수 있는 전형적인 결합 스케일러블 비디오 모델(JSVM) 3.0 인코더에 관한 블록도.
도 2는 본 발명의 원리가 적용될 수 있는 전형적인 디코더에 관한 블록도.
도 3은 본 발명의 원리의 일 실시예에 따른 관심 구역으로 결합 스케일러블 비디오 인코딩을 하는 전형적인 방법에 관한 흐름도.
도 4는 본 발명의 원리의 일 실시예에 따른 관심 구역으로 결합 스케일러블 인코딩을 하는 전형적인 방법에 관한 흐름도.
본 발명은 스케일러블 비디오 인코딩 및 디코딩에 관한 방법 및 장치에 관한 것이다.
본 설명은 본 발명의 원리를 예시한다. 비록 본 명세서에서 명백히 설명되거나 도시되지 않았지만, 당업자라면 본 발명의 원리를 구현하고 본 발명의 취지와 범주 내에 포함되는 다양한 장치를 고안할 수 있다는 것을 알게 된다.
본 명세서에서 인용된 모든 예와 조건부 언어는, 독자가 관련 분야를 발전시키는데 본 발명자가 제공한 개념과 본 발명의 원리를 이해하는 것을 돕기 위한 교육학적인 목적을 위해 의도되고, 그러한 특별히 인용된 예와 상황에 국한되지 않는 것으로 해석되어야 한다.
게다가, 본 명세서에서 본 발명의 원리, 양상, 및 실시예를 인용하는 모든 문장은 그 특정 예와 함께 그 구조 및 기능상 등가물 모두를 포함하는 것으로 의도된다. 또한, 그러한 등가물은 구조와 관계없이, 앞으로 개발된 등가물, 즉 동일한 기능을 수행하는 개발된 임의의 요소들과 함께 현재 알려진 등가물 모두 포함하는 것으로 의도된다.
그러므로, 예컨대 본 명세서에 나타낸 블록도가 본 발명의 원리를 구현하는 예시적인 회로의 개념도를 나타낸다는 사실을 당업자라면 알게 된다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등이, 컴퓨터 판독 가능한 매체에 서 실질적으로 나타날 수 있고 컴퓨터나 프로세서에 의해 실행되는 다양한 프로세스를 나타낸다는 점을 알게 되고, 이는 그러한 컴퓨터나 프로세서가 명백히 도시되어 있는지와 관계없다.
도면에 도시된 다양한 요소의 기능은, 적합한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어와 함께 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능들은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다.
게다가, "프로세서"나 "제어기"와 같은 용어의 명백한 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 가리키는 것으로 해석되어서는 안 되고, 제한 없이 디지털 시그널 프로세서("DSP": digital signal processor) 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장 장치를 함축적으로 포함할 수 있다.
종래의 및/또는 주문형 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의의 스위치는 오직 개념상의 것이다. 그것들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호 작용을 통해, 또는 심지어 수동으로 실행될 수 있고, 그 특별한 기술은 그 상황으로부터 더 명확하게 이해되는 것처럼, 구현하는 사람에 의해 선택 가능하다.
본 명세서의 청구항에서, 명시된 기능을 수행하기 위한 수단으로서 표현된 임의의 요소는, 예컨대 a) 그 기능을 수행하는 회로 요소의 결합 또는 b) 그 기능 을 수행하기 위해 그 소프트웨어를 실행하기 위한 적절한 회로와 결합된 펌웨어(firmware), 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 기능을 수행하는 임의의 방식을 포괄하는 것으로 의도된다. 그러한 청구항에 의해 정의된 것과 같은 본 발명은, 그 청구항들이 요구하는 방식대로 다양한 인용된 수단에 의해 제공된 기능들이 결합하고 모인다는 사실이 존재한다. 그러므로 그러한 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것들과 등가인 것으로 간주한다.
도 1을 참조하면, 본 발명이 적용될 수 있는 전형적인 결합 스케일러블 비디오 모델 버전 3.0(이후, "JSVM3.0"이라고 한다) 인코더가 일반적으로 참조 번호 100으로 표시되어 있다. JSVM3.0 인코더(100)는 3개의 공간 층과 모션(motion) 보상된 시간(temporal) 필터링을 사용한다. JSVM 인코더(100)는 2차원(2D) 데시메이터(decimator)(104), 2차원 데시메이터(106), 모션 보상된 시간 필터링(MCTF: motion compensated temporal filtering) 모듈(108)을 포함하며 이들 각각은 비디오 신호 데이터(102)를 수신하기 위한 입력을 가진다.
2차원 데시메이터(106)의 출력은 MCTF 모듈(110)의 입력과 신호 통신으로 연결된다. MCTF 모듈(110)의 제 1 출력은 모션 코더(coder)(112)의 입력과의 신호 통신으로 연결되고, MCTF 모듈(110)의 제 2 출력은 예측 모듈(116)의 입력과 신호 통신으로 연결된다. 모션 코더(112)의 제 1 출력은 멀티플렉서(114)의 제 1 입력과 신호 통신으로 연결된다. 모션 코더(112)의 제 2 출력은 모션 코더(124)의 제 1 입력과 신호 통신으로 연결된다. 예측 모듈(116)의 제 1 출력은 공간 변환 기(transformer)(118)의 입력과 신호 통신으로 연결된다. 공간 변환기(118)의 출력은 멀티플렉서(114)의 제 2 입력과 신호 통신으로 연결된다. 예측 모듈(116)의 제 2 출력은 보간기(interpolator)(120)의 입력과 신호 통신으로 연결된다. 보간기의 출력은 예측 모듈(122)의 제 1 입력과 신호 통신으로 연결된다. 예측 모듈(122)의 제 1 출력은 공간 변환기(126)의 입력과 신호 통신으로 연결된다. 공간 변환기(126)의 출력은 멀티플렉서(114)의 제 2 입력과 신호 통신으로 연결된다. 예측 모듈(122)의 제 2 출력은 보간기(130)의 입력과 신호 통신으로 연결된다. 보간기(130)의 출력은 예측 모듈(134)의 제 1 입력과 신호 통신으로 연결된다. 예측 모듈(134)의 출력은 공간 변환기(136)와 신호 통신으로 연결된다. 공간 변환기의 출력은 멀티플렉서(114)의 제 2 입력과 신호 통신으로 연결된다.
2차원 데시메이터(104)의 출력은 MCTF 모듈(128)의 입력과 신호 통신으로 연결된다. MCTF 모듈(128)의 제 1 출력은 모션 코더(124)의 제 2 입력과 신호 통신으로 연결된다. 모션 코더(124)의 제 1 출력은 멀티플렉서(114)의 제 1 입력과 신호 통신으로 연결된다. 모션 코더(124)의 제 2 출력은 모션 코더(132)의 제 1 입력과 신호 통신으로 연결된다. MCTF 모듈(128)의 제 2 출력은 예측 모듈(122)의 제 2 입력과 신호 통신으로 연결된다.
MCTF 모듈(108)의 제 1 출력은 모션 코더(132)의 제 2 입력과 신호 통신으로 연결된다. 모션 코더(132)의 출력은 멀티플렉서(114)의 제 1 입력과 신호 통신으로 연결된다. MCTF 모듈(108)의 제 2 출력은 예측 모듈(134)의 제 2 입력과 신호 통신으로 연결된다. 멀티플렉서(114)의 출력은 출력 비트 스트림(138)을 제공한다.
각 공간 층에 관해서는, 모션 보상된 시간 분해가 수행된다. 이 분해는 시간 스케일러빌리티(scalability)를 제공한다. 더 낮은 공간 층으로부터의 모션 정보가 더 높은 층 위에서의 모션의 예측을 위해 사용될 수 있다. 텍스처(texture) 인코딩에 있어서는, 연속적인 공간 층 사이의 공간 예측이 리던던시(redundancy)를 제거하기 위해 적용될 수 있다. 인트라 예측이나 모션 보상된 인터 예측으로 인한 잔여 신호는 변환 코딩된다. 품질 기본 잔여 층이 각 공간 층에서 최소의 재구성 품질을 제공한다. 이러한 품질 기본 층은 만약 어떠한 층간 예측도 적용되지 않는다면, H.264 표준을 따르는 스트림으로 인코딩될 수 있다. 품질 스케일러빌리티에 관해서는, 품질 확장 층이 추가로 인코딩된다. 이들 확장 층은 거칠거나 미세한 알갱이(grain) 품질(SNR) 스케일러빌리티를 제공하기 위해 선택될 수 있다.
도 2를 참조하면, 본 발명이 적용될 수 있는 전형적인 스케일러블 비디오 디코더가 참조 번호 200으로 표시되어 있다. 디멀티플렉서(202)의 입력은 스케일러블 비트 스트림을 수신하기 위해 스케일러블 비디오 디코더(200)로의 입력으로서 이용 가능하다. 디멀티플렉서(202)의 제 1 출력은 공간 역 변환 SNR 스케일러블 엔트로피 디코더(204)의 입력과 신호 통신으로 연결된다. 공간 역 변환 SNR 스케일러블 엔트로피 디코더(204)의 제 1 출력은 예측 모듈(206)의 제 1 입력과 신호 통신으로 연결된다. 예측 모듈(206)의 출력은 역 MCTF 모듈(208)의 제 1 입력과 신호 통신으로 연결된다.
공간 역 변환 SNR 스케일러블 엔트로피 디코더(204)의 제 2 출력은, 모션 벡터(MV) 디코더(210)의 제 1 입력과 신호 통신으로 연결된다. MV 디코더(210)의 출 력은 역 MCTF 모듈(208)의 제 2 입력과 신호 통신으로 연결된다.
디멀티플렉서(202)의 제 2 출력은 공간 역 변환 SNR 스케일러블 엔트로피 디코더(212)의 입력과 신호 통신으로 연결된다. 공간 역 변환 SNR 스케일러블 엔트로피 디코더(212)의 제 1 출력은 예측 모듈(214)의 제 1 입력과 신호 통신으로 연결된다. 예측 모듈(214)의 제 1 출력은 보간 모듈(216)의 입력과 신호 통신으로 연결된다. 보간 모듈(216)의 출력은 예측 모듈(206)의 제 2 입력과 신호 통신으로 연결된다. 예측 모듈(214)의 제 2 출력은 역 MCTF 모듈(218)의 제 1 입력과 신호 통신으로 연결된다.
공간 역 변환 SNR 스케일러블 엔트로피 디코더(212)의 제 2 출력은 MV 디코더(220)의 제 1 입력과 신호 통신으로 연결된다. MV 디코더(220)의 제 1 출력은 MV 디코더(210)의 제 2 입력과 신호 통신으로 연결된다. MV 디코더(220)의 제 2 출력은 역 MCTF 모듈(218)의 제 2 입력과 신호 통신으로 연결된다.
디멀티플렉서(202)의 제 3 출력은 공간 역 변환 SNR 스케일러블 엔트로피 디코더(222)의 입력과 신호 통신으로 연결된다. 공간 역 변환 SNR 스케일러블 엔트로피 디코더(222)의 제 1 출력은 예측 모듈(224)의 입력과 신호 통신으로 연결된다. 예측 모듈(224)의 제 1 출력은 보간 모듈(226)의 입력과 신호 통신으로 연결된다. 보간 모듈(226)의 출력은 예측 모듈(214)의 제 2 입력과 신호 통신으로 연결된다.
예측 모듈(224)의 제 2 출력은 역 MCTF 모듈(228)의 제 1 입력과 신호 통신으로 연결된다. 공간 역 변환 SNR 스케일러블 엔트로피 디코더(222)의 제 2 출력은 MV 디코더(230)의 입력과 신호 통신으로 연결된다. MV 디코더(230)의 제 1 출력은 MV 디코더(220)의 제 2 입력과 신호 통신으로 연결된다. MV 디코더(230)의 제 2 출력은 역 MCTF 모듈(228)의 제 2 입력과 신호 통신으로 연결된다.
역 MCTF 모듈(228)의 출력은 층 0 신호를 출력하기 위해, 디코더(200)의 출력으로서 이용 가능하다. 역 MCTF 모듈(218)의 출력은 층 1 신호를 출력하기 위해, 디코더(200)의 출력으로서 이용 가능하다. 역 MCTF 모듈(208)의 출력은 층 2 신호를 출력하기 위해, 디코더(200)의 출력으로서 이용 가능하다.
FMO(flexible macroblock ordering)는 ROI(region of interest:관심 구역) 스케일러빌리티의 특징을 구현하기 위해 논의되었다. H.264/AVC 규격은 임의의 잃어버린 슬라이스 그룹을 허용하지 않는데, 이는 비(non)-ROI를 포함하는 슬라이스 그룹조차도 여전히 코딩되고 네트워크에 보내질 필요가 있다는 것을 의미한다. 본 발명의 원리의 일 실시예에 따르면, 이러한 요구 사항은 완화되고, 확장 층에서 잃어버리는 슬라이스 그룹을 허용하며, 의도적으로 잃어버린 슬라이스에 관한 표준 행동을 정의한다. 기본 층은 H.264 표준에 적합하게 유지된다.
그러므로, 본 발명의 원리의 일 실시예에 따르면, ROI의 적용을 위해 확장 층에서 잃어버리는 슬라이스 그룹을 허용하도록 H.264 표준 요구 사항을 완화시킬 것을 제안한다. 이러한 접근은 적어도 다음 장점, 즉 (a) 비트 속도를 절약함, (b) 라우터에 대한 부담을 덜어줌, (c) 디코더에 관한 파싱(parsing)을 단순화함, (d) 비(non)-ROI 구역에 관한 인코더에 있어서의 코딩을 절약함을 제공한다.
만약 확장 층에서 잃어버리는 슬라이스 그룹을 허용하여 생기는 한 가지 즉각적인 문제점은, 잃어버리는 슬라이스 그룹이 네트워크 에러 때문에 인코더에 의 해 의도적으로 인코딩되지 않거나 누락되는지를 디코더가 어떻게 결정할 수 있는가이다. 슬라이스 그룹이 의도적으로 생략되면, 본 발명의 원리에 따라 디코더는 표준 행동을 제공하여, 디코더가 여전히 전체 화상{ROI + 비(non)-ROI}을 디코딩하는 능력을 가질 수 있고, 디코딩 프로세스의 출력은 상이한 디코더 사이에서 시종일관되게 행동하며, 인코더/디코더 비트 정확성이 유지될 수 있다. 하지만, 슬라이스 그룹이 네트워크 에러 때문에 누락된다면, 표준이 아닌 에러 숨김이 적용될 수 있고, 이는 애플리케이션에 따라 달라진다.
슬라이스 그룹이 의도적으로나 의도적인 아니게 잃어버려지는 것의 불분명함을 없애기 위해, 표 1에 도시된 것처럼, sequence_parameter_set()에 한 개의 플래그(flag), 즉 missing_slice_groups_allowed_flag를 추가할 것을 제안한다. 특히, 표 1은 시퀀스 파라미터 세트인 RBSP 구문(syntax)을 예시한다. 모든 slice_group_map_type을 지원하기 위해, 어느 슬라이스 그룹이 0, 1 및 6과 같은 slice_group_map_type에 관해 잃어버려지는지를 표시할 필요가 있다. 다른 경우에 있어서는, 항상 마지막 슬라이스 그룹만이 잃어버려진다고 가정할 수 있어, 어떠한 추가 구문도 요구되지 않는다. 직사각형 ROI 스케일러빌리티의 가장 흔하게 예상된 경우에 있어서, slice_group_map_type==2가 선택되고, 따라서 picture_parameter_set()에 추가되는 구문(syntax)은 거의 없다. 완전한 구문은 표 2에 도시되어 있다.
Seq_parameter_set_rbsp(){ C 설명어(Descriptor)
profile_idc 0 u(8)
...
num_ref_frames 0 ue(v)
gaps_in_frame_num_value_allowed_flag 0 u(1)
if(profile_idc==83)
missing_slice_groups_allowed_flag 0 u(1)
... 0 u(1)
}
Figure 112008021467967-PCT00001
missing_slice_groups_allowed_flag는 비트 스트림에서 잃어버린 슬라이스 그룹의 허용을 명시한다. missing_slice_groups_allowed_flag가 존재하지 않을 때, 그것은 0과 같다고 추론된다. missing_slice_groups_allowed_flag가 1과 같을 때, "동일한 슬라이스 그룹 맵핑(same slice group mapping)"이 기본 층과 확장 층 사이에 존재해야 한다. 이 "동일한 슬라이스 그룹 맵핑"은 동일한 num_slice_groups_minus_1과 동일한 slice_group_map_type을 의미한다.
num_missing_slice_groups은 한 화상에 대한 잃어버린 슬라이스 그룹의 개수를 명시한다.
missing_slice_group_id[i]는 라스터(raster) 스캔 순서로 i번째 잃어버린 슬라이스 그룹 맵 유닛의 잃어버린 슬라이스 그룹을 식별한다.
제공된 새로운 구문으로, 디코더는 확장 층에서의 슬라이스 그룹이 의도적으로 잃어버려지거나 대신 네트워크 에러 때문에 누락되는지를 결정할 수 있다. 무엇이 의도적으로 잃어버려진 그룹에 대한 디코딩 프로세싱의 표준 행동이어야 하는지를 결정하는데 있어서, 다음 내용이 고려된다. 즉, (1) 잃어버려진 슬라이스 그룹이 확장 층에서 비-ROI에 적용되므로, 그 품질은 매우 높을 필요는 없지만, 받아들일 수 있어야 하고, (2) 그 복잡도는 낮게 유지되어야 하며, 디코더는 현재의 SVC 설계에서 이용 가능한 기능성을 다시 사용해야 한다.
본 출원인은 현재의 SVC 설계를 사용할 수 있는 2가지 가능한 해결책을 제안한다. 즉, (1) 나머지 없이 INTRA_BL 모드를 사용하는 것, 즉 base_layer 화상을 복사 또는 업샘플링(upsample)하는 것과, (2) 나머지 없이 BL_SKIP 모드를 사용하는 것. 따라서, 의도적으로 잃어버려진 슬라이스 그룹을 디코딩하기 위해 전술한 방법 중 어느 하나를 사용하는 표준 행동을 고를 수 있다.
도 3을 참조하면, 관심 구역으로 결합(joint) 스케일러블 비디오 인코딩을 위한 전형적인 방법이, 일반적으로 참조 번호(300)로 표시되어 있다. 이 방법은 관심 구역(ROI: region of interest) 정보를 가지고 인코딩을 시작하고, 제어를 기능 블록(310)으로 넘기는 시작 블록(305)을 포함한다. 기능 블록(310)은 ROI 정보에 의존하는 슬라이스 그룹을 생성하고, 제어를 결정 블록(315)에 넘긴다. 결정 블록(315)은 인코딩될 현재 층이 기본 층인지 여부를 결정한다. 만약 기본 층이라면, 제어는 기능 블록(320)으로 넘어간다. 만약 기본 층이 아니라면, 제어는 기능 블록(325)으로 넘어간다.
기능 블록(320)은 모든 슬라이스 그룹(기본 층에서의)을 인코딩하고, 제어를 종료(end) 블록(370)에 넘긴다.
기능 블록(325)은 기본 층 슬라이스 그룹을 확장 층 슬라이스 그룹으로 맵핑하고, 제어를 기능 블록(330)으로 넘긴다. 기능 블록(330)은 missing_slice_groups_allowed_flag를 1로 설정하고, 제어를 결정 블록(335)으로 넘긴다. 결정 블록(335)은 현재의 슬라이스 그룹이 관심 구역에 속하는지 여부를 결정한다. 만약 관심 구역에 속한다면, 제어는 블록(340)으로 넘어간다. 만약 관심 구역에 속하지 않는다면, 제어는 기능 블록(355)으로 넘어간다.
기능 블록(340)은 층간(interlayer) 예측을 사용하여 현재의 슬라이스 그룹을 인코딩하고, 제어를 결정 블록(345)으로 넘긴다.
기능 블록(355)은 현재의 슬라이스 그룹을 인코딩하지 않고, 제어를 기능 블록(360)에 넘긴다. 기능 블록(360)은 num_missing_slice_group을 증가시키고, 제어를 결정 블록(345)으로 넘긴다.
결정 블록(345)은 num_missing_slice_groups가 1보다 큰지 여부를 결정한다. 만약 1보다 크다면, 제어는 기능 블록(350)으로 넘어간다. 만약 1보다 크지 않다면, 제어는 종료 블록(370)으로 넘어간다.
기능 블록(350)은, 각각의 잃어버려진 슬라이스 그룹(i)에 대해, missing_slice_groups_id[i]를 표시하고, 제어를 종료 블록(370)에 넘긴다.
도 4를 참조하면, 관심 구역으로 결합 스케일러블 비디오 인코딩을 위한 전형적인 방법이, 일반적으로 참조 번호(400)로 표시되어 있다. 이 방법은 확장 층의 디코딩을 시작하는 시작 블록(405)을 포함하고, 제어를 기능 블록(410)으로 넘긴다. 기능 블록(410)은 missing_slice_groups_allowed_flag를 취하고, 제어를 기능 블록(415)에 넘긴다. 각각의 잃어버려진 슬라이스 그룹(i)에 대해 기능 블록(415)은 missing_slice_groups_id[i]를 표시하고, 제어를 기능 블록(420)에 넘긴다. 기능 블록(420)은 num_missing_slice_groups를 취하고, 제어를 결정 블록(425)에 넘긴다. 결정 블록(425)은 num_missing_slice_groups가 1보다 큰지 여부를 결정한다. 만약 1보다 크다면, 제어는 기능 블록(430)으로 넘어간다. 만약 1보다 크지 않다면, 제어는 결정 블록(435)으로 넘어간다.
각각의 슬라이스 그룹(i)에 대해 기능 블록(430)은 missing_slice_group_id[i]를 읽고, 제어를 결정 블록(435)에 넘긴다.
결정 블록(435)은 ROI 구역만을 디코딩하는지 여부를 결정한다. 만약 그렇다면, 제어는 결정 블록(440)으로 넘어간다. 만약 그렇지 않다면, 제어는 결정 블록(450)으로 넘어간다.
결정 블록(440)은 슬라이스 그룹(ROI 구역을 포함하는)이 의도적으로 잃어버려지는지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(445)으로 넘어간다. 만약 그렇지 않다면, 제어는 기능 블록(460)으로 넘어간다.
기능 블록(445)은 다음 ROI 슬라이스 그룹을 디코딩하고, 제어를 종료 블록(480)으로 넘긴다.
기능 블록(460)은 잃어버린 ROI 슬라이스 그룹을 숨기고, 제어를 종료 블록(480)으로 넘긴다.
결정 블록(450)은 슬라이스 그룹이 ROI에 속하는지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(455)으로 넘어간다. 만약 그렇지 않다면, 제어는 결정 블록(465)으로 넘어간다.
기능 블록(455)은 ROI 슬라이스 그룹을 디코딩하고, 제어를 종료 블록(480)으로 넘긴다.
결정 블록(465)은 슬라이스 그룹이 의도적으로 잃어버려지는지 여부를 결정한다. 만약 그렇다면, 제어는 기능 블록(470)으로 넘어간다. 만약 그렇지 않다면, 제어는 결정 블록(460)으로 넘어간다.
기능 블록(470)은 이 슬라이스 그룹을 기본 층에서 디코딩하고, 제어를 기능 블록(475)으로 넘긴다. 기능 블록(475)은 INTRA_BL 모드를 사용하거나 나머지 없이 BL_SKIP 모드를 사용하여, 이 슬라이스 그룹을 확장 층에서 디코딩하고, 제어를 종료 블록(480)으로 넘긴다.
이제 본 발명의 많은 부수적인 장점/특징 중 일부에 대한 설명이 주어지고, 그들 중 일부는 위에서 언급되었다. 예컨대, 한 가지 장점/특징은 스케일러블 비디오 인코더이다. 스케일러블 비디오 인코더는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 화상을 인코딩하기 위한 인코더를 포함한다. 기본 층 비트 스트림과 확장 층 비트 스트림은 화상을 복수의 이미지 블록으로 분할하고, 그 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹의 전부를 인코딩하고, 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적은 개수의 것을 인코딩하여, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서 의도적으로 인코딩되지 않게 하고, 확장 층에서의 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문(syntax) 요소를 인코딩하여 형성된다.
또다른 장점/특징은 전술한 바와 같은 스케일러블 비디오 인코더로서, 확장 층 비트 스트림은 적어도 하나의 관심 구역 애플리케이션을 지원하도록 형성되어, 관심 구역을 포함하는 확장 층에서의 2개 이상의 슬라이스 그룹 중 임의의 슬라이스 그룹이 확장 층 비트 스트림에서 인코딩되고, 반면에 관심 구역이 없는 확장 층에서의 2개 이상의 슬라이스 그룹이 의도적으로 인코딩되지 않는다.
또다른 장점/특징은 전술한 바와 같은 스케일러블 비디오 인코더로서, 이 인코더가 확장 층 비트 스트림에 대응하는 시퀀스 파라미터 세트에서 missing_slice_groups_allowed_flag 필드를 추가함으로써 구문 요소를 추가한다.
또한, 또다른 장점/특징은 전술한 바와 같은 구문 요소를 추가하는 스케일러블 비디오 인코더로서, 확장 층 비트 스트림과 기본 층 비트 스트림 사이에 동일한 슬라이스 그룹 맵핑이 존재하고, missing_slice_groups_allowed_flag 필드가 1과 같을 때, num_slice_groups_minus_1 필드와 slice_group_map_type 필드에 관련되는 동일한 슬라이스 그룹 맵핑은 각각 기본 층 비트 스트림과 확장 층 비트 스트림에 대해 동일한 값을 가진다.
게다가, 또다른 장점/특징은 전술한 바와 같은 스케일러블 비디오 인코더로서, 그 인코더는 그 화상에 대해 의도적으로 코딩되지 않은 슬라이스 그룹의 품질을 명시하도록, 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 num_missing_slice_groups 필드를 추가한다.
또한, 또다른 장점/특징은 전술한 바와 같이 num_missing_slice_groups 필드를 추가하는 스케일러블 비디오 인코더로서, 이 인코더는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 missing_slice_group_id[i] 필드를 추가하여, 그 내부에서 0, 1 및 6 중 하나와 같은 slice_group_map 필드에 대한 라스터 스캔 순서로 i번째의 의도적으로 생략된 슬라이스 그룹 맵 유닛의 적어도 의도적으로 인코딩되지 않은 슬라이스 그룹을 식별한다.
또한, 또다른 장점/특징은 전술한 바와 같은 num_missing_slice_groups 필드를 추가하는 스케일러블 비디오 인코더로서, 이 인코더는 확장 층 비트 스트림에서의 마지막 슬라이스 그룹이 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹임을 표시하기 위해 2, 3, 4, 5 중 하나와 같게 slice_group_map 필드를 설정한다.
본 발명의 이들 및 다른 특징과 장점은, 본 명세서에서의 가르침에 기초하여 당업자에 의해 쉽게 확인될 수 있다. 본 발명의 가르침은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특별한 목적의 프로세서 또는 이들의 결합으로 구현될 수 있음이 이해되어야 한다.
가장 바람직하게는, 본 발명의 가르침이 하드웨어와 소프트웨어의 결합으로서 구현된다. 게다가, 그 소프트웨어는 프로그램 저장 유닛에서 명백히 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은, 임의의 적합한 아키텍처를 포함하는 기계로 업로드되고 그 기계에 의해 실행될 수 있다. 바람직하게는, 그 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM"), 입출력("I/O") 인터페이스와 같은 하드웨어를 가지는 컴퓨터 플랫폼 위에서 구현된다. 이 컴퓨터 플랫폼은 또한 운영 시스템과 마이크로인스트럭션 코드를 포함할 수 있다. 본 명세서에서 설명된 다양한 프로세스 및 기능은, 마이크로인스트럭션 코드의 부분이거나 애플리케이션 프로그램의 부분 또는 이들의 결합일 수 있고, 이들은 CPU에 의해 실행될 수 있다. 또한, 추가 데이터 저장 유닛과 프린팅(printing) 유닛과 같은 다양한 다른 주변 유닛이 컴퓨터 플랫폼에 연결될 수 있다.
또한, 첨부 도면에서 도시된 시스템 구성 성분과 방법의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 성분 또는 프로세스 기능 블록 사이의 실제 연결은, 본 발명이 프로그래밍되는 방식에 따라 상이할 수 있다는 점이 이해되어야 한다. 본 명세서에 주어진 가르침에 따라, 당업자라면 본 발명의 이들 및 유사한 구현 또는 구성을 예상해볼 수 있다.
비록, 예시적인 실시예가 첨부 도면을 참조하여 본 명세서에서 설명되었지만, 본 발명은 이들 정밀한 실시예에 제한되지 않고, 본 발명의 범주 또는 사상으로부터 벗어나지 않고 당업자에 의해 다양한 변경 및 수정이 이루어질 수 있음이 이해되어야 한다. 모든 그러한 변경 및 수정은 첨부된 청구항에서 설명된 본 발명의 범주 내에 포함되는 것으로 의도된다.
전술한 바와 같이, 본 발명은 비디오 인코딩과 디코딩, 특히 스케일러블 비디오 인코딩과 디코딩을 위한 방법 및 장치에 이용 가능하다.

Claims (36)

  1. 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 화상을 인코딩하기 위한 인코더(100)를 포함하는 장치로서, 이 인코딩은
    상기 화상을 복수의 이미지 블록으로 분할하고, 상기 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹의 전부를 인코딩하고, 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적은 개수의 것을 인코딩하여, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서 의도적으로 인코딩되지 않게 하며, 확장 층에서의 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문(syntax) 요소를 인코딩함으로써 이루어지는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  2. 제 1항에 있어서, 상기 확장 층 비트 스트림은 적어도 하나의 관심 구역 애플리케이션을 지원하도록 형성되어, 관심 구역을 포함하는 확장 층에서의 2개 이상의 슬라이스 그룹 중 임의의 슬라이스 그룹이 확장 층 비트 스트림에서 인코딩되고, 반면에 관심 구역이 없는 확장 층에서의 2개 이상의 슬라이스 그룹 중 임의 슬라이스 그룹은 의도적으로 인코딩되지 않는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  3. 제 1항에 있어서, 상기 인코더(100)는 확장 층 비트 스트림에 대응하는 시퀀스 파라미터 세트에서 missing_slice_groups_allowed_flag 필드를 추가함으로써 구문 요소를 추가하는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  4. 제 3항에 있어서, 확장 층 비트 스트림과 기본 층 비트 스트림 사이에 동일한 슬라이스 그룹 맵핑이 존재하고, missing_slice_groups_allowed_flag 필드가 1과 같을 때, num_slice_groups_minus_1 필드와 slice_group_map_type 필드에 관련되는 동일한 슬라이스 그룹 맵핑은 각각 기본 층 비트 스트림과 확장 층 비트 스트림에 대해 동일한 값을 가지는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  5. 제 1항에 있어서, 상기 인코더(100)는 상기 화상에 대해 의도적으로 코딩되지 않은 슬라이스 그룹의 양을 명시하도록, 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 num_missing_slice_groups 필드를 추가하는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  6. 제 5항에 있어서, 상기 인코더(100)는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 missing_slice_group_id[i] 필드를 추가하여, 그 내부에서 0, 1 및 6 중 하나와 같은 slice_group_map 필드에 대한 라스터 스캔 순서로 i번째의 의도적으로 생략된 슬라이스 그룹 맵 유닛의 적어도 의도적으로 인코딩되지 않은 슬 라이스 그룹을 식별하는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  7. 제 5항에 있어서, 상기 인코더(100)는 확장 층 비트 스트림에서의 마지막 슬라이스 그룹이 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹임을 표시하기 위해 2, 3, 4, 5 중 하나와 같게 slice_group_map 필드를 설정하는, 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  8. 스케일러블 비디오 인코딩을 위한 방법으로서,
    기본 층 비트 스트림과 확장 층 비트 스트림을 형성하기 위해, 화상을 인코딩하는 단계(355)를 포함하고, 이 인코딩 단계는
    상기 화상을 복수의 이미지 블록으로 분할하는 단계,
    상기 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하는 단계(310),
    기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하여, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않게 되는, 인코딩 단계(320, 340, 355), 및
    상기 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하는 단계(330)를 포함하는, 스케일러블 비디오 인코딩을 위한 방법.
  9. 제 8항에 있어서, 상기 확장 층 비트 스트림은 적어도 하나의 관심 구역 애플리케이션을 지원하도록 형성되어, 관심 구역을 포함하는 확장 층에서의 2개 이상의 슬라이스 그룹 중 임의의 슬라이스 그룹이 확장 층 비트 스트림에서 인코딩되고, 반면에 관심 구역이 없는 확장 층에서의 2개 이상의 슬라이스 그룹 중 임의 슬라이스 그룹은 의도적으로 인코딩되지 않는(310), 스케일러블 비디오 인코딩을 위한 방법.
  10. 제 8항에 있어서, 상기 인코딩 단계는 확장 층 비트 스트림에 대응하는 시퀀스 파라미터 세트에서 missing_slice_groups_allowed_flag 필드를 추가함으로써 구문 요소를 추가하는 단계(330)를 포함하는, 스케일러블 비디오 인코딩을 위한 방법.
  11. 제 10항에 있어서, 확장 층 비트 스트림과 기본 층 비트 스트림 사이에 동일한 슬라이스 그룹 맵핑이 존재하고, missing_slice_groups_allowed_flag 필드가 1과 같을 때, num_slice_groups_minus_1 필드와 slice_group_map_type 필드에 관련되는 동일한 슬라이스 그룹 맵핑은 각각 기본 층 비트 스트림과 확장 층 비트 스트림에 대해 동일한 값을 가지는(325), 스케일러블 비디오 인코딩을 위한 방법.
  12. 제 8항에 있어서, 상기 인코딩 단계는 상기 화상에 대해 의도적으로 인코딩되지 않은 슬라이스 그룹의 양을 명시하도록, 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 num_missing_slice_groups 필드를 추가하는 단계(360)를 포함하는, 스케일러블 비디오 인코딩을 위한 방법.
  13. 제 12항에 있어서, 상기 인코딩 단계는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 missing_slice_group_id[i] 필드를 추가하여, 그 내부에서 0, 1 및 6 중 하나와 같은 slice_group_map 필드에 대한 라스터 스캔 순서로 i번째의 의도적으로 생략된 슬라이스 그룹 맵 유닛의 적어도 의도적으로 인코딩되지 않은 슬라이스 그룹을 식별하는 단계(350)를 포함하는, 스케일러블 비디오 인코딩을 위한 방법.
  14. 제 12항에 있어서, 상기 인코딩 단계는 확장 층 비트 스트림에서의 마지막 슬라이스 그룹이 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹임을 표시하기 위해 2, 3, 4, 5 중 하나와 같게 slice_group_map 필드를 설정하는 단계를 포함하는, 스케일러블 비디오 인코딩을 위한 방법.
  15. 장치로서, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더(200)를 포함하는 장치로서, 이 디코딩은
    복수의 슬라이스 그룹 중 적어도 하나가 확장 층에서 의도적으로 인코딩되지 않는 것을 표시하기 위해 구문 요소를 읽고, 그 구문 요소에 의해 표시된 복수의 슬라이스 그룹 중 적어도 하나에 대한 기본 층 정보만을 사용하여 확장 층 비트 스트림을 디코딩하며, 확장 층 정보를 사용하여 확장 층에서 복수의 슬라이스 그룹 중 임의의 나머지 슬라이스 그룹을 디코딩함으로써 이루어지는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  16. 제 15항에 있어서, 상기 확장 층 비트 스트림은 관심 구역 애플리케이션을 지원하며, 관심 구역을 포함하는 복수의 슬라이스 그룹 중 임의의 슬라이스 그룹이 확장 층 비트 스트림에 포함되고, 반면에 관심 구역이 없는 복수의 슬라이스 그룹 중 임의 슬라이스 그룹은 의도적으로 생략되는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  17. 제 15항에 있어서, 상기 디코더(200)는 확장 층 비트 스트림에 대응하는 시퀀스 파라미터 세트에서 missing_slice_groups_allowed_flag 필드를 읽음으로써 구문 요소를 읽는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  18. 제 17항에 있어서, 확장 층 비트 스트림과 기본 층 비트 스트림 사이에 동일한 슬라이스 그룹 맵핑이 존재하고, missing_slice_groups_allowed_flag 필드가 1과 같을 때, num_slice_groups_minus_1 필드와 slice_group_map_type 필드에 관련 된 동일한 슬라이스 그룹 맵핑은 각각 기본 층 비트 스트림과 확장 층 비트 스트림에 대해 동일한 값을 가지는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  19. 제 15항에 있어서, 상기 디코더(200)는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서의 num_missing_slice_groups 필드를 읽어서, 상기 화상 파라미터 세트에서의 화상에 대한 의도적으로 인코딩되지 않는 복수의 슬라이스 그룹의 양을 명시하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  20. 제 19항에 있어서, 상기 디코더(200)는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 missing_slice_group_id[i] 필드를 읽어서, 그 내부에서 0, 1 및 6 중 하나와 같은 slice_group_map 필드에 대한 라스터 스캔 순서로 i번째의 의도적으로 생략된 슬라이스 그룹 맵 유닛의 적어도 하나의 의도적으로 잃어버린 슬라이스 그룹을 식별하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  21. 제 19항에 있어서, 상기 디코더(200)는 slice_group_map 필드가 2, 3, 4, 5 중 임의의 것과 같을 때, 상기 확장 층 비트 스트림에서의 마지막 슬라이스 그룹을 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹으로서 식별하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  22. 제 15항에 있어서, 상기 디코더(200)는 다중 루프(multi-loop) 디코딩이 확장 층 비트 스트림에 대해 표시된 특정 프로필에서 허용되는지 여부에 관계없이, 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 디코딩하기 위해, INTRA_BL 모드를 사용하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  23. 제 15항에 있어서, 상기 디코더(200)는 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 디코딩하기 위해 BL_SKIP 모드를 사용하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  24. 제 15항에 있어서, 상기 디코더(200)는 상기 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹이 잃어버린 것으로 검출되지만 확장 층에 대응하는 시퀀스 파라미터 세트와 화상 파라미터 세트에서는 명시되지 않을 때, 상기 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 숨기기 위해 에러 숨김(concealment) 방법을 수행하는, 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하기 위한 디코더를 포함하는 장치.
  25. 스케일러블(scalable) 비디오 디코딩을 위한 방법으로서,
    복수의 슬라이스 그룹 중 적어도 하나의 슬라이스 그룹이 확장 층에서 의도적으로 인코딩되지 않음을 표시하는 구문 요소를 읽음으로써(410),
    상기 구문 요소에 의해 표시된 복수의 슬라이스 그룹 중 적어도 하나의 슬라이스 그룹에 대한 기본 층 정보만을 사용하여 상기 확장 층 비트 스트림을 디코딩하는 단계(475), 및
    확장 층 정보를 사용하여 상기 확장 층에서 복수의 슬라이스 그룹 중 임의의 나머지 슬라이스 그룹을 디코딩하는 단계(455)에 의해 기본 층 비트 스트림과 확장 층 비트 스트림을 디코딩하는 단계를
    포함하는, 스케일러블 비디오 디코딩을 위한 방법.
  26. 제 25항에 있어서, 상기 확장 층 비트 스트림은 관심 구역 애플리케이션을 지원하여, 관심 구역을 포함하는 복수의 슬라이스 그룹 중 임의의 슬라이스 그룹이, 상기 확장 층 비트 스트림에 포함되는데 반해, 관심 구역이 없는 복수의 슬라이스 그룹 중 임의의 슬라이스 그룹은 의도적으로 생략되는, 스케일러블 비디오 디코딩을 위한 방법.
  27. 제 25항에 있어서, 상기 디코딩 단계는 상기 확장 층 비트 스트림에 대응하는 시퀀스 파라미터 세트에서 missing_slice_groups_allowed_flag 필드를 읽음으로써, 상기 구문 요소를 읽는 단계(410)를 포함하는, 스케일러블 비디오 디코딩을 위 한 방법.
  28. 제 27항에 있어서, 확장 층 비트 스트림과 기본 층 비트 스트림 사이에 동일한 슬라이스 그룹 맵핑이 존재하고, missing_slice_groups_allowed_flag 필드가 1과 같을 때, num_slice_groups_minus_1 필드와 slice_group_map_type 필드에 관련된 동일한 슬라이스 그룹 맵핑은 각각 기본 층 비트 스트림과 확장 층 비트 스트림에 대해 동일한 값을 가지는, 스케일러블 비디오 디코딩을 위한 방법.
  29. 제 25항에 있어서, 상기 디코딩 단계는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서의 num_missing_slice_groups 필드를 읽는 단계(420)를 포함하여, 상기 화상 파라미터 세트에서의 화상에 대한 의도적으로 인코딩되지 않는 복수의 슬라이스 그룹의 양을 명시하는, 스케일러블 비디오 디코딩을 위한 방법.
  30. 제 29항에 있어서, 상기 디코딩 단계는 확장 층 비트 스트림에 대응하는 화상 파라미터 세트에서 missing_slice_group_id[i] 필드를 읽는 단계(430)를 포함하여, 그 내부에서 0, 1 및 6 중 하나와 같은 slice_group_map 필드에 대한 라스터 스캔 순서로 i번째의 의도적으로 생략된 슬라이스 그룹 맵 유닛의 적어도 하나의 의도적으로 잃어버린 슬라이스 그룹을 식별하는, 스케일러블 비디오 디코딩을 위한 방법.
  31. 제 29항에 있어서, 상기 디코딩 단계는 slice_group_map 필드가 2, 3, 4, 5 중 임의의 것과 같을 때, 상기 확장 층 비트 스트림에서의 마지막 슬라이스 그룹을 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹으로서 식별하는 단계(465)를 포함하는, 스케일러블 비디오 디코딩을 위한 방법.
  32. 제 25항에 있어서, 상기 디코딩 단계는 다중 루프 디코딩이 확장 층 비트 스트림에 대해 표시된 특정 프로필에서 허용되는지 여부에 관계없이, 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 디코딩하기 위해, INTRA_BL 모드를 사용하는(475), 스케일러블 비디오 디코딩을 위한 방법.
  33. 제 25항에 있어서, 상기 디코딩 단계는 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 디코딩하기 위해 BL_SKIP 모드를 사용하는(475), 스케일러블 비디오 디코딩을 위한 방법.
  34. 제 25항에 있어서, 상기 디코딩 단계는 상기 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹이 잃어버린 것으로 검출되지만 확장 층에 대응하는 시퀀스 파라미터 세트와 화상 파라미터 세트에서는 명시되지 않을 때, 상기 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 숨기기 위해 에러 숨김 방법을 수행하는 단계(460)를 포함하는, 스케일러블 비디오 디코딩을 위한 방법.
  35. 스케일러블 비디오 인코딩을 위한 비디오 신호 구조로서,
    기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 인코딩된 화상을 포함하고, 상기 기본 층과 확장 층 비트 스트림은 상기 화상을 복수의 이미지 블록으로 분할하고, 상기 복수의 이미지 블록을 기본 층 비트 스트림에서는 1개 이상의 슬라이스 그룹으로 그룹화하고, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 2개 이상의 슬라이스 그룹 중에서 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않게 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하고, 상기 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하여 형성되는, 스케일러블 비디오 인코딩을 위한 비디오 신호 구조.
  36. 인코딩된 스케일러블 비디오 신호 데이터를 가지는 저장 매체로서,
    상기 신호는 기본 층 비트 스트림과 확장 층 비트 스트림을 형성하도록 인코딩된 화상을 포함하고, 상기 기본 층 비트 스트림과 확장 층 비트 스트림은 상기 화상을 복수의 이미지 블록으로 분할하고, 상기 복수의 이미지 블록을 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹으로 그룹화하며, 확장 층 비트 스트림에서는 2개 이상의 슬라이스 그룹으로 그룹화하며, 2개의 슬라이스 그룹 중 적어도 하나의 슬라이스 그룹이 확장 층 비트 스트림에서는 의도적으로 인코딩되지 않도록, 기본 층 비트 스트림에서는 하나 이상의 슬라이스 그룹 전부를 인코딩하고 확 장 층에서는 2개 이상의 슬라이스 그룹 전부보다는 적게 인코딩하고, 상기 확장 층에서 적어도 하나의 의도적으로 인코딩되지 않은 슬라이스 그룹을 표시하기 위해 헤더에서 구문 요소를 인코딩하여 형성되는, 인코딩된 스케일러블 비디오 신호 데이터를 가지는 저장 매체.
KR1020087007164A 2005-10-12 2006-10-03 관심 구역의 ｈ.264 스케일러블 비디오 코딩 KR101329167B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72570005P 2005-10-12 2005-10-12
US60/725,700 2005-10-12
PCT/US2006/038380 WO2007047077A2 (en) 2005-10-12 2006-10-03 Region of interest h .264 scalable video coding

Publications (2)

Publication Number Publication Date
KR20080055859A true KR20080055859A (ko) 2008-06-19
KR101329167B1 KR101329167B1 (ko) 2013-11-14

Family

ID=37890473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087007164A KR101329167B1 (ko) 2005-10-12 2006-10-03 관심 구역의 ｈ.264 스케일러블 비디오 코딩

Country Status (13)

Country Link
US (1) US8270496B2 (ko)
EP (1) EP1952638B1 (ko)
JP (1) JP5020960B2 (ko)
KR (1) KR101329167B1 (ko)
CN (1) CN101283599B (ko)
AU (1) AU2006303886B2 (ko)
BR (1) BRPI0616407B1 (ko)
CA (1) CA2624339C (ko)
MX (1) MX2008004760A (ko)
MY (1) MY152568A (ko)
RU (1) RU2417546C2 (ko)
WO (1) WO2007047077A2 (ko)
ZA (1) ZA200803018B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130152A (ko) * 2012-02-01 2014-11-07 노키아 코포레이션 비디오 코딩을 위한 방법 및 장치
WO2018236050A1 (ko) * 2017-06-20 2018-12-27 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101421936B (zh) * 2006-03-03 2016-09-21 维德约股份有限公司 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
CN102158697B (zh) * 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
US8355450B1 (en) * 2007-10-09 2013-01-15 Arris Solutions, Inc. Buffer delay reduction
KR100951465B1 (ko) * 2008-05-08 2010-04-07 엘지전자 주식회사 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
FR2930702A1 (fr) * 2008-04-23 2009-10-30 Thomson Licensing Sas Procede d'insertion, de suppression, support d'enregistrement et codeur
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
HRP20231180T1 (hr) 2011-06-30 2024-01-05 Microsoft Technology Licensing, Llc Smanjenje latencije u kodiranju i dekodiranju videozapisa
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
CN102595135B (zh) * 2012-02-24 2013-03-27 中国科学技术大学 一种可伸缩视频编码的方法及装置
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US10045032B2 (en) 2013-01-24 2018-08-07 Intel Corporation Efficient region of interest detection
EP2978220B1 (en) * 2013-03-21 2019-08-21 Sony Corporation Device and method for decoding image
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
CN105075271A (zh) * 2013-04-08 2015-11-18 索尼公司 利用shvc的关注区域可伸缩性
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN109862373B (zh) * 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9826232B2 (en) * 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
JPWO2016098280A1 (ja) * 2014-12-16 2017-11-16 日本電気株式会社 映像符号化装置、映像復号装置および映像配信システム
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
FR3064145A1 (fr) * 2017-03-16 2018-09-21 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870550A (en) 1996-02-26 1999-02-09 Network Engineering Software Web server employing multi-homed, moldular framework
US6011872A (en) 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
DE19735607A1 (de) 1997-08-15 1999-02-18 Bosch Gmbh Robert Verfahren zur Aufbereitung eines Datenstromes für die objektbasierte Codierung von Bewegtfortbildern
CA2315016C (en) 1997-12-23 2011-10-04 Thomson Licensing S.A. Low noise encoding and decoding method
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6385248B1 (en) * 1998-05-12 2002-05-07 Hitachi America Ltd. Methods and apparatus for processing luminance and chrominance image data
JP2003501902A (ja) * 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP2001268569A (ja) 2000-03-17 2001-09-28 Matsushita Electric Ind Co Ltd 任意形状オブジェクトの残余係数を符号化するための方法および装置
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
WO2002025925A2 (en) 2000-09-22 2002-03-28 Koninklijke Philips Electronics Nv Hybrid temporal-snr fine granular scalability video coding
AU2002220595A1 (en) 2000-10-11 2002-04-22 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects
JP2003209789A (ja) 2002-01-10 2003-07-25 Sony Corp データ再生装置
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040006481A1 (en) * 2002-07-03 2004-01-08 Daniel Kiecza Fast transcription of speech
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140130152A (ko) * 2012-02-01 2014-11-07 노키아 코포레이션 비디오 코딩을 위한 방법 및 장치
WO2018236050A1 (ko) * 2017-06-20 2018-12-27 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍

Also Published As

Publication number Publication date
BRPI0616407B1 (pt) 2020-08-11
CA2624339C (en) 2014-12-02
WO2007047077A2 (en) 2007-04-26
RU2417546C2 (ru) 2011-04-27
BRPI0616407A2 (pt) 2011-06-21
MY152568A (en) 2014-10-31
AU2006303886A1 (en) 2007-04-26
JP2009512342A (ja) 2009-03-19
KR101329167B1 (ko) 2013-11-14
EP1952638B1 (en) 2020-05-13
CN101283599A (zh) 2008-10-08
US20100158135A1 (en) 2010-06-24
ZA200803018B (en) 2009-07-29
RU2008118370A (ru) 2009-11-20
JP5020960B2 (ja) 2012-09-05
WO2007047077A3 (en) 2007-06-14
MX2008004760A (es) 2008-11-13
WO2007047077A9 (en) 2007-07-05
EP1952638A2 (en) 2008-08-06
US8270496B2 (en) 2012-09-18
AU2006303886B2 (en) 2011-11-17
CA2624339A1 (en) 2007-04-26
CN101283599B (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
KR101329167B1 (ko) 관심 구역의 ｈ.264 스케일러블 비디오 코딩
US8867618B2 (en) Method and apparatus for weighted prediction for scalable video coding
JP5484725B2 (ja) スケーラブルビデオコーディングのための重み付け予測方法及び装置
KR101326610B1 (ko) 매크로블록 적응적 인터-층 인트라 텍스쳐 예측을 위한 방법 및 장치
JP6792685B2 (ja) ビデオフレームを符号化する方法および装置
US11956457B2 (en) Techniques for random access point indication and picture output in coded video stream
US20220182679A1 (en) Method for output layer set for multilayered video stream
CA3137051A1 (en) Method for derivation on sublayer-wise output layer set
CA3137815A1 (en) Method for output layer set mode
CN113950841B (zh) 视频编解码的方法、系统、装置及可读介质
RU2787579C1 (ru) Указание точки произвольного доступа и вывод изображения в кодированном видеопотоке

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 6