KR20160034900A - 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스 - Google Patents

이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스 Download PDF

Info

Publication number
KR20160034900A
KR20160034900A KR1020167001286A KR20167001286A KR20160034900A KR 20160034900 A KR20160034900 A KR 20160034900A KR 1020167001286 A KR1020167001286 A KR 1020167001286A KR 20167001286 A KR20167001286 A KR 20167001286A KR 20160034900 A KR20160034900 A KR 20160034900A
Authority
KR
South Korea
Prior art keywords
blocks
group
image
coding
block
Prior art date
Application number
KR1020167001286A
Other languages
English (en)
Inventor
필리쁘 보르드
파트릭 로페즈
메멧 투르칸
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160034900A publication Critical patent/KR20160034900A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림을 디코딩하는 방법이 설명된다. 그 방법은 다음의 단계들을 포함한다: - 베이스 계층으로부터 적어도 하나의 이미지를 복원하는 단계 (20), - 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 적어도 하나의 아이템을 포함하는 디코딩된 인핸스먼트 데이터로의 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분을 디코딩하는 단계 (22), - 정보에 의해 식별된 복원된 이미지의 영역을 프로세싱하는 단계 (24), - 인핸스먼트 계층의 제 2 부분으로부터 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 단계 (26), 및 - 레지듀들로부터 그리고 프로세싱된 영역으로부터 그룹의 블록들을 복원하는 단계 (28).

Description

이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스{METHOD AND DEVICE FOR DECODING A SCALABLE STREAM REPRESENTATIVE OF AN IMAGE SEQUENCE AND CORRESPONDING CODING METHOD AND DEVICE}
본 발명은 이미지 시퀀스의 스케일러블 코딩의 일반적인 분야에 관한 것이다. 더 구체적으로, 본 발명은 또한 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는, 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법에 관한 것이다. 본 발명은 또한, 코딩 방법 및 대응하는 디바이스들에 관한 것이다.
정보가 계위적 방식으로 코딩될 수 있게 하여 이 정보가 상이한 해상도들 (공간 스케일러빌리티 (scalability)), 상이한 품질들 ("신호대 노이즈 비" 에 대한 SNR 스케일러빌리티) 에서, 상이한 색역들 또는 컬러 공간들 ("컬러 색역 스케일러빌리티" 에 대한 CGS 스케일러빌리티) 로 디코딩될 수 있게 하는 스케일러블 코딩 방법들이 공지된다. 스케일러블 코더에 의해 생성된 스트림은 상이한 계층들: 즉, 베이스 계층 및 하나 이상의 인핸스먼트 계층들로 분할된다. 그러한 디바이스들은, 상이한 송신 조건들 (대역폭, 에러 레이트 등) 에 적응하고 또한 수신 디바이스들의 용량들에 적응하는 데이터의 스트림을 생성할 수 있다. 스케일러블 코더는 베이스 계층에서의 저 해상도 이미지들에 관한 데이터의 제 1 부분 및 적어도 하나의 인핸스먼트 계층에서의 고 해상도 이미지들 (즉, 저 해상도 이미지보다 더 큰 수평 및/또는 수직 픽셀들의 수에서의 사이즈를 가짐) 에 관한 데이터의 다른 부분을 공간적으로 코딩한다. 인핸스먼트 계층에서 코딩된 데이터는 일반적으로, 저 해상도 이미지들과 고 해상도 이미지들 간의 리던던시를 감소시키고 따라서 코딩 비용을 감소시키도록 베이스 계층으로부터의 데이터를 고려함으로써 그렇게 수행된다. 도 1 에 대한 참조에 있어서, IBL 이미지들로 지칭되는 저 해상도 이미지들을 코딩하고 (10), 이 이미지들을 적어도 부분적으로 복원하고 이들을 프로세싱하며 (12), 즉, IEL 이미지들로 지칭되는 고 해상도 이미지들의 사이즈로 이들을 리샘플링하는 것이 공지된다. 이러한 방식으로 리샘플링된 IBL 이미지들은 그 코딩 (14) 을 위하여 IEL 이미지들을 예측하는데 사용된다. 상이한 계층들은, 가능하게는, 단일의 스케일러블 스트림 (S) 으로 멀티플렉싱 (16) 될 수 있다. 스케일러블 코딩은 공간적으로 스케일러블한 코딩으로 제한되지 않는다. 따라서, 제 1 컬러 공간에서 표현된 이미지들에 관한 데이터를 베이스 계층에서 코딩하고 그리고 제 1 컬러 공간과는 상이한 제 2 컬러 공간에서 표현된 이미지들에 관한 데이터를 적어도 하나의 인핸스먼트 계층에서 코딩하는 스케일러블 코더들이 공지된다. 그 후, 적어도 부분적으로 복원된 베이스 계층의 이미지들이 프로세싱되어, 컬러의 관점에서의 그 특성들이 인핸스먼트 계층의 이미지들의 특성들에 근접하게 한다. 이러한 방식으로 프로세싱된 IBL 이미지들은 그 코딩을 위하여 IEL 이미지들을 예측하는데 사용된다.
일반적으로, 베이스 계층의 이미지는 인핸스먼트 계층의 레퍼런스 이미지 버퍼 또는 DPB (디코딩 픽처 버퍼) 에 저장되기 전에 완전히 프로세싱된다. 베이스 계층의 이미지의 프로세싱은, 예를 들어, 예측하는데 사용되는 인핸스먼트 계층의 이미지의 디코딩 직전에 실행된다. 그러한 솔루션은, 계산들의 관점에서 고가일 수 있는 복원된 베이스 계층의 전체 이미지의 프로세싱을 요구한다.
변형예에 따르면, 인핸스먼트 계층의 블록이 베이스 계층의 이미지로부터 복원될 때, 블록의 코딩 모드가 그것을 표시한다. 따라서, 디코딩할 때, 인핸스먼트 계층의 그러한 블록이 이 블록의 코딩 모드를 체크하고 그리고 오직 당해 블록을 복원하는데 필요한 복원된 베이스 계층의 이미지의 영역만을 프로세싱하는 것이 가능하다. 이 경우, 당해 블록을 복원하는데 필요한 복원된 베이스 계층의 이미지의 프로세싱은 블록의 코딩 모드의 디코딩 직후에 실행된다. 이러한 솔루션은, 오직 인핸스먼트 계층의 이미지들을 복원하는데 필요한 베이스 계층의 복원된 이미지들의 영역들만이 프로세싱될 때 계산의 관점에서 경제적이다. 하지만, 이러한 솔루션은 복원된 베이스 계층의 이미지들을 저장하는 버퍼로의 다수의 액세스들을 요구하고 프로세싱 기능에 대한 다수의 호출들을 요구한다. 실제로, 프로세싱 기능은, 코딩 모드가 베이스 계층 이미지 (예를 들어, 계층간 모드) 와 관련하여 예측됨을 나타내는 블록이 디코딩됨에 따라 수회 호출된다.
본 발명의 목적은 종래기술의 단점들 중 적어도 하나를 극복하는 것이다. 이러한 목적으로, 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림을 디코딩하는 방법이 설명된다. 그 방법은:
- 베이스 계층으로부터 적어도 하나의 이미지를 복원하는 단계,
- 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 적어도 하나의 아이템을 포함하는 디코딩된 인핸스먼트 데이터로의 블록들의 그룹에 관한 적어도 하나의 인핸스먼트 계층의 제 1 부분을 디코딩하는 단계,
- 정보에 의해 식별된 복원된 이미지의 적어도 하나의 영역을 프로세싱하는 단계,
- 적어도 하나의 인핸스먼트 계층의 제 2 부분으로부터 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 단계, 및
- 레지듀들로부터 그리고 프로세싱된 적어도 하나의 영역으로부터 그룹의 블록들을 복원하는 단계를 포함한다.
이러한 디코딩 방법은, 프로세싱 기능으로의 액세스들의 수를 유리하게 감소시키지만 또한 오직 복원된 베이스 계층의 이미지의 유용한 영역들만을 프로세싱한다.
특정 실시형태에 따르면, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보는, 블록이 프로세싱되어야 하는지 여부를, 블록들의 그룹의 블록에 대응하는 복원된 이미지의 각각의 블록에 대해, 표시하는 맵이다.
변형예에 따르면, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보는, 블록이 그 복원을 위해 복원된 이미지의 프로세싱된 블록을 사용하면, 블록들의 그룹의 각각의 블록에 대해 표시하는 맵이다.
본 발명의 특정한 특성에 따르면, 베이스 계층은, 적어도 하나의 인핸스먼트 계층보다 더 낮은 레벨의 다른 인핸스먼트 계층이다.
유리하게, 그 방법은, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩되는지 여부를 표시하는 블록들의 적어도 하나의 그룹에 대한 부가적인 정보 아이템의 인핸스먼트 계층으로부터의 디코딩 단계를 포함한다.
본 발명의 특정한 특성에 따르면, 블록들의 그룹은 이미지 슬라이스 또는 이미지이다.
본 발명의 다른 양태에 따르면, 디코딩 방법은 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩될 수 있는지 여부를 표시하는 제 1 부가적인 정보 아이템의 인핸스먼트 계층으로부터의 디코딩 단계를 포함한다.
본 발명의 특정한 특성에 따르면, 제 1 부가적인 정보 아이템은 적어도 하나의 이미지에 대해 디코딩되고, 그 방법은, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩될 수 있음을 제 1 부가적인 정보 아이템이 표시할 경우, 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩되는지 여부를 블록들의 그룹에 대해 표시하는 제 2 부가적인 정보 아이템의 인핸스먼트 계층으로부터의 디코딩 단계를 포함한다.
베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림의 형태로의 이미지들의 시퀀스의 코딩 방법이 또한 설명된다. 그 코딩 방법은:
- 베이스 계층에서 코딩하고 적어도 하나의 이미지를 복원하는 단계,
- 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분에서 인핸스먼트 데이터를 코딩하는 단계로서, 인핸스먼트 데이터는 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는, 상기 인핸스먼트 데이터를 코딩하는 단계,
- 정보에 의해 식별된 복원된 이미지의 적어도 하나의 영역을 프로세싱하는 단계,
- 그룹의 블록들로부터 그리고 프로세싱된 적어도 하나의 영역으로부터 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 단계, 및
- 인핸스먼트 계층의 제 2 부분에서 레지듀들을 코딩하는 단계를 포함한다.
특정 실시형태에 따르면, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보는, 블록이 프로세싱되어야 하는지 여부를, 블록들의 그룹의 블록에 대응하는 복원된 이미지의 각각의 블록에 대해, 표시하는 맵이다.
변형예에 따르면, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보는, 블록이 그 복원을 위해 복원된 이미지의 프로세싱된 블록을 사용하는지를, 블록들의 그룹의 각각의 블록에 대해 표시하는 맵이다.
본 발명의 특정한 특성에 따르면, 베이스 계층은, 적어도 하나의 인핸스먼트 계층보다 더 낮은 레벨의 다른 인핸스먼트 계층이다.
유리하게, 그 방법은 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩되는지 여부를 표시하는 블록들의 적어도 하나의 그룹에 대한 부가적인 정보 아이템의 인핸스먼트 계층에서의 코딩 단계를 포함한다.
변형예로서, 코딩 방법은 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩될 수 있는지 여부를 표시하는 제 1 부가적인 정보 아이템의 인핸스먼트 계층에서의 코딩 단계를 포함한다.
본 발명의 특정한 특성에 따르면, 제 1 부가적인 정보 아이템은 적어도 하나의 이미지에 대해 코딩되고, 그 방법은, 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩될 수 있음을 제 1 부가적인 정보 아이템이 표시할 경우, 복원된 이미지의 적어도 하나의 영역을 식별하는 정보가 블록들의 그룹에 대해 코딩되는지 여부를 블록들의 그룹에 대해 표시하는 제 2 부가적인 정보 아이템의 인핸스먼트 계층에서의 코딩 단계를 포함한다.
베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림을 디코딩하기 위해 구성된 디코더가 또한 설명된다. 디코더는:
- 베이스 계층으로부터 적어도 하나의 이미지를 복원하는 수단,
- 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 적어도 하나의 아이템을 포함하는 디코딩된 인핸스먼트 데이터로의 블록들의 그룹에 관한 적어도 하나의 인핸스먼트 계층의 제 1 부분을 디코딩하는 수단,
- 정보에 의해 식별된 복원된 이미지의 적어도 하나의 영역을 프로세싱하는 수단,
- 적어도 하나의 인핸스먼트 계층의 제 2 부분으로부터 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 수단, 및
- 레지듀들로부터 그리고 프로세싱된 적어도 하나의 영역으로부터 그룹의 블록들을 복원하는 수단을 포함한다.
디코더는 실시형태들 중 하나에 따른 디코딩 방법의 단계들을 실행하도록 구성된다.
베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림의 형태로 이미지들의 시퀀스를 코딩하도록 구성된 코더가 또한 설명되며, 그 코더는:
- 베이스 계층에서 코딩하고 적어도 하나의 이미지를 복원하는 수단,
- 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분에서 인핸스먼트 데이터를 코딩하는 수단으로서, 인핸스먼트 데이터는 프로세싱하기 위한 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는, 상기 인핸스먼트 데이터를 코딩하는 수단,
- 정보에 의해 식별된 복원된 이미지의 적어도 하나의 영역을 프로세싱하는 수단,
- 그룹의 블록들로부터 그리고 프로세싱된 적어도 하나의 영역으로부터 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 수단, 및
- 인핸스먼트 계층의 제 2 부분에서 레지듀들을 코딩하는 수단을 포함한다.
코더는 설명된 실시형태들 중 하나에 따른 코딩 방법의 단계들을 실행하도록 구성된다.
이미지들의 시퀀스를 나타내는 코딩된 데이터 스트림은 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하고, 베이스 계층은 베이스 계층의 적어도 하나의 이미지에 대한 데이터를 포함하고, 인핸스먼트 계층은, 복원 이후 프로세싱하기 위한 베이스 계층의 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는 인핸스먼트 데이터를 블록들의 그룹에 관한 제 1 부분에서 포함하고 그리고 그룹의 적어도 하나의 블록으로부터 그리고 프로세싱된 적어도 하나의 영역으로부터 획득되는 레지듀들을 나타내는 데이터를 제 2 부분에서 포함한다.
프로그램이 컴퓨터 상에서 실행될 경우, 실시형태들 중 하나에 따른 디코딩 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품이 설명된다.
프로그램이 컴퓨터 상에서 실행될 경우, 실시형태들 중 하나에 따른 코딩 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품이 설명된다.
본 발명은, 첨부 도면들을 참조하여, 비-한정적인 실시형태들 및 유리한 구현들에 의해 더 잘 이해되고 예시될 것이다.
도 1 은 종래기술에 따른 코딩 방법을 도시한다.
도 2 는 본 발명의 특정한 그리고 비-한정적인 실시형태에 따른 디코딩 방법을 도시한다.
도 3 및 도 4 는 프로세싱하기 위한 복원된 베이스 계층의 이미지의 적어도 하나의 영역을 식별하기 위해 특정 맵 형태로 정보 (info) 의 아이템을 도시한다.
도 5 내지 도 7 은 본 발명의 상이한 실시형태들에 따른 인핸스먼트 계층의 부분들을 도시한다.
도 8 은 본 발명의 특정한 그리고 비-한정적인 실시형태에 따른 코딩 방법을 도시한다.
도 9 및 도 10 은 본 발명의 특정한 그리고 비-한정적인 실시형태들에 따른 디코딩 디바이스를 도시한다.
도 11 및 도 12 는 본 발명의 특정한 그리고 비-한정적인 실시형태들에 따른 코딩 디바이스를 도시한다.
본 발명은 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는, 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 디바이스에 관한 것이다.
이미지 시퀀스는 수개의 이미지들의 시리즈이다. 각각의 이미지는 픽셀들 또는 이미지 포인트들을 포함하고, 그 각각은 이미지 데이터의 적어도 하나의 아이템과 연관된다. 이미지 데이터의 아이템은, 예를 들어, 루미넌스 데이터의 아이템 또는 크로미넌스 데이터의 아이템이다. 본 설명의 나머지에서, 코딩 및 디코딩 방법들은 픽셀들의 블록들을 참조하여 설명된다. 이들 방법들은 하나 이상의 이미지들의 복원물을 각각 코딩하기 위해 이미지의 수개의 블록들에 그리고 시퀀스의 수개의 이미지들에 적용될 수 있음이 명확하다. 스케일러빌리티의 특정 케이스에서, 스케일러블 스트림은 이미지 시퀀스를 상이한 버전들로, 예를 들어, 상이한 해상도들, 상이한 색역들/컬러 공간들 등으로 나타낸다.
표현 "모션 데이터" 는 최광의 의미로 이해되어야 한다. 이는 레퍼런스 이미지로 하여금 이미지 시퀀스에서 식별될 수 있게 하는 모션 벡터들 및 가능하게는 레퍼런스 이미지 인덱스들을 의미한다. 이는 또한, 예측 블록을 결정하는데 사용된 보간 타입을 표시하는 정보의 아이템을 포함할 수 있다. 사실상, 블록 (Bc) 과 연관된 모션 벡터가 정수 좌표를 갖지 않는 경우, 이미지 데이터는 예측 블록을 결정하기 위해 레퍼런스 이미지 (Iref) 에서 보간되어야 한다. 블록과 연관된 모션 데이터는 일반적으로 모션 추정 방법에 의해, 예를 들어, 블록 페어링에 의해 계산된다. 하지만, 본 발명은 모션 벡터로 하여금 블록과 연관될 수 있게 하는 방법에 의해 결코 제한되지 않는다.
표현 "잔차 데이터" 는 다른 데이터의 추출 이후에 획득된 데이터를 나타낸다. 추출은 일반적으로, 소스 데이터로부터의 예측 데이터의 픽셀단위 감산이다. 하지만, 추출은 더 일반적이고, 특히 가중된 감산을 포함한다. 표현 "잔차 데이터" 는 용어 "레지듀" 와 동의어이다.
표현 "변환된 잔차 데이터" 는 변환이 적용되었던 잔차 데이터를 나타낸다. DCT (이산 코사인 변환) 는, 2003년 9월 J. Wiley & Sons사에 의해 간행된 "H.264 and MPEG-4 video compression" 의 명칭의 I. E. Richardson 에 의한 서적의 3.4.2.2 장에 기술된 그러한 변환의 예이다. I. E. Richardson 에 의한 서적의 3.4.2.3 장에 기술된 웨이블릿 변환 및 하다마드 변환은 다른 예들이다. 그러한 변환들은 이미지 데이터의 블록, 예를 들어, 루미넌스 및/또는 크로미넌스 잔차 데이터를, "변환된 블록", "주파수 데이터 블록" 또는 "계수들의 블록" 으로 또한 지칭되는 "변환된 데이터의 블록" 으로 "변환"한다. 계수들의 블록은 일반적으로, 직류 계수 또는 DC 계수의 이름으로 공지된 저 주파수 계수, 및 AC 계수들의 이름으로 공지된 고 주파수 계수들을 포함한다.
표현 "예측 데이터" 는 다른 데이터를 예측하는데 사용된 데이터를 나타낸다. 예측 블록 또는 예측자는, 예측 데이터가 연관되는 픽셀들의 블록이다.
예측 블록은 예측 (공간 예측 또는 인트라-이미지 예측) 하는 블록에 속하는 이미지와 동일한 이미지의 블록 또는 수개의 블록들로부터, 또는 예측하는 블록이 속하는 이미지의 상이한 이미지 (시간 예측 또는 이미지간 예측) 의 하나 (단방향 예측) 또는 수개의 블록들 (양방향 또는 양측 예측식 예측) 로부터 획득된다. 스케일러블 케이스에 있어서, 예측 블록은 또한, 베이스 계층의 이미지의 적어도 하나의 블록으로부터 인핸스먼트 계층의 블록, 예를 들어, 공동 위치된 블록 (계층간 예측) 에 대해 획득될 수 있다.
표현 "예측 모드" 는, 블록이 예측되는 방식을 나타낸다. 표현 "코딩 모드" 는, 블록이 스트림에서 코딩되는 방식을 나타낸다. 예측된다면 예측 모드를 포함한다. 예측 모드들 중, 공간 예측에 대응하는 인트라 모드, 시간 예측에 대응하는 인터 모드, 계층간 예측에 대응하는 계층간 모드가 존재한다. 계층간 모드는, 베이스 계층의 복원된 이미지가 인핸스먼트 계층의 레퍼런스 버퍼에 저장되면 인터 모드와 같이 구현될 수 있음을 유의한다. 따라서, 표준 인터 모드들은, 레퍼런스 인덱스의 값에 의해 계층간 모드에 대응하는 인터 모드로부터 구별된다. 예측 모드는, 블록이 코딩되도록 파티셔닝되는 방식을 명시할 수 있다. 따라서, 사이즈 16×16 의 블록과 연관된 8×8 인터 예측 모드는 16×16 블록이 4개의 8×8 블록들로 파티셔닝되고 시간 예측에 의해 예측됨을 나타낸다.
표현 "복원된 데이터" 는, 레지듀들을 예측 데이터와 병합한 이후에 획득된 데이터 (예를 들어, 픽셀들, 블록들) 를 나타낸다. 병합은 일반적으로, 레지듀들과 예측 데이터의 합이다. 하지만, 병합하는 것은 더 일반적이고, 특히 가중된 합을 포함한다. 복원된 블록은 복원된 픽셀들의 블록이다.
현재 블록의 "인과 (causal) 이웃 영역" 은, 픽셀 코드들을 포함하고/현재 블록의 픽셀 코드들 이전에 복원되었던 이 블록의 이웃 영역을 나타낸다.
이미지 디코딩에 대한 참조에 있어서, 용어들 "복원" 및 "디코딩" 은 동의어인 것으로서 매우 종종 사용된다. 따라서, "복원된 블록" 은 또한, "디코딩된 블록" 의 용어 하에서 명시된다.
용어 "코딩" 은 최광의 의미로 취해져야 한다. 코딩은 가능하게는, 이미지 데이터의 변환 및/또는 양자화를 포함할 수 있다. 이는 또한 오직 엔트로피 코딩만을 명시할 수 있다.
도 2 는 본 발명의 특정한 그리고 비-한정적인 실시형태에 따른, 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림 (S) 의 디코딩 방법을 도시한다. 자연적으로, 베이스 계층 및 인핸스먼트 계층에 대해 설명되는 본 발명은 상이한 레벨들의 2개의 인핸스먼트 계층들에 적용될 수 있으며, 하위 인핸스먼트 계층은 상위 레벨 계층에 대한 베이스 계층의 역할을 한다.
단계 20 동안, 베이스 계층의 적어도 하나의 이미지 (IBL) 가 베이스 계층으로부터 복원된다. 이러한 목적으로, 베이스 계층은 엔트로피 디코딩에 의해, 예를 들어, CABAC 디코딩 ("컨텍스트 적응 바이너리 산술 코딩") 또는 CAVLC ("컨텍스트 적응 가변 길이 코딩") 디코딩에 의해 적어도 부분적으로 디코딩된다. 디코딩된 데이터는 특히, 레지듀들을 나타내는 데이터, 예를 들어, 양자화된 DCT 계수들, 코딩 모드들, 가능하게는 모션 데이터를 포함한다. 이미지의 현재 블록에 대한 이미지 (IBL) 의 복원은 블록의 코딩 모드에 따라 공간 또는 시간 예측자를 획득하는 것을 포함한다. 예측자는, 복원하기 위한 현재 블록과 동일한 이미지에서 (공간 예측) 또는 레퍼런스 이미지로 지칭된 다른 이미지에서 (시간 예측), 이전에 복원된 이미지의 부분으로부터 획득된다. 예측자는 레지듀들에 부가되어 현재 블록을 복원한다. 레지듀들은, 예를 들어, 베이스 계층의 엔트로피 디코딩 동안에 획득된 레지듀들에 관한 데이터의 역양자화 및 역변환에 의해 획득된다. 용어 "역" 은, 디코더 상의 양자화 및 변환 동작들이 코더 상에서 사용된 것들과는 정반대임을 나타내는데 사용된다. 변형예에 따르면, 현재 블록이 (예를 들어, H.264 의 IPCM 인트라 모드에 따라) 예측없이 코딩되는 특정 케이스에서, 어떠한 예측자도 레지듀들에 부가되지 않는다. 레지듀들은, 후자의 케이스에 있어서, 복원된 현재 블록에 직접 대응한다. 다른 변형예에 따르면, 레지듀들은 널 (null) 이다. 이는, 특히, 스킵 모드로 지칭된 특정 코딩 모드에 따라 코딩된 현재 블록에 대한 케이스이다. 이 케이스에 있어서, 복원된 현재 블록은 예측 블록이다. 현재 블록에 대해 기술되는 복원 프로세스는 베이스 계층의 이미지 (IBL) 를 복원하도록 재반복된다. 자연적으로, 이 프로세스는 또한, 베이스 계층의 모든 이미지들을 복원하도록 재반복될 수 있다.
단계 22 동안, 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분 (EL1) 이 디코딩된 인핸스먼트 데이터로 디코딩되며, 블록들의 그룹은 복원하기 위한 인핸스먼트 계층의 이미지에 속한다. 부분 (EL1) 은 엔트로피 디코딩에 의해, 예를 들어, CABAC 디코딩에 의해 디코딩된다. 따라서, 디코딩된 인핸스먼트 데이터는 복원하기 위한 인핸스먼트 계층의 이미지의 블록들의 그룹에 관한 정보를 포함한다. 블록들의 그룹은, 예를 들어, 이미지 또는 이미지 슬라이스이다. 예를 들어, 이러한 인핸스먼트 데이터는 이미지 슬라이스 헤더, PPS (픽처 파라미터 세트) 또는 심지어 메시지 SEI (보충 인핸스먼트 정보) 를 디코딩함으로써 획득된다. 용어들 PPS 및 SEI 는 특히, 비디오 코딩 표준 H.264 를 기술하는 ISO/IEC 문서 14496-10 의 3.107 절 (정의) 및 부록 D 에 각각 정의된다. 실제로, 그러한 엘리먼트들은 블록들의 그룹에 관한 정보를 포함한다. 하지만, 이미지 슬라이스는 오직 단일 블록만을 포함할 수 있음을 유의한다. 하지만, 단일 블록의 이미지 슬라이스들로 이미지들을 코딩하는 것은 비트레이트 관점에서 비효과적이다. 각각의 슬라이스가 수개의 블록들, 예를 들어, 2개의 블록들을 포함하는 슬라이스 코딩은 공통 정보를 함께 그룹핑하고, 따라서, 각각의 블록의 헤더들에서 동일한 정보를 복제하는 것을 방지한다. 유리하게, 이러한 디코딩된 인핸스먼트 데이터는 프로세싱하기 위한, 단계 20 에서 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보 (info) 의 아이템을 포함한다. 따라서, 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분 (EL1) 의 디코딩으로부터, 디코더는 프로세싱하기 위한 복원된 이미지 (IBL) 의 영역, 즉, 인핸스먼트 계층의 이미지의 복원 동안 효과적으로 사용될 영역을 안다. 따라서, 이러한 정보는, 인핸스먼트 계층의 이미지의 복원 동안에 사용될 것이고 따라서 프로세싱되어야 하는 복원된 이미지 (IBL) 의 영역들과, 사용되지 않을 것이고 따라서 프로세싱되지 않아야 하는 영역들과의 사이를 구별할 수 있다.
이러한 정보 (info) 는, 예를 들어, 베이스 계층의 대응하는 영역 예를 들어 블록이 프로세싱되어야 하는지 여부를 인핸스먼트 계층의 블록들의 그룹의 각각의 블록에 대해 표시하는 맵의 형태로 제시된다. 복원된 이미지 (IBL) 의 영역은, 프로세싱 이후 공동위치되면, 즉, 가능하게는 동일한 공간 포지션을 이미지에 점유시키면 (공간 스케일러빌리티 케이스), 인핸스먼트 계층의 이미지의 블록에 대응한다.
변형예로서, 정보 (info) 는 예를 들어, 이 영역이 프로세싱되어야 하는지 여부를, 블록들의 그룹의 블록에 대응하는 복원된 이미지 (IBL) 의 각각의 영역 예를 들어 블록에 대해, 표시하는 맵의 형태로 제시된다.
베이스 계층에 관련되든지 또는 인핸스먼트 계층에 관련되는지에 무관한 이러한 정보는, 예를 들어, 각각의 CTU (코딩 트리 유닛) 에 대한 또는 예컨대 도 3 에 도시된 바와 같이 각각의 매크로블록에 대한 HEVC 표준의 경우에, 정규 맵의 형태로 코딩된다. 일 실시형태의 변형예에 따르면, 이러한 정보는, 예를 들어, 도 4 에 도시된 바와 같이 각각의 CU (코딩 유닛) 에 대한 HEVC 표준의 경우에 비정규 맵의 형태로 코딩된다. 이들 도면들에 있어서, 값 0 은 복원된 영역 (IBL) 이 프로세싱되지 않음을 나타내고, 값 1 은 프로세싱됨을 나타낸다. 자연적으로, 그 역이 관례에 의해 선택될 수 있다. 이러한 정보는 엔트로피 디코딩, 예를 들어, CAVLC 또는 CABAC 에 의해 디코딩된다.
단계 24 동안, 단계 22 에서 디코딩된 정보 (info) 에 의해 식별된 복원된 베이스 계층의 이미지의 영역 또는 영역들이 프로세싱된다. 그 프로세싱은, 예를 들어, 공간 스케일러빌리티의 경우 영역의 리샘플링, CGS 스케일러빌리티의 경우 컬러 변환, SNR 스케일러빌리티의 경우 노이즈 감소 필터링이다.
이러한 솔루션은 유리하게, 오직 복원된 이미지 (IBL) 의 유용한 영역들만이 인핸스먼트 계층의 이미지 (IEL) 의 블록들의 복원에서 프로세싱, 즉, 사용될 수 있게 한다. 더욱이, 이에 따라 전진함으로써, 베이스 계층의 유용한 영역들은, 블록들의 그룹의 블록들의 복원 전에 프로세싱되고, 따라서, 복원된 베이스 계층의 이미지 버퍼로의 너무 빈번한 액세스들과 프로세싱 기능에 대한 너무 많은 호출들을 회피하는 블록들의 그룹의 복원 동안 모두 이용가능하다.
단계 26 동안, 레지듀들이, 인핸스먼트 계층의 제 2 부분 (EL2) 으로부터 블록들의 그룹의 적어도 하나의 블록에 대해 획득된다. 변형예에 따르면, 레지듀들은 블록들의 그룹의 각각의 블록에 대해 획득된다. 이러한 제 2 부분은 레지듀들을 나타내는 데이터, 예를 들어, 레지듀들이 계산되는 양자화된 DCT 계수들, 또는 그렇지 않으면, 이들 레지듀들이 널임을 나타내는 특정 코딩 모드 (스킵 모드) 를 포함한다. 이러한 단계는, 가능하게는, 레지듀들 (res) 을 획득하기 위해 제 2 부분의 데이터, 예를 들어, 양자화된 DCT 계수들의 엔트로피 디코딩, 역양자화 및 역변환을 포함한다. 이러한 제 2 부분은, 가능하게는, 모션 데이터를 포함한다.
단계 28 동안, 그룹의 블록들이 레지듀들 (res) 로부터 그리고 프로세싱된 영역으로부터 복원된다. 이러한 목적으로, 그룹의 각각의 블록에 대해, 예측자는 이전에 복원된 이미지 부분으로부터, 또는 복원하기 위한 그룹의 현재 블록과 동일한 이미지로부터 (공간 예측), 또는 인핸스먼트 계층의 다른 이미지로부터 (시간 예측), 또는 심지어, 프로세싱된 복원된 이미지 (IBL) 의 영역으로부터 (계층간 예측) 획득된다. 예측자는 현재 블록의 레지듀들에 부가되어 현재 블록을 복원한다. 변형예에 따르면, 현재 블록이 (예를 들어, H.264 의 IPCM 코딩 모드에 따라) 예측없이 코딩되는 특정 케이스에서, 어떠한 예측자도 현재 블록의 레지듀들에 부가되지 않음을 유의한다. 레지듀들은, 후자의 케이스에 있어서, 복원된 현재 블록에 직접 대응한다. 블록들의 그룹에 있어서, 코딩 모드들은 변경될 수 있으며, 일부 블록들은 IPCM 모드에 따라, 공간 예측에 의해, 다른 것들은 시간 예측에 의해, 다른 것들은 계층간 예측에 의해 그리고 심지어 다른 것들은 스킵 모드에 따라 코딩된다.
특정 실시형태에 따르면, 부가적인 정보 아이템은 스케일러블 스트림으로부터, 더 정확하게는, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 아이템이 블록들의 이러한 그룹에 대해 코딩되는지 여부를 블록들의 그룹에 대해 표시하는 이미지 슬라이스 헤더의 또는 PPS 의 예를 들어 인핸스먼트 계층으로부터, 디코딩된다. 이러한 특정 정보를 사용하여, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩되는지 여부를 각각의 이미지에 대해 또는 심지어 각각의 이미지 슬라이스에 대해 명시하는 것이 가능하다.
부가적인 정보는, 예를 들어, 플래그, 즉, 바이너리 데이터이다. 단순한 예시적인 예로서, 제 1 PPS1 은, 프로세싱하기 위한 복원된 이미지 (IBL) 의 영역을 식별하는 정보의 아이템이 코딩됨을 표시하는 Flg1, 예를 들어, 1 과 동일한 부가적인 값으로 디코딩된다. 제 2 PPS1 은, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보가 코딩되지 않음을 표시하는 Flg2, 예를 들어, 0 과 동일한 부가적인 값으로 디코딩된다. 따라서, 인핸스먼트 계층의 각각의 이미지는, 그 케이스에 따라, PPS 의 하나 또는 다른 하나를 참조할 수 있다. 인핸스먼트 계층의 이미지 (IEL) 가 제 1 PPS1 을 참조하면, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 아이템은, 예를 들어, 도 5 에 도시된 바와 같이 인핸스먼트 계층의 이미지의 각각의 슬라이스 헤더에서 디코딩된다. 이미지 (JEL) 가 PPS2 를 참조하는 경우, 정보 (info) 의 어떠한 아이템도 존재하지 않는다. 변형예에 따르면, 이러한 플래그는 각각의 이미지 슬라이스 헤더에서 코딩될 수 있으며, 이 경우, 그 값이, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩됨을 표시하면, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 이러한 아이템은 도 6 에 도시된 바와 같이 부가적인 정보 스트림 (Flg) 에 뒤따른다.
도 7 에 의해 예시된 다른 실시형태에 따르면, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보 (info) 가 블록들의 그룹에 대해 디코딩될 수 있는지 여부를 표시하는 제 1 부가적인 정보 아이템 (Flg1) 이 인핸스먼트 계층으로부터 디코딩된다. 이러한 제 1 부가적인 정보 아이템 (Flg1) 은, 예를 들어, PPS 로부터 디코딩된다. 예를 들어, 그 값이 0 이면, 이는, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 어떠한 아이템도 그 스트림으로부터 디코딩될 수 없음을 나타낸다. 그 값이 1 이면, 이는, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 아이템이 디코딩될 수 있음을 나타낸다. 이 경우, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보 (info) 의 아이템이 블록들의 이러한 그룹에 대해 코딩되는지 여부를 블록들의 그룹에 대해 표시하는 제 2 부가적인 정보 아이템 (Flg2) 이, 예를 들어, 각각의 이미지 슬라이스의 헤더에서 디코딩된다. 제 2 부가적인 정보 아이템이, 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보의 상기 아이템이 코딩됨을 블록들의 그룹에 대해 표시하는 경우, 정보 (info) 의 이러한 아이템은 그 스트림에서 제 2 정보 아이템을 뒤따른다. 이러한 솔루션은 더 큰 유연성을 가능케 한다.
도 8 은 본 발명의 특정한 그리고 비-한정적인 실시형태에 따른, 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림의 형태로의 이미지 시퀀스의 코딩 방법을 도시한다. 디코딩 방법과 관련하여 설명된 것들과 동일한 변형예들이, 본 설명의 나머지에서 명시적으로 기술되지 않을 수도 있는 경우라도 코딩 방법에 적용된다.
단계 80 동안, 베이스 계층의 적어도 하나의 이미지 (IBL) 가 베이스 계층에서 코딩된다. 코딩은 일반적으로, 이미지의 블록들에 대해, 블록들의 공간적 또는 시간적 예측, 코딩하기 위한 블록으로부터 예측자를 감산하는 것에 의한 레지듀들의 획득, 엔트로피 코딩 전의 레지듀들의 변환 및 양자화를 포함한다. 디코딩 방법과 관련하여 설명된 동일한 코딩 모드들이, 특히, AVC 의 스킵 모드 및 IPCM 코딩 모드가 사용될 수 있다. 코딩 모드들, 가능하게는, 모션 데이터와 같은 다른 데이터가 또한 코딩된다. 코딩은 베이스 계층의 이미지의 복원을 포함한다. 그 후, 실제로, 후자는 다른 데이터의 예측을 위해 사용될 수 있다. 이들 단계들은 비디오 코딩의 당업자에게 널리 공지되어 있으며, 추가적으로 상세히 설명되지 않을 것이다. 그 프로세스는 전체 시퀀스를 코딩하도록 베이스 계층의 모든 이미지들에 대해 재반복될 수 있다.
단계 82 동안, 인핸스먼트 데이터는, 복원하기 위한 인핸스먼트 계층의 이미지의 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분 (EL1) 에서 코딩된다. 블록들의 그룹은, 예를 들어, 이미지 또는 이미지들의 슬라이스이다. 예를 들어, 이러한 인핸스먼트 데이터는 이미지 슬라이스 헤더에서, PPS 에서, 또는 심지어 SEI 메시지에서 코딩된다. 실제로, 그러한 엘리먼트들은 블록들의 그룹에 관한 정보를 포함한다. 하지만, 이미지 슬라이스는 오직 단일 블록만을 포함할 수 있음을 유의한다. 하지만, 단일 블록의 이미지 슬라이스들로 이미지들을 코딩하는 것은 비트레이트 관점에서 비효과적이다. 각각의 슬라이스가 수개의 블록들, 예를 들어, 2개의 블록들을 포함하는 슬라이스 코딩은 공통 정보를 함께 그룹핑하고, 따라서, 각각의 블록의 헤더들에서 동일한 정보를 복제하는 것을 방지한다. 유리하게, 이러한 코딩된 인핸스먼트 데이터는 프로세싱하기 위한 복원된 이미지 (IBL) 의 적어도 하나의 영역을 식별하는 정보 (info) 의 아이템을 포함한다. 예를 들어, 이러한 정보는 코딩 모드에 대해 판정하는 이전 단계 동안에 획득된다. 실제로, 그룹의 블록들의 코딩 모드들이 선택되자 마자, 예를 들어, 비트레이트-왜곡 타입 기준을 최소화함으로써, 이러한 맵이 구성될 수 있다. 실제로, 계층간 예측 모드에 대응하는 맵의 모든 블록들은, 프로세싱된 복원된 베이스 계층의 이미지의 블록과 관련하여 예측된다. 그 후, 이러한 블록은, 프로세싱하기 위한 영역에 속하는 것으로서 맵에서 식별되어야 한다. 따라서, 블록들의 그룹에 관한 인핸스먼트 계층의 제 1 부분 (EL1) 의 디코딩으로부터, 디코더는 프로세싱하기 위한 복원된 이미지 (IBL) 의 영역 또는 영역들, 즉, 인핸스먼트 계층의 이미지의 복원 동안 효과적으로 사용될 영역(들)을 안다. 따라서, 이러한 정보는, 인핸스먼트 계층의 이미지의 복원 동안에 사용될 것이고 따라서 프로세싱되어야 하는 복원된 이미지 (IBL) 의 영역들과, 사용되지 않을 것이고 따라서 프로세싱되지 않아야 하는 영역들과의 사이를 구별할 수 있다. 이러한 정보 (info) 는, 예를 들어, 베이스 계층의 대응하는 영역 예를 들어 블록이 프로세싱되어야 하는지 여부를 인핸스먼트 계층의 블록들의 그룹의 각각의 블록에 대해 표시하는 맵의 형태로 제시된다. 복원된 이미지 (IBL) 의 영역은, 프로세싱 이후 공동위치되면, 즉, 가능하게는 동일한 공간 포지션을 이미지에 점유시키면 (공간 스케일러빌리티 케이스), 인핸스먼트 계층의 이미지의 블록에 대응한다. 변형예로서, 정보 (info) 는 예를 들어, 상기 영역이 프로세싱되어야 하는지 여부를, 블록들의 그룹의 블록에 대응하는 복원된 이미지 (IBL) 의 각각의 영역 예를 들어 블록에 대해, 표시하는 맵의 형태로 제시된다. 베이스 계층에 관련되든지 또는 인핸스먼트 계층에 관련되는지에 무관한 이러한 정보는, 예를 들어, 각각의 CTU (코딩 트리 유닛) 에 대한 또는 예컨대 도 3 에 도시된 바와 같이 각각의 매크로블록에 대한 HEVC 표준의 경우에, 정규 맵의 형태로 코딩된다. 일 실시형태의 변형예에 따르면, 이러한 정보는, 예를 들어, 도 4 에 도시된 바와 같이 각각의 CU (코딩 유닛) 에 대한 HEVC 표준의 경우에 비정규 맵의 형태로 코딩된다. 이들 도면들에 있어서, 값 0 은 복원된 영역 (IBL) 이 프로세싱되지 않음을 나타내고, 값 1 은 프로세싱됨을 나타낸다. 자연적으로, 그 역이 관례에 의해 선택될 수 있다. 이러한 정보는 엔트로피 코딩, 예를 들어, CAVLC 또는 CABAC 에 의해 코딩된다.
단계 84 동안, 단계 82 에서 코딩된 정보 (info) 에 의해 식별된 복원된 베이스 계층의 이미지의 영역 또는 영역들이 프로세싱된다.
그 프로세싱은, 예를 들어, 공간 스케일러빌리티의 경우 영역의 리샘플링, CGS 스케일러빌리티의 경우 컬러 변환, SNR 스케일러빌리티의 경우 노이즈 감소 필터링이다.
이러한 솔루션은 유리하게, 오직 복원된 이미지 (IBL) 의 유용한 영역들만이 인핸스먼트 계층의 이미지 (IEL) 의 블록들의 코딩에서 프로세싱, 즉, 사용될 수 있게 한다. 더욱이, 이에 따라 전진함으로써, 베이스 계층의 유용한 영역들은, 블록들의 그룹의 블록들의 코딩 전에 프로세싱되고, 따라서, 복원된 베이스 계층의 이미지 버퍼로의 너무 빈번한 액세스들과 프로세싱 기능에 대한 너무 많은 호출들을 회피하는 블록들의 그룹의 코딩 동안 모두 이용가능하다.
단계 86 동안, 레지듀들이, 그룹의 블록들로부터 그리고 프로세싱된 영역으로부터 그룹의 적어도 하나의 블록에 대해 획득된다. 변형예에 따르면, 레지듀들은 블록들의 그룹의 각각의 블록에 대해 획득된다. 이러한 목적으로, 그룹의 각각의 블록에 대해, 예측자는 이전에 복원된 이미지 부분으로부터, 또는 코딩하기 위한 현재 블록과 동일한 이미지로부터 (공간 예측), 또는 인핸스먼트 계층의 다른 이미지로부터 (시간 예측), 또는 심지어, 프로세싱된 상기 복원된 이미지 (IBL) 의 영역으로부터 (계층간 예측) 획득된다. 예측자는 현재 블록으로부터 감산되어 레지듀들을 획득한다. 변형예에 따르면, 블록이 예측없이 코딩되었던 케이스 (예를 들어, H.264 의 IPCM 코딩 모드) 에서, 어떠한 예측자도 현재 블록으로부터 감산되지 않음을 유의한다. 레지듀들 블록은, 후자의 케이스에 있어서, 코딩하기 위한 블록에 직접 대응한다. 스킵 모드의 경우, 레지듀들은 널(null)이다. 스트림에서 코딩된 블록의 코딩 모드가 그것을 나타낸다. 블록들의 그룹에 있어서, 코딩 모드들은 변경될 수 있으며, 일부 블록들은 IPCM 모드에 따라, 공간 예측에 의해, 다른 것들은 시간 예측에 의해, 다른 것들은 계층간 예측에 의해 그리고 심지어 다른 것들은 스킵 모드에 따라 코딩된다.
단계 88 동안, 블록들의 그룹의 적어도 하나의 블록에 관한 레지듀들이, 인핸스먼트 계층의 제 2 부분에서 코딩된다. 이 단계는, 가능하게는, 그 엔트로피 코딩 이전에 레지듀들의 변환 및 양자화를 포함한다.
특정 실시형태에 따르면, 도 5 내지 도 7 에 도시되고 디코딩 방법과 관련하여 설명된 부가적인 정보가 스케일러블 스트림 (S) 에서 코딩된다. 디코딩 방법과 관련하여 설명된 모든 실시형태들은 코딩 방법에 대칭적으로 적용된다.
본 발명은 또한 이미지 시퀀스를 나타내는 스케일러블 스트림에 관한 것이다. 이 스트림은, 예를 들어, 이전에 설명된 코딩 방법에 의해 생성된다.
이러한 스케일러블 스트림은 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함한다. 베이스 계층은 베이스 계층의 적어도 하나의 이미지에 관한 데이터를 포함한다.
인핸스먼트 계층은, 블록들의 그룹에 관한 제 1 부분 (EL1) 에, 그 복원 이후에 프로세싱하기 위한 베이스 계층의 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는 인핸스먼트 데이터를 포함한다.
인핸스먼트 계층은, 제 2 부분 (EL2) 에, 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 나타내는 데이터를 포함하고, 레지듀들은 그룹의 적어도 하나의 블록으로부터 그리고 프로세싱된 영역으로부터 획득된다. 변형예에 따르면, 인핸스먼트 계층은, 제 2 부분 (EL2) 에, 블록들의 그룹의 블록들 각각에 대한 레지듀들을 나타내는 데이터를 포함한다. 이러한 데이터는 레지듀들에 관한 데이터 (예를 들어, 양자화된 DCT 계수들) 의 코딩 모드, 가능하게는 모션 데이터, 또는 그러한 레지듀들이 결정될 수 있게 하는 데이터의 코딩 모드, 예를 들어 스킵 코딩 모드를 포함한다.
유리하게, 스케일러블 스트림은, 도 5 내지 도 7 에 도시되고 디코딩 방법과 관련하여 설명된 부가적인 정보를 포함한다.
도 9 는 본 발명의 비-한정적인 실시형태에 따른 디코딩 디바이스 (9) 를 도시한다.
디코딩 디바이스 (9) 는, 스케일러블 스트림 (S) 의 베이스 계층 (BL) 을 디코딩할 수 있고 베이스 계층의 이미지들을 복원할 수 있는 디코딩 모듈 (90) 을 포함한다. 디코딩 모듈 (90) 은, 특히, 디코딩 방법의 단계 20 을 구현하도록 구성된다. 디코딩 디바이스 (9) 는, 복원된 베이스 계층의 이미지의 적어도 하나의 영역을 프로세싱할 수 있는 프로세싱 모듈 (92) 을 더 포함한다. 프로세싱 모듈 (92) 은, 특히, 디코딩 방법의 단계 24 를 구현하도록 구성된다. 디코딩 디바이스 (9) 는 또한, 스케일러블 스트림 (S) 의 인핸스먼트 계층 (EL) 을 디코딩할 수 있고 인핸스먼트 계층의 이미지들을 복원할 수 있는 다른 디코딩 모듈 (94) 을 포함한다. 디코딩 모듈 (94) 은 또한, 프로세싱 모듈 (92) 에 정보 (info) 를 공급할 수 있다. 디코딩 모듈 (94) 은, 특히, 디코딩 방법의 단계들 (22, 26, 및 28) 을 구현하도록 구성된다. 디코딩 디바이스 (9) 는 옵션적으로, 스케일러블 스트림 (S) 을 베이스 계층 (BL) 및 하나 이상의 인핸스먼트 계층들 (EL) 로 디멀티플렉싱하도록 구성된 디멀티플렉싱 모듈 (96) 을 포함한다.
도 10 은 그러한 디코딩 디바이스 (9) 의 특정 구현을 도시한다. 디코딩 디바이스 (9) 는 적어도 프로세서 (900) (예를 들어, CPU/GPU), 메모리 (902) (예를 들어, RAM), 사용자 인터페이스 (904) (예를 들어, 키보드들, 마우스 등), 및 다른 디바이스들에 접속될 수 있는 하나 이상의 입력/출력 인터페이스들 (906) 과 같은 하드웨어 컴포넌트들을 포함한다. 이들 컴포넌트들은, 예를 들어, 어드레스 및 데이터 버스 (908) 에 의해 상호접속된다. 구현 예에 따르면, 파워 업될 경우, 프로세서 (900) 는 디코딩 방법의 단계들에 대응하는 명령들을 메모리 (902) 로 로딩하고, 그 명령들을 실행한다.
특정 실시형태에 따르면, 디코딩 디바이스 (9) 는 유리하게, 프로세서 (900) 에 의해 실행될 경우, 이전에 설명된 본 발명의 실시형태들 중 임의의 하나에 따른 디코딩 방법의 단계들을 실행하는 프로그램 코드 명령들을 저장하는 디지털 데이터 지원부 (910) 상에 저장된 컴퓨터 프로그램을 판독하기 위한 인터페이스를 포함한다. 변형예에 따르면, 사용자 인터페이스는 디코딩 디바이스 (9) 외부에 있다.
도 11 은 본 발명의 비-한정적인 실시형태에 따른 코딩 디바이스 (11) 를 도시한다. 코딩 디바이스 (11) 는, 스케일러블 스트림의 베이스 계층 (BL) 에서의 이미지들 (IBL) 을 코딩 및 복원할 수 있는 코딩 모듈 (110) 을 포함한다. 코딩 모듈 (110) 은, 특히, 코딩 방법의 단계 80 을 구현하도록 구성된다. 코딩 디바이스 (11) 는, 복원된 베이스 계층의 이미지의 적어도 하나의 부분을 프로세싱할 수 있는 프로세싱 모듈 (112) 을 더 포함한다. 프로세싱 모듈 (112) 은, 특히, 코딩 방법의 단계 84 를 구현하도록 구성된다. 코딩 디바이스 (11) 는 또한, 스케일러블 스트림 (S) 의 인핸스먼트 계층 (EL) 에서의 이미지들 (IEL) 을 코딩할 수 있는 다른 코딩 모듈 (114) 을 포함한다. 코딩 모듈 (114) 은 또한 프로세싱 모듈 (112) 에 정보 (info) 를 공급할 수 있다. 코딩 모듈 (114) 은, 특히, 코딩 방법의 단계들 (82, 86 및 88) 을 구현하도록 구성된다. 코딩 디바이스 (11) 는 옵션적으로, 베이스 계층 및 인핸스먼트 계층 또는 계층들을 단일의 스케일러블 스트림 (S) 으로 멀티플렉싱하도록 구성된 멀티플렉싱 모듈 (116) 을 포함한다.
도 12 은 그러한 코딩 디바이스 (11) 의 특정 구현을 도시한다. 코딩 디바이스 (11) 는 적어도 프로세서 (1100) (예를 들어, CPU/GPU), 메모리 (1102) (예를 들어, RAM), 사용자 인터페이스 (1104), 및 다른 디바이스들에 접속될 수 있는 하나 이상의 입력/출력 인터페이스들 (1106) 과 같은 하드웨어 컴포넌트들을 포함한다. 이들 컴포넌트들은, 예를 들어, 어드레스 및 데이터 버스 (1108) 에 의해 상호접속된다. 구현 예에 따르면, 파워 업될 경우, 프로세서 (1100) 는 코딩 방법의 단계들에 대응하는 명령들을 메모리 (1102) 로 로딩하고, 그 명령들을 실행한다.
코딩 디바이스 (11) 는 유리하게, 프로세서 (1100) 에 의해 실행될 경우, 이전에 설명된 본 발명의 실시형태들 중 임의의 하나에 따른 코딩 방법의 단계들을 실행하는 프로그램 코드 명령들을 저장하는 디지털 데이터 지원부 (1110) 상에 저장된 컴퓨터 프로그램을 판독하기 위한 인터페이스를 포함한다. 변형예에 따르면, 사용자 인터페이스는 코딩 디바이스 (11) 외부에 있다.
설명된 디코딩 디바이스 (9) 및 코딩 디바이스 (11) 는 명료화의 이유로 단순화된다. 실제 디바이스들은, 예를 들어, 내부 또는 외부 배터리, 비휘발성 메모리 (예를 들어, 플래시 메모리, 하드 디스크 드라이브 등) 등과 같은 다른 엘리먼트들을 포함할 수도 있다. 변형예들에 따르면, 본 발명과 양립가능한 디코딩 디바이스 (9) 및 코딩 디바이스 (11) 는, 순수하게 하드웨어 실시형태에 따라, 예를 들어, 전용 컴포넌트의 형태로 (예를 들어, ASIC (어플리케이션 특정 집적회로) 또는 FPGA (필드 프로그래밍가능 게이트 어레이) 또는 VLSI (초대규모 집적체) 로) 또는 디바이스로 통합된 수개의 전자 컴포넌트들의 형태로 또는 심지어 하드웨어 엘리먼트들과 소프트웨어 엘리먼트들의 조합의 형태로 구현된다.
각각의 실시형태는 다른 실시형태들로부터 독립적으로 사용될 수 있거나 그렇지 않으면 그 실시형태들은 서로 결합될 수 있다.
자연적으로, 베이스 계층 및 인핸스먼트 계층에 대해 설명된 본 발명은 상이한 레벨들의 2개의 인핸스먼트 계층들에 적용될 수 있으며, 하위 인핸스먼트 계층은 상위 레벨 계층에 대한 베이스 계층의 역할을 한다. 더욱이, 본 발명은 사용된 양자화, 변환, 또는 엔트로피 코딩의 타입에 의해 제한되지 않는다.

Claims (22)

  1. 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림을 디코딩하는 방법으로서,
    - 상기 베이스 계층으로부터 적어도 하나의 이미지를 복원하는 단계 (20),
    - 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 적어도 하나의 아이템을 포함하는 디코딩된 인핸스먼트 데이터로의 블록들의 그룹에 관한 상기 적어도 하나의 인핸스먼트 계층의 제 1 부분을 디코딩하는 단계 (22),
    - 상기 정보에 의해 식별된 상기 복원된 이미지의 상기 적어도 하나의 영역을 프로세싱하는 단계 (24),
    - 상기 적어도 하나의 인핸스먼트 계층의 제 2 부분으로부터 상기 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 단계 (26), 및
    - 상기 레지듀들로부터 그리고 프로세싱된 상기 적어도 하나의 영역으로부터 상기 그룹의 블록들을 복원하는 단계 (28) 를 포함하는, 스케일러블 스트림을 디코딩하는 방법.
  2. 제 1 항에 있어서,
    프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보는, 블록이 프로세싱되어야 하는지 여부를, 상기 블록들의 그룹의 블록에 대응하는 상기 복원된 이미지의 각각의 블록에 대해, 표시하는 맵인, 스케일러블 스트림을 디코딩하는 방법.
  3. 제 1 항에 있어서,
    프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보는, 블록이 그 복원을 위해 상기 복원된 이미지의 프로세싱된 블록을 사용하는지를, 상기 블록들의 그룹의 각각의 블록에 대해 표시하는 맵인, 스케일러블 스트림을 디코딩하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 베이스 계층은, 상기 적어도 하나의 인핸스먼트 계층보다 더 낮은 레벨의 다른 인핸스먼트 계층인, 스케일러블 스트림을 디코딩하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 상기 블록들의 그룹에 대해 코딩되는지 여부를 표시하는 블록들의 적어도 하나의 그룹에 대한 부가적인 정보 아이템의 상기 인핸스먼트 계층으로부터의 디코딩 단계를 포함하는, 스케일러블 스트림을 디코딩하는 방법.
  6. 제 5 항에 있어서,
    상기 블록들의 그룹은 이미지 슬라이스 또는 이미지인, 스케일러블 스트림을 디코딩하는 방법.
  7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 인핸스먼트 계층으로부터, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 블록들의 그룹에 대해 코딩될 수 있는지 여부를 표시하는 제 1 부가적인 정보 아이템을 디코딩하는 단계를 포함하는, 스케일러블 스트림을 디코딩하는 방법.
  8. 제 7 항에 있어서,
    상기 제 1 부가적인 정보 아이템은 적어도 하나의 이미지에 대해 디코딩되고,
    상기 스케일러블 스트림을 디코딩하는 방법은, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩될 수 있음을 상기 제 1 부가적인 정보 아이템이 표시할 경우, 상기 인핸스먼트 계층으로부터, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 블록들의 그룹에 대해 코딩되는지 여부를 상기 블록들의 그룹에 대해 표시하는 제 2 부가적인 정보 아이템을 디코딩하는 단계를 포함하는, 스케일러블 스트림을 디코딩하는 방법.
  9. 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림의 형태로 이미지들의 시퀀스를 코딩하는 방법으로서,
    - 상기 베이스 계층에서 적어도 하나의 이미지를 코딩하고 (80) 상기 적어도 하나의 이미지를 복원하는 단계 (80),
    - 블록들의 그룹에 관한 상기 인핸스먼트 계층의 제 1 부분에서 인핸스먼트 데이터를 코딩하는 단계 (82) 로서, 상기 인핸스먼트 데이터는 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는, 상기 인핸스먼트 데이터를 코딩하는 단계,
    - 상기 정보에 의해 식별된 상기 복원된 이미지의 상기 적어도 하나의 영역을 프로세싱하는 단계 (84),
    - 상기 그룹의 블록들로부터 그리고 프로세싱된 상기 적어도 하나의 영역으로부터 상기 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 단계 (86), 및
    - 상기 인핸스먼트 계층의 제 2 부분에서 상기 레지듀들을 코딩하는 단계 (88) 를 포함하는, 이미지들의 시퀀스를 코딩하는 방법.
  10. 제 9 항에 있어서,
    프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보는, 블록이 프로세싱되어야 하는지 여부를, 상기 블록들의 그룹의 블록에 대응하는 상기 복원된 이미지의 각각의 블록에 대해, 표시하는 맵인, 이미지들의 시퀀스를 코딩하는 방법.
  11. 제 9 항에 있어서,
    프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보는, 블록이 그 복원을 위해 상기 복원된 이미지의 프로세싱된 블록을 사용하는지를, 상기 블록들의 그룹의 각각의 블록에 대해 표시하는 맵인, 이미지들의 시퀀스를 코딩하는 방법.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 베이스 계층은, 상기 적어도 하나의 인핸스먼트 계층보다 더 낮은 레벨의 다른 인핸스먼트 계층인, 이미지들의 시퀀스를 코딩하는 방법.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 인핸스먼트 계층에서, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 상기 블록들의 그룹에 대해 코딩되는지 여부를 표시하는 블록들의 적어도 하나의 그룹에 대한 부가적인 정보 아이템을 코딩하는 단계를 포함하는, 이미지들의 시퀀스를 코딩하는 방법.
  14. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 인핸스먼트 계층에서, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 블록들의 그룹에 대해 코딩될 수 있는지 여부를 표시하는 제 1 부가적인 정보 아이템을 코딩하는 단계를 포함하는, 이미지들의 시퀀스를 코딩하는 방법.
  15. 제 14 항에 있어서,
    상기 제 1 부가적인 정보 아이템은 적어도 하나의 이미지에 대해 코딩되고,
    상기 이미지들의 시퀀스를 코딩하는 방법은, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템이 코딩될 수 있음을 상기 제 1 부가적인 정보 아이템이 표시할 경우, 상기 인핸스먼트 계층에서, 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 상기 정보가 블록들의 그룹에 대해 코딩되는지 여부를 상기 블록들의 그룹에 대해 표시하는 제 2 부가적인 정보 아이템을 코딩하는 단계를 포함하는, 이미지들의 시퀀스를 코딩하는 방법.
  16. 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림을 디코딩하기 위해 구성된 디코더로서,
    - 상기 베이스 계층으로부터 적어도 하나의 이미지를 복원하는 수단 (90, 900, 902, 904, 906, 908),
    - 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 적어도 하나의 아이템을 포함하는 디코딩된 인핸스먼트 데이터로의 블록들의 그룹에 관한 상기 적어도 하나의 인핸스먼트 계층의 제 1 부분을 디코딩하는 수단 (94, 900, 902, 904, 906, 908),
    - 상기 정보에 의해 식별된 상기 복원된 이미지의 상기 적어도 하나의 영역을 프로세싱하는 수단 (92, 900, 902, 904, 906, 908),
    - 상기 적어도 하나의 인핸스먼트 계층의 제 2 부분으로부터 상기 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 수단 (94, 900, 902, 904, 906, 908), 및
    - 상기 레지듀들로부터 그리고 프로세싱된 상기 적어도 하나의 영역으로부터 상기 그룹의 블록들을 복원하는 수단 (94, 900, 902, 904, 906, 908) 을 포함하는, 스케일러블 스트림을 디코딩하기 위해 구성된 디코더.
  17. 제 16 항에 있어서,
    상기 디코더는, 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 디코딩 방법의 단계들을 실행하도록 구성되는, 스케일러블 스트림을 디코딩하기 위해 구성된 디코더.
  18. 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는 스케일러블 스트림의 형태로 이미지들의 시퀀스를 코딩하도록 구성된 코더로서,
    - 상기 베이스 계층에서 코딩하고 적어도 하나의 이미지를 복원하는 수단 (110, 1100, 1102, 1104, 1106, 1108),
    - 블록들의 그룹에 관한 상기 인핸스먼트 계층의 제 1 부분에서 인핸스먼트 데이터를 코딩하는 수단 (114, 1100, 1102, 1104, 1106, 1108) 으로서, 상기 인핸스먼트 데이터는 프로세싱하기 위한 상기 복원된 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는, 상기 인핸스먼트 데이터를 코딩하는 수단,
    - 상기 정보에 의해 식별된 상기 복원된 이미지의 상기 적어도 하나의 영역을 프로세싱하는 수단 (112, 1100, 1102, 1104, 1106, 1108),
    - 상기 그룹의 블록들로부터 그리고 프로세싱된 상기 적어도 하나의 영역으로부터 상기 블록들의 그룹의 적어도 하나의 블록에 대한 레지듀들을 획득하는 수단 (114, 1100, 1102, 1104, 1106, 1108), 및
    - 상기 인핸스먼트 계층의 제 2 부분에서 상기 레지듀들을 코딩하는 수단 (114, 1100, 1102, 1104, 1106, 1108) 을 포함하는, 이미지들의 시퀀스를 코딩하도록 구성된 코더.
  19. 제 18 항에 있어서,
    상기 코더는, 제 9 항 내지 제 15 항 중 어느 한 항에 기재된 코딩 방법의 단계들을 실행하도록 구성되는, 이미지들의 시퀀스를 코딩하도록 구성된 코더.
  20. 베이스 계층 및 적어도 하나의 인핸스먼트 계층을 포함하는, 이미지 시퀀스를 나타내는 데이터 스트림으로서,
    상기 베이스 계층은 상기 베이스 계층의 적어도 하나의 이미지에 대한 데이터를 포함하고,
    상기 인핸스먼트 계층은, 복원 이후 프로세싱하기 위한 상기 베이스 계층의 상기 이미지의 적어도 하나의 영역을 식별하는 정보의 아이템을 포함하는 인핸스먼트 데이터를 블록들의 그룹에 대한 제 1 부분에서 포함하고 그리고 상기 그룹의 적어도 하나의 블록으로부터 그리고 프로세싱된 상기 적어도 하나의 영역으로부터 획득되는 레지듀들을 나타내는 데이터를 제 2 부분에서 포함하는, 이미지 시퀀스를 나타내는 데이터 스트림.
  21. 프로그램이 컴퓨터 상에서 실행될 경우, 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  22. 프로그램이 컴퓨터 상에서 실행될 경우, 제 9 항 내지 제 15 항 중 어느 한 항에 기재된 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020167001286A 2013-07-17 2014-07-10 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스 KR20160034900A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1357034A FR3008840A1 (fr) 2013-07-17 2013-07-17 Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
FR1357034 2013-07-17
PCT/EP2014/064817 WO2015007604A1 (en) 2013-07-17 2014-07-10 Method and device for decoding a scalable stream representative of an image sequence and corresponding coding method and device

Publications (1)

Publication Number Publication Date
KR20160034900A true KR20160034900A (ko) 2016-03-30

Family

ID=50097765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167001286A KR20160034900A (ko) 2013-07-17 2014-07-10 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스

Country Status (8)

Country Link
US (1) US9961353B2 (ko)
EP (1) EP3022922A1 (ko)
JP (1) JP6393323B2 (ko)
KR (1) KR20160034900A (ko)
CN (1) CN105659600A (ko)
FR (1) FR3008840A1 (ko)
TW (1) TW201505424A (ko)
WO (1) WO2015007604A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316914A1 (en) * 2015-10-30 2018-11-01 Sony Corporation Image processing apparatus and method
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
TWI618029B (zh) * 2016-07-26 2018-03-11 聯發科技股份有限公司 圖形處理裝置
US10681382B1 (en) * 2016-12-20 2020-06-09 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
FR3072850B1 (fr) 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle
FR3083662B1 (fr) * 2018-07-05 2021-06-04 Awecom Inc Compression et decompression robustes d'images numeriques
US10701376B2 (en) 2018-07-05 2020-06-30 Awecom, Inc. Resilient image compression and decompression

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
WO2008060127A1 (en) 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
EP2051527A1 (en) 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
ES2527932T3 (es) 2008-04-16 2015-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Escalabilidad de profundidad de bits
US20100278232A1 (en) 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
KR101066117B1 (ko) 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20140003527A1 (en) 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
EP3057326A1 (en) * 2011-06-10 2016-08-17 MediaTek, Inc Method and apparatus of scalable video coding
WO2013129878A1 (ko) * 2012-02-29 2013-09-06 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
CN109982081B (zh) * 2012-09-28 2022-03-11 Vid拓展公司 用于多层视频编码的自适应上采样
KR102194749B1 (ko) * 2012-10-01 2020-12-23 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
CN105165011A (zh) * 2013-02-25 2015-12-16 三星电子株式会社 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
CN104937941B (zh) * 2013-03-28 2019-04-26 华为技术有限公司 用于确定用于空间可缩放视频编解码器的预测块的方法
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US10045021B2 (en) * 2013-04-05 2018-08-07 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
KR20140122202A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치
KR102118524B1 (ko) * 2013-04-05 2020-06-09 브이아이디 스케일, 인크. 다수의 레이어 비디오 코딩을 위한 레이어간 참조 화상 강화

Also Published As

Publication number Publication date
JP6393323B2 (ja) 2018-09-19
JP2016526865A (ja) 2016-09-05
FR3008840A1 (fr) 2015-01-23
EP3022922A1 (en) 2016-05-25
TW201505424A (zh) 2015-02-01
CN105659600A (zh) 2016-06-08
WO2015007604A1 (en) 2015-01-22
US9961353B2 (en) 2018-05-01
US20160165244A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
JP5467141B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
KR20160034900A (ko) 이미지 시퀀스를 나타내는 스케일러블 스트림을 디코딩하는 방법 및 디바이스 그리고 대응하는 코딩 방법 및 디바이스
KR101684209B1 (ko) 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
US11272158B2 (en) Method and apparatus for point cloud compression
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
US20120230405A1 (en) Video coding methods and video encoders and decoders with localized weighted prediction
KR101336204B1 (ko) 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
KR20180074000A (ko) 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
KR101500781B1 (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
KR20120116936A (ko) 영상 블록 코딩 및 재구성 방법
WO2014010583A1 (ja) 映像符号化／復号方法、装置、プログラム、記録媒体
US9113174B2 (en) Predictive coding apparatus, control method thereof, and computer program
CN110719485A (zh) 视频解码方法、装置及存储介质
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
WO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
JP5938424B2 (ja) 画像ブロックを再構成および符号化する方法
KR102505364B1 (ko) 복호 장치, 프로그램, 및 복호 방법
KR101997003B1 (ko) 픽셀 블록을 코딩하고 재구성하기 위한 방법 및 대응하는 디바이스들
JP2008512023A (ja) 動き予測のための方法及び装置
WO2014106641A1 (en) Video coding and decoding methods and corresponding devices including flag for enhancement layer
KR20130055314A (ko) 공통 병합 가능 블록 집합을 이용한 영상 부호화/복호화 장치 및 방법
WO2013160148A2 (en) Methods for spatially scalable coding and decoding and corresponding devices
US20150365701A1 (en) Method for encoding and decoding image block, encoder and decoder

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
N231 Notification of change of applicant