KR101345090B1 - 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치 - Google Patents

적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR101345090B1
KR101345090B1 KR1020097012289A KR20097012289A KR101345090B1 KR 101345090 B1 KR101345090 B1 KR 101345090B1 KR 1020097012289 A KR1020097012289 A KR 1020097012289A KR 20097012289 A KR20097012289 A KR 20097012289A KR 101345090 B1 KR101345090 B1 KR 101345090B1
Authority
KR
South Korea
Prior art keywords
enhancement layer
mode
residual
information
base layer
Prior art date
Application number
KR1020097012289A
Other languages
English (en)
Other versions
KR20090098825A (ko
Inventor
유웬 우
용잉 가오
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090098825A publication Critical patent/KR20090098825A/ko
Application granted granted Critical
Publication of KR101345090B1 publication Critical patent/KR101345090B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 비디오 비트스트림은 H.264/AVC 호환가능 베이스층(BL)과 스케일러블 인핸스먼트층(EL)을 구비하고, 여기에서 스케일러빌리티는 컬러 비트 심도를 참조한다. SVC 표준은 공간적인 층간 예측을 가능하게 하고, 여기에서 EL에서의 레시듀얼이 생성된 후 인트라 코딩된다. EL에 대한 또 다른 공간적인 인트라 코딩 모드는 순수한 인트라 코딩(I_NxN)이다. 본 발명은, 특히, 비트 심도 스케일러빌리티에 대해, 새로운 인트라 코딩 모드 및 두 개의 새로운 인터 코딩 모드를 개시한다. 새로운 인트라 코딩 모드는 모드 선택을 사용하여 업샘플링된 재구성 BL과 오리지날 EL 간의 레시듀얼을 인코딩하는 것을 사용한다. 두 개의 가능한 모드는 BL로부터의 레시듀얼 예측 및 이 레시듀얼의 부가 인트라 코딩이다. 새로운 인터 코딩 모드는 또한 재구성 EL로부터 EL의 예측을 사용한다. 첫번째 인터 코딩 모드에서, 이 레시듀얼을 기초로 움직임 추정을 사용하여 인코딩된다. 두번째 인터 코딩 모드에서, BL로부터의 업샘플링 움직임 정보를 사용하여 인코딩된다.
비디오, 비트스트림, 베이스층, 인핸스먼트층, 심도, 인터 코딩, 인트라 코딩

Description

적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND/OR DECODING BIT DEPTH SCALABLE VIDEO DATA USING ADAPTIVE ENHANCEMENT LAYER PREDICTION}
본 발명은 디지털 비디오 코딩 기술분야에 관한 것이다. 본 발명은 신규한 유형의 스케일러빌리티(scalability): 비트 심도(depth) 스케일러빌리티를 위한 코딩 솔루션을 제공한다.
비디오 코딩 표준 H.264/AVC는 다양한 코딩 모드 및 레이트-왜곡 최적화(rate-distortion optimization; RDO)에 따라 그 모드들 간의 유동적인 선택을 제공한다. 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 위한 확장은 상이한 층들을 제공하고 공간 스케일러빌리티를 위해 인핸스먼트층(EL)의 직접 인코딩이나 층간(inter-layer) 예측을 지원한다. I_NxN이라 불리는 모드인 EL의 직접 인코딩 시에, 층들 간의 리던던시는 사용되지 않는다: EL은 순수하게 인트라 코딩된다.
두 개의 코딩 모드에서 층간 예측이 사용되는데, 즉, 베이스층(BL)이 인트라 코딩되는 경우 I_BL이 사용되고, BL이 인터 코딩되는 경우 레시듀얼 예측이 사용되 어 BL과 EL 레시듀얼이 생성된다. 레시듀얼 예측을 사용하면, BL 레시듀얼로부터 EL 레시듀얼이 예측된다.
인트라 코딩된 EL 매크로블록(MB)에 대해, SVC는 두 가지 유형의 코딩 모드, 즉, 오리지날 H.264/AVC I_NxN 코딩(공간 예측, base_mode_flag=0) 및 I_BL, 배열된 BL MB로부터 EL MB가 예측되는 스케일러빌리티를 위한 특별 SVC 코딩 모드를 지원한다.
인터 코딩을 위해, 제1 단계는 레시듀얼이라고 하는 BL 및 EL 차분 이미지를 생성하는 것이다. BL 레시듀얼과 EL 레시듀얼 간 차를 인코딩하기 위해 레시듀얼 층간 예측이 행해진다.
최근, 과학 이미징, 디지털 시네마, 고품질 비디오 인에이블 컴퓨터 게임, 및 전문 스튜디오 및 가정 극장 관련 애플리케이션 같은 많은 분야에서는 종래의 8비트 컬러 심도보다는 그 이상의 비트 컬러 심도가 더욱 바람직하다. 따라서, 최근의 비디오 코딩 표준, H.264/AVC는 샘플당 14비트까지 그리고 4:4:4 크로마 샘플링까지 지원하는 고화질 영상 확장(Fidelity Range Extensions; FRExt)을 포함하고 있다.
동일한 미가공(raw) 비디오에 대하여 2개의 상이한 디코더 또는 컬러 비트 심도, 예를 들면, 8비트 및 12비트에 대한 상이한 요청이 있는 클라이언트가 구비된 시나리오에 대해, 기존의 H.264/AVC 솔루션은 12비트의 미가공 비디오를 인코딩하여 제1 비트스트림을 생성한 후, 12비트의 미가공 비디오를 8비트의 미가공 비디오로 변환하고, 이것을 인코딩하여 제2 비트스트림을 생성한다. 만약 그 비디오를 다른 비트 심도를 요청하는 다른 클라이언트에게 전달하고자 한다면, 두번 전달해야 하는데, 예를 들면, 두 개의 비트스트림들을 하나의 디스크에 함께 넣어야 한다. 이와 같이 하면, 압축률 및 동작 복잡도 모두와 관련한 효율이 낮게 된다.
유럽 특허 출원 번호 EP06291041호는 전체의 12비트 미가공 비디오를 한번에 인코딩하여 H.264/AVC 호환가능 BL 및 스케일러블 EL을 포함하는 하나의 비트스트림을 생성하는 스케일러블 솔루션을 개시하고 있다. 리던던시 감소로 인해, 전술한 제1 비트스트림에 대한 전체의 스케일러블 비트스트림의 오버헤드가 부가의 제2 비트스트림에 비해 작게 된다. H.264/AVC 디코더가 수신단에서 이용가능한 경우, 단지 BL 서브-비트스트림이 디코딩되고, 디코딩된 8비트 비디오는 종래의 8비트 표시 장치에서 시청될 수 있다; 비트 심도 스케일러블 디코더가 수신단에서 이용가능한 경우, BL 및 EL 서브-비트스트림 모두를 디코딩하여 12비트 비디오를 얻고, 8비트이상의 컬러 심도를 지원하는 고품질 표시 장치에서 시청될 수 있다.
특정 인코딩 모드의 효율이 이미지의 콘텐츠에 의존한다는 것을 고려하면, 전술한 리던던시 감소 가능성은 그다지 유연하지 않다. 상이한 시퀀스들에 대해 상이한 인코딩 모드들이 최적화될 수 있다. 인코딩 모드의 효율은 리던던시가 더 많이 감소될 수 있고 그 결과의 비트스트림이 더 작아지면 더 높아질 수 있다. 본 발명은 비트 심도 스케일러빌리티에 있어서 이러한 문제에 대한 솔루션을 제공한다.
청구항 1은 리던던시 감소를 향상시키고 가장 효율적인 인코딩 모드의 유동적인 적응 선택을 가능하게 하는 확장가능 비디오 데이터를 인코딩하는 방법을 개시한다. 청구항 5는 이에 대응하는 디코딩 방법을 개시한다.
인코딩을 위한 대응 장치가 청구항 8에 개시되고, 디코딩을 위한 장치가 청구항 9에 개시된다.
CBDS에 대해 EL의 세 개의 새로운 SVC 호환가능 코딩 모드가 개시된다: 하나는 인트라 코딩이고 두 개는 인터 코딩. 층간 레시듀얼을 직접 인코딩하는 것이 비트 심도 확장가능 코딩에 대해 보다 효율적이라는 것을 발견하였다.
새로운 인트라 코딩 모드는 업샘플링된 재구성 BL과 오리지날 EL 간 레시듀얼(ELorg-BLrec,up)의 인코딩을 사용하고, 여기에서 모드 선택이 사용된다. 일반적으로, 층간 레시듀얼은 오리지날 N비트 EL 비디오를 대체하기 위해 N비트 비디오로서 처리된다. 두 개의 가능한 모드는,
1. BL로부터 예측된 레시듀얼이 바로 변환, 양자화 및 엔트로피 코딩되고,
2. 이 레시듀얼이 부가적으로 인트라 코딩된다(I_NxN).
종래, 인트라 MB에 대한 최상 모드는 RDO를 사용하여 오리지날 EL N비트 비디오의 I_NxN 모드와 I_BL 모드 간에서 선택되었다. 제공되는 새로운 인트라 모드를 사용하는 경우, 인트라 MB 최상 모드는 N비트 층간 레시듀얼의 I_NxN과 I_BL 모드 간에서 선택된다.
새로운 인터 코딩 모드는 BL 레시듀얼 대신 (새로운 인트라 모드 같이)업샘플링된 재구성 BL로부터의 EL의 예측을 사용한다. (플래그에 의해 스위칭되는) 두 개의 가능한 인터 코딩 모드는,
1. 레시듀얼(ELorg-BLrec,up)이 이 레시듀얼을 기초로 하는 움직임 추정을 사용하여 인코딩되고,
2. 레시듀얼(ELorg-BLrec,up)이 BL로부터의 움직임 정보를 사용하여 인코딩되고, 이에 의해 EL에 대한 움직임 추정을 생략한다.
본 발명에 따라, (오리지날 BL 정보 유닛 또는 BL 레시듀얼 대신) 재구성 BL 정보 유닛이 비트 심도 업샘플링을 사용하여 업샘플링되고, 업샘플링된 재구성 BL 정보 유닛을 사용하여 배열된 EL 정보 유닛을 예측한다. 이와 같이 하면, 디코더에서 이용가능한 데이터와 동일한 데이터를 기초로 인코더에서 예측한다는 장점이 있다. 따라서, 인코더에서 생성되는 차분 정보 또는 레시듀얼이 디코더에서의 비트 심도 업샘플링 디코딩된 BL 이미지와 오리지날 EL 이미지 간 차를 보다 잘 정합시켜, 디코더에서의 재구성 EL 이미지가 오리지날 EL 이미지에 더 가깝게 된다.
정보 유닛은 임의의 입도(granularity), 예를 들면, 단일 픽셀, 픽셀 블록, MB 또는 그들의 그룹의 유닛일 수 있다. 비트 심도 업샘플링은 각 픽셀이 가질 수 있는 값의 수를 증가시키는 프로세스이다. 값은 일반적으로 픽셀의 컬러 강도에 대응한다. 따라서, 미세 조정 컬러 재생 가능성이 향상되고, 오리지날 장면의 점진적인 컬러 차가 재생을 위해 보다 양호하게 인코딩되고 디코딩된다. 이롭게도, 비디오 데이터 레이트는 현재의 인코딩 방법들에 비해 감소될 수 있다.
인코더는 오리지날 EL 비디오 데이터 및 비트 심도 업샘플링된 재구성 BL 데이터로부터 레시듀얼을 생성하고, 이 레시듀얼이 엔트로피 인코딩되어 전송된다. 재구성 BL 정보는 인코더 측에서 업샘플링되고 디코더 측에서 동일한 방식으로 업샘플링되며, 여기에서 업샘플링은 적어도 비트 심도를 참조한다.
또한, 업샘플링은 인트라 코딩뿐만 아니라 인터 코딩 이미지 또는 MB에 대해서도 수행될 수 있다. 그러나, 인트라 및 인터 코딩 이미지에 대해 서로 다른 모드를 사용할 수도 있다. 인트라 코딩 이미지 또는 I-프레임 이외에, P-프레임 또는 B-프레임이라 불리는 인터 코딩 이미지는 재구성의 다른 이미지, 즉, 다른 POC(picture order count)를 갖는 이미지를 필요로 한다.
본 발명의 일 양상에 따라, 인코더는 EL에 대하여 적어도 두 개의 상이한 인트라 코딩 모드들 간에서 선택할 수 있다: 제1 인트라 코딩 모드는 업샘플링된 재구성 BL과 오리지날 EL 간 레시듀얼을 생성하는 것을 포함하고, 제2 인트라 코딩 모드는 그 레시듀얼의 인트라 코딩을 부가적으로 포함한다. 일반적으로, 층간 레시듀얼은 EL 브랜치에서 보다 높은 비트 심도 비디오로서 처리되고, 종래의 보다 높은 비트 심도 비디오를 대체한다. 레시듀얼 또는 이것의 인트라 코딩 버전이 변환, 양자화 및 엔트로피 코딩된다. 종래, 인트라 MB에 대한 최상 모드는 RDO를 사용하여 오리지날 EL 비디오의 I_NxN 모드와 I_BL 모드 간에서 선택된다. 개시된 새로운 인트라 모드를 사용하는 경우, 최상 인트라 MB 모드는 RDO를 사용하여 하이 비트 심도 층간 레시듀얼의 I_NxN과 I_BL 모드 간에서 선택된다.
본 발명의 다른 양상에 다라, 인코더는 비트 심도 업샘플링된 재구성 BL과 오리지날 EL 간 레시듀얼을 생성하는 것을 포함하는 인터 코딩 모드를 채용할 수 있다. 또한, 인코더는 EL에 대해 BL로부터 업샘플링되는 움직임 벡터와 업샘플링된 재구성 BL과 오리지날 EL 간의 상기 레시듀얼에 기초하여 생성되는 움직임 벡터 간에서 선택할 수 있다. 선택은 인코딩된 EL 데이터의 RDO에 기초할 수 있다.
본 발명의 일 양상에 따라, BL 및 EL을 구비하는 비디오 데이터를 인코딩하는 방법으로서, 상기 BL의 픽셀은 인핸스먼트층의 픽셀보다 비트 심도가 더 작고, 상기 방법은,
BL 데이터를 변환하고 양자화하는 단계,
상기 변환되어 양자화된 BL 데이터를 역변환하고 역 양자화하여 재구성 BL 데이터를 얻는 단계,
상기 재구성 BL 데이터를 업샘플링하는 단계 - 상기 업샘플링은 적어도 비트 심도를 참조하고 예측 버전의 EL 데이터가 얻어짐 -,
오리지날 EL 데이터와 예측 버전의 EL 데이터 간 레시듀얼을 생성하는 단계,
인터 코딩된 EL의 경우에 대하여 적어도 두 개의 상이한 인터 코딩 모드들 간에 선택하는 단계 - 제1 인터 코딩 모드는 업샘플링된 BL 움직임 정보를 사용하는 것을 포함하고, 제2 인터 코딩 모드는 상기 EL 데이터로부터 생성된 움직임 정보를 사용하는 것을 포함함 -,
상기 변환되어 양자화된 BL 데이터를 인코딩하는 단계, 및
선택된 EL 인코딩 모드를 사용하여 상기 EL 레시듀얼을 인코딩하고 상기 인코딩 모드를 디코더에 지시하는 지시를 인코딩하는 단계를 포함한다.
본 발명의 일 양상에 따라, 인코딩하는 방법은 인트라 코딩된 EL의 경우에 대하여 적어도 두 개의 상이한 인트라 코딩 모드들 간을 선택하는 단계를 더 포함하고, 상기 인트라 코딩 모드들 중 전부는 아니지만 적어도 하나는 오리지날 EL 데이터와 예측 버전의 EL 데이터 간 상기 레시듀얼의 부가의 인트라 코딩을 포함한다.
이롭게도, 상기 두 개의 전술한 인코더 실시예는 (예를 들면, 지시에 따라) 인코딩된 비디오 데이터가 인터 코딩된 것인지 아니면 인트라 코딩된 것인지를 검출하는 수단을 사용하여, 인트라 인코딩된 비디오 데이터 및 인터 인코딩된 비디오 데이터를 적응적으로 인코딩할 수 있는 결합 인코더에 결합될 수 있다.
본 발명의 일 양상에 따라, BL 및 EL을 구비하는 스케일러블 비디오 데이터를 디코딩하는 방법으로서, 상기 BL의 픽셀은 EL의 픽셀보다 비트 심도(depth)가 작으며, 상기 방법은,
양자화되고 (예를 들면, DCT) 변환된 인핸스먼트층 정보, 베이스층 정보 및 디코딩 모드 지시를 수신하는 단계,
수신된 EL 및 BL 정보에 대하여 역 양자화 및 역 변환을 수행하는 단계,
역 양자화되고 역 변환된 BL 정보를 업샘플링하는 단계 - 값마다의 비트 심도가 증가되고, 예측 EL 정보가 얻어짐 -, 및
상기 예측 EL 정보 및 역 양자화되고 역 변환된 EL 정보로부터 재구성 EL 비디오 정보를 재구성하는 단계 - 상기 디코딩 모드 지시에 따라 디코딩 모드가 선택되고, 가능한 디코딩 모드는 제1 모드 및 제2 모드를 포함하고, 상기 제1 모드에서는 인터 코딩된 EL 정보의 경우에 역 양자화 및 역 변환된 EL 정보를 EL 정보로부터 추출된 움직임 정보를 이용하여 디코딩하고, 상기 제2 모드에서는 인터 코딩된 EL 정보의 경우에 역 양자화 및 역 변환된 EL 정보를 상기 BL 정보로부터 추출된 움직임 정보를 사용하여 디코딩함 - 을 포함한다.
본 발명의 일 양상에 따라, 디코딩하는 상기 방법은, 가능한 디코딩 모드가 제3 모드 및 제4 모드를 더 포함하고, 상기 제3 모드에서는 인트라 코딩된 EL 정보의 경우에 역 양자화 및 역 변환 EL 정보가 EL 레시듀얼이 되고, 상기 제4 모드에서는 인트라 코딩된 EL 정보의 경우에 상기 EL 레시듀얼을 얻기 위해 역 양자화 및 역 변환 EL 정보를 (I_NxN 디코딩을 사용하여) 인트라 디코딩한다.
이롭게도, 상기 두 개의 전술한 디코더 실시예는 인트라 인코딩된 비디오 데이터 및 인터 인코딩된 비디오 데이터를 적응적으로 디코딩할 수 있는 결합 디코더에 결합될 수 있다.
본 발명의 또 다른 양상에 따라, 인코딩된 스케일러블 비디오 신호는 인코딩된 BL 데이터, 인코딩된 EL 데이터 및 예측 유형 지시를 포함하고, 상기 인코딩된 EL 데이터는 비트 심도 업샘플링된 BL 이미지와 EL 이미지 간 차이인 레시듀얼을 포함하고, 상기 레시듀얼은 차분 비트 심도 정보를 포함하고, 상기 예측 유형 지시는 상기 비트 심도 업샘플링된 BL 이미지를 참조하는 레시듀얼을 다시 얻기 위해 EL 데이터에 대하여 디코더가 공간 인트라 디코딩을 수행해야 하는지 여부를 지시한다.
본 발명의 또 다른 양상에 따라, 베이스층 및 인핸스먼트층을 구비하는 비디오 데이터를 디코딩하는 장치로서, 상기 베이스층은 인핸스먼트층보다 컬러 해상도가 낮고 공간 해상도가 낮으며, 상기 장치는,
베이스층 데이터를 변환하는 수단 및 양자화하는 수단,
변환되고 양자화된 베이스층 데이터를 역 변환하는 수단 및 역 양자화하는 수단 - 여기에서 재구성 베이스층 데이터가 얻어짐 -,
재구성된 베이스층 데이터를 업샘플링하는 수단 - 여기에서, 업샘플림은 적어도 비트 심도를 참조하고 예측 버전의 인핸스먼트층 데이터가 얻어짐 -,
오리지날 인핸스먼트층 데이터와 예측 버전의 인핸스먼트층 데이터 간 레시듀얼을 생성하는 수단,
인터 코딩된 인핸스먼트층의 경우에 대하여 적어도 두 개의 상이한 인터 코딩 모드들 간을 선택하는 수단 - 여기에서, 제1 인터 코딩 모드는 업샘플링된 베이스층 움직임 정보를 사용하는 것을 포함하고, 제2 인터 코딩 모드는 상기 인핸스먼트층 데이터로부터 생성된 움직임 정보를 사용하는 것을 포함함 -,
변환되고 양자화된 베이스층 데이터를 인코딩하는 수단, 및
선택된 인핸스먼트층 인코딩 모드를 사용하여 상기 인핸스먼트층 레시듀얼을 인코딩하는 수단을 포함한다.
본 발명의 또 다른 양상에 따라, BL 및 EL을 구비하는 비디오 데이터를 디코딩하는 장치로서, 상기 BL은 EL보다 컬러 해상도가 낮고 공간 해상도가 낮으며, 상기 장치는,
BL 데이터를 변환하는 수단 및 양자화하는 수단,
변환되고 양자화된 BL 데이터를 역 변환하는 수단 및 역 양자화하는 수단 - 여기에서 재구성 BL 데이터가 얻어짐 -,
재구성된 BL 데이터를 업샘플링하는 수단 - 여기에서, 업샘플림은 적어도 비트 심도를 참조하고 예측 버전의 인핸스먼트층 데이터가 얻어짐 -,
오리지날 EL 데이터와 예측 버전의 EL 데이터 간 레시듀얼을 생성하는 수단,
인터 코딩된 EL의 경우에 대하여 적어도 두 개의 상이한 인터 코딩 모드들 간을 선택하는 수단 - 여기에서, 제1 인터 코딩 모드는 업샘플링된 BL 움직임 정보를 사용하는 것을 포함하고, 제2 인터 코딩 모드는 상기 EL 데이터로부터 생성된 움직임 정보를 사용하는 것을 포함함 -,
변환되고 양자화된 BL 데이터를 인코딩하는 수단, 및
선택된 EL 인코딩 모드를 사용하여 상기 EL 레시듀얼을 인코딩하는 수단을 포함한다.
제공되는 코딩 솔루션의 다양한 실시예는 H.264/AVC 및 현재 H.264/AVC에서 SVC(scalable extension)으로 정의된 모든 종류의 확장과 호환가능하다.
본 발명의 장점 있는 실시예는 종속항, 후술하는 설명 및 도면에 개시되어 있다.
본 발명의 예시적 실시예는 첨부 도면을 참조하여 설명된다.
도 1은 컬러 비트 심도 스케일러블 코딩의 프레임워크를 도시한다.
도 2는 비트 심도 스케일러블 인핸스먼트층에 대한 새로운 인트라 코딩 모드의 인코더 프레임워크를 도시한다.
도 3은 비트 심도 스케일러블 인핸스먼트층에 대한 두 개의 새로운 인터 코 딩 모드의 인코더 프레임워크를 도시한다.
도 4는 비트 심도 스케일러블 인핸스먼트층에 대한 두 개의 새로운 인터 코딩 모드의 디코더 프레임워크를 도시한다.
도 5는 비트 심도 스케일러블 인핸스먼트층에 대한 새로운 인트라 코딩 모드의 디코더 프레임워크를 도시한다.
도 1에 도시된 바와 같이, 비디오 인코더로의 입력으로서 두 개의 비디오가 사용된다: N비트 미가공 비디오 및 M비트(M<N, 일반적으로 M=8) 비디오. M비트 비디오는 N비트 미가공 비디오로부터 분해되거나 또는 다른 방식에 의해 주어질 수 있다. 하나는 8비트 컬러를 갖고 다른 하나는 N비트 컬러(N>8)를 갖는 두 개의 비디오 스트림이 인코더에 입력되고 출력은 스케일러블 비트스트림이다. 또한 단지 하나의 N비트 컬러 데이터 스트림만이 입력되고, BL에 대하여 M비트(M<N) 컬러 데이터 스트림이 내부적으로 생성되는 것도 가능하다. M비트 비디오는 포함된 H.264/AVC 인코더를 사용하여 BL로서 인코딩된다. BL의 정보를 이용하여 EL의 코딩 효율을 향상시킬 수 있다. 본 명세서에서는 이것을 층간 예측이라 칭한다. 각각의 픽처-MB 그룹-는 두 개의 액세스 유닛을 구비하는데, 하나는 BL에 대한 것이고 다른 하나는 EL에 대한 것이다. 코딩된 비트스트림은 멀티플렉싱되어 스케일러블 비트스트림을 형성한다. BL 인코더는, 예를 들면, H.264/AVC 인코더를 포함하고, N비트 컬러 비디오를 예측하기 위해 재구성을 사용하고, 이는 EL 인코딩을 위해 사용될 것이다.
도 1에 도시된 바와 같이, 스케일러블 비트스트림은 BL 디코더(종래의 AVC 디코더)에 의해 디코딩될 수 있는 AVC 호환 BL 비트스트림을 예시적으로 포함한다. (각각의 지시를 평가한 후) 디코더 측에서는 예측 N비트 비디오를 얻기 위해 인코더에서와 동일한 예측이 행해질 것이다. N비트 예측 비디오를 사용하는 경우, EL 디코더는 N비트 예측을 사용하여 고품질 디스플레이(HQ)용의 최종 N비트 비디오를 생성할 것이다.
다음에서, 용어 컬리 비트 심도를 사용할 때, 이것은 비트 심도 즉, 값마다의 비트수를 의미한다. 이것은 일반적으로 컬러 강도에 대응한다.
일 실시예에서, 본 발명은 현재의 SVC 공간 구조, 시간 및 품질 스케일러빌리티에 기초하고, 향상된 컬러 비트 심도를 위해 비트 심도 스케일러빌리티에 의해 향상된다. 따라서, 본 실시예는 현재의 SVC 표준과 완전히 호환가능하다. 그러나, 당업자라면 본 실시예를 다른 표준에 적용하는 것도 용이할 것이다.
본 발명의 일 실시예에서는 세가지 새로운 유형의 인코딩 모드가 사용될 수 있는데, 이들 모두 비트 심도 스케일러빌리티를 위해 비트 심도 예측을 기초로 한다. 이들 새로운 코딩 모드는 층간 레시듀얼을 얼마나 효율적으로 그리고 보다 유연하게 인코딩해야 하는지에 대한 문제를 해결하도록 설계되었다. 현재의 SVC 표준은 임의의 예측 모드 선택없이 단지 I_BL 모드에서 층간 레시듀얼을 인코딩하는 것을 지원한다. 인터 코딩에 대해, 현재의 SVC 표준은 층간 레시듀얼을 직접 인코딩하는 것을 지원하지 않는다. 대신, BL 레시듀얼과 EL 레시듀얼 간 차를 인코딩하기 위해 레시듀얼 층간 예측이 행해진다. 달리 말하면, 층간 예측 모듈로의 입력은 인터 코딩에서 BL의 레시듀얼이지만 여기에서 사용되는 재구성 BL은 아니다. 개시된 세 개의 새로운 코딩 모드로부터, H.264/AVC에 기초하여 층간 레시듀얼을 인코딩하기 위해 하나는 인트라 코딩을 참조하고 다른 두 개는 인터 코딩을 참조한다.
인트라 코딩 모드
현재의 SVC 표준은 인핸스먼트층 인트라 MB를 위해 두 가지 유형의 코딩 모드를 지원하며, 그 중 하나는 오리지날 H.264/AVC I_NxN 코딩 모드이고, 다른 하나는 SVC 특별 코딩 모드 I_BL이다. 현재 SVC에서, I_NxN 모드는 오리지날 EL N비트 비디오를 인코딩하는 반면, I_BL 모드는 예측 모드 선택없이 층간 레시듀얼을 직접 코딩한다. 본 발명은 층간 레시듀얼을 N비트 비디오로서 처리하고 오리지날 N비트 비디오를 층간 레시듀얼로 대체함으로써 인트라 MB 코딩을 위한 새로운 모드를 부가한다. 제공된 새로운 인트라 모드를 사용하는 경우, I_BL 모드와 I_NxN 인코딩 버전의 N비트 층간 레시듀얼 간에 인트라 MB 최상 모드가 선택된다. 이러한 인트라 코딩 모드를 구비한 컬러 비트 심도 스케일러블 코덱을 위한 인트라 코딩의 프레임워크가 도 2에 도시되어 있다.
모드 선택 스위치(MSS)에 따라, EL 레시듀얼은 변환(T)되고, 양자화(Q)되어 엔트로피 코딩(ECEL)되기 전에 I_NxN 인코딩되거나 되지 않는다. 인코더는 RDO에 기초하여 인코딩 모드를 결정하는 수단을 구비하며, 이는 디코더를 적절히 제어하기 위해 또한 출력되는 제어 신호 EL_intra_flag를 제공한다. 이러한 목적을 위해, 결정 수단은 인코딩을 사실상 수행하거나, 규정된 파라미터, 예를 들면, 컬러 또는 텍스처의 평활도(smoothness)에 따라 입력 이미지 데이터를 분석만 할 수 있다.
이에 대응하는 디코더가 도 5에 도시되어 있다. 이 디코더는 입력 데이터에서 지시 EL_intra_flag를 검출하고, 그 지시에 응답하여 대응하는 디코딩 모드 MCC'를 EL 브랜치에 설정한다. 지시 EL_intra_flag의 하나의 값에 대해, 역 양자화되고 역 변환된 EL 레시듀얼 EL'res는 디코딩을 위해 그대로 사용되지만, 지시 EL_intra_flag의 다른 값에 대해 공간 예측 I_NxN이 그 전에 수행될 것이다. 지시는, 예를 들면, 슬라이스 헤더 정보에 포함될 수 있고 완전한 슬라이스에 유효할 수 있다.
인터 코딩 모드
인터 코딩에 대해, 현재의 SVC 표준은 재구성 베이스층 픽처를 사용하는 층간 예측을 지원하지 않지만, 오리지날 BL M비트 비디오와 BL 인코더에 의해 생성된 재구성 M비트 대응물(counterpart) 간 차인 베이스층 레시듀얼에 기초하여 층간 예측을 지원한다. EL에 대해 새로운 인터 코딩 모드를 사용함으로써, 도 3에 도시된 바와 같이, 재구성되고 업샘플링된 M비트 BL 정보 Prec{BLrec}를 사용하여 층간 예측이 행해진다. 인코더의 EL 브랜치에서, 이 층간 레시듀얼은 적어도 두 개의 인코딩 모드 중 하나를 사용하여 인코딩된다.
처음의 새로운 EL 인터 코딩 모드는 EL 오리지날 N비트 MB를 인코딩하는 대신 EL 데이터로부터 움직임 추정(ME)에 의해 얻어진 움직임 벡터 MVEL를 이용하고 특히 현재 및 이전 EL 레시듀얼로부터 층간 레시듀얼 MB을 인코딩하는 것을 포함한다.
두 번째의 EL 인터 코딩 모드에서, EL에 대한 움직임 벡터는 BL로부터 공유된다. ME 및 움직임 보상 MC는 계산상 복잡하고, 따라서 이러한 인코딩 방법은 EL 인코더에서 많은 처리 전력을 절약한다. BL 움직임 벡터를 공유함으로써, 인코더의 실행 시간 및 생성된 비트레이트 모두 감소될 수 있다. BL 움직임 데이터는 업샘플링 MVBLUp되고 이 모드에서 BL MC MCPred를 위해 사용된다.
플래그 base_mode_flag는 두 개의 새로운 EL 인터 코딩 모드들 간 스위치이고, 이 플래그는 또한 디코더를 적절히 제어하도록 인코딩된 BL 및 EL 데이터와 함께 출력된다.
이에 대응하는 디코더가 도 4에 도시되어 있다. 도 4의 특정 실시예에서, BL 레시듀얼은 비트 심도 업샘플링 BDUp되기 전에 레시듀얼 업샘플링 RUp을 사용하여 추가적으로 공간상 업샘플링된다. 플래그 base_mode_flag는 입력되는 데이터 스트림에서 검출되고 디코딩 모드를 제어하기 위해 사용된다: 플래그가 제1 값을 가지면, 입력되는 EL 데이터 스트림 ELMI으로부터 추출된 움직임 정보가 EL 브랜치에 대해 사용된다. 플래그가 다른 제2 값을 가지면, 입력되는 데이터 BL 스트림으로부터 추출된 후 업샘플링되는 BL로부터의 업샘플링된 MUp 움직임 정보가 EL 브랜치에 대해 사용된다. 입력되는 BL 데이터 스트림의 다른 부분(이미지 데이터)은 역 양자화 및 역 변환되고 그 결과의 레시듀얼 BLres,k를 사용하여 (필요하다면) BL 비디오를 재구성하고, (EL 비디오가 필요하다면) 업샘플링을 위해 사용된다. 일반적으로, 사용자가 규정하는 요구사항에 따라 스케일러블 디코더가 BL 비디오나 EL 비디오를 생성한다면 충분하다.
컬러 비트 심도 스케일러블 코딩을 위해 제공되는 새로운 코딩 모드의 주요한 두 가지 장점으로는, 첫번째, 새로운 코딩 모드는 인코더에 대해 보다 많은 모드 옵션을 제공하고, 이는 RDO가 보다 많은 선택을 할 수 있기 때문에 RDO에 특히 유용하며, 보다 양호한 최적화가 가능하다. 두번째로, 이들 새로운 모드를 사용하게 되면, 층간 레시듀얼이 직접 인코딩되고, 보다 높은 코딩 효율이 달성된다.
따라서, 본 발명은 스케일러블 인코더, 스케일러블 디코더 및 스케일러블 신호에 사용될 수 있으며, 특히, 비디오 신호 또는 상이한 품질 층 및 높은 층간 리던던시를 갖는 다른 유형의 신호용으로 사용될 수 있다.
본 발명은 순수하게 예로서 설명되고, 본 발명의 범위를 벗어나지 않고 상세한 수정이 이루어질 수 있다는 것이 이해될 것이다. 상세한 설명 및 (적절한) 청구범위 및 도면에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은 하드웨어, 소프트웨어, 또는 이들의 조합으로 (적절하게) 구현될 수 있다. 청구범위에 기재된 참조 부호는 단지 예이고 청구범위에 한정적인 영향을 갖는 것은 아니다.

Claims (11)

  1. 베이스층(base layer) 및 인핸스먼트층(enhancement layer)을 갖는 비디오 데이터를 인코딩하는 방법으로서 - 상기 베이스층은 상기 인핸스먼트층보다 컬러 해상도가 낮음 -,
    베이스층 데이터를 변환(T)하고 양자화(Q)하는 단계,
    상기 변환되고 양자화된 베이스층 데이터를 역변환(T-1)하고 역양자화(Q-1)하는 단계 - 여기서, 재구성 베이스층 데이터(BLrec)가 얻어짐 -,
    상기 재구성 베이스층 데이터를 업샘플링하는 단계(BDUp) - 여기서, 상기 업샘플링은 적어도 비트 심도(bit depth)를 참조하고, 예측 버전의 인핸스먼트층(Prec{BLrec})이 얻어짐 -,
    원래의 인핸스먼트층과 상기 예측 버전의 인핸스먼트층(Prec{BLrec}) 간의 레시듀얼(residual)(ELres)을 생성하는 단계,
    인터 코딩된 인핸스먼트층의 경우에 대하여 적어도 두 개의 상이한 인터 코딩 모드들 중에서 매크로블록을 선택하고 인트라 코딩된 인핸스먼트층의 경우에 대하여 적어도 두 개의 상이한 인트라 코딩 모드들 중에서 매크로블록을 선택하는 단계 - 여기서, 상기 적어도 두 개의 상이한 인터 코딩 모드들 중 제1 인터 코딩 모드는 업샘플링된(MUp) 베이스층 움직임 정보(MVBLUp)를 사용하는 것을 포함하고, 상기 적어도 두 개의 상이한 인터 코딩 모드들 중 제2 인터 코딩 모드는 상기 레시듀얼로부터 생성된 움직임 정보(MVEL)를 사용하는 것을 포함하고, 상기 인트라 코딩 모드들 중 전부는 아니지만 적어도 하나는 상기 레시듀얼로부터의 예측이 이용되는 인트라 모드를 사용하는 상기 레시듀얼의 인트라 코딩의 추가 단계를 포함함 -,
    상기 변환되고 양자화된 베이스층 데이터를 인코딩하는 단계(T, Q),
    선택된 모드를 사용하여 상기 레시듀얼(ELres)을 인코딩하고 상기 인코딩 모드를 표시하는 표시자(indication)를 인코딩하는 단계(T, Q) - 여기서, 상기 인코딩은 변환 및 양자화 단계를 포함함 -, 및
    상기 인코딩된 인핸스먼트층의 레시듀얼 및 표시자에 대해 엔트로피 코딩을 수행하는 단계
    를 포함하는 비디오 데이터 인코딩 방법.
  2. 제1항에 있어서,
    상기 상이한 코딩 모드들 중에서 선택하는 단계들은 레이트-왜곡-최적화 단계를 포함하는 비디오 데이터 인코딩 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 업샘플링하는 단계는 또한 공간(spatial) 업샘플링(RUp)을 포함하는 비디오 데이터 인코딩 방법.
  4. 베이스층 및 인핸스먼트층을 갖는 스케일러블 비디오 데이터를 디코딩하는 방법으로서 - 상기 베이스층은 상기 인핸스먼트층보다 비트 심도(depth)가 작음 -,
    엔트로피 디코딩을 수행하여 양자화되고 변환된 인핸스먼트층 정보, 베이스층 정보 및 디코딩 모드 표시자를 얻는 단계,
    상기 베이스층 정보 및 상기 얻어진 양자화되고 변환된 인핸스먼트층 정보에 대하여 역 양자화 및 역 변환을 수행하여 예측 인핸스먼트층과 원래의 인핸스먼트층 간의 레시듀얼을 얻는 단계,
    역 양자화되고 역 변환된 베이스층 정보를 업샘플링하는 단계 - 여기서, 값마다의 비트 심도가 증가되고, 상기 예측 인핸스먼트층이 얻어짐 -, 및
    상기 예측 인핸스먼트층, 및 역 양자화되고 역 변환된 인핸스먼트층 정보로부터 재구성 인핸스먼트층 비디오 정보를 재구성하는 단계
    를 포함하며,
    상기 디코딩 모드 표시자에 따른, 매크로블록 레벨에 대한 디코딩 모드는,
    제1 모드 - 상기 제1 모드에서, 인터 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 레시듀얼로부터 생성되고 상기 인핸스먼트층 정보로부터 추출된 움직임 정보를 사용하여 디코딩됨 -,
    제2 모드 - 상기 제2 모드에서, 인터 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 베이스층 정보로부터 추출된 후 업샘플링되는 움직임 정보를 사용하여 디코딩됨 -,
    제3 모드 - 상기 제3 모드에서, 인트라 코딩된 인핸스먼트층 정보의 경우에, 상기 베이스층으로부터의 예측이 이용됨 -, 및
    제4 모드 - 상기 제4 모드에서, 인트라 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 레시듀얼로부터의 예측이 이용되는 인트라 모드를 사용하여 인트라 디코딩됨 - 로부터 선택되는
    스케일러블 비디오 데이터 디코딩 방법.
  5. 베이스층 및 인핸스먼트층을 갖는 비디오 데이터를 인코딩하는 장치로서 - 상기 베이스층은 상기 인핸스먼트층보다 컬러 해상도가 낮음 -,
    베이스층 데이터를 변환(T)하고 양자화(Q)하는 수단,
    상기 변환되고 양자화된 베이스층 데이터를 역 변환(T-1)하고 역 양자화(Q-1)하는 수단 - 여기서, 재구성 베이스층 데이터(BLrec)가 얻어짐 -,
    상기 재구성 베이스층 데이터를 업샘플링하는 수단(BDUp) - 여기서, 상기 업샘플링은 적어도 비트 심도를 참조하고, 예측 버전의 인핸스먼트층(Prec{BLrec})이 얻어짐 -,
    원래의 인핸스먼트층과 예측 버전의 인핸스먼트층(Prec{BLrec}) 간의 레시듀얼(ELres)을 생성하는 수단,
    인터 코딩된 인핸스먼트층의 경우에 대하여 적어도 두 개의 상이한 인터 코딩 모드들 중에서 매크로블록을 선택하고 인트라 코딩된 인핸스먼트층의 경우에 대하여 적어도 두 개의 상이한 인트라 코딩 모드들 중에서 매크로블록을 선택하는 수단 - 여기서, 상기 적어도 두 개의 상이한 인터 코딩 모드들 중 제1 인터 코딩 모드는 업샘플링된(MUp) 베이스층 움직임 정보(MVBLUp)를 사용하는 것을 포함하고, 상기 적어도 두 개의 상이한 인터 코딩 모드들 중 제2 인터 코딩 모드는 상기 레시듀얼로부터 생성된 움직임 정보(MVEL)를 사용하는 것을 포함하고, 상기 인트라 코딩 모드들 중 전부는 아니지만 적어도 하나는 상기 레시듀얼로부터의 예측이 이용되는 인트라 모드를 사용하는 상기 레시듀얼의 인트라 코딩의 추가를 포함함 -,
    상기 변환되고 양자화된 베이스층 데이터를 인코딩하는 수단(T, Q),
    선택된 모드를 사용하여 상기 레시듀얼(ELres)을 인코딩하고 상기 인코딩 모드를 표시하는 표시자를 인코딩하는 수단(T, Q) - 여기서, 상기 인코딩은 변환 및 양자화를 포함함 -, 및
    상기 인코딩된 인핸스먼트층의 레시듀얼 및 표시자에 대해 엔트로피 코딩을 수행하는 엔트로피 코딩 수단
    을 포함하는 비디오 데이터 인코딩 장치.
  6. 베이스층 및 인핸스먼트층을 갖는 비디오 데이터를 디코딩하는 장치로서 - 상기 베이스층은 상기 인핸스먼트층보다 컬러 해상도가 낮음 -,
    엔트로피 디코딩을 수행하여 양자화되고 변환된 인핸스먼트층 정보, 베이스층 정보 및 디코딩 모드 표시자를 얻는 수단,
    상기 베이스층 정보 및 상기 얻어진 양자화되고 변환된 인핸스먼트층 정보에 대하여 역 양자화 및 역 변환을 수행하여 예측 인핸스먼트층과 원래의 인핸스먼트층 간의 레시듀얼을 얻는 수단,
    역 양자화되고 역 변환된 베이스층 정보를 업샘플링하는 수단 - 여기서, 값마다의 비트 심도가 증가되고, 상기 예측 인핸스먼트층이 얻어짐 -,
    상기 예측 인핸스먼트층, 및 역 양자화되고 역 변환된 인핸스먼트층 정보로부터 재구성 인핸스먼트층 비디오 정보를 재구성하는 수단, 및
    매크로블록 레벨에 대한 디코딩 모드를 선택하는 수단
    을 포함하며,
    상기 디코딩 모드 표시자에 따른 디코딩 모드는,
    제1 모드 - 상기 제1 모드에서, 인터 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 레시듀얼로부터 생성되고 상기 인핸스먼트층 정보로부터 추출된 움직임 정보를 사용하여 디코딩됨 -,
    제2 모드 - 상기 제2 모드에서, 인터 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 베이스층 정보로부터 추출된 후 업샘플링되는 움직임 정보를 사용하여 디코딩됨 -,
    제3 모드 - 상기 제3 모드에서, 인트라 코딩된 인핸스먼트층 정보의 경우에, 상기 베이스층으로부터의 예측이 이용됨 -, 및
    제4 모드 - 상기 제4 모드에서, 인트라 코딩된 인핸스먼트층 정보의 경우에, 상기 역 양자화되고 역 변환된 인핸스먼트층 정보는 상기 레시듀얼로부터의 예측이 이용되는 인트라 모드를 사용하여 인트라 디코딩됨 - 로부터 선택되는
    비디오 데이터 디코딩 장치.
  7. 제6항에 있어서,
    상기 업샘플링하는 수단은, 픽셀들의 수를 증가시키는 수단(RUp), 및 각 픽셀이 가질 수 있는 값들의 수를 증가시키는 수단(BDUp)을 포함하는 비디오 데이터 디코딩 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020097012289A 2006-12-14 2006-12-14 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치 KR101345090B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/003414 WO2008071036A1 (en) 2006-12-14 2006-12-14 Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction

Publications (2)

Publication Number Publication Date
KR20090098825A KR20090098825A (ko) 2009-09-17
KR101345090B1 true KR101345090B1 (ko) 2013-12-26

Family

ID=39511233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012289A KR101345090B1 (ko) 2006-12-14 2006-12-14 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8477853B2 (ko)
EP (1) EP2092747B1 (ko)
JP (1) JP5232796B2 (ko)
KR (1) KR101345090B1 (ko)
CN (1) CN101601300B (ko)
WO (1) WO2008071036A1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325682B2 (en) * 2007-04-16 2016-04-26 Tailstream Technologies, Llc System for interactive matrix manipulation control of streamed data and media
CN101828401B (zh) * 2007-10-16 2013-07-17 汤姆森许可贸易公司 用于比特深度缩放的伪像去除的方法和设备
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US20120014451A1 (en) * 2009-01-15 2012-01-19 Wei Siong Lee Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses
CN101998119B (zh) * 2009-08-14 2013-12-11 北京中星微电子有限公司 一种重构图获取方法及装置
EP2481214A4 (en) * 2009-09-22 2014-08-27 Panasonic Corp IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
CN105791841B (zh) 2010-01-06 2019-06-21 杜比实验室特许公司 用于网络上视频数据的自适应流处理的方法、装置和系统
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
JP5388977B2 (ja) * 2010-09-24 2014-01-15 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
JP5339300B2 (ja) * 2010-09-24 2013-11-13 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
KR101880325B1 (ko) * 2011-03-09 2018-07-19 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 동화상 부호화 장치
JP2012235383A (ja) * 2011-05-06 2012-11-29 Sony Corp エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置
CN102158710B (zh) * 2011-05-27 2012-12-26 山东大学 一种面向虚拟视图质量的深度图编码率失真判断方法
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
CN107360421B (zh) * 2011-10-17 2020-03-06 株式会社Kt 利用解码装置解码视频信号的方法
JP2013090296A (ja) * 2011-10-21 2013-05-13 Sharp Corp 符号化装置、送信装置、符号化方法、復号装置、受信装置、復号方法、プログラム、および記録媒体
CN103139560B (zh) * 2011-11-30 2016-05-18 北京大学 一种视频编码方法及系统
EP2803190B1 (en) * 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
WO2013128010A2 (en) * 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
WO2014030920A1 (ko) * 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
JP2015529728A (ja) 2012-08-22 2015-10-08 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ 新規両親媒性グラフトコポリマー
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
CN108769683B (zh) * 2012-09-09 2022-07-12 Lg 电子株式会社 图像解码方法和使用其的装置
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
EP2928198A4 (en) * 2012-11-27 2016-06-22 Lg Electronics Inc SIGNAL TRANSMISSION DEVICE AND SIGNAL TRANSMISSION METHOD
KR20140095442A (ko) * 2013-01-23 2014-08-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
TW201507443A (zh) * 2013-05-15 2015-02-16 Vid Scale Inc 基於單迴路解碼之多層視訊編碼
FR3012935A1 (fr) * 2014-05-20 2015-05-08 Thomson Licensing Procede et dispositif de codage d'images video, procede et dispositif de decodage d'un flux de donnees, programme d'ordinateur et support de stockage correspondants
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
EP3113492A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for determining prediction of current block of enhancement layer
US10685281B2 (en) * 2016-02-12 2020-06-16 Microsoft Technology Licensing, Llc Automated predictive modeling and framework
CN106548449A (zh) * 2016-09-18 2017-03-29 北京市商汤科技开发有限公司 生成超分辨率深度图的方法、装置及系统
US20180086905A1 (en) 2016-09-26 2018-03-29 Becton, Dickinson And Company Enhancing Bond Strength Of Medical Devices
US20180086902A1 (en) 2016-09-26 2018-03-29 Becton, Dickinson And Company Enhancing Bond Strength Of Medical Devices
US11111362B2 (en) 2016-09-26 2021-09-07 Becton, Dickinson And Company Breathable films with microbial barrier properties
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US10654979B2 (en) 2017-08-18 2020-05-19 Becton, Dickinson And Company Amphiphilic graft copolymers
WO2020228693A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Coding of multiple intra prediction methods
US11838551B2 (en) 2020-12-30 2023-12-05 Ofinno, Llc Adaptive block level bit-depth prediction
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026842A1 (en) 2004-08-23 2006-03-16 Delgado Junior Augusto De Jesu Fire extinguisher made of polymer
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
EP1817911A4 (en) * 2004-12-03 2015-05-20 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILAYER VIDEO ENCODING AND DECODING
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
AU2006201490B2 (en) 2005-04-19 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for adaptively selecting context model for entropy coding
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
EP1727372A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
JP2007266750A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 符号化方法
EP1871113A1 (en) * 2006-06-20 2007-12-26 THOMSON Licensing Method and apparatus for encoding video enhancement layer with multiresolution color scalability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability

Also Published As

Publication number Publication date
EP2092747A1 (en) 2009-08-26
US20100111167A1 (en) 2010-05-06
EP2092747A4 (en) 2010-12-22
CN101601300B (zh) 2012-07-18
JP5232796B2 (ja) 2013-07-10
CN101601300A (zh) 2009-12-09
EP2092747B1 (en) 2015-08-12
US8477853B2 (en) 2013-07-02
KR20090098825A (ko) 2009-09-17
JP2010512698A (ja) 2010-04-22
WO2008071036A1 (en) 2008-06-19

Similar Documents

Publication Publication Date Title
KR101345090B1 (ko) 적응성 인핸스먼트층 예측을 사용하여 비트 심도 스케일러블 비디오 데이터를 인코딩 및/또는 디코딩하는 방법 및 장치
JP5232797B2 (ja) 空間予測及びビット深度予測の適応的予測順序を使用してビデオ・データを符号化し、かつ／又は復号化する方法及び装置
EP1933563A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US8428129B2 (en) Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
KR20220113326A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
JP5383674B2 (ja) ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
EP1871113A1 (en) Method and apparatus for encoding video enhancement layer with multiresolution color scalability
KR20140122189A (ko) 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
Tagliasacchi et al. Intra mode decision based on spatio-temporal cues in pixel domain Wyner-Ziv video coding
EP1933565A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
US20150010083A1 (en) Video decoding method and apparatus using the same
McNeely et al. “Voodoo” error prediction for bit-depth scalable video coding
CN116134819A (zh) 基于poc msb信息进行图像编码/解码的方法和设备及存储比特流的记录介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 7