KR101751221B1 - 하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩 - Google Patents

하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩 Download PDF

Info

Publication number
KR101751221B1
KR101751221B1 KR1020150081801A KR20150081801A KR101751221B1 KR 101751221 B1 KR101751221 B1 KR 101751221B1 KR 1020150081801 A KR1020150081801 A KR 1020150081801A KR 20150081801 A KR20150081801 A KR 20150081801A KR 101751221 B1 KR101751221 B1 KR 101751221B1
Authority
KR
South Korea
Prior art keywords
signal
transcoding
bit
input
image data
Prior art date
Application number
KR1020150081801A
Other languages
English (en)
Other versions
KR20150142622A (ko
Inventor
관-밍 수
타오 첸
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20150142622A publication Critical patent/KR20150142622A/ko
Application granted granted Critical
Publication of KR101751221B1 publication Critical patent/KR101751221B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H04L65/607—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

초기 송신 패키지로부터 제 1 스테이지 트랜스코딩 시스템에 의해 생성된 중간 비트스트림이 수신된다. 중간 비트스트림은 기저층(BL) 및 강화층(EL) 신호들을 포함한다. 중간 비트스트림의 BL 및 EL 신호들의 조합은 압축된 넓은 동적 범위 이미지들을 나타낸다. 중간 비트스트림의 BL 신호는 단독으로 압축된 표준 동적 범위 이미지들을 나타낸다. 타깃된 송신 패키지는 중간 비트스트림에 기초하여 생성된다. 타깃된 송신 패키지는 BL 및 EL 신호들을 포함한다. 타깃된 송신 패키지의 BL 신호는 중간 비트 스트림의 BL 신호만으로부터 직접 트랜스코딩될 수 있다.

Description

하위 호환성 ＶＤＲ 코덱을 위한 효율적인 트랜스코딩{EFFICIENT TRANSCODING FOR BACKWARD-COMPATIBLE VDR CODEC}
본 발명은 일반적으로 이미지 처리에 관한 것이고, 특히 비디오를 인코딩, 디코딩 및 표시하는 것에 관한 것이다.
트랜스코딩은 많은 비디오 애플리케이션들에서 사용된다. 예를 들면, 서비스 제공자는 기본적인 네트워크 전송시 시변 대역폭들에 비디오 프로그램의 송신을 적응시키는 목적을 위해 상이한 비트 레이트들에서 상이한 비트스트림들을 제공할 필요가 있을 수 있다. 서비스 제공자는 비디오 프로그램의 메자닌 패키지(mezzanine package)(예를 들면, 압축되지 않은 마스터 버전으로부터 적응된 압축된 버전 등)로부터 시작하고 메자닌 패키지를 사용하여 상이한 비트 레이트들로 송신될 상이한 비트스트림들을 생성할 수 있다.
그러나, 비디오 프로그램의 메자닌 패키지는 일반적으로 (예를 들면, 인터넷 기반, 클라우드 기반, 등) 분배된 컴퓨팅 환경에서 상이한 노드들 사이에 전송하기 위해 높은 비트 레이트(예를 들면, 150 ~ 200 Mbps, 등), 및 수취인 노드에 저장하기 위해 큰 저장 공간을 요구한다.
본 섹션에서 기술된 방식들은 추구될 수 있는 방식들이지만, 반드시 이전에 생각되거나 추구되었던 방식들이 아니다. 그러므로, 달리 표시되지 않으면, 본 섹션에 기술된 방식들 중 어느 것도 본 섹션에서 그들의 포함에 의해서 단순히 종래 기술로서 칭해진다고 가정되지 않아야 한다. 유사하게, 하나 이상의 방식들에 관하여 식별된 문제들은 다르게 표시되지 않으면, 본 섹션에 기초하여 임의의 종래 기술에서 인식된 것으로 가정되지 않아야 한다.
본 발명의 목적은 하위 호환성 ＶＤＲ 코덱을 위한 효율적인 트랜스코딩을 위한 방법 및 장치를 제공하는 것이다.
비디오의 인코딩, 디코딩, 및 표시에 관한 예시적인 실시예들이 여기에 기술된다. 다음의 기술에서, 예시를 위해, 다수의 특정 상세들이 본 발명의 완전한 이해를 제공하기 위해 진술된다. 그러나, 본 발명은 이들 특정 상세들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 예들에서, 잘 알려진 구조들 및 디바이스들은 본 발명을 불필요하게 제한하거나, 불명료하게 하거나, 또는 애매하게 하는 것을 피하기 위해 철저히 상세히 기술되지는 않는다.
예시적인 실시예들은 다음의 개요에 따라 여기에 기술된다.
1. 개관
2. 다층 코덱
3. 단일-스테이지 트랜스코딩
4. 캐스케이드 2-패스 파이프라인
5. 이종 다중-스테이지 트랜스코딩
6. BL 직접 트랜스코딩
7. BL/EL 직접 트랜스코딩
8. 비트-깊이 트랜스코딩
9. 예시 프로세스 플로우
10. 실행 메커니즘-하드웨어 개요
11. 동등물들, 확장들, 대체물들 및 여러가지들
1. 개관
본 개요는 본 발명의 예시 실시예의 몇몇 양태들의 기본 기술을 나타낸다. 본 개요는 예시 실시예의 양태들의 광범위하거나 철저한 요약이 아니라는 것이 주의되어야 한다. 더욱이, 본 개요는 예시 실시예의 임의의 특히 중요한 양태들 또는 요소들을 식별하는 것으로도, 특히 예시 실시예의 임의의 범위를 설명하는 것으로도, 일반적으로 본 발명으로서도 이해되도록 의도되지 않는다는 것이 주의되어야 한다. 본 개요는 단순히 압축되고 간략화된 포맷으로 예시 실시예들에 관련되는 몇몇 개념들을 나타내고, 이하에 후속하는 예시 실시예들의 더 상세한 기술에 대한 단순히 개념적인 서문으로서 이해되어야 한다.
영화 스튜디오로부터 영화의 마스터 버전과 같은 프로덕션 패키지 등은, 프로덕션 패키지가 종종 미디어 프로그램에 이용가능한 최고의 공간 해상도, 가장 넓은 동적 범위 및 가장 큰 색역의 릴리즈 가능한 버전을 나타낼 때 엄청난 파일 크기일 수 있다. 프로덕션 패키지는 프로덕션 패키지에서 미디어 데이터를 압축함으로써 메자닌 패키지 등과 같은 더 작은 패키지로 트랜스코딩될 수 있다.
몇몇 실시예들에서, 메자닌 패키지를 갖는 콘텐트 제공자와 최종 사용자 디바이스 사이의 직접 네트워크 전송이 존재하지 않는다. 또한, 이러한 네트워크 전송이 존재할지라도, 최종 사용자 디바이스에 대한 메자닌 패키지의 직접 스트리밍을 지원하기 위해 충분한 대역폭(예를 들면, 200 Mps, 등)이 존재하지 않는다. 메자닌 패키지는 매우 다양한 최종 사용자 디바이스들(예를 들면, 소비자 디바이스들, 등), 최종 사용자 미디어 애플리케이션들(예를 들면, 스마트 플레이어들, 등), 등에 스트리밍될 수 있는 타깃된 송신 패키지들에 다른 트랜스코딩을 위해 오버-더-탑(OTT) 콘텐트 제공자, 등과 같은 미디어 스트리밍 서비스에 전달되거나 송신될 수 있다.
메자닌 패키지는 프로덕션 패키지, 및 이미지 데이터에 관련된 메타 데이터로부터 도출된 최대량의 이미지 데이터(예를 들면, 최종 사용자 디바이스들보다 훨씬 큰 매우 높은 공간 해상도, 10,000 nits, 20,000 nits 또는 그 이상까지의 최대 휘도, 넓은 색역, 등을 갖는)를 여전히 포함한다. 여기에 기술된 메자닌 패키지는, 그의 일부 또는 모두가 프로덕션 패키지로부터 도출될 수 있는, 콘텐트 맵핑(CM) 메타데이터, 디스플레이 관리(DM) 메타데이터 등을 전달할 수 있다.
메자닌 패키지로부터 타깃된 송신 패키지로의 트랜스코딩은 포맷 변환 동작들, 콘텐트 맵핑 동작들, 잡음 감소 동작들, 층간 예측 동작들, 비선형 양자화 동작들(NLQ), 공간 해상도 트랜스코딩, 프레임 레이트 변환, 등과 같은 시간 소모적인 동작들로서 시간 소모적일 수 있다(예를 들면, 미디어 프로그램의 각각의 트랜스코딩은 각각의 구동, 등을 완료하기 위해 수시간이 걸릴 수 있다).
포맷 변환 동작들은 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로, 제 1 컬러 공간으로부터 제 2 상이한 컬러 공간으로, 등 포맷 변환을 수행하는 동작들(예를 들면, 이미지 콘텐트가 메자닌 패키지로부터 디코딩된 후 선처리의 일 부분으로서 수행, 등)을 말한다.
콘텐트 맵핑 동작들은 제 1 동적 범위(예를 들면, 제 1 휘도 레벨들, 등), 제 1 색역(예를 들면, DCI-P3 SMPTE PR 431-2:2011, ITU-R 권장 BT.2020(08/2012), 또는 ITU-R 권장 BT.709-5(04/2002), 각각은 이로써 여기에 완전히 진술되는 것처럼 모든 목적들을 위해 참조로서 여기에 통합된다., 등)의 이미지 콘텐트(예를 들면, 메자닌 패키지, 등에서)를 제 2 동적 범위(예를 들면, 제 2 휘도 레벨들, 등), 제 2 색역(예를 들면, sRGB, 등), 등의 맵핑된 이미지 콘텐트(예를 들면, 타깃된 송신 패키지의 기저층(BL) 신호, 등에서)로 맵핑하는 동작들을 말한다. 몇몇 실시예들에서, 메자닌 패키지에 의해 전달된 CM 메타데이터는 제 2 동적 범위, 제 2 색역 등의 맵핑된 이미지 콘텐트를 생성하기 위해 콘텐트 맵핑 동작들에 의해 사용될 수 있다. 제 2 동적 범위, 제 2 색역, 등의 맵핑된 이미지 콘텐트는 제 1 동적 범위, 제 1 색역, 등의 미리 맵핑된 이미지 콘텐트를 지각적으로 근사할 수 있다. 몇몇 실시예들에서, CM 메타데이터는 비교적 좁은 동적 범위(예를 들면, SDR, 등), 비교적 작은 색역(예를 들면, sRGB, 등), 등에 대해 맵핑된 이미지 콘텐트를 생성하기 위해 사용될 수 있어서, 맵핑된 이미지 콘텐트는 비교적 좁은 동적 범위 및 비교적 좁은 색역을 지원하는 최종 사용자 디바이스 또는 디스플레이 애플리케이션상에 시청을 위해 최적화된다.
잡음 감소 동작들은 입력 이미지 콘텐트(예를 들면, 메자닌 패키지, 등으로부터 디코딩된)로부터 잡음들을 제거하는 동작들(예를 들면, 이미지 콘텐트가 메자닌 패키지, 등으로부터 디코딩된 후 선처리의 일 부분으로서 수행되는)을 말한다. 타깃된 송신 패키지가 더 작은 비트 레이트로 전달되려 할 때, 잡음 감소 동작들은 출력 이미지 콘텐트에서 코딩 효율성을 개선하기 위해 입력 이미지 콘텐트상에 수행될 수 있다.
몇몇 실시예들에서, 타깃된 송신 패키지는 로우-엔드 디바이스들에서 시청을 위해 최적화되는 BL 이미지 콘텐트를 포함하는 BL 신호와 같은 다중 신호들, 또는 비교적 하이-엔드 디바이스들에서 시청을 위해 최적화되는 이미지 콘텐트의 버전을 재구성하기 위해 BL 이미지 콘텐트와 조합될 수 있는 상호 보완 또는 EL 이미지 콘텐트(예를 들면, 나머지 이미지 콘텐트, 등)를 포함하는 강화층(EL) 신호들, 등을 포함하는 다층 비트스트림을 포함할 수 있다.
층간 예측 동작들은 타깃된 송신 패키지의 상이한 층들 사이에 층간 코드 리던던시를 이용하기 위해 수행될 수 있는 동작들을 말한다. 예를 들면, 층간 예측 동작들은 BL 이미지 콘텐트로부터 예측된 EDR 이미지를 생성하고 EDR 이미지와 예측된 EDR 이미지 사이의 차이들의 형태로 나머지 EL 이미지 콘텐트를 전달함으로써 EL 이미지 콘텐트의 크기를 감소시키기 위해 사용될 수 있다.
NLQ 동작들은 양자화될 이미지 콘텐트(예를 들면, 나머지 이미지 콘텐트, 등)에서 값들의 분포에 기초하여 할당된 양들을 사용하는 양자화 동작들을 말한다.
공간 해상도 트랜스코딩은 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하는 트랜스코딩 동작들을 말한다.
시간적 프레임 레이트 변환은 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환하는 트랜스코딩 동작들을 말한다.
몇몇 실시예들에서, 다중-스테이지 트랜스코딩 프로세스는, 메자닌 패키지, 등과 같은 입력 송신 패키지를 트랜스코딩하고, 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들에 대한 타깃된 송신 패키지들, 등과 같은 송신 패키지들을 출력하기 위해 사용될 수 있다. 특히, 입력 송신 패키지는 입력 송신 패키지를 스트리밍하기 위해 필요되는 것보다 훨씬 낮지만 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들의 일부 및 심지어 대부분들에 의해서 지원되는 타깃 비트 레이트들보다 여전히 높은 중간 비트 레이트를 통해 먼저 하나 이상의 제 1 스테이지 트랜스코딩 시스템들에 의해 제 1 스테이지 트랜스코딩 시스템들로부터 하나 이상의 제 2 스테이지 트랜스코딩 시스템들로 배포될 수 있는 중간 비트스트림으로 트랜스코딩될 수 있다. 중간 비트스트림은 중간 비트 레이트에서 제 1 스테이지 트랜스코딩 시스템들로부터 제 2 스테이지 트랜스코딩 시스템들(제 1 스테이지 트랜스코딩 시스템들보다 훨씬 더 많을 수 있는)로 송신될 수 있다. 중간 비트스트림은 제 2 스테이지 트랜스코딩 시스템들(예를 들면, 서로 독립적인, 협력하는, 등)에 의해 최종-사용자 디바이스들 및/또는 디스플레이 애플리케이션들의 다수 또는 모두에 의해 동적으로 지원된 매우 다양한 타깃된 비트 레이트들로 송신될 수 있는(예를 들면, 실시간이거나 거의 실시간, 등으로 스트리밍되는) 타깃 송신 패키지들로 트랜스코딩될 수 있다. 몇몇 실시예들에서, 제 1 트랜스코딩 시스템들 중 적어도 하나는 제 2 트랜스코딩 시스템들 중 적어도 하나의 지리적 위치와 상이한 지리적 위치에 위치된다.
몇몇 실시예들에서, 제 1 스테이지 트랜스코딩 시스템들은 매우 높은 비트 레이트(예를 들면, 200Mbps 또는 그 이상, 등)에서 실시간 스트리밍함으로써 또는 비실시간으로 메자닌 패키지들을 포함하는 매우 큰 파일들을 검색함으로써 다수의 미디어 프로그램들의 메자닌 패키지들을 수신하도록 구성될 수 있다. 제 1 스테이지 트랜스코딩 시스템들은 또한 비교적 시간 소모적이고, 반복적일 수 있는 트랜스코딩 동작들, 등을 완료하기 위해 비교적 높은 계산력 및 많은 기능을 갖고 구성될 수 있다.
몇몇 실시예들에서, 중간 비트스트림은 동적으로 생성되면서 동시에 제 1 스테이지 트랜스코딩 시스템들로부터 제 2 스테이지 트랜스코딩 시스템들로 실시간으로 송신될 수 있다. 몇몇 실시예들에서, 중간 비트스트림은 제 1 스테이지 트랜스코딩 시스템들로부터 제 2 스테이지 트랜스코딩 시스템들로 비실시간으로 미리 생성, 저장 및 송신/전달될 수 있다.
몇몇 실시예들에서, 제 2 스테이지 트랜스코딩 시스템들은 중간 비트 레이트(예를 들면, 메자닌 패키지들의 스트리밍 레이트들보다 5 내지 25배 낮은, 등)에서 실시간 스트리밍함으로써 또는 비실시간으로 중간 비트스트림을 포함하는 중간 크기 파일들을 검색함으로써 중간 비트스트림을 수신하도록 구성될 수 있다. 제 2 스테이지 트랜스코딩 시스템들은 또한 비교적 적은 시간 소모, 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들에 비교적 특정될 수 있는 타깃된 트랜스코딩 동작들, 등을 완료하기 위한 계산력 및 기능을 갖고 구성될 수 있다. 몇몇 실시예들에서, 타깃된 송신 패키지는 미리 생성되고 저장될 수 있고, 최종 사용자 디바이스 및/또는 디스플레이 애플리케이션(예를 들면, 최종 사용자 디바이스 및/또는 디스플레이 애플리케이션에 의해 스트리밍 서버, 등으로 다시 시그널링될 수 있는)에 의해 경험된 네트워크 상태들에 기초하여 최종 사용자 디바이스 및/또는 디스플레이 애플리케이션에 송신하도록 동적으로 스위칭될 수 있는 비디오 세그먼트들(예를 들면, 3초 비디오 청크, 5초 비디오 청크, 등), 비디오 청크들(예를 들면, 3초 비디오 청크, 등), 등을 포함할 수 있다. 몇몇 실시예들에서, 업샘플링/다운샘플링 동작들은 최종 사용자 디바이스 및/또는 디스플레이 애플리케이션에 송신하기 전에 타깃된 송신 패키지의 하나 이상의 부분들상에 수행될 수 있다.
몇몇 실시예들에서, 제 1 스테이지 트랜스코딩 시스템들은 메자닌 패키지로부터 디코딩된 이미지 콘텐트를 BL 및 EL 신호들을 포함하는 중간 비트스트림으로 트랜스코딩한다. 제 2 스테이지 트랜스코딩 시스템들은 중간 비트스트림을 수신하여 BL 및 EL 신호들로 다시 디멀티플렉싱한다.
몇몇 실시예들에서, 기저층이 제 1 패스로 미리 인코딩되기 때문에, 제 2 스테이지 트랜스코딩 시스템들은 중간 비트스트림의 BL 신호(예를 들면, HEVC, AVC, VP9, 등)를 타깃된 송신 패키지의 BL 신호로 직접 트랜스코딩한다.
추가적으로, 선택적으로, 또는 대안적으로, 중간 비트 스트림이 또한 제 1 패스에 인코딩된 하나 이상의 EL 신호들 모두를 포함하기 때문에, 제 2 스테이지 트랜스코딩 시스템들은 중간 비트스트림의 EL 신호들(예를 들면, HEVC, AVC, VP9, 등)을 타깃된 송신 패키지의 EL 신호들로 직접 트랜스코딩한다.
몇몇 실시예들에서, 중간 비트스트림으로부터 디코딩된 하나 이상의 EL 신호들에서 EL 이미지 콘텐트를 직접 트랜스코딩하는 대신에, 중간 비트스트림으로부터 디코딩된 BL 신호는 하나 이상의 제 2 스테이지 트랜스코딩 시스템들의 하나 이상의 예측 모듈들에 의해 예측된 EDR 이미지를 도출하기 위해 사용될 수 있고; 예측된 EDR 이미지는 타깃된 송신 패키지에 하나 이상의 EL 신호들로 인코딩될 EL 이미지 콘텐트를 도출하기 위해 하나 이상의 제 2 스테이지 트랜스코딩 시스템들에 의해 사용될 수 있다.
몇몇 실시예들에서, 제 1 패스에서 인코딩된 BL 및 EL 신호들은 타깃된 송신 패키지에서 BL 및 EL 신호들의 비트 깊이들과 동일한 비트 깊이들을 갖는다. 제 2 스테이지 트랜스코딩 시스템들은 제 1 패스에서 BL 및 EL 신호들의 비트 깊이들을 변환하지 않고 트랜스코딩 관련 동작들(예를 들면, 비트 레이트 트랜스코딩, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등)을 수행한다.
몇몇 실시예들에서, 제 1 패스에서 BL 및 EL 신호들은 타깃된 송신 패키지에 포함될 BL 및 EL 신호들의 비트 깊이들과 상이한 비트 깊이들을 갖는다. 제 2 스테이지 트랜스코딩 시스템들은 다른 트랜스코딩-관련 동작들(예를 들면, 비트 레이트 트랜스코딩, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등)에 추가하여 비트 깊이 트랜스코딩 동작들(예를 들면, 10-비트 HEVC로부터 8-비트 AVC로, 10-비트 AVC로부터 8-비트 HEVC로, 등)을 수행하도록 구성될 수 있다.
몇몇 실시예들에서, 여기에 기술되는 타깃된 송신 패키지의 EL 및 BL 신호들에서 순간적인 디코더 리프레시(IDR) 프레임들은 BL 이미지 콘텐트만(예를 들면, SDR 이미지 콘텐트, 등)의 재생 및 BL 및 EL 이미지 콘텐트의 조합(예를 들면, 재구성된 EDR 이미지, 높은 동적 범위 이미지 콘텐트, 등)의 재생이 그들의 각각의 재생들 내에서 동일한 로직 시간들(예를 들면, 동일한 프레임 인덱스들, 등)을 갖고 고속 전진 동작들(fast forward operations), 등을 지원할 수 있도록 동기화된다.
몇몇 실시예들에서, 제 1 스테이지 트랜스코딩 시스템들은 메자닌 패키지로부터 디코딩된 (예를 들면, 장면 변경 정보, 등을 포함하는) DM 메타데이터에 적어도 부분적으로 기초하여 IDR 프레임들을 식별하는 IDR 리스트를 생성하도록 구성된다. IDR 리스트는 여기에 기술되는 중간 비트스트림의 일 부분으로서 제 1 스테이지 트랜스코딩 시스템들에 의해 제 2 스테이지 트랜스코딩 시스템들로 전달되고 제 2 스테이지 트랜스코딩 시스템들에 의해 중간 비트스트림으로부터 추출될 수 있다. 제 2 스테이지 트랜스코딩 시스템들에 의해 수행된 다층 트랜스코딩 동작들에서, IDR 리스트는 BL 이미지 콘텐트만 및 타깃된 송신 패키지의 BL 및 EL 신호들에서 BL 및 EL 이미지 콘텐트의 조합 모두에서 동일한 로직 시간(예를 들면, 동일한 프레임 인덱스, 등)에 IDR 프레임들을 생성하기 위해 사용될 수 있다.
몇몇 실시예들에서, 여기에 기술된 메커니즘들은 휴대용 디바이스, 게임 머신, 텔레비전, 랩탑 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 전자 서적 판독기, 데스크탑 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 키오스크, 또는 다양한 다른 종류들의 단말들 및 미디어 처리 유닛들 중 어느 하나를 포함하지만 그로 제한되지 않는 미디어 처리 시스템의 일 부분을 형성한다.
여기에 기술된 바람직한 실시예들, 일반적인 원리들, 및 특징들에 대한 다수의 변형들은 당업자들에게 쉽게 명백할 것이다. 따라서, 본 개시 사항은 제시된 실시예들로 제한되는 것으로 의도되지 않고, 여기에 기술된 원리들 및 특징들과 일치하는 가장 넓은 범위로 허용될 것이다.
2.다층 코덱
몇몇 실시예들에서, 다층 코덱들은 압축된 이미지들(예를 들면, 비디오 이미지들)을 포함하는 미디어 신호들을 생성 또는 처리하기 위해 사용될 수 있다. 여기에 사용된 바와 같이, 용어 "다층 코덱"은 오디오 비디오 신호(예를 들면, 비트스트림, 방송 신호, 미디어 파일, 등)에서 다층들의 구조를 구현하는 다층 인코더 및/또는 디코더를 말하는 것일 수 있다. 다수의 계층들은 기저층(BL) 및 하나 이상의 강화층들(ELs)을 포함한다. 기저 및 강화층들은 동일한 소스 이미지들로부터 도출된 이미지 데이터를 포함한다. 기저층 내 이미지 데이터는 표준 동적 범위, 즉, SDR과 같은 비교적 좁은 동적 범위의 디스플레이들상에 렌더링하기 위해 최적화될 수 있는 낮거나 부분적인 동적 범위의 압축된 이미지 데이터를 포함한다. 조합의 다수의 층들 내 이미지 데이터는 비주얼 동적 범위, 즉, VDR, 확장된 동적 범위, 즉, EDR, 등과 같은 비교적 넓은 동적 범위의 디스플레이들상에 디코딩되고 시청될 수 있는 넓은 동적 범위의 압축된 이미지들을 포함한다. 여기서 사용된 용어 "VDR", 즉 "비주얼 동적 범위"는 표준 동적 범위보다 넓은 동적 범위를 말할 수 있고, 인간의 시각이 순간적으로 지각할 수 있는 동시에 지각가능한 동적 범위 및 색역까지 넓은 동적 범위를 포함할 수 있지만, 그로 제한되지 않는다. 여기에 사용된 용어 "EDR", 즉, "확장된 동적 범위"는 비주얼 동적 범위보다 적거나 동일한 표준 동적 범위보다 넓은 동적 범위를 말할 수 있다.
여기에 기술된 다층 코덱은 다수의 층들에서 상위 비트 깊이(예를 들면, 12+ 비트들, 등) 이미지들을 전체로서 지원하고 기저층에서 하위 비트 깊이(예를 들면, 8 비트, 등) 이미지들을 지원하기 위해 다수의 층들에서 2 이상의 낮은 비트 깊이(예를 들면, 8 비트, 등) 코덱들(예를 들면, 감마 도메인 코덱들, 등)로 구현될 수 있다. 예를 들면, 하나 이상의 감마-도메인 인코더들은 여기에 기술되는 다층 인코더의 BL 신호 처리 경로에 및/또는 하나 이상의 EL 신호 처리 경로들에 배치될 수 있다. 몇몇 실시예들에서, 적어도 하나의 감마-도메인 디코더가 기저층 전용 디코더인 다운스트림 디바이스의 BL 신호 처리 경로에 배치될 수 있다. 여기서 기술되는 코덱들 구현 기술들은 또한 기저층(BL) 이미지 데이터와 원래의 입력 이미지 데이터 사이의 통계적인 리던던시를 완전히 이용하기 위해 층간 예측 능력들을 포함하도록 구성될 수 있다. EL 이미지 데이터는 상이한 층들의 이미지 데이터에서 상관들 및 통계적인 리던던시를 이용하지 않고 대량의 넓은 동적 범위 이미지 데이터를 전달하는 대신, 나머지(또는 차별) 이미지 데이터를 (아마도 단지) 전달할 수 있다.
몇몇 예시적인 실시예들에서, 다른 애플리케이션들에 필요한 데이터(지각 인코딩 동작들, 등에 관련되지 않은 것들을 포함하지만 그로 제한되지 않음)는 또한 업스트림 디바이스로부터 다운스트림 디바이스로 전달될 기저층 및 강화층 이미지 데이터와 함께 포함될 수 있다. 몇몇 예시적인 실시예들에서, 추가의 특징들 및/또는 직교 특징들은 여기서 기술되는 기저 및 강화 층들에 의해 지지될 수 있다.
본 발명은 하위 호환성 ＶＤＲ 코덱을 위한 효율적인 트랜스코딩을 위한 방법 및 장치를 제공한다.
도 1은 예시 단일-스테이지 트랜스코딩 구성을 도시하는 도면.
도 2 내지 도 6은 예시 다중-스테이지 트랜스코딩 구성들을 도시하는 도면들.
도 7은 예시 프로세스 플로우를 도시하는 도면.
도 8은 여기에 기술되는 컴퓨터 또는 컴퓨팅 디바이스가 실행될 수 있는 예시 하드웨어 플랫폼을 도시하는 도면.
본 발명은 첨부하는 도면들의 도면들에서 제한이 아닌 예시로서 도시되고, 유사한 참조 번호들은 유사한 요소들을 나타낸다.
3. 단일 스테이지 트랜스코딩
도 1은 메자닌 패키지(예를 들면, 소스 비디오 콘텐트, 등)를 수신하도록 구성된 메자닌 디코더 및 하나 이상의 타깃된 비트 레이트들(예를 들면, 0.5 내지 10 Mbps, 등)로 단일 스테이지의 메자닌 패키지를 하나 이상의 타깃된 송신 패키지들(예를 들면, 최종 사용자 디스플레이 애플리케이션들, 등에 대한)로 변환하도록 구성된 트랜스코딩 시스템(100)을 포함하는 예시적인 구성을 도시한다.
트랜스코딩 시스템(100)은 포맷 변환 및 잡음 감소를 수행하도록 구성된 확장된 동적 범위(EDR) 선처리 모듈, EDR로부터 SDR로의 콘텐트 맵핑 및 잡음 주입을 수행하도록 구성된 기저층(BL) 선처리 모듈, 기저층(BL) 인코더, RPU 메타데이터 및 EL 데이터를 생성하도록 구성된 예측 모듈, 강화층(EL) 인코더, BL, EL, RPU 등의 스트림을 함께, 단일의 다층 비트스트림(예를 들면, 최종 사용자 비트 스트림, 등)으로 멀티플렉싱하도록 구성된 후처리 모듈, 등을 포함한다.
몇몇 실시예들에서, 메자닌 디코더는 메자닌 패키지(예를 들면, JPEG 2000 표준, 등을 준수)를 16-비트 TIFF 포맷의 12-비트 지각 양자화(PQ) 코드 워드들을 포함하는 EDR 신호로 처리하고; 메자닌 패키지로부터 컬러 관리(예를 들면, 컬러 그레이딩, 컬러 타이밍, 등) 메타데이터(CM 메타데이터) 및 디스플레이 관리 메타데이터(DM 메타데이터)를 추출하고, 등을 행하도록 구성된다.
여기에 기술된 CM 메타데이터는 프로덕션 패키지를 생성하는 프로세스에서 프로덕션 시스템에서 자동으로 또는 수동으로 행해진 컬러 조정들, 휘도 조정들, 화이트 포인트 조정들, 등 중 어느 하나를 포함할 수 있지만, 단지 그로 제한되지 않는다. CM 메타데이터는 맵핑된 이미지 콘텐트가 비교적 좁은 동적 범위 및 비교적 좁은 색역을 지원하는 한 종류의 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들상에서 시청하기 위해 최적화되도록 메자닌 패키지에서 전달된 이미지 콘텐트를 비교적 좁은 동적 범위(예를 들면, SDR, 등), 비교적 작은 색역(예를 들면, sRGB, 등)에 대한 맵핑된 이미지 콘텐트로 지각적으로 정확하게 맵핑하기 위한 콘텐트 맵핑 동작들에서 사용될 수 있다.
여기에 기술된 DM 메타데이터는 특정한 형태의 최종 사용자 디바이스들상에서 재생 동작들, 고속 전진(fast forwarding), 프레임 스킵핑(frame skipping), 등을 지원할 때 재구성하는 이미지들에서 장면 기반 예측들의 최상의 결과들을 얻기 위해 특정한 형태의 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들에 의해 사용될 수 있는 장면 정보, 등과 같은 임의의 디스플레이 관리 정보를 포함할 수 있지만, 그로 제한되지 않는다.
몇몇 실시예들에서, EDR 선처리 모듈은 메자닌 디코더로부터 EDR 신호를 수신하고, EDR 신호에서 EDR 콘텐트를 선처리, 등을 하도록 구성된다. EDR 선처리 모듈은 EDR 콘텐트에 대한 EDR 선처리 동작들을 수행하기 위해 하나 이상의 서브-모듈들로 구성될 수 있다. 예를 들면, EDR 선처리 모듈은 포맷 변환 동작들(예를 들면, PQ-기반 코드 워드들로부터 감마-기반 코드 값들로, 입력 컬러 공간으로부터 YUV 컬러 공간으로, 제 1 샘플링 포맷으로부터 제 2 샘플릿 포맷으로, 등)을 수행하는 포맷 변환기, EDR 콘텐트, 등과 관련하여, 처리된 신호에서 잡음 감소 동작들을 수행하는 잡음 감소 모듈, 등을 포함할 수 있다.
BL 선처리 모듈은 EDR 선처리 모듈로부터 선처리된 EDR 콘텐트를 수신하고, 메자닌 디코더로부터 CM 메타데이터를 수신하고, 선처리된 EDR 신호를 SDR 콘텐트로 변환하기 위해 선처리된 EDR 콘텐트에 콘텐트 맵핑 동작들을 수행, 등을 하도록 구성된다. 추가적으로, 선택적으로, 또는 대안적으로, BL 선처리 모듈은 SDR 콘텐트에 SDR 선처리(예를 들면, 밴딩 효과들을 축소하거나 제거하기 위해 잡음을 주입)를 수행하기 위해 하나 이상의 서브-모듈들을 포함할 수 있다.
몇몇 실시예들에서, BL 인코더는 선처리된 SDR 콘텐트를 8/10 비트 SDR 신호, 등으로 인코딩하도록 구성된 하위 호환성 비디오 코덱일 수 있다. 몇몇 실시예들에서, 8/10 비트 SDR 신호는 SDR 디스플레이들상에서 시청을 위해 최적화된다.
몇몇 실시예들에서, 예측 모듈은 EDR 선처리 모듈로부터 선처리된 EDR 콘텐트를 수신하고; 8/10 비트 SDR 신호에 기초하여 BL 디코더에 의해 디코딩된 SDR 콘텐트를 수신하고; EDR 선처리 모듈로부터 수신된 EDR 콘텐트에 추가의 선처리를 수행하고; 추가의 선처리된 EDR 콘텐트 및 디코딩된 SDR 콘텐트에 기초하여, EL 데이터(예를 들면, 나머지 데이터, 등) 및 예측 파라미터들을 생성, 등을 하도록 구성된다.
예측 모듈은 메자닌 디코더에 의해 디코딩되는 메자닌 패키지의 디스플레이 관리(DM) 데이터를 수신하고, DM 메타데이터에 기초하여 장면 변경 정보(예를 들면, 처리되고 있는 이미지 프레임이 처리되고 있는 현재 장면의 일 부분인지의 여부를 결정하는)를 파싱하고, 장면 변경 정보(예를 들면, 프레임이 현재 장면에 있는지의 여부, 프레임이 새로운 장면을 시작하는지의 여부, 등)를 나머지 비선형 양자화(NLQ) 서브 모듈에 제공하고, 장면 변경 정보를 IDR(순간적인 디코더 리프레시) 리스트 서브-모듈로 제공하는 등을 하도록 구성된 동일 장면 파서를 포함할 수 있다.
몇몇 실시예들에서, 나머지 NLQ 서브-모듈은 예측 파라미터들, NLQ 파라미터들, 장면 변경 파라미터들, 등을 포함하는 RPU(기준 처리 유닛) 신호를 생성하고; 예측 모듈에 의해 생성된 (예를 들면, 초기, 등) EL 데이터를 양자화하고; 양자화된 EL 데이터를 EL 인코더에 제공하는, 등을 하도록 구성된다.
몇몇 실시예들에서, IDR 리스트 서브-모듈은 장면-컷 파서로부터 장면 변경 정보를 수신하고, 예측 모듈로부터 추가의 장면 변경 정보를 수신하고, BL 디코더로부터 IDR 프레임 인덱스 정보를 수신하고, 장면 컷 파서, 예측 모듈, 및 BL 디코더로부터 수신된 정보에 기초하여 IDR(예를 들면, 프레임, 등) 리스트를 생성하는, 등을 하도록 구성된다. 몇몇 실시예들에서, EL 인코더는 나머지 NLQ 모듈로부터 양자화된 EL 데이터를 수신하고, IDR 리스트 서브-모듈로부터 IDR 리스트를 수신하고, 양자화된 EL 데이터 및 IDR 리스트에 적어도 부분적으로 기초하여 EL 신호를 생성하는, 등을 하도록 구성된다.
몇몇 실시예들에서, 후처리 모듈은 BL 신호, EL 신호 및 RPU 신호를 수신하고 타깃된 송신 패키지(예를 들면, 타깃된 비트 레이트, 해상도, 동적 범위, 플레이어, 플랫폼, 등을 지원하는)로서 세 개의 신호들(또는 스트림들)을 다층 신호(예를 들면, 다층 비트스트림, 등)로 멀티플렉싱하도록 구성된다.
몇몇 실시예들에서, 도 1의 트랜스코딩 시스템(100)은 메자닌 패키지를 상이한 타깃된 비트 레이트들에 대한 다수의 상이한 타깃된 송신 패킷들로 트랜스코딩을 지원하도록 구성될 수 있다. 예를 들면, 트랜스코딩 시스템(100)은 높은 비트 레이트(예를 들면, 100 내지 500 Mbps, 등)로 메자닌 패키지를 수신하고, 타깃된 비트 레이트들에 의존하는 처리 동작들에 의해 메자닌 패키지를 타깃된 송신 패키지들로 변환하고, 타깃된 송신 패키지들을 하나 이상의 최종 사용자 디바이스들로 비교적 낮은 비트 레이트(예를 들면, 0.5 내지 10 Mbps, 등)로 송신할 수 있다. 이러한 구성은 매우 다양한 미디어 프로그램들의 메자닌 패키지들을 최종 사용자 디스플레이 애플리케이션들에 대한 타깃된 송신 패키지들을 생성하도록 구성된 트랜스코딩 시스템들로 분배하기 위해 큰 저장 용량 및 높은 비트 레이트들을 요구한다.
여기에 기술된 기술들은 메자닌 패키지들을 분배하기 위해 큰 저장 용량 및 높은 비트 레이트들에 대한 요구 사항들을 피하거나 축소하기 위해 실행될 수 있다. 이들 기술들은 다수의 위치들에서(예를 들면, 인터넷에서, 다수의 위치들에 걸친 네트워크 클라우드에서, 등) 다수의 트랜스코딩 시스템들에 의해 트랜스코딩의 다수의 스테이지들로 메자닌 패키지를 트랜스코딩하는 것을 지원한다. 몇몇 실시예들에서, 메자닌 패키지는 하나 이상의 제 1 트랜스코딩 시스템들에 의한 트랜스코딩의 하나 이상의 제 1 스테이지들에서 송신할 중간 비트 레이트들(예를 들면, 10 내지 100 Mbps, 등)을 요구하는 중간 송신 패키지로 변환될 수 있다. 송신 패키지는 트랜스코딩의 하나 이상의 제 2 스테이지들에서 중간 송신 패키지들을 타깃된(예를 들면, 최종 사용자, 등) 송신 패키지들로 변환하도록 구성된 하나 이상의 제 2 트랜스코딩 시스템들로 송신될 수 있다. 여기에 기술된 변환 동작들 중 일부 또는 모두는 실시간으로 또는 비실시간으로 수행될 수 있다. 몇몇 실시예들 중 일 예에서, 중간 송신 패키지는 저장을 위해 제 2 트랜스코딩 시스템들로 송신될 수 있고; 제 2 트랜스코딩 시스템들은 비실시간으로 트랜스코딩의 제 2 스테이지들을 수행할 수 있다. 몇몇 실시예들 중 다른 예에서, 타깃된 송신 패키지들 중 일부 또는 모두는 하나 이상의 제 2 트랜스코딩 시스템에 의해 실시간으로, 비실시간으로, 일부분은 실시간으로 일부분은 비실시간, 등으로 생성될 수 있다.
4. 캐스케이드 2-패스 파이프라인
도 2는 메자닌 패키지(예를 들면, 소스 비디오 콘텐트, 등)를 수신하도록 구성된 메자닌 디코더, 및 하나 이상의 타깃된 비트 레이트들(예를 들면, 0.5 내지 10 Mbps, 등)로 두 개 이상의 스테이지들에서 메자닌 패키지를 하나 이상의 타깃된 송신 패키지들(예를 들면, 최종 사용자 디스플레이 애플리케이션들 등에 대하여)로 변환하도록 구성된 두 개 이상의 트랜스 코딩 시스템들(예를 들면, 100-1, 100-2, 등)을 포함하는 예시적인 구성을 도시한다.
몇몇 실시예들에서, 메자닌 디코더는 메자닌 패키지(예를 들면, JPEG 2000 표준, 등을 준수하여)를 16-비트 TIFF 포맷의 12-비트 지각 양자화(PQ) 코드 워드들을 포함하는 EDR 신호로 처리하고; 메자닌 패키지로부터 컬러 관리(예를 들면, 컬러 그레이딩, 컬러 타이밍, 등) 메타데이터(CM 메타데이터) 및 디스플레이 관리 메타데이터(DM 메타데이터)를 추출하고; EDR 신호, CM 메타데이터, DM 메타데이터 등을 트랜스코딩 시스템(100-1)에 직접 제공하고; CM 메타데이터, DM 메타데이터 등을 중간 비트스트림에 의해 트랜스코딩 시스템(100-2)으로 제공, 등을 하도록 구성된다.
몇몇 실시예들에서, 두 개 이상의 트랜스코딩 시스템(100-1, 100-2)의 각각은 도 1의 트랜스코딩 시스템(100)과 유사한 구성을 포함한다. 몇몇 실시예들에서, 도 2의 트랜스코딩의 두 개 이상의 스테이지들의 각각은 동일하거나 실질적으로 유사한 형태들의 동작들을 수행하는 단계를 포함한다. 몇몇 실시예들에서, 트랜스코딩 시스템(100-1)은 트랜스코딩의 제 1 패스(또는 스테이지)에서 중간 비트스트림(예를 들면, 10 내지 100 Mbps, 등의 중간 비트 레이트로)을 생성하도록 구성된다. 트랜스코딩의 제 2 패스(또는 스테이지)에서, 트랜스코딩 시스템(100-2)은 트랜스코딩 시스템(100-1)으로부터 수신된 중간 비트스트림, 메자닌 디코더로부터의 CM 및 DM 메타데이터, 등으로부터 하나 이상의 타깃된 송신 패키지들을 생성하도록 구성된다. 트랜스코딩 시스템(100-2)은 중간 비트스트림을 디코딩하고 중간 비트스트림으로부터 EDR 콘텐트를 검색/재구성하도록 구성된 하위 호환성 디코더를 포함할 수 있다. 이러한 재구성된 EDR 콘텐트는 또한 최종 사용자 디스플레이 애플리케이션들에 분배하에 적합한 하나 이상의 타깃된 송신 패키지들을 생성하기 위해 트랜스코딩 시스템(100-2)에서 다른 모듈들에 의해 동작될 수 있다.
이러한 구성을 통해 메자닌 패키지들을 타깃된 송신 패키지들로 트랜스코딩하는 것은 잡음 감소, 콘텐트 맵핑, 및 SDR-EDR 예측을 포함하는 모든 모듈들이 2회 이상 수행되기 때문에 매우 시간 소모적일 수 있다는 것이 주의되어야 한다. 추가적으로, 선택적으로, 또는 대안적으로, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환 등 중 하나 이상은 또한 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하고, BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환, 등을 하기 위해 트랜스코딩의 제 1 패스 및 제 2 패스 중 하나 또는 둘 모두에서 수행될 수 있다.
5. 이종 다중-스테이지 트랜스코딩
도 3은 메자닌 패키지(예를 들면, 소스 비디오 콘텐트, 등)를 수신하도록 구성된 메자닌 디코더, 제 1 스테이지 코덱 시스템(300), 및 하나 이상의 제 2 스테이지 트랜스코딩 시스템들(예를 들면, 100-3, 등)을 포함하는 예시적인 구성을 도시한다. 제 1 스테이지 코덱 및 제 2 스테이지 트랜스코딩 시스템들은 두 개 이상의 스테이지들의 메자닌 패키지를 하나 이상의 타깃된 비트 레이트들(예를 들면, 0.5 내지 10 Mbps, 등)로 하나 이상의 타깃된 송신 패키지들(예를 들면, 최종 사용자 디스플레이 애플리케이션들에 대하여, 등)로 변환하도록 구성된다.
제 1 스테이지 코덱 시스템의 예들은 높은 비트 깊이 신호층 코덱(예를 들면, 하위 호환성이 아닌 재성형 코덱, 하위 호환성 코덱, 단일층 코덱, 이중층 코덱, 등), AVC/HEVC에서 높은 비트 깊이 설정들/요구 사항들/옵션들을 실행하는 코덱, 등을 포함하지만, 그로 제한되지 않는다. 하위 호환성이 아닌 재성형 코덱의 몇몇 예들은, 그의 내용이 여기에 완전하게 진술되는 것처럼 모든 목적들을 위해 참조로서 통합된, 본 출원인에 의해 소유된 2013년 8월 2일에 출원된 미국 특허 출원 번호 61/861,555에 기술된다. 하위 호환성 재성형 코덱의 몇몇 예들은, 그의 내용이 여기에 완전하게 진술되는 것처럼 모든 목적들을 위해 참조로서 통합된, 출원인에 의해 소유된 2011년 11월 4일에 출원된 미국 특허 출원 번호 61/555,978에 기술된다.
몇몇 실시예들에서, 메자닌 디코더는 메자닌 패키지(예를 들면, JPEG 2000 표준, 등을 준수하는)를 16-비트 TIFF 포맷의 12-비트 지각 양자화(PQ) 코드 워드들을 포함하는 EDR 신호로 처리하고; 메자닌 패키지로부터 컬러 관리(예를 들면, 컬러 그레이딩, 컬러 타이밍, 등) 메타데이터(CM 메타데이터) 및 디스플레이 관리 메타데이터(DM 메타데이터)를 추출하고; EDR 신호, CM 메타데이터, DM 메타데이터, 등을 제 1 스테이지 코덱 시스템(300)에 직접 제공하고; CM 메타데이터, DM 메타데이터, 등을 중간 비트스트림에 의해 제 2 스테이지 트랜스코딩 시스템들(예를 들면, 100-3)로 제공, 등을 하도록 구성된다.
몇몇 실시예들에서, 트랜스코딩 시스템(100-3)은 트랜스코딩의 제 1 패스(또는 스테이지)에서 중간 비트스트림(예를 들면, 10 내지 100 Mbps, 등의 중간 비트 레이트에서)을 생성하도록 구성된다. 몇몇 실시예들에서, 제 1 스테이지 코덱 시스템은 메자닌 디코더로부터 EDR 신호를 수신하고, EDR 신호에서 EDR 콘텐트를 선처리를 하도록 구성된 EDR 선처리 모듈, 등을 포함한다. EDR 선처리 모듈은 EDR 콘텐트에 EDR 선처리 동작들을 수행하기 위해 하나 이상의 서브-모듈들로 구성될 수 있다. 예를 들면, EDR 선처리 모듈은 포맷 변환 동작들(예를 들면, PQ-기반 코드 워드들로부터 감마-기반 코드 값들로, 입력 컬러 공간으로부터 YUV 컬러 공간으로, 제 1 샘플링 포맷으로부터 제 2 샘플링 포맷으로, 등)을 수행하는 포맷 변환기, EDR 콘텐트에 관련하여, 처리된 신호, 등에서 잡음 감소 동작들을 수행하는 잡음 감소 모듈, 등을 포함할 수 있다. 몇몇 실시예들에서, 선처리된 EDR 콘텐트는 중간 비트스트림을 생성하기 위해 제 1 스테이지 코드 시스템(300)에서 높은 비트 깊이 인코더로 전송된다. 중간 비트스트림은 이후 제 1 스테이지 코덱 시스템(300)으로부터 제 2 스테이지 트랜스코딩 시스템들(예를 들면, 100-3, 등)로 송신된다.
몇몇 실시예들에서, 트랜스코딩 시스템(100-3)은 도 1의 트랜스코딩 시스템(100)과 유사한 구성을 포함한다. 트랜스코딩의 제 2 패스(또는 스테이지)에서, 트랜스코딩 시스템(100-3)은 제 1 스테이지 코덱 시스템(300)로부터 수신된 중간 비트스트림, 메자닌 디코더로부터의 CD 및 DM 메타데이터, 등으로부터 하나 이상의 타깃된 송신 패키지들을 생성하도록 구성된다. 트랜스코딩 시스템(100-3)은 중간 비트스트림을 디코딩하고 중간 비트스트림으로부터의 EDR 콘텐트를 검색/재구성하도록 구성된 EDR 고 비트 깊이 디코더를 포함할 수 있다. 이러한 재구성된 EDR 콘텐트는 또한 최종 사용자 디스플레이 애플리케이션들에 대한 분배에 적합한 하나 이상의 타깃된 송신 패키지들을 생성하기 위해 트랜스코딩 시스템(100-3)의 다른 모듈들에 의해 동작될 수 있다.
몇몇 실시예들에서, 제 1 스테이지 코덱 시스템(300)에 의해 생성된 중간 비트스트림은 원래의 비트 깊이(예를 들면, 메자닌 디코더에 의해 생성된 압축되지 않은 EDR 콘텐트의 비트 깊이와 동일한)의 EDR 콘텐트를 전달하는 압축된 EDR 신호를 포함한다. 몇몇 실시예들에서, 압축된 EDR 신호는 (원래의) 메자닌 패키지와 비교할 때 중간 크기 메자닌 패키지를 나타낸다. 트랜스코딩 시스템(100-3)은 원래의 비트 깊이의 EDR 콘텐트를 수신 및 재구성하고, 재구성된 EDR 콘텐트를 다층 비트스트림을 포함하는 타깃된 송신 패키지로 트랜스코딩하도록 구성될 수 있다. 다층 비트스트림으로 전달된 BL 및 EL 신호들은 타깃된 플랫폼, 타깃된 미디어 애플리케이션, 등의 비트 깊이들(예를 들면, 8 비트, 10 비트, 등)과 일치하는 그들의 각각의 비트 깊이들로 설정될 수 있다. 추가로, 선택적으로, 또는 대안적으로, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등 중 하나 이상은 또한 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하고, BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환, 등을 하도록 트랜스코딩의 제 1 패스 및 제 2 패스 중 하나 또는 모두에서 수행될 수 있다.
6. BL 직접 트랜스코딩
도 4는 메자닌 패키지(예를 들면, 소스 비디오 콘텐트, 등), 제 1 스테이지 트랜스코딩 시스템(100-4), 및 하나 이상의 제 2 스테이지 트랜스코딩 시스템(예를 들면, 400, 등)을 수신하도록 구성된 메자닌 디코더를 포함하는 예시적인 구성을 도시한다. 제 1 스테이지 및 제 2 스테이지 트랜스코딩 시스템들은 하나 이상의 타깃된 비트 레이트들(예를 들면, 0.5 내지 10 Mbps, 등)로 두 개 이상의 스테이지들에서 메자닌 패키지를 하나 이상의 타깃된 송신 패키지들로(예를 들면, 최종 사용자 디스플레이 애플리케이션들, 등에 대하여) 변환하도록 구성된다. 이러한 구성은, 예를 들면, 트랜스코딩의 제 2 패스(또는 스테이지)에서 잡음 감소 및 콘텐트 맵핑 동작들을 제거함으로써 계산 복잡성을 축소하기 위해 사용될 수 있다.
몇몇 실시예들에서, 메자닌 디코더는 메자닌 패키지(예를 들면, JPEG 2000 표준, 등을 준수)를 16 비트 TIFF 포맷의 12-비트 지각 양자화(PQ) 코드 워드들을 포함하는 EDR 신호로 처리하고; 메자닌 패키지로부터 컬러 관리(예를 들면, 컬러 그레이딩, 컬러 타이밍, 등) 메타데이터(CM 메타데이터) 및 디스플레이 관리 메타데이터(DM 메타데이터)를 추출하고; EDR 신호, CM 메타데이터, DM 메타데이터, 등을 트랜스코딩 시스템(100-4)에 직접 제공하고; 중간 비트스트림에 의해 DM 메타데이터, 등을 트랜스코딩 시스템(400)에 제공, 등을 하도록 구성된다.
몇몇 실시예들에서, 트랜스코딩 시스템(400)은 도 1의 트랜스코딩 시스템(100)으로서 유사한 구성을 포함한다. 몇몇 실시예들에서, 트랜스코딩 시스템(100-1)은 트랜스코딩의 제 1 패스(또는 스테이지)에서 중간 비트스트림(예를 들면, 10 내지 100 Mbps, 등의 중간 비트 레이트로)를 생성하도록 구성된다. 몇몇 실시예들에서, 도 4의 트랜스코딩 시스템(100-4)은 도 2의 트랜스코딩 시스템(100-1)에 의해 수행된 동작들의 형태들과 동일하거나 실질적으로 유사한 동작들의 형태들을 수행하는 것을 포함한다.
트랜스코딩의 제 2 패스(또는 스테이지)에서, 트랜스코딩 시스템(400)은 트랜스코딩 시스템(100-4)으로부터 수신된 중간 비트스트림, 메자닌 디코더로부터의 DM 메타데이터, 등으로부터 하나 이상의 타깃된 송신 패키지들을 생성하도록 구성된다.
몇몇 실시예들에서, 도 4의 구성에서 두 개 이상의 다중 트랜스코딩 시스템들의 각각은 기저층 및 강화층에 각각 전달된 이미지 데이터에 EL 및 BL 동작들을 수행하도록 구성된다.
예시를 위해, 중간 비트스트림은 EL, RPU, 및 BL 신호들을 포함하는 다층 하위 호환성(BC) 스트림을 나타낸다. 트랜스코딩 시스템(400)은 중간 비트스트림을 EL, RPU, 및 BL 신호들로 디코딩하고, 중간 비트스트림으로부터 EDR 콘텐트를 검색/재구성하도록 구성된 하위 호환성 디코더(BC 디코더)를 포함할 수 있다. 이렇게 재구성된 EDR 콘텐트는 또한 최종 사용자 디스플레이 애플리케이션들에 대한 분배에 적합한 하나 이상의 타깃된 송신 패키지들을 생성하기 위해 트랜스코딩 시스템(400)의 다른 모듈들에 의해 동작될 수 있다.
기저층이 제 1 패스에서 이미 인코딩되기 때문에, BL의 이미지 데이터는 하나 이상의 타깃된 송신 패키지들 중 하나로서 다층 비트스트림으로 전달될 저 비트레이트(예를 들면, 타깃된 비트 레이트, 등) BL 신호를 생성하기 위해 직접 트랜스코딩될 수 있다. 또한, BL 디코더는 트랜스코딩된 재구성된 BL 데이터(예를 들면, YUV 데이터, 등)를 생성하기 위해 저 비트 레이트 BL 신호를 디코딩하고 제 2 스테이지트랜스코딩 시스템(400)의 예측 모듈로 전송할 수 있다.
몇몇 실시예들에서, 트랜스코딩 시스템들은, BC 디코더로부터 EDR 콘텐트를 수신하고; BL 디코더로부터 트랜스코딩된 제한된 SDR 콘텐트를 수신하고; BC 디코더로부터 수신된 EDR 콘텐트에 추가의 선처리를 수행하고; 추가의 선처리된 EDR 콘텐트 및 디코딩된 SDR 콘텐트에 기초하여, EL 데이터(예를 들면, 나머지 데이터, 등) 및 예측 파라미터들을 생성하는 등을 수행하도록 구성되는 예측 모듈을 포함하지만, 그로 제한되지 않는, 하나 이상의 모듈들을 포함한다.
예측 모듈은 메자닌 디코더에 의해 디코딩되는 메자닌 패키지에서 디스플레이 관리(DM) 데이터를 수신하고, DM 메타데이터에 기초하여 장면 변경 정보를 파싱하고(예를 들면, 처리되고 있는 이미지 프레임이 처리되는 현재의 장면의 일 부분인지의 여부를 결정하는, 등), 장면 변경 정보(예를 들면, 프레임이 현재 장면에 있는지의 여부, 프레임이 새로운 장면을 시작하는지의 여부, 등)를 나머지 비선형 양자화(NLQ) 서브 모듈에 제공하고; 장면 변경 정보를 IDR(순간적인 디코더 리프레시) 리스트 서브-모듈에 제공하는, 등을 하도록 구성된 동일한 장면 파서를 포함할 수 있다.
몇몇 실시예들에서, 나머지 NLQ 서브 모듈은 예측 파라미터들, NLQ 파라미터들, 장면 변경 파라미터들, 등을 포함하는 RPU(기준 처리 유닛) 신호를 생성하고; 예측 모듈에 의해 생성된 (예를 들면, 초기의, 등) EL 데이터를 양자화하고; 양자화된 EL 데이터를 EL 인코더에 제공하는, 등을 행하도록 구성된다.
몇몇 실시예들에서, 트랜스코딩 시스템(400)은 중간 비트스트림에 의해 DM 메타데이터를 수신한다. 트랜스코딩 시스템(400), 또는 그 안의 장면 컷 파서는 수신된 DM 메타데이터를 저 비트 깊이 표현으로 직접 트랜스코딩하고, DM 메타데이터로부터 장면 정보를 얻어 장면 경계를 EL의 IDR 프레임들로서 실행할 수 있다. 몇몇 실시예들에서, 추가의 정보는 제 1 스테이지 트랜스코딩 시스템(예를 들면, 100-4, 등)으로부터 제 2 스테이지 트랜스코딩 시스템(예를 들면, 400, 등)으로 송신되고, 제 2 스테이지 트랜스코딩 시스템(예를 들면, 400, 등)에 의해 사용되어 기저층과 강화 층들 사이의 화상 집합(GOP) 정렬 동작들을 수행한다.
몇몇 실시예들에서, IDR 리스트 서브-모듈은 장면-컷 파서로부터 장면 변경 정보를 수신하고, 예측 모듈로부터 추가의 장면 변경 정보를 수신하고, BL 디코더로부터 IDR 프레임 인덱스 정보를 수신하고, 장면 컷 파서, 예측 모듈, 및 BL 디코더, 등로부터 수신된 정보에 기초하여 IDR(예를 들면, 프레임, 등) 리스트를 생성하도록 구성된다. 몇몇 실시예들에서, EL 인코더는 나머지 NLQ 모듈로부터 양자화된 EL 데이터를 수신하고; IDR 리스트 서브-모듈로부터 IDR 리스트를 수신하고; 양자화된 EL 데이터 및 IDR 리스트에 적어도 부분적으로 기초하여 EL 신호를 생성, 등을 하도록 구성된다.
몇몇 실시예들에서, 트랜스코딩 시스템(400)의 후처리 모듈은 BL 신호, EL 신호 및 RPU 신호를 수신하고; 타깃된 송신 패키지(예를 들면, 타깃된 비트 레이트, 해상도, 동적 범위, 플레이어, 플랫폼, 등)로서 세 개의 신호들(또는 스트림들)을 함께 다층 신호(예를 들면, 다층 비트스트림, 등)로 멀티플렉싱하는, 등을 행하도록 구성된다.
도 4의 구성에서, 중간 비트스트림(예를 들면, 중간 레이트 비트스트림, 등)에서 BL 이미지 데이터는 타깃된 송신 패키지의 BL 이미지 데이터의 비트 깊이(예를 들면, 저 비트 레이트 비트스트림, 등)와 상이한 비트 깊이를 가질 수 있다. 유사하게, 중간 비트스트림의 EL 이미지 데이터는 타깃된 송신 패키지의 EL 이미지 데이터의 비트 깊이와 상이한 비트 깊이를 가질 수 있다. 예를 들면, 중간 비트스트림은 기저층 및 강화 층 중 하나 이상에서 10-비트 이미지 데이터를 포함할 수 있다. 중간 비트스트림이 처리를 위해 다른 노드들(네트워크 클라우드에서 제 2 스테이지 또는 나중 트랜스코딩 시스템들)로 전달된 후, 타깃 플랫폼이 8-비트 이미지 데이터로서 BL 이미지 데이터를 요구하는 경우, 중간 비트스트림에서 BL 이미지 데이터는 10-비트로부터 8-비트로 하나 이상의 다른 노드들에 의해 트랜스코딩될 수 있다. 트랜스코딩에서 수행된 동작들은 8-비트 표현의 EL 이미지 데이터에 대한 예측 및 나머지 양자화 동작, 등을 포함할 수 있지만, 그로 제한되지 않는다. 추가로, 선택적으로, 또는 대안적으로, 잡음 주입은 8-비트 코딩 동작들로부터 잘못된 윤곽을 제거하거나 또는 완화하기 위해 트랜스코딩의 제 2 패스에서 인에이블될 수 있다. 유사하게, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등 중 하나 이상은 또한 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하고, BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환하는, 등을 하기 위해 트랜스코딩의 제 1 패스 및 제 2 패스 중 하나 또는 둘 모두에서 수행될 수 있다.
7. BL/EL 직접 트랜스코딩
도 5는 메자닌 패키지(예를 들면, 소스 비디오 콘텐트, 등), 제 1 스테이지 트랜스코딩 시스템(100-5), 및 하나 이상의 제 2 스테이지 트랜스코딩 시스템들(예를 들면, 500, 등)을 수신하도록 구성된 메자닌 디코더를 포함하는 예시 구성을 도시한다. 제 1 스테이지 및 제 2 스테이지 트랜스코딩 시스템들은 두 개 이상의 스테이지들의 메자닌 패키지를 하나 이상의 타깃된 비트 레이트들(예를 들면, 0.5 내지 10 Mbps, 등)로 하나 이상의 타깃된 송신 패키지들(예를 들면, 최종 사용자 디스플레이 애플리케이션들에 대하여, 등)로 변환하도록 구성된다.
몇몇 실시예들에서, 메자닌 디코더는 메자닌 패키지(예를 들면, JPEG 2000 표준, 등을 준수)를 16 비트 TIFF 포맷의 12-비트 지각 양자화(PQ) 코드 워드들을 포함하는 EDR 신호로 처리하고; 메자닌 패키지로부터 컬러 관리(예를 들면, 컬러 그레이딩, 컬러 타이밍, 등) 메타데이터(CM 메타데이터) 및 디스플레이 관리 메타데이터(DM 메타데이터)를 추출하고; EDR 신호, CM 메타데이터, DM 메타데이터, 등을 트랜스코딩 시스템(100-5)에 직접 제공하고; 중간 비트스트림에 의해 DM 메타데이터, 등을 트랜스코딩 시스템(500)으로 제공, 등을 하도록 구성된다.
몇몇 실시예들에서, 트랜스코딩 시스템(100-5)은 도 1의 트랜스코딩 시스템(100)과 유사한 구성을 포함한다. 몇몇 실시예들에서, 트랜스코딩 시스템(100-1)은 트랜스코딩의 제 1 패스(또는 스테이지)에서 중간 비트스트림(예를 들면, 10 내지 100 Mbps, 등의 중간 비트 레이트에서)을 생성하도록 구성된다. 몇몇 실시예들에서, 도 5의 트랜스코딩 시스템(100-5)은 도 2의 트랜스코딩 시스템(100-1)에 의해 수행된 동작들의 형태들과 동일하거나 실질적으로 유사한 동작들의 형태들을 수행하는 것을 포함한다.
트랜스코딩의 제 2 패스(또는 스테이지)에서, 트랜스코딩 시스템(500)은 트랜스코딩 시스템(100-5)으로부터 수신된 중간 비트스트림, 메자닌 디코더로부터의 DM 메타데이터, 등으로부터 하나 이상의 타깃된 송신 패키지들을 생성하도록 구성된다.
몇몇 실시예들에서, 도 5의 구성에서 두 개 이상의 다중 트랜스코딩 시스템들의 각각은 기저층 및 강화층에 각각 전달된 이미지 데이터에 EL 및 BL 동작들을 수행하도록 구성된다.
예시를 위해, 중간 비트스트림은 EL, RPU, 및 BL 신호들을 포함하는 다층 하위 호환성(BC) 스트림을 나타낸다. 기저층 및 강화층의 각각은 제 1 패스에서 미리 인코딩되기 때문에, 각각의 이러한 층의 이미지 데이터는 하나 이상의 타깃된 송신 패키지들 중 하나로서 다층 비트스트림에서 전달될 저 비트 레이트(예를 들면, 타깃된 비트 레이트, 등) BL 또는 EL 신호를 생성하기 위해 직접 트랜스코딩될 수 있다.
도 4의 구성에서와 같이, 도 5에 도시된 이러한 구성은, 예를 들면, 트랜스코딩의 제 2 패스(또는 스테이지)에서 잡음 감소 및 콘텐트 맵핑 동작들을 제거함으로써 계산 복잡성을 감소시키기 위해 사용될 수 있다. 또한, 트랜스코딩 시스템(500)은 트랜스 코딩의 제 2 패스에서 예측 동작 동작들을 수행할 필요 없이 BL 및 EL 이미지 데이터 모두를 타깃 비트 레이트들로 (예를 들면, 독립적으로, 등) 트랜스코딩할 수 있다. 예를 들면, EL 디코더, EL 인코더, 및/또는 선택적 처리 모듈들은 중간 비트스트림으로부터 도출된 EL 이미지 데이터를 트랜스코딩 시스템(500)의 후처리 모듈로 전송될 타깃된 EL 신호로 트랜스코딩하기 위해 사용될 수 있다. 유사하게, BL 디코더, BL 인코더, 및/또는 선택적 처리 모듈들은 중간 비트스트림으로부터 도출된 BL 이미지 데이터를 트랜스코딩 시스템(500)의 후처리 모듈로 전송될 타깃된 BL 신호로 트랜스코딩하기 위해 사용될 수 있다. 몇몇 실시예들에서, 중간 비트스트림으로 전달된 동일한 RPU 신호는 RPU 신호를 트랜스코딩 시스템(500)의 후처리 모듈로 직접 제공함으로써 트랜스코딩 시스템(500)에 의해 타깃된 송신 패키지에서 유지될 수 있다.
몇몇 실시예들에서, 트랜스코딩 시스템(500)은 중간 비트스트림에 의해 DM 메타데이터를 수신한다. 몇몇 실시예들에서, 추가의 정보(예, 트랜스코딩 시스템(100-5)의 IDR 리스트 서브-모듈로부터 트랜스코딩 시스템(500)의 EL 인코더로의 IDR 리스트)는 제 1 스테이지 트랜스코딩 시스템(예를 들면, 100-5, 등)로부터 제 2 스테이지 트랜스코딩 시스템(예를 들면, 500, 등)으로 송신되고 제 2 스테이지 트랜스코딩 시스템(예를 들면, 500, 등)에 의해 사용되어 기저층과 강화층 사이에 화상 집합(GOP) 정렬 동작들을 수행한다.
몇몇 실시예들에서, 트랜스코딩 시스템(500)의 후처리 모듈은 BL 신호, EL 신호, 및 RPU 신호를 수신하고, 세 개의 신호들(또는 스트림들)을 함께 다층 신호(예를 들면, 다층 비트스트림, 등)로 타깃된 송신 패키지(예를 들면, 타깃된 비트 레이트, 해상도, 동적 범위, 플레이어, 플랫폼, 등을 지원하는)로서 멀티플렉싱하도록 구성된다.
몇몇 실시예들에서, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환 등 중 하나 이상은 또한 BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하고, BL 이미지 데이터 및 EL 이미지 데이터 중 하나 또는 둘 모두를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환, 등을 하기 위해 트랜스코딩의 제 1 패스 및 제 2 패스 중 하나 또는 둘 모두에서 수행될 수 있다.
도 5의 구성은 예측 목적들을 위해 EDR 데이터를 생성하기 위해 제 2 패스에서 (예를 들면, BC, 등) 디코더를 요구하지 않는다. 몇몇 실시예들에서, 트랜스코딩의 추가의 스테이지들은 이러한 구성으로 쉽게 추가될 수 있고; 예를 들면, 제 3 스테이지 트랜스코딩 시스템은 제 2 스테이지 트랜스코딩 시스템(500)으로부터의 타깃된 비트스트림들을 추가의 타깃된 비트스트림들로 추가로 트랜스코딩하기 위해 제 2 스테이지 트랜스코딩 시스템(500) 후에 추가될 수 있다. 따라서, 적응식 비디오 스트리밍은 빠르고 쉽게 전개될 수 있다. 몇몇 동작 시나리오들에서, BL 이미지 데이터의 다중 비트 레이트들 및/또는 EL 이미지 데이터의 다중 비트 레이트들에 대한 타깃된 송신 패키지는 비교적 짧은 시간에 준비될 수 있다. 또한, 상이한 비트 레이트들을 갖는 송신 패키지들은 제 1 패스에서 생성된 것과 동일한 중간 비트스트림으로부터 트랜스 코딩의 제 2 또는 나중의 스테이지들에서 독립적으로 생성될 수 있다.
몇몇 실시예들에서, 제 1 스테이지 트랜스코딩 시스템(100-5)에서, 예측 모듈에 제공된 SDR 데이터(또는 BL 데이터)는 BL 디코더로부터의 디코딩된 BL 데이터일 필요가 없다. 몇몇 실시예들에서, SDR 데이터는 SDR 선처리 모듈로부터 직접 선처리된(예를 들면, 압축되지 않은, 등) BL 콘텐트일 수 있다. 몇몇 실시예들에서, 트랜스코딩 시스템(100-5)에 의해 생성되는 중간 비트스트림은 타깃된 송신 패키지들에서 BL 및 EL 데이터의 비트 깊이들과 동일한 비트 깊이들을 갖는 BL 및 EL 데이터를 포함한다.
8. 비트-깊이 트랜스코딩
도 6은 도 5의 대안적인 예시 구성을 도시한다. 이러한 대안적인 구성에서, 추가로, 선택적으로, 또는 대안적으로, 도 6의 트랜스코딩 시스템(500)은 RPU 비트 깊이 트랜스코드, 비트 깊이 트랜스코더를 포함하는 EL 모듈, 비트 깊이 트랜스코더 및 잡음 주입 서브-모듈을 포함하는 BL 모듈을 포함한다.
도 6의 대안적인 구성은 중간 비트스트림에서 기저 및 강화층들의 비트 깊이들이 타깃된 송신 패키지들에서 기저 및 강화층들의 비트 깊이들과 동일할 것을 요구하지 않는다. 중간 비트스트림의 기저 및 강화층들의 비트 깊이들이 타깃된 송신 패키지들에서 기저 및 강화 층들의 비트 깊이들과 상이한 경우, BL 및 EL 모듈들의 비트 깊이 트랜스코더들은 중간 비트스트림의 비트 깊이들을 타깃된 송신 패키지들의 비트 깊이들로 변환하기 위해 사용될 수 있다.
BL 처리에서, BL 모듈의 비트-깊이 트랜스코더는 비변환 도메인(예를 들면, 비-주파수 도메인, 등)에서 픽셀 값들의 단순한 비트 시프트를 수행하도록 구성될 수 있다. 중간 비트스트림의 BL 신호는 먼저 BL 디코더에 의해 BL 신호의 비트 깊이와 동일한 비트 깊이에서 동작하는 BL 콘텐트로 디코딩된다. BL 콘텐트는 이후 타깃 BL 비트 깊이로 모든 화소에 대하여 우측으로 비트-시프트될 수 있다. 타깃된 BL 비트 깊이와 동일한 비트 깊이에서 동작하는 BL 인코더는 비트-시프트된 BL 콘텐트를 도 6의 트랜스코딩 시스템(500)의 후처리 모듈로 전송될 BL 신호로 인코딩하도록 배치될 수 있다.
유사하게, EL 처리에서, EL 모듈에서 비트-깊이 트랜스코더는 비변환 도메인(예를 들면, 비-주파수 도메인, 등)에서 화소 값들에 단순한 비트 시프트를 수행하도록 구성될 수 있다. 중간 비트스트림의 EL 신호는 먼저 EL 디코더에 의해 EL 신호의 비트 깊이와 동일한 비트 깊이에서 동작하는 EL 콘텐트로 디코딩된다. EL 콘텐트는 이후 타깃 EL 비트 깊이로 모든 화소에 대해 우측으로 비트-시프트될 수 있다. 타깃된 EL 비트 깊이와 동일한 비트 깊이에서 동작하는 EL 인코더는 비트-시프트된 EL 콘텐트를 도 6의 트랜스코딩 시스템(500)의 후처리 모듈로 전송될 EL 신호로 인코딩하기 위해 배치될 수 있다.
몇몇 실시예들에서, RPU 비트 깊이 트랜스코더는 중간 비트스트림의 RPU 신호를 도 6의 트랜스코딩 시스템(500)의 후처리 모듈로 전송될 타깃된 RPU 신호로 변환하기 위해 비트 깊이 변환, 다른 RPU 신택스 변환들, 등을 수행하도록 구성된다. 예를 들면, 중간 비트스트림의 RPU 신호는 제 1 비트 깊이(예를 들면, 10 비트, 등)에서 피벗들, 오프셋들, 레벨들, 기울기들, 등과 같은 하나 이상의 파라미터들로 규정된 불연속 선형(PWL) 함수를 포함할 수 있다. 제 1 비트 깊이의 이들 파라미터들은 다음 수식들((1) 내지 (4))에서 표현되는 타깃된 송신 패키지들에 대한 제 2 비트 깊이(예를 들면, 8 비트, 등)의 파라미터들로 변환될 수 있다:
피벗(8) = 피벗(10)>> 2 (1)
오프셋(8) = 오프셋(10)>> 2 (2)
레벨(8) = 레벨(10)>> 2 (3)
기울기(8) = 기울기(10)<< 2 (4)
수식들((1) 내지 (4))의 우측들은 제 2 비트 깊이의 파라미터들을 나타낸다.
여기에 사용되는, 용어 "비트 깊이"는 이미지 데이터를 인코딩하거나 양자화하기 위해 이용가능한 코드 워드들을 제공하는 코딩 공간에서 제공된 비트들의 수를 말하고; 비트 깊이들의 예들은 단지 8 비트, 10비트, 12 비트, 또는 그 이상 중 어느 하나를 포함하지만 그로만 제한되지는 않는다.
일 예시적인 실시예에서, 다층 인코더(102)는 일련의 입력 EDR(또는 VDR) 이미지들을 포함하는 메자닌 패키지를 수신하도록 구성된다. 일련의 입력 EDR 이미지들은, 그의 각각이 일련의 EDR 이미지들에서 복수의 입력 이미지들을 포함하는, 하나 이상의 장면들을 나타낸다. 여기에 사용되는 "입력 EDR 이미지"는 일반적으로 (예를 들면, 하이-엔드 이미지 수집 디바이스, 등에 의해 캡처된 장면-참조된 이미지일 수 있는) 소스 이미지의 EDR 버전을 도출하기 위해 사용될 수 있는 넓거나 높은 동적 범위 이미지 데이터를 말한다. 입력 EDR 이미지는 높은 동적 범위 색역을 지원하는 임의의 컬러 공간에 존재할 수 있다.
일 예시적인 실시예에서, 소스 비디오 콘텐트(104)로부터 디코딩된 입력 EDR 이미지는 YCbCr 컬러 공간에서 12+비트 YCbCr 이미지이다. 일 예에서, 입력 EDR 이미지에 나타난 각각의 화소는 컬러 공간(예를 들면, YCbCr 컬러 공간)에 대해 규정된 모든 채널들(예를 들면, 휘도 채널(Y), 채도 채널(Cb, Cr), 등)에 대한 코드 워드들을 포함한다. 각각의 코드 워드는 컬러 공간에서 채널들 중 하나 이상에 대해 업샘플링되거나 다운샘플링된 코드 워드들을 포함한다. 몇몇 실시예들에서, 여기에 기술된 트랜스코딩 시스템은 입력 EDR 이미지의 코드 워드들을 제 1 컬러 공간(예를 들면, RGB 컬러 공간, 등)으로부터 제 2 상이한 컬러 공간(예를 들면, YCbCr 컬러 공간, 등)으로 변환하도록 구성될 수 있다. 몇몇 실시예들에서, 여기에 기술된 트랜스코딩 시스템은 제 1 샘플링 포맷의(예를 들면, 4:4:4 샘플링 포맷, 등의) 입력 EDR 이미지를 제 2 상이한 샘플링 포맷(예를 들면, 4:2:0 샘플링 포맷, 등)으로 다운샘플링하거나 업샘플링하도록 구성될 수 있다. 몇몇 실시예들에서, 여기에 기술된 트랜스코딩 시스템은 지각 양자화, 감마 양자화, 맵핑 동작들, 클립핑 동작들, BL 인코딩 동작들, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등 중 어느 하나를 포함하지만 그로만 제한되지 않는 BL 동작들을 수행하도록 구성될 수 있다. 몇몇 실시예들에서, 여기에 기술된 트랜스코딩 시스템은 BL 디코딩 동작들, 역 맵핑 동작들, 감산 동작들, 비선형 양자화 동작들, EL 인코딩 동작들, 공간 해상도 트랜스코딩, 시간적 프레임 레이트 변환, 등 중 어느 하나를 포함하지만, 그로 제한되지 않는 하나 이상의 EL 동작들을 수행하도록 구성될 수 있다.
몇몇 실시예들에서, 여기에 기술된 트랜스코딩 시스템은, 하나 이상의 맵핑 파라미터들, 클립핑 파라미터들, 감마 압축을 위한 멱함수들에서 사용된 지수값들, 역 맵핑 파라미터들, 룩업 테이블들(LUTs), PWL 함수들에서 피벗 값들, 비선형 양자화 파라미터들, 등 중 어느 하나를 포함하지만, 그로 제한되지 않는, 다운스트림 디바이스에 대한 다층 비트스트림의 일 부분으로서 트랜스코딩 시스템에서 사용된 동작 파라미터들의 일부 또는 모두를 포함하는 RPU 신호를 생성하도록 구성될 수 있다. 몇몇 실시예들에서, RPU 신호는 시간적 프레임 정보(예를 들면, 장면 컷 정보, 등)를 전달한다. 트랜스코딩의 패스(예를 들면, 제 1 패스, 제 2 패스, 등)에서 시간적 프레임 레이트 변환을 수행할 때, 프레임 스킵핑 동작들은 RPU 신호에서 전달된 시간적 프레임 정보에 관하여 수행될 수 있다. 예를 들면, 시간적 프레임 정보는 선 변환 및 후 변환 프레임 레이트들의 특정한 조합들에 대한 정수 팩터로 다운샘플링될 수 있다. 보간 동작들은 임의의 프레임 레이트 비율을 갖는 선변환 및 후변환 프레임 레이트들에 대해 RPU 신호에서 전달된 시간적 프레임 정보(예를 들면, 장면 컷 정보, 등)에 관하여 또한 수행될 수 있다.
BL 인코딩 동작들, BL 디코딩 동작들, EL 인코딩 동작들, 등과 같은 동작들 중 하나 이상은, 각각이 마치 여기에 완전히 설명되는 것처럼 모든 목적들을 위해 참조로서 여기에 통합되는, AVC(ISO/IEC 14496-10 버전들 1-20, ITU-T 권장 H.264), HEVC(ISO/IEC 23008-2 MPEG-H 파트 2 버전 1, ITU-T 권장 H.265(4/2013)), MPEG-2(ISO/IEC 13818 파트 2 제 3 에디션(10-01-2013), ITU-T 권장 H.262), VP9, VP8(2011년 11월, IETF RFC 6386), VC-1(SMPTE ST 421:2013)의 임의의 조합을 포함하지만, 그로 제한되지 않는 복수의 코덱들 중 하나 이상을 사용하여 구현될 수 있다.
몇몇 예시적인 실시예들에서, 선형 또는 비선형 양자화기들 중 하나 이상은 상위 비트 깊이(예를 들면, 12+비트, 등) 이미지 데이터를 하위 비트 깊이(예를 들면, 8 비트, 등) 이미지 데이터로 양자화하기 위해 사용될 수 있다. 상이한 컬러 공간들에서 및/또는 상이한 컬러 채널들에서 상이한 양자화기들이 선택될 수 있다. 예를 들면, 윤곽 아티팩트들(예를 들면, 매끈한 영역들, 등에서) 및 다른 아티팩트들을 완화/감소/제거하기 위해, 비디오 신호들은 상이한 컬러 공간들에서 및/또는 상이한 양자화 방법들에 의해 양자화될 수 있다. 몇몇 실시예들에서, 여기에 기술된 양자화는: 선형 양자화, 선형 스트레칭, 곡선 기반/비균일 양자화 확률 밀도 함수(pdf) 최적화 양자화, 벡터 양자화, 등 중 하나 이상을 포함할 수 있다. 전체 최적화 파라미터 값들은 프레임, 다중 프레임들, 장면, 다중 장면들, 등 중 어느 하나에 기초하여 선택될 수 있다. 몇몇 실시예들에서, 특정한 형태의 양자화는 예측 방법들 및/또는 역 맵핑의 하나 이상의 형태들과 대응 관계를 가질 수 있다.
양자화는 개별적인 채널 기반으로 또는 동시에 두 개 이상의 채널들에 대해 수행될 수 있다. 일 예시적인 실시예에서, 벡터 양자화는 두 개 이상의 컬러 채널들을 따라 수행될 수 있다. 예를 들면, 좌표계(예를 들면, 3D 데카르트, 등)는 컬러 공간에서 컬러 채널들을 축들로서 사용하여 셋업될 수 있다. 회전과 같은 공간 변환은 컬러 공간에서 두 개 이상의 컬러 채널들의 조합들(또는 투사들의 합들)로서 규정되는 새로운 축들을 생성하기 위해 좌표계에서 수행될 수 있다. 새로운 축들 중 하나를 형성하기 위해 투사되는 두 개 이상의 컬러 채널들에서 코드 워드들은 새로운 축들 중 하나에 걸쳐 양자화기에 의해 함께 양자화될 수 있다.
몇몇 실시예들에서, 특정한 양자화 방법 및/또는 최적화 파라미터 값들은 코덱들의 결점을 보상하도록 선택될 수 있다. 예를 들면, 코덱은 검은 영역들을 압축할 때 잘 수행되지 않을 수 있고, 심지어 재구성된 이미지들에서 윤곽 아티팩트들을 출력할 수 있다. 여기에 기술된 양자화는 재구성된 이미지에서 보이는 더 적은 윤곽 아티팩트들을 갖는 이미지 데이터를 생성하기 위해 특정한 곡선(예를 들면, 시그모이드(Sigmoid) 곡선, mu-law, 인간-지각 기반 곡선, 등)을 사용할 수 있다. 잡음 주입은, 예를 들면, 재구성된 이미지에서 잘못된 윤곽을 감소 또는 제거하기 위해 또한 사용될 수 있다.
몇몇 실시예들에서, 양자화가 적용되는 컬러 공간은 예측이 수행되는 컬러 공간과 동일하게 유지된다. 컬러 공간 변환은 이미지 렌더링이 일어나는 컬러 공간이 양자화가 일어나는 컬러 공간과 상이한 경우 적절하게 수행될 수 있다.
9. 예시 프로세스 흐름
도 7은 본 발명의 일 예시적인 실시예에 따른 예시 프로세스 흐름을 도시한다. 몇몇 예시적인 실시예들에서, 하나 이상의 컴퓨팅 디바이스들 또는 구성 요소들은 이러한 프로세스 흐름을 수행할 수 있다. 블록(710)에서, 트랜스코딩 시스템(예를 들면, 도 2의 100-2, 도 3의 300, 도 4의 400, 도 5 및 도 6의 500, 등)은 제 1 스테이지 트랜스코딩 시스템으로부터 송신된 중간 비트스트림을 수신한다. 중간 비트스트림은 하나 이상의 입력된 넓은 동적 범위 이미지들을 포함하는 초기 송신 패키지로부터 제 1 스테이지 트랜스코딩 시스템에 의해 생성된다.
여기에, 중간 비트스트림은 기저층(BL) 신호 및 하나 이상의 강화층(EL) 신호들을 포함한다. 중간 비트스트림의 BL 신호 및 하나 이상의 EL 신호들의 조합은 하나 이상의 입력된 넓은 동적 범위 이미지들로부터 도출된 하나 이상의 압축된 넓은 동적 범위 이미지들을 나타낸다. 중간 비트스트림의 BL 신호는 단독으로 하나 이상의 입력된 넓은 동적 범위 이미지들로부터 도출된 하나 이상의 압축된 표준 동적 범위 이미지들을 나타낸다.
블록(720)에서, 트랜스코딩 시스템은 중간 비트스트림에 기초하여 타깃된 송신 패키지를 생성한다. 타깃된 송신 패키지는 BL 신호 및 하나 이상의 EL 신호들을 포함한다. 타깃된 송신 패키지의 BL 신호는 중간 비트스트림의 BL 신호만으로부터 직접 트랜스코딩된다.
일 실시예에서, 중간 비트스트림의 BL 신호는 중간 BL 비트 레이트에 대응하고; 타깃된 송신 패키지의 BL 신호는 타깃된 BL 비트 레이트에 대응하고; 타깃된 송신 패키지의 BL 신호는 비트 레이트 트랜스코딩 동작에 의해 중간 비트스트림의 BL 신호 하나만으로부터 직접 트랜스코딩된다.
일 실시예에서, 중간 비트스트림의 BL 신호는 타깃된 송신 패키지의 BL 신호의 비트 깊이와 동일한 비트 깊이에 대응한다.
일 실시예에서, 중간 비트스트림의 BL 신호는 타깃된 송신 패키지의 BL 신호의 비트 깊이와 상이한 비트 깊이에 대응한다.
일 실시예에서, 중간 비트스트림의 BL 신호는 중간 BL 비트 깊이에 대응하고; 타깃된 송신 패키지의 BL 신호는 타깃된 BL 비트 깊이에 대응하고; 타깃된 송신 패키지의 BL 신호는 비트 깊이 트랜스코딩 동작 및 비트 레이트 트랜스코딩 동작과 함께 중간 비트스트림의 BL 신호로부터 직접 트랜스코딩된다.
일 실시예에서, 비트 깊이 트랜스코딩 동작은 동작 파라미터들 또는 화소값들 중 하나 이상에 대한 하나 이상의 비트 시프트 동작들을 포함한다.
일 실시예에서, 타깃된 송신 패키지의 BL 신호는 중간 비트스트림의 하나 이상의 EL 신호들로부터 임의의 이미지 데이터를 콘텐트 맵핑하지 않고 중간 비트스트림의 BL 신호로부터 직접 트랜스코딩된다.
일 실시예에서, 트랜스코딩 시스템은 또한 중간 비트스트림의 하나 이상의 EL 신호들 중 하나의 EL 신호를 타깃된 송신 패키지들 중 하나 이상의 EL 신호들 중 하나의 EL 신호로 직접 트랜스코딩하도록 구성된다.
일 실시예에서, 타깃된 송신 패키지의 EL 신호는 타깃된 송신 패키지의 BL 신호로부터 임의의 이미지 데이터에 역 맵핑하지 않고 중간 비트스트림의 EL 신호로부터 직접 트랜스코딩된다.
일 실시예에서, 트랜스코딩 시스템은 또한: 중간 비트스트림으로부터 제 1 스테이지 트랜스코딩 시스템에 의해 생성된 순간적인 디코더 리프레시(IDR) 리스트를 추출하는 것; 추출된 IDR 리스트에 기초하여, 타깃된 송신 패키지의 BL 및 EL 신호들로 인코딩될 BL 및 EL 이미지 데이터에 대해 GOP 정렬 동작을 수행하는 것을 수행하도록 구성된다.
일 실시예에서, 트랜스코딩 시스템은 또한: 중간 비트스트림을 넓은 동적 범위 이미지 데이터로 디코딩하는 것; 중간 비트스트림의 BL 신호를 BL 이미지 데이터로 디코딩하는 것; BL 이미지 데이터의 역 맵핑에 적어도 부분적으로 기초하여 예측 이미지 데이터를 생성하는 것; 예측 이미지 데이터 및 넓은 동적 범위 이미지 데이터에 적어도 부분적으로 기초하여 나머지 값들을 생성하는 것; EL 이미지 데이터를 생성하기 위해 나머지 값들에 비선형 양자화를 적용하는 것; 및 EL 이미지 데이터를 타깃된 송신 패키지의 하나 이상의 EL 신호들로 압축하는 것을 수행하도록 구성된다.
일 실시예에서, 초기 송신 패키지는 디스플레이 관리(DM) 메타데이터를 포함하고, DM 메타데이터는 중간 비트스트림에 포함되고; 트랜스코딩 시스템은 또한 DM 메타데이터에 적어도 부분적으로 기초하여 순간적인 디코더 리프레시(IDR) 리스트를 생성하도록 구성된다.
일 실시예에서, 여기에 기술된 방법은 콘텐트 맵핑 및 잡음 감소를 수행하지 않는 제 2 스테이지 트랜스코딩 시스템에 의해 수행된다.
일 실시예에서, 하나 이상의 입력된 넓은 동적 범위 이미지들은 장면을 형성한다.
일 실시예에서, 타깃된 송신 패키지의 BL 신호는 8-비트 신호, 또는 10-비트 신호 중 하나를 나타낸다.
일 실시예에서, 중간 비트스트림의 BL 신호는 8-비트 신호, 10-비트 신호, 및 12-비트 신호 또는 그 이상 중 하나를 나타낸다.
일 실시예에서, 초기 송신 패키지는 12 비트 이상의 비트 깊이의 이미지 데이터를 포함한다.
일 실시예에서, 트랜스코딩 시스템은 또한 타깃된 송신 패키지를 최종 사용자 디바이스로 송신하도록 구성된다.
일 실시예에서, 타깃된 송신 패키지는 미디어 프로그램에 대응하는 복수의 상이한 타깃된 송신 패키지들 중 하나이고; 상이한 타깃된 송신 패키지들은 최종 사용자 디바이스들에 송신하기 위한 적어도 두 개의 상이한 비트 레이트들에 대응하고; 트랜스코딩 시스템은 또한 미디어 프로그래밍을 최종 사용자 디바이스에 스트리밍하면서 최종 사용자 디바이스에 전송하기 위해 복수의 타깃된 송신 패키지들 중 제 1 타깃된 송신 패키지로부터 복수의 타깃된 송신 패키지들 중 제 2 타깃된 송신 패키지로 동적으로 스위칭하도록 구성된다.
일 실시예에서, 타깃된 송신 패키지는 복수의 최종 사용자 디바이스들에 의해 지원된 제 1 스트리밍 비트 레이트에 대응하고; 중간 비트스트림은 제 1 스트리밍 비트 레이트 범위보다 큰 제 2 스트리밍 비트 레이트에 대응하고; 초기 송신 패키지는 제 2 스트리밍 비트 레이트 범위보다 큰 제 3 스트리밍 비트 레이트에 대응한다.
일 실시예에서, 여기에 기술된 방법은 제 1 스테이지 트랜스코딩 시스템으로부터 멀리에 위치된 제 2 스테이지 트랜스코딩 시스템에 의해 수행되고; 타깃된 송신 패키지는 제 2 스테이지 트랜스코딩 시스템으로부터 하나 이상의 최종 사용자 디바이스들로 스트리밍된 것이고; 제 2 스테이지 트랜스코딩 시스템으로부터 하나 이상의 최종 사용자 디바이스들로의 제 1 네트워크 접속 경로는 제 1 비트 레이트를 지원하고; 제 1 스테이지 트랜스코딩 시스템으로부터 제 2 스테이지 트랜스코딩 시스템으로의 제 2 네트워크 접속 경로는 제 1 비트 레이트보다 큰 제 2 비트레이트를 지원한다.
일 실시예에서, 하나 이상의 입력된 넓은 동적 범위 이미지들은 지각적으로 인코딩된다.
다수의 예시적인 실시예들에서, 트랜스코더, 코덱, 시스템, 장치, 또는 하나 이상의 다른 컴퓨팅 디바이스들은 기술된 전술한 방법들 중 어느 하나 또는 일부를 수행한다.
일 실시예에서, 비일시적 컴퓨터 판독가능 저장 매체는 하나 이상의 프로세서들에 의해 실행될 때 전술한 방법들 중 어느 하나의 수행을 야기하는 소프트웨어 명령들을 저장한다.
일 실시예에서, 컴퓨터 디바이스는 하나 이상의 프로세서들에 의해 실행될 때 전술한 방법들 중 어느 하나의 수행을 야기하는 일 세트의 명령들을 저장하는 하나 이상의 저장 매체들 및 하나 이상의 프로세서들을 포함한다. 개별적인 실시예들이 여기에 논의되었지만, 여기에 논의되는 실시예들 및/또는 부분적인 실시예들의 임의의 조합은 다른 실시예들을 형성하기 위해 조합될 수 있다는 것을 주의하라.
10. 구현 메커니즘 - 하드웨어 개요
일 실시예에 따라, 여기에 기술된 기술들은 하나 이상의 특수 목적 컴퓨팅 디바이스들에 의해 구현된다. 특수 목적 컴퓨팅 디바이스들은 기술들을 수행하기 위해 하드와이어드될 수 있거나, 또는 기술들을 수행하도록 영속적으로 프로그래밍되는 하나 이상의 주문형 집적 회로들(ASICs) 또는 필드 프로그램가능 게이트 어레이들(FPGAs)과 같은 디지털 전자 디바이스들을 포함할 수 있거나, 또는 펌웨어, 메모리, 다른 저장 장치, 또는 조합에서 프로그램 명령들에 따라 기술들을 수행하도록 프로그램된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수 있다. 이러한 특수 목적 컴퓨팅 디바이스들은 기술들을 완수하기 위해 주문형 하드-와이어드 로직, ASICS들, 또는 FPGA들을 주문형 프로그래밍과 또한 조합할 수 있다. 특수 목적 컴퓨팅 디바이스들은, 데스크탑 컴퓨터 시스템들, 이동식 컴퓨터 시스템들, 휴대용 디바이스들, 네트워킹 디바이스들 또는 기술을 구현하기 위해 하드-와이어드 및/또는 프로그램 로직을 통합하는 임의의 다른 디바이스일 수 있다.
예를 들면, 도 8은 본 발명의 일 예시적인 실시예가 구현될 수 있는 컴퓨터 시스템(800)을 도시하는 블록도이다. 컴퓨터 시스템(800)은 정보를 전달하기 위한 버스(802) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(802)와 결합된 하드웨어 프로세서(804)를 포함한다. 하드웨어 프로세서(804)는, 예를 들면, 범용 마이크로프로세서일 수 있다.
컴퓨터 시스템(800)은 또한 프로세서(804)에 의해 실행될 정보 및 명령들을 저장하기 위해 버스(802)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(806)를 포함한다. 메인 메모리(806)는 또한 프로세서(804)에 의해 실행될 명령들의 실행 동안 시간 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 프로세서(804)에 액세스 가능한 비일시적 저장 매체에 저장될 때 이러한 명령들은 컴퓨터 시스템(800)을 명령들에서 특정된 동작들을 수행하도록 맞춤화된 특수 목적 머신으로 렌더링한다.
컴퓨터 시스템(800)은 프로세서(804)에 대한 정적 정보 및 명령들을 저장하기 위해 버스(802)에 결합된 다른 정적 저장 디바이스 또는 판독 전용 메모리(ROM; 808)를 추가로 포함한다. 자기 디스크 또는 광 디스크와 같은 저장 디바이스(810)는 정보 및 명령들을 저장하기 위해 버스(802)에 제공 및 결합된다.
컴퓨터 시스템(800)은 컴퓨터 사용자에게 정보를 디스플레이하기 위해 버스(802)를 통해 액정 디스플레이와 같은 디스플레이(812)에 결합될 수 있다. 영숫자 및 다른 키들을 포함하는 입력 디바이스(814)는 정보 및 명령 선택들을 프로세서(804)에 전달하기 위해 버스(802)에 결합된다. 다른 형태의 사용자 입력 디바이스는 방향 정보 및 명령 선택들을 프로세서(804)에 전달하기 위해 및 디스플레이(812)상의 커서 이동을 제어하기 위해 마우스, 트랙볼, 또는 커서 방향 키들과 같은 커서 제어기(816)이다. 이러한 입력 디바이스는 일반적으로 디바이스가 평면에서 위치들을 지정하게 하는 두 개의 축들, 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)의 두 개의 자유도를 갖는다.
컴퓨터 시스템(800)은, 컴퓨터 시스템과 조합하여 컴퓨터 시스템(800)이 특수 목적 머신으로 되게 하거나 그렇게 프로그래밍하는 주문형 하드-와이어드 로직, 하나 이상의 ASICs 또는 FPGAs, 펌웨어 및/또는 프로그램 로직을 사용하여 여기에 기술된 기술들을 구현할 수 있다. 일 실시예에 따라, 여기의 기술들은 메인 메모리(806)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세서(804)에 응답하여 컴퓨터 시스템(800)에 의해 수행된다. 이러한 명령들은 저장 디바이스(810)와 같은 다른 저장 매체로부터 메인 메모리(806)로 판독될 수 있다. 메인 메모리(806)에 포함된 명령들의 시퀀스들의 실행은 프로세서(804)가 여기에 기술된 프로세스 단계들을 수행하게 한다. 대안적인 실시예들에서, 하드-와이어드 회로는 소프트웨어 명령들을 대신하여 또는 그와 조합하여 사용될 수 있다.
여기에 사용된 용어 "저장 매체"는 머신이 특정한 방식의 동작들을 야기하는 명령들 및/또는 데이터를 저장하는 임의의 비일시적 매체를 말한다. 이러한 저장 매체들은 비휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비휘발성 매체는 예를 들면, 저장 디바이스(810)와 같은 광 또는 자기 디스크들을 포함한다. 휘발성 매체는 메인 메모리(806)와 같은 동적 메모리를 포함한다. 저장 매체의 공통 형태들은, 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광 데이터 저장 매체, 홀들의 패턴들을 갖는 임의의 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.
저장 매체는 송신 매체와 별개지만, 그와 협력하여 사용될 수 있다. 송신 매체는 저장 매체 사이에 정보를 이동시키는 데 참여한다. 예를 들면, 송신 매체는 동축 케이블들, 구리 배선 및 버스(802)를 포함하는 배선들을 포함하는 광섬유들을 포함한다. 송신 매체는 또한 무선 전파 및 적외선 데이터 통신들 동안 생성된 것들과 같은, 음파 또는 광파의 형태를 취할 수 있다.
다양한 형태들의 매체는 실행을 위해 하나 이상의 명령들의 하나 이상의 시퀀스들을 프로세서(804)로 전달하는데 포함될 수 있다. 예를 들면, 명령들은 처음에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브상에 전달될 수 있다. 원격 컴퓨터는 그의 동적 메모리로 명령들을 로딩하고 모뎀을 사용하여 전화선을 통해 명령들을 전송할 수 있다. 컴퓨터 시스템(800)에 대해 로컬인 모뎀은 전화선상으로 데이터를 수신하고 적외선 송신기를 사용하여 데이터를 적외선 신호로 변환할 수 있다. 적외선 검출기는 적외선 신호로 전달된 데이터를 수신할 수 있고 적절한 회로는 데이터를 버스(802)상에 배치할 수 있다. 버스(802)는 데이터를 메인 메모리(806)로 전달하고, 프로세서(804)는 메인 메모리로부터 명령들을 검색 및 실행한다. 메인 메모리(806)에 의해 수신된 명령들은 프로세서(804)에 의해 실행 전 또는 후에 저장 디바이스(810)상에 선택적으로 저장될 수 있다.
컴퓨터 시스템(800)은 버스(802)에 결합된 통신 인터페이스(818)를 또한 포함한다. 통신 인터페이스(818)는 로컬 네트워크(822)에 접속되는 네트워크 링크(820)에 결합하는 2방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(818)는 종합 정보 통신망(ISDN) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 형태의 전화선에 데이터 통신 접속을 제공하기 위한 모뎀일 수 있다. 다른 예로서, 통신 인터페이스(818)는 호환 가능한 LAN에 데이터 통신 접속을 제공하기 위한 근거리 통신망(LAN) 카드일 수 있다. 무선 링크들이 또한 실행될 수 있다. 임의의 이러한 구현에서, 통신 인터페이스(818)는 다양한 형태들의 정보를 나타내는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광 신호들을 전송 및 수신한다.
네트워크 링크(820)는 일반적으로 다른 데이터 디바이스들에 하나 이상의 네트워크들을 통해 데이터 통신을 제공한다. 예를 들면, 네트워크 링크(820)는 로컬 네트워크(822)를 통해 호스트 컴퓨터(824) 또는 인터넷 서비스 제공자(ISP; 826)에 의해 동작되는 데이터 장비에 접속을 제공할 수 있다. ISP(826)는 이후 공통으로 "인터넷"(828)이라고 불리는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스들을 제공한다. 로컬 네트워크(822) 및 인터넷(828) 모두는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광 신호들을 사용한다. 디지털 데이터를 컴퓨터 시스템(800)으로 및 그로부터 전달하는, 다양한 네트워크들을 통한 신호들 및 네트워크 링크(820)상 및 통신 인터페이스(818)를 통한 신호들은 송신 매체의 예시적인 형태들이다.
컴퓨터 시스템(800)은 메시지들을 전송하고 네트워크(들), 네트워크 링크(820) 및 통신 인터페이스(818)를 통해 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷 예에서, 서버(830)는 인터넷(828), ISP(826), 로컬 네트워크(822), 및 통신 인터페이스(818)를 통해 애플리케이션 프로그램을 위해 요청된 코덱을 송신한다.
수신된 코드는 그것이 수신될 때 프로세서(804)에 의해 실행될 수 있고 및/또는 나중의 실행을 위해 저장 디바이스(810) 또는 다른 비휘발성 저장 장치에 저장될 수 있다.
11. 동등물들, 확장들, 대체물들 및 여러가지들
전술된 상세에서, 본 발명의 예시적인 실시예들은 구현마다 다를 수 있는 다수의 특정한 상세들을 참조하여 기술되었다. 따라서, 무엇이 본 발명인지 및 무엇이 출원인들에 의해 발명으로 의도되는 것이지의 유일하고 독점적인 표시자는 특정한 형태로 본 출원으로부터 비롯되는 일 세트의 청구항들이고 이러한 청구항들은 임의의 차후의 보정을 포함한다. 이러한 청구항들에 포함된 용어들에 대해 여기서 명확하게 설명된 임의의 정의들은 청구항들에 사용되는 이러한 용어들의 의미를 제한할 것이다. 이와 같이, 청구항에 명시적으로 인용되지 않은 어떠한 제한 사항, 요소, 특성, 특징, 이점 또는 속성도 임의의 방식으로 이러한 청구항의 범위를 제한하지 않아야 한다. 명세서 및 도면들은 따라서 제한적인 의미라기보다는 예시로서 고려될 것이다.
812 : 디스플레이 814 : 입력 디바이스
816 : 커서 제어 806 : 메인 메모리
810 : 저장 디바이스 802 : 버스
804 : 프로세서 818 : 통신 인터페이스
820 : 네트워크 링크 830 : 서버
828 : 인터넷 822 : 로컬 네트워크
824 : 호스트

Claims (29)

  1. 입력 비트스트림을 트랜스코딩하는 방법에 있어서:
    상기 입력 비트스트림을 수신하는 단계로서,
    상기 입력 비트스트림은 기저층(BL) 신호 및 하나 이상의 강화층(EL) 신호들을 포함하고, 상기 입력 비트스트림의 상기 BL 신호 및 상기 하나 이상의 EL 신호들의 조합은 하나 이상의 입력된 넓은 동적 범위 이미지들로부터 도출된 하나 이상의 압축된 넓은 동적 범위 이미지들을 나타내고, 넓은 동적 범위는 인간 시력(human vision)이 일 순간에 지각할 수 있는 순시 지각가능한 동적 범위까지의 동적 범위 및 색역(color gamut)을 참조하고, 상기 입력 비트스트림의 상기 BL 신호는 단독으로 상기 하나 이상의 입력된 넓은 동적 범위 이미지들로부터 도출된 하나 이상의 압축된 표준 동적 범위 이미지들을 나타내며, 표준 동적 범위는 상기 넓은 동적 범위 보다 좁은 동적 범위를 참조하는, 상기 입력 비트스트림을 수신하는 단계; 및
    상기 입력 비트스트림에 기초하여, 타깃된 송신 패키지를 생성하는 단계로서, 상기 타깃된 송신 패키지는 BL 신호 및 하나 이상의 EL 신호들을 포함하고, 상기 타깃된 송신 패키지의 상기 BL 신호는, 상기 하나 이상의 EL 신호들과는 독립하여, 상기 입력 비트스트림의 BL 신호로부터 트랜스코딩되고, 상기 입력 비트스트림 내 BL 신호는 입력 BL 비트 레이트에 대응하고, 상기 타깃된 송신 패키지 내 상기 BL 신호는 타깃된 BL 비트 레이트에 대응하고, 상기 입력 비트스트림 내 BL 신호는 입력 BL 비트 깊이에 대응하고, 상기 타깃된 송신 패키지 내 상기 BL 신호는 타깃된 BL 비트 깊이에 대응하며,
    상기 트랜스코딩은,
    (i) 예측 동작을 수행하지 않고 상기 BL 신호를 BL 콘텐트로 디코딩하고 상기 BL 콘텐트를 타깃된 BL 비트 레이트에서 인코딩하는 것, 및
    (ii) 상기 BL 신호를 BL 콘텐트로 디코딩하고 입력 BL 비트 깊이를 타깃된 BL 비트 깊이로 감소시키기 위해 상기 BL 콘텐트의 모든 픽셀을 우 비트-시프트(bit-shifting right every pixel of the BL content)하고 상기 비트-시프트된 BL 콘텐트를 인코딩하는 것, 중 적어도 하나를 포함하는, 상기 타깃된 송신 패키지를 생성하는 단계를 포함하고,
    상기 방법은 하나 이상의 컴퓨팅 디바이스들에 의해 수행되는, 입력 비트스트림을 트랜스코딩하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 타깃된 송신 패키지의 상기 BL 신호는 상기 입력 비트스트림의 상기 하나 이상의 EL 신호들로부터 임의의 이미지 데이터의 콘텐트 맵핑 없이 상기 입력 비트스트림의 상기 BL 신호로부터 트랜스코딩되고,
    상기 입력 비트스트림의 상기 하나 이상의 EL 신호들로부터 이미지 데이터의 콘텐트 맵핑은 제 1 동적 범위 및 제 1 색역의 상기 하나 이상의 EL 신호들로부터 디코딩된 이미지 데이터를 제 2 동적 범위 및 제 2 색역으로 맵핑하는 것을 포함하는, 입력 비트스트림을 트랜스코딩하는 방법.
  8. 삭제
  9. 제 1 항 또는 제 7 항에 있어서,
    상기 입력 비트스트림의 상기 하나 이상의 EL 신호들 중의 EL 신호를 상기 타깃된 송신 패키지의 상기 하나 이상의 EL 신호들 중의 EL 신호로 트랜스코딩하는 단계를 더 포함하며, 상기 타깃된 송신 패키지의 상기 EL 신호는 상기 타깃된 송신 패키지의 상기 BL 신호로부터 임의의 이미지 데이터에 대한 역 맵핑 없이 상기 BL 신호와 독립하여 상기 입력 비트스트림의 상기 EL 신호로부터 트랜스코딩되는, 입력 비트스트림을 트랜스코딩하는 방법.
  10. 제 9 항에 있어서,
    상기 입력 비트스트림으로부터 순간 디코더 리프레시(IDR) 리스트를 추출하는 단계; 및
    상기 추출된 IDR 리스트에 기초하여, 상기 타깃된 송신 패키지의 상기 BL 및 EL 신호들로 인코딩될 BL 및 EL 이미지 데이터에 대해 GOP 정렬 동작을 수행하는 단계를 더 포함하고,
    상기 IDR 리스트는 상기 타깃된 송신 패키지의 상기 BL 신호 및 상기 하나 이상의 EL 신호들 내의 프레임들의 리스트를 포함하고, 상기 IDR 리스트 내 상기 프레임들은 동기화되어서 BL 이미지 콘텐트 만의 재생 및 BL 및 EL 이미지 콘텐트의 조합의 재생이 각각의 재생들 내에서 동일한 프레임 인덱스들을 가진 고속 전진 동작들(fast forward operations)을 지원할 수 있게 되는, 입력 비트스트림을 트랜스코딩하는 방법.
  11. 제 1 항 또는 제 7 항에 있어서,
    상기 입력 비트스트림을 넓은 동적 범위 이미지 데이터로 디코딩하는 단계;
    상기 입력 비트스트림의 상기 BL 신호를 BL 이미지 데이터로 디코딩하는 단계;
    상기 BL 이미지 데이터의 역 맵핑에 적어도 부분적으로 기초하여 예측 이미지 데이터를 생성하는 단계;
    상기 예측 이미지 데이터 및 상기 넓은 동적 범위 이미지 데이터에 적어도 부분적으로 기초하여 나머지 값들을 생성하는 단계;
    EL 이미지 데이터를 생성하기 위해 상기 나머지 값들에 비선형 양자화를 적용하는 단계; 및
    상기 EL 이미지 데이터를 상기 타깃된 송신 패키지의 상기 하나 이상의 EL 신호들로 압축하는 단계를 더 포함하는, 입력 비트스트림을 트랜스코딩하는 방법.
  12. 제 11 항에 있어서,
    디스플레이 관리(DM) 메타데이터가 상기 입력 비트스트림에 포함되고, 상기 DM 메타데이터는 장면-기초 예측들, 이미지들 재구축, 재생 동작들, 고속 전진, 및 프레임 스키핑 중 적어도 하나를 처리할 때 최종 사용자 디바이스들 및/또는 디스플레이 애플리케이션들을 지원하기 위한 장면 정보와 같은 디스플레이 관리 정보를 포함하고,
    상기 방법은:
    상기 DM 메타데이터에 적어도 부분적으로 기초하여 순간 디코더 리프레시(IDR) 리스트를 생성하는 단계를 더 포함하고;
    상기 IDR 리스트는 상기 타깃된 송신 패키지의 상기 BL 신호 및 상기 하나 이상의 EL 신호들 내의 프레임들의 리스트를 포함하고, 상기 IDR 리스트 내 상기 프레임들은 동기화되어서 BL 이미지 콘텐트 만의 재생 및 BL 및 EL 이미지 콘텐트의 조합의 재생이 각각의 재생들 내에서 동일한 프레임 인덱스들을 가진 고속 전진 동작들(fast forward operations)을 지원할 수 있게 되는, 입력 비트스트림을 트랜스코딩하는 방법.
  13. 삭제
  14. 제 1 항 또는 제 7 항에 있어서,
    상기 방법은 제 2 스테이지 트랜스코딩 시스템에 의해 수행되고;
    상기 방법은, 상기 BL 및 EL 신호들 중 적어도 하나에서 이미지 데이터를 시간 도메인에서 제 1 프레임 레이트로부터 제 2 상이한 프레임 레이트로 변환하기 위해 상기 입력 비트스트림을 생성한 제 1 스테이지 트랜스코딩 시스템 및 상기 제 2 스테이지 트랜스코딩 시스템 중 하나 또는 둘 모두에 의해 하나 이상의 시간적 프레임 레이트 변환 동작을 수행하는 단계를 더 포함하는, 입력 비트스트림을 트랜스코딩하는 방법.
  15. 제 1 항 또는 제 7 항에 있어서,
    상기 방법은 제 2 스테이지 트랜스코딩 시스템에 의해 수행되고;
    상기 방법은, 상기 BL 및 EL 신호들 중 적어도 하나에서 이미지 데이터를 제 1 공간 해상도로부터 제 2 상이한 공간 해상도로 변환하기 위해 상기 입력 비트스트림을 생성한 제 1 스테이지 트랜스코딩 시스템 및 상기 제 2 스테이지 트랜스코딩 시스템 중 하나 또는 둘 모두에 의해 하나 이상의 공간 해상도 트랜스코딩 동작들을 수행하는 단계를 더 포함하는, 입력 비트스트림을 트랜스코딩하는 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제 1 항 또는 제 7 항에 있어서,
    상기 타깃된 송신 패키지는 미디어 프로그램에 대응하는 복수의 상이한 타깃된 송신 패키지들 중 하나이고, 상기 상이한 타깃된 송신 패키지들은 최종 사용자 디바이스들에 송신하기 위한 적어도 두 개의 상이한 비트 레이트들에 대응하고;
    상기 방법은 상기 미디어 프로그램을 상기 최종 사용자 디바이스로 스트리밍하면서, 상기 최종 사용자에게 송신하기 위해 상기 복수의 타깃된 송신 패키지들 중 제 1 타깃된 송신 패키지로부터 상기 복수의 타깃된 송신 패키지들 중 제 2 타깃된 송신 패키지로 동적으로 스위칭하는 단계를 더 포함하는, 입력 비트스트림을 트랜스코딩하는 방법.
  22. 제 1 항 또는 제 7 항에 있어서,
    상기 타깃된 송신 패키지는 복수의 최종 사용자 디바이스들에 의해 지원되는 제 1 스트리밍 비트 레이트에 대응하고,
    상기 입력 비트스트림은 상기 제 1 스트리밍 비트 레이트 범위보다 높은 제 2 스트리밍 비트 레이트에 대응하고, 초기 송신 패키지는 상기 제 2 스트리밍 비트 레이트 범위보다 높은 제 3 스트리밍 비트 레이트에 대응하는, 입력 비트스트림을 트랜스코딩하는 방법.
  23. 제 1 항 또는 제 7 항에 있어서,
    상기 방법은, 상기 입력 비트스트림을 생성한 제 1 스테이지 트랜스코딩 시스템과는 다른 제 2 스테이지 트랜스코딩 시스템에 의해 수행되고, 상기 타깃된 송신 패키지는 상기 제 2 스테이지 트랜스코딩 시스템으로부터 하나 이상의 최종 사용자 디바이스들로 스트리밍되는 것이고, 상기 제 2 스테이지 트랜스코딩 시스템으로부터 상기 하나 이상의 최종 사용자 디바이스들로의 제 1 네트워크 접속 경로는 제 1 비트 레이트를 지원하고, 상기 제 1 스테이지 트랜스코딩 시스템으로부터 상기 제 2 스테이지 트랜스코딩 시스템으로의 제 2 네트워크 접속 경로는 제 2 비트 레이트를 지원하는, 입력 비트스트림을 트랜스코딩하는 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 하나 이상의 프로세서들에 의해 실행될 때, 제 1 항 또는 제 7 항에 기재된 방법을 수행하도록 하는 소프트웨어 명령들을 저장하는, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 삭제
KR1020150081801A 2014-06-11 2015-06-10 하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩 KR101751221B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462010908P 2014-06-11 2014-06-11
US62/010,908 2014-06-11

Publications (2)

Publication Number Publication Date
KR20150142622A KR20150142622A (ko) 2015-12-22
KR101751221B1 true KR101751221B1 (ko) 2017-07-11

Family

ID=53433000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150081801A KR101751221B1 (ko) 2014-06-11 2015-06-10 하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩

Country Status (3)

Country Link
US (1) US10136147B2 (ko)
EP (1) EP2955924A1 (ko)
KR (1) KR101751221B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787986B2 (en) * 2014-06-30 2017-10-10 Intel Corporation Techniques for parallel video transcoding
US9911179B2 (en) * 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
JP6470474B2 (ja) * 2015-12-09 2019-02-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 補間誤差を抑えた低演算量ルックアップテーブル構築
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
US10163030B2 (en) * 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
US10219014B2 (en) 2016-06-02 2019-02-26 Biamp Systems, LLC Systems and methods for bandwidth-limited video transport
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
KR102460123B1 (ko) 2018-02-02 2022-10-31 삼성전자주식회사 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
EP3776474A1 (en) * 2018-04-09 2021-02-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
WO2021113549A1 (en) * 2019-12-06 2021-06-10 Dolby Laboratories Licensing Corporation Cascade prediction
JP2023533681A (ja) * 2020-06-24 2023-08-04 ドルビー ラボラトリーズ ライセンシング コーポレイション オープン・ループ・コーデックにおけるｈｄｒ撮像に関する画像予測
WO2022026047A1 (en) * 2020-07-27 2022-02-03 Bitmovin, Inc. Optimized fast multipass video transcoding
CN115469627B (zh) * 2022-11-01 2023-04-04 山东恒远智能科技有限公司 基于物联网的智能工厂运行管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175358A1 (en) 2008-01-03 2009-07-09 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
WO2013103522A1 (en) * 2012-01-03 2013-07-11 Dolby Laboratories Licensing Corporation Specifying visual dynamic range coding operations and parameters

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658057B1 (en) 2000-08-31 2003-12-02 General Instrument Corporation Digital transcoder with logo insertion
DE10129108A1 (de) 2001-06-16 2003-01-02 Harman Becker Automotive Sys Verfahren und Schaltungsanordnung zur Datenübertragung
US7174049B2 (en) 2002-12-11 2007-02-06 Seiko Epson Corporation Image upscaling by joint optimization of low and mid-level image variables
US20060088105A1 (en) 2004-10-27 2006-04-27 Bo Shen Method and system for generating multiple transcoded outputs based on a single input
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
JP2009532741A (ja) 2006-04-03 2009-09-10 クゥアルコム・インコーポレイテッド 顕微鏡スライド自動読み取りシステム
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
JP2009164880A (ja) 2008-01-07 2009-07-23 Mitsubishi Electric Corp トランスコーダ及び受信機
US8249144B2 (en) 2008-07-08 2012-08-21 Imagine Communications Ltd. Distributed transcoding
US9083976B2 (en) 2008-09-05 2015-07-14 Freescale Semiconductor, Inc. Processing a video stream in real time based on binary information of the video stream
US20110080944A1 (en) 2009-10-07 2011-04-07 Vixs Systems, Inc. Real-time video transcoder and methods for use therewith
US8831624B2 (en) * 2009-10-30 2014-09-09 Unwired Planet, Llc Back-channeled packeted data
US9210436B2 (en) * 2010-01-11 2015-12-08 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
WO2012100117A1 (en) 2011-01-21 2012-07-26 Thomson Licensing System and method for enhanced remote transcoding using content profiling
US8782270B2 (en) 2011-06-07 2014-07-15 Smith Micro Software, Inc. Method and system for streaming live teleconferencing feeds to mobile client devices
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
KR20130108882A (ko) 2012-03-26 2013-10-07 삼성전자주식회사 복수의 트랜스코딩 수행시 로드 밸런싱을 위한 스케줄링 장치 및 방법
US9246741B2 (en) 2012-04-11 2016-01-26 Google Inc. Scalable, live transcoding with support for adaptive streaming and failover
KR20130123156A (ko) 2012-05-02 2013-11-12 삼성전자주식회사 다수의 서버를 이용한 분산 트랜스코딩 장치 및 방법
PL2941872T3 (pl) 2013-01-02 2019-03-29 Dolby Laboratories Licensing Corporation Kompatybilne wstecznie kodowanie dla sygnałów wideo o ultra wysokiej rozdzielczości z rozszerzonym zakresem dynamicznym
JP5989934B2 (ja) 2013-03-26 2016-09-07 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチレイヤｖｄｒ符号化における知覚量子化ビデオコンテンツのエンコーディング

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175358A1 (en) 2008-01-03 2009-07-09 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
WO2013103522A1 (en) * 2012-01-03 2013-07-11 Dolby Laboratories Licensing Corporation Specifying visual dynamic range coding operations and parameters

Also Published As

Publication number Publication date
US10136147B2 (en) 2018-11-20
US20150365688A1 (en) 2015-12-17
KR20150142622A (ko) 2015-12-22
EP2955924A1 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
KR101751221B1 (ko) 하위 호환성 ｖｄｒ 코덱을 위한 효율적인 트랜스코딩
US20210314570A1 (en) System and method for reshaping and adaptation of high dynamic range video data
JP6182644B2 (ja) 階層的ｖｄｒ符号化における層分解
CN113170218B (zh) 具有多级增强和可调编码格式的视频信号增强解码器
KR102128233B1 (ko) 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR20180030841A (ko) 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
KR20180043807A (ko) 비디오 디코더에서의 높은 동적 범위 적응 동작들
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
WO2021064413A1 (en) Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling
EP3685587A1 (en) Backward compatible display management metadata compression
EP4193592A1 (en) Adaptive streaming with false contouring alleviation
KR20210147830A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant