KR20160141663A - 아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법 - Google Patents

아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법 Download PDF

Info

Publication number
KR20160141663A
KR20160141663A KR1020160067142A KR20160067142A KR20160141663A KR 20160141663 A KR20160141663 A KR 20160141663A KR 1020160067142 A KR1020160067142 A KR 1020160067142A KR 20160067142 A KR20160067142 A KR 20160067142A KR 20160141663 A KR20160141663 A KR 20160141663A
Authority
KR
South Korea
Prior art keywords
dynamic range
image
continuous
video
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160067142A
Other languages
English (en)
Other versions
KR102630501B1 (ko
Inventor
알조샤 스몰리크
알렉산드레 차피로
시몬 크로키
툰크 오잔 아이딘
니콜체 스테파노스키
마르쿠스 그로스
Original Assignee
디즈니엔터프라이지즈,인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디즈니엔터프라이지즈,인크. filed Critical 디즈니엔터프라이지즈,인크.
Publication of KR20160141663A publication Critical patent/KR20160141663A/ko
Application granted granted Critical
Publication of KR102630501B1 publication Critical patent/KR102630501B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

상이한 동적 범위를 갖는 복수의 디스플레이에 대해 등급화된 비디오 또는 이미지 콘텐츠를 생성, 압축 및 배포하기 위한 새로운 시스템 및 방법이 설명된다. 구현에서, 생성된 콘텐츠는 "연속 동적 범위"(CDR) 콘텐츠 - 디스플레이 동적 범위의 함수로서의 픽셀 휘도의 새로운 표현 -이다. CDR 콘텐츠의 생성은 최소 동적 범위 및 최대 동적 범위에 대해 소스 콘텐츠를 등급화하는 단계와, 소스 콘텐츠의 이미지 또는 비디오 프레임의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 사이의 연속 함수로서 정의하는 단계를 포함한다. 추가 구현에서, CDR 콘텐츠를 생성 및 편집하기 위한 새로운 그래픽 사용자 인터페이스가 설명된다.

Description

아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법{METHODS FOR CREATING AND DISTRIBUTING ART-DIRECTABLE CONTINUOUS DYNAMIC RANGE VIDEO}
관련 출원의 상호 참조
본원은 2015년 6월 1일자로 출원된 미국 가출원 제62/169,465호의 우선권을 주장하며, 그 전체가 본 명세서에 참조로서 인용된다.
기술 분야
본 발명은 전반적으로 높은 동적 범위(high dynamic range(HDR)) 비디오 기술에 관한 것으로서, 구체적으로 일부 실시예는 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법에 관한 것이다.
높은 동적 범위(HDR)는 표준 동적 범위(standard dynamic range(SDR)) 콘텐츠 및 디스플레이보다 더 높은 휘도 또는 광도 레벨 및/또는 더 높은 콘트라스트 비율을 갖는 콘텐츠 및 디스플레이를 지칭하는 데 사용된다.
다양한 실시예에 따르면, 상이한 동적 범위를 갖는 복수의 디스플레이에 대해 등급화된 비디오 또는 이미지 콘텐츠를 생성 및 분배하기 위한 시스템 및 방법이 개시된다. 일 실시예에서, CDR 콘텐츠의 생성은 소스 이미지를 수신하는 단계와, 및 소스 이미지의 각각의 픽셀의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의함으로써 연속 동적 범위 이미지를 생성하는 단계를 포함한다. 이 실시예의 구현에서, 연속 동적 범위 이미지를 생성하는 단계는 최소 동적 범위 및 최대 동적 범위에 대해 소스 이미지를 등급화하는 단계를 더 포함한다. 소스 이미지는 독립 이미지(예로서, 사진) 또는 비디오에 대응하는 비디오 프레임일 수 있다.
실시예에서, 연속 동적 범위 이미지는 절단 다항식 급수를 이용하여 연속 함수 각각을 근사화함으로써 압축될 수 있다. 이 실시예의 특정 구현에서, 다항식 급수는 체비셰프 다항식 급수이다. 추가 실시예에서, 절단 다항식 급수의 다항식 계수는 이미지와 유사한 포맷으로 표현될 수 있다.
여기서 개시되는 기술의 다른 실시예에서, 연속 동적 범위 이미지 또는 비디오를 생성하기 위한 그래픽 사용자 인터페이스 방법은 컴퓨터 시스템의 하나 이상의 디스플레이 상에 이미지의 복수의 등급화 버전과 - 등급화 버전 각각은 상이한 동적 범위 디스플레이에 대해 등급화됨 -, 이미지의 제1 픽셀 세트의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의하는 연속 함수를 수정하기 위한 제어를 표시하는 단계를 포함한다. 방법은 연속 함수를 수정하기 위한 제어를 작동시키는 사용자 입력을 컴퓨터 시스템에서 수신하는 단계와, 컴퓨터 시스템이 연속 함수를 수정하기 위한 제어를 작동시키는 사용자 입력을 수신하는 것에 응답하여 이미지의 복수의 등급화 버전 각각의 수정 버전을 하나 이상의 디스플레이 상에 표시하는 단계를 더 포함한다.
여기서 개시되는 기술의 또 다른 실시예에서, 비디오 프레임을 포함하는 연속 동적 범위 비디오를 배포하는 방법은 관련 디스플레이를 갖는 복수의 수신기 각각에 복수의 비디오 프레임 각각의 최소 동적 범위 등급과, 복수의 비디오 프레임 각각의 최대 동적 범위 등급과, 복수의 비디오 프레임 각각의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 사이의 연속 함수의 근사화로서 정의하는 메타데이터를 배포하는 단계를 포함한다. 이 실시예의 구현에서, 연속 동적 범위 비디오는 무선 방송 텔레비전 신호로서, 위성 텔레비전 네트워크 신호로서 또는 케이블 텔레비전 네트워크 신호로서 전송된다. 대안으로서, 연속 동적 범위 비디오는 컴퓨터 네트워크의 콘텐츠 서버에 의해 전송될 수 있다.
여기서 개시되는 기술의 또 다른 실시예에서, 관련 동적 범위를 갖는 디스플레이 상의 표시를 위해 연속 동적 범위 이미지를 디코딩하는 방법은 인코딩된 연속 동적 범위 이미지를 수신하는 단계와, 코덱을 이용하여 연속 동적 범위 이미지를 디코딩하는 단계와, 디코딩된 연속 동적 범위 이미지 및 디스플레이의 동적 범위에 기초하여 이미지의 특정 동적 범위 표현을 생성하는 단계를 포함한다. 이 실시예에서, 수신된 인코딩된 연속 동적 범위 이미지는 이미지의 최소 동적 범위 등급화 버전과, 이미지의 최대 동적 범위 등급화 버전과, 이미지에 대응하는 연속 동적 범위 메타데이터를 포함한다.
개시되는 방법의 다른 특징 및 양태는 본 발명의 실시예에 따른 특징을 예시적으로 도시하는 첨부 도면과 관련하여 이루어지는 아래의 상세한 설명으로부터 명백해질 것이다. 이 요약은 첨부된 청구 범위에 의해서만 정의되는 청구 발명의 범위를 한정하는 것을 의도하지 않는다.
특허 또는 출원 파일은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면을 갖는 이러한 특허 또는 특허 출원 공보의 사본이 요청 및 필요한 수수료의 지불 시에 특허청에 의해 제공될 것이다.
하나 이상의 다양한 실시예에 따른 본 발명은 아래의 도면을 참조하여 상세히 설명된다. 도면은 예시의 목적으로 제공될 뿐이며, 본 발명의 전형적인 또는 예시적인 실시예를 도시할 뿐이다.
도 1은 본 발명에 따른 CDR 비디오가 생성, 인코딩 및 배포될 수 있는 예시적인 환경을 나타낸다.
도 2는 도 1의 환경에서 구현될 수 있는 예시적인 CDR 비디오 생성 및 인코딩 시스템을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 CDR 비디오를 생성, 인코딩 및 배포하는 방법을 나타내는 동작 흐름도이다.
도 4는 본 발명에 따른 CDR 비디오를 생성하는 예시적인 방법을 나타내는 동작 흐름도이다.
도 5는 본 발명에 따른 동적 범위 헐(dynamic range hull)의 표현을 나타낸다.
도 6은 본 발명에 따른 비디오 프레임에 대한 휘도 경로(lumipath)의 예시적인 구현을 나타낸다.
도 7a는 본 발명에 따른 CDR 비디오를 생성하기 위해 아티스트에 의해 사용될 수 있는 예시적인 비디오 편집 인터페이스를 나타낸다.
도 7b는 본 발명에 따른 CDR 비디오를 생성하기 위해 아티스트에 의해 사용될 수 있는 예시적인 비디오 편집 인터페이스를 나타낸다.
도 8은 본 발명에 따른 수치 휘도 경로를 획득하는 프로세스를 나타낸다.
도 9는 본 발명에 따른 배포에 대비하여 CDR 비디오를 압축 및 인코딩하는 예시적인 방법을 나타내는 동작 흐름도이다.
도 10은 본 발명에 따른 상이한 차수의 체비셰프 다항식에 의한 함수의 예시적인 근사화를 나타낸다.
도 11은 본 발명의 실시예에 따른 비디오 시퀀스의 프레임의 처음 8개의 계수 이미지를 나타낸다.
도 12는 본 발명에 따른 수신된 CDR 비디오 콘텐츠 스트림을 디코딩 및 표시하기 위한 수신기측 방법을 나타내는 동작 흐름도이다.
도 13은 여기서 개시되는 방법의 다양한 특징을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 모듈을 나타낸다.
도면은 포괄적이지 않으며, 본 발명을 개시되는 바로 그 형태로 한정하지 않는다.
상이한 동적 범위를 갖는 다수의 판매자로부터의 HDR 디스플레이의 출현은 콘텐츠 생성 및 배포에 대해 일부 중요한 문제를 유발한다. 구체적으로, 생성 문제는 800-4000 니트의 범위에 걸치는 피크 휘도를 갖는 것으로 알려진 다수의 곧 출시될 디스플레이는 물론, 상이한 동적 범위를 갖는 미래의 HDR 디스플레이에 대해 HDR 콘텐츠를 조정하는 것이다. 각각의 특정 디스플레이 동적 범위에 대해 콘텐츠를 등급화하는 간단한 접근 방법은 필요한 추가 수동 작업으로 인해 잘 스케일링되지 않는다. 디스플레이 적응 톤 맵핑과 같은 논문에서 제안되는 방법은 이러한 문제를 완화할 수 있지만, 광도 변화의 표현에 있어서의 명확한 아티스트 자유를 허용하지 않는다.
또한, HDR 콘텐츠와 관련된 배포 문제는 상이한 디스플레이 동적 범위에 대해 등급화된 다수의 HDR 스트림을 효율적으로 코딩 및 전송하는 작업이다. 이전의 연구는 단일 HDR 스트림을 SDR 콘텐츠에 대한 오차 신호로서 효율적으로 배포하는 것을 제안하였다. 그러나, 이러한 접근 방법은 다수의 HDR 스트림의 동시 전송을 필요로 하는 최신의 랜드스케이프에서의 응용에는 효율적이지 않다.
여기서 개시되는 기술의 실시예에 따르면, 상이한 동적 범위를 갖는 복수의 디스플레이에 대해 등급화된 비디오 또는 이미지 콘텐츠를 생성하기 위한 새로운 시스템 및 방법이 개시된다. 실시예에서, 생성된 콘텐츠는 "연속 동적 범위(continuous dynamic range)(CDR)" 콘텐츠 - 디스플레이 동적 범위의 함수로서의 픽셀 휘도의 새로운 표현 -이다. 이러한 실시예에서, CDR 콘텐츠의 생성은 최소 동적 범위 및 최대 동적 범위에 대해 소스 콘텐츠를 등급화하는 단계와, 소스 콘텐츠의 이미지 또는 비디오 프레임의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 사이의 연속 함수로서 정의함으로써 소스 콘텐츠의 연속 동적 범위를 획득하는 단계를 포함한다.
이러한 방식으로, 모든 가능한 디스플레이 동적 범위에 대해 동시에 등급화된 콘텐츠가 적은 오버헤드로 생성될 수 있다. 이러한 실시예에서, 그래픽 사용자 인터페이스가 제공될 수 있고, 그에 따라 사용자는 픽셀 휘도가 상이한 동적 범위에 대해 어떻게 변할지를 지정하고, 따라서 충분한 아티스트 제어로 CDR 비디오 또는 이미지의 생성을 가능하게 한다.
여기서 개시되는 기술의 추가 실시예에서, 생성된 CDR 비디오를 압축, 인코딩 및 배포하기 위한 방법이 설명된다. 이러한 실시예에서, CDR 비디오는 1) 비디오의 최대 동적 범위 등급, 2) 비디오의 최소 동적 범위 등급, 및 3) 각각의 비디오 프레임의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 사이의 연속 함수의 다항식 급수 근사화로서 정의하는 메타데이터로서 배포될 수 있다.
여기서 디스플레이를 설명하는 데 사용되는 바와 같이, 용어 "동적 범위"는 일반적으로 디스플레이의 휘도 범위 - 디스플레이의 최소 휘도(즉, "흑색 레벨") 내지 피크 휘도의 범위 -를 지칭한다. 이 분야의 기술자에 의해 이해되는 바와 같이, 휘도는 제곱미터당 칸델라(cd/㎡)의 SI 단위 또는 니트의 비-SI 단위와 같은 임의의 알려진 단위 체계를 이용하여 측정될 수 있다.
여기서 더 설명되는 바와 같이, 용어 "휘도 경로"는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 함수를 지칭한다.
본 발명을 상세히 설명하기 전에, 본 발명이 구현될 수 있는 예시적인 환경을 설명하는 것이 유용하다. 도 1은 그러한 하나의 예시적인 환경(100)을 나타낸다. 환경(100)에서, CDR 비디오 생성 및 인코딩 시스템(102)을 이용하여 소스 비디오(101)(예로서, 원시 카메라 포맷의 비디오)가 연속 동적 범위 비디오로서 생성 및 인코딩된다(단계 110). 소스 비디오는 필름, 예고편, 시리즈로부터의 에피소드, 광고, 비디오 게임 컷씬 등을 포함할 수 있다.
아래에서 더 설명되는 실시예에서, CDR 비디오 생성 및 인코딩 시스템(102)의 사용자는 그래픽 사용자 인터페이스(graphical user interface(GUI))를 이용하여, 소스 비디오(101)의 각각의 비디오 프레임의 픽셀 휘도가 상이한 동적 범위에 대해 어떻게 변할지를 지정할 수 있으며, 따라서 상이한 동적 범위 디스플레이에 대한 비디오의 출현에 대해 충분한 아티스트 제어로 CDR 비디오의 생성을 가능하게 할 수 있다.
CDR 비디오의 생성에 이어서, 단계 120에서, CDR 비디오가 디코딩 및 표시(단계 130)를 위해 복수의 수신기(121-123)에 배포된다. CDR 인코딩된 소스 비디오에서, 각각의 프레임의 픽셀 휘도는 동적 범위의 함수로서 정의된다. 따라서, 수신기(121-123)와 관련된 디스플레이의 동적 범위에 따라, 수신기(121-123)는 (도 1에서 디스플레이의 좌측의 직사각 패턴에 의해 예시되는) 수신기의 디스플레이의 동적 범위에 기초하여 CDR을 디코딩할 수 있다. 특정 환경(100)에 나타난 바와 같이, 배포 단계 120은 전자 배포 네트워크(115)를 통해 CDR 비디오를 복수의 텔레비전 세트(예로서, 스마트 텔레비전 세트) 또는 모니터 디스플레이(121-123)로 스트리밍 또는 전송하는 단계를 포함한다. 대안 실시예에서, CDR 비디오는 예를 들어 스마트폰, 랩탑, 태블릿, 워크스테이션 등과 같이 CDR 비디오를 디코딩 및 표시할 수 있는 다른 수신기로 전송될 수 있다.
다양한 실시예에서, CDR 비디오는 무선 방송 텔레비전 신호, 위성 텔레비전 네트워크 신호 또는 케이블 텔레비전 네트워크 신호로서 전송될 수 있다. 대안으로서, CDR 비디오는 컴퓨터 네트워크를 통해 콘텐츠 서버에 의해 전송될 수 있다. 이 분야의 통상의 기술자가 인식하는 바와 같이, 전자 배포 네트워크(115)는 예로서 동축 케이블 시스템, 광섬유 케이블 시스템, 이더넷 케이블 시스템, 위성 통신 시스템, 셀룰러 통신 시스템 등과 같은 통신 매체의 임의 조합을 포함할 수 있다. 또 다른 실시예에서, CDR 비디오는 비디오를 저장할 수 있는 이 분야에 공지된 반도체 드라이브, 자기 테이프, 카트리지, 블루레이 디스크 또는 다른 고정식 또는 이동식 저장 매체와 같은 물리 매체를 이용하여 배포될 수 있다.
도 2는 환경(100)에서 구현될 수 있는 예시적인 CDR 비디오 생성 및 인코딩 시스템(102)을 나타낸다. 다양한 실시예에서, 시스템(102)은 소스 비디오를 수신하고, 상이한 동적 범위를 갖는 복수의 상이한 디스플레이에 대해 맞춤화될 수 있는 CDR 비디오를 생성하도록 구성되는 임의의 컴퓨팅 시스템(워크스테이션, 랩탑, 스마트폰 등)일 수 있다. 도시된 바와 같이, 시스템(102)은 접속 인터페이스(131), CDR 비디오 생성 애플리케이션(133) 및 소스 비디오(101)를 저장하기 위한 저장소(132), 프로세서(134) 및 하나 이상의 디스플레이(135)를 포함한다. 접속 인터페이스(131)는 근거리 네트워크 접속, 셀룰러 네트워크 접속, 위성 네트워크 접속 등과 같은 무선 네트워크 접속을 이용하여 시스템(102)을 콘텐츠 배포 네트워크(예로서, 네트워크(115))에 접속할 수 있다. 게다가, 접속 인터페이스는 예를 들어 USB 인터페이스와 같이 정보를 송신 및 수신하기 위한 물리 인터페이스를 포함할 수 있다.
프로세서(134)는 아티스트가 상이한 동적 범위를 갖는 디스플레이에 대해 비디오 콘텐츠를 맞춤화하기 위한 그래픽 사용자 인터페이스를 제공할 수 있는 CDR 비디오 생성 애플리케이션(133)을 실행한다. 그러한 실시예에서, 아티스트는 소스 비디오(101)의 각각의 비디오 프레임의 상이한 영역의 픽셀 휘도가 상이한 동적 범위에 대해 어떻게 변할지를 지정할 수 있다. 아래에서 더 설명되는 이러한 실시예의 구현에서, 디스플레이(135)는 비디오 프레임의 다수의 동적 범위 버전을 각각의 비디오 프레임의 픽셀 휘도를 제어하기 위한 다양한 사용자 제어와 함께 표시한다. 일부 실시예에서, CDR 비디오 생성 애플리케이션(133)은 애니메이션 애플리케이션, 비디오 편집 애플리케이션, 이미지 편집 애플리케이션, 비디오 게임 설계 애플리케이션 또는 이들의 소정 조합의 일부로서 통합될 수 있다.
추가 실시예에서, 프로세서(134)는 시스템(102) 또는 다른 배포 수단을 이용하는 배포에 대비하여, (예로서, CDR 비디오 생성 애플리케이션(133)을 통해) 생성된 CDR 비디오를 압축 및 인코딩할 수 있다.
예시적인 환경(100)이 CDR 비디오의 생성, 인코딩 및 배포와 관련하여 설명되지만, 다른 실시예에서 본 발명은 사진, 컴퓨터 생성 이미지 등과 같은 CDR 이미지의 생성 및 배포에 초점을 맞추는 환경에서 구현될 수 있다는 점에 유의해야 한다. 이 분야의 기술자가 인식하듯이, 환경(100)은 CDR 이미지의 생성, 인코딩 및 배포에 적응될 수 있다.
도 3은 여기서 개시되는 기술의 일 실시예에 따른, CDR 비디오를 생성, 인코딩 및 배포하는 방법(200)을 나타낸다. 방법(200)은 소스 비디오(201)를 입력으로 취하고, 모든 가능한 디스플레이 동적 범위에 대해 동시에 등급화된 콘텐츠를 포함하는 CDR 비디오를 출력한다. 배포되는 CDR 비디오는 비디오의 인코딩된 최소 동적 범위 등급(207), 비디오의 인코딩된 최대 동적 범위 등급, 및 수신 디스플레이에 의해 수신된 CDR 비디오를 그의 동적 범위에 맞추는 데 사용될 수 있는 인코딩된 메타데이터(209)를 포함한다.
방법(200)은 CDR 비디오를 생성(220)하고, 생성된 CDR 비디오를 압축 및 인코딩(230)하는 특정 방법을 예시하는 도 4 및 9와 관련하여 설명된다. 다양한 실시예에서, 방법(200)의 프로세스 동작(예로서, 배포를 제외한 CDR 비디오 생성, 압축 및 인코딩)의 일부 또는 전부가 시스템(102)에 의해 CDR 비디오 생성 애플리케이션(133)을 이용하여 구현될 수 있다.
방법(200)은 동작 210에서 비디오 소스(201)를 수신하는 것으로부터 시작된다. 실시예에서, 수신된 소스 비디오는 원시 카메라 포맷(예로서, 필름, 시리즈 에피소드, 광고 등에 대한 소스 비디오) 또는 컴퓨터 생성 소스 비디오(예로서, 애니메이션 필름, 비디오 게임 등에 대한 소스 비디오)일 수 있다. 예를 들어, 소스 비디오는 장면을 촬영한 후에 스튜디오로부터 또는 장면을 애니메이션화한 후에 컴퓨터 그래픽 아티스트로부터 수신될 수 있다. 다양한 실시예에서, 소스 비디오의 동적 범위는 임의적일 수 있다. 특정 실시예에서, 소스 비디오는 최대 14개의 f-스톱을 갖는 높은 동적 범위(HDR) 콘텐츠를 포함할 수 있다.
소스 비디오(201)의 수신에 이어서, 동작 220에서, CDR 비디오가 생성된다. 도 4는 CDR 비디오를 생성하는 하나의 예시적인 방법(220)을 나타낸다. 동작 211에서, 소스 비디오 콘텐츠(201)가 최소 및 최대 타겟 동적 범위에 대해 등급화되며, 따라서 최소 동적 범위 등급 콘텐츠(202) 및 최대 동적 범위 등급 콘텐츠(203)가 생성된다. 실시예에서, 이러한 등급화 프로세스는 최대 및 최소 동적 범위에 대한 소스 비디오의 광도 및 컬러를 정의하는 것을 포함한다. 이러한 등급화 프로세스 동안, 전에 또는 후에, 소스 비디오(201)의 콘텐츠에 대해 "동적 범위 헐(dynamic range hull)"이 결정될 수 있다. CDR 비디오에 의해 포함되는 동적 범위 연속체는 모든 타겟 디스플레이의 동적 범위의 수퍼세트이므로, 동적 범위 헐은 최소 및 최대 동적 범위 사이의 동적 범위 연속체를 정의한다.
도 5는 동적 범위 헐의 표현을 나타낸다. 도시된 바와 같이, 최소 동적 범위는 모든 타겟 디스플레이 동적 범위의 세트 중에서 최소 피크 휘도 (b)와 최대 흑색 레벨 (d)에 의해 한정된다. 유사하게, 최대 동적 범위는 모든 타겟 디스플레이 동적 범위의 세트의 최대 피크 휘도 (a)와 최소 흑색 레벨 (c)에 의해 한정된다. 다양한 실시예에서, 시스템(102)은 소스 비디오(102)의 콘텐츠의 타입(예로서, 영화 필름, TV 에피소드, TV 광고 등), 타겟 디스플레이의 공지된 동적 범위의 리스트 및 다른 파라미터와 같은 파라미터에 기초하여 동적 범위 헐을 결정할 수 있다.
예를 들어, 복수의 타겟 디스플레이에 대해, 최저 피크 휘도가 100 니트이고, 최고 피크 휘도가 4000 니트이고, 최소 흑색 레벨이 0.01 니트이고, 최대 흑색 레벨이 0.1 니트인 경우를 고려한다. 이 예에서, 최소 동적 범위는 0.1 니트 내지 100 니트에 의해 한정되며, 최대 동적 범위는 0.01 니트 내지 4000 니트에 의해 한정될 것이다. 유사하게, 최대 등급 콘텐츠는 4000 니트의 피크 휘도 및 0.01 니트의 흑색 레벨을 갖는 디스플레이에 대해 타겟화되며, 최소 등급 콘텐츠는 100 니트의 피크 휘도 및 0.1 니트의 흑색 레벨을 갖는 디스플레이에 대해 타겟화될 것이다.
이어서, 동작 212에서, 소스 비디오의 각각의 프레임의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 등급(202, 203)에 기초하는 연속 함수로서 정의함으로써 CDR 비디오가 생성될 수 있다. 이러한 실시예에서, CDR 비디오는 각각의 픽셀에 대한 스칼라 휘도 값을 저장하는 통상적인 방법과 달리 각각의 픽셀에 대한 동적 범위 함수를 저장할 수 있다. 특정 실시예에서, 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 함수인 "휘도 경로"가 각각의 픽셀에서 사용되고 저장될 수 있다.
도 6은 픽셀(501-503)을 포함하는 비디오 프레임(500)에 대한 휘도 경로의 예시적인 구현을 나타낸다. 도시된 바와 같이, 비디오 프레임(500)의 각각의 픽셀(501-503)은 타겟 디스플레이의 피크 디스플레이 휘도에 기초하여 픽셀의 휘도를 정의하는 관련 휘도 경로 함수(501A-503A)를 갖는다. 이러한 예시적인 구현에서, 최소 동적 범위(510) 및 최대 동적 범위(530)는 휘도 경로 함수(501A-503A)를 한정한다. 동적 범위(520)는 중간 동적 범위 디스플레이에 대응한다. 픽셀(501)에 대해, 픽셀 휘도는 피크 디스플레이 휘도가 증가함에 따라 크게 증가하지 않으며, 이는 비디오 프레임(500)의 더 어두운 영역을 지시한다. 이와 달리, 픽셀(502, 503)에 대해, 픽셀 휘도는 피크 디스플레이 휘도의 중심 주위에서 크게 증가한 후에 감소한다. 이 분야의 기술자가 인식하는 바와 같이, 다양한 실시예에서, 휘도 경로 함수(501A-503A)의 형상은 상이한 디스플레이에 대한 비디오 콘텐츠의 출현에 맞도록 변경될 수 있다.
실시예에서, 각각의 픽셀에 대한 휘도 경로는 CDR 비디오 생성 애플리케이션(133)에 의해 제공되는 상호작용 비디오 편집 인터페이스를 이용하여 사용자에 의해 정의될 수 있다. 도 7a-7b는 각각의 비디오 프레임의 각각의 픽셀의 휘도 경로를 정의하기 위해 시스템(102)의 사용자에 의해 사용될 수 있는 비디오 편집 인터페이스의 하나의 특정 구현을 나타낸다. 이러한 특정 실시예에 도시된 바와 같이, (도 7a에 도시된) 제1 SDR 디스플레이는 상이한 디스플레이 동적 범위에 대한 상이한 비디오 프레임에 대한 휘도 경로를 정의하기 위한 제어(예로서, 버튼, 토글, 슬라이더, 내비게이션 컴포넌트 등)를 포함하는 인터페이스(600)를 제공한다. (도 7b에 도시된) 제2 HDR 디스플레이는 사용자가 복수의 동적 범위에 대한 그의 편집을 상호작용 방식으로 시각화하는 것을 가능하게 하는 인터페이스(610)를 제공한다. 휘도 경로를 정의하고, 복수의 동적 범위에 대한 편집을 표시하기 위한 개별 디스플레이가 도시되지만, 대안 실시예에서는 양 기능을 수행하기 위해 단일 디스플레이(예로서, 대형 HDR 디스플레이)가 사용될 수 있다는 점에 유의해야 한다.
인터페이스(600)는 등급화된 비디오를 등급화 세션을 시작하기 위해 (예로서, 폴더를 선택함으로써) 시스템 내에 로딩하기 위한 제어(605)를 포함한다. 이 실시예에 도시된 바와 같이, 시스템에는 동적 범위 헐의 극치에 대한 등급, 즉 최소 등급 비디오 및 최대 등급 비디오가 로딩된다. 또한, 인터페이스(600)는 최고 등급 비디오 또는 비디오 프레임(601)을 선택하기 위한 버튼 제어(601), 최저 등급 비디오 또는 비디오 프레임(602)을 선택하기 위한 버튼 제어(602), 관련 동적 범위를 갖는 특정 디스플레이를 선택하기 위한 슬라이더 제어(603), 및 특정 비디오 프레임을 선택하기 위한 슬라이더 제어(604)를 포함한다.
인터페이스(610)는 여러 동적 범위에 걸치는 연속 동적 범위 비디오를 시각화하기 위한 타일화된 인터페이스를 제공한다. 이 실시예에서, 6개의 상이한 윈도는 사용자로 하여금 비디오 또는 비디오 프레임이 6개의 상이한 동적 범위 디스플레이에 대해 어떻게 나타날지를 시각화하는 것을 가능하게 한다. 제어(609)에 의해 제공되는 프레임 모드 또는 비디오 모드를 선택함으로써, 사용자는 특정 프레임 또는 비디오 세그먼트가 어떻게 나타날지를 시각화할 수 있다. 이러한 구현에서, 동적 범위는 좌상에서 우하로 오름차순으로 표시되고, 좌상 윈도(611)는 최소 동적 범위 등급을 나타내고, 우하 윈도(612)는 최대 동적 범위 등급을 나타낸다. 대안으로서, 다른 구현에서는, 임의 수의 윈도 및 임의의 동적 범위 표시 순서가 사용될 수 있다.
인터페이스(600)에 의해 예시되는 실시예에서, 캐스케이드 마스크는 애플리케이션(133)의 사용자가 각각 비디오 프레임에서의 편집의 크기를 정의하는 것을 가능하게 할 수 있다. 도시된 바와 같이, 마스크 인터페이스는 특정 마스크를 선택하기 위한 제어(606), 선택된 마스크의 디스플레이(607), 및 선택된 마스크에 대응하는 휘도 경로 함수를 수정하기 위한 제어(608)를 제공할 수 있다. 구현에서, 마스크는 비디오 프레임의 대조 영역, 비디오 프레임의 특정 영역 또는 전체 비디오 프레임에 적용될 수 있다.
예를 들어, 도 7b에 도시된 장면을 고려한다. 제1 글로벌 마스크는 애니메이션된 캐릭터의 얼굴 및 배경 환경을 포함하는 장면의 모든 픽셀에 대한 균일한 마스킹을 생성할 수 있다. 사용자가 글로벌 마스크에 만족하면, 다른 마스크(예로서, 마스크(607))가 적용되어 캐릭터의 얼굴의 전부 또는 일부를 장면의 나머지로부터 분리하여, 정밀한 국지적 제어를 가능하게 할 수 있다. 예를 들어, 캐릭터의 얼굴은 전체 동적 범위 헐에 걸쳐 환경에 비해 더 밝거나 어두워질 수 있다. 대안으로서, 사용자는 전체 동적 범위가 아니라 특정 동적 범위(예로서, 1개 또는 2개의 타겟 디스플레이)에 대해 애니메이션된 캐릭터의 얼굴의 외관을 조정하기로 결정할 수 있다. 전술한 예를 고려하는 이 분야의 기술자가 인식하는 바와 같이, 마스크는 상이한 동적 범위에 걸쳐 상이한 비디오 프레임의 하이라이트 또는 음영을 변경하는 데 사용될 수 있다.
인터페이스(600)의 특정 구현에 나타난 바와 같이, 삼차 다항식 스플라인 인터페이스 제어(608)는 사용자가 표시된 휘도 경로 함수의 형상을 변경함으로써(예로서, 곡선 상의 제어 포인트를 선택하고 마우스를 드래깅함으로써) 휘도 경로를 수동으로 입력 및 수정하는 것을 가능하게 한다. 그러나, 다른 구현에서는, 연속 함수를 정의 및 변경하기 위한 이 분야에 공지된 다른 적절한 인터페이스(예로서, 고차 다항식 스플라인 인터페이스)가 제공될 수 있다. 도 7a-7b의 특정 예는 휘도 경로 함수를 이용하여 동적 범위 헐에 걸쳐 픽셀의 휘도를 정의하는 것과 관련하여 설명되지만, 다른 실시예에서는 최소 및 최대 동적 범위 등급에 기초하여 픽셀의 휘도를 정의하기 위한 다른 적절한 연속 함수가 사용될 수 있다는 점에도 유의해야 한다. 대안 구현에서는 임의의 사용자 상호작용에 의존하지 않고서 최소 및 최대 등급에 기초하여 CDR 비디오를 생성하기 위해 휘도 경로 함수가 사전 정의되고 사용될 수 있다는 점에도 유의해야 한다.
실시예에서, 각각의 프레임의 각각의 픽셀의 휘도를 정의하는 함수, 예로서 휘도 경로는 수학적으로 아래와 같이 정의될 수 있다. 먼저, 최소 및 최대 등급(202, 203)은 각각 Iα 및 Iβ로 표시될 수 있다. Iα의 최소 및 피크 휘도는 각각 ηα 및 πα로 표시되고, Iβ의 최소 및 피크 휘도는 각각 ηβ 및 πβ로 표시된다. 픽셀 휘도가 동적 범위 헐에 걸쳐 어떻게 변할지를 지정하는 함수는 식 1에 의해 정의될 수 있다.
Figure pat00001
이 식은 고유 휘도 값
Figure pat00002
를 각각의 픽셀(p) 및 동적 범위
Figure pat00003
와 관련시키며, 여기서
Figure pat00004
는 최소 등급에 대한 픽셀(p)의 휘도이고,
Figure pat00005
는 최대 등급에 대한 픽셀(p)의 휘도이다. 따라서, 식 1은 동적 범위 헐의 임의의 타겟 동적 범위 내의 픽셀의 휘도를 최소 및 최대 등급 내의 실제 픽셀 휘도 값 사이에 있는 값에 맵핑한다.
이러한 함수의 생성의 계산 복잡성 및 배포되는 데이터의 양을 줄이기 위해, 도메인은
Figure pat00006
로 제한될 수 있으며, 임의의
Figure pat00007
에 대한 관련 최소 휘도는 식 2에 의해 정의될 수 있다.
Figure pat00008
식 2에 이어서, 고려되는 동적 범위 헐은
Figure pat00009
에 의해 정의될 수 있다. 결과적으로, 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도(pi)의 함수로서 표현되는 휘도 경로가 식 3에 의해 정의될 수 있다.
Figure pat00010
여기서, πα 및 πβ는 최대 및 최소 동적 범위에 대응하는 피크 휘도이다.
도 6a-6b의 예에서 설명된 바와 같이, 사용자는 마스크를 이용하고 삼차 다항식 스플라인 인터페이스의 제어 포인트를 수정하여 휘도 경로를 조정함으로써 원하는 이미지 영역을 선택할 수 있다. 더 일반적으로, 휘도 경로를 정의하기 위한 사용자의 마스크 사용은 수학적으로 아래와 같이 정의될 수 있다. 정식으로,
Figure pat00011
의 값을 갖는 일련의 이미지 마스크 Mj가 주어지면, 사용자는 사용자 인터페이스를 이용하여 함수
Figure pat00012
를 수동으로 지정할 수 있다. 각각의 픽셀에 적용될 때, 함수는 마스크에 의해 각각의 픽셀 위치에서 조정되며, 식 4에 나타난 바와 같이
Figure pat00013
가 얻어진다.
Figure pat00014
식 4는 아티스트의 정의된 곡선과 마스크에 의해 지정된 가중치에 기초하는 선형 곡선 간의 혼합을 정의하여, 유연하게 변하는 편집을 가능하게 한다. 따라서, n개의 마스크를 사용하고 n개의 그러한 함수를 지정함으로써, 대응하는 휘도 경로
Figure pat00015
는 모든 함수를 연속적으로 적용(계층 기반 등급화)하고 식 5에 나타난 바와 같이 결과를 스케일링함으로써 획득될 수 있다.
Figure pat00016
여기서, 휘도 경로
Figure pat00017
는 2개의 분석된 극치 사이의 최대 광도를 갖는 임의의 디스플레이에 대한 픽셀(p)의 휘도를 정의하는 원하는 곡선이다. 도 8은 식 4 및 5에 의해 정의되는 바와 같은 수치 휘도 경로를 획득하는 이러한 프로세스를 나타낸다. 도시된 바와 같이, 아티스트에 의해 입력된 휘도 경로는 사용자 인터페이스에서 지정되는 가중치에 따라 선형 함수를 이용하여 평균화되고, 이어서 최종 픽셀별 휘도 경로
Figure pat00018
를 획득하기 위해 연결된다.
이 분야의 기술자가 인식하듯이, 비디오 프레임의 입력 등급을 획득하는 방식에 대한 어떠한 제한도 존재하지 않으므로, 픽셀의 공간 대응이 보존되는 한은 영역 선택을 위한 임의 수의 픽셀 레벨 마스크가 사용될 수 있다. 또한, 휘도 경로 또는 다른 함수는 임의 수의 제어 포인트를 이용하여 정밀하게 정의될 수 있으며, 따라서 동작 220 동안 상당한 아티스트 자유가 허용될 수 있다.
동작 220에서의 CDR 비디오의 생성에 이어서, 그의 원시 포맷의 CDR 비디오는 각각의 프레임 f에 대해 1) 최소 동적 범위 등급 이미지(예로서,
Figure pat00019
); 2) 최대 동적 범위 등급 이미지(예로서,
Figure pat00020
); 및 3) 프레임의 모든 픽셀에 대한 연속 동적 범위 함수(예로서, 휘도 경로
Figure pat00021
)를 포함하는 메타데이터에 의해 표현된다. 실시예에서, 이러한 데이터의 원시 포맷은 상당한 양의 데이터를 차지할 수 있다. 따라서, 방법(200)의 동작 230에서, CDR 비디오는 배포에 대비하여 압축 및 인코딩될 수 있다.
도 9는 배포에 대비하여 CDR 비디오를 압축 및 인코딩하는 하나의 예시적인 방법(230)을 나타낸다. 아래에서 더 설명되는 바와 같이, 방법(230)은 실시예에서 오리지널 CDR 비디오에 비해 데이터 효율적일 뿐만 아니라 시각적으로 손실 없는 각각의 픽셀에 대한 CDR 함수의 표현을 제공하는 데 사용될 수 있다.
방법(230)은 동작 231에서 시작되며, 여기서 각각의 픽셀에 대응하는 CDR 함수는 소정 수의 계수 뒤에서 절단되는 다항식 급수를 이용하여 근사화된다. 따라서, 각각의 CDR 함수의 결과적인 표현은 다항식 기저와 관련된 유한 계수 세트(즉, 계수 벡터)이다. 바람직한 실시예에서, 다항식 급수는 사람의 시각 시스템 모델에 기초하여 결과적인 출력이 시각적으로 손실 없는 포인트에서 절단된다.
아래에서 더 설명되는 실시예에서, 다항식 급수는 절단 체비셰프 급수이다. 이러한 실시예에서는, 체비셰프 다항식의 사용이 바람직할 수 있는데, 이는 i) 그가 한 간격에서 근사화할 때 룽게 현상을 최소화하고, 이는 실제로 대부분의 디스플레이가 검사되는 동적 범위 헐의 최소 단부 근처에 배치된다는 점에서 중요하고; ii) 그가 빠르게 수치적으로 계산될 수 있고; iii) 오리지널에 대한 근사화된 함수의 에러가 계수로부터 쉽게 추정되어 중지 포인트를 제공할 수 있기 때문이다. 그러나, 이 분야에 알려진 다른 적절한 다항식 급수가 사용될 수 있다.
다항식 기저와 함께 유한 계수 세트를 이용하는 CDR 함수의 근사화에 이어서, 동작 232에서, 다항식 계수가 이미지 포맷으로 표현되며, 이는 데이터에 대한 비디오 코덱의 적용을 가능하게 한다. 예를 들어, 일 실시예에서, 다항식 계수는 단색 비디오 시퀀스로 재구성될 수 있다. 실시예에서, 다항식 계수의 이미지 포맷 표현은 데이터를 인코딩하기 위해 후속 사용되는 비디오 코덱(예로서, MPEG-4, H.264 등)에 의존할 수 있다.
이어서, 동작 233에서, 계수 이미지(즉, 이미지 데이터 포맷의 다항식 계수)가 MPEG-4 또는 H.264와 같은 대응하는 비디오 코덱을 이용하여 인코딩될 수 있고, 따라서 추가적인 압축이 제공되고, 데이터 비트레이트가 개선될 수 있다. 또한, 동작 233에서, LDR 및 HDR 콘텐츠(예로서, MPEG 포맷)를 압축하기 위해 이 분야에 공지된 비디오 코덱을 이용하여 최소 동적 범위 등급 콘텐츠(202) 및 최대 동적 범위 등급 콘텐츠(203)가 압축 및 인코딩될 수 있다. 실시예에서, 콘텐츠(202, 203)는 2개의 신호 간의 상호 중복성을 이용하여 공동으로 그리고 종속적으로 인코딩될 수 있다. 예로서, 특정 실시예에서, 2개의 콘텐츠는 이 분야에 공지된 스케일링 가능 비디오 코딩(SVC) 방법을 이용하여 기저 및 향상 계층으로서 인코딩될 수 있다. 대안으로서, 다른 실시예에서, 최소 동적 범위 등급 콘텐츠(202) 및 최대 동적 범위 등급 콘텐츠(203)는 (예로서, H.264를 이용하여) 개별적으로 인코딩될 수 있다.
실시예에서, 전술한 휘도 경로
Figure pat00022
를 이용하는 방법(230)의 수학적 구현이 다음과 같이 진행될 수 있다. 사람의 시각 시스템은 휘도 적응 레벨(
Figure pat00023
)이 주어질 경우에 근사 임계 휘도를 계산하는 임계치 대 강도(tvi) 함수를 이용하여 모델링될 수 있다. tvi 함수는 식 6에 나타난 바와 같이 각각의 휘도 레벨에서 피크 대조 감도를 발견함으로써 계산될 수 있다.
Figure pat00024
여기서, CSF는 대조 감도 함수이고,
Figure pat00025
는 픽셀(p)에 대한 적응 휘도이다. 이러한 구현에서는 사람의 눈이 단일 픽셀(p)에 완벽하게 적응할 수 있는 것으로 가정된다.
휘도 경로
Figure pat00026
가 주어질 경우, 이것은
Figure pat00027
가 충족되는 경우에, 즉 편차가 사람 시각 시스템의 모델에 의해 계산된 임계치보다 작은 경우에, 절단 체비셰프 급수
Figure pat00028
에 의해 지각적으로 손실 없는 방식으로 주어진 픽셀에서 근사화될 수 있다. 절단 체비셰프 급수는 식 7에 의해 표현될 수 있다.
Figure pat00029
여기서,
Figure pat00030
는 k 번째 체비셰프 다항식이고,
Figure pat00031
는 프레임(f)의 픽셀(p)에서의 대응하는 체비셰프 계수이고,
Figure pat00032
는
Figure pat00033
보다 작은 에러
Figure pat00034
를 얻는 데 필요한 최소 차수이다. 이것은
Figure pat00035
개의 계수
Figure pat00036
에 의해 결정되는
Figure pat00037
의 지각적으로 손실 없는 근사화를 정의한다.
체비셰프 급수를 계산하기 위해, 모든 급수 경로의 도메인 및 범위는 그들 모두가 체비셰프 도메인
Figure pat00038
내에 위치하도록 스케일링된다. 각각의 기저 다항식
Figure pat00039
가 도메인
Figure pat00040
을 갖고, 그의 범위
Figure pat00041
가 [-1,1]의 서브세트이기도 하므로, 근사화의 전체
Figure pat00042
에러는 급수의 무한 잔여 계수의 절대값의 합에 의해 한정된다. 실시예에서, 계수에 대한 중지 기준은 적은 수의 요소의 절대값의 합에 의해 주어질 수 있다. 예를 들어, 급수는 다음 3개의 요소의 절대 합이 허용되는 에러 임계치 아래일 때 절단될 수 있다. 상이한 차수의 체비셰프 다항식에 의한 함수의 근사화의 일례가 도 10에 도시된다. 오리지널 함수와 재구성된 표현 간의 에러의 절대값은 도 10의 하부 스케일에 도시된다.
휘도 경로
Figure pat00043
의 근사화된 그러나 시각적으로 손실 없는 표현에 대한 체비셰프 계수
Figure pat00044
의 결정에 이어서, 계수는 단색 비디오 시퀀스로 양자화 및 재구성될 수 있다.
Figure pat00045
의 최대 차수 및
Figure pat00046
에 대한 세트
Figure pat00047
가 계산될 수 있으며, 이는 식 7에서 설명된 그러나 고정 파라미터 N을 갖는 함수의 표현
Figure pat00048
를 유도한다. 각각의 휘도 경로
Figure pat00049
는 이제 식 8의 N-튜플에 의해 지정된다.
Figure pat00050
이미지와 같은 표현을 획득하기 위해, 프레임의 모든 픽셀의 튜플
Figure pat00051
는 구성에 의해
Figure pat00052
및
Figure pat00053
와 동일한 픽셀 해상도를 갖는 1<k<N에 대한 계수 행렬
Figure pat00054
에 의해 표현된다. 이어서, 모든 행렬
Figure pat00055
의 모든 엔트리를 특정 비트 깊이로 균일하게 양자화하여 N개의 행렬
Figure pat00056
를 얻을 수 있다. 실시예에서, 비트 깊이는 압축에 사용되는 비디오 코덱에 의해 지원되는 이미지에 대한 최대 비트 깊이에 따라 선택될 수 있다. 예를 들어, 이러한 예시적인 구현에서, 모든 행렬의 엔트리는 8비트 정수로 양자화될 수 있는데, 이는 그것이 H.264의 메인 프로필에 의해 압축을 위해 지원되는 이미지에 대한 최대 비트 깊이에 대응하기 때문이다.
도 11은 비디오 시퀀스의 프레임의 처음 8개의 계수 이미지
Figure pat00057
를 나타낸다. 도시된 바와 같이, 정보의 대부분은 처음 몇 개의 계수 내에 집중된다. 계수 이미지 내의 에너지 및 변화는 계수 인덱스의 증가에 따라 빠르게 감소한다. 더욱이, 계수는 큰 이미지 영역에 걸쳐 균일한 값을 가질 수 있다. 따라서, 계수 이미지 및 비디오의 정보 콘텐츠는 실제로는 일반적으로 이미지 및 비디오 자체에 비해 비교적 제한되어, 매우 압축 가능해질 수 있다.
이어서, 휘도 경로의 압축된 표현이 1) 차수 N을 나타내는 정수 값, 2) 비트 깊이(예로서, 8비트) 양자화에 사용되는 최소 및 최대 값을 나타내는 2개의 부동 소수점 값, 및 3) 비디오 코덱(예로서, H.264)을 이용하여 계수 이미지를 인코딩함으로써 획득되는 k = 1,..., N에 대한 이미지 시퀀스
Figure pat00058
의 인코딩된 표현을 저장함으로써 획득될 수 있다.
동작 230에서의 CDR 비디오의 비디오 압축 및 인코딩에 이어서, 출력 콘텐츠는 인코딩된 최소 동적 범위 등급 콘텐츠(207), 인코딩된 최대 동적 범위 등급 콘텐츠(208) 및 인코딩된 CDR 비디오 메타데이터(209)를 포함한다. 도 3을 다시 참조하면, 이러한 콘텐츠는 동작 240에서 후속 배포될 수 있다. 실시예에서, CDR 비디오 콘텐츠는 무선 방송 텔레비전 신호, 위성 텔레비전 네트워크 신호 또는 케이블 텔레비전 네트워크 신호로서 배포될 수 있다. 대안으로서, CDR 비디오 콘텐츠는 컴퓨터 네트워크를 통해 콘텐츠 서버에 의해 전송될 수 있다. 또 다른 실시예에서, CDR 비디오 콘텐츠는 반도체 드라이브, 자기 테이프, 카트리지, 블루레이 디스크 등과 같은 물리 매체를 이용하여 배포될 수 있다.
도 12는 수신된 CDR 비디오 콘텐츠를 디코딩 및 표시하기 위한 수신기측 방법(700)을 나타낸다. 도시된 바와 같이, 수신된 CDR 콘텐츠는 비디오 인코딩된 최소 동적 범위 등급 콘텐츠(207), 최대 동적 범위 등급 콘텐츠(208) 및 CDR 비디오 메타데이터(209)를 포함할 수 있다. 예시적인 도 12에서 개별 참조 번호를 갖는 것으로 도시되지만, 수신된 최대 동적 범위 등급 콘텐츠 및 최소 동적 범위 등급 콘텐츠는 (예로서, SVC 기술에 기초하여 기저 계층 및 향상 계층으로서) 공동으로 인코딩될 수 있다는 점에 유의해야 한다.
동작 702에서, 수신된 콘텐츠는 적절한 비디오 압축 코덱(예로서, H.264, MPEG-4 등)을 이용하여 디코딩된다. 예로서, 최소 등급 콘텐츠 및 최대 등급 콘텐츠가 SVC 코덱을 이용하여 기저 및 향상 계층으로서 공동으로 인코딩되는 특정 실시예에서, 콘텐츠는 SVC 코덱을 이용하여 디코딩될 수 있다. 대안으로서, 다른 실시예에서, 최소 동적 범위 등급 콘텐츠(202) 및 최대 동적 범위 등급 콘텐츠(203)는 (예로서, H.264를 이용하여) 개별적으로 디코딩될 수 있다. 일 실시예에서, CDR 비디오 메타데이터(209)는 콘텐츠(207, 208)를 디코딩하는 데 사용되는 동일 코덱을 이용하여 디코딩될 수 있다.
이어서, 동작 704에서, 수신기는 디코딩된 콘텐츠 및 콘텐츠를 표시할 디스플레이의 알려진 동적 범위(705)에 기초하여 비디오(707)의 적절한 동적 범위 표현을 생성한다. 이 분야의 기술자가 인식하듯이, 수신기는 계수의 다항식 벡터 및 각각의 프레임의 각각의 픽셀에 대한 휘도 경로 함수를 표현하는 데 사용되는 다항식 급수와 같은 CDR 메타데이터를 생성하는 데 사용되는 알고리즘에 대한 지식에 기초하여 각각의 픽셀에 대한 휘도 경로를 재구성할 수 있다. 이어서, 디코딩된 최대 및 최소 등급 이미지, 이미지의 각각의 픽셀에 대한 디코딩 및 재구성된 휘도 경로 및 디스플레이 동적 범위(705)가 주어질 경우, 각각의 이미지의 각각의 픽셀에 대해 대응하는 휘도 경로를 평가하여, 디스플레이에 대한 해당 픽셀의 휘도를 정의함으로써, 비디오(707)의 적절한 동적 범위 표현을 획득할 수 있다.
여기서 설명되는 방법은 CDR 비디오의 생성, 압축, 배포 및 수신과 관련하여 주로 설명되었지만, 이 분야의 기술자는 방법이 CDR 사진 또는 컴퓨터 생성 그래픽과 같은 CDR 이미지의 생성에 동일하게 적용될 수 있다는 것을 알 것이다. 예로서, 다양한 실시예에서, 최대 및 최소 동적 범위에 대해 소스 이미지를 등급화하고, 이미지의 각각의 픽셀의 휘도를 최소 및 최대 동적 범위 등급에 기초하는 연속 함수로서 정의함으로써 CDR 이미지가 생성될 수 있다. 다른 예로서, 도 7a-7b의 그래픽 사용자 인터페이스는 아티스트가 (예로서, 이미지에 대한 새로운 모드(609)를 추가하거나 기존 프레임 모드를 이용함으로써) 특정 이미지의 복수의 동적 범위 등급 버전을 동시에 표시 및 수정하는 것을 가능하게 함으로써 CDR 이미지의 생성에 적응될 수 있다.
유사하게, 다양한 실시예에서, CDR 이미지는 소정 수의 계수 뒤에서 절단되는 다항식 급수를 이용하여 이미지의 각각의 픽셀에 대응하는 CDR 함수를 근사화함으로써 압축될 수 있다. 또한, 압축된 CDR 이미지는 적절한 코덱을 이용하여 인코딩될 수 있다. 더구나, 인코딩된 CDR 이미지는 적절한 코덱을 이용하여 이미지를 디코딩 및 표시하는 수신기에 배포될 수 있다.
도 13은 여기서 개시되는 시스템 및 방법의 다양한 특징을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 모듈을 나타낸다. 여기서 사용되는 바와 같이, 모듈이라는 용어는 본원의 하나 이상의 실시예에 따라 수행될 수 있는 주어진 기능 유닛을 설명할 수 있다. 여기서 사용되는 바와 같이, 모듈은 임의 형태의 하드웨어, 소프트웨어 또는 이들의 조합을 이용하여 구현될 수 있다. 예로서, 하나 이상의 프로세서, 제어기, ASIC, PLA, PAL, CPLD, FPGA, 논리 컴포넌트, 소프트웨어 루틴 또는 다른 메커니즘이 모듈을 구성하도록 구현될 수 있다. 구현에서, 여기서 설명되는 다양한 모듈은 개별 모듈로서 구현될 수 있거나, 설명되는 기능 및 특징은 하나 이상의 모듈 사이에서 부분적으로 또는 전체적으로 공유될 수 있다. 즉, 본 설명을 읽은 후에 이 분야의 통상의 기술자에게 명백하듯이, 여기서 설명되는 다양한 특징 및 기능은 임의의 주어진 애플리케이션에서 구현될 수 있으며, 하나 이상의 개별 또는 공유 모듈에서 다양한 조합 및 교환에서 구현될 수 있다. 다양한 특징 또는 기능 요소가 개별 모듈로서 개별적으로 설명 또는 청구될 수 있지만, 이 분야의 통상의 기술자는 이러한 특징 및 기능이 하나 이상의 공통 소프트웨어 및 하드웨어 사이에서 공유될 수 있고, 그러한 설명이 개별 하드웨어 또는 소프트웨어 컴포넌트가 그러한 특징 또는 기능을 구현하는 데 사용되는 것을 요구 또는 암시하지 않는다는 것을 이해할 것이다.
애플리케이션의 컴포넌트 또는 모듈이 소프트웨어를 이용하여 전체적으로 또는 부분적으로 구현되는 경우, 일 실시예에서, 이러한 소프트웨어 요소는 그와 관련하여 설명되는 기능을 수행할 수 있는 컴퓨팅 또는 처리 모듈과 함께 동작하도록 구현될 수 있다. 하나의 그러한 예시적인 컴퓨팅 모듈이 도 13에 도시된다. 다양한 실시예가 이러한 예시적인 컴퓨팅 모듈(1000)과 관련하여 설명된다. 본 설명을 읽은 후에, 관련 분야의 기술자에게는 다른 컴퓨팅 모듈 또는 구조를 이용하여 본원을 어떻게 구현할지가 명백해질 것이다.
이제, 도 13을 참조하면, 컴퓨팅 모듈(1000)은 예를 들어 데스크탑, 랩탑, 노트북 및 태블릿 컴퓨터; 핸드헬드 컴퓨팅 장치(태블릿, PDA, 스마트폰, 셀폰, 팜탑 등); 메인프레임, 수퍼컴퓨터, 워크스테이션 또는 서버; 또는 주어진 응용 또는 환경에 바람직하거나 적절할 수 있는 바와 같은 임의의 다른 타입의 특수 목적 또는 범용 컴퓨팅 장치 내에서 발견되는 컴퓨팅 및 처리 능력을 나타낼 수 있다. 컴퓨팅 모듈(1000)은 주어진 장치 내에 내장되거나 달리 이용 가능한 컴퓨팅 능력을 나타낼 수도 있다. 예를 들어, 컴퓨팅 모듈은 예를 들어 디지털 카메라, 내비게이션 시스템, 셀룰러 전화, 휴대용 컴퓨팅 장치, 모뎀, 라우터, WAP, 단말기 및 소정 형태의 처리 능력을 포함할 수 있는 다른 전자 장치와 같은 다른 전자 장치에서 발견될 수 있다.
컴퓨팅 모듈(1000)은 예로서 하나 이상의 프로세서, 제어기, 제어 모듈, 또는 프로세서(1004)와 같은 다른 처리 장치를 포함할 수 있다. 프로세서(1004)는 예로서 마이크로프로세서, 제어기 또는 다른 제어 논리와 같은 범용 또는 특수 목적 처리 엔진을 이용하여 구현될 수 있다. 도시된 예에서, 프로세서(1004)는 버스(1002)를 통해 접속되지만, 임의의 통신 매체를 이용하여 컴퓨팅 모듈(1000)의 다른 컴포넌트와의 상호작용을 촉진하거나 외부적으로 통신할 수 있다.
컴퓨팅 모듈(1000)은 여기서 간단히 메인 메모리(1008)로서 지칭되는 하나 이상의 메모리 모듈도 포함할 수 있다. 예로서, 프로세서(1004)에 의해 실행될 명령어 및 정보를 저장하기 위해 바람직하게 랜덤 액세스 메모리(RAM) 또는 다른 동적 메모리를 이용할 수 있다. 메인 메모리(1008)는 프로세서(1004)에 의해 실행되는 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하는 데에도 사용될 수 있다. 컴퓨팅 모듈(1000)은 프로세서(1004)를 위한 정적 정보 및 명령어를 저장하기 위해 버스(1002)에 결합되는 판독 전용 메모리("ROM") 또는 다른 정적 저장 장치도 포함할 수 있다.
컴퓨팅 모듈(1000)은 예를 들어 매체 드라이브(1012) 및 저장 유닛 인터페이스(1020)를 포함할 수 있는 하나 이상의 다양한 형태의 저장 메커니즘(1010)도 포함할 수 있다. 매체 드라이브(1012)는 고정식 또는 이동식 저장 매체(1014)를 지원하기 위한 드라이브 또는 다른 메커니즘을 포함할 수 있다. 예로서, 하드 디스크 드라이브, 반도체 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, CD, DVD 또는 블루레이 드라이브(R 또는 RW), 또는 다른 이동식 또는 고정식 매체 드라이브가 제공될 수 있다. 따라서, 저장 매체(1014)는 예로서 하드 디스크, 반도체 드라이브, 자기 테이프, 카트리지, 광 디스크, CD, DVD, 블루레이 또는 매체 드라이브(1012)에 의해 판독, 기록 또는 액세스되는 다른 고정식 또는 이동식 매체를 포함할 수 있다. 이러한 예가 나타내는 바와 같이, 저장 매체(1014)는 컴퓨터 소프트웨어 또는 데이터를 저장한 컴퓨터 사용 가능 저장 매체를 포함할 수 있다.
대안 실시예에서, 정보 저장 메커니즘(1010)은 컴퓨터 프로그램 또는 다른 명령어 또는 데이터가 컴퓨팅 모듈(1000) 내에 로딩되는 것을 가능하게 하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단은 예로서 고정식 또는 이동식 저장 유닛(1022) 및 인터페이스(1020)를 포함할 수 있다. 그러한 저장 유닛(1022) 및 인터페이스(1020)의 예는 프로그램 카트리지 및 카트리지 인터페이스, 이동식 메모리(예로서, 플래시 메모리 또는 다른 이동식 메모리 모듈) 및 메모리 슬롯, PCMCIA 슬롯 및 카드, 및 소프트웨어 및 데이터가 저장 유닛(1022)으로부터 컴퓨팅 모듈(1000)로 전송되는 것을 가능하게 하는 다른 고정식 또는 이동식 저장 유닛(1022) 및 인터페이스(1020)를 포함할 수 있다.
컴퓨팅 모듈(1000)은 통신 인터페이스(1024)도 포함할 수 있다. 통신 인터페이스(1024)는 소프트웨어 및 데이터가 컴퓨팅 모듈(1000)과 외부 장치 사이에서 전송되는 것을 가능하게 하는 데 사용될 수 있다. 통신 인터페이스(1024)의 예는 모뎀 또는 소프트 모뎀, (이더넷, 네트워크 인터페이스 카드, WiMedia, IEEE 802.XX 또는 다른 인터페이스와 같은) 네트워크 인터페이스, (예로서, USB 포트, IR 포트, RS232 포트, 블루투스(등록상표) 인터페이스 또는 다른 포트와 같은) 통신 포트 또는 다른 통신 인터페이스를 포함할 수 있다. 통신 인터페이스(1024)를 통해 전송되는 소프트웨어 및 데이터는 통상적으로 주어진 통신 인터페이스(1024)에 의해 교환될 수 있는 전자, (광을 포함하는) 전자기 또는 다른 신호일 수 있는 신호 상에서 운반될 수 있다. 이러한 신호는 채널(1028)을 통해 통신 인터페이스(1024)에 제공될 수 있다. 이러한 채널(1028)은 신호를 운반할 수 있으며, 유선 또는 무선 통신 매체를 이용하여 구현될 수 있다. 채널의 일부 예는 전화선, 셀룰러 링크, RF 링크, 광 링크, 네트워크 인터페이스, 근거리 또는 광역 네트워크, 및 다른 유선 또는 무선 통신 채널을 포함할 수 있다.
이 문서에서, 용어 "컴퓨터 프로그램 매체" 및 "컴퓨터 사용 가능 매체"는 예로서 메모리(1008), 저장 유닛(1020), 매체(1014) 및 채널(1028)과 같은 일시적 또는 비일시적 매체를 일반적으로 지칭하는 데 사용된다. 이들 및 다른 다양한 형태의 컴퓨터 프로그램 매체 또는 컴퓨터 사용 가능 매체는 하나 이상의 명령어의 하나 이상의 시퀀스를 실행을 위해 처리 장치로 운반하는 데에 연관될 수 있다. 매체 상에 구현되는 그러한 명령어는 일반적으로 (컴퓨터 프로그램 또는 다른 그룹핑의 형태로 그룹핑될 수 있는) "컴퓨터 프로그램 코드" 또는 "컴퓨터 프로그램 제품"으로서 지칭된다. 실행될 때, 그러한 명령어는 컴퓨팅 모듈(1000)이 여기서 설명되는 바와 같은 본원의 특징 또는 기능을 수행하는 것을 가능하게 할 수 있다.
위에서는 다양한 예시적인 실시 및 구현과 관련하여 설명되었지만, 하나 이상의 개별 실시예에서 설명되는 다양한 특징, 양태 및 기능은 그들이 설명되는 특정 실시예로 그들의 응용이 제한되는 것이 아니라, 본원의 하나 이상의 다른 실시예에 단독으로 또는 다양한 조합으로 적용될 수 있으며, 이는 그러한 실시예가 설명되는지의 여부에 관계없고, 그러한 특징이 설명되는 실시예의 일부인 것으로 설명되는지의 여부에 관계없다는 것을 이해해야 한다. 따라서, 본원의 넓이 및 범위는 임의의 전술한 실시예에 의해 한정되지 않아야 한다.
본 문서에서 사용되는 용어 및 표현, 및 이들의 변형은 달리 명확히 언급되지 않는 한은 한정적인 것이 아니라 개방적인 것으로 해석되어야 한다. 위의 예로서, 용어 "포함하는"은 "한정 없이, 포함하는" 등을 의미하는 것으로 해석되어야 하고, 용어 "예"는 설명되는 아이템의 포괄적인 또는 제한적인 리스트가 아니라 그의 전형적인 사례를 제공하는 데 사용되고, 용어 "하나"는 "적어도 하나", "하나 이상" 등을 의미하는 것으로 해석되어야 하고, "통상적인", "전통적인", "정상적인", "표준", "공지된" 및 유사한 의미의 용어와 같은 형용사는 설명되는 아이템을 주어진 기간으로 또는 주어진 시간에 이용 가능한 아이템으로 한정하는 것으로 해석되는 것이 아니라, 현재 또는 미래의 임의 시간에 이용 가능하거나 알려질 수 있는 통상적인, 전통적인, 정상적인 또는 표준적인 기술을 포함하는 것으로 해석되어야 한다. 또한, 이 문서가 이 분야의 통상의 기술자에게 명백하거나 알려진 기술을 참조할 경우, 그러한 기술은 현재 또는 미래의 임의 시간에 기술자에게 명백하거나 알려지는 것을 포함한다.
일부 예에서 "하나 이상", "적어도", "그러나 한정되지 않는" 또는 다른 유사한 표현과 같은 확장하는 단어 및 표현의 존재는 그러한 확장하는 표현이 존재하지 않을 수 있는 사례에서 더 좁은 예를 의도하거나 요구하는 것을 의미하는 것으로 해석되지 않아야 한다. 용어 "모듈"의 사용은 모듈의 일부로서 설명 또는 청구되는 컴포넌트 또는 기능이 모두가 공통 패키지 내에 구성된다는 것을 암시하지 않는다. 사실상, 모듈의 임의의 또는 모든 다양한 컴포넌트는 제어 논리 또는 다른 컴포넌트인지에 관계없이 단일 패키지 내에 구현되거나 개별적으로 유지될 수 있고, 또한 다수의 그룹핑 또는 패키지 내에 또는 다수의 위치에 걸쳐 분산될 수 있다.
또한, 여기서 설명되는 다양한 실시예는 예시적인 블록도, 흐름도 및 다른 예시와 관련하여 설명된다. 이 문서를 읽은 후에 이 분야의 통상의 기술자에게 명백해지는 바와 같이, 도시된 실시예 및 그의 다양한 대안은 도시된 예로 한정되지 않고서 구현될 수 있다. 예로서, 블록도 및 그의 관련 설명은 특정 구조 또는 구성을 요구하는 것으로 해석되지 않아야 한다.
본 발명의 다양한 실시예가 위에서 설명되었지만, 이들은 한정이 아니라 단지 예시적으로 제공되었다는 것을 이해해야 한다. 또한, 다양한 도면은 본 발명에 대한 예시적인 구조 또는 다른 구성을 나타낼 수 있으며, 이는 본 발명에 포함될 수 있는 특징 및 기능의 이해를 돕기 위해 행해진다. 본 발명은 도시된 예시적인 구조 또는 구성으로 한정되는 것이 아니라, 다양한 대안 구조 및 구성을 이용하여 원하는 특징이 구현될 수 있다. 사실상, 본 발명의 원하는 특징을 구현하기 위해 대안적인 기능, 논리 또는 물리적인 분할 및 구성이 어떻게 구현될 수 있는지가 이 분야의 기술자에게 명백할 것이다. 또한, 여기에 도시된 것이 아닌 다수의 다른 구성 모듈 이름이 다양한 분할에 적용될 수 있다. 또한, 흐름도, 동작 설명 및 방법 청구항과 관련하여, 여기서 단계가 제공되는 순서는 상황이 달리 지시하지 않는 한은 다양한 실시예가 언급된 기능을 동일 순서로 수행하도록 구현되어야 하는 것을 요구하지 않는다.
위에서 본 발명은 다양한 예시적인 실시 및 구현과 관련하여 설명되었지만, 하나 이상의 개별 실시예에서 설명되는 다양한 특징, 양태 및 기능은 그들이 설명되는 특정 실시예로 그들의 응용이 제한되는 것이 아니라, 본원의 하나 이상의 다른 실시예에 단독으로 또는 다양한 조합으로 적용될 수 있으며, 이는 그러한 실시예가 설명되는지의 여부에 관계없고, 그러한 특징이 설명되는 실시예의 일부인 것으로 설명되지는지의 여부에 관계없다는 것을 이해해야 한다. 따라서, 본원의 넓이 및 범위는 임의의 전술한 실시예에 의해 한정되지 않아야 한다.
본 문서에서 사용되는 용어 및 표현, 및 이들의 변형은 달리 명확히 언급되지 않는 한은 한정적인 것이 아니라 개방적인 것으로 해석되어야 한다. 위의 예로서, 용어 "포함하는"은 "한정 없이, 포함하는" 등을 의미하는 것으로 해석되어야 하고, 용어 "예"는 설명되는 아이템의 포괄적인 또는 제한적인 리스트가 아니라 그의 전형적인 사례를 제공하는 데 사용되고, 용어 "하나"는 "적어도 하나", "하나 이상" 등을 의미하는 것으로 해석되어야 하고, "통상적인", "전통적인", "정상적인", "표준", "공지된" 및 유사한 의미의 용어와 같은 형용사는 설명되는 아이템을 주어진 기간으로 또는 주어진 시간에 이용 가능한 아이템으로 한정하는 것으로 해석되는 것이 아니라, 현재 또는 미래의 임의 시간에 이용 가능하거나 알려질 수 있는 통상적인, 전통적인, 정상적인 또는 표준적인 기술을 포함하는 것으로 해석되어야 한다. 또한, 이 문서가 이 분야의 통상의 기술자에게 명백하거나 알려진 기술을 참조할 경우, 그러한 기술은 현재 또는 미래의 임의 시간에 기술자에게 명백하거나 알려지는 것을 포함한다.
일부 예에서 "하나 이상", "적어도", "그러나 한정되지 않는" 또는 다른 유사한 표현과 같은 확장하는 단어 및 표현의 존재는 그러한 확장하는 표현이 존재하지 않을 수 있는 사례에서 더 좁은 예를 의도하거나 요구하는 것을 의미하는 것으로 해석되지 않아야 한다. 용어 "모듈"의 사용은 모듈의 일부로서 설명 또는 청구되는 컴포넌트 또는 기능이 모두가 공통 패키지 내에 구성된다는 것을 암시하지 않는다. 사실상, 모듈의 임의의 또는 모든 다양한 컴포넌트는 제어 논리 또는 다른 컴포넌트인지에 관계없이 단일 패키지 내에 구현되거나 개별적으로 유지될 수 있고, 또한 다수의 그룹핑 또는 패키지 내에 또는 다수의 위치에 걸쳐 분산될 수 있다.
또한, 여기서 설명되는 다양한 실시예는 예시적인 블록도, 흐름도 및 다른 예시에 관해서 설명된다. 이 문서를 읽은 후에 이 분야의 통상의 기술자에게 명백해지는 바와 같이, 도시된 실시예 및 그의 다양한 대안은 도시된 예로 한정되지 않고서 구현될 수 있다. 예로서, 블록도 및 그의 관련 설명은 특정 구조 또는 구성을 요구하는 것으로 해석되지 않아야 한다.

Claims (52)

  1. 컴퓨터 판독 가능 기록 매체에서 소스 이미지를 수신하는 단계와,
    하나 이상의 프로세서가, 상기 소스 이미지의 각각의 픽셀의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의함으로써, 연속 동적 범위 이미지를 생성하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 연속 동적 범위 이미지를 생성하는 단계는 상기 하나 이상의 프로세서가 상기 최소 동적 범위 및 상기 최대 동적 범위에 대해 상기 소스 이미지를 등급화(grading)하는 단계를 더 포함하는
    방법.
  3. 제2항에 있어서,
    상기 소스 이미지는 비디오 프레임이고, 상기 연속 동적 범위 이미지는 연속 동적 범위 비디오 프레임인
    방법.
  4. 제3항에 있어서,
    상기 연속 함수는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 휘도 경로(lumipath)인
    방법.
  5. 제3항에 있어서,
    사용자가 상기 연속 함수를 정의 또는 수정하는 것을 가능하게 하는 그래픽 사용자 인터페이스를 디스플레이 상에 표시하는 단계를 더 포함하는
    방법.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서가 절단 다항식 급수(truncated polynomial series)를 이용하여 상기 연속 함수 각각을 근사화함으로써 상기 연속 동적 범위 이미지를 압축하는 단계를 더 포함하는
    방법.
  7. 제3항에 있어서,
    상기 하나 이상의 프로세서가 절단 다항식 급수를 이용하여 상기 연속 함수 각각을 근사화함으로써 상기 연속 동적 범위 비디오 프레임을 압축하는 단계를 더 포함하는
    방법.
  8. 제7항에 있어서,
    상기 다항식 급수는 체비셰프 다항식 급수(Chebyshev polynomial series)인
    방법.
  9. 제7항에 있어서,
    상기 절단 다항식 급수의 다항식 계수를 이미지 같은 포맷(image-like format)으로 표현하는 단계를 더 포함하는
    방법.
  10. 제9항에 있어서,
    비디오 코덱을 이용하여 상기 이미지 같은 포맷의 다항식 계수를 인코딩하는 단계를 더 포함하는
    방법.
  11. 제3항에 있어서,
    상기 최대 동적 범위는 각각의 타겟 디스플레이가 관련 동적 범위를 갖는 복수의 타겟 디스플레이의 최대 동적 범위에 대응하고, 상기 최소 동적 범위는 상기 복수의 타겟 디스플레이의 최소 동적 범위에 대응하는
    방법.
  12. 시스템으로서,
    하나 이상의 프로세서와,
    상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 동작가능하게 결합되고, 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 기록 매체를 포함하되,
    상기 명령어는 상기 적어도 하나의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금
    소스 이미지를 수신하고,
    소스 비디오 프레임의 각각의 픽셀의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의함으로써 연속 동적 범위 이미지를 생성하게 하는
    시스템.
  13. 제12항에 있어서,
    상기 소스 이미지는 비디오 프레임이고, 상기 연속 동적 범위 이미지는 연속 동적 범위 비디오 프레임인
    시스템.
  14. 제13항에 있어서,
    상기 연속 동적 범위 비디오 프레임을 생성하는 것은 상기 최소 동적 범위 및 상기 최대 동적 범위에 대해 상기 소스 비디오 프레임을 등급화하는 것을 포함하는
    시스템.
  15. 제14항에 있어서,
    상기 연속 함수는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 휘도 경로인
    시스템.
  16. 제13항에 있어서,
    디스플레이를 더 포함하되,
    상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금 사용자가 상기 연속 함수를 정의 또는 수정하는 것을 가능하게 하는 그래픽 사용자 인터페이스를 상기 디스플레이 상에 표시하게 하는
    시스템.
  17. 제13항에 있어서,
    상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금 절단 다항식 급수를 이용하여 상기 연속 함수 각각을 근사화함으로써 상기 연속 동적 범위 비디오 프레임을 압축하게 하는
    시스템.
  18. 제17항에 있어서,
    상기 다항식 급수는 체비셰프 다항식 급수인
    시스템.
  19. 연속 동적 범위 이미지 또는 비디오를 생성하기 위한 그래픽 사용자 인터페이스 방법으로서,
    컴퓨터 시스템의 하나 이상의 디스플레이 상에,
    이미지의 복수의 등급화 버전 - 상기 등급화 버전 각각은 상이한 동적 범위 디스플레이에 대해 등급화됨 - 과,
    상기 이미지의 제1 픽셀 세트의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의하는 연속 함수를 수정하기 위한 제어
    를 표시하는 단계와,
    상기 연속 함수를 수정하기 위한 상기 제어를 작동시키는 사용자 입력을 상기 컴퓨터 시스템에서 수신하는 단계와,
    상기 컴퓨터 시스템이 상기 연속 함수를 수정하기 위한 상기 제어를 작동시키는 상기 사용자 입력을 수신하는 것에 응답하여 상기 이미지의 상기 복수의 등급화 버전 각각의 수정 버전을 상기 하나 이상의 디스플레이 상에 표시하는 단계를 포함하는
    그래픽 사용자 인터페이스 방법.
  20. 제19항에 있어서,
    상기 이미지는 비디오에 대응하는 제1 비디오 프레임인
    그래픽 사용자 인터페이스 방법.
  21. 제19항에 있어서,
    상기 연속 함수는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 휘도 경로인
    그래픽 사용자 인터페이스 방법.
  22. 제19항에 있어서,
    상기 이미지의 상기 제1 픽셀 세트의 휘도를 정의하는 상기 연속 함수는 제1 사용자 선택 가능 마스크와 관련되고,
    상기 그래픽 사용자 인터페이스 방법은, 상기 제1 사용자 선택 가능 마스크를 표시하는 단계를 더 포함하는
    그래픽 사용자 인터페이스 방법.
  23. 제22항에 있어서,
    상기 이미지의 제2 픽셀 세트의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의하는 제2 연속 함수와 관련된 제2 마스크를 선택하는 사용자 입력을 상기 컴퓨터 시스템에서 수신하는 단계를 더 포함하는
    그래픽 사용자 인터페이스 방법.
  24. 제19항에 있어서,
    상기 이미지의 최대 등급 버전을 선택하고 상기 이미지의 최소 등급 버전을 선택하는 사용자 입력을 상기 컴퓨터 시스템에서 수신하는 단계를 더 포함하는
    그래픽 사용자 인터페이스 방법.
  25. 제20항에 있어서,
    상기 비디오에 대응하는 제2 비디오 프레임을 선택하는 사용자 입력을 상기 컴퓨터 시스템에서 수신하는 단계와,
    상기 컴퓨터 시스템이 제2 비디오 프레임을 선택하는 상기 사용자 입력을 수신하는 것에 응답하여 상기 하나 이상의 디스플레이로 하여금 상기 제2 비디오 프레임의 복수의 등급화 버전을 표시하게 하는 단계 - 상기 등급화 버전 각각은 상이한 동적 범위 디스플레이에 대해 등급화됨 - 를 더 포함하는
    그래픽 사용자 인터페이스 방법.
  26. 시스템으로서,
    디스플레이와,
    하나 이상의 프로세서와,
    상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 동작가능하게 결합되고, 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 기록 매체를 포함하되,
    상기 명령어는 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금
    상기 디스플레이 상에,
    이미지의 복수의 등급화 버전 - 상기 등급화 버전 각각은 상이한 동적 범위 디스플레이에 대해 등급화됨 - 과,
    상기 이미지의 제1 픽셀 세트의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의하는 연속 함수를 수정하기 위한 제어
    를 포함하는 그래픽 사용자 인터페이스를 표시하고,
    상기 연속 함수를 수정하기 위한 상기 제어를 작동시키는 사용자 입력에 대응하는 데이터를 수신하고,
    상기 연속 함수를 수정하기 위한 상기 제어를 작동시키는 상기 사용자 입력에 대응하는 상기 데이터를 수신하는 것에 응답하여 상기 이미지의 상기 복수의 등급화 버전 각각의 수정 버전을 상기 디스플레이 상에 표시하게 하는
    시스템.
  27. 제26항에 있어서,
    상기 연속 함수는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 휘도 경로인
    시스템.
  28. 제26항에 있어서,
    상기 이미지의 상기 제1 픽셀 세트의 휘도를 정의하는 상기 연속 함수는 제1 사용자 선택 가능 마스크와 관련되고, 상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금 상기 제1 사용자 선택 가능 마스크를 상기 디스플레이 상에 표시하게 하는
    시스템.
  29. 제28항에 있어서,
    상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금 상기 이미지의 제2 픽셀 세트의 휘도를 최소 동적 범위 및 최대 동적 범위에 기초하는 연속 함수로서 정의하는 제2 연속 함수와 관련된 제2 마스크를 선택하는 사용자 입력에 대응하는 데이터를 수신하게 하는
    시스템.
  30. 제26항에 있어서,
    상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금 상기 이미지의 최대 등급 버전을 선택하고 상기 이미지의 최소 등급 버전을 선택하는 사용자 입력에 대응하는 데이터를 수신하게 하는
    시스템.
  31. 제26항에 있어서,
    상기 이미지는 비디오에 대응하는 제1 비디오 프레임이고,
    상기 명령어는 또한 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때 상기 시스템으로 하여금,
    상기 비디오에 대응하는 제2 비디오 프레임을 선택하는 사용자 입력에 대응하는 데이터를 수신하고,
    제2 비디오 프레임을 선택하는 상기 사용자 입력에 대응하는 상기 데이터를 수신하는 것에 응답하여 상기 제2 비디오 프레임의 복수의 등급화 버전을 상기 디스플레이 상에 표시하게 하며, 상기 등급화 버전 각각은 상이한 동적 범위 디스플레이에 대해 등급화되는
    시스템.
  32. 연속 동적 범위 비디오를 압축 및 인코딩하는 방법으로서,
    비디오 프레임에 대응하는 최소 동적 범위 등급 이미지와,
    상기 비디오 프레임에 대응하는 최대 동적 범위 등급 이미지와,
    상기 비디오 프레임의 모든 픽셀에 대한 연속 동적 범위 함수를 포함하는 메타데이터
    를 수신하는 단계와,
    상기 연속 동적 범위 함수를 근사화하는 절단 다항식 급수의 계수 벡터를 이용하여 상기 연속 동적 범위 함수 각각을 표현하는 단계와,
    상기 계수 벡터를 이미지 포맷으로 표현하는 단계를 포함하는
    방법.
  33. 제32항에 있어서,
    상기 다항식 급수는 체비셰프 다항식 급수인
    방법.
  34. 제32항에 있어서,
    비디오 코덱을 이용하여 상기 계수 벡터의 상기 이미지 포맷 표현을 인코딩하는 단계를 더 포함하는
    방법.
  35. 제32항에 있어서,
    상기 최소 동적 범위 등급 이미지 및 상기 최대 동적 범위 등급 이미지를 상기 2개의 이미지 간의 중복성에 기초하여 공동으로 그리고 종속적으로 인코딩하는 단계를 더 포함하는
    방법.
  36. 복수의 비디오 프레임을 포함하는 연속 동적 범위 비디오를 배포하는 방법으로서,
    관련 디스플레이를 갖는 복수의 수신기 각각에,
    상기 복수의 비디오 프레임 각각의 최소 동적 범위 등급과,
    상기 복수의 비디오 프레임 각각의 최대 동적 범위 등급과,
    상기 복수의 비디오 프레임 각각의 픽셀의 휘도를 상기 최소 동적 범위와 최대 동적 범위 사이의 연속 함수의 근사화로서 정의하는 메타데이터 - 상기 연속 함수는 다항식 급수를 이용하여 근사화됨 -
    를 배포하는 단계를 포함하는
    방법.
  37. 제36항에 있어서,
    상기 연속 동적 범위 비디오는 무선 방송 텔레비전 신호, 위성 텔레비전 네트워크 신호 또는 케이블 텔레비전 네트워크 신호로서 상기 복수의 수신기로 전송되는
    방법.
  38. 제36항에 있어서,
    상기 연속 동적 범위 비디오는 콘텐츠 서버에 의해 컴퓨터 네트워크를 통해 상기 복수의 수신기로 전송되는
    방법.
  39. 제36항에 있어서,
    상기 연속 함수는 픽셀의 휘도 값을 타겟 디스플레이의 피크 휘도의 함수로서 표현하는 휘도 경로인
    방법.
  40. 제36항에 있어서,
    상기 최소 동적 범위 등급 및 상기 최대 동적 범위 등급은 공동으로 인코딩되는
    방법.
  41. 관련 동적 범위를 갖는 디스플레이 상의 표시를 위해 연속 동적 범위 이미지를 디코딩하는 방법으로서,
    이미지의 최소 동적 범위 등급 버전과,
    상기 이미지의 최대 동적 범위 등급 버전과,
    상기 이미지에 대응하는 연속 동적 범위 메타데이터
    를 포함하는 인코딩된 연속 동적 범위 이미지를 수신하는 단계와,
    코덱을 이용하여 상기 연속 동적 범위 이미지를 디코딩하는 단계와,
    상기 디코딩된 연속 동적 범위 이미지 및 상기 디스플레이의 동적 범위에 기초하여 상기 이미지의 특정 동적 범위 표현을 생성하는 단계를 포함하는
    방법.
  42. 제39항에 있어서,
    상기 이미지는 비디오 프레임에 대응하고, 상기 인코딩된 연속 동적 범위 이미지는 비디오 인코딩된 연속 동적 범위 비디오 프레임인
    방법.
  43. 제40항에 있어서,
    상기 수신된 비디오 인코딩된 최소 동적 범위 등급 이미지 및 최대 동적 범위 등급 이미지는 스케일링 가능 비디오 코딩 코덱에 기초하여 공동으로 인코딩되고, 상기 연속 동적 범위 비디오 프레임을 디코딩하는 단계는 상기 공동으로 인코딩된 이미지를 상기 스케일링 가능 비디오 코딩 코덱을 이용하여 디코딩하는 단계를 포함하는
    방법.
  44. 제39항에 있어서,
    상기 연속 동적 범위 메타데이터는 상기 최소 동적 범위와 최대 동적 범위 사이에서 상기 이미지의 픽셀의 휘도를 정의하는 연속 함수를 근사화하는 절단 다항식 급수의 계수로서 상기 픽셀의 휘도를 정의하는 메타데이터를 포함하는
    방법.
  45. 제42항에 있어서,
    상기 다항식 급수는 체비셰프 급수인
    방법.
  46. 제42항에 있어서,
    상기 연속 함수는 휘도 경로인
    방법.
  47. 시스템으로서,
    관련 동적 범위를 갖는 디스플레이와,
    하나 이상의 프로세서와,
    상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 동작가능하게 결합되고, 명령어가 저장된 하나 이상의 컴퓨터 판독 가능 기록 매체를 포함하되,
    상기 명령어는 상기 적어도 하나의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때, 수신기로 하여금
    이미지의 최소 동적 범위 등급 버전과,
    상기 이미지의 최대 동적 범위 등급 버전과,
    상기 이미지에 대응하는 연속 동적 범위 메타데이터
    를 포함하는 인코딩된 연속 동적 범위 이미지를 수신하고,
    상기 연속 동적 범위 이미지를 디코딩하고,
    상기 디스플레이의 상기 동적 범위에 기초하여 상기 이미지의 특정 동적 범위 표현을 생성하고,
    상기 이미지의 상기 특정 동적 범위 표현을 상기 디스플레이 상에 표시하게 하는
    시스템.
  48. 제45항에 있어서,
    상기 이미지는 비디오 프레임에 대응하고, 상기 인코딩된 연속 동적 범위 이미지는 비디오 인코딩된 연속 동적 범위 비디오 프레임인
    시스템.
  49. 제46항에 있어서,
    상기 수신된 비디오 인코딩된 최소 동적 범위 등급 이미지 및 최대 동적 범위 등급 이미지는 코덱을 이용하여 공동으로 그리고 종속적으로 인코딩되고, 상기 연속 동적 범위 비디오 프레임을 디코딩하는 것은 상기 공동으로 그리고 종속적으로 인코딩된 이미지를 상기 코덱을 이용하여 디코딩하는 것을 포함하는
    시스템.
  50. 제45항에 있어서,
    상기 연속 동적 범위 메타데이터는 상기 최소 동적 범위와 최대 동적 범위 사이에서 상기 이미지의 픽셀의 휘도를 정의하는 연속 함수를 근사화하는 절단 다항식 급수의 계수로서 상기 픽셀의 휘도를 정의하는 메타데이터를 포함하는
    시스템.
  51. 제48항에 있어서,
    상기 다항식 급수는 체비셰프 급수인
    시스템.
  52. 제48항에 있어서,
    상기 연속 함수는 휘도 경로인
    시스템.
KR1020160067142A 2015-06-01 2016-05-31 아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법 Active KR102630501B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562169465P 2015-06-01 2015-06-01
US62/169,465 2015-06-01
US14/861,587 US10349127B2 (en) 2015-06-01 2015-09-22 Methods for creating and distributing art-directable continuous dynamic range video
US14/861,587 2015-09-22

Publications (2)

Publication Number Publication Date
KR20160141663A true KR20160141663A (ko) 2016-12-09
KR102630501B1 KR102630501B1 (ko) 2024-01-26

Family

ID=57282180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067142A Active KR102630501B1 (ko) 2015-06-01 2016-05-31 아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법

Country Status (5)

Country Link
US (2) US10349127B2 (ko)
JP (1) JP6765222B2 (ko)
KR (1) KR102630501B1 (ko)
CN (1) CN106210769B (ko)
DE (1) DE102016209125A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093801A1 (ko) * 2017-11-13 2019-05-16 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
US12033301B2 (en) 2019-09-09 2024-07-09 Nvidia Corporation Video upsampling using one or more neural networks
US12327392B2 (en) 2019-12-06 2025-06-10 Dolby Laboratories Licensing Corporation User-guided image segmentation methods and products
TWI723683B (zh) * 2019-12-17 2021-04-01 瑞昱半導體股份有限公司 視訊介面轉換裝置及方法
US20220148256A1 (en) * 2020-11-11 2022-05-12 Nvidia Corporation Image blending using one or more neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123942A1 (en) * 2006-11-29 2008-05-29 Kwe International, Inc. Image processing including, but not limited to, logarithimic coding in color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values
WO2015008684A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903137B2 (en) * 2004-10-15 2011-03-08 Lifesize Communications, Inc. Videoconferencing echo cancellers
EP3197157B1 (en) * 2006-01-23 2021-12-15 Max-Planck-Gesellschaft zur Förderung der Wissenschaften E.V. High dynamic range codecs
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
RU2504011C2 (ru) * 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
US9049450B2 (en) * 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
JP6009538B2 (ja) 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像を符号化及び復号するための装置及び方法
CN106713697B (zh) * 2013-10-22 2019-02-12 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
EP2916319A1 (en) * 2014-03-07 2015-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding of information
US10542265B2 (en) * 2014-09-09 2020-01-21 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
MX360781B (es) * 2014-09-22 2018-11-16 Panasonic Ip Man Co Ltd Método de reproducción y aparato de reproducción.
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123942A1 (en) * 2006-11-29 2008-05-29 Kwe International, Inc. Image processing including, but not limited to, logarithimic coding in color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values
WO2015008684A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
WO2015072754A1 (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093801A1 (ko) * 2017-11-13 2019-05-16 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
US10349127B2 (en) 2019-07-09
CN106210769B (zh) 2020-01-31
US11140440B2 (en) 2021-10-05
CN106210769A (zh) 2016-12-07
US20160353164A1 (en) 2016-12-01
KR102630501B1 (ko) 2024-01-26
DE102016209125A1 (de) 2016-12-01
JP6765222B2 (ja) 2020-10-07
US20190261049A1 (en) 2019-08-22
JP2016225982A (ja) 2016-12-28

Similar Documents

Publication Publication Date Title
KR20160141663A (ko) 아트 디렉터블 연속 동적 범위 비디오를 생성 및 배포하기 위한 방법
Boyce et al. MPEG immersive video coding standard
EP3844962B1 (en) Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102783916B1 (ko) 텐서-곱 b-스플라인 예측 변수
US12243189B2 (en) Method to generate additional level of detail when zooming in on an image
US10692465B2 (en) Transitioning between video priority and graphics priority
US9042682B2 (en) Content creation using interpolation between content versions
US10192517B2 (en) Method of adapting a source image content to a target display
CN113228660A (zh) 增强的标准动态范围视频（sdr+）中的基于机器学习的动态合成
CN108885783A (zh) 编码和解码可逆制作质量单层视频信号
JP2019523578A (ja) ハイダイナミックレンジ画像のためのクロマ再構成
CN103460243A (zh) 使用直方图产生图像内容的替代版本
KR20250029222A (ko) 낮은 다이내믹 레인지 호환성을 갖는 높은 다이내믹 레인지 비디오 포맷
US10930017B1 (en) Image compression optimization
KR102531605B1 (ko) 하이브리드 블록 기반 압축
US20250148699A1 (en) Volumetric immersive experience with multiple views
HK1228149A1 (en) Methods for creating and distributing art-directable continuous dynamic range video
HK1228149B (zh) 用於产生和分配可艺术指导的连续动态范围视频的方法
RU2794137C1 (ru) Предсказатель b-сплайна тензорного произведения
CN115699178B (zh) 视频内容编辑方法、系统、介质和计算机程序产品
HK40090451A (zh) 图像合成方法、视频会议方法、设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160531

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210528

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160531

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230316

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231024

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240124

End annual number: 3

Start annual number: 1

PG1601 Publication of registration