KR20180089899A - 듀얼 대역 적응적 톤 맵핑 - Google Patents

듀얼 대역 적응적 톤 맵핑 Download PDF

Info

Publication number
KR20180089899A
KR20180089899A KR1020187013285A KR20187013285A KR20180089899A KR 20180089899 A KR20180089899 A KR 20180089899A KR 1020187013285 A KR1020187013285 A KR 1020187013285A KR 20187013285 A KR20187013285 A KR 20187013285A KR 20180089899 A KR20180089899 A KR 20180089899A
Authority
KR
South Korea
Prior art keywords
video
component
tone
tone mapping
video component
Prior art date
Application number
KR1020187013285A
Other languages
English (en)
Other versions
KR102632784B1 (ko
Inventor
리 타오
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180089899A publication Critical patent/KR20180089899A/ko
Application granted granted Critical
Publication of KR102632784B1 publication Critical patent/KR102632784B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Receiver Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 LTE(Long Term Evolution)와 같은 4G(4th-Generation) 통신 시스템보다 높은 데이터 레이트를 지원하기 위해 제공되는 pre-5G(5th-Generation) 또는 5G 통신 시스템에 관한 것이다. 비디오 톤 맵핑을 위한 방법, 장치 및 컴퓨터 판독 가능 매체. 상기 방법은 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분으로 처리하는 단계 및 제 1 비디오 성분에 톤 맵핑을 적용하는 단계를 포함한다. 상기 방법은 제 2 비디오 성분을 스케일링하는 단계를 더 포함한다. 이 방법은 톤 맵핑된 제 1 비디오 성분을 스케일링된 제 2 비디오 성분과 결합함으로써, 톤 맵핑된 비디오를 생성하는 단계를 더 포함한다.

Description

듀얼 대역 적응적 톤 맵핑
본 개시는 일반적으로 비디오 톤(video tone) 프로세싱에 관한 것이다. 보다 구체적으로, 본 개시는 듀얼 밴드(dual-band) 적응적 톤 맵핑에 관한 것이다.
4G 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 '비욘드(Beyond) 4G 네트워크' 또는 '포스트(Post) LTE 시스템'이라 불리어지고 있다.
높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역(예를 들어, 60GHz 대역)에서의 구현이 고려되고 있다. 무선파의 전파 손실을 줄이고 송신 거리를 늘리기 위해, 5G 통신 시스템에서는 빔 포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO, FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔 포밍(analog beam forming), 및 대규모 안테나(large scale antenna) 기술들이 논의되고 있다.
또한, 시스템 네트워크 개선을 위해, 5G 통신 시스템에서는 개선된 소형 셀(advanced small cell), 클라우드 무선 액세스 네트워크(cloud Radio Access Network, cloud RAN), 초고밀도 네트워크(ultra-dense network), D2D(device-to-device) 통신, 무선 백홀(wireless backhaul), 이동 네트워크, 협력 통신, CoMP(Coordinated Multi-Points), 및 수신단 간섭 제거 등의 기술 개발이 이루어지고 있다.
5G 시스템에서는, 진보된 코딩 변조(advanced coding modulation, ACM) 기술인 FQAM(Hybrid FSK and QAM Modulation) 및 SWSC(sliding window superposition coding)와, 진보된 액세스 기술인 FBMC(filter bank multi carrier), NOMA(non-orthogonal multiple access), 및 SCMA(sparse code multiple access) 등이 개발되고 있다.
스튜디오에서는, 사용자가 마스터링 모니터(mastering monitor)를 사용하여 마스터링된 비디오를 제작하고 원본 비디오의 휘도 또는 밝기 레벨을 최적화하거나 향상시킬 수 있다. 흔히 비디오를 마스터링하는데 사용되는 마스터링 모니터는 나중에 비디오가 표시되는 타겟 디스플레이의 것과 최고 휘도 또는 밝기 레벨이 다르다. 일반적으로, 마스터링 모니터의 최대 휘도 레벨은 타겟 디스플레이의 최대 휘도 레벨보다 훨씬 크다.
상기 정보는 본 개시의 이해를 돕기 위한 배경 정보로서만 제시된 것이다. 위의 사항들 중 어느 것이 본 개시와 관련하여 선행 기술로서 적용될 수 있는지에 관해서는 어떠한 결정도 내려지지 않았으며, 어떠한 주장도 이루어지지 않았다.
본 개시는 듀얼 대역 적응적 톤 맵핑을 제공한다.
일 실시 예에서, 비디오 톤 맵핑을 위한 방법이 제공된다. 상기 방법은 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분으로 처리하는 단계 및 제 1 비디오 성분에 대하여 톤 맵핑을 적용하는 단계를 포함한다. 상기 방법은 제 2 비디오 성분을 스케일링하는 단계를 더 포함한다. 또한, 상기 방법은 톤 맵핑된 제 1 비디오 성분을 스케일링된 제 2 비디오 성분과 결합함으로써 톤 맵핑된 비디오를 생성하는 단계를 포함한다.
다른 실시 예에서는, 비디오 톤 맵핑을 위한 장치가 제공된다. 상기 장치는 메모리 및 이 메모리에 동작 가능하게 연결된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분로 처리하고; 제 1 비디오 성분에 대하여 톤 맵핑을 적용하고; 제 2 비디오 성분을 스케일링하고; 톤 맵핑된 제 1 비디오 성분을 스케일링된 제 2 비디오 성분과 결합함으로써 톤 맵핑된 비디오를 생성하도록 구성된다.
또 다른 실시 예에서는, 비디오 톤 맵핑을 위한 비일시적 컴퓨터 판독 가능 매체가 제공된다. 상기 비일시적 컴퓨터 판독 가능 매체는 적어도 하나의 프로세서에 의해 실행될 시에, 상기 적어도 하나의 프로세서로 하여금 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분로 처리하고, 제 1 비디오 성분에 대하여 톤 맵핑을 적용하고, 제 2 비디오 성분을 스케일링하고, 톤 맵핑된 제 1 비디오 성분을 스케일링된 제 2 비디오 성분과 결합함으로써 톤 맵핑 비디오를 생성하게 하는 프로그램 코드를 포함한다.
다른 기술적 특징들은 다음의 도면들, 설명들 및 청구항들로부터 당업자에게 용이하게 명백해질 수 있다.
아래의 상세한 설명에 들어가기 전에, 본 특허 명세서 전체에 걸쳐 사용되는 특정 단어 및 어구들의 정의를 기재하는 것이 도움이 될 수 있다. 용어 "커플(couple)" 및 그 파생어는 두 개 이상의 요소 사이의 어떤 직접 또는 간접 통신을 나타내거나, 이들 요소가 서로 물리적으로 접촉하고 있는지의 여부를 나타낸다. 용어 "송신(transmit)", "수신(receive)" 및 "통신(communicate)" 그리고 그 파생어는 직접 통신 및 간접 통신 모두를 포함한다. 용어 "포함한다(include)" 및 "구성한다(comprise)" 그리고 그 파생어는 제한이 아닌 포함을 의미한다. 용어 "또는(or)"은 포괄적 용어로써, '및/또는'을 의미한다. 어구 "~와 관련되다(associated with)" 및 그 파생어는 ~을 포함한다(include), ~에 포함된다(be included within), ~와 결합하다(interconnect with), ~을 함유하다(contain), ~에 함유되어 있다(be contained within), ~에 연결한다(connect to or with), ~와 결합하다(couple to or with), ~ 전달한다(be communicable with), 와 협력하다(cooperate with), ~를 끼우다(interleave), ~을 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), 구속하다/구속되다(be bound to or with), 소유하다(have), 속성을 가지다(have a property of), ~와 관계를 가지다(have a relationship to or with) 등을 의미한다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 그 일부를 의미한다. 이러한 제어기는 하드웨어 또는 하드웨어와 소프트웨어의 조합 및/또는 펌웨어로 구현될 수 있다. 특정 제어기와 관련된 기능은 로컬 또는 원격으로 중앙 집중식으로 처리(centralized)되거나 또는 분산식으로 처리(distributed)될 수 있다. 어구 "적어도 하나"는, 그것이 항목들의 나열과 함께 사용될 경우, 나열된 항목들 중 하나 이상의 상이한 조합이 사용될 수 있음을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음의 조합, 즉 A, B, C, A와 B, A와 C, B와 C, 그리고 A와 B와 C 중 어느 하나를 포함한다.
또한, 후술하는 각종 기능들은 컴퓨터 판독 가능한 프로그램 코드로 형성되고 컴퓨터 판독 가능한 매체에서 구현되는 하나 이상의 컴퓨터 프로그램 각각에 의해 구현 또는 지원될 수 있다. 용어 "애플리케이션" 및 "프로그램"은 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령 세트, 프로시저, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 혹은 적합한 컴퓨터 판독 가능한 프로그램 코드에서의 구현용으로 구성된 그것의 일부를 지칭한다. 어구 "컴퓨터 판독 가능한 프로그램 코드"는 소스 코드, 오브젝트 코드, 및 실행 가능한 코드를 포함하는 컴퓨터 코드의 종류를 포함한다. 어구 "컴퓨터 판독 가능한 매체"는 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 혹은 임의의 다른 타입의 메모리와 같은, 컴퓨터에 의해 액세스될 수 있는 임의의 타입의 매체를 포함한다. "비-일시적인" 컴퓨터 판독 가능한 매체는 유선, 무선, 광학, 일시적인 전기적 또는 다른 신호들을 전달시키는 통신 링크를 제외한다. 비-일시적 컴퓨터 판독 가능한 매체는 데이터가 영구적으로 저장되는 매체 그리고 재기록이 가능한 광디스크 또는 소거 가능한 메모리 장치, 정적 RAM, 동적 RAM, 또는 플래시 메모리와 같은, 데이터가 저장되었다가 나중에 덮어 씌어지는 매체를 포함한다.
이하에서 설명되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 매체에 결합되는 프로세서에 의해 구현되거나 지원될 수 있다. 이와 같이, 프로세서는 하나 이상의 컴퓨터 프로그램에 의해 정의된 기능을 수행하기 위한 특수 목적 프로세서이다.
다른 특정 단어 및 어구에 대한 정의가 이 특허 명세서 전반에 걸쳐 제공된다. 당업자는 대부분의 경우가 아니더라도 다수의 경우에 있어서, 이러한 정의는 종래에 뿐만 아니라 그러한 정의된 단어 및 어구의 향후 사용에 적용될 수 있음을 이해해야 한다.
본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 이제 첨부 도면과 함께 취해지는 다음의 설명에 대한 참조가 이루어지며, 도면에서 유사한 참조 부호는 유사한 부분을 나타낸다.
도 1은 본 개시의 다양한 실시 예들이 구현될 수 있는 예시적인 컴퓨팅 시스템을 도시한 것이다.
도 2는 본 개시의 실시 예들에 따른 리마스터링될 수 있는 마스터링된 비디오를 생성하기 위한 시스템을 도시한 것이다.
도 3은 본 개시의 일 실시 예에 따른 듀얼 대역 적응적 톤 맵핑을 위한 예시적인 시스템을 도시한 것이다.
도 4는 본 개시의 일 실시 예에 따른 듀얼 대역 적응적 톤 맵핑을 위한 또 다른 예시적인 시스템을 도시한 것이다.
도 5는 본 개시의 일 실시 예에 따른 지각 이득 제어(PGC)를 갖는 듀얼 대역 적응적 톤 맵핑을 위한 예시적인 시스템을 도시한 것이다.
도 6a 내지 6c는 본 개시의 실시 예들에 따른 톤 맵핑 비와 PGC 파라미터 간의 예시적인 관계 그래프를 도시한 것이다.
도 7은 본 개시의 일 실시 예에 따른 타겟 디스플레이 상에 듀얼 밴드 적응적 톤 맵핑을 구현하기 위한 예시적인 시스템을 도시한 것이다.
도 8은 본 개시의 일 실시 예에 따른 타겟 디스플레이 상에 듀얼 밴드 적응적 톤 맵핑을 구현하기 위한 또 다른 예시적인 시스템을 도시한 것이다.
도 9는 본 개시의 일 실시 예에 따른 타겟 디스플레이 상에 PGC로 듀얼 밴드 적응적 톤 맵핑을 구현하기 위한 예시적인 시스템을 도시한 것이다.
도 10은 본 개시의 일 실시 예에 따른 비디오 톤 맵핑을 위한 예시적인 프로세스를 도시한 것이다.
도 11은 본 개시에 따른 예시적인 비디오 프로세싱 디바이스를 도시한 것이다.
이하에서 논의되는 도 1 내지 도 11 및 본 특허 문헌에서 본 개시의 원리를 설명하기 위해 사용되는 다양한 실시 예들은 단지 설명을 위한 것이며, 어떠한 방식으로도 본 개시의 범위를 제한하는 것으로 해석되어서는 안된다. 당업자는 본 개시의 원리가 임의의 적절히 배열된 비디오 프로세싱 시스템 또는 디바이스에서 구현될 수 있다는 것을 이해할 것이다.
본 개시의 실시 예들은 마스터링된 비디오의 최대 휘도 레벨보다 낮은 최대 휘도 레벨을 갖는 디스플레이 상에 마스터링된 비디오를 디스플레이하는 것이 비디오의 품질을 감소시킬 수 있다는 것을 인식한 것이다. 예를 들어, 타겟 디스플레이의 최대 휘도 레벨보다 큰 휘도 레벨을 갖는 마스터링된 비디오의 부분들은 클립(clip)되거나 타겟 디스플레이의 최대 휘도 레벨로 제한될 수가 있으며, 이에 따라 디스플레이되는 비디오의 휘도 값 범위를 제한하게 된다.
스튜디오가 M-니트(nit)의 최대 휘도 레벨을 갖는 마스터링 모니터를 이용하여 이미 영화를 마스터링한 예를 들면, 사용자는 마스터링된 비디오가 그것의 최고 휘도 레벨과는 상이한 타겟 디스플레이에 대한 N-니트(여기서, N<M)의 최고 휘도 레벨을 갖기를 원할 수 있다. 이러한 경우, 사용자는 최대 휘도 레벨 N-니트를 갖는 마스터링 모니터를 사용하여 원래의 비디오 파일을 리마스터링(remastering)할 필요가 있을 수 있다. 본 개시의 실시 예들은 이러한 프로세스가 시간이 많이 걸리고 비용이 많이 든다는 것을 인식한 것이다. 다른 예에서, 사용자는 이미 마스터링된 비디오를 사용하는 톤 맵핑(tone mapping) 방법을 사용하여, 더 높은 마스터링 모니터 휘도 레벨로부터 더 낮은 타겟 디스플레이 휘도 레벨로 다운 톤 맵핑하는 알고리즘 또는 소프트웨어를 가지고 톤 맵핑된 비디오를 생성할 수 있다. 본 개시의 실시 예들은 이 프로세스가 하이라이트된 객체 또는 장면의 채도와 같은 불만족스러운 결과를 생성할 수 있음을 인식한 것이다.
따라서, 본 개시의 다양한 실시 예들은 비디오를 2개 부분으로 분해하는 것에 의해 톤 맵핑된 비디오를 생성한다. 예를 들어, 이러한 2개 부분은 반사(reflectance) 및 조명(illumination) 성분들 또는 세부(detail) 및 비-세부(non-detail) 성분들을 나타낼 수 있다. 이 비디오 성분들 중 제 1 성분에는 톤 맵핑이 적용되고, 그 결과 생성된 톤 맵핑된 성분이 제 2 성분과 결합됨으로써 최종적인 톤 맵핑된 비디오를 형성한다. 하나 이상의 실시 예들에서는, 로컬 콘트라스트에 기초하는 적응적(adaptive) 톤 맵핑이, 하이라이트된 객체들 또는 장면들의 채도와 관련하여 개선된 비디오 품질을 제공하면서 비용을 감소시킬 수 있다.
하나 이상의 실시 예들은 디스플레이 디바이스 상에 개선된 이미지를 렌더링하도록 이미지를 처리하는 것에 관한 것이다. 일 실시 예에서, 방법은 컨텐츠를 리마스터링하는 것을 용이하게 하고 및/또는 HDR(high dynamic range) 디스플레이를 용이하게 하기 위해 이미지, 그래픽, 비디오 프레임, 비디오 장면 및/또는 전체 비디오(여기서는 총칭하여 "비디오"라고 지칭함)에 대한 하나 이상의 톤 맵핑 적용을 포함한다. 예를 들어, 상이한 휘도 피크 레벨들로의 HDR 리마스터링을 용이하게 할 수 있고/있거나 마스터링 모니터의 것과 상이한 휘도 피크 레벨을 가진 디스플레이에 대한 톤 맵핑을 용이하게 할 수 있는 하나 이상의 실시 예들이 본 명세서에 기재되어 있다. 본 명세서에 개시된 다양한 실시 예들은 단독으로 또는 조합하여 사용될 수 있다는 것이 이해될 것이다.
이하에서, 시스템 및 방법에 대하여 보다 상세하게 설명한다. 기호 p 및 q는 니 맵핑(knee mapping) 및/또는 혼합 맵핑(mixed mapping)과 관련하여, 각각 입력 휘도 및 타겟 맵핑 휘도를 나타내고, 기호 MF는 메타데이터와의 톤 맵핑과 관련하여 MaxFALL(최대 프레임 평균 휘도 레벨)을 나타내고, 기호 T, T1 및 T2는 비율 테스트와 관련하여 2개의 상이한 톤 맵핑 결과의 미리 결정된 콘트라스트 비를 나타낸다.
도 1은 본 개시의 다양한 실시 예들이 구현될 수 있는 예시적인 컴퓨팅 시스템 100을 도시한 것이다. 도 1에 나타낸 컴퓨팅 시스템 100의 실시 예는 단지 예시를 위한 것이다. 컴퓨팅 시스템 100의 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 1에 나타낸 바와 같이, 시스템 100은 하나 이상의 통신 채널들을 통해 시스템 100 내의 다양한 구성 요소들 간의 통신을 용이하게 하는 네트워크 102를 포함한다. 네트워크 102는 인터넷 프로토콜(IP) 패킷들, 프레임 릴레이 프레임들 또는 네트워크 어드레스들 간의 다른 정보를 통신할 수 있다. 네트워크 102는 다음과 같은 하나 이상의 근거리 통신망(local area network, LAN)들을 포함할 수 있다: 도시권 통신망(metropolitan area network, MAN)들; 광역망(wide area network, WAN)들; 인터넷과 같은 글로벌 네트워크의 전체 또는 일부; 또는 하나 이상의 위치들에 있는 임의의 다른 통신 시스템 또는 시스템들.
다양한 실시 예들에서, 네트워크 102는 비디오 데이터(예를 들어, 비디오 컨텐츠, 오디오 컨텐츠 및 메타데이터를 포함하는 비디오 파일들)를 클라이언트 디바이스들 106 내지 115에게 통신하기 위한 브로드캐스트 및 광대역 네트워크들 및 통신 채널들을 포함한다. 케이블 및 위성 통신 링크들과 같은 네트워크 102의 브로드캐스팅 요소들은 비디오 데이터의 브로드캐스트를 클라이언트 디바이스들 106 내지 115에게 제공한다. 네트워크 102의 광대역 요소들, 인터넷, 무선, 유선 및 광섬유 네트워크 링크들 및 디바이스들은 비디오 데이터의 스트리밍 및 다운로드를 제공한다.
네트워크 102는 하나 이상의 서버들 104와 다양한 클라이언트 디바이스들 106 내지 115 사이의 통신들을 용이하게 한다. 서버들 104 각각은 하나 이상의 클라이언트 디바이스들에게 컴퓨팅 서비스들을 제공할 수 있는 임의의 적절한 컴퓨팅 또는 프로세싱 디바이스를 포함한다. 서버들 104 각각은 예를 들어 하나 이상의 프로세싱 디바이스들, 명령들 및 데이터를 저장하는 하나 이상의 메모리들, 및 네트워크 102를 통한 통신을 용이하게 하는 하나 이상의 네트워크 인터페이스들을 포함할 수 있다. 예를 들어, 서버들 104 중의 하나 이상의 것은 아래에서 더 상세히 논의되는 바와 같이, 비디오를 마스터링하거나 듀얼 밴드 적응적 톤 맵핑하기 위한 프로세싱 회로를 포함할 수 있다.
각각의 클라이언트 디바이스 106 내지 115는 네트워크 102를 통해 적어도 하나의 서버 또는 다른 컴퓨팅 디바이스(들)와 상호 작용하는 임의의 적절한 컴퓨팅 또는 프로세싱 디바이스를 나타낸다. 아래에서 더 상세히 논의되는 바와 같이, 클라이언트 디바이스들 106 내지 115는 비디오(예를 들어, 톤 맵핑될 마스터링된 비디오 파일 또는 디스플레이될 톤 맵핑된 비디오 파일)를 수신하며, 듀얼 밴드 적응적 톤 맵핑을 위한 프로세싱 회로를 포함할 수 있다. 클라이언트 디바이스들 106 내지 115 각각은 톤 맵핑된 비디오의 디스플레이를 위한 디스플레이 디바이스를 포함하거나 이에 연결된다. 이 예에서, 클라이언트 디바이스들 106 내지 115는 컴퓨터 106, 이동 전화 또는 스마트폰 108, 개인 휴대 정보 단말기(PDA) 110, 랩톱 컴퓨터 112, 태블릿 컴퓨터 114; 및 셋탑 박스 및/또는 텔레비전 115를 포함한다. 그러나, 임의의 다른 또는 추가 클라이언트 디바이스들이 통신 시스템 100에서 사용될 수 있다. 이 예에서, 일부 클라이언트 디바이스들 108 내지 114는 네트워크 102와 간접적으로 통신한다. 예를 들어, 클라이언트 디바이스들 108 내지 110은 셀룰러 기지국들 또는 eNodeB들과 같은 하나 이상의 기지국들 116을 통해 통신한다. 또한, 클라이언트 디바이스들 112 내지 115는 IEEE 802.11 무선 액세스 포인트들과 같은 하나 이상의 무선 액세스 포인트들 118을 통해 통신한다. 이들은 단지 예시를 위한 것이며, 각 클라이언트 디바이스는 임의의 적절한 중간 디바이스(들) 또는 네트워크(들)를 통해 네트워크 102와 직접 통신하거나 네트워크 102와 간접적으로 통신할 수 있음에 유의한다. 예를 들어, 일부 실시 예들에서, 마스터링된 비디오 파일은 네트워크 102 내의 유선 또는 무선 통신 링크 대신에 컴퓨터 판독 가능한 매체 상의 클라이언트 디바이스들 106 내지 115 중의 하나 이상의 것에 의해 수신될 수도 있다.
도 1이 통신 시스템 100의 일 예를 도시하지만, 다양한 변경들이 도 1에 대하여 이루어질 수 있다. 예를 들어, 시스템 100은 임의의 적절한 배치로 임의의 수의 각 구성 요소를 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 다양한 구성들로 제공되며, 도 1은 본 개시의 범위를 임의의 특정 구성으로 제한하지 않는다. 도 1이 이 특허 문헌에 개시된 다양한 특징들이 사용될 수 있는 하나의 동작 환경을 도시하지만, 이들 특징들은 임의의 다른 적절한 시스템에서 사용될 수 있다.
다양한 실시 예들에 따르면, 장치는 메모리, 및 메모리에 동작 가능하게 연결된 적어도 하나의 프로세서를 포함한다. 적어도 하나의 프로세서는, 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분으로 처리하고, 제 1 비디오 성분에 대하여 톤 맵핑을 적용하고, 제 2 비디오 성분을 스케일링하고, 스케일링된 제 2 비디오 성분과 톤 맵핑된 제 1 비디오 성분을 결합시킴으로써 톤 맵핑된 비디오를 생성하도록 구성된다.
다양한 실시 예들에 따르면, 제 1 비디오 성분은 조명 성분이며, 적어도 하나의 프로세서는 비디오 데이터를 저역 통과 필터링하여 조명 성분을 생성하도록 구성된다.
다양한 실시 예들에 따르면, 제 2 비디오 성분은 반사 성분이며, 적어도 하나의 프로세서는 반사 성분을 생성하기 위해 비디오 데이터로부터 제 1 비디오 성분을 차감하는 것, 비디오 데이터를 제 1 비디오 성분으로 나누는 것 중의 하나를 수행하도록 구성된다.
다양한 실시 예들에 따르면, 적어도 하나의 프로세서는 제 1 성분 및 톤 맵핑된 제 1 성분에 기초하여 스케일링 팩터를 결정하고; 결정된 스케일링 팩터에 기초하여 스케일링된 제 2 비디오 성분을 결정하도록 구성된다.
다양한 실시 예들에 따르면, 스케일링 팩터는 제 1 성분과 톤 맵핑된 제 1 성분의 비율에 기초한다.
다양한 실시 예들에 따르면, 제 2 비디오 성분의 스케일링은 지각 이득 제어(perception gain control, PGC) 처리를 적용하는 것에 대응한다.
다양한 실시 예들에 따르면, 비디오 데이터는 마스터링된 비디오로부터의 데이터이고, 제 2 비디오 성분은 제 1 비디오 성분과의 결합 이전에는 톤 맵핑되지 않으며, 또한 상기 톤 맵핑은 프레임 단위로 제 1 비디오 성분에 적용된다.
다양한 실시 예들에 따르면, 적어도 하나의 프로세서는 비디오 데이터와 관련된 메타데이터를 식별하고, 상기 메타데이터에 기초하여 비디오 데이터에 대한 최대 휘도 값을 식별하고, 비디오 데이터에 대한 최대 휘도 값과 타겟 디스플레이와 관련된 톤 맵핑 기준의 비교에 기초하여 비디오 데이터에 톤 맵핑을 적용할지 여부를 결정하도록 구성된다.
다양한 실시 예들에 따르면, 장치는 생성된 톤 맵핑된 비디오를 디스플레이하도록 구성된 디스플레이를 더 포함하며, 상기 장치는 텔레비전, 모니터, 랩톱 컴퓨터, 태블릿 컴퓨터 및 이동 전화 중의 하나이다.
다양한 실시 예들에 따르면, 적어도 하나의 프로세서에 의해 실행될 시에, 적어도 하나의 프로세서로 하여금, 비디오 데이터를 제 1 비디오 성분 및 제 2 성분으로 처리하고, 제 1 비디오 성분에 대하여 톤 맵핑을 적용하고, 제 2 비디오 성분을 스케일링하고, 스케일링된 제 2 비디오 성분과 톤 맵핑된 제 1 비디오 성분을 결합함으로써 톤 맵핑된 비디오를 생성하게 하는 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체가 제공된다.
다양한 실시 예들에 따르면, 제 1 비디오 성분은 조명 성분이며, 적어도 하나의 프로세서에 의해 실행될 시에, 적어도 하나의 프로세서로 하여금 비디오 데이터를 조명 성분으로 처리하게 하는 프로그램 코드는, 적어도 하나의 프로세서에 의해 실행될 시에, 적어도 하나의 프로세서로 하여금 비디오 데이터를 저역 통과 필터링하여 조명 성분을 생성하게 하는 프로그램 코드이다.
도 2는 본 개시의 실시 예들에 따른 리마스터링될 수 있는 마스터링된 비디오를 생성하기 위한 시스템 200을 도시한 것이다. 도 2에 나타낸 마스터링된 비디오 생성 시스템 200의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다. 예를 들어, 시스템 200은 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115에 의해 구현될 수도 있다.
수동 마스터링 블록 205 동안, 입력 마스터 비디오 파일 F는 컬러 그레이딩 모듈 210을 사용하여 그레이딩될 수 있다. 출력들로서, 컬러 그레이딩 모듈 210은 양자화기 Qn 215 및 메타데이터 추출 모듈 220에 대한 입력으로서 공급되는 마스터링된 비디오 파일 fM을 제공한다. 양자화기 Qn 215는 마스터링된 파일 fM을 양자화하여 n-비트 양자화되어있는 마스터링된 비디오 파일 Qn(fM)을 생성한다. 비디오 파일 f의 관련된 최대 휘도 레벨은 Lmax 니트이다. 양자화기 Qn 215는 미리 결정된 양자화 곡선을 이용하여 f를 2n 레벨들(즉, n-비트 길이의 바이너리 코드)로 양자화한다.
메타데이터 추출 모듈 220은 마스터링된 비디오 파일, 예를 들어, 마스터링 모니터 225의 최대 휘도 레벨(M), 최대 컨텐츠 휘도 레벨(MaxCLL) 또는 밝기, MaxFALL, 또는 마스터링된 비디오 파일에 대한 다른 속성들에 관한 메타데이터를 생성한다. 파일들 fM 및 Qn(fM) 그리고 마스터링된 비디오와 관련된 메타데이터는 타겟 디스플레이 디바이스(예를 들어, 클라이언트 디바이스들 106 내지 115 중의 하나)에 의해 전송된 후에 디스플레이하기 위해 (예를 들어, 후술되는 도 9의 스토리지들 915와 같은) 저장 디바이스에 저장된다.
마스터링 모니터 225는 마스터링 모니터 225 상에 비디오를 디스플레이하기 위해 양자화되어 있는 마스터링된 비디오 파일을 역-양자화한다. 역-양자화 Qn-1은 양자화기 Qn 215의 양자화 연산의 역 연산이다. 마스터링된 비디오를 디스플레이함으로써, 마스터링 모니터 225는 수동 마스터링 블록 205에 대한 연속적 또는 반복적인 컬러 톤들의 조정을 위한 시각적 피드백을 제공한다. 그러나, 마스터링 모니터 225는 타겟 디스플레이 디바이스(예를 들어, 소비자-그레이드 텔레비전 세트, 프로젝터, 이동 전화 등)에서 이용 가능한 콘트라스트(예를 들어, 최대 휘도 레벨 N을 가짐(M>N))와 비교하여 매우 높은 콘트라스트(예를 들어, 최대 휘도 레벨 M을 가짐)를 가질 수 있다. 그 결과, 마스터링 모니터 225 상에 디스플레이되는 마스터링된 비디오는 타겟 디스플레이 디바이스 상에 디스플레이된 것과 상이하게 보일 수 있다. 예를 들어, 마스터링 모니터 225는 통상의 가정용 텔레비전 세트보다 밝은 이미지들을 디스플레이할 수 있기 때문에, 가정용 텔레비전 세트 상에서 디스플레이되는 마스터링된 비디오의 밝은 부분들이 클립될 수 있고, 이에 따라 이미지 세부 사항들이 손실될 수 있다. 예를 들어, 타겟 디스플레이의 최대 휘도 레벨보다 높은 휘도 레벨들을 갖는 마스터링된 비디오 내의 부분들이 모두 동일한 휘도 레벨로(즉, 타겟 디스플레이의 최대 휘도 레벨로) 디스플레이될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 듀얼 밴드 적응적 톤 맵핑을 위한 다른 예시적인 시스템 300을 도시한 것이다. 시스템 300은 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115에 의해 구현될 수 있다. 예를 들어, 서버 104 또는 클라이언트 디바이스들 106 내지 115 중의 임의의 것은 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fM N 으로 변환하기 위해 본 명세서에 논의되는 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 다른 예에서, 클라이언트 디바이스들 106 내지 115는 서버 104로부터 마스터링된 비디오 파일 fM을 수신할 수 있고, 수신된 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fM N으로 변환하기 위해 본 명세서에 논의되는 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 3의 듀얼 밴드 적응적 톤 맵핑 시스템 300의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 300은, 높은 콘트라스트 비디오를 리마스터링하기 위해 또는 더 낮은 콘트라스트 디스플레이들 상에서 디스플레이하도록 높은 콘트라스트 비디오를 적응시키기 위해, 적응적 톤 맵핑을 적용하는 적응적 톤 맵핑 시스템이다. 예를 들어, 비디오는 전술한 시스템 200에 의해 구현되는 바와 같은 마스터링 프로세스를 사용하여 마스터링되었던 마스터링된 비디오 파일 fM일 수 있다. 다른 예에서, 비디오 파일 fM은 톤 맵핑된 비디오 파일 fM N이 디스플레이를 위해 의도되는 타겟 디스플레이의 최대 휘도 레벨보다 높은 최대 휘도 레벨을 갖는 임의의 비디오일 수 있다.
이 예시적인 실시 예에서, 시스템 300은 반사 및 조명 분해 블록 305, 톤 맵핑 블록 310 및 합성 블록 315를 포함한다. 반사 및 조명 분해 블록 305는 수신된 비디오 파일을 반사 및 조명 비디오 성분들로 분해한다. 이 예시적인 실시 예에서, 이 2개의 비디오 성분 부분은 비디오의 반사 및 조명 성분들에 대응한다. 예를 들어, 반사 및 조명 성분들은 예를 들어 퐁(Phong) 조명 모델 또는 쿡(Cook) 및 토랜스(Torrance) 조명 모델과 같은 반사 및 조명 모델에 기초할 수 있으며, 이에 한정되지 않는다. 아래에서 더 상세하게 논의되는 바와 같이, 반사 및 조명 분해 블록 305는 수신된 비디오의 저역(또는 고역) 통과 필터링된 버전을 취하고, 원본 비디오로부터 필터링된 버전을 차감(또는 나눔)하는 비디오 분해를 수행함으로써 각각의 반사 및 조명 비디오 성분들을 생성시킬 수 있다.
톤 맵핑 블록 310은 조명 비디오 성분을 톤 맵핑하여 톤 맵핑된 비디오 yL을 생성한다. 예를 들어, 톤 맵핑된 비디오 yL는 마스터링 모니터 225와 관련된 최대 휘도 M으로부터 클라이언트 디바이스들 106 내지 115 중 하나와 관련된 디스플레이와 같은 의도된 타겟 디스플레이와 관련된 최대 휘도 N까지 다운 톤 맵핑되는 비디오이다. 톤 맵핑 블록 310은 예를 들어 낮은 톤 맵핑, 높은 톤 맵핑, 로컬 콘트라스트에 기초하는 적응적 톤 맵핑, 분배-포인트-기반(distribution-point-based) 적응적 톤 맵핑, 토널-존(tonal-zone) 적응적 톤 맵핑 등을 포함하며 이에 한정되지 않는 임의의 수의 비디오 톤 맵핑 기술들을 사용하여 조명 비디오 성분을 톤 맵핑할 수 있다. 비디오 톤 맵핑 기술들의 추가 세부 정보 및 예들은 발명의 명칭이 "Tonal-Zone Adaptive Tone Mapping"이고 _____________에 출원된 미국 특허출원 번호 제_________ (Attorney Docket No. DMS15-VA05), 발명의 명칭이 "Distribution-Point-Based Adaptive Tone Mapping"이고 2015년 12월 31자로 출원된 미국 특허출원 번호 제_________ (Attorney Docket No. DMS15-VA10), 발명의 명칭이 "Adaptive Tone Mapping Based on Local Contrast"이고 2015년 12월 31자로 출원된 미국 특허출원 번호 제_________ (Attorney Docket No. DMS15-VA11)에서 확인할 수 있으며, 이들 문헌 각각은 참조로서 본 명세서에 포함된다.
합성 블록(composition block) 315는 톤 맵핑 블록 310으로부터 출력되는 톤 맵핑된 비디오 yL와 반사 성분을 결합하여, 출력으로서 톤 맵핑된 비디오 파일 fMN을 생성한다. 예를 들어, 아래에서 더 상세히 논의되는 바와 같이, 합성 블록 315는 각각의 출력들을 합하거나 곱하여, 의도된 타겟 디스플레이의 최대 휘도 N 내에 있는 Lmax를 갖는 톤 맵핑된 비디오 파일 fMN을 생성할 수 있다.
수신된 비디오 파일을 조명 및 반사 성분들로 분해하고 조명 성분만을 톤 맵핑함으로써, 시스템 300은 비디오 품질을 보존하면서 더 낮은 콘트라스트 디스플레이를 표시하기 위해 비디오를 효과적으로 톤 맵핑할 수 있다. 예를 들어, 시스템 300은 비디오의 반사 성분이 의도된 타겟 디스플레이의 최대 휘도 N을 초과하지 않을 것이라고 가정한다. 시스템 300은, 이 부분을 톤 맵핑하지 않고 의도된 타겟 디스플레이의 최대 휘도 N을 초과하는 휘도를 가질 가능성이 높은 비디오 성분만을 톤 맵핑함으로써, 비디오의 반사 성분의 세부 사항 및 품질을 보존할 수 있다.
하나 이상의 실시 예들에서, 시스템 300은 이러한 톤 맵핑 기술들을 수신된 비디오 파일에 적용할지 여부에 대한 초기 선택을 행할 수 있다. 예를 들어, 시스템 300은 HDR 톤 맵핑이 항시적으로 톤 맵핑을 적용하는 대신에, 적용되어야 하는지의 여부를 결정할 수 있다. 일 예에서, 시스템 300은 (예를 들어, 비디오의 메타데이터에 액세스함으로써) 수신된 비디오의 Lmax을 식별하고, Lmax와 적어도 하나의 톤 맵핑 기준을 비교할 수 있다. 예를 들어, 이 톤 맵핑 기준은, 선택적 추가 오프셋을 더한 (예를 들어, 타겟 디스플레이의 펌웨어에 저장된 메타데이터를 사용하여 식별되는) 타겟 디스플레이의 최대 휘도 N보다 큰 Lmax일 수 있다. 그 후에, 톤 맵핑 기준을 만족시키는 것에 대한 응답으로, 시스템 300은 본 명세서에서 논의된 바와 같은 대응하는 톤 맵핑 기술들을 적용하는 것으로 결정한다.
도 4는 본 개시의 일 실시 예에 따른 듀얼 밴드 적응적 톤 맵핑을 위한 다른 예시적인 시스템 400을 도시한 것이다. 시스템 400은 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115에 의해 구현될 수 있다. 예를 들어, 서버 104 또는 클라이언트 디바이스들 106 내지 115 중 임의의 것이 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fMN으로 변환하기 위해 본 명세서에서 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 다른 예에서는, 클라이언트 디바이스들 106 내지 115이 서버 104로부터 마스터링된 비디오 파일 fM을 수신할 수 있으며, 수신된 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fMN으로 변환하기 위해 본 명세서에서 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 4에 나타낸 듀얼 밴드 적응적 톤 맵핑 시스템 400의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 400은, 수신된 비디오 파일을 세부 성분들 및 비-세부 성분들로 대안적으로 분해하는 도 3의 시스템 300의 예시적인 실시 예이다. 이 예시적인 실시 예에서, 저역 통과 필터(LPF) 블록 405는 수신된 비디오를 저역 통과 필터링하여, 비-세부 성분 xavg를 형성한다. 분해 블록 410은 수신된 비디오로부터 비-세부 성분 xavg를 차감하거나 분할하여, 세부 성분 xd를 형성한다. 따라서, 이 예시적인 실시 예에서는, 저역 통과 필터(LPF) 블록 405 및 분해 블록 410이 도 3으로부터 반사 및 조명 분해 블록 305를 형성한다.
전술한 바와 같이, 톤 맵핑 블록 310은 비-세부 성분 xavg 를 톤 맵핑하여 톤 맵핑된 비디오 yL을 생성한다. 합성 블록 315는 톤 맵핑 블록 310으로부터 출력되는 톤 맵핑된 비디오 yL과 세부 성분 xd를 결합하여, 출력으로서 톤 맵핑된 비디오 파일 fMN을 생성한다. 예를 들어, 합성 블록 315는 아래의 수학식 1 및 식 2에 따라 비디오 성분들을 결합시킬 수 있다.
Figure pct00001
Figure pct00002
여기서, 시스템 400은 각각의 출력들을 합하거나 곱하여, 의도된 타겟 디스플레이의 최대 휘도 N 내에 있는 Lmax를 갖는 톤 맵핑된 비디오 파일 fMN을 생성한다.
도 5는 본 개시의 일 실시 예에 따른 PGC를 이용한 듀얼 밴드 적응적 톤 맵핑을 위한 예시적인 시스템 500을 도시한 것이다. 시스템 500은 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115에 의해 구현될 수 있다. 예를 들어, 서버 104 또는 클라이언트 디바이스들 106 내지 115 중의 임의의 것이 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fMN으로 변환하기 위해 본 명세서에 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 다른 예에서는, 클라이언트 디바이스들 106 내지 115가 서버 104로부터 마스터링된 비디오 파일 fM을 수신할 수 있으며, 수신되어진 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fMN으로 변환하기 위해 본 명세서에서 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 5에 나타낸 듀얼 밴드 적응적 톤 맵핑 시스템 500의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 500은 도 4의 시스템 400의 예시적인 실시 예이며, PGC 처리가 비디오의 세부(또는 반사) 성분에 적용된다. 이 예시적인 예에서, 시스템 500은 비-세부 성분 xavg에 적용되는 톤 맵핑에 의해 야기될 수 있는 상이한 지각 레벨(perception level)들을 보상하도록 비디오의 세부 성분을 조정하는 PGC 블록 505를 포함한다. 즉, PGC 블록 505는 산출된 PGC 파라미터 α를 사용하여 비-세부 성분 xavg에 적용되는 톤 맵핑에 따라 세부 성분 xd를 스케일링한다. PGC 블록 505의 예시적인 실시 예들은 도 6a 내지 도 6c와 관련하여 더 상세히 설명된다.
또한, 도 6a 내지 도 6c는 본 개시의 실시 예들에 따른 톤 맵핑 비와 PGC 파라미터 α 사이의 예시적 관계 그래프 600A 내지 600C를 도시한 것이다. 도 6a 내지 도 6c에 나타낸 관계 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
도 6a는 톤 맵핑 비 xavg/yL와, PGC 파라미터 α(예를 들어, αm 및 αM) 각각에 대해 최소값 및 최대값을 적용하는 톤 맵핑 비들에 대한 임계값 T1 및 T2를 갖는 PGC 파라미터 α 사이의 선형 관계 600A를 도시한 것이다. 이 예들에서, αm 및 αM은 세부 성분 xd에 PGC 처리를 적용하기 위해 미리 결정된 상수 값이다. 톤 맵핑 비 xavg/yL는 톤 맵핑 블록 310에 의해 적용되는 톤 맵핑의 비교를 위한 비율, 즉 톤 맵핑 블록 310의 출력에 대한 입력의 비율이다. 예를 들어, 하나 이상의 실시 예들에서, PGC 블록 505는 톤 맵핑 블록 310의 입력 xavg 및 출력 yL을 수신하고, 도 6a 내지 6c에 도시된 예시적 관계들 중의 하나에 따르는 xavg 및 yL의 함수로서 PGC 파라미터 α를 계산한다. 도 6b는 톤 맵핑 비 xavg/yL와 PGC 파라미터 α 사이의 비선형 관계 600B를 도시한 것이다. 도 6c는 톤 맵핑 비 xavg/yL와, PGC 파라미터 α(예를 들어, αm 및 αM)에 대해 각각 최소값 및 최대값을 적용하는 것을 전환하는 톤 맵핑 비의 임계값 T를 갖는 PGC 파라미터 α 사이의 계단 함수(step-function) 관계 600C를 도시한 것이다. 예를 들어, 임계값 T는 세부 성분 xd에 PGC를 적용할지 여부에 대한 결정과 관련될 수 있다.
PGC 파라미터 α의 계산 후에, PGC 블록 505은 합성 블록 315에 의한 결합을 위해서 세부 성분 xd에 PGC 파라미터 α를 적용한다. 예를 들어, 합성 블록 315는 아래의 수학식 3 및 4에 따라 PGC 파라미터 α를 사용하여 비디오 성분들을 결합할 수 있다.
Figure pct00003
Figure pct00004
여기서, 시스템 400은 의도된 타겟 디스플레이의 최대 휘도 N 내에 있는 Lmax를 갖는 톤 맵핑된 비디오 파일 fM N을 생성하기 위해 각각의 출력들을 합하거나 곱한다.
다른 예시적인 실시 예들에서는, 시스템 500이 세부 성분의 하나 이상의 영역들에 PGC 처리를 선택적으로 적용할 수 있다. 예를 들어, PGC 블록 505는 비디오 프레임의 부분들에 대한 톤 맵핑 적용의 분석을 수행하여 비디오 프레임의 하나 이상의 영역들을 결정함으로써 PGC 처리를 적용할 수 있다. 이 분석은 비-세부 성분의 특정 영역들에 적용되는 톤 맵핑의 양에 기초할 수 있다. 예를 들어, 시스템 500은 비디오의 프레임들의 특정 영역들에만 PGC 처리를 적용하거나 또는 임계값 T를 초과하는 톤 맵핑이 적용되었던 비디오의 세부 성분 프레임들의 특정 영역들에 PGC 처리를 적용할 수 있다. 다른 예에서, 세부 성분 비디오 프레임의 상이한 부분들은 상이한 파라미터 α의 값들이 적용될 수 있다. 다양한 실시 예들에서, PGC 블록 505는 전체 비디오 파일, 임의의 다른 적절한 양의 비디오 또는 단일 이미지에 대해 프레임 단위, 장면 단위로 PGC 처리를 적용할 수 있다. 하나의 예시적인 예에서, PGC 처리는 전체 프레임에 대한 파라미터 α의 단일 값을 사용하여 프레임 단위로 적용될 수 있다.
도 7은 본 개시의 일 실시 예에 다른 타겟 디스플레이 705 상에 듀얼 밴드 적응적 톤 맵핑을 구현하기 위한 예시적인 시스템 700을 도시한 것이다. 시스템 700은 도 1의 클라이언트 디바이스들 106 내지 115 중의 임의의 하나에 의해 구현될 수 있다. 예를 들어, 클라이언트 디바이스들 106 내지 115 중의 임의의 것이 마스터링된 비디오 파일 fM를 톤 맵핑된 비디오 파일 fMN으로 변환하기 위해 본 명세서에서 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 7에서 나타낸 시스템 700의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 700은, 타겟 디스플레이 705를 포함하거나 이에 연결되는 디바이스에 구현되는 도 3의 시스템 300의 예시적인 실시 예이다. 예를 들어, 시스템 700은 텔레비전, 세트 박스, 케이블 박스, 주변 장치, 미디어 플레이어, 컴퓨터, 이동 전화, 태블릿 등과 같은 임의의 적절한 시각적 미디어 디바이스일 수 있으며, 이에 한정되지 않는다. 시스템 700은 입력으로서 n-비트 양자화된 비디오 파일 Qn(f)을 수신한다. 예를 들어, 시스템 700은 네트워크 102를 통해 서버 104로부터 또는 플래시 드라이브, 광 디스크 또는 다른 비-일시적 매체와 같은 저장 매체로부터 양자화되어 있는 마스터링된 비디오를 수신할 수 있다. 시스템 700은 예를 들어 도 2와 관련하여 위에서 논의된 역-양자화기 750을 사용하여 입력을 역-양자화함으로써 입력 비디오 x를 생성한다. 시스템 700은 전술한 듀얼 밴드 적응적 톤 맵핑 기술들을 사용하여 톤 맵핑된 비디오 y를 생성하고, m-비트 타겟 디스플레이 705 상에 톤 맵핑된 비디오 y를 디스플레이한다. 예를 들어, 비디오가 타겟 디스플레이 705에서 재생되는 동안 시스템 700은 비디오의 디스플레이에 앞서 적응적으로 톤 맵핑할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 타겟 디스플레이 805 상에 듀얼 밴드 적응적 톤 맵핑 800을 구현하기 위한 다른 예시적인 시스템을 도시한 것이다. 시스템 800은 도 1의 클라이언트 디바이스들 106 내지 115 중의 임의의 하나에 의해 구현될 수 있다. 예를 들어, 클라이언트 디바이스들 106 내지 115 중의 임의의 것이 마스터링된 비디오 파일 fM을 톤 맵핑된 비디오 파일 fMN로 변환하기 위해 본 명세서에 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 8에 나타낸 시스템 800의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 800은 타겟 디스플레이 805를 포함하거나 이에 연결되는 디바이스에서 구현되는 도 4의 시스템 400의 예시적인 실시 예이다. 전술한 바와 같이, 시스템 400은 입력으로서 n-비트 양자화된 비디오 파일 Qn(f)을 수신하고, 입력을 역-양자화하여, 도 2와 관련하여 전술한 바와 같이 역-양자화기 850을 사용하여 입력 비디오 x를 생성한다. 시스템 800은 전술한 듀얼 밴드 적응적 톤 맵핑 기술들을 사용하여 톤 맵핑된 비디오 y를 생성하고, m-비트 타겟 디스플레이 805 상에 톤 맵핑된 비디오 y를 디스플레이한다. 예를 들어, 시스템 800은 비디오가 타겟 디스플레이 805에서 재생되는 동안 비디오의 디스플레이에 앞서 비디오를 적응적으로 톤 맵핑할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 타겟 디스플레이 905 상에서 PGC로 듀얼 밴드 적응적 톤 맵핑을 구현하기 위한 예시적인 시스템 900을 도시한 것이다. 시스템 900은 도 1의 클라이언트 디바이스들 106 내지 115 중의 임의의 하나에 의해 구현될 수 있다. 예를 들어, 클라이언트 디바이스들 106 내지 115 중의 임의의 것이 마스터링된 비디오 파일 fM를 톤 맵핑된 비디오 파일 fMN로 변환하기 위해 본 명세서에서 논의된 듀얼 밴드 적응적 톤 맵핑 기술들을 구현할 수 있다. 도 9에 나타낸 시스템 900의 실시 예는 단지 예시를 위한 것이다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다.
시스템 900은 타겟 디스플레이 905를 포함하거나 이에 연결되는 디바이스에서 구현되는 도 5의 시스템 500의 예시적인 실시 예이다. 전술한 바와 같이, 시스템 900은 입력으로서 n-비트 양자화된 비디오 파일 Qn(f)을 수신하고, 예를 들어, 도 2와 관련하여 전술한 바와 같이 역-양자화기 950을 사용하여 입력을 역-양자화하여 입력 비디오 x를 생성한다. 시스템 900은 전술한 PGC 기술들과 듀얼 밴드 적응적 톤 맵핑을 사용하여 톤 맵핑된 비디오 y를 생성하고, m-비트 타겟 디스플레이 905 상에 톤 맵핑된 비디오 y를 디스플레이한다. 예를 들어, 시스템 900은, 비디오가 타겟 디스플레이 805에서 재생되는 동안 비디오의 디스플레이에 앞서 비디오를 적응적으로 톤 맵핑할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 비디오 톤 맵핑을 위한 예시적인 프로세스 1000을 도시한 것이다. 예를 들어, 프로세스 1000은 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115에 의해 수행될 수 있다. 특히, 프로세서 1000은 전술한 도 3 내지 5 또는 도 7 내지 9의 시스템들 300 내지 500 및 700 내지 900(총칭하여 "시스템"이라고 함) 중의 임의의 것에 의해 구현될 수 있다. 다른 실시 예들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다. 프로세스 1000의 특정 블록들이 시스템들 300 내지 500 및 700 내지 900 중의 하나의 특정 블록들에 의해 수행되는 것으로 아래에서 설명되지만, 대안의 예시적 실시 예들에서는 임의의 적절한 블록이 프로세스 1000의 블록들 각각을 수행할 수 있다는 것이 이해될 것이다.
본 프로세스는 시스템이 비디오 데이터를 제 1 비디오 성분 및 제 2 비디오 성분으로 처리하는 것으로 시작한다(블록 1005). 예를 들어, 블록 1005는 도 3의 블록 305에 의해 구현될 수 있다. 이 블록에서는, 제 1 비디오 성분이 조명 성분 또는 비-세부 성분일 수 있으며, 시스템이 비디오 데이터를 저역 통과 필터링하여 조명 성분 및 비-세부 성분을 생성할 수 있다. 제 2 비디오 성분은 반사 성분 또는 세부 성분일 수 있으며, 시스템은, 비디오 데이터로부터 조명 성분 또는 비-세부 성분을 차감하거나 또는 조명 성분 또는 비-세부 성분으로 비디오 데이터를 나눔으로써 반사 성분 또는 세부 성분을 생성할 수 있다. 예를 들어, 비디오 데이터는 전술한 시스템 200에 의해 구현되는 바와 같이 마스터링 프로세스를 사용하여 마스터링되었던 마스터링된 비디오 파일 fM일 수 있다. 다른 예에서, 비디오 데이터는 비디오가 디스플레이를 위해 의도되는 타겟 디스플레이의 최대 휘도 레벨보다 높은 최대 휘도 레벨을 갖는 임의의 비디오로부터의 것일 수 있다.
그 후에, 시스템은 제 1 비디오 성분에 대하여 톤 맵핑을 적용한다(블록 1010). 예를 들어, 블록 1010은 도 3의 블록 310에 의해 구현될 수 있다. 이 블록에서, 시스템은 전체 비디오 파일, 임의의 다른 적절한 양의 비디오 또는 단일 이미지에 대해 프레임 단위로, 장면 단위로 톤 맵핑을 적용할 수 있다. 일부 실시 예들에서는, 이 블록의 일부로서 또는 다른 블록으로서, 시스템은 또한 톤 맵핑 및 PGC 처리를 적용할지 여부를 결정할 수도 있다. 예를 들어, 시스템은 비디오 데이터와 관련된 메타 데이터를 수신하고, 이 메타 데이터에 기초하여 비디오 데이터에 대한 최대 휘도 값을 식별하고, 타겟 디스플레이와 관련된 톤 맵핑 기준과 비디오에 대한 최대 휘도 값과의 비교에 기초하여 톤 맵핑 및 PGC 처리를 비디오 데이터에 적용할지 여부를 결정할 수 있다.
시스템은 제 2 비디오 성분을 스케일링한다(블록 1015). 예를 들어, 블록 1015는 도 5의 블록 505에 의해 구현될 수 있다. 이 블록에서, 시스템은 제 1 성분 및 톤 맵핑된 제 1 성분에 기초하여 스케일링 팩터를 결정함으로써 제 2 비디오 성분을 스케일링할 수 있다. 예를 들어, 스케일링 팩터는 도 5 내지 도6c와 관련하여 전술할 바와 같이 제 1 성분과 톤 맵핑된 제 1 성분의 비율에 기초할 수 있다. 그 후에, 시스템은 결정된 스케일링 팩터에 기초하여 스케일링된 비디오 성분을 결정한다. 일 실시 예에서, 제 2 비디오 성분의 스케일링은 지각 이득 제어(perception gain control, PGC) 처리를 적용하는 것에 대응한다. 예를 들어, 스케일링 팩터는 도 6a 내지 도6c와 관련하여 전술한 바와 같이 제 1 비디오 성분 및 톤 맵핑된 제 1 비디오 성분의 함수로서 시스템에 의해 식별되는 PGC 파라미터일 수 있다. 시스템은 계산된 PGC 파라미터에 기초하여 PGC 처리를 적용할 수 있다. 일부 실시 예들에서, 이 블록의 일부 또는 다른 블록으로서, 시스템은 또한 제 1 비디오 성분의 하나 이상의 대응하는 영역들의 특성들에 기초하여, 제 2 비디오 성분의 하나 이상의 영역들에 PGC 처리를 적용할지 여부를 결정할 수도 있다.
그 후에, 시스템은 톤 맵핑된 제 1 비디오 성분을 스케일링된 제 2 비디오 성분과 결합시킨다(블록 1020). 예를 들어, 블록 1020은 도 3의 블록 315에 의해 구현될 수 있다. 이 블록에서, 시스템은 톤 맵핑된 제 1 비디오 성분과 PGC-프로세싱된 제 2 비디오 성분과의 결합으로 톤 맵핑된 비디오를 생성할 수 있다. 이러한 예들에서, 제 2 비디오 성분은 제 1 비디오 성분과의 결합 이전에는 톤 맵핑되지 않을 수 있다. 일부 실시 예들에서, 이 블록의 일부 또는 다른 블록으로서, 시스템은 생성된 톤 맵핑된 비디오를 타겟 플레이 상에 디스플레이할 수 있다. 예를 들어, 시스템은 톤 맵핑된 비디오를 디스플레이하기 위해 텔레비전, 모니터, 랩톱 컴퓨터, 태블릿 컴퓨터 및 이동 전화 중의 하나에 포함되거나 이에 연결될 수 있다.
도 10이 비디오 톤 맵핑을 위한 프로세스의 일 예를 도시하지만, 다양한 변경들이 도 10에 대하여 이루어질 수 있다. 예를 들어, 일련의 블록들로 나타내었지만, 각 도면의 다양한 블록들은 중첩되거나, 병렬로 발생하거나, 상이한 순서로 발생하거나, 또는 여러번 발생할 수 있다.
도 11은 본 개시에 따른 예시적인 비디오 프로세싱 디바이스 1100를 도시한 것이다. 특히, 비디오 프로세싱 디바이스 1100은 본 개시의 하나 이상의 실시 예들을 구현하기 위해 도 1의 서버 104 또는 클라이언트 디바이스들 106 내지 115 중의 임의의 하나에 포함될 수 있는 예시적인 구성 요소들을 도시한 것이다.
도 11에 나타낸 바와 같이, 비디오 프로세싱 디바이스 1100은 적어도 하나의 프로세서 1110, 적어도 하나의 저장 디바이스 1115, 적어도 하나의 통신 유닛 1120, 적어도 하나의 입/출력(I/O) 유닛 1125 및 디스플레이 1140 사이의 통신을 지원하는 버스 시스템 1105를 포함한다.
프로세서 1110은 메모리 1130에 로딩될 수 있는 명령들을 실행한다. 프로세서 1110은 임의의 적절한 개수(들) 및 타입(들)의 프로세서들 또는 임의의 적절한 배열의 다른 디바이스들을 포함할 수 있다. 프로세서 1110의 예시적인 타입들은 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서, 필드 프로그래머블 게이트 어레이, 응용 주문형 집적 회로 및 이산 회로를 포함한다. 예를 들어, 프로세서 1110은 하드웨어로 구현되는 시스템들 200 내지 900 내의 블록들 또는 모듈들 중의 어느 것에 의하거나 또는 프로세서 1110로 하여금 개시된 방법들을 수행하게 하는 저장된 명령들을 실행함으로써 수행되는 톤 맵핑 동작들 및/또는 PGC 처리를 구현할 수 있다.
메모리 1130 및 영구 스토리지 1135는 저장 디바이스 1115의 예들이며, 이것은 (비디오 데이터, 프로그램 코드 및/또는 일시적 또는 영구적 다른 적절한 정보와 같은) 정보의 검색을 저장하고 용이하게 할 수 있는 임의의 구조(들)를 나타낸다. 메모리 1130은 랜덤 액세스 메모리 또는 임의의 다른 적절한 휘발성 또는 비-휘발성 저장 디바이스(들)를 나타낼 수 있다. 예를 들어, 메모리 1130은 본 명세서에 개시된 톤 맵핑 기술들을 구현하기 위한 명령들을 포함하거나/하고 서버 104로부터 수신된 스트리밍되거나 버퍼링된 비디오 데이터를 저장할 수 있다. 영구 스토리지 1135는 판독 전용 메모리, 하드 드라이브, 플래시 메모리 또는 광학 디스크와 같은 데이터의 장기간 스토리지를 지원하는 하나 이상의 부품들 또는 디바이스들을 포함할 수 있다. 예를 들어, 영구 스토리지 1135는 마스터링된 비디오 파일, 및 마스터링된 비디오 파일과 관련된 메타 데이터와 같은 비디오 데이터를 포함할 수 있다.
통신 인터페이스 1120은 다른 시스템들 또는 디바이스들 간의 통신들을 지원한다. 예를 들어, 통신 인터페이스 1120은 네트워크 인터페이스 카드, 케이블 모뎀, 브로드캐스트 수신기, 또는 네트워크 102를 통해 통신을 용이하게 하는 무선 송수신기를 포함할 수 있다. 통신 인터페이스 1120은 임의의 적절한 물리적 또는 무선 통신 링크(들)를 통해 통신들을 지원할 수 있다.
I/O 유닛 1125 는 데이터의 입력 및 출력을 가능하게 한다. 예를 들어, I/O 유닛 1125는 키보드, 마우스, 키패드, 터치스크린 또는 다른 적절한 입력 디바이스를 통한 사용자 입력을 위한 연결을 제공할 수 있다. I/O 유닛 1125는 또한 출력을 디스플레이 1140, 프린터 또는 다른 적절한 출력 디바이스에 전송할 수도 있다.
비디오 프로세싱 디바이스 1100은 예를 들어 타겟 디스플레이들 705 및 805와 같은 디스플레이 1140을 더 포함하거나 이에 연결된다. 예시적인 일 실시 예에서, 비디오 프로세싱 디바이스 1100은 디스플레이될 톤 맵핑된 비디오용 디스플레이 1140에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터 등에 포함된 비디오 프로세싱 회로일 수 있다. 다른 예시적인 실시 예에서, 비디오 프로세싱 디바이스 1100은 디스플레이될 톤 맵핑된 비디오 용 디스플레이 1140에 연결되는 셋탑 박스, 케이블 박스, 컴퓨터, 미디어 플레이어 등일 수 있다. 또 다른 예시적인 실시 예에서, 비디오 프로세싱 디바이스 1100은 네트워크 연결을 통해 타겟 디스플레이 1140에 연결되는 서버일 수 있다. 다른 예시적인 실시 예에서, 비디오 프로세싱 디바이스 1100은 톤 맵핑된 비디오가 디스플레이되는 디스플레이 1140 및 톤 맵핑을 수행하기 위한 비디오 프로세싱 회로를 포함할 수 있다. 예를 들어, 비디오 프로세싱 디바이스 1100은 텔레비전, 모니터, 이동 전화, 랩톱 컴퓨터, 태블릿 컴퓨터 등일 수 있다.
다양한 실시 예들에 따르면, 비디오 톤 맵핑을 위한 방법은 비디오 데이터를 처리하여 제 1 비디오 성분 및 제 2 비디오 성분을 결정하는 단계, 제 1 비디오 성분에 대해 톤 맵핑을 적용하는 단계, 제 2 비디오 성분을 스케일링하는 단계, 및 스케일링된 제 2 비디오 성분을 톤 맵핑된 제 1 비디오 성분과 결합하여 톤 맵핑된 비디오를 생성하는 단계를 포함한다.
다양한 실시 예들에 따르면, 제 1 비디오 성분의 결정은 비디오 데이터에 저역 통과 필터링을 수행하는 것을 포함하고, 제 1 비디오 성분은 조명 성분이다.
다양한 실시 예들에 따르면, 제 2 비디오 성분의 결정은 비디오 데이터로부터 제 1 비디오 성분을 차감하는 것 및 비디오 데이터를 제 1 비디오 성분으로 나누는 것 중 하나를 수행하는 것을 포함하고, 제 2 비디오 성분은 반사 성분이다.
다양한 실시 예들에 따르면, 제 2 비디오 성분의 스케일링은 제 1 성분 및 톤 맵핑된 제 1 성분에 기초하여 스케일링 팩터를 결정하고, 이 결정된 스케일링 팩터에 기초하여 스케일링된 제 2 비디오 성분을 결정하는 것을 포함한다.
다양한 실시 예들에 따르면, 스케일링 팩터는 제 1 성분과 톤 맵핑된 제 1 성분의 비율에 기초한다.
다양한 실시 예들에 따르면, 제 2 비디오 성분의 스케일링은 지각 이득 제어(PGC) 처리를 적용하는 것에 대응한다.
다양한 실시 예들에 따르면, 비디오 데이터는 원본 비디오를 마스터링함으로써 생성되는 마스터링된 비디오로부터의 데이터이다.
다양한 실시 예들에 따르면, 제 2 비디오 성분은 제 1 비디오 성분과 결합되기 이전에 톤 맵핑되지 않는다.
다양한 실시 예들에 따르면, 톤 맵핑은 프레임 단위로 제 1 비디오 성분에 적용된다.
다양한 실시 예들에 따르면, 본 방법은 비디오 데이터와 관련된 메타데이터를 수신하는 단계, 이 메타데이터에 기초하여 비디오 데이터에 대한 최대 휘도 값을 식별하는 단계, 및 타겟 디스플레이와 관련된 톤 맵핑 기준에 대한 비디오 데이터에 대한 최대 휘도 값의 비교에 기초하여, 비디오 데이터에 톤 맵핑을 적용할지 여부를 결정하는 단계를 더 포함한다.
다양한 실시 예들에 따르면, 본 방법은 생성된 톤 맵핑 비디오를 디스플레이 상에 디스플레이하는 단계를 더 포함하며, 이 디스플레이는 텔레비전, 모니터, 랩톱 컴퓨터, 태블릿 컴퓨터 및 이동 전화기 중 하나에 존재한다.
본 개시가 예시적인 실시 예로 설명되었지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 개시는 첨부된 청구범위의 범주 내에 속하는 그러한 변경 및 수정을 포함하는 것으로 의도된다.
본원의 설명은 특정 요소, 블록, 단계 또는 기능이 청구범위에 포함되어야 하는 필수 요소임을 나타내는 것으로 해석되어서는 안된다. 특허되는 대상의 범위는 청구범위에 의해서만 정의된다.
본 개시가 예시적인 실시 예로 설명되었지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 개시는 첨부된 청구범위의 범주 내에 속하는 그러한 변경 및 수정을 포함하는 것으로 의도된다.

Claims (13)

  1. 비디오 톤 맵핑(tone mapping)을 위한 방법으로서,
    비디오 데이터를 처리하여 제 1 비디오 성분 및 제 2 비디오 성분을 결정하는 동작;
    상기 제 1 비디오 성분에 톤 맵핑을 적용하는 동작;
    상기 제 2 비디오 성분을 스케일링(scaling)하는 동작; 및
    톤 맵핑된 상기 제 1 비디오 성분을 스케일링된 상기 제 2 비디오 성분과 결합함으로써 톤 맵핑된 비디오를 생성하는 동작을 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 비디오 성분을 결정하는 동작은,
    상기 비디오 데이터에 저역 통과 필터링(low pass filtering)을 수행하는 동작을 포함하며,
    상기 제 1 비디오 성분은 조명(illumination) 성분인, 방법.
  3. 제 1 항에 있어서,
    상기 제 2 비디오 성분을 결정하는 동작은,
    상기 비디오 데이터로부터 상기 제 1 비디오 성분을 차감하는 동작; 및
    상기 비디오 데이터를 상기 제 1 비디오 성분으로 나누는 동작 중 하나를 포함하며,
    상기 제 2 비디오 성분은 반사(reflectance) 성분인, 방법.
  4. 제 1 항에 있어서,
    상기 제 2 비디오 성분을 스케일링하는 동작은,
    상기 제 1 성분 및 상기 톤 맵핑된 제 1 성분에 기초하여 스케일링 팩터를 결정하는 동작; 및
    결정된 상기 스케일링 팩터에 기초하여 스케일링된 상기 제 2 비디오 성분을 결정하는 동작을 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 스케일링 팩터는 상기 제 1 성분과 상기 톤 맵핑된 제 1 성분의 비율에 기초하는, 방법.
  6. 제 1 항에 있어서,
    상기 제 2 비디오 성분을 스케일링하는 동작은 지각 이득 제어(perception gain control, PGC) 처리를 적용하는 동작에 대응하는, 방법.
  7. 제 1 항에 있어서,
    상기 비디오 데이터는 원본 비디오를 마스터링(mastering)함으로써 생성되는 마스터링된 비디오로부터의 데이터인, 방법.
  8. 제 1 항에 있어서,
    상기 제 2 비디오 성분은 상기 제 1 비디오 성분과의 결합 이전에 톤 맵핑되지 않는, 방법.
  9. 제 1 항에 있어서,
    상기 톤 맵핑은 프레임 단위로 상기 제 1 비디오 성분에 적용되는, 방법.
  10. 제 1 항에 있어서,
    상기 비디오 데이터와 연관된 메타 데이터를 수신하는 동작;
    상기 메타 데이터에 기초하여 상기 비디오 데이터에 대한 최대 휘도 값을 식별하는 동작; 및
    상기 비디오 데이터에 대한 최대 휘도 값과, 타겟 디스플레이와 관련된 톤 맵핑 기준의 비교에 기초하여, 상기 비디오 데이터에 톤 맵핑을 적용할지 여부를 결정하는 동작을 더 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 생성된 톤 맵핑된 비디오를 디스플레이 상에 디스플레이하는 동작을 더 포함하며,
    상기 디스플레이는 텔레비전, 모니터, 랩톱 컴퓨터, 태블릿 컴퓨터 및 이동 전화 중 하나에 존재하는, 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 수행하도록 구성되는 장치.
  13. 적어도 하나의 프로세서에 의해 실행될 시에, 상기 적어도 하나의 프로세서로 하여금, 제 1 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 수행하도록 하는 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체.

KR1020187013285A 2015-06-02 2016-12-23 듀얼 대역 적응적 톤 맵핑 KR102632784B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562170042P 2015-06-02 2015-06-02
US14/986,553 2015-12-31
US14/986,553 US10165198B2 (en) 2015-06-02 2015-12-31 Dual band adaptive tone mapping
PCT/KR2016/015245 WO2017116093A1 (en) 2015-06-02 2016-12-23 Dual band adaptive tone mapping

Publications (2)

Publication Number Publication Date
KR20180089899A true KR20180089899A (ko) 2018-08-09
KR102632784B1 KR102632784B1 (ko) 2024-02-02

Family

ID=57451659

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187021377A KR102173729B1 (ko) 2015-06-02 2016-09-27 톤 매핑 방법 및 장치
KR1020187013285A KR102632784B1 (ko) 2015-06-02 2016-12-23 듀얼 대역 적응적 톤 맵핑

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187021377A KR102173729B1 (ko) 2015-06-02 2016-09-27 톤 매핑 방법 및 장치

Country Status (5)

Country Link
US (4) US9942489B2 (ko)
EP (2) EP3398167B1 (ko)
KR (2) KR102173729B1 (ko)
CN (2) CN108496356B (ko)
WO (2) WO2017115979A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407296B (zh) * 2015-11-18 2021-03-23 腾讯科技（深圳）有限公司 实时视频增强方法和装置
PL3745390T3 (pl) 2016-05-27 2024-03-04 Dolby Laboratories Licensing Corporation Przechodzenie pomiędzy priorytetem wideo a priorytetem grafiki
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
CN110383848B (zh) 2017-03-07 2022-05-06 交互数字麦迪逊专利控股公司 用于多设备呈现的定制视频流式传输
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
JP6697755B2 (ja) * 2017-09-13 2020-05-27 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
CN110574371B (zh) * 2017-12-08 2021-12-21 百度时代网络技术（北京）有限公司 使用硬件加速器的立体摄像机深度确定
CN108053381B (zh) * 2017-12-22 2022-04-22 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
KR20200032584A (ko) * 2018-09-18 2020-03-26 엘지전자 주식회사 영상표시장치
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR20200101048A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
CN110351542A (zh) * 2019-07-04 2019-10-18 深圳市玩瞳科技有限公司 一种针对视频帧的色彩校正方法及装置
CN112215760A (zh) * 2019-07-11 2021-01-12 华为技术有限公司 一种图像处理的方法及装置
CN112686810A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 一种图像处理的方法及装置
CN111064967A (zh) * 2019-11-20 2020-04-24 北京迈格威科技有限公司 图像的压缩方法、装置、系统和存储介质
US11398017B2 (en) 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11467947B2 (en) * 2020-10-19 2022-10-11 EMC IP Holding Company LLC Automated mocking of computer system deployments
US11526968B2 (en) * 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
EP4068196A1 (en) * 2021-03-30 2022-10-05 Beijing Xiaomi Mobile Software Co., Ltd. High dynamic range tone mapping
KR20220142751A (ko) * 2021-04-15 2022-10-24 삼성전자주식회사 비디오를 인코딩하는 전자 장치 및 그 제어 방법
WO2022226917A1 (zh) * 2021-04-29 2022-11-03 深圳市大疆创新科技有限公司 图像处理方法及电子设备
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120301050A1 (en) * 2011-05-25 2012-11-29 Sony Corporation Image processing apparatus and method

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136073B2 (en) * 2002-10-17 2006-11-14 Canon Kabushiki Kaisha Automatic tone mapping for images
JP2005210526A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US8050512B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US7821580B2 (en) * 2006-08-15 2010-10-26 Lsi Corporation Contour free point operation for video skin tone correction
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8285071B2 (en) 2007-09-10 2012-10-09 Himax Technologies Limited Content-adaptive contrast improving method and apparatus for digital image
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
HUE031487T2 (en) 2008-04-16 2017-07-28 Ge Video Compression Llc Bit depth scalability
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8478042B2 (en) 2009-10-26 2013-07-02 Texas Instruments Incorporated Method and apparatus for enhancing image or video quality using an exposure aware scene adaptive global brightness contrast
US8831340B2 (en) 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
WO2011156074A2 (en) * 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
EP3869494A1 (en) * 2010-07-22 2021-08-25 Dolby Laboratories Licensing Corp. Display management server
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US8391598B2 (en) 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
EP2681710B1 (en) * 2011-03-02 2018-09-12 Dolby Laboratories Licensing Corporation Local multiscale tone-mapping operator
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US9113145B2 (en) * 2011-03-25 2015-08-18 Semiconductor Components Industries, Llc Contrast matching for stereo image
CN103621084A (zh) 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
EP2702766B1 (en) 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US8734328B2 (en) 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US8693772B2 (en) 2011-10-11 2014-04-08 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
US9076252B2 (en) 2012-01-05 2015-07-07 Qualcomm Incorporated Image perceptual attribute adjustment
EP2820848B1 (en) 2012-02-29 2019-11-20 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
JP6262198B2 (ja) 2012-03-26 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像符号化及び復号のための輝度領域ベース装置及び方法
US8437545B1 (en) 2012-04-18 2013-05-07 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
JP6187584B2 (ja) * 2012-05-14 2017-08-30 オムロン株式会社 マシンビジョンシステムのための最小コントラストを保証するための方法および装置
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9516351B2 (en) 2012-07-13 2016-12-06 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
RU2580093C2 (ru) 2012-08-08 2016-04-10 Долби Лабораторис Лайсэнзин Корпорейшн Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
EP2896198B1 (en) 2012-09-12 2016-11-09 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
US8995783B2 (en) * 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
KR102105645B1 (ko) 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9412155B2 (en) 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
CN109064433B (zh) * 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
US20140267916A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US20140269943A1 (en) 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
EP3072288B1 (en) * 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
US10812801B2 (en) 2014-02-25 2020-10-20 Apple Inc. Adaptive transfer function for video encoding and decoding
US9418311B2 (en) * 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120301050A1 (en) * 2011-05-25 2012-11-29 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
WO2017115979A1 (en) 2017-07-06
EP3391646A4 (en) 2018-12-19
KR102173729B1 (ko) 2020-11-03
CN108476312A (zh) 2018-08-31
US10165198B2 (en) 2018-12-25
EP3398167A1 (en) 2018-11-07
EP3398167B1 (en) 2020-08-19
KR102632784B1 (ko) 2024-02-02
CN108476312B (zh) 2020-11-13
EP3391646A1 (en) 2018-10-24
US20160360173A1 (en) 2016-12-08
US9942489B2 (en) 2018-04-10
US20160360171A1 (en) 2016-12-08
US20160360172A1 (en) 2016-12-08
EP3391646B1 (en) 2020-04-22
WO2017116093A1 (en) 2017-07-06
KR20180088740A (ko) 2018-08-06
US20160360174A1 (en) 2016-12-08
CN108496356A (zh) 2018-09-04
US10075655B2 (en) 2018-09-11
US10136074B2 (en) 2018-11-20
CN108496356B (zh) 2020-11-20
EP3398167A4 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
KR102632784B1 (ko) 듀얼 대역 적응적 톤 맵핑
US11769235B2 (en) HDR tone mapping methods with scene adaptive parameterized tone map function
CN107209929B (zh) 用于对高动态范围图像进行处理的方法和装置
KR102126512B1 (ko) 크리에이티브 인텐트 메타데이터를 갖는 톤 마스터링 시스템
EP3734588B1 (en) Color appearance preservation in video codecs
US20180005357A1 (en) Method and device for mapping a hdr picture to a sdr picture and corresponding sdr to hdr mapping method and device
US9979973B2 (en) Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
US10778983B2 (en) Preserving texture/noise consistency in video codecs
JP7472403B2 (ja) Ｓｄｒからｈｄｒへのアップコンバートのための適応的ローカルリシェーピング
CN110770787B (zh) 高效端到端单层逆向显示管理编码
EP3054417A1 (en) Method and apparatus for encoding and decoding high dynamic range images
CN116034394A (zh) 假轮廓减轻的自适应流式传输
CN114175647A (zh) 电光传递函数转换和信号合法化
Boitard Temporal coherency in video tone mapping
KR20230107545A (ko) 채도를 유지하고 색조를 보존하면서 톤 맵퍼 내에서의 크로마 클립핑을 회피하기 위한 방법, 디바이스, 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant