KR20240063943A - 톤 매핑 방법, 디바이스 및 시스템 - Google Patents

톤 매핑 방법, 디바이스 및 시스템 Download PDF

Info

Publication number
KR20240063943A
KR20240063943A KR1020247011503A KR20247011503A KR20240063943A KR 20240063943 A KR20240063943 A KR 20240063943A KR 1020247011503 A KR1020247011503 A KR 1020247011503A KR 20247011503 A KR20247011503 A KR 20247011503A KR 20240063943 A KR20240063943 A KR 20240063943A
Authority
KR
South Korea
Prior art keywords
tone mapping
partition
preset
metadata
information unit
Prior art date
Application number
KR1020247011503A
Other languages
English (en)
Inventor
웨이웨이 수
진송 웬
레이 우
종케 마
옌빙 지아
쿠안헤 유
지종 왕
이추안 왕
후 첸
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20240063943A publication Critical patent/KR20240063943A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 출원은 톤 매핑 효과를 향상시킬 수 있는 기술적 해결책을 제공하는 톤 매핑 방법, 디바이스 및 시스템을 제공한다. 이 방법은 표시될 이미지 프레임 및 메타데이터를 획득하는 단계- 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함함 -와, 표시될 이미지 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응을 결정하는 단계와, i번째 픽셀에 대해: 사전 설정된 영역에 포함된 복수의 픽셀을 기반으로, 복수의 픽셀이 속하는 적어도 하나의 관련 분할 영역을 결정하고, 대응에 기초하여, 각각의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정하는 단계와, 관련 메타데이터 정보 유닛을 기반으로, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하고, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하는 단계와, 관련 분할 영역에 대응하는 톤 매핑 서브값 및 가중 계수에 기초하여, 톤 매핑 값을 획득하는 단계와, 톤 매핑 값에 기초하여 톤 매핑을 수행하는 단계를 포함한다.

Description

톤 매핑 방법, 디바이스 및 시스템
관련 출원에 대한 상호 참조
본 출원은 2021년 9월 15일자로 중국 특허청에 "톤 매핑 방법, 디바이스 및 시스템"라는 제목으로 출원된 중국 특허 출원 번호 202111080645.7에 대한 우선권을 주장하며, 이는 그 전체가 본 명세서에 참조로 통합된다.
본 출원은 디스플레이 기술 분야에 관한 것으로, 특히 톤 매핑 방법, 디바이스 및 시스템에 관한 것이다.
캡처 단말 디바이스(capture end device)의 발달로, 현재 하이 다이나믹 레인지(high dynamic range, HDR) 비디오 기술을 기반으로 하는 캡처를 통해 HDR 비디오 또는 이미지가 얻어질 수 있다. HDR 비디오 또는 이미지에서 표시 가능한 이미지 휘도 범위가 확장되어, 넓은 휘도 범위의 정보가 기록될 수 있고, 이미지의 밝은 부분과 어두운 부분이 보다 상세히 표시될 수 있다.
그러나, 기존 디스플레이 단말 디바이스의 디스플레이 기능은 일반적으로 제한되어 있어 캡처 단말 디바이스에 의해 캡처된 HDR 비디오 또는 이미지에 기록된 휘도 범위 정보가 제대로 표시되지 않을 수 있다. 예를 들어, 캡처 단말 디바이스는 최대 휘도가 10000 칸델라/m2(cd/m2, 휘도 단위)인 픽셀을 캡처할 수 있고, 디스플레이 단말 디바이스는 최대 휘도가 4000 cd/m2인 픽셀만 표시할 수 있다. 이 경우, 캡처 단말 디바이스에 의해 캡처된 HDR 비디오 또는 이미지에서 휘도가 4000cd/m2 ~ 10000cd/m2인 픽셀은 잘 표시되지 않을 수 있다. 종래 기술에서는 표시될 이미지에 톤 매핑(tone mapping, TM)을 수행할 수 있는 처리 방식이 제공되어, 하이 다이나믹 레인지의 이미지 톤은 로우 다이나믹 레인지 디스플레이 기능을 가진 디스플레이 단말 디바이스에 매핑될 수 있다.
기존의 톤 매핑 방식에서는 톤 매핑 곡선을 기반으로 하거나 블록 등을 기반으로 하는 로컬 톤 매핑 방식이 주로 사용될 수 있지만, 톤 매핑 효과가 떨어지는 문제점이 존재한다. 따라서, 톤 매핑 효과를 개선하는 방법은 연구할 가치가 있다.
본 출원은 톤 매핑 효과를 향상시킬 수 있는 기술적 솔루션을 제공하기 위한 톤 매핑 방법, 디바이스 및 시스템을 제공한다.
일 양상에 따르면, 본 출원의 실시예는 디스플레이 단말 디바이스에 적용되는 톤 매핑 방법을 제공한다. 이 방법은 표시될 이미지 프레임 및 메타데이터를 획득하는 단계- 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함함 -와, 표시될 이미지 프레임을 목표 분할 방식(target segmentation manner)으로 복수의 분할 영역으로 분할하고 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응을 결정하는 단계와, 표시될 이미지 프레임의 i번째 픽셀에 대해 다음 동작을 수행하는 단계를 포함하는데, 이 동작은:
i번째 픽셀에 대해 선택된 사전 설정된 영역에 포함된 복수의 픽셀을 기반으로, 복수의 픽셀이 속하는 적어도 하나의 관련 분할 영역을 결정하고, 대응에 기초하여, 각각의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정하는 동작; 관련 메타데이터 정보 유닛을 기반으로, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하고, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하는 동작; 및 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값 및 가중 계수에 기초하여, i번째 픽셀의 톤 매핑 값을 구하고, 톤 매핑 값에 기초하여 i번째 픽셀에 대해 톤 매핑을 수행하는 동작을 포함하되, 여기서, i는 1 내지 N 사이의 임의의 양의 정수이고, N은 표시될 이미지 프레임에 포함된 픽셀의 수량이다.
이 방법에서, 표시될 이미지 프레임에 대해 미세한 로컬 톤 매핑을 수행하는 기술적 솔루션이 제공된다. 표시될 이미지 프레임에 포함된 픽셀에 대해, 사전 설정된 영역을 기반으로 로컬 톤 매핑이 구현되어, 톤 매핑된 표시될 이미지 프레임에 대한 디스플레이 단말 디바이스의 디스플레이 효과가 향상될 수 있다.
가능한 설계에서, 각 관련 분할 영역에 해당 가중 계수(a corresponding weighting factor)를 할당하는 방식은 다음 방식 중 하나 또는 그 조합을 포함한다:
방법 1: 각각의 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 사전 설정된 영역에 대응하는 픽셀의 총량을 개별적으로 결정하고, 제1 관련 분할 영역에 대해, 제1 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 픽셀의 총량을 기반으로 제1 관련 분할 영역에 대응하는 제1 가중 계수를 할당하는 동작을 수행하되, 제1 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 어느 하나이고, 및/또는
방법 2: 각각의 관련 분할 영역에서 사전 설정된 영역에 대응하는 사전 설정된 특징값을 개별적으로 결정하고, 제2 관련 분할 영역에 대해, 제2 관련 분할 영역에서 사전 설정된 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값 사이의 특징 차이에 기초하여 제2 관련 분할 영역에 대응하는 제2 가중 계수를 할당하는 동작을 수행하되, 제2 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 임의의 하나이다.
이 설계에서, 대응하는 가중 계수는 픽셀에 대응하는 사전 설정된 영역의 서로 다른 관련 분할 영역의 로컬 특징, 예를 들어 픽셀의 수량 또는 사전 설정된 특징값에 기초하여 서로 다른 관련 분할 영역에 할당될 수 있다. 가중 계수가 할당되어, 표시될 이미지 프레임에 포함된 픽셀의 미세한 톤 매핑이 구현되고, 표시될 이미지 프레임의 이미지 특징에 기초하여 톤 매핑이 구현되며, 톤 매핑된 표시될 이미지 프레임에 대한 디스플레이 단말 디바이스의 디스플레이 효과가 향상될 수 있다.
가능한 설계에서, 메타데이터는 다음의 정보, 즉 제1 가중 강도값 또는 제2 가중 강도값 중 하나 또는 그 조합을 포함하고, 제1 가중 강도값은 표시될 이미지 프레임의 픽셀 수량 분포 상태에 기초하여 제1 가중 계수를 조정하는 데 사용되며, 제2 가중 강도값은 표시될 이미지 프레임의 사전 설정된 특징값 변경 상태에 기초하여 제2 가중 계수를 조정하는 데 사용된다.
이 설계에서, 표시될 이미지 프레임의 글로벌 특징을 기반으로, 상이한 분할 영역에 할당된 가중 계수는 가중 계수 강도값을 사용하여 추가로 조정될 수 있다. 예를 들어, 표시될 이미지 프레임의 이미지 특징이 유사한 경우, 큰 가중 계수가 할당될 수 있다. 표시될 이미지 프레임의 이미지 특징이 다른 경우에는 작은 가중 계수가 할당될 수 있다. 이러한 방식으로, 톤 매핑에 의해 발생될 수 있는 경계 효과는 감소될 수 있으며, 톤 매핑된 표시될 이미지 프레임에 대한 디스플레이 단말 디바이스의 디스플레이 효과가 향상될 수 있다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 적어도 하나의 사전 설정된 특징값이 있다. 이 설계에서, 사전 설정된특징값은 휘도 특징값 또는 색상 특징값일 수 있다. 실제 구현 중에, 사전 설정된 특징값은 표시될 이미지 프레임에 기초하여 결정될 수 있다. 예를 들어, 표시될 이미지 프레임에 휘도 특징이 중요한 경우, 휘도 특징값이 선택될 수 있다. 표시될 이미지 프레임의 색상 특징이 두드러진 경우, 색상 특징값이 선택될 수 있다. 또한, 사전 설정된 특징값의 수량을 제한하지 않도록 설계하여, 표시될 이미지 프레임에 대한 톤 매핑 효과가 개선된다.
가능한 설계에서, 관련 메타데이터 정보 유닛에 기초하여, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하는 것은, 톤 매핑 곡선에 기초하여, 관련 분할 영역의 i번째 픽셀에 대응하는 톤 매핑 서브값을 획득하는 것을 포함하며, 여기서 관련 메타데이터 정보 유닛은 톤 매핑 곡선의 파라미터를 포함한다.
이 설계에서, 각각의 관련 분할 영역은 톤 매핑 곡선에 대응할 수 있으므로, 각각의 관련 분할 영역에 대한 톤 매핑을 구현하여 복수의 톤 매핑 서브값을 얻을 수 있고, 톤 매핑 서브값의 정확도를 향상시켜 정확한 톤 매핑 효과를 구현할 수 있다.
가능한 설계에서, i번째 픽셀에 대해 선택된 사전 설정된 영역은, i번째 픽셀을 중심으로 사용하여 선택되고 사전 설정된 크기의 사전 설정된 형상을 갖는 영역, i번째 픽셀을 중심으로 사용하고 사전 설정된 형상 및 메타데이터에 포함된 사전 설정된 크기 정보를 기반으로 결정되는 영역, 또는 i번째 픽셀을 중심으로 사용하고 메타데이터에 포함된 사전 설정된 형상 및 사전 설정된 크기 정보를 기반으로 결정되는 영역이다.
이 설계에서, 사전 설정된 영역은 처리될 픽셀(i번째 픽셀)을 중심으로 사용하여 선택되고, 그런 다음, 사전 설정된 영역에 포함된 복수의 픽셀을 기반으로 처리될 픽셀에 미세 로컬 톤 매핑을 수행하여, 톤 매핑된 표시될 이미지 프레임에 대한 디스플레이 단말 디바이스의 디스플레이 효과를 향상시킬 수 있다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 단계는: 임의의 분할 영역에 대해, 분할 영역으로부터 사전 설정된 위치의 픽셀을 선택하고, 사전 설정된 위치에서 픽셀의 좌표 정보를 획득하는 단계와, 좌표 정보에 기초하여, 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하는 단계와, 분할 영역과 대응하는 메타데이터 정보 유닛 사이의 대응을 설정하는 단계를 포함하거나, 또는 임의의 메타데이터 정보 유닛에 대해, 메타데이터 정보 유닛에 포함된 하나 이상의 좌표 정보에 기초하여, 하나 이상의 좌표 정보에 대응하는 적어도 하나의 분할 영역을 결정하는 단계와, 메타데이터 정보 유닛과 대응하는 적어도 하나의 분할 영역 사이의 대응을 설정하는 단계를 포함한다.
이 설계에서, 사전 설정된 위치의 좌표 정보가 인덱스로 사용되어, 분할 영역과 메타데이터 정보 유닛 간의 대응이 정확하고 쉽게 결정될 수 있으며, 처리될 픽셀의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 기반으로 각 관련 분할 영역의 톤 매핑 서브값이 별개로 계산될 수 있도록 한다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 것은: 목표 스캐닝 시퀀스 및 분할 영역 식별자에 기초하여 복수의 분할 영역을 트래버스하여, 각 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하는 것을 포함하되, 여기서 메타데이터 정보 유닛은 대응하는 분할 영역 식별자를 포함하고, 목표 스캐닝 시퀀스는 사전 설정된 스캐닝 시퀀스 또는 메타데이터에 표시된 스캐닝 시퀀스이다.
이 설계에서, 목표 스캐닝 시퀀스가 추가로 사용되어, 분할 영역과 메타데이터 정보 유닛 간의 대응이 정확하고 쉽게 결정될 수 있고, 처리될 픽셀의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 기반으로 각 관련 분할 영역의 톤 매핑 서브값이 별개로 계산될 수 있다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다. 이 설계에서는, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 있을 수 있다. 다대일 대응을 통해, 캡처 단말 디바이스와 디스플레이 단말 디바이스 간에 전송되어야 하는 메타데이터의 정보량이 감소될 수 있으며, 메타데이터 전송 효율이 향상될 수 있다.
가능한 설계에서, 목표 분할 방식은 사전 설정된 분할 방식 또는 메타데이터에 표시된 분할 방식이다. 이 설계에서, 목표 분할 방식은 캡처 단말 디바이스와 디스플레이 단말 디바이스에 의해 별개로 사전 저장되거나, 디스플레이 단말 디바이스에 의해 사용되는 분할 방식이 캡처 단말 디바이스에 표시되어 캡처 단말 디바이스와 디스플레이 단말 디바이스 간의 톤 매핑의 정확성이 보장될 수 있다.
제2 양상에 따르면, 본 출원의 실시예는 캡쳐 단말 디바이스에 적용되는 메타데이터 생성 방법을 제공한다. 이 방법은: 이미지 데이터를 캡처하여 디스플레이될 데이터 프레임을 획득하는 단계와, 표시될 데이터 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하는 단계와, 표시될 데이터 프레임과 메타데이터를 디스플레이 단말 디바이스로 전송하는 단계를 포함하되, 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다.
가능한 설계에서, 방법은: 복수의 분할 영역에 각각 포함된 픽셀의 수량에 기초하여 제1 가중 강도값을 결정하는 단계, 및/또는 복수의 분할 영역에 각각 대응하는 사전 설정된 특징값에 기초하여 제2 가중 강도값을 결정하는 단계와, 제1 가중 강도값 및/또는 제2 가중 강도값을 메타데이터와 연관시키는 단계를 더 포함한다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 적어도 하나의 사전 설정된 특징값이 있다.
가능한 설계에서, 메타데이터 정보 유닛은 분할 영역에 대응하는 톤 매핑 곡선의 파라미터를 포함한다.
가능한 설계에서, 메타데이터는 사전 설정된 크기 정보를 더 포함하고, 사전 설정된 크기 정보는 픽셀에 대해 사전 설정된 영역이 선택될 때 사용되는 사전 설정된 형상의 사전 설정된 크기를 나타내거나, 메타데이터는 사전 설정된 형상 및 사전 설정된 크기 정보를 더 포함한다.
가능한 설계에서, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하는 단계는:
분할 영역으로부터 사전 설정된 위치에 있는 복수의 픽셀을 선택하고, 사전 설정된 위치에 있는 복수의 픽셀의 좌표 정보를 획득하는 것과, 좌표 정보를 메타데이터 정보 유닛과 연관시키는 것을 포함한다.
가능한 설계에서, 메타데이터 정보 유닛은 메타데이터 정보 유닛에 대응하는 분할 영역 식별자 및 스캐닝 시퀀스를 더 포함한다. 대응하는 분할 영역 식별자 및 스캐닝 시퀀스는 디스플레이 단말 디바이스에 의해 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하기 위해 사용된다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다.
가능한 설계에서, 방법은 메타데이터와 목표 분할 방식을 연관시켜, 목표 분할 방식으로 표시될 데이터 프레임을 분할할 것을 디스플레이 단말 디바이스에 표시하는 단계를 더 포함한다.
제3 양상에 따르면, 본 출원의 실시예는 톤 매핑 처리 장치를 제공한다. 이 장치는 제1 양상 또는 제1 양상의 가능한 구현 중 임의의 하나에서 방법을 수행하도록 구성된 모듈을 포함한다.
예를 들어, 장치는 획득 모듈, 처리 모듈 및 톤 매핑 모듈을 포함할 수 있다. 획득 모듈은 표시될 이미지 프레임 및 메타데이터를 획득하도록 구성되며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다. 처리 모듈은 표시될 이미지 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응을 결정하도록 구성된다. 톤 매핑 모듈은 표시될 이미지 프레임의 i번째 픽셀에 대해, i번째 픽셀에 대해 선택된 사전 설정된 영역에 포함된 복수의 픽셀을 기반으로, 복수의 픽셀이 속하는 적어도 하나의 관련 분할 영역을 결정하고, 대응에 기초하여, 각 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정하는 동작과, 관련 메타데이터 정보 유닛을 기반으로, 각 관련 분할 영역에 대응하는 톤 매핑 서브값을 구하고, 각 관련 분할 영역에 대응하는 가중 계수를 할당하는 동작과, 각 관련 분할 영역에 대응하는 가중 계수를 할당하는 동작과, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값 및 가중 계수에 기초하여 i번째 픽셀의 톤 매핑 값을 구하고, 톤 매핑 값에 기초하여 i번째 픽셀에 톤 매핑을 수행하는 동작을 수행하도록 구성되되, 여기서, i는 1 내지 N 사이의 임의의 양의 정수이고, N은 표시될 이미지 프레임에 포함된 픽셀의 수량이다.
가능한 설계에서, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하도록 구성될 때, 톤 매핑 모듈은 구체적으로: 각각의 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 사전 설정된 영역에 대응하는 픽셀의 총량을 개별적으로 결정하고, 제1 관련 분할 영역에 대해, 제1 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량 및 총 픽셀의 수량에 기초하여 제1 관련 분할 영역에 대응하는 제1 가중 계수를 할당하는 동작- 여기서, 제1 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 어느 하나임 -과, 및/또는 각 관련 분할 영역에서 사전 설정된 영역에 대응하는 사전 설정된 특징값을 개별적으로 결정하는 동작을 수행하고, 제2 관련 분할 영역에 대해, 제2 관련 분할 영역의 사전 설정된 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값 사이의 특징 차이에 기초하여 대응하는 제2 가중 계수를 제2 관련 분할 영역에 할당하는 동작을 수행하도록 구성되되, 제2 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 임의의 하나이다.
가능한 설계에서, 메타데이터는 다음 정보, 즉 제1 가중 계수 강도값 또는 제2 가중 계수 강도값 중 하나 또는 그 조합을 추가로 포함한다. 제1 가중 강도값은 표시될 이미지 프레임의 픽셀 수량 분포 상태에 기초하여 제1 가중 계수를 조정하는 데 사용된. 제2 가중 강도값은 표시될 이미지 프레임의 사전 설정된 특징값 변경 상태에 기초하여 제2 가중 계수를 조정하는 데 사용된다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 적어도 하나의 사전 설정된 특징값이 있다.
가능한 설계에서, 관련 메타데이터 정보 유닛에 기초하여, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하도록 구성될 때, 톤 매핑 모듈은 구체적으로, 톤 매핑 곡선에 기초하여, 관련 분할 영역의 i번째 픽셀에 대응하는 톤 매핑 서브값을 획득하도록 구성되며, 여기서 관련 메타데이터 정보 유닛은 톤 매핑 곡선의 파라미터를 포함한다.
가능한 설계에서, i번째 픽셀에 대해 선택된 사전 설정된 영역은, i번째 픽셀을 중심으로 사용하여 선택되고 사전 설정된 크기의 사전 설정된 형상을 갖는 영역, i번째 픽셀을 중심으로 사용하고 사전 설정된 형상 및 메타데이터에 포함된 사전 설정된 크기 정보를 기반으로 결정되는 영역, 또는 i번째 픽셀을 중심으로 사용하고 메타데이터에 포함된 사전 설정된 형상 및 사전 설정된 크기 정보를 기반으로 결정되는 영역이다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하도록 구성될 때, 처리 모듈은 구체적으로, 임의의 분할 영역에 대해, 분할 영역으로부터 사전 설정된 위치의 픽셀을 선택하고, 사전 설정된 위치의 픽셀의 좌표 정보를 획득하고, 좌표 정보에 기초하여, 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하고, 분할 영역과 대응하는 메타데이터 정보 유닛 사이의 대응을 설정하고, 또는 임의의 메타데이터 정보 유닛에 대해, 메타데이터 정보 유닛에 포함된 하나 이상의 좌표 정보에 기초하여, 하나 이상의 좌표 정보에 대응하는 적어도 하나의 분할 영역을 결정하고, 메타데이터 정보 유닛과 대응하는 적어도 하나의 분할 영역 사이의 대응을 설정하도록 구성된다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하도록 구성될 때, 처리 모듈은 구체적으로, 목표 스캐닝 시퀀스 및 분할 영역 식별자에 기초하여 복수의 분할 영역을 트래버스하여 각 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하도록 구성되며, 여기서 메타데이터 정보 유닛은 대응하는 분할 영역 식별자를 포함하고, 목표 스캐닝 시퀀스는 사전 설정된 스캐닝 시퀀스 또는 메타데이터에 표시된 스캐닝 시퀀스이다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다.
가능한 설계에서, 목표 분할 방식은 사전 설정된 분할 방식 또는 메타데이터에 표시된 분할 방식이다.
제4 양상에 따르면, 본 출원의 실시예는 톤 매핑 장치를 제공한다. 이 장치는 제2 양상 또는 제2 양상의 가능한 구현 중 임의의 하나에 따라 방법을 수행하도록 구성된 모듈을 포함한다.
예를 들어, 장치는 캡처 모듈, 처리 모듈 및 트랜시버 모듈을 포함할 수 있다. 캡처 모듈은 표시될 데이터 프레임을 얻기 위해 이미지 데이터를 캡처하도록 구성된다. 처리 모듈은 표시될 데이터 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하도록 구성된다. 트랜시버 모듈은 표시될 데이터 프레임 및 메타데이터를 디스플레이 단말 디바이스로 전송하도록 구성되며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다.
가능한 설계에서, 처리 모듈은: 복수의 분할 영역에 각각 포함된 픽셀의 수량에 기초하여 제1 가중 강도값을 결정하고, 및/또는 복수의 분할 영역에 각각 대응하는 사전 설정된 특징값에 기초하여 제2 가중 강도값을 결정하고, 제1 가중 강도값 및/또는 제2 가중 강도값을 메타데이터와 연관시키도록 더 구성된다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 적어도 하나의 사전 설정된 특징값이 있다.
가능한 설계에서, 메타데이터 정보 유닛은 분할 영역에 대응하는 톤 매핑 곡선의 파라미터를 포함한다.
가능한 설계에서, 메타데이터는 사전 설정된 크기 정보를 더 포함하고, 사전 설정된 크기 정보는 픽셀에 대해 사전 설정된 영역이 선택될 때 사용되는 사전 설정된 형상의 사전 설정된 크기를 나타내거나, 메타데이터는 사전 설정된 형상 및 사전 설정된 크기 정보를 더 포함한다.
가능한 설계에서, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하도록 구성될 때, 처리 모듈은 구체적으로, 분할 영역으로부터 사전 설정된 위치에 있는 복수의 픽셀을 선택하고, 사전 설정된 위치에 있는 복수의 픽셀의 좌표 정보를 획득하고, 좌표 정보를 메타데이터 정보 유닛과 연관시키도록 구성된다.
가능한 설계에서, 메타데이터 정보 유닛은 메타데이터 정보 유닛에 대응하는 분할 영역 식별자 및 스캐닝 시퀀스를 더 포함한다. 대응하는 분할 영역 식별자 및 스캐닝 시퀀스는 디스플레이 단말 디바이스에 의해 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는데 사용된다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다.
가능한 설계에서, 처리 모듈은 목표 분할 방식을 메타데이터와 연관시켜, 표시될 데이터 프레임을 목표 분할 방식으로 분할할 것을 디스플레이 단말 디바이스에 나타내도록 더 구성된다.
제5 양상에 따르면, 본 출원의 실시예는 서로 결합된 비휘발성 메모리 및 프로세서를 포함하는 디스플레이 단말 디바이스를 제공한다. 프로세서는 메모리에 저장된 프로그램 코드를 호출하여 제1 양상 또는 제1 양상의 가능한 구현 중 어느 하나에 따른 방법을 수행한다.
제6 양상에 따르면, 본 출원의 실시예는 서로 결합된 비휘발성 메모리 및 프로세서를 포함하는 캡처 단말 디바이스를 제공한다. 프로세서는 메모리에 저장된 프로그램 코드를 호출하여 제2 양상 또는 제2 양상의 가능한 구현 중 어느 하나에 따른 방법을 수행한다.
제7 양상에 따르면, 본 출원의 실시예는 프로그램 또는 명령어를 포함하는 컴퓨터 판독가능 저장 매체를 제공한다. 프로그램 또는 명령어가 컴퓨터에서 실행될 때, 제1 양상 또는 제1 양상의 가능한 구현 중 어느 하나에 따른 방법이 수행되거나, 제2 양상 또는 제2 양상의 가능한 구현 중 어느 하나에 따른 방법이 수행된다.
제2 양상 내지 제7 양상에서 달성될 수 있는 기술적 효과에 대한 자세한 내용은 제1 양상 또는 제1 양상의 가능한 구현 중 어느 하나에서 달성되는 기술적 효과에 대한 설명을 참조함을 이해해야 한다. 세부 사항은 여기서 다시 설명하지 않는다.
도 1은 PQ 광전 전달 함수(PQ optical electro transfer function)의 관계에 대한 개략도이다.
도 2는 HLG 광전 전달 함수의 관계에 대한 개략도이다.
도 3은 SLF 광전 전달 함수의 관계에 대한 개략도이다.
도 4는 본 출원의 실시예가 적용될 수 있는 가능한 시스템 아키텍처의 개략도이다.
도 5는 본 출원의 실시예에 따른 톤 매핑 방법의 개략적인 흐름도이다.
도 6은 본 출원의 실시예에 따른 분할 방식 A에서의 분할에 대한 개략도이다.
도 7은 본 출원의 실시예에 따른 분할 방식 B에서의 분할에 대한 개략도이다.
도 8은 본 출원의 실시예에 따른 분할 방식 C에서의 분할에 대한 개략도이다.
도 9는 본 출원의 실시예에 따른 스캐닝 시퀀스의 개략도이다.
도 10은 본 출원의 실시예에 따른 관련 분할 영역을 결정하는 개략도이다.
도 11은 본 출원의 실시예에 따른 관련 분할 영역을 결정하는 또 다른 개략도이다.
도 12는 본 출원의 실시예에 따른 휘도 특징값의 개략도이다.
도 13은 본 출원의 실시예에 따른 톤 매핑 방법의 또 다른 개략적인 흐름도이다.
도 14는 본 출원의 실시예에 따른 톤 매핑 장치의 구조에 대한 개략도이다.
도 15는 본 출원의 실시예에 따른 톤 매핑 장치의 구조에 대한 또 다른 개략도이다.
도 16은 본 출원의 실시예에 따른 전자 디바이스의 구조에 대한 개략도이다.
본 출원의 실시예에서, "적어도 하나"라는 용어는 하나 이상을 나타내고 "복수의"는 둘 이상을 나타낸다. "및/또는"는 연관된 객체 간의 연관 관계를 나타내며 세 가지 관계가 존재할 수 있음을 나타낸다. 예를 들어 A 및/또는 B는: A만 존재하는 경우, A와 B가 모두 존재하는 경우, B만 존재하는 경우를 나타내는데, 여기서 A와 B는 단수 또는 복수일 수 있다. 문자 "/"는 일반적으로 연관된 객체 간의 "또는" 관계를 나타낸다. "다음 아이템(부분) 중 적어도 하나" 또는 이와 유사한 표현은 단일 아이템들(부분들) 또는 복수 아이템(부분)의 임의의 조합을 포함하여 이러한 아이템의 임의의 조합을 지칭한다. 예를 들어, a, b 또는 c 중 적어도 하나는 a, b, c, a 및 b, a 및 c, b 및 c, 또는 a, b 및 c를 나타낼 수 있다. a, b, c, a 및 b, a 및 c, b 및 c, 또는 a, b 및 c 중 어느 것이라도 단수 a, 단수 b, 단수 c를 포함하거나, 복수 a, 복수 b, 복수 c를 포함할 수 있다.
또한, 달리 명시되지 않는 한, 본 출원의 실시예에서 "제1" 및 "제2"와 같은 서수는 복수의 객체를 구별하기 위한 것이지, 복수의 객체의 순서, 시간 순서, 우선순위 또는 중요성을 제한하기 위한 것이 아다. 예를 들어, 제1 우선순위 기준과 제2 우선순위 기준은 서로 다른 기준을 구별하기 위해 사용될 뿐, 두 기준의 서로 다른 내용, 우선순위, 중요도 등을 나타내지 않는다.
또한, 본 출원의 실시예, 청구범위 및 첨부된 도면에서 "포함한" 및 "갖는"라는 용어는 배타적이지 않다. 예를 들어, 일련의 단계 또는 모듈/유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 디바이스는 나열된 단계 또는 모듈에 국한되지 않으며, 나열되지 않은 단계 또는 모듈/유닛을 추가로 포함할 수 있다.
디지털 이미지 디스플레이 분야에서, 다이나믹 레인지(dynamic range)는 표시 가능한 이미지 범위 내에서 최대 그레이스케일 값과 최소 그레이스케일 값의 비율을 나타낼 수 있다. 현재, 대부분의 컬러 디지털 이미지에서, 채널 R, G, B 각각은 1바이트, 즉 8비트를 사용하여 저장된다. 구체적으로, 각 채널의 표현 범위가 0에서 255까지의 그레이스케일 레벨인 경우, 이미지의 다이나믹 레인지는 0에서 255이다. 그러나, 현실 세계에서 동일한 장면의 다이나믹 레인지는 일반적으로 10-3 내지 106이며, 이를 하이 다이나믹 레인지(high dynamic range, HDR)라고 할 수 있다. 하이 다이나믹 레인지와 비교하여, 일반적인 이미지의 다이나믹 레인지는 로우 다이나믹 레인지(low dynamic range, LDR)라고 하며, LDR은 일반적으로 1 내지 100이다. 따라서, 디지털 카메라의 이미징 프로세스는 실제로 현실 세계의 하이 다이나믹 레인지에서 사진의 로우 다이나믹 레인지로 매핑하는 프로세스라고 이해할 수 있다.
이미지의 다이나믹 레인지가 클수록 이미지에 표시되는 장면의 디테일과 휘도가 더 풍부해지고 시각적 효과가 더 생생해진다.
광학 디지털 이미징 프로세스(예컨대, 디지털 카메라의 이미징 프로세스 및 비디오 재생 프로세스)는 이미지 센서를 사용하여 실제 장면의 광선을 전기 신호로 변환하고 디지털 이미지의 형태로 저장을 수행하는 것이다. 이미지 디스플레이는 디스플레이 단말 디바이스를 사용하여, 디지털 이미지로 묘사된 실제 장면을 재현하는 것을 목표로 한다. 광학 디지털 이미징 프로세스 및 이미지 디스플레이의 궁극적인 목표는 사용자가 실제 장면을 직접 관찰할 때와 동일한 시각적 인식을 얻을 수 있도록 하는 것이다. 실제 장면에 대한 광 복사(광학 신호)로 보여줄 수 있는 휘도 레벨은 거의 선형적이다. 따라서, 광학 신호를 선형 신호라고도 한다. 그러나, 광학 디지털 이미징에서 광학 신호를 전기 신호로 변환하는 프로세스에서, 모든 광학 신호가 하나의 전기 신호에 대응하는 것은 아니다. 또한, 변환을 통해 얻은 전기 신호는 일반적으로 비선형이다. 따라서, 전기 신호는 비선형 신호라고도 한다. 광학 신호를 전기 신호로 변환하는 곡선은 광전 전달 함수(optical electro transfer function, OETF)라고 한다. 본 출원의 실시예에서, 광전 전달 함수는 지각 양자화기(perceptual quantizer, PQ) 광전 전달 함수, 하이브리드 로그 감마(hybrid log-gamma, HLG) 광전 전달 함수, 장면 휘도 충실도(scene luminance fidelity, SLF) 광전 전달 함수 등을 포함할 수 있지만 이에 국한되지 않는다.
PQ 광전 전달 함수는 사람의 눈에 대한 휘도 인식 모델을 기반으로 제공되는 지각 양자화 광전 전달 함수이다. PQ 광전 전달 함수는 이미지 픽셀의 선형 신호 값에서 PQ 도메인의 비선형 신호 값으로의 변환 관계를 나타낸다. 도 1은 PQ 광전 전달 함수의 관계를 개략적으로 나타낸다. PQ 광전 전달 함수는 방정식 (1-1)로 표현될 수 있다:
(1-1)
방정식 (1-1)의 파라미터는 다음 방정식에 따른 계산을 통해 얻어질 수 있다:
L은 선형 신호 값을 나타내며, 값은 [0, 1]로 정규화된다.
L'는 비선형 신호 값을 나타내며, 값의 범위는 [0, 1]이다.
이며, m1은 PQ 광전 전달 계수이다.
이며, m2은 PQ 광전 전달 계수이다.
이며, c1는 PQ 광전 전달 계수이다.
이며, c2는 PQ 광전 전달 계수이다.
이며, c3는 PQ 광전 전달 계수이다.
HLG 광전 전달 함수는 기존 감마 곡선을 개선하여 얻은 것이다. HLG 광전 전달 함수의 경우, 하부 절반 영역에는 기존 감마 곡선이 사용되고 상부 절반 영역에는 로그 곡선이 추가된다. 도 2는 HLG 광전 전달 함수의 관계를 개략적으로 나타낸다. HLG 광전 전달 함수는 이미지 픽셀의 선형 신호 값에서 HLG 도메인의 비선형 신호 값으로의 변환 관계를 나타낸다. HLG 광전 전달 함수는 방정식 (1-2)로 표현될 수 있다:
(1-2)
L은 선형 신호 값을 나타내며 값의 범위는 [0, 12]이다. L'는 비선형 신호 값을 나타내며 값의 범위는 [0, 1]이다. a=0.17883277이며, HLG 광전 전달 계수를 나타낸다. b=0.28466892이며, HLG 광전 전달 계수를 나타낸다. c=0.55991073이며, HLG 광전 전달 계수를 나타낸다.
SLF 광전 전달 함수는 사람 눈의 광학적 특성이 만족될 때 HDR 장면에서 휘도 분포를 기반으로 얻은 최적의 곡선이다. 도 3은 SLF 광전 전달 함수의 관계를 개략적으로 나타낸다.
SLF 광전 전달 곡선은 이미지 픽셀의 선형 신호 값에서 SLF 도메인의 비선형 신호 값으로의 변환 관계를 나타낸다. 이미지 픽셀의 선형 신호 값에서 SLF 도메인의 비선형 신호 값으로의 변환 관계는 방정식 (1-3)으로 표현된다:
(1-3)
SLF 광전 전달 함수는 방정식 (1-4)로 표현할 수 있다:
(1-4)
L은 선형 신호 값을 나타내며, 값은 [0, 1]로 정규화된다. L'은 비선형 신호 값을 나타내며, 값의 범위는 [0, 1]로 정규화된다. p=2.3이며, SLF 광전 전달계수를 나타낸다. m=0.14이며, SLF 광전 전달 계수를 나타낸다. a=1.12762이며, SLF 광전 전달 계수를 나타낸다. b=-0.12762이며, SLF 광전 전달 계수를 나타낸다.
현재, 캡처 단말 디바이스는 더 큰 다이나믹 레인지를 갖는 HDR 비디오 또는 이미지를 캡처할 수 있다(다음 실시예에서는 설명을 위해, 이미지를 예로 사용하며, 비디오는 복수의 이미지 프레임으로 표현될 수 있다고 이해될 수 있다). 그러나, 디스플레이 단말 디바이스의 디스플레이 기능은 제한되어 있으며, 캡처 단말 디바이스의 다이내믹 레인지와 잘 일치할 수 없다. 종래 기술에서는 표시될 이미지에 대해 톤 매핑(tone mapping, TM)을 수행할 수 있는 처리 방식이 제공되어, 서로 다른 다이나믹 레인지에서 이미지의 매칭을 구현할 수 있다. 예를 들어, 톤 매핑은 하이 다이나믹 레인지에서 로우 다이나믹 레인지로 또는 로우 다이나믹 레인지에서 하이 다이나믹 레인지로 분류될 수 있다. 예를 들어, 캡처 단말 디바이스에 의해 캡처된 HDR 이미지는 4000니트(nit)(조명 신호 단위) 조명 신호를 포함하고, 디스플레이 단말 디바이스(예컨대, 텔레비전 세트 또는 휴대폰)의 HDR 디스플레이 기능은 500니트에 불과하다. 이 경우, 4000니트 신호는 500니트 디바이스에 매핑되어야 한다. 즉, 톤 매핑 프로세스는 높은 톤에서 낮은 톤으로 진행된다. 또 다른 예로, HDR 이미지는 100니트 SDR 신호를 포함하고 목표 디스플레이 단말 디바이스의 디스플레이 성능은 2000니트에 불과하다. 이 경우, 100니트 신호는 2000니트 장치에 매핑되어야 한다. 즉, 톤 매핑 프로세스는 낮은 톤에서 높은 톤으로 진행된다.
톤 매핑은 일반적으로 캡처 단말 디바이스에 의해 캡처된 하이 레벨 HDR 이미지와 디스플레이 단말 디바이스에 의해 표시되는 로우 레벨 HDR 이미지 또는 SDR 이미지 간의 매칭에 적용된다. 도 4는 본 출원의 실시예가 적용 가능한 시스템 아키텍처의 개략도이다. 본 출원의 이 실시예의 시스템 아키텍처는 캡처 단말 디바이스(401), 디스플레이 단말 디바이스(402) 및 전송 링크(403)를 포함할 수 있다. 디스플레이 단말 디바이스(402)는 더 구체적으로는 HDR 디스플레이 디바이스(402a) 및 SDR 디스플레이 디바이스(402b)로 분류될 수 있다.
캡처 단말 디바이스(401)는 HDR 비디오 또는 이미지를 캡처하거나 생성하도록 구성된다. 예를 들어, 캡처 단말 디바이스(401)는 비디오(또는 이미지) 캡처 디바이스일 수도 있고, 비디오(또는 이미지) 생성 디바이스일 수도 있다. 가능한 예에서, 캡처 단말 디바이스(401)는 HDR 비디오 또는 이미지에 기초하여 메타데이터(metadata)를 추가로 생성할 수 있다. 메타데이터는 캡처된 이미지의 주요 정보를 장면 또는 프레임에 기록하는 데 사용된다. 본 출원의 이 실시예에서, 메타데이터는 톤 매핑 곡선의 파라미터, 동적 메타데이터(dynamic metadata), 정적 메타데이터(static metadata) 등을 포함할 수 있다. 동적 메타데이터는 이미지의 각 프레임과 연관된 데이터로 이해될 수 있으며, 이 데이터는 장면의 픽셀 휘도의 평균값, 최대값 및 최소값과 같이 상이한 이미지에 따라 변동될 수 있다. 정적 메타데이터는 이미지 시퀀스와 연관된 데이터로 이해될 수 있으며, 이 데이터는 이미지 시퀀스에서 변경되지 않은 상태로 유지된다.
캡처 단말 디바이스(401)는 전송 링크(403)를 통해 HDR 비디오 또는 이미지, 즉 메타데이터 데이터를 디스플레이 단말 디바이스(402)로 전송할 수 있다. 구체적으로, HDR 비디오 또는 이미지와 메타데이터는 하나의 데이터 패킷의 형태로 전송될 수 있고, 2개의 데이터 패킷으로 분리되어 전송될 수도 있다. 이는 본 출원의 실시예에서 특별히 제한되지 않는다.
디스플레이 단말 디바이스(402)는 메타데이터와 HDR 비디오 또는 이미지를 수신하고, 메타데이터에 포함된 톤 매핑 곡선의 파라미터에 기초하여 톤 매핑 곡선을 결정하고, 톤 매핑 곡선에 기초하여 HDR 비디오에 톤 매핑을 수행하여, HDR 비디오를 디스플레이 단말 디바이스(402)에 적용 가능한 디스플레이 콘텐츠로 변환하도록 구성될 수 있다. 디스플레이 단말 디바이스(402)는 HDR 디스플레이 디바이스(402a)와 SDR 디스플레이 디바이스(402b)로 분류될 수 있다. 디스플레이 단말 디바이스(402)의 HDR은 캡처 단말 디바이스(401)의 HDR과 다를 수 있다는 점에 유의해야 한다. 일반적으로, 디스플레이 단말 디바이스(402)의 HDR은 캡처 단말 디바이스(401)의 HDR보다 낮다. 예를 들어, 캡처 단말 디바이스(401)의 HDR은 10-3 ~ 104이다(본 실시예에서는 "하이 레벨 HDR"이라고도 할 수 있다). 디스플레이 단말 디바이스(402)의 HDR은 10-1 ~ 103이다(본 출원의 이 실시예에서는 "로우 레벨 HDR"이라고도 할 수 있다). 다른 실시예에서, 디스플레이 단말 디바이스(402)는 캡처 단말 디바이스(401)에 의해 생성된 HDR 비디오 또는 이미지보다 더 하이 다이나믹 레인지의 디스플레이 기능을 갖는 디스플레이 단말 디바이스를 더 포함할 수 있다는 것을 더 이해해야 한다. 디스플레이 단말 디바이스의 디스플레이 매칭 프로세스가 시스템 아키텍처에 적용될 수도 있다. 이는 본 출원에서 제한되지 않는다.
배경에서 소개한 내용에 따르면, 기존의 톤 매핑 방식은 주로 톤 매핑 곡선 기반 또는 블록 기반 로컬 톤 매핑 방식을 사용하지만, 톤 매핑 효과가 떨어지는 문제가 존재한다. 예를 들어, 톤 매핑 곡선 기반 방식에서는 일반적으로 하나의 로컬 창을 기준으로 톤 매핑이 구현된다. 단일 도형을 사용하여 로컬 처리가 수행되는 경우, 경계 효과가 존재할 수 있다.
이러한 관점에서, 본 출원의 실시예는 톤 매핑 효과를 향상시킬 수 있는 기술적 솔루션을 설계하기 위한 톤 매핑 방법을 제공한다. 이하에서는 첨부된 도면을 참조하여 본 출원의 실시예에서 제공하는 방법을 설명한다.
도 5는 본 출원의 실시예에 따른 디스플레이 단말 디바이스(402)에 적용 가능한 톤 매핑 방법의 개략적인 흐름도이다. 도 5에 도시된 프로세스는 다음 단계를 포함한다.
단계 501: 디스플레이 단말 디바이스(402)는 표시될 이미지 프레임 및 메타데이터를 획득하며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다. 표시될 이미지 프레임은 이미지일 수도 있고, 비디오에 포함된 복수의 이미지 프레임 중 임의의 이미지 프레임일 수도 있음을 이해해야 한다. 또한, 표시될 이미지 프레임은 캡처 단말 디바이스(401)에 의해 전송된 데이터일 수도 있고, 다른 이미지 처리 절차, 예를 들어, 글로벌 톤 매핑을 통해 획득된 데이터일 수도 있다. 메타데이터는 캡처된 표시될 이미지 프레임을 기반으로 캡처 단말 디바이스(401)에 의해 생성될 수 있다. 메타데이터 생성의 구체적인 구현은 캡처 단말 디바이스(401)의 후속 처리 절차에 설명되어 있다. 자세한 내용은 여기서는 설명하지 않는다.
단계 502: 디스플레이 단말 디바이스(402)는 표시될 이미지 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응을 결정한다.
목표 분할 방식은 사전 설정된 분할 방식일 수도 있고, 메타데이터에 표시된 분할 방식일 수도 있다. 선택적으로, 사전 설정된 분할 방식은 디스플레이 단말 디바이스(402)에 의해 사전 설정될 수 있다. 정확한 메타데이터를 얻기 위해, 이 장면에서 캡처 단말 디바이스(401) 및 디스플레이 단말 디바이스(402)에 대해 동일한 사전 설정된 분할 방식이 사전 설정된될 수 있음을 이해해야 한다. 또는, 선택적으로, 캡처 단말 디바이스(401)와 디스플레이 단말 디바이스(402)에 대해 동일한 분할 방식을 구현하기 위해, 디스플레이 단말 디바이스(402)의 목표 분할 방식이 캡처 단말 디바이스(401)에 의해 메타데이터에 표시될 수 있다.
예를 들어, 본 실시예에서는 다음과 같은 몇 가지 가능한 분할 방식을 제공한다. 다음과 같은 분할 방식은 구현 중에 제한되지 않는다는 점을 이해해야 한다.
분할 방식 A에서, 디스플레이 단말 디바이스(402)는 제1 방향 및 제2 방향에 각각 대응하는 제1 분할 파라미터에 기초하여 표시될 이미지 프레임을 복수의 직사각형 분할 영역으로 균등하게 분할한다. 제1 방향은 제2 방향에 수직이다. 선택적으로, 제1 분할 파라미터는 분할 양일 수 있다. 이 경우, 분할을 통해 얻은 복수의 분할 영역은 동일한 크기의 직사각형 영역으로 표현된다.
도 6은 본 출원의 실시예에 따른 분할 방식 A에서의 분할의 개략도이다. 제1 방향은 수평 방향일 수 있고, 제2 방향은 수직 방향일 수 있다. 제1 방향의 분할 양은 M1(M1의 값은 일반적으로 ≤16임)으로 표시되고, 제2 방향의 분할 양은 M2(M2의 값은 일반적으로 ≤16임)로 표시된다고 가정한다. 도 6에서, M1의 값이 4이고 M2의 값도 4인 예에서, 표시될 이미지 프레임은 16개의 분할 영역, 즉 동일한 크기의 16개의 직사각형 영역으로 분할될 수 있다. M1의 값과 M2의 값은 같거나 다를 수 있음을 이해해야 한다. 예를 들어, M1의 값은 6이고 M2의 값은 4일 수 있다.
분할 방식 B에서, 디스플레이 단말 디바이스(402)는 제1 방향 및 제2 방향에 각각 대응하는 제2 분할 파라미터에 기초하여 표시될 이미지 프레임을 복수의 직사각형 분할 영역으로 분할한다. 선택적으로, 제 2 분할 파라미터는 분할 목록일 수 있다. 이 경우, 분할을 통해 얻어진 복수의 분할 영역은 임의의 크기의 직사각형 영역으로 표현된다.
도 7은 본 출원의 실시예에 따른 분할 방식 B에서의 분할의 개략도이다. 제1 방향의 분할 목록은 w[j1](j1은 1에서 M1까지의 범위일 수 있으며, M1은 제1 방향의 분할 양을 나타냄)로 표시되고, 제2 방향의 분할 목록은 h[j2](j2는 1에서 M2까지의 범위일 수 있으며, M2는 제2 방향의 분할 양을 나타냄)로 표시된다고 가정한다. 도 7에서, M1의 값은 4이고 M2의 값도 4이다. 예를 들어 도 7에 포함된 w[1], w[2], w[3], w[4]의 모든 두 값은 같거나 다를 수 있다. 도 7에 포함된 h[1], h[2], h[3], h[4]의 모든 두 값은 같거나 다를 수 있다.
분할 방식 C에서, 디스플레이 단말 디바이스(402)는 표시될 이미지 프레임에 포함된 픽셀에 대해 클러스터링을 수행하고, 클러스터링 결과에 기초하여 표시될 이미지 프레임을 복수의 불규칙 분할 영역으로 분할하고, 각 불규칙 분할 영역은 적어도 하나의 유형의 픽셀을 포함한다.
도 8은 본 출원의 실시예에 따른 분할 방식 C에 의한 분할의 개략도이다. 본 출원을 구현하는 동안, 표시될 이미지 프레임에 대한 클러스터링 처리를 수행하기 위해 복수의 선택적 클러스터링 방식 중에서 목표 클러스터링 방식이 선택될 수 있다. 본 출원에서는 특정 클러스터링 방식이 제한되지 않는다. 예를 들어, 클러스터링 처리를 통해 얻어진 표시될 이미지 프레임은 도 8에 도시된 바와 같이 16개의 분할 영역으로 분할될 수 있다. 예를 들어, 표시될 이미지 프레임에 대해 클러스터링을 수행할 때, 디스플레이 단말 디바이스(402)는 먼저 전술한 제1 분할 파라미터 또는 제2 분할 파라미터에 기초하여 표시될 이미지 프레임을 복수의 직사각형 영역으로 분할하고, 각 직사각형 영역의 중심 픽셀의 좌표 정보 및 특징 정보(특징 정보는 예를 들어 색상 성분 값임)를 결정하고, 표시될 이미지 프레임에 포함된 각 픽셀 및 각 중심 픽셀에 대한 클러스터링 분석을 수행하여 클러스터링 결과를 얻을 수 있다. 마지막으로, 도 8에 도시된 분할의 개략도가 클러스터링 결과를 기반으로 얻어진다.
또한, 클러스터링 분석을 용이하게 하고 클러스터링 처리의 처리량을 줄이기 위해, 본 출원의 구현 중에, 표시될 이미지 프레임에 대해 이미지 분할을 수행할 때, 썸네일화된 표시될 이미지 프레임을 참조하여 이미지 분할 처리가 추가로 수행될 수 있다. 예를 들어, 썸네일화된 표시될 이미지 프레임에 대해, 캡처된 표시될 이미지 프레임의 제1 방향에서의 해상도의 1/N1 및 제2 방향에서의 해상도의 1/N2가 선택될 수 있다. 이러한 방식으로, 썸네일화된 표시될 이미지 프레임을 기반으로 클러스터링 분석이 수행되므로 클러스터링 처리 프로세스에서 픽셀의 수량이 감소될 수 있다.
본 출원을 구현하는 동안, 서로 다른 특징을 갖는 이미지에 대해 적절한 분할 방식이 선택될 수 있다는 점에 유의해야 한다. 예를 들어, 분할 방식 A는 표시될 이미지 프레임이 로컬 특징이 명확하지 않은 이미지 프레임, 예를 들어 순색 이미지 프레임 또는 일반 이미지인 경우에 적용될 수 있으며, 또는 임의의 이미지 프레임에 적용될 수 있다. 이는 본 출원에서 제한되지 않는다. 분할 방식 C는 특정 로컬 특징 등을 갖는 이미지 프레임에 적용될 수 있다. 디스플레이 단말 디바이스(402) 및/또는 캡처 단말 디바이스(401)는 복수의 분할 방식을 미리 저장할 수 있으며, 상이한 특징을 갖는 이미지 프레임에 기초하여 대응하는 목표 분할 방식을 추가로 선택할 수 있는 것으로 이해될 수 있다.
복수의 분할 영역을 획득한 후, 디스플레이 단말 디바이스(402)는 메타데이터에 포함된 적어도 하나의 메타데이터 정보 유닛에 기초하여, 각 분할 영역에 대응하는 메타데이터 정보 유닛을 결정한다. 따라서, 분할 영역에 대응하는 톤 매핑 곡선, 동적 메타데이터, 정적 메타데이터 등의 파라미터가 메타데이터 정보 유닛으로부터 얻어질 수 있다. 선택적으로, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응이 있을 수 있다. 즉, 각 분할 영역은 하나의 메타데이터 정보 유닛에 대응할 수 있다. 예를 들어, 도 8에서, 16개의 분할 영역은 16개의 메타데이터 정보 유닛에 대응할 수 있다. 또는, 선택적으로, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에 다대일 대응이 있을 수 있다. 즉, 하나 이상의 분할 영역은 하나의 메타데이터 정보 유닛에 대응할 수 있다. 예를 들어, 도 8에서, 분할 영역 1과 분할 영역 2는 하나의 메타데이터 정보 유닛에 대응할 수 있고, 분할 영역 3과 분할 영역 4는 하나의 메타데이터 정보 유닛에 대응할 수 있는 등, 복수의 분할 영역이 하나의 메타데이터 정보 유닛에 대응할 수 있다. 이러한 다대일 대응을 통해, 캡처 단말 디바이스(401)와 디스플레이 단말 디바이스(402) 사이에서 전송되는 메타데이터의 데이터 양을 줄일 수 있고, 데이터 전송 효율을 향상시킬 수 있다는 것이 이해될 수 있다.
예를 들어, 본 출원의 이 실시예는 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 다음의 몇 가지 가능한 예를 제공한다. 다음의 예들은 구현 중에 제한되지 않는다는 것을 이해해야 한다.
예 1: 캡처 단말 디바이스(401)는 메타데이터 정보 유닛에서 해당 분할 영역 식별자를 나타낼 수 있다.
선택적으로, 분할 영역 식별자는 메타데이터 정보 유닛에 포함된 분할 영역의 수량일 수 있다. 구현 중에, 디스플레이 단말 디바이스(402)는 목표 스캐닝 시퀀스 및 분할 영역의 양에 기초하여, 표시될 이미지 프레임에 포함된 복수의 분할 영역을 트래버스할 수 있다. 목표 스캐닝 시퀀스는 왼쪽에서 오른쪽으로 그런 다음 위에서 아래로, 위에서 아래로 그런 다음 왼쪽에서 오른쪽으로 등을 포함하지만 이에 국한되지 않는다. 또한, 목표 스캐닝 시퀀스는 사전 설정된 스캐닝 시퀀스이거나 메타데이터에 표시된 스캐닝 시퀀스일 수 있다. 디스플레이 단말 디바이스(402)와 캡처 단말 디바이스(401)는 동일한 사전 설정된 스캐닝 시퀀스를 사용한다는 것을 이해해야 한다.
예를 들어, 도 9는 본 출원의 실시예에 따른 스캐닝 시퀀스의 개략도이다. 표시된 스캐닝 시퀀스는 왼쪽에서 오른쪽으로, 그런 다음 위에서 아래로 진행된다. 도 9에 대응하는 16개의 분할 영역은 3개의 메타데이터 정보 유닛에 대응하는 것으로 가정한다. 제1 메타데이터 정보 유닛은 4개의 분할 영역에 대응하고, 제2 메타데이터 정보 유닛은 7개의 분할 영역에 대응하고, 제3 메타데이터 정보 유닛은 5개의 분할 영역에 대응한다. 이 경우, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응 관계는 다음 표 1-1에 설명될 수 있다.
Figure pct00011
전술한 표 1-1에 설명된 대응에 기초하여, 디스플레이 단말 디바이스(402)는 목표 스캐닝 시퀀스에 기초하여, 제1 메타데이터 정보 유닛이 분할 영역 1 내지 분할 영역 4에 대응하고, 제2 메타데이터 정보 유닛이 분할 영역 5 내지 분할 영역 11에 대응하고, 제3 메타데이터 정보 유닛이 분할 영역 12 내지 분할 영역 16에 대응하는 것을 결정할 수 있다.
또는 선택적으로, 분할 영역 식별자는 분할 영역 시퀀스 번호 정보일 수 있다. 구현 중에, 디스플레이 단말 디바이스(402)는 메타데이터 정보 유닛에 포함된 분할 영역 시퀀스 번호 정보에 기초하여, 메타데이터 정보 유닛에 대응하는 분할 영역을 결정할 수 있다.
예를 들어, 도 9에 도시된 콘텐츠가 사용된다. 이 예에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응은 다음 표 1-2에 설명될 수 있다.
Figure pct00012
전술한 표 1-2에서 설명한 대응에 기초하여, 디스플레이 단말 디바이스(402)는 메타데이터 정보 유닛에 포함된 분할 영역 시퀀스 번호 정보에 기초하여 해당 분할 영역을 직접 결정할 수 있다.
예 2: 임의의 분할 영역에 대해, 디스플레이 단말 디바이스(402)는 분할 영역으로부터 사전 설정된 위치에 있는 하나 이상의 픽셀을 더 선택하고, 사전 설정된 위치에 있는 하나 이상의 픽셀의 좌표 정보를 획득하고, 좌표 정보에 기초하여, 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하고, 따라서 분할 영역과 대응하는 메타데이터 정보 유닛 사이의 대응을 설정할 수 있다. 사전 설정된 위치는 좌측 상단 모서리, 중앙, 우측 하단 모서리, 우측 상단 모서리, 좌측 하단 모서리 등 중 하나 이상의 위치를 포함할 수 있다. 예를 들어, 분할 영역 1의 경우, 좌측 상단 모서리, 중앙, 우측 하단 모서리가 사전 설정된 위치로 선택될 수 있다. 좌측 상단 모서리의 좌표 정보는 (x1, y1)이고, 중앙의 좌표 정보는 (x2, y2)이고, 우측 하단 모서리의 좌표 정보는 (x3, y3)이다. 그러면, (x1, y1), (x2, y2), (x3, y3)을 포함하는 메타데이터 정보 유닛이 결정되어, 분할 영역 1에 대응하는 메타데이터 정보 유닛이 얻어질 수 있다.
임의의 메타데이터 정보 유닛에 대해, 디스플레이 단말 디바이스(402)는 메타데이터 정보 유닛에 포함된 하나 이상의 좌표 정보에 기초하여, 하나 이상의 좌표 정보에 대응하는 적어도 하나의 분할 영역을 더 결정하고, 메타데이터 정보 유닛과 대응하는 적어도 하나의 분할 영역 사이의 대응을 설정할 수 있다는 것을 이해해야 한다.
표시될 이미지 프레임 내의 i번째 픽셀(여기서, i는 1 내지 N 사이의 임의의 양의 정수이고, N은 표시될 이미지 프레임에 포함된 픽셀의 수량)에 대해, 디스플레이 단말 디바이스(402)는 다음 단계 503 내지 단계 505를 수행한다(다음 실시예에서는 임의의 픽셀이 예시로 사용되고, 표시될 이미지 프레임에 포함된 다른 픽셀의 처리 과정도 유사하므로 다음 실시예에서 일일이 설명하지 않는 것으로 이해되어야 한다.)
단계 503: i번째 픽셀에 대해 선택된 사전 설정된 영역에 포함된 복수의 픽셀에 기초하여, 복수의 픽셀이 속한 적어도 하나의 관련 분할 영역을 결정하고, 대응에 기초하여, 각각의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정한다.
i번째 픽셀에 대해 선택된 사전 설정된 영역은, i번째 픽셀을 중심으로 사용하여 선택되고 사전 설정된 크기의 사전 설정된 형상을 갖는 영역(예를 들어, 사전 설정된 형상은 직사각형 또는 사전 설정된 폭과 사전 설정된 길이를 갖는 다른 형상일 수 있음), i번째 픽셀을 중심으로 사용하고 사전 설정된 형상 및 메타데이터에 포함된 사전 설정된 크기 정보에 기초하여 결정되는 영역(여기서, 사전 설정된 형상이 직사각형인 경우, 사전 설정된 크기 정보는 직사각형의 길이 및 폭 정보일 수 있고, 또는 사전 설정된 형상이 원인 경우, 사전 설정된 크기 정보는 원의 반지름 또는 지름 정보일 수 있음), 또는 i번째 픽셀을 중심으로 사용하고 메타데이터에 포함된 사전 설정된 형상 및 사전 설정된 크기 정보에 기초하여 결정되는 영역이다. 즉, 디스플레이 단말 디바이스(402)가 i번째 픽셀의 사전 설정된 영역을 선택하기 위해 사용하는 사전 설정된 형상 또는 사전 설정된 형상의 사전 설정된 크기 정보 또는 둘 다는 로컬에 저장된 정보이거나, 메타데이터에 표시된 정보일 수 있다.
예를 들어, 도 10은 본 출원의 실시예에 따른 관련 분할 영역을 결정하는 개략도이다. 표시될 이미지 프레임은 도 6에 적용된 분할 방식으로 얻어진다. 도 10의 (a) 및 (b)에 도시된 내용을 참조하면, 픽셀 1이 처리될 때, 픽셀 1을 중심으로 하는 직사각형의 사전 설정된영역은 복수의 픽셀을 포함한다. 복수의 픽셀은 분할 영역 1, 분할 영역 2, 분할 영역 5 및 분할 영역 6에 속한다. 이 경우, 픽셀 1에 대해 4개의 관련 분할 영역이 있는 것으로 결정될 수 있다. 도 10의 (a) 및 (c)에 도시된 내용을 참조하여, 픽셀 2를 처리할 때, 픽셀 2를 중심으로 하는 직사각형의 사전 설정된 영역에 포함된 복수의 픽셀은 분할 영역 6, 7, 8, 10, 11, 12, 14, 15 및 16에 속하는 것으로 결정될 수 있다. 이 경우, 픽셀 2에 대해 9개의 관련 분할 영역이 있는 것으로 결정될 수 있다. 픽셀의 관련 분할 영역은 픽셀 위치와 사전 설정된 영역을 기반으로 결정되며, 표시될 이미지 프레임에 포함된 상이한 픽셀의 관련 분할 영역의 양은 동일하거나 다를 수 있음을 이해해야 한다. 표시될 이미지 프레임에 포함되는 복수의 픽셀은 일반적으로 동일한 사전 설정된 크기 정보를 갖는 사전 설정된 영역을 사용할 수 있다. 그러나, 이는 본 출원에서 제한되지 않으며, 다른 사전 설정된 크기 정보를 갖는 사전 설정된 영역도 구현 중에 사용될 수 있다. 도 10에 표시된 픽셀 1과 픽셀 2는 서로 다른 사전 설정된 크기 정보를 사용한다.
다른 예로서, 도 11은 본 출원의 실시예에 따른 관련 분할 영역을 결정하는 또 다른 개략도이다. 표시될 이미지 프레임은 도 8에 적용된 분할 방식으로 얻어진다. 픽세 3을 처리할 때, 픽셀 3을 중심으로 하는 직사각형의 사전 설정된 영역에 포함된 복수의 픽셀은 분할 영역 9, 10, 13, 14 및 15에 속한다. 이 경우, 픽셀 3에 대해 5개의 관련 분할 영역이 있는 것으로 결정될 수 있다.
디스플레이 단말 디바이스(402)가 단계 502에서 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 획득할 수 있다는 점에 기초하여, 픽셀의 관련 분할 영역이 결정된 후, 관련 분할 영역에 포함된 주요 정보, 예를 들어 톤 매핑 곡선의 파라미터, 동적 메타데이터, 정적 메타데이터 및 기타 메타데이터 정보를 관련 분할 영역에 대응하는 메타데이터 정보 유닛으로부터 추가로 획득하여 처리될 픽셀의 톤 매핑을 구현할 수 있다.
단계 504: 디스플레이 단말 디바이스(402)는 관련 메타데이터 정보 유닛에 기초하여, 각 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하고, 각 관련 분할 영역에 대응하는 가중 계수를 할당한다.
예를 들어, 디스플레이 단말 디바이스(402)는 톤 매핑 곡선에 기초하여, 관련 분할 영역의 i번째 픽셀에 대응하는 톤 매핑 서브값을 얻을 수 있으며, 여기서 관련 메타데이터 정보 유닛은 톤 매핑 곡선의 파라미터를 포함한다. i번째 픽셀의 톤 매핑 서브값의 양은 관련 분할 영역의 양에 따라 달라진다는 것을 이해할 수 있다. 예를 들어, 도 10에 도시된 픽셀 1의 경우, 픽셀 1의 관련 분할 영역의 양이 4개이면, 픽셀 1에 대응하는 4개의 톤 매핑 서브값을 얻을 수 있다. 도 10에 표시된 픽셀 2의 경우, 픽셀 2의 관련 분할 영역의 양이 9개이면, 픽셀 2에 대응하는 9개의 톤 매핑 서브값을 얻을 수 있다.
전술한 예에서 설명한 관련 데이터 정보 유닛에 포함된 톤 매핑 곡선의 파라미터는 본 출원을 구현하는 동안 제한되지 않는다. 예를 들어, 톤 매핑 곡선의 파라미터는 선택된 톤 매핑 곡선의 형태에 따라 결정될 수 있다. 톤 매핑 곡선의 형태는 S(시그모이드) 함수 곡선, 큐빅(또는 다중) 스플라인 함수 곡선(cubic (or multiple) spline function curve), 베지어 곡선, 감마 함수 곡선 등을 포함하지만 이에 국한되지 않는다.
톤 매핑 곡선의 파라미터에 기초하여 톤 매핑 곡선을 얻는 실시예에서, 톤 매핑 곡선은 큐빅 스플라인 함수이다. 본 출원의 구현 중에, 디스플레이 단말 디바이스(402)가 임의의 관련 분할 영역의 톤 매핑 곡선을 결정하는 것은 다음 단계를 포함할 수 있다.
A1: 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛으로부터 최대 휘도 값(maxLum)을 획득한다.
A2: maxLum 및 큐빅 스플라인 간격 정보(Num3)를 기반으로 큐빅 스플라인의 간격 길이(Len)를 결정한다. Len은 방정식 (2-1)로 표현될 수 있다:
(2-1)
A3: Len과 간격 인덱스(index)(제1 간격을 식별하기 위한 인덱스)를 기반으로 제1 간격의 시작 위치(TH[index-1])와 끝 위치(TH[index])를 획득하는데, 여기서, 제1 간격은 큐빅 스플라인에 포함된 복수의 간격 중 임의의 간격이다. TH[index]는 방정식 (2-2)로 표현될 수 있다:
TH[index]=index×Len (2-2)
A4: 큐빅 스플라인 간격 정보, 간격 인덱스 및 큐빅 스플라인 간격 값을 기반으로 제1 간격의 큐빅 스플라인 파라미터 P0, P1, P2 및 P3을 구한다.
A4-1: 큐빅 스플라인 간격 값과 큐빅 스플라인 간격 정보를 기반으로 제1 간격의 초기 간격 기울기를 구한다. 초기 간격 기울기는 방정식 (2-3)으로 표현될 수 있다:
(2-3)
는 제1 간격의 초기 간격 기울기를 나타낸다. 는 제1 간격의 큐빅 스플라인 간격 값을 나타내고, 는 제1 간격의 이전 간격의 큐빅 스플라인 간격 값을 나타낸다.
A4-2: 초기 간격 기울기에 기초하여 제1 간격의 간격 끝점 기울기(interval endpoint slope)를 구한다. 간격 끝점 기울기는 다음 식 (2-4)로 표현될 수 있는 시작 간격 끝점 기울기와 다음 식 (2-5)로 표현될 수 있는 종료 간격 끝점 기울기를 포함한다:
(2-4)
는 제1 간격의 이전 간격의 초기 간격 기울기를 나타낸다. 는 시작 간격 끝점 기울기를 나타낸다.
(2-5)
는 제1 간격의 다음 간격의 초기 간격 기울기를 나타낸다. 는 종료 간격 끝점 기울기(end interval endpoint slope)를 나타낸다.
A4-3: 제1 간격의 큐빅 스플라인 파라미터 P0, P1, P2, P3은 다음 방정식 (2-6) ~ (2-9)로 표현될 수 있다:
P0=THValue[index-1] (2-6)
P1=gainStart[index] (2-7)
(2-8)
(2-9)
식 (2-8) 및 식 (2-9)에서 , , 및 는 중간 값이며, 다음과 같은 방식으로 계산하여 얻어질 수 있다:
ValueA=THValue[index]-gainStart[index]ХValueC-THValue[index-1]
ValueB=gainEnd[index]-gainStart[index]
ValueC=TH[index]-TH[index-1]
A5: 관련 분할 영역의 톤 매핑 곡선에 대응하는 함수의 표현식은 큐빅 스플라인 파라미터 P0, P1, P2, P3을 기반으로 얻을 수 있으며 다음 방정식 (2-10)으로 표현될 수 있다:
L'=H(L)=P0+P1Х(L-TH[index-1])+P2Х(L-TH[index-1])2+P3Х(L-TH[index-1])2 (2-10)
L은 선형 신호 값을 나타내며, 값은 [0, 1]로 정규화된다. L'은 비선형 신호 값을 나타내며, 값의 범위는 [0, 1]이다. H(L)는 톤 매핑 곡선에 해당하는 함수를 나타낸다.
톤 매핑 곡선의 파라미터를 기반으로 톤 매핑 곡선을 구하는 다른 실시예에서, 톤 매핑 곡선에 대응하는 함수의 식은 다음 식 (2-11)로 표현될 수도 있다:
(2-11)
L은 선형 신호 값을 나타내며, 값은 [0, 1]로 정규화된다. L'은 비선형 신호 값을 나타내며, 값의 범위는 [0, 1]이다. F(L)는 톤 매핑 곡선에 대응하는 함수를 나타낸다. a, b, p, m 및 n은 톤 매핑 곡선의 파라미터를 나타내며, 톤 매핑 곡선의 형태를 조정하는 데 사용된다. 서로 다른 분할 영역은 (2-11)에 설명된 톤 매핑 곡선 함수의 서로 다른 파라미터에 해당할 수 있음을 이해해야 한다. 구현 중에, 각 분할 영역의 톤 매핑 곡선의 파라미터는 해당 메타데이터 정보 유닛에 표시될 수 있다.
구현 중에, 톤 매핑 곡선의 상이한 형태에 기초하여, 톤 매핑 곡선의 상이한 기능이 사용될 수 있다는 점에 유의해야 한다. 선택된 톤 매핑 곡선은 본 출원에서 제한되지 않는다.
관련 분할 영역에 대응하는 톤 매핑 곡선을 획득한 후, 디스플레이 단말 디바이스(402)는 톤 매핑 곡선에 기초하여 i번째 픽셀에 톤 매핑을 수행하여 관련 분할 영역에 있는 픽셀의 톤 매핑 서브값을 획득한다. 예를 들어, 도 11의 픽셀(3)의 경우, 분할 영역(9)에 대응하는 톤 매핑 서브값 1, 분할 영역(10)에 대응하는 톤 매핑 서브값 2, 분할 영역(13)에 대응하는 톤 매핑 서브값 3, 분할 영역(14)에 대응하는 톤 매핑 서브값 4, 분할 영역(15)에 대응하는 톤 매핑 서브값 5을 포함하는 총 5개의 톤 매핑 서브값이 획득될 수 있다.
톤 매핑의 실시예에서, 디스플레이 단말 디바이스(402)는 톤 매핑 곡선에 기초하여 i번째 픽셀에 대해 휘도 조정 프로세스 및/또는 색상 조정 프로세스를 수행할 수 있다. 선택적으로, i번째 픽셀에서 수행되는 색상 조정은 다음 식 (3-1)로 표현될 수 있다:
(3-1)
Rp, Gp 및 Bp는 i번째 픽셀의 세 가지 색상 구성 요소를 나타낸다. f[id]는 톤 매핑 곡선에 해당하는 함수(예컨대, 위에서 설명한 H(L) 및 F(L))를 나타낸다. id는 분할 영역 식별자를 나타낸다.
관련 분할 영역에서 i번째 픽셀의 톤 매핑 서브값은 다음 방정식 (3-2)~(3-4)로 표현될 수 있다:
RpTM[i]=Rp×이득 (3-2)
GpTM[i]=Gp×이득 (3-3)
BpTM[i]=Bp×이득 (3-4)
RpTM[i], GpTM[i] 및 BpTM[i]는 관련 분할 영역에서 i번째 픽셀의 톤 매핑 서브값을 나타낼 수 있다.
다른 예로서, 디스플레이 단말 디바이스(402)는 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 결정하고, 각각의 관련 분할 영역에 대응하는 가중 계수를 추가로 결정할 수 있다. 따라서, 각 관련 분할 영역의 톤 매핑 서브값이 i번째 픽셀의 톤 매핑 값에 미치는 영향의 정도는 가중 계수에 따라 결정된다.
선택적으로, 본 출원을 구현하는 동안, 디스플레이 단말 디바이스(402)는 각각의 관련 분할 영역에 대응하는 가중 계수를 할당할 수 있다. 또한, 디스플레이 단말 디바이스(402)는 사전 설정된 방식으로 가중 계수를 결정하거나, 메타데이터의 표시에 따라 가중 계수를 결정할 수 있다. 본 출원은 가중 계수를 결정하기 위해 다음 두 가지 가능한 방법을 제공한다. 구현 중에는 다음 두 가지 방법 중 하나 또는 그 조합을 사용할 수 있으며, 실제 구현 중에는 다음 두 가지 방법으로 제한되지 않는다.
방법 1: 각 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 사전 설정된 영역에 대응하는 픽셀의 총량을 개별적으로 결정하고, 제1 관련 분할 영역에 대해, 각 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 픽셀의 총량에 기초하여 제1 관련 분할 영역에 대응하는 제1 가중 계수를 할당하되, 제1 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 어느 하나이다.
예를 들어, 도 11에 도시된 픽셀 3을 참조하여, 각 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량과 사전 설정된 영역에 대응하는 픽셀의 총량을 다음 표 2-1에 설명할 수 있다.
Figure pct00031
Num[id]는 사전 설정된 영역에 포함된 분할 영역의 픽셀의 수량, 예를 들어 도 11의 (b)에 도시된 사전 설정된 영역의 픽셀 3의 각 관련 분할 영역에 포함된 픽셀의 수량을 나타내고, id는 분할 영역 식별자를 나타낸다. 가중1[id]는 분할 영역 id의 제1 가중 계수를 나타낸다.
선택적으로, 제1 가중 계수는 분할 영역의 픽셀의 수량에 대해 양의 상관관계, 예컨대, 선형 관계를 가질 수 있다. 즉, 분할 영역의 픽셀의 수량이 많을수록 분할 영역에 대응하는 제1 가중 계수가 더 커지며 증가는 선형적이다.
또는 선택적으로, 양의 상관관계는 지수 관계일 수 있으며, 지수 관계는 제1 가중 계수 강도값에 기초하여 결정될 수 있다. 제1 가중 강도값은 표시될 이미지 프레임의 픽셀 수량 분포 상태에 기초하여 제1 가중 계수를 조정하는 데 사용된다. 예를 들어, 제1 가중 강도값을 사용하여 제1 가중 계수를 조정하는 것은 다음 식 (4-1)과 같이 표현될 수 있다:
(4-1)
는 제1 가중 강도값을 나타내며, 예를 들어 2 또는 0.5일 수 있다. 제1 가중 계수 강도값은 표시될 이미지 프레임에서 복수의 분할 영역의 픽셀 유사성에 기초하여 결정될 수 있다. 예를 들어, 복수의 분할 영역의 픽셀이 유사한 픽셀인 경우, 큰 제1 가중 계수 강도값이 설정될 수 있다. 그렇지 않으면, 더 작은 제1 가중 강도값이 설정될 수 있다. 제1 가중 강도값은 사전 설정된 규칙에 따라 디스플레이 단말 디바이스(402)에 의해 결정되거나, 메타데이터에서 캡처 단말 디바이스(401)에 의해 표시될 수 있음을 이해해야 한다. 이는 본 출원에서 제한되지 않는다. 이러한 방식으로, 제1 가중 강도값이 설정되어, 표시될 이미지 프레임의 로컬 특징이 명백한 경우, 더 작은 제1 가중 강도값(예컨대, 0.5)에 기초하여 분할 영역 간의 경계 효과가 감소될 수 있다.
방법 2: 각 관련 분할 영역에서 사전 설정된 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값을 개별적으로 결정하고, 제2 관련 분할 영역에 대해, 제2 관련 분할 영역에서 사전 설정된 영역의 일부 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값 사이의 특징 차이를 기반으로 제2 관련 분할 영역에 대응하는 제2 가중 계수를 할당하는 동작을 수행하되, 여기서, 제2 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 임의의 하나이다. 사전 설정된 특징값은 휘도 특징값(AvgLum[id]), 색상 특징값(AvgRGB[id][3], 여기서 [3]은 세 가지 색상 성분을 나타냄) 등이다. 관련 분할 영역의 사전 설정된 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값으로 동일한 사전 설정된 특징값이 선택된다는 것을 이해해야 한다.
적어도 하나의 사전 설정된 특징값이 있다. 예를 들어, 하나의 분할 영역에 4개의 휘도 특징값(AvgLum[id](4))이 있을 수 있고, 하나의 분할 영역에 4개의 색상 특징값(AvgRGB[id](4)[3])이 있을 수 있다. 도 12는 본 출원의 실시예에 따른 휘도 특징값의 개략도이다. 휘도 특징값이 하나인 시나리오는 도 12의 (a)에 도시되어 있고, 휘도 특징값이 4개인 시나리오는 도 12의 (b)에 도시되어 있다. 휘도 특징값은 분할 영역에서 가장 큰 양을 갖는 휘도값 또는 평균적으로 가장 큰 양을 갖는 휘도값에 기초하여 얻어질 수 있다.
전술한 예에서, 4개의 사전 설정된 특징값이 있는 경우, 본 출원의 실시 중에, 4개의 사전 설정된 특징값으로부터 선택된 목표 사전 설정된 특징값은 더 나아가, 제2 관련 분할 영역에서 사전 설정된 영역의 일부 영역의 중심 좌표(x, y)(또는 i번째 픽셀(현재 픽셀)의 좌표(x, y))와 제2 관련 분할 영역의 중심 좌표(xR, yR) 사이의 대응에 기초하여 결정될 수 있다. 예를 들어, 도 12의 (b)에 표시된 내용을 참조하여, 좌측 상단 영역은 휘도 특징값 1이고, 우측 상단 영역은 휘도 특징값 2이며, 좌측 하단 영역은 휘도 특징값 3이고, 우측 하단 영역은 휘도 특징값 4이다. x≤xR 및 y≥yR인 경우, 휘도 특징값 1이 사용된다. x>xR 및 y≥yR인 경우, 휘도 특징값 2가 사용된다. x≤xR 및 y<yR인 경우, 휘도 특징값 3이 사용된다. x>xR 및 y<yR인 경우, 휘도 특징값 4가 사용된다.
예를 들어, 도 11에 도시된 픽셀 3을 참조하여, 사전 설정된 영역 특징값이 휘도 특징값인 예에서, 각각의 관련 분할 영역에서 사전 설정된 영역에 속하는 휘도 특징값과 i번째 픽셀의 휘도 특징값은 다음 표 2-2에 설명될 수 있다.
Figure pct00034
AvgLum[id]는 사전 설정된 영역에 포함된 분할 영역의 휘도 특징값, 예를 들어 도 11의 (b)에 도시된 픽셀 3의 관련 분할 영역에서 사전 설정된 영역에 속하는 부분 영역의 휘도 특징값을 나타내고, id는 분할 영역 식별자를 나타낸다. 가중2[id]는 분할 영역 id의 제2 가중 계수를 나타낸다.
선택적으로, 제2 가중 계수는 예를 들어 선형 관계에서 분할 영역의 휘도 특징값과 i번째 픽셀의 휘도 특징값 사이의 차이 값에 대해 음의 상관관계에 있을 수 있다. 즉, 분할 영역의 휘도 특징값과 i번째 픽셀의 휘도 특징값 사이의 차이 값이 클수록 분할 영역에 해당하는 제2 가중 계수가 작고 감소가 선형적임을 나타낸다.
또는 선택적으로, 음의 상관관계는 지수 관계일 수 있으며, 지수 관계는 제2 가중 강도값에 기초하여 결정될 수 있다. 제2 가중 강도값은 표시될 이미지 프레임의 사전 설정된 특징값 변경 상태에 기초하여 제2 가중 계수를 조정하는 데 사용된다. 예를 들어, 제2 가중 강도값을 사용하여 제2 가중 계수를 조정하는 것은 다음 식 (4-2)로 표현될 수 있다:
(4-2)
g()는 정규화 연산을 나타낸다. 예를 들어, 신호를 신호의 최대값으로 나누면 그 범위는 0 내지 1이다. clip()은 클램프 연산(clamp operation)을 나타낸다. min은 최소값(예컨대, 0)이고, max는 최대값(예컨대, 1)이다. max보다 크거나 min보다 작은, clip()에 포함된 세 번째 피연산자의 값은 각각 최대값과 최소값으로 잘린다. 예를 들어, clip()에 포함된 세 번째 피연산자의 값이 최소값보다 작으면, min이 사용된다. clip()에 포함된 세 번째 피연산자가 최대보다 크면, max가 사용된다. K는 사전 설정된 값이며 0에서 1023 사이의 범위이다. 는 제2 가중 강도값을 나타내며, 예를 들어 2 또는 0.5일 수 있다.
예를 들어, 제2 가중 강도값은 표시될 이미지 프레임에서 복수의 분할 영역의 픽셀 휘도 변화에 기초하여 결정될 수 있다. 예를 들어, 복수의 분할 영역의 픽셀 휘도 변화가 명백한 경우, 큰 제2 가중 강도값이 설정될 수 있다. 그렇지 않으면, 더 작은 제2 가중 강도값이 설정될 수 있다. 제2 가중 강도값은 사전 설정된 규칙에 따라 디스플레이 단말 디바이스(402)에 의해 결정되거나 메타데이터에서 캡처 단말 디바이스(401)에 의해 표시될 수 있음을 이해해야 한다. 이는 본 출원에서 제한되지 않는다. 이러한 방식으로, 제2 가중 강도값이 설정되어, 표시될 이미지 프레임의 로컬 특징이 명백한 경우, 더 작은 제2 가중 강도값(예컨대, 0.5)을 기반으로 분할 영역 간의 경계 효과가 감소될 수 있다.
선택적으로, 각각의 관련 분할 영역에 대응하는 가중 계수가 제1 가중 계수일 수 있으며, 식 (4-1)에 따른 계산을 통해 얻을 수 있는데, 즉 는 제2 가중 계수일 수 있으며, 식 (4-2)에 따른 계산을 통해 얻어질 수 있는데, 즉 이고, 또는 제1 가중 계수와 제2 가중 계수 모두를 기반으로 결정될 수 있으며, 다음 식 (4-3)으로 표현될 수 있다:
(4-3)
W()는 제1 가중 계수와 제2 가중 계수를 기반으로 관련 분할 영역에 해당하는 가중 계수를 구하는 데 사용되는 사전 설정된 함수를 나타낸다. 사전 설정된 함수는 곱셈, 덧셈 등일 수 있으며, 미리 설정되어 있을 수 있다.
단계 505: 디스플레이 단말 디바이스(402)는 각 관련 분할 영역에 대응하는 톤 매핑 서브값과 가중 계수를 기반으로 i번째 픽셀의 톤 매핑 값을 구하고, 톤 매핑 값을 기반으로 i번째 픽셀에 대한 톤 매핑을 수행한다.
예를 들어, 본 출원에서 i번째 픽셀의 톤 매핑 값은 다음 방정식 (5-1) ~ (5-5)에 따라 얻어질 수 있다:
MaxRGBP=max(Rp, Gp, Bp) (5-1)
(5-2)
(5-3)
(5-4)
(5-5)
Z는 i번째 픽셀의 관련 분할 영역의 양을 나타낸다. , , 및 는 톤 매핑 값을 나타낸다. spline[id]는 톤 매핑 곡선에 해당하는 함수를 나타낸다. id는 분할 영역 식별자를 나타낸다.
또한, 본 출원의 구현 동안, 톤 매핑 값은 대안으로, , , 및 에서 색상 공간으로 변환되어 Ytm, Utm 및 Vtm을 얻는다. 이에 따라, 톤 매핑 서브값은 Yp, Up 및 Vp이다.
또한, 본 출원을 구현하는 동안, i번째 픽셀의 톤 매핑 값을 획득한 후, 디스플레이 단말 디바이스(402)는 표시될 이미지 프레임에 대한 채도 조정을 추가로 수행할 수 있다. 즉, 디스플레이 단말 디바이스(402)는 i번째 픽셀의 초기 픽셀 값과 단계 505에서 획득한 톤 매핑 값을 기반으로 i번째 픽셀에 대한 채도 조정을 수행한다.
전술한 예에서, 각 픽셀의 톤 매핑 값의 계산에 필요한 정보는 디스플레이 단말 디바이스(402)에 의해 처리되거나, 캡처 단말 디바이스(401)에서 계산을 통해 획득될 수 있고 메타데이터를 이용하여 디스플레이 단말 디바이스(402)에 표시될 수 있다. 즉, 디스플레이 단말 디바이스(402)와 캡처 단말 디바이스(401) 각각에 의해 처리되어야 하는 콘텐츠는 계산 능력에 따라 할당될 수 있다. 이는 본 출원에서 제한되지 않는다. 디스플레이 단말 디바이스(402)는 이후 메타데이터에 표시된 정보에 기초하여 표시될 이미지 프레임에 톤 매핑을 수행할 수 있다는 것을 이해할 수 있다.
도 13은 본 출원의 실시예에 따른 톤 매핑 방법의 또 다른 개략적인 흐름도이다. 이 방법은 도 4에 도시된 캡처 엔드 디바이스(401)에 적용 가능하다.
단계 1301: 이미지 데이터를 캡처하여 표시될 데이터 프레임을 획득한다. 예를 들어, 이미지 데이터는 이미지 캡처 장치를 사용하여 캡처 단말 디바이스(401)에 의해 캡처될 수도 있고, 또는 사전 설정된 애플리케이션 프로그램을 사용하여 캡처 단말 디바이스(401)에 의해 생성 및 발생될 수도 있다.
단계 1302: 표시될 데이터 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역에 대해 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정한다. 예를 들어, 목표 분할 방식은 전술한 내용에서 설명한 복수의 분할 방식, 예를 들어, 도 6에 도시된 분할 방식 A, 도 7에 도시된 분할 방식 B, 도 8에 도시된 분할 방식 C 등일 수 있다. 또한, 캡처 단말 디바이스(401)와 표시 단말 디바이스(402)는 동일한 분할 방식을 사용한다. 또한, 캡처 단말 디바이스(401)는 메타데이터를 이용하여 디스플레이 단말 디바이스(402)에 대상 분할 방식을 추가로 표시할 수 있다. 또한, 캡처 단말 디바이스(402)는 메타데이터를 이용하여 디스플레이 단말 디바이스(402)에, 목표 분할 방식에 사용될 수 있는 제1 분할 파라미터, 제2 분할 파라미터 등을 추가로 표시할 수 있다.
예를 들어, 분할 방식 A의 경우, 캡처 단말 디바이스(401)는 이미지 데이터의 서로 다른 행의 히스토그램에 기초하여 수직 방향으로의 분할 수량을 결정하고, 이미지 데이터의 서로 다른 열의 히스토그램에 기초하여 수평 방향으로의 분할 수량을 결정할 수 있다.
다른 예로서, 분할 방식 B에 있어서, 캡처 단말 디바이스(401)는 이미지 데이터의 서로 다른 행의 히스토그램에 기초하여 클러스터링을 수행하여 수직 방향의 분할 목록을 결정하고, 이미지 데이터의 서로 다른 열의 히스토그램에 기초하여 클러스터링을 수행하여 수평 방향의 분할 목록을 결정할 수 있다.
단계 1303: 표시될 데이터 프레임과 메타데이터를 디스플레이 단말 디바이스(402)로 전송하며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다.
디스플레이 단말 디바이스(402)의 계산량을 줄이고, 캡처 단말 디바이스(401)와 디스플레이 단말 디바이스(402)에 의해 별개로 처리되여야 하는 콘텐츠의 균형을 맞추기 위해, 본 출원의 실시 중에, 캡처 단말 디바이스(401)는 계산을 통해 제1 가중 강도값, 제2 가중 강도값, 분할 영역의 사전 설정된 특징값 등의 정보를 획득하고, 메타데이터를 이용하여 디스플레이 단말 디바이스(402)에 나타낼 수 있음을 이해해야 한다. 캡처 단말 디바이스(401)에 의해 수행되는 처리의 구현 프로세스는 디스플레이 단말 디바이스(402)의 설명 내용과 유사하다는 점에 유의해야 한다. 따라서, 자세한 내용은 다시 설명하지 않는다.
전술한 방법과 동일한 발명 개념에 따르면, 본 출원의 실시예는 톤 매핑 처리 장치(1400)를 제공한다. 톤 매핑 처리 장치(1400)는 전술한 디스플레이 단말 디바이스(402)에 적용될 수 있다. 도 14에 도시된 바와 같이, 이 장치는 획득 모듈(1401), 처리 모듈(1402) 및 톤 매핑 모듈(1403)을 포함할 수 있다.
획득 모듈(1401)은 표시될 이미지 프레임과 메타데이터를 획득하도록 구성되며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다. 처리 모듈(1402)은 표시될 이미지 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 간의 대응을 결정하도록 구성된다. 톤 매핑 모듈(1403)은 표시될 이미지 프레임의 i번째 픽셀에 대해, i번째 픽셀에 대해 선택된 사전 설정된 영역에 포함된 복수의 픽셀에 기초하여, 복수의 픽셀이 속하는 적어도 하나의 관련 분할 영역을 결정하고, 대응에 기초하여, 각각의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정하는 동작과, 관련 메타데이터 정보 유닛에 기초하여, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 구하고, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하는 동작과, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값 및 가중 계수에 기초하여 i번째 픽셀의 톤 매핑 값을 획득하고, 톤 매핑 값에 기초하여 i번째 픽셀에 톤 매핑을 수행하는 동작을 수행하도록 구성되되, 여기서, i는 1 내지 N 사이의 임의의 양의 정수이고, N은 표시될 이미지 프레임에 포함된 픽셀의 수량이다.
가능한 설계에서, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하도록 구성될 때, 톤 매핑 모듈(1403)은 구체적으로: 각각의 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량 및 사전 설정된 영역에 대응하는 픽셀의 총량을 개별적으로 결정하고, 제1 관련 분할 영역에 대해, 제1 관련 분할 영역에서 사전 설정된 영역에 속하는 픽셀의 수량 및 총 픽셀의 수량에 기초하여 제1 관련 분할 영역에 대응하는 제1 가중 계수를 할당하는 동작- 여기서, 제1 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 어느 하나임 -, 및/또는 각 관련 분할 영역에서 사전 설정된 영역에 대응하는 사전 설정된 특징값을 개별적으로 결정하는 동작을 수행하고, 제2 관련 분할 영역에 대해, 제2 관련 분할 영역의 사전 설정된 영역에 대응하는 사전 설정된 특징값과 i번째 픽셀의 사전 설정된 특징값 사이의 특징 차이에 기초하여 대응하는 제2 가중 계수를 제2 관련 분할 영역에 할당하는 동작을 수행하도록 구성되되, 제2 관련 분할 영역은 적어도 하나의 관련 분할 영역 중 임의의 하나이다.
가능한 설계에서, 메타데이터는 다음 정보, 즉 제1 가중 계수 강도값 또는 제2 가중 계수 강도값 중 하나 또는 그 조합을 추가로 포함한다. 제1 가중 강도값은 표시될 이미지 프레임의 픽셀 수량 분포 상태에 기초하여 제1 가중 계수를 조정하는 데 사용된다. 제2 가중 강도값은 표시될 이미지 프레임의 사전 설정된 특징값 변경 상태에 기초하여 제2 가중 계수를 조정하는 데 사용된다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 하나 이상의 사전 설정된 특징값이 있다.
가능한 설계에서, 관련 메타데이터 정보 유닛에 기초하여, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하도록 구성될 때, 톤 매핑 모듈(1403)은 구체적으로, 톤 매핑 곡선에 기초하여, 관련 분할 영역의 i번째 픽셀에 대응하는 톤 매핑 서브값을 획득하도록 구성되되, 관련 메타데이터 정보 유닛은 톤 매핑 곡선의 파라미터를 포함한다.
가능한 설계에서, i번째 픽셀에 대해 선택된 사전 설정된 영역은, i번째 픽셀을 중심으로 사용하여 선택되고 사전 설정된 크기의 사전 설정된 형상을 갖는 영역, i번째 픽셀을 중심으로 사용하고 사전 설정된 형상 및 메타데이터에 포함된 사전 설정된 크기 정보를 기반으로 결정되는 영역, 또는 i번째 픽셀을 중심으로 사용하고 메타데이터에 포함된 사전 설정된 형상 및 사전 설정된 크기 정보를 기반으로 결정되는 영역이다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하도록 구성될 때, 처리 모듈(1402)은 구체적으로, 임의의 분할 영역에 대해, 분할 영역으로부터 사전 설정된 위치에 있는 픽셀을 선택하고, 사전 설정된 위치에 있는 픽셀의 좌표 정보를 획득하고, 좌표 정보에 기초하여, 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하고, 분할 영역과 대응하는 메타데이터 정보 유닛 사이의 대응을 설정하거나, 또는 임의의 메타데이터 정보 유닛에 대해, 메타데이터 정보 유닛에 포함된 하나 이상의 좌표 정보에 기초하여, 하나 이상의 좌표 정보에 대응하는 적어도 하나의 분할 영역을 결정하고, 메타데이터 정보 유닛과 대응하는 적어도 하나의 분할 영역 사이의 대응을 설정하도록 구성된다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하도록 구성될 때, 처리 모듈(1402)은 구체적으로, 목표 스캐닝 시퀀스 및 분할 영역 식별자에 기초하여, 복수의 분할 영역을 트래버스하여 각 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하도록 구성되며, 여기서 메타데이터 정보 유닛은 대응하는 분할 영역 식별자를 포함하고, 목표 스캐닝 시퀀스는 사전 설정된 스캐닝 시퀀스 또는 메타데이터에 표시된 스캐닝 시퀀스이다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다.
가능한 설계에서, 목표 분할 방식은 사전 설정된 분할 방식 또는 메타데이터에 표시된 분할 방식이다.
전술한 방법과 동일한 발명 개념에 따르면, 본 출원의 실시예는 톤 매핑 처리 장치(1500)를 제공한다. 톤 매핑 처리 장치(1500)는 전술한 캡처 단말 디바이스(401)에 적용될 수 있다. 도 15에 도시된 바와 같이, 장치(1500)는 캡쳐 모듈(1501), 처리 모듈(1502) 및 트랜시버 모듈(1503)을 포함할 수 있다.
캡쳐 모듈(1501)은 이미지 데이터를 캡쳐하여 표시될 데이터 프레임을 획득하도록 구성된다. 처리 모듈(1502)은 표시될 데이터 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하도록 구성된다. 트랜시버 모듈(1503)은 표시될 데이터 프레임 및 메타데이터를 디스플레이 단말 디바이스로 전송하도록 구성되며, 여기서 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함한다.
가능한 설계에서, 처리 모듈(1502), 복수의 분할 영역에 각각 포함된 픽셀의 수량에 기초하여 제1 가중 강도값을 결정하고, 및/또는 복수의 분할 영역에 각각 대응하는 사전 설정된 특징값에 기초하여 제2 가중 강도값을 결정하고, 및/또는 제1 가중 강도값 및/또는 제2 가중 강도값을 메타데이터와 연관시키도록 더 구성된다.
가능한 설계에서, 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나이다. 하나 이상의 사전 설정된 특징값이 있다.
가능한 설계에서, 메타데이터 정보 유닛은 분할 영역에 해당하는 톤 매핑 곡선의 파라미터를 포함한다.
가능한 설계에서, 메타데이터는 사전 설정된 크기 정보를 더 포함하고, 사전 설정된 크기 정보는 픽셀에 대해 사전 설정된 영역이 선택될 때 사용되는 사전 설정된 형상의 사전 설정된 크기를 나타내거나, 메타데이터는 사전 설정된 형상 및 사전 설정된 크기 정보를 더 포함한다.
가능한 설계에서, 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하도록 구성될 때, 처리 모듈(1502)은 구체적으로, 분할 영역으로부터 사전 설정된 위치에 있는 복수의 픽셀을 선택하고, 사전 설정된 위치에 있는 복수의 픽셀의 좌표 정보를 획득하고, 좌표 정보를 메타데이터 정보 유닛과 연관시키도록 구성된다.
가능한 설계에서, 메타데이터 정보 유닛은 메타데이터 정보 유닛에 대응하는 분할 영역 식별자 및 스캐닝 시퀀스를 더 포함한다. 대응하는 분할 영역 식별자 및 스캐닝 시퀀스는 디스플레이 단말 디바이스에 의해 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하기 위해 사용된다.
가능한 설계에서, 복수의 분할 영역과 적어도 하나의 메타데이터 정보 유닛 사이에는 일대일 대응 또는 다대일 대응이 존재한다.
가능한 설계에서, 처리 모듈(1502)은, 디스플레이될 데이터 프레임을 목표 분할 방식으로 분할하도록 디스플레이 단말 디바이스에 표시하기 위해, 목표 분할 방식을 메타데이터와 연관시키도록 더 구성된다.
본 출원의 실시예는 전자 디바이스(1600)를 더 제공한다. 도 16에 도시된 바와 같이, 전자 디바이스(1600)는 전술한 실시예에서 설명한 디스플레이 단말 디바이스(402) 또는 캡쳐 단말 디바이스(401)일 수 있다. 전자 디바이스(1600)는 통신 인터페이스(1610) 및 프로세서(1620)를 포함할 수 있다. 선택적으로, 전자 디바이스(1600)는 메모리(1630)를 더 포함할 수 있다. 메모리(1630)는 전자 디바이스 내부에 배치될 수도 있고, 전자 디바이스 외부에 배치될 수도 있다. 도 14에 도시된 획득 모듈(1401), 처리 모듈(1402) 및 톤 매핑 모듈(1403)은 모두 프로세서(1620)에 의해 구현될 수 있다. 대안적으로, 도 15에 도시된 캡처 모듈(1501), 처리 모듈(1502) 및 트랜시버 모듈(1503)도 프로세서(1620)에 의해 구현될 수 있다. 선택적으로, 통신 인터페이스(1610), 프로세서(1620) 및 메모리(1630)는 통신 라인(1640)을 통해 서로 연결될 수 있다. 통신 라인(1640)은 주변 부품 상호 연결(peripheral component interconnect, 약칭 PCI) 버스, 확장 산업 표준 아키텍처(extended industry standard architecture, 약칭 EISA) 버스 등일 수 있다. 통신 라인(1640)은 주소 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 도 16에서는 표현의 용이성을 위해 굵은 선 하나만 사용하여 버스를 나타내지만, 그렇다고 해서 버스가 하나만 존재하거나 버스의 종류가 하나만 존재한다는 의미는 아니다.
가능한 구현에서, 프로세서(1620)는 도 13의 캡처 단말에 의해 수행되는 임의의 방법을 구현하고, 통신 인터페이스(1610)를 통해 캡처 단말에 의해 인코딩되는 비트스트림, 예를 들어, 표시될 이미지 프레임 및 메타데이터를 출력하도록 구성된다.
구현 중에, 처리 프로세스의 단계들은 도 13의 캡처 단말에 의해서 수행되는 방법을 수행하기 위해, 프로세서(1620) 내의 하드웨어의 통합 논리 회로 또는 소프트웨어 형태의 명령어에 의해 구현될 수 있다. 간결성을 위해, 자세한 내용은 여기서 다시 설명하지 않는다. 전술한 방법을 구현하기 위해 프로세서(1620)에 의해 사용되는 프로그램 코드는 메모리(1630)에 저장될 수 있다. 메모리(1630)는 프로세서(1620)에 결합된다.
본 출원의 실시예에서의 임의의 통신 인터페이스는 회로, 버스, 트랜시버 또는 정보를 교환하도록 구성될 수 있는 다른 장치, 예를 들어 전자 디바이스(1600)의 통신 인터페이스(1610)일 수 있다. 예를 들어, 다른 장치는 전자 디바이스(1600)에 연결된 디바이스일 수 있다. 예를 들어, 전자 디바이스(1600)가 캡처 단말 디바이스(401)인 경우, 다른 장치는 디스플레이 단말 디바이스(402) 등일 수 있다.
프로세서(1620)는 메모리(1630)와 협력할 수 있다. 메모리(1630)는 비휘발성 메모리, 예를 들어 하드 디스크 드라이브(hard disk drive, HDD) 또는 솔리드 스테이트 드라이브(solid-state drive, SSD) 또는 휘발성 메모리(volatile memory), 예를 들어 랜덤 액세스 메모리(random access memory, RAM)일 수 있다. 메모리(1630)는 명령어 형태의 원하는 프로그램 코드 또는 데이터 구조를 전달하거나 저장하도록 구성될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체이지만, 이에 한정되지는 않는다.
통신 인터페이스(1610), 프로세서(1620) 및 메모리(1630) 사이의 특정 연결 매체는 본 출원의 실시예에서 제한되지 않는다. 본 출원의 이 실시예에서, 메모리(1630), 프로세서(1620) 및 통신 인터페이스(1610)는 도 16의 버스를 통해 서로 연결된다. 도 16에서 버스는 굵은 선으로 표시되어 있다. 상이한 컴포넌트들 간의 연결 방식은 단지 설명을 위한 예시일 뿐이며, 이에 한정되지 않는다. 버스는 주소 버스, 데이터 버스, 제어 버스 등으로 분류될 수 있다. 도 16에서는 표현의 편의를 위해 굵은 선 하나만 사용하여 버스를 나타내지만, 그렇다고 해서 버스가 하나만 있거나 버스의 종류가 하나만 있다는 의미는 아니다.
본 출원의 실시예에서, 프로세서는 범용 프로세서, 디지털 신호 프로세서, 애플리케이션별 집적 회로, 필드 프로그래머블 게이트 어레이 또는 다른 프로그래머블 로직 디바이스, 개별 게이트 또는 트랜지스터 로직 디바이스, 또는 개별 하드웨어 컴포넌트일 수 있으며, 본 출원의 실시예에 개시된 방법, 단계 및 로직 블록 다이어그램을 구현하거나 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수도 있고, 임의의 통상적인 프로세서 등일 수도 있다. 본 출원의 실시예와 관련하여 개시된 방법의 단계는 하드웨어 프로세서에 의해 직접 수행될 수도 있고, 프로세서 내의 하드웨어와 소프트웨어 모듈의 조합에 의해 수행될 수도 있다.
본 출원의 실시예에서 결합은 장치 또는 모듈 간의 정보 교환을 위한 장치 또는 모듈 간의 간접 결합 또는 통신 연결이며, 전기적, 기계적 또는 기타 형태일 수 있다.
전술한 실시예에 기초하여, 본 출원의 실시예는 컴퓨터 저장 매체를 추가로 제공한다. 저장 매체는 소프트웨어 프로그램을 저장한다. 소프트웨어 프로그램이 하나 이상의 프로세서에 의해 읽혀지고 실행될 때, 전술한 실시예 중 임의의 하나 이상의 실시예에 제공된 방법이 구현될 수 있다. 컴퓨터 저장 매체는 프로그램 코드를 저장할 수 있는 임의의 매체, 예를 들어 USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크를 포함할 수 있다.
전술한 실시예에 기초하여, 본 출원의 실시예는 칩을 추가로 제공한다. 칩은 전술한 실시예 중 임의의 하나 이상의 기능을 구현하도록 구성된 프로세서를 포함한다. 선택적으로, 칩은 메모리를 더 포함하며, 메모리는 프로세서에 의해 실행될 필요한 프로그램 명령어 및 데이터를 저장하도록 구성된다. 칩은 칩을 포함하거나, 칩 및 다른 개별 디바이스를 포함할 수 있다.
당업자는 본 출원의 실시예가 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 이해해야 한다. 따라서, 본 출원은 하드웨어 전용 실시예, 소프트웨어 전용 실시예 또는 소프트웨어와 하드웨어가 결합된 실시예의 형태를 사용할 수 있다. 또한, 본 출원은 컴퓨터 사용가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체(디스크 메모리, CD-ROM, 광 메모리 등을 포함하되 이에 국한되지 않음)에 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.
본 출원은 본 출원의 실시예에 따른 방법, 디바이스(시스템) 및 컴퓨터 프로그램 제품의 순서도 및/또는 블록도를 참조하여 설명된다. 컴퓨터 프로그램 명령어는 순서도 및/또는 블록도에서 각 프로세스 및/또는 각 블록, 및 순서도 및/또는 블록도에서 프로세스 및/또는 블록의 조합을 구현하기 위해 사용될 수 있음을 이해해야 한다. 컴퓨터 프로그램 명령어는 범용 컴퓨터, 전용 컴퓨터, 임베디드 프로세서, 또는 머신을 생성하는 다른 프로그래밍 가능한 데이터 처리 디바이스의 프로세서에 제공되어, 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령어가 순서도 상의 하나 이상의 절차 및/또는 블록도 상의 하나 이상의 블록에서 특정 기능을 구현하기 위한 장치를 생성하도록 할 수 있다.
컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 디바이스가 특정 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독가능 메모리에 저장되어, 컴퓨터 판독가능 메모리에 저장된 명령어가 명령어 장치를 포함하는 아티팩트를 생성하도록 할 수도 있다. 명령어 장치는 순서도의 하나 이상의 절차 및/또는 블록도의 하나 이상의 블록에서 특정 기능을 구현한다.
컴퓨터 프로그램 명령어는 대안으로, 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 디바이스에 로드되어, 컴퓨터 또는 다른 프로그래밍 가능한 디바이스에서 일련의 작업 및 단계가 수행되어 컴퓨터 구현 처리가 생성되도록 할 수도 있다. 따라서, 컴퓨터 또는 다른 프로그램 가능 디바이스에서 실행되는 명령어는 순서도의 하나 이상의 절차 및/또는 블록도의 하나 이상의 블록에서 특정 기능을 구현하기 위한 단계를 제공한다.
당업자는 본 출원의 실시예의 범위를 벗어나지 않고 본 출원의 실시예에 대한 다양한 수정 및 변형을 할 수 있음이 명백하다. 본 출원은 본 출원의 실시예에서 이러한 수정 및 변형이 본 출원의 청구범위 및 그에 상응하는 기술의 범위 내에 속하는 경우 이러한 수정 및 변형을 포함하도록 의도된다.

Claims (25)

  1. 디스플레이 단말 디바이스에 적용되는 톤 매핑 방법으로서,
    표시될 이미지 프레임 및 메타데이터를 획득하는 단계- 상기 메타데이터는 적어도 하나의 메타데이터 정보 유닛을 포함함 -와,
    상기 표시될 이미지 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 단계와,
    상기 표시될 이미지 프레임의 i번째 픽셀에 대해,
    상기 i번째 픽셀에 대해 선택된 사전 설정된 영역에 포함된 복수의 픽셀을 기반으로, 상기 복수의 픽셀이 속하는 적어도 하나의 관련 분할 영역을 결정하고, 상기 대응에 기초하여, 각각의 관련 분할 영역에 대응하는 관련 메타데이터 정보 유닛을 결정하는 동작,
    상기 관련 메타데이터 정보 유닛에 기초하여, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하고, 각각의 관련 분할 영역에 대응하는 가중 계수를 할당하는 동작, 및
    각각의 관련 분할 영역에 대응하는 상기 톤 매핑 서브값 및 상기 가중 계수에 기초하여 상기 i번째 픽셀의 톤 매핑 값을 구하고, 상기 톤 매핑 값에 기초하여 상기 i번째 픽셀에 대해 톤 매핑을 수행하는 동작
    을 수행하는 단계를 포함하되,
    i는 1 내지 N 중 임의의 양의 정수이며, N은 상기 표시될 이미지 프레임에 포함된 픽셀의 수량인,
    톤 매핑 방법.
  2. 제1항에 있어서,
    각각의 관련 분할 영역에 대응하는 가중 계수를 할당하는 상기 동작은,
    각각의 관련 분할 영역에서 상기 사전 설정된 영역에 속하는 픽셀의 수량 및 상기 사전 설정된 영역에 대응하는 픽셀의 총량을 별개로 결정하고, 제1 관련 분할 영역에 대해, 상기 제1 관련 분할 영역에서 상기 사전 설정된 영역에 속하는 픽셀의 수량 및 상기 픽셀의 총량에 기초하여 상기 제1 관련 분할 영역에 대응하는 제1 가중 계수를 할당하는 동작을 수행하는 방식- 상기 제1 관련 분할 영역은 상기 적어도 하나의 관련 분할 영역 중 어느 하나임 -, 및/또는
    각각의 관련 분할 영역에서 상기 사전 설정된 영역에 대응하는 사전 설정된 특징값을 별개로 결정하고, 제2 관련 분할 영역에 대해, 상기 제2 관련 분할 영역에서 상기 사전 설정된 영역에 대응하는 사전 설정된 특징값과 상기 i번째 픽셀의 사전 설정된 특징값 사이의 특징 차이에 기초하여 대응하는 제2 가중 계수를 상기 제2 관련 분할 영역에 할당하는 방식- 상기 제2 관련 분할 영역은 상기 적어도 하나의 관련 분할 영역 중 임의의 하나임 -
    중 하나 또는 이들의 조합을 포함하는,
    톤 매핑 방법.
  3. 제2항에 있어서,
    상기 메타데이터는 제1 가중 강도값 또는 제2 가중 강도값 중 하나 또는 이들의 조합을 더 포함하고,
    상기 제1 가중 강도값은 상기 표시될 이미지 프레임의 픽셀 수량 분포 상태에 기초하여 상기 제1 가중 계수를 조정하는 데 사용되며, 상기 제2 가중 강도값은 상기 표시될 이미지 프레임의 사전 설정된 특징값 변화 상태에 기초하여 상기 제2 가중 계수를 조정하는 데 사용되는,
    톤 매핑 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나인,
    톤 매핑 방법.
  5. 제4항에 있어서,
    적어도 하나의 사전 설정된 특징값이 존재하는,
    톤 매핑 방법.
  6. 제1항에 있어서,
    상기 관련 메타데이터 정보 유닛을 기반으로, 각각의 관련 분할 영역에 대응하는 톤 매핑 서브값을 획득하는 것은,
    톤 매핑 곡선을 기반으로, 상기 관련 분할 영역의 상기 i번째 픽셀에 대응하는 톤 매핑 서브값을 획득하는 것을 포함하되, 상기 관련 메타데이터 정보 유닛은 상기 톤 매핑 곡선의 파라미터를 포함하는,
    톤 매핑 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 i번째 픽셀에 대해 선택된 상기 사전 설정된 영역은, 상기 i번째 픽셀을 중심으로 사용하여 선택되고 사전 설정된 크기의 사전 설정된 형상을 갖는 영역, 상기 i번째 픽셀을 중심으로 사용하고 사전 설정된 형상 및 상기 메타데이터에 포함된 사전 설정된 크기 정보에 기초하여 결정되는 영역, 또는 상기 i번째 픽셀을 중심으로 사용하고 상기 메타데이터에 포함된 사전 설정된 형상 및 사전 설정된 크기 정보에 기초하여 결정되는 영역인,
    톤 매핑 방법.
  8. 제1항에 있어서,
    상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 단계는,
    임의의 분할 영역에 대해, 상기 분할 영역으로부터 사전 설정된 위치에 있는 픽셀을 선택하고, 상기 사전 설정된 위치에 있는 상기 픽셀의 좌표 정보를 획득하고, 상기 좌표 정보에 기초하여, 상기 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하며, 상기 분할 영역과 상기 대응하는 메타데이터 정보 유닛 사이의 대응을 설정하는 단계, 또는
    임의의 메타데이터 정보 유닛에 대해, 상기 메타데이터 정보 유닛에 포함된 하나 이상의 좌표 정보에 기초하여, 상기 하나 이상의 좌표 정보에 대응하는 적어도 하나의 분할 영역을 결정하고, 상기 메타데이터 정보 유닛과 상기 대응하는 적어도 하나의 분할 영역 사이의 대응을 설정하는 단계를 포함하는,
    톤 매핑 방법.
  9. 제1항에 있어서,
    상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는 단계는,
    목표 스캐닝 시퀀스 및 분할 영역 식별자에 기초하여 상기 복수의 분할 영역을 트래버스(traverse)하여, 각 분할 영역에 대응하는 메타데이터 정보 유닛을 결정하는 단계를 포함하되, 상기 메타데이터 정보 유닛은 대응하는 상기 분할 영역 식별자를 포함하고, 상기 목표 스캐닝 시퀀스는 사전 설정된 스캐닝 시퀀스 또는 상기 메타데이터에 표시되는 스캐닝 시퀀스인,
    톤 매핑 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이에 일대일 대응 또는 다대일 대응이 존재하는,
    톤 매핑 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 목표 분할 방식은 사전 설정된 분할 방식 또는 상기 메타데이터에 표시된 분할 방식인,
    톤 매핑 방법.
  12. 캡처 단말 디바이스에 적용되는 톤 매핑 방법으로서,
    이미지 데이터를 캡처하여 표시될 데이터 프레임을 획득하는 단계와,
    상기 표시될 데이터 프레임을 목표 분할 방식으로 복수의 분할 영역으로 분할하고, 상기 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하는 단계와,
    상기 표시될 데이터 프레임과 메타데이터를 디스플레이 단말 디바이스로 전송하는 단계를 포함하되, 상기 메타데이터는 상기 적어도 하나의 메타데이터 정보 유닛을 포함하는,
    톤 매핑 방법.
  13. 제12항에 있어서,
    상기 복수의 분할 영역에 각각 포함된 픽셀의 수량에 기초하여 제1 가중 강도값을 결정하는 단계, 및/또는
    상기 복수의 분할 영역에 각각 대응하는 사전 설정된 특징값에 기초하여 제 2 가중 강도값을 결정하는 단계, 및
    상기 제1 가중 강도값 및/또는 제2 가중 강도값을 상기 메타데이터와 연관시키는 단계를 더 포함하는,
    톤 매핑 방법.
  14. 제13항에 있어서,
    상기 사전 설정된 특징값은 휘도 특징값 또는 색상 특징값 중 하나인,
    톤 매핑 방법.
  15. 제14항에 있어서,
    적어도 하나의 사전 설정된 특징값이 존재하는,
    톤 매핑 방법.
  16. 제12항에 있어서,
    상기 메타데이터 정보 유닛은 분할 영역에 대응하는 톤 매핑 곡선의 파라미터를 포함하는,
    톤 매핑 방법.
  17. 제12항 내지 제16항 중 어느 한 항에 있어서,
    상기 메타데이터는 사전 설정된 크기 정보를 더 포함하고, 상기 사전 설정된 크기 정보는 픽셀에 대해 사전 설정된 영역이 선택될 때 사용되는 사전 설정된 형상의 사전 설정된 크기를 나타내고, 또는
    상기 메타데이터는 사전 설정된 형상 및 사전 설정된 크기 정보를 더 포함하는,
    톤 매핑 방법.
  18. 제12항에 있어서,
    상기 복수의 분할 영역에 대응하는 적어도 하나의 메타데이터 정보 유닛을 결정하는 단계는,
    상기 분할 영역으로부터 사전 설정된 위치에 있는 복수의 픽셀을 선택하고, 상기 사전 설정된 위치에서의 상기 복수의 픽셀의 좌표 정보를 획득하는 단계와,
    상기 좌표 정보를 상기 메타데이터 정보 유닛와 연관시키는 단계를 포함하는,
    톤 매핑 방법.
  19. 제12항에 있어서,
    상기 메타데이터 정보 유닛은 상기 메타데이터 정보 유닛에 대응하는 분할 영역 식별자 및 스캐닝 시퀀스를 더 포함하고,
    상기 대응하는 분할 영역 식별자 및 상기 스캐닝 시퀀스는 상기 디스플레이 단말 디바이스에 의해 상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이의 대응을 결정하는데 사용되는,
    톤 매핑 방법.
  20. 제12항 내지 제19항 중 어느 한 항에 있어서,
    상기 복수의 분할 영역과 상기 적어도 하나의 메타데이터 정보 유닛 사이에 일대일 대응 또는 다대일 대응이 존재하는,
    톤 매핑 방법.
  21. 제12항에 있어서,
    상기 목표 분할 방식을 상기 메타데이터와 연관시켜, 상기 표시될 데이터 프레임을 상기 목표 분할 방식으로 분할할 것을 상기 디스플레이 단말 디바이스에 나타내는 단계를 더 포함하는,
    톤 매핑 방법.
  22. 서로 결합된 비휘발성 메모리와 프로세서를 포함하는 디스플레이 단말 디바이스로서,
    상기 프로세서는 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하기 위해 상기 메모리에 저장된 프로그램 코드를 호출하는,
    디스플레이 단말 디바이스.
  23. 서로 결합된 비휘발성 메모리와 프로세서를 포함하는 캡처 단말 디바이스로서,
    상기 프로세서는 제12항 내지 제21항 중 어느 한 항에 따른 방법을 수행하기 위해 상기 메모리에 저장된 프로그램 코드를 호출하는,
    캡처 단말 디바이스.
  24. 제22항에 따른 디스플레이 단말 디바이스와 제23항에 따른 캡처 단말 디바이스를 포함하는 톤 매핑 시스템.
  25. 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에서 실행될 때, 제1항 내지 제11항 또는 제12항 내지 제21항 중 어느 한 항에 따른 방법이 구현되는,
    컴퓨터 판독가능 저장 매체.
KR1020247011503A 2021-09-15 2022-07-07 톤 매핑 방법, 디바이스 및 시스템 KR20240063943A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202111080645.7A CN115810021A (zh) 2021-09-15 2021-09-15 一种色调映射方法、设备及系统
CN202111080645.7 2021-09-15
PCT/CN2022/104317 WO2023040431A1 (zh) 2021-09-15 2022-07-07 一种色调映射方法、设备及系统

Publications (1)

Publication Number Publication Date
KR20240063943A true KR20240063943A (ko) 2024-05-10

Family

ID=85481780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247011503A KR20240063943A (ko) 2021-09-15 2022-07-07 톤 매핑 방법, 디바이스 및 시스템

Country Status (5)

Country Link
EP (1) EP4390843A1 (ko)
KR (1) KR20240063943A (ko)
CN (1) CN115810021A (ko)
TW (1) TWI835280B (ko)
WO (1) WO2023040431A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117202447B (zh) * 2023-11-07 2024-01-05 深圳市千岩科技有限公司 氛围灯设备及其边角取色方法和相应的装置、介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420145B2 (en) * 2014-01-13 2016-08-16 Marvell World Trade Ltd. System and method for tone mapping of images
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
CN107993189B (zh) * 2016-10-27 2021-06-18 瑞芯微电子股份有限公司 一种基于局部分块的图像色调动态调节方法和装置

Also Published As

Publication number Publication date
EP4390843A1 (en) 2024-06-26
WO2023040431A1 (zh) 2023-03-23
TWI835280B (zh) 2024-03-11
TW202315394A (zh) 2023-04-01
CN115810021A (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
US7012617B2 (en) Method for representing a digital color image using a set of palette colors based on detected important colors
US10074164B2 (en) Method and apparatus for adjusting image brightness
KR101739432B1 (ko) 구역 기반의 톤 매핑
KR101466596B1 (ko) 디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들
CN103778900B (zh) 一种图像处理方法及系统
CN113518185B (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN109686342B (zh) 一种图像处理方法及装置
KR20120112709A (ko) 높은 동적 범위의 이미지 생성 및 렌더링
CN103440674B (zh) 一种数字图像蜡笔特效的快速生成方法
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
CN108806638B (zh) 一种图像的显示方法及其装置
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN113516939A (zh) 亮度校正方法、装置、显示设备、计算设备及存储介质
CN111724316A (zh) 处理高动态范围图像的方法和装置
US20190304072A1 (en) Method and apparatus for converting low dynamic range video to high dynamic range video
KR20240063943A (ko) 톤 매핑 방법, 디바이스 및 시스템
CN113870099A (zh) 一种图片颜色转换方法、装置、设备及可读存储介质
CN116959381A (zh) 图像增强显示的方法、显示设备及电子设备
CN114640836B (zh) 视频数据映射方法、led显示控制器及led显示系统
CN114494471A (zh) 一种图像对比度增强方法及系统
US20240221136A1 (en) Tone mapping method and system, and device
CN111338627B (zh) 前端网页主题颜色调节方法及装置
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN109996017B (zh) 一种图像的调整方法及其终端
CN117939307B (zh) 一种适用于融合相机的自适应亮度调节方法

Legal Events

Date Code Title Description
A201 Request for examination