KR20170134749A - 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 - Google Patents

메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20170134749A
KR20170134749A KR1020177032855A KR20177032855A KR20170134749A KR 20170134749 A KR20170134749 A KR 20170134749A KR 1020177032855 A KR1020177032855 A KR 1020177032855A KR 20177032855 A KR20177032855 A KR 20177032855A KR 20170134749 A KR20170134749 A KR 20170134749A
Authority
KR
South Korea
Prior art keywords
luminance
luminance value
image
value
display
Prior art date
Application number
KR1020177032855A
Other languages
English (en)
Other versions
KR101974137B1 (ko
Inventor
박승호
한승훈
서귀원
위호천
민병석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170134749A publication Critical patent/KR20170134749A/ko
Application granted granted Critical
Publication of KR101974137B1 publication Critical patent/KR101974137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal
    • H04N9/7973—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal by dividing the luminance or colour component signal samples or frequency bands among a plurality of recording channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

부호화된 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값 또는 타겟 디스플레이의 최대 디스플레이 휘도값을 이용하는 영상 처리 장치 및 방법에 개시된다.

Description

메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
메타데이터에 기초하여 영상의 다이나믹 레인지를 보정하는 방법 및 장치가 개시된다. 또한, 영상의 다이나믹 레인지를 보정하기 위한 메타데이터를 생성하는 방법 및 장치가 개시된다.
디스플레이 장치들은 디스플레이 장치들 성능에 따라서, 색을 표현할 수 있는 능력, 예를 들면, 색상을 재현할 수 있는 범위인 색역(color gamut)이 서로 상이할 수 있다.
따라서, 입력 영상의 기준이 되는 색역과 입력 영상을 디스플레이하는 장치의 색역이 상이한 경우, 서로의 색역이 매칭될 수 있도록 입력 영상의 색역을 적절하게 보정하여 입력 영상에 대한 디스플레이 장치의 색 재현력이 향상될 수 있다.
예를 들면, 입력 영상의 색역이 디스플레이 장치의 색역보다 좁은 경우, 디스플레이 장치에서 표시되는 영상의 색 재현력을 향상시키기 위하여 입력 영상의 색역을 확장할 필요가 있다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고, 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
도 1은 영상 처리 장치의 블록도이다.
도 2는 영상 처리 장치에 포함된 제어부의 블락도이다.
도 3 내지 도 5는 영상의 휘도 특성에 따른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 6은 영상의 휘도 특성에 따른 또 다른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다. 도 7은 영상의 휘도 특성에 따른 다양한 종류의 디스플레이 장치들의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 8은 또 다른 영상 처리 장치의 블록도이다.
도 9는 영상처리방법(900)의 흐름도를 도시한다.
도 10은 영상의 휘도특성을 획득하는 방법의 흐름도이다.
도 11은 영상의 평균 휘도값을 획득하는 동작을 도시한다.
도 12는 영상의 평균 휘도값을 획득하는 또 다른 동작을 도시한다.
도 13은 영상의 최대휘도영역을 결정하는 동작을 도시한다.
도 14는 현재 신의 최대휘도영역에 대한 중심 픽셀을 획득하는 결정하는 방법에 대한 흐름도이다.
도 15는 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 동작을 도시한다.
도 16은 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 또 다른 동작을 도시한다.
도 17은 현재 신의 최대휘도영역을 획득하는 방법에 대한 흐름도이다.
도 18은 현재 신의 최대휘도영역을 획득하는 동작을 도시한다.
도 19는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 방법에 대한 흐름도이다.
도 20은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 일례를 도시한다.
도 21은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다.
도 22는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 23은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 24는 톤맵핑 함수를 보정하는 동작을 도시한다.
도 25는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다.
도 26은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 27은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 방법에 대한 흐름도이다.
도 28은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 동작을 도시한다.
도 29는 통합된 다이나믹 메타데이터(unified Dynamic Metadata)를 이용하여 영상의 휘도 특성에 따라 톤맵핑 및 채도 보정을 수행하는 영상 처리 장치의 블락도이다.
도 30은 표 4의 연산 과정을 시계열 순으로 도시한다.
도 31은 표 5의 연산 과정을 시계열 순으로 도시한다.
도 32는 톤 맵핑 함수)의 일 예를 도시한다.
도 33은 임계값 및 휘도 보존값의 관계에 따른 톤 맵핑 함수 및 휘도 보존 함수의 관계를 도시한다.
도 34는 메타데이터 생성 장치의 블록도이다.
도 35는 메타데이터 생성 방법의 흐름도이다.
발명의 실시를 위한 최선의 형태
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고, 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 메타데이터를 수신하는 수신부; 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 메타데이터가 획득된 경우, 상기 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
상기 현재 신의 상기 평균 휘도값은 상기 현재 신에 포함된 픽셀의 RGB 성분값들 중 최대값을 이용하여 획득될 수 있다.
상기 현재 신의 상기 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이할 수 있다.
상기 제어부는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀을 상기 현재 신의 픽셀들 중에서 결정하고, 상기 중심 픽셀이 포함된 프레임의 픽셀들 중에서 상기 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득하고, 상기 현재 신의 휘도 특성은 상기 획득된 제1 픽셀들의 개수를 더 포함할 수 있다.
상기 수신부는 상기 현재 신의 상기 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신하고, 상기 제어부는 상기 획득된 플래그가 상기 현재 신의 상기 휘도 특성을 획득할 것을 지시하는 경우, 상기 현재 신의 상기 휘도 특성을 획득할 수 있다.
상기 장치는 디스플레이부를 더 포함하고, 상기 제어부는 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 상기 최대 디스플레이 휘도값 및 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 상기 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 상기 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑(tone mapping)을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득하고, 상기 디스플레이부는 상기 톤맵핑된 휘도값을 이용하여 상기 현재 신을 디스플레이 할 수 있다.
상기 원본 휘도값이 임계값 보다 작을 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제1 방식에 따른 톤맵핑에 의해 획득되고, 상기 원본 휘도값이 상기 임계값 보다 클 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제2 방식에 따른 톤맵핑에 의해 획득될 수 있다.
상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 선형 함수에 해당하고, 상기 제2 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 비선형 함수에 해당할 수 있다.
상기 임계값이 휘도 보존값 보다 작을 때, 상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값을 바이패스할 수 있다.
상기 제어부는 상기 픽셀의 상기 원본 휘도값과 상기 픽셀의 상기 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정하고, 상기 디스플레이부는 상기 톤맵핑된 휘도값 및 상기 보정된 채도값을 이용하여 상기 현재 신을 디스플레이 할 수 있다.
상기 보정된 채도값은 상기 원본 휘도값의 로그 스케일 및 상기 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정될 수 있다.
상기 픽셀의 상기 원본 휘도값이 바이패스된 경우, 상기 제어부는 상기 픽셀의 채도값을 바이패스 할 수 있다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 단계; 부호화된 영상을 적어도 하나의 신(scene)으로 분할하는 단계; 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하는 단계; 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계; 및 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계를 포함하는 영상 처리 방법이 개시된다.
최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 디스플레이부; 상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 센서; 및 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 제어부를 포함하는 메타 데이터 생성 장치가 개시된다.
최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 단계; 상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 단계; 및 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법이 개시된다.
상술한 방법들 중 어느 한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
발명의 실시를 위한 형태
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
이하, '영상(image)'은 비디오의 정지영상이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다.
일반적으로, "다이나믹 레인지(dynamic range)"란 물리적인 측정량의 최대값과 최소값 사이의 비율을 의미할 수 있다. 예를 들어, 영상의 다이나믹 레인지(dynamic range)란 영상 내에서 가장 밝은 부분과 가장 어두운 부분 사이의 밝기 비율을 의미할 수 있다. 또 다른 예로, 디스플레이 장치의 다이나믹 레인지란 스크린으로부터 방출될 수 있는 빛의 최소 밝기와 최대 밝기 사이의 비율을 의미할 수 있다. 자연(real world)의 경우, 0nit에 근접하는 완전한 어두움부터, 태양 빛에 근접하는 매우 밝은 밝기까지의 다이나믹 레인지를 갖는다.
영상 내의 최소 밝기 대비 최대 밝기의 비율이 클 수 록, 영상은 로우(low) 다이나믹 레인지 영상, 스탠다드 다이나믹 레인지 영상, 하이(high) 다이나믹 레인지 영상으로 구분될 수 있다. 예를 들어, 한 픽셀의 R,G,B 성분 별로 16bit 이하의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상을 표현할 수 있다. 또한, 한 픽셀의 R,G,B 성분 별로 32비트 이상의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상부터 하이 다이나믹 레인지 영상까지 표현할 수 있다.
다이나믹 레인지가 낮은 디스플레이 장치에서 하이 다이나믹 레인지 영상을 보정 없이 디스플레이 하면, 하이 다이나믹 레인지 영상의 본래 의도가 왜곡되어 디스플레이 될 수 있다.
톤맵핑(tone-mapping)이란, 영상의 다이나믹 레인지를 변환하는 작업을 의미할 수 있다. 구체적으로, 톤맵핑은 영상의 다이나믹 레인지를 좁히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 하이 다이나믹 레인지 영상을 로우 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 잇다. 또한, 톤맵핑은 영상의 다이나믹 레인지를 넓히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 로우 다이나믹 레인지 영상을 하이 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 있다.
영상의 다이나믹 레인지가 영상이 디스플레이되는 디스플레이 장치의 다이나믹 레인지에 포함되지 않는 경우, 디스플레이 장치는 톤맵핑된 영상을 이용하여 원본 영상의 의도를 유지할 수 있다.
일반적인 톤맵핑은 이상적인 조건에서 디스플레이 장치가 디스플레이 할 수 있는 최대 휘도값을 이용하여 수행된다. 예를 들어, 디스플레이 장치의 최대 휘도가 1000nit 에 해당하면, 일반적인 톤맵핑은 휘도 성분, 채도 성분 또는 런타임과 같은 영상의 조건들을 고려하지 않고, 1000nit에 기초하여 수행된다.
그러나, 디스플레이 장치가 영상을 디스플레이 할 때, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다. 구체적으로, 디스플레이 장치의 휘도값은 디스플레이 장치의 소비 전력에 의해 제약될 수 있다. 따라서, 디스플레이 장치가 영상의 휘도 특성에 따라 상기 영상을 디스플레이 하기에 디스플레이 장치의 소비 전력이 충분하지 않은 경우, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 디스플레이 장치의 명목상의 최대 휘도값(nominal maximum luminance value)보다 낮을 수 있다.
예를 들어, 디스플레이 장치의 최대 휘도가 1000nit에 해당한다고 하여도, 디스플레이 장치가 소정의 휘도 특성을 갖는 영상을 디스플레이 할 때, 상기 디스플레이 상에서 측정 가능한 실제 최대 휘도는 800nit에 해당할 수 있다.
따라서, 영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
이하에서는, 설명의 편의를 위하여, 입력 영상의 휘도 특성과 무관하게, 이상적인 조건에서 디스플레이 장치가 디스플레이 할 수 있는 최대 휘도값을 "이상적인 최대 디스플레이 휘도값" 이라 한다. 입력 영상의 휘도 특성이 이상적인 조건을 만족한다면, 디스플레이 장치에서 이상적인 최대 디스플레이 휘도값이 측정될 수 있다. 디스플레이 이상적인 조건은 디스플레이 장치의 특성마다 상이할 수 있다.
예를 들어, 제1 디스플레이 장치의 이상적인 조건은, 제1 디스플레이 장치가 최대 밝기를 갖는 하나의 픽셀과 최소 밝기를 갖는 나머지 픽셀들을 포함하는 영상을 디스플레이 하는 경우가 될 수 있다. 또한, 제1 디스플레이 장치의 이상적인 최대 디스플레이 휘도값은 상기 최대 밝기를 갖는 하나의 픽셀에서 측정되는 디스플레이 장치의 휘도값을 의미할 수 있다. 영상 내에 최대 밝기를 갖는 픽셀들의 개수가 적을 수록, 그리고 최소 밝기를 갖는 픽셀들의 개수가 많아질수록, 제1 디스플레이 장치가 디스플레이 가능한 최대 디스플레이 휘도값이 높아질 수 있다.
또 다른 예로, 제2 디스플레이 장치의 이상적인 조건은, 제2 디스플레이 장치가 모든 픽셀이 최대 밝기를 갖는 영상을 디스플레이 하는 경우가 될 수 있다. 영상 내에 최대 밝기를 갖는 픽셀들의 개수가 많아질수록, 제2 디스플레이 장치가 디스플레이 가능한 최대 디스플레이 휘도값이 높아질 수 있다.
디스플레이 장치가 입력 영상을 디스플레이 할 때, 입력 영상의 휘도 특성에 따라 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값을 "실제 최대 디스플레이 휘도값"이라 한다. 디스플레이 장치의 실제 최대 디스플레이 휘도값은, 디스플레이 장치가 입력 영상을 디스플레이 할 때, 디스플레이 장치 상에서 측정 가능한 최대 휘도값을 의미할 수 있다. 디스플레이 장치의 실제 최대 휘도값은 입력 영상의 휘도 특성에 따라 상이할 수 있다.
전술한 예시에서, 디스플레이 장치의 이상적인 최대 휘도값은 1000nit가 될 수 있고, 디스플레이 장치의 실제 최대 휘도값은 800nit가 될 수 있다.
이하, 첨부된 도면을 참고하여 영상의 특성에 따른 실제 최대 디스플레이 휘도값을 이용하는 디스플레이 장치 및 방법에 대하여 상세히 설명하기로 한다.
도 1은 영상 처리 장치의 블록도이다.
영상 처리 장치(100)는 수신부(110) 및 제어부(120)를 포함할 수 있다. 도 1에 도시된 영상 처리 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 처리 장치(100)가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 영상 처리 장치(100)가 구현될 수도 있다. 예를 들어, 영상 처리 장치(100)는 도 8에 도시된 바와 같이, 디스플레이부(830) 및 메모리(840)를 더 포함할 수 있다.
수신부(110)는 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신할 수 있다.
영상의 휘도 특성은 상기 영상 내 픽셀들의 휘도값들의 시공간적인 분포를 의미하는 수치(numerical value) 또는 지수(index)가 될 수 있다. 예를 들어, 영상의 휘도 특성은 영상 내 픽셀들의 휘도값들 중 최대값 및 최소값, 영상 내 픽셀들의 휘도값들의 평균값 및 다이나믹 레인지를 포함할 수 있다. 또 다른 예로, 영상의 휘도 특성은 영상 내 픽셀들의 휘도값들의 변화량을 포함할 수 있다.
제1 메타 데이터는 다양한 조건의 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다. 제1 메타 데이터는 LookUp Table 포맷을 가질 수 있다. 제1 메타데이터는 마스터링 디스플레이에서 생성될 수 있고, 영상 처리 장치(100)는 마스터링 디스플레이로부터 제1 메타 데이터를 수신할 수 있다.
마스터링 디스플레이란, 원본 영상을 생성 및 편집하기 위해 이용되는 디스플레이 장치를 의미할 수 있다. 영상 제작자는 마스터링 디스플레이의 다이나믹 레인지에 기초하여 원본 영상을 제작 및 편집 할 수 있다.
제2 메타 데이터는 다양한 조건의 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다. 제2 메타 데이터는 LookUp Table 포맷을 가질 수 있다. 제2 메타데이터는 타겟 디스플레이에서 생성될 수 있고, 영상 처리 장치(100)는 마스터링 디스플레이 또는 타겟 디스플레이로부터 제2 메타 데이터를 수신할 수 있다.
타겟 디스플레이란, 타겟 시스템(270)에 포함되는 디스플레이 장치이며, 톤맵핑된 영상이 디스플레이 되는 장치를 의미할 수 있다. 영상 제작자 혹은 컬러리스트는 타겟 디스플레이의 다이나믹 레인지를 정할 수 있다. 타겟 디스플레이의 다이나믹 레인지는 소비자가 실제로 사용하는 디스플레이 장치의 다이나믹 레인지에 포함될 수 도 있고, 소비자가 실제로 사용하는 디스플레이 장치의 다이나믹 레인지를 포함할 수 도 있다.
현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이할 수 있다.
제1 메타데이터 및 제2 메타데이터의 구체적인 예시들은 이하 도 3 내지 도 7을 참조하여 설명한다. 또한, 제1 메타데이터 및 제2 메타데이터를 생성하는 장치 및 방법에 대해서는 이하 도 34 내지 도 35을 참조하여 설명한다.
제어부(120)는 영상 처리 장치(100)에 입력된 영상의 휘도 특성을 획득할 수 있다. 예를 들어, 제어부(120)는 입력 영상의 평균 휘도값을 획득할 수 있다.
수신부(110)가 제1 메타데이터를 획득한 경우, 제어부(120)는 제1 메타데이터에 기초하여, 입력 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 수신부(110)가 제2 메타데이터를 획득한 경우, 제어부(120)는 제2 메타데이터에 기초하여, 입력 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 잇다.
제어부(120)는 입력 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 입력 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 입력 영상의 다이나믹 레인지를 변환할 수 있다. 예를 들어, 제어부(120)는 입력 영상의 하이 다이나믹 레인지를 로우 다이나믹 레인지로 톤맵핑 할 수 있다. 반대로, 제어부(120)는 입력 영상의 로우 다이나믹 레인지를 하이 다이나믹 레인지로 톤맵핑 할 수 있다.
제어부(120)는 적어도 하나의 프로세서를 포함할 수 있으며, 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 이하, 도 2를 참조하여 제어부(120)에 대해 구체적으로 설명한다.
도 2는 영상 처리 장치에 포함된 제어부의 블락도이다.
제어부(120)는 디코더(210), 컨버터(220), 휘도특성획득부(230), 톤맵핑부(240), 채도보정부(250), 인버스컨버터(260) 및 인코더(270)를 포함할 수 있다. 도 2에 도시된 제어부(120)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 제어부(120)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 제어부(120)가 구현될 수도 있다.
영상 처리 장치(100)에 입력된 원본 영상(200)이 부호화 되어 있는 경우, 디코더(210)는 원본 영상(200)을 복호화하고, 복호화된 원본 영상(200)을 획득할 수 있다. 또한, 디코더(210)는 복호화된 원본 영상(200)이 YCbCr 포맷을 갖는 경우, YCbCr 포맷의 복호화된 원본 영상(200)을 RGB 포맷으로 변환할 수 있다.
원본 영상(200)에 대해 톤맵핑을 수행하기 위하여, 컨버터(220)는 원본 영상(200)의 원본 색공간(color space)을 톤맵핑이 수행되는 워킹(working) 색공간으로 변환할 수 있다. 예를 들어, 컨버터(220)는 원본 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 워킹 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다. 만약, 원본 영상(200)의 원본 색공간이 워킹 색공간과 일치하는 경우, 제어부(120)에서 컨버터(220)는 생략될 수 있다.
휘도특성획득부(230)는 원본 영상(200)의 휘도 특성을 획득할 수 있다. 휘도특성획득부(230)는 원본 영상(200)을 소정의 단위로 분할하고, 분할된 소정의 단위마다 휘도 특성을 획득할 수 있다.
예를 들어, 타이틀(title) 또는 컷(cut)으로 불리는 원본 영상(200)은 적어도 하나의 신(scene)으로 분할될 수 있으며, 신은 적어도 하나의 프레임으로 분할될 수 있다. 휘도특성획득부(230)는 원본 영상(200)의 신(scene) 단위마다 휘도 특성을 획득될 수 있다. 또 다른 예로, 휘도특성획득부(230)는 원본 영상(200)의 n개의 프레임들마다 휘도 특성을 획득할 수 있다. 구체적으로, 휘도특성획득부(230)는 신의 평균 휘도값을 획득할 수 있다. 또한, 휘도특성획득부(230)는 n개의 프레임들의 평균 휘도값을 획득할 수 있다.
수신부(110)가 제1 메타데이터를 획득한 경우, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 예를 들어, 제1 메타데이터는 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다.
수신부(110)가 제2 메타데이터를 획득한 경우, 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 예를 들어, 제2 메타데이터는 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다.
휘도특성획득부(230)가 원본 영상의 휘도 특성을 획득하는 동작, 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작에 대해서는 이하 도 10 내지 도 18를 참조하여 상세히 설명한다.
톤맵핑부(240)는 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 원본 영상(200)에 대해 톤맵핑을 수행한다.
톤맵핑부(240)는 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지를 포함하는 경우, 원본 영상(200)의 다이나믹 레인지를 좁힐 수 있다. 톤맵핑부(240)는 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지에 포함되는 경우, 원본 영상(200)의 다이나믹 레인지를 넓힐 수 있다.
톤맵핑부(240)는 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값과 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 비교하고, 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지를 포함하는지 혹은 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지에 포함되는지를 판단할 수 있다.
톤맵핑부(240)가 원본 영상(200)에 대해 톤맵핑을 수행하는 동작에 대해서는 이하, 도 19 내지 도 26을 참조하여 상세히 설명한다.
채도보정부(250)는 톤맵핑된 영상의 채도값을 보정할 수 있다. 톤맵핑부(240)가 원본 영상(200)에 대해 톤맵핑을 수행하여도, 마스터링 디스플레이 상에서 디스플레이 되는 원본 영상(200)에 대해 사용자가 인지하는 느낌은 타겟 디스플레이 상에서 디스플레이 되는 톤맵핑된 영상에 대해 사용자가 인지하는 느낌과 상이할 수 있다. 채도보정부(250)는 원본 영상(200)에 더욱 가까운 보정 영상(280)을 만들기 위하여, 톤맵핑된 영상의 채도값을 보정할 수 있다.
채도보정부(250)가 톤맵핑된 영상에 대해 채도 보정을 수행하는 동작에 대해서는 이하, 도 27 내지 도 28를 참조하여 상세히 설명한다.
인버스컨버터(260)는 보정 영상(280)의 색공간을 원본 영상(200)의 원본 색공간으로 변환할 수 있다. 채도보정부(250)로부터 출력된 보정 영상(280)은 톤맵핑이 수행되는 워킹 색공간을 가질 수 있다. 인버스컨버터(260)는 보정 영상(280)의 색공간을 워킹 색공간에서 원본 영상(200)의 원본 색공간으로 변환할 수 있다. 예를 들어, 인버스컨버터(260)는 워킹 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 원본 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다.
인코더(270)는 보정 영상(280)을 타겟 시스템(290)에 입력하기 위하여, 보정 영상(280)을 부호화 할 수 있다. 인코더(270)에 의해 획득된 부호화된 보정 영상(280)은 타겟 시스템(290)으로 입력될 수 있다.
타겟 시스템(290)은 보정 영상(280)을 디스플레이 할 수 있다. 보정 영상(280)의 다이나믹 레인지가 원본 영상(200)의 다이나믹 레인지와 상이하여도, 제어부(120)에 의해 획득된 보정 영상(280)은 원본 영상(200)에 반영된 영상 제작자의 의도를 효과적으로 유지할 수 있다.
이하, 도 3 내지 도 7을 참조하여, 제1 메타데이터 및 제2 메타데이터의 구체적인 예시들을 설명한다.
도 3 내지 도 5는 영상의 휘도 특성에 따른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 3은 8bit 뎁스를 갖는 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 그래프(300)의 x축은 8bit 뎁스를 갖는 영상의 평균 휘도값 또는 평균 그레이스케일 값에 해당할 수 있다. 따라서, 그래프(300)의 x축의 최소값은 0이 될 수 있고, 최대값은 255가 될 수 있다. 그래프(300)의 y축은 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 그래프(300)의 y축의 단위는 nit가 될 수 있다.
도 3의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 그래프(300)와 같은 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 3의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 그래프(300)와 같은 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
LCD 장치가 x축의 어느 한 지점에 해당하는 평균 휘도값 또는 그레이스케일 값을 갖는 영상을 디스플레이 할 때, LCD 장치에서 디스플레이 할 수 있는 최대 휘도값은 그래프(300) 상에서 상기 x축의 어느 한 지점에 대응되는 y축의 nit 값이 될 수 있다.
그래프(300)를 참조하면, 영상의 평균 휘도값이 0에 가까운 값을 가질 때, LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이 할 수 있다. 즉, 영상의 평균 휘도값이 0에 가까운 값을 가질 때 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상의 평균 휘도값이 255에 가까운 값을 가질 때 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 또한, 영상의 평균 휘도값이 40 이하일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 영상의 평균 휘도값이 40 초과 90 이하일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 증가할 수 있다. 또한, 영상의 평균 휘도값이 90 이상일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 디스플레이 휘도값은 다시 감소할 수 있다. 예를 들어, 영상의 평균 휘도값이 60일 때 LCD 장치의 실제 최대 디스플레이 휘도값은 600nit가 될 수 있다. 또한, 영상의 평균 휘도값이 90 일 때 LCD 장치의 실제 최대 디스플레이 휘도값은 650nit가 될 수 있다.
그래프(300)에 도시된 310, 320, 330, 340 영상들은 그레이스케일 영상들이다. 310, 320, 330, 340 영상들은 각각 최대 그레이스케일 값(예를 들어, 255)을 갖는 적어도 하나의 픽셀을 포함하는 영역(311, 321, 331, 341)을 포함할 수 있다. 310 영상은 그래프(300) 상의 x1 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(311) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 310 영상을 디스플레이 할 때, 상기 영역(311)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x1 그레이스케일 값에 대응되는 y1 nit값이 될 수 있다. 320 영상은 그래프(300)의 x2 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(321) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 320 영상을 디스플레이 할 때, 상기 영역(321)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x2 그레이스케일 값에 대응되는 y2 nit가 될 수 있다. 330 영상은 그래프(300)의 x3 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(331) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 330 영상을 디스플레이 할 때, 상기 영역(331)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x3 그레이스케일 값에 대응되는 y3 nit가 될 수 있다. 340 영상은 그래프(300)의 x4 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(341) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 340 영상을 디스플레이 할 때, 상기 영역(341)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x4 그레이스케일 값에 대응되는 y4 nit가 될 수 있다. 예를 들어, (x1, y1) = (30, 590nit), (x2, y2) = (80, 630nit), (x3, y3)= (150, 520nit), (x4, y4) = (210, 450nit) 가 될 수 있다.
전술한 바와 같이, 디스플레이 장치가 영상을 디스플레이 할 때, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다. 디스플레이 장치가 영상의 평균 휘도값에 따라 상기 영상을 디스플레이 하기에 디스플레이 장치의 소비 전력이 충분하지 않은 경우, 디스플레이 장치의 실제 최대 디스플레이 휘도값은 디스플레이 장치의 이상적인 최대 디스플레이 휘도값보다 낮을 수 있다.
일반적인 LCD 장치, OLED 디스플레이 장치는 소비 전력에 제한이 있는 반면, 광고용 디스플레이 또는 광고용 전광판의 경우 소비 전력에 제한이 없을 수 있다. 따라서, 일반적인 디스플레이 장치의 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화에 비하여, 광고용 디스플레이의 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화가 상대적으로 작을 수 있다.
도 4는 영상 내 화이트패치(white patch)의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 그래프(400)의 x축은 화이트패치의 면적에 해당할 수 있다. 그래프(400)의 y축은 화이트패치의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 그래프(400)의 y축의 단위는 nit가 될 수 있다.
도 4의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 그래프(400)와 같은 영상 내 화이트패치의 면적에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 4의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 그래프(400)와 같은 영상 내 화이트패치의 면적에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
LCD 장치가 x축의 어느 한 지점에 해당하는 면적의 화이트패치를 포함하는 영상을 디스플레이 할 때, LCD 장치에서 디스플레이 할 수 있는 최대 휘도값은 그래프(400) 상에서 상기 x축의 어느 한 지점에 대응되는 y축의 nit 값이 될 수 있다.
화이트패치란, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 픽셀들을 포함하는 영역을 의미할 수 있다. 예를 들어, 8 bit 뎁스의 영상 내 화이트패치는 255 그레이스케일 값을 갖는 픽셀들을 포함할 수 있다.
그래프(400)의 x축에 해당하는 화이트패치의 면적이란, 화이트패치에 포함된 픽셀들의 개수가 될 수 있다. 예를 들어, 화이트패치가 사각형인 경우, 화이트패치의 면적은 화이트패치의 가로 픽셀 길이와 화이트패치의 세로 픽셀 길이의 곱이 될 수 있다. 따라서, 그래프(400)의 x축의 최소값은 0이 될 수 있고, 최대값은 영상 내 하나의 프레임에 포함된 픽셀들의 개수가 될 수 있다. 예를 들어, 그래프(400)의 x축 상의 250k 지점은 화이트패치 내에 250 x 1000 개의 픽셀들이 포함되는 것을 의미할 수 있다. 또 다른 예로, 그래프(400)의 x축 상의 1000k 지점은 화이트패치 내에 1000 x 1000 개의 픽셀들이 포함되는 것을 의미할 수 있다.
그래프(400)를 참조하면, 화이트패치의 면적이 작을 수 록 LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이 할 수 있다. 즉, 화이트패치의 면적이 작을 수 록 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 화이트패치의 면적이 클 수 록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 또한, 화이트패치의 면적이 약 1000k 이하일 때, 화이트패치의 면적이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 화이트패치의 면적이 1000k 이상 1260k 이하일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 화이트패치의 면적이 1260k 이상일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 다시 감소할 수 있다. 예를 들어, 영상 내 화이트패치의 면적이 250k 인 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 820nit가 될 수 있다. 또한, 영상 내 화이트패치의 면적이 1000k 인 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 620nit가 될 수 있다.
그래프(400)에 도시된 410, 420, 430, 440 영상들은 그레이스케일 영상들이다. 410, 420, 430, 440 영상들은 각각 화이트패치(411, 421, 431, 441)를 포함할 수 있다. 410 영상은 그래프(400) 상의 p1 지점에 대응되는 면적의 화이트패치를 포함할 수 있다. LCD 장치가 410 영상을 디스플레이 할 때, 상기 화이트패치(411)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p1 면적에 대응되는 q1 nit가 될 수 있다. LCD 장치가 420 영상을 디스플레이 할 때, 상기 화이트패치(421)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p2 면적에 대응되는 q2 nit가 될 수 있다. LCD 장치가 430 영상을 디스플레이 할 때, 상기 화이트패치(431)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p3 면적에 대응되는 q3 nit가 될 수 있다. LCD 장치가 440 영상을 디스플레이 할 때, 상기 화이트패치(441)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p4 면적에 대응되는 q4 nit가 될 수 있다. 예를 들어, (p1, q1) = (40k, 980 nit), (p2, q2) = (390k, 800 nit), (p3, q3) = (1260k, 650 nit), (p4, q4) = (2560k, 450 nit) 가 될 수 있다.
일반적으로, LCD 장치의 BLU(Back Light Unit)는 복수 개의 픽셀을 제어할 수 있다. Direct type BLU, Bar type BLU, Edge type BLU 순서대로 하나의 BLU가 제어하는 픽셀의 개수는 많아질 수 있다. LCD 장치가 화이트패치를 포함하는 영상을 디스플레이 할 때, 하나의 BLU가 제어하는 픽셀의 개수가 많아질 수록, 화이트패치를 표현하기 어려워질 수 있다. BLU의 위와 같은 특징은 LCD 장치의 소비 전력을 낭비하는 원인이 될 수 있다. 따라서, LCD 장치가 화이트패치를 포함하는 영상을 디스플레이 하기에 LCD 장치의 소비 전력이 충분하지 않은 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 이상적인 최대 디스플레이 휘도값보다 낮아질 수 있다.
OLED(Organic Light Emitting diode) 디스플레이 장치의 경우, BLU를 이용하지 않을 수 있고 발광 소자와 픽셀 간에 일대일 대응이 가능하다. 따라서, LCD 장치의 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값의 변화에 비하여, OLED 디스플레이의 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값의 변화가 상대적으로 작을 수 있다.
도 5는 8 bit 뎁스를 갖는 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 2차원 컬러맵(500)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵(500)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵(500)의 컬러는 LCD 장치의 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵(500)의 컬러는 컬러바(510) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
도 5의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 2차원 컬러맵(500)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 5의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 2차원 컬러맵(500)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
2차원 컬러맵(500)을 참조하면, 전반적으로, 영상 내 화이트패치의 면적이 작을수록, 영상의 평균 휘도값이 낮을수록 LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이할 수 있다. 즉, 2차원 컬러맵(500)의 좌측 하단에서 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상 내 화이트패치의 면적이 클수록, 영상의 평균 휘도값이 높을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 즉, 2차원 컬러맵(500)의 우측 상단에서 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다.
예를 들어, LCD 장치가 1000k 면적의 화이트패치를 포함하고, 평균 휘도값이 150인 영상을 디스플레이할 때, LCD 장치의 실제 최대 디스플레이 휘도값은 약 600nit가 될 수 있다.
도 6은 영상의 휘도 특성에 따른 또 다른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다. 구체적으로, 도 6은 영상의 평균 휘도값에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제1 그래프(600), 영상 내 화이트패치의 면적에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제2 그래프(610), 및 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제3 그래프(620)를 도시한다.
도 6의 LCD 장치가 마스터링 디스플레이 장치로 이용될 때, 제1 메타데이터는 제1 그래프(600)와 같은 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값, 제2 그래프(610)와 같은 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값, 및 2차원 컬러맵(620)과 같은 영상의 평균 휘도값 및 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값 중 적어도 하나를 포함할 수 있다. 도 6의 LCD 장치가 타겟 디스플레이 장치로 이용될 때, 제2 메타데이터는 제1 그래프(600)와 같은 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값, 제2 그래프(610)와 같은 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값, 및 2차원 컬러맵(620)과 같은 영상의 평균 휘도값 및 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값 중 적어도 하나를 포함할 수 있다.
제1 그래프(600)의 x축은 8bit 뎁스를 갖는 영상의 평균 휘도값 또는 평균 그레이스케일 값에 해당할 수 있다. 따라서, 제1 그래프(600)의 x축의 최소값은 0이 될 수 있고, 최대값은 255가 될 수 있다. 제1 그래프(600)의 y축은 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 제1 그래프(600)의 y축의 단위는 nit가 될 수 있다.
제1 그래프(600)를 참조하면, 영상의 평균 휘도값이 170 이하일 때, 영상의 평균 휘도값이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값이 증가할 수 있다. 또한, 영상의 평균 휘도값이 170을 초과할 때, 영상의 평균 휘도값이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값이 감소할 수 있다.
제2 그래프(610)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 따라서, 제2 그래프(610)의 x축의 최소값은 0이 될 수 있고, 최대값은 영상 내 하나의 프레임에 포함된 픽셀들의 개수가 될 수 있다. 제2 그래프(610)의 y축은 영상 내 화이트패치의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 제2 그래프(610)의 y축의 단위는 nit가 될 수 있다.
제2 그래프(610)를 참조하면, 화이트패치의 면적이 약 250k 이하일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 증가할 수 있다. 또한, 화이트패치의 면적이 약 250k 를 초과할 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다.
2차원 컬러맵(620)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵(620)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵(620)의 컬러는 LCD 장치의 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵(620)의 컬러는 컬러바(630) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
2차원 컬러맵(620)을 참조하면, 전반적으로 영상 내 화이트패치의 면적이 작을수록, 영상의 평균 휘도값이 낮을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상 내 화이트패치의 면적이 클수록, 영상의 평균 휘도값이 높을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다.
도 5의 LCD 장치의 2차원 컬러맵(620)과 도 6의 LCD 장치의 2차원 컬러맵(620)을 비교해보면, 도 6의 LCD 장치는 도 5의 LCD 장치에 비하여 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화량이 상대적으로 작을 수 있다.
도 7은 영상의 휘도 특성에 따른 다양한 종류의 디스플레이 장치들의 최대 디스플레이 휘도값의 예시들을 도시한다.
2차원 컬러맵들(700, 720, 740)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵들(700, 720, 740)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵들(700, 720, 740)의 컬러는 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵들(700, 720, 740)의 컬러는 컬러바(710, 730, 750) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
제1 2차원 컬러맵(700)은 영상의 휘도 특성에 따른 광고용 디스플레이의 최대 디스플레이 휘도값의 예시를 도시한다. 광고용 디스플레이가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제1 2차원 컬러맵(700)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제1 2차원 컬러맵(700)을 참조하면, 광고용 디스플레이가 밝은 영상을 디스플레이할 때, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성이 변하더라도 일정할 수 있다. 예를 들어, 영상의 평균 휘도값이 150 이상이고, 영상 내 화이트패치의 면적이 1000k 이상이면 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성과 서로 독립적일 수 있다. 광고용 디스플레의 소비 전력은 제한이 없을 수 있다. 따라서, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 다른 종류의 디스플레이 장치의 실제 최대 디스플레이 휘도값에 비하여, 영상의 휘도 특성에 의한 영향을 적게 받을 수 있다. 또한, 제1 2차원 컬러맵(700)을 참조하면, 광고용 디스플레이가 어두운 영상을 디스플레이 할 때, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다.
제2 2차원 컬러맵(720)은 영상의 휘도 특성에 따른 OLED(Organic Light Emitting Diode) 디스플레이의 최대 디스플레이 휘도값의 예시를 도시한다. OLED 디스플레이가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제2 2차원 컬러맵(720)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제2 2차원 컬러맵(720)을 참조하면, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상 내 화이트패치의 면적이 변하더라 일정할 수 있다. 예를 들어, 영상의 평균 휘도값이 200으로 동일하면, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상 내 화이트패치의 면적과 서로 독립적일 수 있다. OLED 디스플레이의 경우, BLU를 이용하지 않을 수 있고 발광 소자와 픽셀 간에 일대일 대응이 가능하다. 따라서, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 다른 종류의 디스플레이 장치의 실제 최대 디스플레이 휘도값에 비하여 영상 내 화이트패치의 면적에 의한 영향을 적게 받을 수 있다. 또한, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 평균 휘도값에 따라 상이해질 수 있다.
제3 2차원 컬러맵(740)은 영상의 휘도 특성에 따른 컨벤셔널 레퍼런스 모니터(conventional reference monitor)의 최대 디스플레이 휘도값의 예시를 도시한다. 컨벤셔널 레퍼런스 모니터는 일반적으로 마스터링 디스플레이로 이용될 수 있다. 컨벤셔널 레퍼런스 모니터가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제3 2차원 컬러맵(740)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제3 2차원 컬러맵(740)을 참조하면, 컨벤셔널 레퍼런스 모니터의 실제 최대 디스플레이 휘도값은 도 5의 LCD 장치 및 도 6의 LCD 장치의 실제 최대 디스플레이 휘도값에 비하여, 영상희 휘도 특성의 영향을 적게 받을 수 있다. 예를 들어, 영상의 평균 휘도값이 소정의 임계값보다 작고, 영상 내 화이트패치의 면적이 소정의 범위 내에 포함되면, 컨베셔널 레퍼런스 모니터의 실제 최대 디스플레이 휘도값은 일정할 수 있다.
도 8은 또 다른 영상 처리 장치의 블록도이다.
도 8의 영상 처리 장치(800)는 도 1의 영상 처리 장치(100)에 비하여 디스플레이부(830) 및 메모리(840) 중 적어도 하나를 더 포함할 수 있다. 도 8의 영상 처리 장치(800)의 수신부(810) 및 제어부(820)는 도 1의 영상 처리 장치(100)의 수신부(110) 및 제어부(120)에 동일 대응될 수 있다. 따라서, 도 1과 중복되는 설명은 생략한다.
디스플레이부(830)는 제어부(820)의 제어에 따라 영상을 디스플레이 할 수 있다. 예를 들어, 디스플레이부(830)는 영상 처리 장치(800)에 입력된 원본 영상을 디스플레이 할 수 있다. 또한, 디스플레이부(830)는 제어부(820)에 의해 톤맵핑 및 채도 보정이 수행된 보정 영상을 디스플레이 할 수 있다.
디스플레이부(830)의 다이나믹 레인지는 수신부(810)에서 수신된 제2 메타데이터의 타겟 디스플레이의 다이나믹 레인지를 포함할 수 있다. 또는 디스플레이부(830)의 다이나믹 레인지는 수신부(810)에서 수신된 제2 메타데이터의 타겟 디스플레이의 다이나믹 레인지에 포함될 수 있다.
디스플레이부(830)는 LCD, 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), OLED 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
메모리(840)는, 제어부(820)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 영상 처리 장치(800)로 입력되거나 영상 처리 장치(800)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(840)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 9는 영상처리방법(900)의 흐름도를 도시한다.
910 단계에서, 영상 처리 장치(100, 800)는 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신한다. 910 단계의 동작은 영상 처리 장치(100, 800)에 포함된 수신부(110, 810)에 의해 수행될 수 있다.
920 단계에서, 영상 처리 장치(100, 800)는 부호화된 영상을 적어도 하나의 신(scene)으로 분할한다.
930 단계에서, 영상 처리 장치(100, 800)는 현재 신(current scene)의 평균 휘도값을 포함하는 현재 신의 휘도 특성을 획득한다.
940 단계에서 영상 처리 장치(100, 800)가 제1 메타데이터를 획득한 경우, 950 단계에서 영상 처리 장치(100, 800)는 제1 메타데이터에 기초하여 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득한다.
960 단계에서 영상 처리 장치(100, 800)가 제2 메타데이터를 획득한 경우, 970 단계에서 영상 처리 장치(100, 800)는 제2 메타데이터에 기초하여 현재 신의 상기 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 획득한다.
920 단계 내지 970 단계의 동작은 영상 처리 장치(100, 800)는 에 포함된 제어부(120, 820)에 의해 수행될 수 있다. 구체적으로, 920 단계 내지 970 단계의 동작은 휘도특성획득부(230)에 의해 수행될 수 있다.
이하, 도 10 내지 도 15를 참조하여 휘도특성획득부(230)의 동작에 대하여 상세히 설명한다.
도 10은 영상의 휘도특성을 획득하는 방법의 흐름도이다.
휘도특성획득부(230)는 영상 처리 장치(100)로 입력된 영상을 소정의 단위로 분할하고, 분할된 소정의 단위마다 휘도 특성을 획득할 수 있다.
예를 들어, 920 단계에서, 휘도특성획득부(230)는 영상을 적어도 하나의 신으로 분할할 수 있다. 휘도특성획득부(230) 영상으로부터 분할된 현재 신의 휘도 특성을 획득할 수 있다.
1010 단계에서, 수신부(110)는 현재 신의 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신할 수 있다. 수신부(110)는 마스터링 디스플레이로부터 상기 플래그를 획득할 수 있다. 또한, 휘도특성획득부(230)는 상기 플래그에 기초하여, 현재 신으로부터 획득할 휘도 특성을 결정할 수 있다.
예를 들어, 상기 플래그의 값이 0이면, 상기 플래그는 영상으로부터 분할된 현재 신의 휘도 특성을 획득하지 않을 것을 지시할 수 있다. 상기 플래그가 현재 신의 휘도 특성을 획득하지 않을 것을 지시하는 경우, 휘도특성획득부(230)는 현재 신의 휘도 특성을 획득하지 않는다. 또한, 영상 처리 장치(100)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 휘도 특성이 획득되지 않은 현재 신에 대하여 톤맵핑을 수행할 수 있다.
상기 플래그의 값이 1이면, 상기 플래그는 현재 신의 평균 휘도값을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 평균 휘도값을 획득할 것을 지시하면, 1020 단계에서 휘도특성획득부(230)는 현재 신의 평균 휘도값을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 현재 신의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다. 휘도특성획득부(230)가 현재 신의 평균 휘도값을 획득하는 동작에 대해서는 이하 도 11 내지 도 12를 참조하여 상세히 설명한다.
상기 플래그의 값이 2이면, 상기 플래그는 현재 신의 최대휘도영역을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 최대휘도영역을 획득할 것을 지시하면, 1030 단계에서 휘도특성획득부(230)는 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다. 현재 신의 최대휘도영역은, 전술한 화이트패치에 대응될 수 있다. 현재 신의 최대휘도영역 및 휘도특성획득부(230)가 현재 신의 최대휘도영역을 획득하는 동작에 대해서는 이하 도 13 내지 도 18를 참조하여 상세히 설명한다.
상기 플래그의 값이 3이면, 상기 플래그는 현재 신의 평균휘도값 및 현재 신의 최대휘도영역을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역을 획득할 것을 지시하면, 1040 단계에서 휘도특성획득부(230)는 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역의 면적에 따른, 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다.
도 11은 영상의 평균 휘도값을 획득하는 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 평균 휘도값을 획득할 수 있다. 픽셀의 평균 휘도값은 픽셀의 RGB 성분값들에 대한 평균값을 이용하여 획득될 수 있다. 또는 픽셀의 평균 휘도값은 픽셀의 YCbCr 성분값들 중 Y 값을 이용하여 획득될 수 있다. 휘도특성획득부(230)는 상기 픽셀의 평균 휘도값을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
예를 들어, 8 비트 뎁스를 갖는 타이틀 또는 영상(1100)은 제1 신(1110), 제2 신(1120), 제3 신(1130) 및 제4 신(1140)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1130)은 제N 프레임(1150), 제N+1 프레임(1160), 제N+2 프레임(1170)을 포함한 복수 개의 프레임들로 분할될 수 있다. 제3 신(1130)의 제N 프레임(1150)에 포함된 p1 픽셀의 RGB 성분값들은 (55,66,77)이 될 수 있다. p1 픽셀의 적색 성분값은 55, p1 픽셀의 녹색 성분값은 66, p1 픽셀의 청색 성분값은 77이 될 수 있다. 또한, p1 픽셀의 평균 휘도값은 (55+66+77)/3 = 66 이 될 수 있다. 제3 신(1130)의 제N+1 프레임(1160)에 포함된 p2 픽셀의 RGB 성분값들은 (77,88,99)이 될 수 있다. p2 픽셀의 적색 성분값은 77, p2 픽셀의 녹색 성분값은 88, p2 픽셀의 청색 성분값은 99가 될 수 있다. 또한, p2 픽셀의 평균 휘도값은 (77+88+99)/3 = 88 이 될 수 있다. 제3 신(1130)의 제N+2 프레임(1170)에 포함된 p3 픽셀의 RGB 성분값들은 (66,77,88)이 될 수 있다. p3 픽셀의 적색 성분값은 66, p3 픽셀의 녹색 성분값은 77, p3 픽셀의 청색 성분값은 88이 될 수 있다. 또한, p2 픽셀의 평균 휘도값은 (77+88+99)/3 = 88 이 될 수 있다. 휘도특성획득부(230)는 p1 픽셀의 평균 휘도값, p2 픽셀의 평균 휘도값, p3 픽셀의 평균 휘도값 이외에도, 현재 신에 포함된 모든 픽셀들의 평균 휘도값들을 획득하고, 획득된 평균 휘도값들의 합을 상기 현재 신의 총 픽셀 수로 나누어서 현재 신의 평균 휘도값을 획득할 수 있다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 최대 휘도값을 획득할 수 있다. 픽셀의 최대 휘도값은 픽셀의 RGB 성분값들 중 최대값을 의미할 수 있다. 휘도특성획득부(230)는 상기 픽셀의 최대 휘도값을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
예를 들어, 제3 신(1130)의 제N 프레임(1150)에 포함된 p1 픽셀의 최대 휘도값은 77이 될 수 있다. 제3 신(1130)의 제N+1 프레임(1160)에 포함된 p2 픽셀의 최대 휘도값은 99가 될 수 있다. 제3 신(1130)의 제N+2 프레임(1170)에 포함된 p3 픽셀의 최대 휘도값은 88이 될 수 있다. 휘도특성획득부(230)는 p1 픽셀의 최대 휘도값, p2 픽셀의 최대 휘도값 및 p3 픽셀의 최대 휘도값 이외에도, 현재 신에 포함된 모든 픽셀들의 최대 휘도값들을 획득하고, 획득된 최대 휘도값들의 합을 상기 현재 신의 총 픽셀 수로 나누어서 현재 신의 평균 휘도값을 획득할 수 있다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 평균 휘도값, 픽셀의 최대 휘도값 이외에도, 픽셀의 최소 휘도값 혹은 픽셀의 중간 휘도값 등을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
도 12는 영상의 평균 휘도값을 획득하는 또 다른 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 일부를 선택하고, 선택된 픽셀들의 평균 휘도값들을 이용하여 현재 신의 평균 휘도값을 획득할 수 있다. 휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 기설정된 좌표에 위치하는 픽셀들을 선택할 수 있다. 또한, 휘도특성획득부(230)는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
도 12에 도시된 바와 같이, 예를 들어 8 비트 뎁스를 갖는 타이틀 또는 영상(1200)은 제1 신(1210), 제2 신(1220), 제3 신(1230) 및 제4 신(1240)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1230)은 제N 프레임(1250), 제N+1 프레임(1260), 제N+2 프레임(1270)을 포함한 복수 개의 프레임들로 분할될 수 있다. 휘도특성획득부(230)는 제3 신의 평균 휘도값을 획득하기 위하여, 제3 신의 픽셀들 중, 프레임 내에서 우측 상단에 위치하는 픽셀들을 선택할 수 있다. 휘도특성획득부(230)는 제N 프레임(1250)의 우측 상단에 위치하는 픽셀들(1255), 제N+1 프레임(1260)의 우측 상단에 위치하는 픽셀들(1265) 및 제N+2 프레임(1270)의 우측 상단에 위치하는 픽셀들(1275)을 선택할 수 있다.
휘도특성획득부(230)는 현재 신의 픽셀들 중, 선택된 픽셀들의 평균 휘도값들, 최대 휘도값들, 최소 휘도값들 또는 중간 휘도값들을 이용하여 현재 신의 평균 휘도값을 획득할 수 있다.
도 13은 영상의 최대휘도영역을 결정하는 동작을 도시한다.
1310 단계에서 휘도특성획득부(230)는 현재 신의 최대휘도영역에 대한 중심 픽셀을 결정할 수 있다. 현재 신의 최대휘도영역이란, 현재 신 내에서 가장 밝은 영역 혹은 가장 밝은 피사체를 의미할 수 있다. 예를 들어, 최대휘도영역은 전술한 화이트패치와 같이, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 픽셀들을 포함할 수 있다. 또 다른 예로, 최대휘도영역은 영상 내에 존재하는 태양과 같이 매우 밝은 피사체를 표현하는 픽셀들을 포함할 수 있다. 휘도특성획득부(230)는 현재 신의 최대휘도영역을 획득하기 위하여, 현재 신에 포함된 픽셀들 중 최대휘도영역에 대한 중심 픽셀을 먼저 결정할 수 있다. 최대휘도영역의 중심 픽셀을 결정하는 동작에 대해서는 이하 도 14 내지 도 16을 참조하여 상세히 설명한다.
1320 단계에서 휘도특성획득부(230)는 1310 단계에서 결정된 중심 픽셀에 기초하여, 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적을 획득할 수 있다.
영상 처리 장치(100)로 입력된 영상 내에서 충분히 밝은 영역은 디스플레이 장치의 소비 전력에 영향을 줄 수 있다. 따라서, 영상 내에서 높은 휘도값을 갖는 영역의 면적 또는 높은 휘도값을 갖는 피사체의 면적은, 전술한 화이트패치의 면적과 같이 디스플레이 장치의 실제 최대 디스플레이 휘도값을 변화시킬 수 있다.
휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 이용하여 획득할 수 있다. 예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 또 다른 예로, 수학식 1과 같이, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 이용하여, 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
Figure pct00001
영상 처리 장치(100)로 입력된 영상은 화이트패치를 포함할 수 도 있고, 포함하지 않을 수 도 있다. 따라서, 메타데이터가 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 포함한다고 하여도, 영상 내에서 화이트패치를 찾는 것 보다는 영상 내의 최대휘도영역을 찾는 것이 합리적일 수 있다. 휘도특성획득부(230)가 최대휘도영역을 획득하는 구체적인 동작에 대해서는 이하, 도 17 내지 도 18을 참조하여 상세히 설명한다.
1330 단계에서 수신부(110)가 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 최대 디스플레이 휘도값을 포함하는 제1 메타데이터를 획득한 경우, 1340 단계에서 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 휘도값을 획득할 수 있다.
전술한 바와 같이, 휘도특성획득부(230)는 제1 메타데이터에 기초하여 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 휘도값을 추정할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 구체적으로, 휘도특성획득부(230)는 40k 면적의 현재 신의 최대휘도영역에 대한 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 제1 메타데이터 상에서 40k 면적의 화이트패치에 대응되는 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값인 980nit로 획득할 수 있다.
또 다른 예로, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값에 곱하여, 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
1350 단계에서 수신부(110)가 화이트패치의 면적에 따른 타겟 디스플레이 장치의 최대 디스플레이 휘도값을 포함하는 제2 메타데이터를 획득한 경우, 1360 단계에서 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 휘도값을 획득할 수 있다.
전술한 바와 같이, 휘도특성획득부(230)는 제2 메타데이터에 기초하여 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 휘도값을 추정하거나 근사치를 획득할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 구체적으로, 휘도특성획득부(230)는 40k 면적의 현재 신의 최대휘도영역에 대한 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 제2 메타데이터 상에서 40k 면적의 화이트패치에 대응되는 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값인 450nit로 획득할 수 있다.
또 다른 예로, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 화이트패치의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값에 곱하여, 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
도 14는 현재 신의 최대휘도영역에 대한 중심 픽셀을 획득하는 결정하는 방법에 대한 흐름도이다.
휘도특성획득부(230)는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀(p)을 현재 신의 픽셀들 중에서 결정할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 제1 픽셀을 중심으로 기설정된 크기의 제1 영역을 설정하고, 상기 제1 영역 내 픽셀들의 휘도값들의 합을 획득할 수 있다. 또한, 휘도특성획득부(230)는 현재 신의 제2 픽셀을 중심으로 제1 영역과 같은 크기의 제2 영역을 설정하고, 상기 제2 영역 내 픽셀들의 휘도값들의 합을 획득할 수 있다. 휘도특성획득부(230)는 제1 영역의 휘도값들의 합과 제2 영역의 휘도값들의 합을 비교하여, 제1 픽셀 또는 제2 픽셀을 최대휘도영역에 대한 중심 픽셀로 결정할 수 있다. 제1 영역의 휘도값들의 합이 제2 영역의 휘도값들의 합보다 큰 경우, 최대휘도영역에 대한 중심 픽셀은 제1 픽셀이 될 수 있다.
구체적으로 1410 단계에서, 휘도특성획득부(230)는 중심 픽셀을 구하기 위한 인자들을 초기화할 수 있다. 예를 들어, 휘도특성획득부(230)는 현재 신 내의 현재 프레임의 번호인 f를 0으로 초기화하고, 현재 프레임 내의 현재 픽셀의 번호인 p 를 0으로 초기화 할 수 있다. 또한, 휘도특성획득부(230)는 MAX를 0으로 초기화 할 수 있다.
1420 단계에서, 휘도특성획득부(230)는 f번째 프레임 내 p번째 픽셀을 중심으로 기설정된 크기 및 기설정된 형태의 영역을 설정할 수 있다. 상기 영역의 크기 및 형태는 프레임의 크기, 전경 및 배경의 위치에 기초하여 결정될 수 있다. 예를 들어, 휘도특성획득부(230)는 정사각형, 직사각형, 원형 등으로 상기 영역의 크기 및 형태를 변경할 수 있다. 상기 영역의 크기 및 형태에 따라서 최대휘도영역에 대한 중심 픽셀은 달라질 수 있다.
1430 단계에서 휘도특성획득부(230)는 1420 단계에서 설정된 영역의 S(f,p)를 획득할 수 있다. S(f,p)는 상기 영역에 포함되는 픽셀들의 휘도값들의 합을 의미할 수 있다.
1440 단계에서 휘도특성획득부(230)는 S(f,p)를 MAX와 비교할 수 있다. S(f,p)가 MAX보다 큰 경우, 1450 단계에서, 중심 픽셀은 p로 설정되고, 중심 픽셀이 포함된 프레임은 f로 설정될 수 있다. 또한, MAX는 S(f,p)로 설정될 수 있다. 반면에, S(f,p)가 MAX보다 크지 않은 경우, 중심픽셀, 중심픽셀이 포함된 프레임 및 MAX는 기존의 값을 유지할 수 있다. MAX는 현재까지 획득된 S(f,p) 값들 중 최대값을 의미할 수 있다.
1460 단계에서, 휘도특성획득부(230)는 현재 픽셀 p가 f번째 프레임 내에서 마지막 픽셀인지 결정할 수 있다. 현재 픽셀 p가 f번째 프레임 내에서 마지막 픽셀이 아닌 경우, 휘도특성획득부(230)는 다음 픽셀에 기초하여 1420 단계 내지 1450 단계를 반복할 수 있다. 예를 들어, 1480 단계에서 휘도특성획득부(230)는 p를 1만큼 증가시킬 수 있다.
1470 단계에서, 휘도특성획득부(230)는 현재 프레임 f가 현재 신에서 마지막 프레임인지 결정할 수 있다. 현재 프레임 f가 현재 신 내에서 마지막 프레임이 아닌 경우, 휘도특성획득부(230)는 다음 프레임에 기초하여 1420 단계 내지 1450 단계를 반복할 수 있다. 예를 들어, 1490 단계에서 휘도특성획득부(230)는 f를 1만큼 증가시킬 수 있다.
1410 내지 1490 단계를 통해, 휘도특성획득부(230)는 최대휘도영역의 중심 픽셀을 결정할 수 있다.
도 15는 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 동작을 도시한다.
예를 들어, 8 비트 뎁스를 갖는 타이틀 또는 영상(1500)은 제1 신(1510), 제2 신(1520), 제3 신(1530) 및 제4 신(1540)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1530)은 제N 프레임(1550), 제N+1 프레임(1560), 제N+2 프레임(1570)을 포함한 복수 개의 프레임들로 분할될 수 있다.
예를 들어, 제3 신(1530)의 최대휘도영역의 중심 픽셀은 제N+1 프레임 내에 존재하는 태양의 중심에 해당하는 픽셀(1580)이 될 수 있다. 휘도특성획득부(230)는 가로 및 세로가 n 픽셀 길이에 해당하는 영역(1590)을 설정하고, 상기 영역(1590)의 위치를 현재 신 내에서 옮겨가면서, 상기 영역(1590)에 포함된 픽셀들의 휘도값들의 합이 최대가 되는 위치를 결정할 수 있다. 도 15에 도시된 바와 같이, 휘도특성획득부(230)는 상기 영역(1590)의 위치를 수평 방향으로 이동시킬 수 있다.
휘도특성획득부(230)는 중심 픽셀을 결정하기 위해, 상기 영역(1590)을 제3 신 내에서 가로 방향, 세로 방향, 대각선 방향과 같이 다양한 방향으로 이동시킬 수 있다. 상기 영역(1590)의 이동 방향은 프레임의 크기에 기초하여 결정될 수 있다. 예를 들어, 프레임의 가로 길이가 세로 길이 보다 긴 경우, 상기 영역(1590)의 이동 방향은 가로 방향이 될 수 있다. 또 다른 예로, 프레임의 세로 길이가 가로 길이 보다 긴 경우, 상기 영역(1590)의 이동 방향은 세로 방향이 될 수 있다. 또 다른 예로, 휘도특성획득부(230)는 프레임 내의 전경 및 배경의 위치에 기초하여 상기 영역(1590)의 이동 방향을 결정할 수 있다.
도 16은 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 또 다른 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 일부를 선택하고, 선택된 픽셀들 중에서 최대휘도영역의 중심 픽셀을 결정할 수 있다. 휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 기설정된 좌표에 위치하는 픽셀들을 선택할 수 있다. 또한, 휘도특성획득부(230)는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
도 16에 도시된 바와 같이, 예를 들어 타이틀 또는 영상(1600)은 제1 신(1610), 제2 신(1620), 제3 신(1630) 및 제4 신(1640)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1630)은 제N 프레임(1650), 제N+1 프레임(1660), 제N+2 프레임(1670)을 포함한 복수 개의 프레임들로 분할될 수 있다. 휘도특성획득부(230)는 제3 신의 평균 휘도값을 획득하기 위하여, 제3 신의 픽셀들 중, 프레임 내에서 우측 상단에 위치하는 픽셀들을 선택할 수 있다. 휘도특성획득부(230)는 제N 프레임(1650)의 우측 상단에 위치하는 픽셀들(1655), 제N+1 프레임(1660)의 우측 상단에 위치하는 픽셀들(1665) 및 제N+2 프레임(1670)의 우측 상단에 위치하는 픽셀들(1675)을 선택할 수 있다.
예를 들어, 제3 신(1630)의 최대휘도영역의 중심 픽셀은 제N+1 프레임 내에 존재하는 태양의 중심에 해당하는 픽셀(1680)이 될 수 있다. 휘도특성획득부(230)는 가로 및 세로가 n 픽셀 길이에 해당하는 영역(1695)을 설정하고, 상기 영역의 중심점을 선택된 픽셀들 내에서 옮겨가면서, 상기 영역(1695)에 포함된 픽셀들의 휘도값들의 합이 최대가 되는 위치를 결정할 수 있다.
도 17은 현재 신의 최대휘도영역을 획득하는 방법에 대한 흐름도이다.
휘도특성획득부(230)는 중심 픽셀의 위치 및 중심 픽셀의 휘도값에 기초하여 최대휘도영역의 면적을 획득할 수 있다. 예를 들어, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임의 픽셀들 중에서, 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득할 수 있다. 제1 픽셀들의 개수는 최대휘도영역의 면적이 될 수 있다.
구체적으로 1710 단계에서, 휘도특성획득부(230)는 최대휘도영역을 구하기 위한 인자들을 초기화할 수 있다. 예를 들어, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임 내의 현재 픽셀의 번호인 p를 0으로 초기화하고, 최대휘도영역의 면적을 0으로 초기화 할 수 있다.
1720 단계에서, 휘도특성획득부(230)는 p번째 픽셀의 휘도값과 중심 픽셀의 휘도값 사이의 차이에 대한 절대값이 임계 범위 이내인지를 결정할 수 있다. 또한, 휘도특성획득부(230)는 p번째 픽셀과 중심 픽셀간의 거리가 임계 거리 이내인지를 결정할 수 있다.
상기 절대값이 임계 범위 이내이고 상기 거리가 임계 거리 이내인 경우, 휘도특성획득부는 p번째 픽셀은 최대휘도영역으로 포함될 수 있다. 따라서, 휘도특성획득부(230)는 1730 단계에서 최대휘도영역의 면적을 1만큼 증가시킬 수 있다.
반면에, 상기 절대값이 임계 범위를 벗어나거나 상기 거리가 임계 거리보다 긴 경우, p번째 픽셀은 최대휘도영역에서 제외될 수 있다. 따라서, 휘도특성획득부(230)는 최대휘도영역의 면적을 기존의 값으로 유지할 수 있다.
1740 단계에서, 휘도특성획득부(230)는 현재 픽셀인 p번째 픽셀이 중심 픽셀이 포함된 프레임 내에서 마지막 픽셀인지를 결정할 수 있다. 현재 픽셀인 p번째 픽셀이 마지막 픽셀이 아닌 경우, 휘도특성획득부(230)는 다음 픽셀에 기초하여, 1720 단계 내지 1730 단계를 반복할 수 있다. 예를 들어, 1750 단계에서 휘도특성획득부(230)는 p를 1만큼 증가시킬 수 있다.
1710 단계 내지 1740 단계를 통해, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임 내 픽셀들 중에서, 최대휘도영역에 포함되는 제1 픽셀들을 선택할 수 있다. 또한, 선택된 제1 픽셀들의 개수는 최대휘도영역의 면적이 될 수 있다.
도 18은 현재 신의 최대휘도영역을 획득하는 동작을 도시한다.
도 18은 도 15에서 전술한 중심 픽셀을 선택하기 위한 기설정된 크기 및 기설정된 형태의 영역(1590)과 최대휘도영역(1800)을 도시한다.
도 14 내지 도 16을 참조하여 전술한 방법을 통해, 휘도특성획득부(230)는 현재 신의 픽셀들 중에서 최대휘도영역에 대한 중심 픽셀(1580)을 결정할 수 있다. 예를 들어, 휘도특성획득부(230)는 도 15의 중심 픽셀이 포함된 제N+1 프레임(1560) 내 픽셀들 중에서, 중심 픽셀의 휘도값과 임계 범위 이하로 차이나는 휘도값을 갖고, 중심 픽셀로부터 임계 거리 내에 위치하는 제1 픽셀들을 결정할 수 있다. 또한, 제1 픽셀들의 개수는 최대휘도영역(1800)의 면적이 될 수 있다.
중심 픽셀을 선택하기 위한 상기 영역(1590)과 최대휘도영역(1800)은 서로 독립적일 수 있다. 최대휘도영역(1800)는 중심 픽셀을 선택하기 위한 상기 영역(1590)을 포함할 수 도 있고, 포함하지 않을 수 도 있다. 전술한 바와 같이, 중심 픽셀을 선택하기 위한 상기 영역(1590)의 크기 및 형태는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여 설정될 수 있다. 또한, 최대휘도영역(1800)의 형태 및 면적은 중심 픽셀의 휘도값 및 중심 픽셀의 위치에 기초하여 설정될 수 있다.
도 19는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 방법에 대한 흐름도이다.
1910 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값 및 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 현재 신의 휘도값에 대해 톤맵핑을 수행할 수 있다.
구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다.
1920 단계에서, 톤맵핑부(240)는 톤맵핑된 휘도값을 이용하여, 현재 신을 디스플레이 할 수 있다. 영상 처리 장치(100)가 보정된 영상을 타겟 시스템(290)에 전송하는 경우, 영상 처리 장치(100)는 디스플레이부(830)를 포함하지 않을 수 있고, 영상처리방법(900)은 1910 단계를 생략할 수 있다.
도 20은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 일례를 도시한다. 구체적으로, 도 20은 톤맵핑부(240)가 제1 메타데이터에 기초하여 톤맵핑을 수행하는 동작을 도시한다.
예를 들어, 도 20에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak) 및 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값(SCENE_PEAK)은 500 nit로 동일할 수 있다. 또한, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL)은 1000 nit가 될 수 있다.
도 20의 그래프는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL) 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak) 500 nit로 이루어진 지점(2020)과 원점(2010)을 잇는 1차 선형 톤맵핑 함수(2000)를 포함한다.
또한, 도 20의 그래프는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 500 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit로 이루어진 지점(2040)과 원점(2010)을 잇는 1차 선형 톤맵핑 함수(2030)를 포함한다.
도 20의 그래프의 x축은 영상 처리 장치(100)에 입력된 원본 영상의 휘도값에 해당하고, 그래프의 y축은 영상 처리 장치(100)에서 출력된 톤맵핑된 영상의 휘도값에 해당할 수 있다.
예를 들어, 입력 영상의 휘도값이 500 nit에 해당하는 경우, 2000 톤맵핑 함수에 의해 250 nit의 톤맵핑된 휘도값이 획득될 수 있고, 2030 톤맵핑 함수에 의해 500 nit의 바이패스된 휘도값이 획득될 수 있다.
영상의 휘도 특성을 고려하는 2000 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2030 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 도 20의 경우, 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값(SCENE_PEAK)이 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)과 동일하므로, 원본 영상의 휘도값은 2030 톤맵핑 함수에 의하여 바이패스 될 수 있다. 따라서, 톤맵핑부(240)가 2030 톤맵핑 함수를 이용하여 입력 영상에 대해 톤맵핑을 수행하면, 타겟 시스템의 타겟 디스플레이에서 디스플레이 되는 영상은 원본과 동일할 수 있다.
반면에, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL)은 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)의 두배이므로, 원본 영상의 휘도값은 2000 톤맵핑 함수에 의하여 절반이 될 수 있다. 따라서, 톤맵핑부(240)가 2000 톤맵핑 함수를 이용하여 입력 영상에 대해 톤맵핑을 수행하면, 타겟 시스템의 타겟 디스플레이에서 디스플레이 되는 영상은 불필요한 톤맵핑에 의하여 영상이 어두워질 수 있다.
도 21은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다. 구체적으로, 도 21은 영상 처리 장치(100)가 제1 메타데이터에 기초하여 영상의 현재 신의 휘도값에 대해 톤맵핑을 수행하는 방법의 흐름도이다.
2110 단계에서, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제1 메타데이터는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2120 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값에 기초하여, 현재 신에 대해 톤맵핑을 수행할 수 있다. 구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다. 마스터링 디스플레이의 실제 최대 디스플레이 휘도값에 기초한 톤맵핑에 대해서는 이하 도 21 내지 도 24를 참조하여 더욱 상세히 설명한다.
도 22는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 22는 영상의 다이나믹 레인지를 좁히는 동작을 도시한다.
도 22의 그래프(2200)는 원본 휘도값의 코드 벨류(code value)에 따른 톤맵핑된 휘도값을 도시한다. 구체적으로, 그래프(2200)의 x축은 원본 영상의 휘도값을 0에서 1사이의 코드 벨류(code value)로 정규화한 값에 해당할 수 있다. 예를 들어, 마스터링 디스플레이 장치의 이상적인 최대 휘도값 또는 영상의 휘도 특성에 따른 실제 최대 휘도값은 1에 해당할 수 있고, 마스터링 디스플레이 장치의 최소 휘도값은 0에 해당할 수 있다. 그래프(2200)의 y축은 보정 영상의 톤맵핑된 휘도값에 해당할 수 있다.
예를 들어, 도 22에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 500 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 크기 때문에, 도 22의 톤맵핑은 영상의 다이나믹 레인지를 좁힐 수 있다.
도 22의 그래프(2200)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2220)를 포함한다. 구체적으로 2220 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한, 2220 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2240)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2220 톤맵핑 함수는 2240 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 22의 그래프(2200)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2210)를 포함한다. 구체적으로 2210 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한 2210 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2230)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2210 톤맵핑 함수는 2230 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2200) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2230은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2210 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수는 2240 직선에 기초하므로, 2220 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값이 원본 휘도값을 초과할 수 있다. 따라서, 2220 톤맵핑 함수에 의하면, 원본 영상의 일부 휘도값은 밝아지고 원본 영상의 다른 일부 휘도값은 어두워질 수 있다. 예를 들어, 2220 톤맵핑 함수와 2230 직선이 만나는 지점인 코드 벨류 0.7을 기준으로, 2220 톤맵핑 함수의 결과가 달라질 수 있다. 2220 톤맵핑 함수는 코드 벨류 0부터 코드 벨류 0.7에 해당하는 원본 영상의 휘도값에 대해 원본 영상의 휘도값보다 더 밝아진 톤맵핑된 휘도값을 획득할 수 있다. 영상의 다이나믹 레인지를 좁히는 톤맵핑이 수행되어야 함에도 불구하고, 2220 톤맵핑 함수에 의하면 영상의 일부가 더 밝아질 수 있다. 그래프(2200)는 2220 톤맵핑 함수에 의하여 원본 휘도값보다 불필요하게 델타(△)만큼 밝아진 톤맵핑된 휘도값을 포함한다. 또한, 2220 톤맵핑 함수는 코드 벨류 0.7 부터 코드 벨류 1에 해당하는 원본 영상의 휘도값에 대해, 원본 영상의 휘도값보다 더 어두워진 톤맵핑된 휘도값을 획득할 수 있다. 따라서, 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수를 이용하면, 영상의 일부는 원본 영상보다 더 밝아지고 다른 일부는 원본 영상보다 더 어두워지는 결과가 발생하여, 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2210 톤맵핑 함수는 원본 영상에 해당하는 2230 직선에 기초하므로, 2210 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 일괄되게 어두워질 수 있다. 원본 영상의 다이나믹 레인지를 좁히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 불필요하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2210 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 23은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 23은 영상의 다이나믹 레인지를 넓히는 동작을 도시한다.
예를 들어, 도 23에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 2000 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 작기 때문에, 도 23의 톤맵핑은 영상의 다이나믹 레인지를 넓힐 수 있다. 영상의 다이나믹 레인지를 넓히는 톤맵핑은 역 톤맵핑(inverse tone mapping)이라고도 한다.
도 23의 그래프(2300)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit에 기초하는 톤맵핑 함수(2320)를 포함한다. 구체적으로 2220 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit)를 지날 수 있다. 또한, 2320 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2340)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2320 톤맵핑 함수는 2340 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 23의 그래프(2300)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit에 기초하는 톤맵핑 함수(2310)을 포함한다. 구체적으로 2310 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit)를 지날 수 있다. 또한 2310 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2330)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2310 톤맵핑 함수는 2330 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2300) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2330은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2310 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수는 2340 직선에 기초하므로, 2320 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 과도하게 톤맵핑 될 수 있다. 예를 들어, 그래프(2300)는 2320 톤맵핑 함수에 의하여 원본 휘도값보다 델타(△)만큼 과도하게 밝아진 톤맵핑된 휘도값을 포함한다. 따라서, 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수를 이용하면, 영상이 과도하게 밝아져 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2310 톤맵핑 함수는 원본 영상에 해당하는 2330 직선에 기초하므로, 2310 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값을 최대한 유지할 수 있다. 원본 영상의 다이나믹 레인지를 넓히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 과도하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2310 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 24는 톤맵핑 함수를 보정하는 동작을 도시한다. 영상 처리 장치(100)는 마스터링 디스플레이 및 타겟 디스플레이의 특성에 기초하여 생성된 톤맵핑 함수 ft를 보정할 수 있다. 예를 들어, 소비자가 사용하는 디스플레이 장치(이하, '소비자 디스플레이'라고 한다)의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지와 상이한 경우, 영상 처리 장치(100)는 원본 영상에 해당하는 함수 fs 및 톤맵핑부(240)에서 이용되는 톤맵핑 함수 ft를 이용하여, 소비자 디스플레이에 적용할 수 있는 새로운 톤 맵핑 함수 fc를 생성할 수 있다.
소비자 디스플레이의 다이나믹 레인지가 마스터링 디스플레이의 다이나믹 레인지에 포함되고, 타겟 디스플레이의 다이나믹 레인지가 소비자 디스플레이의 다이나믹 레인지에 포함되는 경우, 소비자 디스플레이는 ft에 의해 톤맵핑된 영상을 디스플레이 할 수 있다. 또는, 소비자 디스플레이는 원본 영상에 더욱 가까운 영상을 디스플레이 하기 위하여 fs 및 ft에 기초하여 새로운 톤맵핑 함수 fc를 생성할 수 있다. 예를 들어, 소비자 디스플레이는 수학식 2와 같이, 원본 영상에 해당하는 fs에 제1 가중치를 적용하고, 영상 처리 장치(100)에서 이용되는 톤맵핑 함수 ft에 제2 가중치를 적용하여 새로운 톤맵핑 함수 fc를 생성할 수 있다.
Figure pct00002
도 25는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다. 구체적으로, 도 25는 영상 처리 장치(100)가 제1 메타데이터 및 제2 메타데이터에 기초하여 영상의 현재 신의 휘도값에 대해 톤맵핑을 수행하는 방법의 흐름도이다.
2510 단계에서, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제1 메타데이터는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2520 단계에서, 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제2 메타데이터는 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제2 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2530 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값에 기초하여, 현재 신에 대해 톤맵핑을 수행할 수 있다. 구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다. 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값에 기초한 톤맵핑에 대해서는 이하 도 26을 참조하여 더욱 상세히 설명한다.
도 26은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 26은 영상의 다이나믹 레인지를 좁히는 동작을 도시한다.
도 26의 그래프(2200)는 원본 휘도값의 코드 벨류(code value)에 따른 톤맵핑된 휘도값을 도시한다. 구체적으로, 그래프(2600)의 x축은 원본 영상의 휘도값을 0에서 1사이의 코드 벨류(code value)로 정규화한 값에 해당할 수 있다. 예를 들어, 마스터링 디스플레이 장치의 이상적인 최대 휘도값 또는 영상의 휘도 특성에 따른 실제 최대 휘도값은 1에 해당할 수 있고, 마스터링 디스플레이 장치의 최소 휘도값은 0에 해당할 수 있다. 그래프(2600)의 y축은 보정 영상의 톤맵핑된 휘도값에 해당할 수 있다.
예를 들어, 도 26에 도시된 바와 같이, 영상의 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값은 400 nit가 될 수 있고, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 500 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 크기 때문에, 도 26의 톤맵핑은 영상의 다이나믹 레인지를 좁힐 수 있다.
도 26의 그래프(2600)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2620)를 포함한다. 구체적으로 2620 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한, 2620 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2640)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2620 톤맵핑 함수는 2640 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 26의 그래프(2600)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 영상의 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 400 nit에 기초하는 톤맵핑 함수(2610)을 포함한다. 구체적으로 2610 톤맵핑 함수는 (코드 벨류 1, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 400 nit)를 지날 수 있다. 또한 2610 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2630)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2610 톤맵핑 함수는 2630 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2600) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2630은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2610 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수는 2640 직선에 기초하므로, 2620 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값이 원본 휘도값을 초과할 수 있다. 따라서, 2620 톤맵핑 함수에 의하면, 원본 영상의 일부 휘도값은 밝아지고 원본 영상의 다른 일부 휘도값은 어두워질 수 있다. 예를 들어, 2620 톤맵핑 함수와 2630 직선이 만나는 지점인 코드 벨류 0.7을 기준으로, 2620 톤맵핑 함수의 결과가 달라질 수 있다. 2620 톤맵핑 함수는 코드 벨류 0부터 코드 벨류 0.7에 해당하는 원본 영상의 휘도값에 대해 원본 영상의 휘도값보다 더 밝아진 톤맵핑된 휘도값을 획득할 수 있다. 영상의 다이나믹 레인지를 좁히는 톤맵핑이 수행되어야 함에도 불구하고, 2620 톤맵핑 함수에 의하면 영상의 일부가 더 밝아질 수 있다. 그래프(2600)는 2620 톤맵핑 함수에 의하여 원본 휘도값보다 불필요하게 델타(△)만큼 밝아진 톤맵핑된 휘도값을 포함한다. 또한, 2620 톤맵핑 함수는 코드 벨류 0.7 부터 코드 벨류 1에 해당하는 원본 영상의 휘도값에 대해, 원본 영상의 휘도값보다 더 어두워진 톤맵핑된 휘도값을 획득할 수 있다. 따라서, 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수를 이용하면, 영상의 일부는 원본 영상보다 더 밝아지고 다른 일부는 원본 영상보다 더 어두워지는 결과가 발생하여, 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2610 톤맵핑 함수는 원본 영상에 해당하는 2630 직선에 기초하므로, 2610 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 일괄되게 어두워질 수 있다. 원본 영상의 다이나믹 레인지를 좁히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 불필요하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2610 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 22의 2200 그래프와 도 26의 2600 그래프 비교하면, 2610 톤맵핑 함수는 2210 톤맵핑 함수에 비하여 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 더 고려할 수 있다. 2210 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값인 400 nit 보다 크고 타겟 디스플레이의 실제 최대 디스플레이 휘도값인 500 nit 보다 작은 값을 가질 수 있다. 영상의 휘도 특성에 따른 소비 전력의 문제로 타겟 디스플레이는 400 nit 를 초과하는 휘도값을 디스플레이 하지 못할 수 있다. 따라서, 400 nit 이상의 톤맵핑된 휘도값은 원본 영상의 의도를 왜곡할 수 있다. 반면에, 2610 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값인 400 nit를 초과하지 않을 수 있다. 따라서, 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 뿐만 아니라, 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값까지 고려할 때, 원본 영상의 의도가 더욱 잘 보존될 수 있다.
도 27은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 방법에 대한 흐름도이다.
같은 컬러라고 하여도, 상기 컬러의 휘도값이 낮을수록 상기 컬러에 대해 인간이 인지하는 채도값은 낮아질 수 있고, 상기 컬러의 휘도값이 높을수록 상기 컬러에 대해 인간이 인지하는 채도값은 높아질 수 있다. 이러한 컬러 현상을 헌트 효과(hunt effect)라고 한다.
마찬가지로 원본 영상의 휘도값이 톤맵핑에 의해 낮아지면, 원본 영상에 대해 인간이 인지하는 채도값 보다 톤맵핑된 영상에 대해 인간이 인지하는 채도값이 더 낮아질 수 있다. 원본 영상의 휘도값이 톤맵핑에 의해 높아지면, 원본 영상에 대해 인간이 인지하는 채도값 보다 톤맵핑된 영상에 대해 인간이 인지하는 채도값이 더 높아질 수 있다. 따라서, 영상 처리 장치(100) 및 영상처리방법(900)이 톤맵핑된 영상의 채도값을 함께 보정하면 원본 영상의 의도를 더욱 효율적으로 보존할 수 있다.
2710 단계에서, 채도보정부(250)는 영상의 원본 휘도값과 톤맵핑된 휘도값에 기초하여, 영상의 채도값을 보정할 수 있다 구체적으로, 채도보정부(250)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값 및 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정할 수 있다. 예를 들어, 상기 픽셀의 톤맵핑된 휘도값보다 원본 휘도값이 낮은 경우 채도보정부(250)는 상기 픽셀의 채도값을 높일 수 있고, 상기 픽셀의 톤맵핑된 휘도값보다 원본 휘도값이 높은 경우 채도보정부(250)는 상기 픽셀의 채도값을 낮출 수 있다.
보정된 채도값은 원본 휘도값의 로그 스케일 및 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정될 수 있다. 컬러에 대한 인간의 인지 능력은 로그 스케일에 기초할 수 있다. 컬러에 대한 인간의 인지 능력은 어두운 색상에 대해 상대적으로 더 민감하고 밝은 색상에 대하여 상대적으로 더 둔감할 수 있다. 따라서, 원본 영상의 휘도값과 톤맵핑된 영상의 휘도값의 차이가 일정하더라도, 원본 영상의 휘도값이 낮을수록 채도 보정의 강도가 증가할 수 있고, 보정된 채도값과 원본 채도값의 차이가 커질 수 있다. 예를 들어, 원본 휘도값이 1000 nit이고 보정된 휘도값이 900 nit 인 경우, 채도 보정의 강도는 log(1000/900) 가 될 수 있다. 반면 원본 휘도값이 500 nit 이고 보정된 휘도값이 400 nit 인 경우, 채도 보정의 강도는 log(500/400) 이 될 수 있다.
도 28은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 동작을 도시한다.
2810 그래프는 원본 휘도값의 코드 벨류에 따른 톤맵핑된 휘도값을 도시한다. 톤맵핑부(240)는 2810 그래프의 톤맵핑 함수(2820)에 따라 원본 휘도값에 대해 톤맵핑을 수행할 수 있다. 2840 그래프는 원본 휘도값의 코드 벨류에 따른 채도 보정의 강도를 도시한다. 채도보정부(250)는 2840 그래프의 채도보정함수(2850)에 따라 원본 채도값을 보정할 수 있다. Saturation gain 이 높을 수 록, 채도보정부(250)의 채도 보정 강도가 강해질 수 있다.
채도보정부(250)는 픽셀의 휘도값이 임계값 TMx를 초과하는 경우 상기 픽셀의 채도값을 보정하고, 픽셀의 휘도값이 임계값 TMx 이하인 경우 채도값을 바이패스 할 수 있다. 전술한 바와 같이, 톤맵핑부(240)는 임계값을 기준으로 원본 휘도값을 바이패스 하거나 톤맵핑 할 수 있다. 톤맵핑부(240)가 픽셀의 원본 휘도값을 바이패스 하는 경우 인간의 인지 채도값이 유지될 수 있으므로, 채도보정부(250)는 상기 픽셀의 채도값을 바이패스 할 수 있다. 구체적으로, 2810 그래프를 참조하면, 톤맵핑부(240)는 톤맵핑 함수(2820)에 따라 TMx 이하의 코드 벨류에 해당하는 원본 휘도값을 바이패스 할 수 있고, 채도보정부(250)는 채도보정함수(2850)에 따라 TMx 이하의 코드 벨류에 해당하는 원본 휘도값을 갖는 픽셀의 채도값을 바이패스 할 수 있다. 또한, 채도보정부(250)는 TMx 를 초과하는 코드 벨류에 해당하는 원본 휘도값을 갖는 픽셀에 대해 채도 보정을 수행할 수 있다.
이하 도 29 내지 도 33을 참조하여, 영상 처리 장치(2900)가 영상의 휘도 특성에 기초하여 톤맵핑 및 채도 보정을 수행하는 구체적인 예시에 대하여 설명한다.
도 29는 통합된 다이나믹 메타데이터(unified Dynamic Metadata)를 이용하여 영상의 휘도 특성에 따라 톤맵핑 및 채도 보정을 수행하는 영상 처리 장치의 블락도이다.
통합된 다이나믹 메타데이터는 원본 영상(2910)의 휘도 특성에 따라 값이 변동하는 다이나믹 메타데이터, 원본 영상의 휘도 특성에 무관하게 값이 일정한 스태틱 메타데이터를 포함할 수 있다. 또한 통합된 다이나믹 메타데이터는 사용자 입력 파라미터를 더 포함할 수 있다.
구체적으로, 도 29에 도시된 바와 같이, 스태틱 메타데이터는 SMPTE(the Society of Motion Picture and Television Engineers) ST2086 표준에 따른 메타데이터를 포함할 수 있다. 예를 들어, 스태틱 메타데이터는 마스터링 디스플레이의 이상적인 최소 디스플레이 휘도값인 'MinLum of Source Mastering Monitor', 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값인 'MaxLum of Source Mastering Monitor', 마스터링 디스플레이의 색공간에 대한 화이트 포인트의 x,y 색좌표인 'White Point', 마스터링 디스플레이의 색공간에 대한 프라이머리 컬러의 x,y 색좌표인 'Primaries '를 포함할 수 있다. 또한, 스태틱 메타데이터는 타겟 디스플레이의 이상적인 최소 디스플레이 휘도값인 'MinLum of Target System', 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값인 'MaxLum of Target System'를 포함할 수 있다.
표 1은 다이나믹 메타데이터 및 사용자 입력 파라미터의 일 예시를 나타낸다.
Metadata Specification
The metadata from the source/target system Dynamic peak luminance characteristics- SOURCE_PEAK_BEHAVIOR (of the source mastering monitor)- TARGET_PEAK_BEHAVIOR (of the target system)
The metadata from contents -Scene-wise maximum of the color components {R,G,B} (SCENE_MAX)- Scene-wise average of maximum of color component values {R, G, B} (SCENE_AVG)- Scene-wise area of the brightest pixels (SCENE_PEAK_AREA)
User controls SCENE_DYNAMIC_FLAGTONE_PRESERVING_LUMCOLOR_SATURATION_WEIGT
SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR는 원본 영상(2910)의 휘도 특성에 따라 변동하는 다이나믹 메타데이터에 해당할 수 있다. SOURCE_PEAK_BEHAVIOR는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함하는 메타데이터가 될 수 있고, 마스터링 디스플레이를 포함하는 소스 시스템으로부터 수신될 수 있다. TARGET_PEAK_BEHAVIOR는 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함하는 메타데이터가 될 수 있고, 타겟 디스플레이를 포함하는 타겟 시스템(2990)으로부터 수신될 수 있다. SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR는 각각 도 3 내지 도 7을 참조하여 전술한 제1 메타데이터 및 제2 메타데이터에 해당할 수 있다.
SCENE_MAX, SCENE_AVG, SCEN_PEAK_AREA는 영상 처리 장치(2900)가 획득한 원본 영상(2910)의 휘도 특성에 해당하는 메타데이터가 될 수 있다. 구체적으로, SCENE_MAX는 원본 영상(2910)의 현재 신 내 RGB 컬러 성분들 중 최대값에 해당할 수 있다. SCENE_AVG는 도 10 내지 도 12를 참조하여 설명한 원본 영상(2910)의 현재 신의 평균 휘도값에 해당할 수 있다. 또한, SCENE_AVG는 픽셀의 RGB 컬러 성분들 중 최대값에 기초하여 획득될 수 있다. SCENE_PEAK_AREA는 도 13 내지 도 18을 참조하여 설명한 원본 영상(2910)의 현재 신 내 최대휘도영역의 면적에 해당할 수 있다.
SCENE_DYNAMIC_FLAG, TONE_PRESERVING_LUM, COLOR_SATURATION_WEIGT 는 사용자가 설정할 수 있는 영상 처리 장치(2900)의 입력 파라미터에 해당할 수 있다. SCENE_DYNAMIC_FLAG 는 도 10을 참조하여 설명한 원본 영상(2910)의 현재 신의 휘도 특성을 획득할지 여부를 지시하는 플래그에 해당할 수 있다. TONE_PRESERVING_LUM 는 원본 영상(2910)의 현재 신에 대한 휘도 보존값에 해당할 수 있으며, COLOR_SATURATION_WEIGT는 채도 보정의 강도를 조절하는 인풋 파라미터에 해당할 수 있다.
도 29의 영상 처리 장치(2900)는 디코더(2920), 쉐이퍼(2930), 컨버터(2940), 휘도특성획득부(2950), 톤맵핑부(2960), 채도보정부(2970), 인버스컨버터(2945), 인버스쉐이퍼(2935) 및 인코더(2925)를 포함할 수 있다. 도 29의 영상 처리 장치(2900)는 도 1의 영상 처리 장치(100)의 제어부(120)에 포함될 수 있다. 구체적으로, 도 29의 영상 처리 장치(2900)가 도 1의 제어부(120)에 포함되는 경우, 도 29의 디코더(2920), 휘도특성획득부(2950), 톤맵핑부(2960), 채도보정부(2970) 및 인코더(2925)는 도 2의 디코더(210), 휘도특성획득부(230), 톤맵핑부(240), 채도보정부(250) 및 인코더(270)에 대응될 수 있다. 또한, 도 29의 쉐이퍼(2930) 및 컨버터(2940)는 도 2의 컨버터(220)에 포함될 수 있고, 도 29의 인버스컨버터(2945) 및 인버스쉐이퍼(2935)는 도 2의 인버스컨버터(260)에 포함될 수 있다. 따라서, 도 1과 중복되는 설명은 생략한다.
영상 처리 장치(2900)에 입력된 원본 영상(2910)이 부호화 되어 있는 경우, 디코더(2920)는 원본 영상(2910)을 복호화하고, 복호화된 원본 영상(2910)을 획득할 수 있다. 또한, 디코더(2920)는 복호화된 원본 영상(2910)이 YCbCr 포맷을 갖는 경우, YCbCr 포맷의 복호화된 원본 영상(2910)을 RGB 포맷으로 변환할 수 있다.
쉐이퍼(2930)는 필요한 경우, 원본 영상(2910)에 대해 선형화를 수행할 수 있다. 예를 들어, 쉐이퍼(2930)는 원본 영상(2910)에 대해 SMPTE((the Society of Motion Picture and Television Engineers) ST2084에 따른 선형화를 수행할 수 있다. SMPTE ST2084는 마스터링 디스플레이의 하이 다이나믹 레인지 EOTF(electro-optical transfer function)에 대한 표준일 수 있다. 구체적으로, 쉐이퍼(2930)는 감마 부호화에 의해 비선형화된 원본 영상(2910) 혹은 감마 보정된 원본 영상(2910)에 대해 감마 복호화 혹은 역감마 보정을 수행하여 선형화된 원본 영상(2910)을 획득할 수 있다.
원본 영상(2910)에 대해 톤맵핑을 수행하기 위하여, 컨버터(2940)는 원본 영상(2910)의 원본 색공간을 톤맵핑이 수행되는 워킹(working) 색공간으로 변환할 수 있다. 예를 들어, 컨버터(2940)는 원본 영상(2910)의 프라이머리 컬러(primary color)의 x,y 색좌표 'Primaires' 및 화이트 포인트의 x,y 색좌표 'White Point'를 워킹 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다. 만약, 원본 영상(2910)의 원본 색공간이 워킹 색공간과 일치하는 경우, 컨버터(2940)는 생략될 수 있다.
휘도특성획득부(2950), 톤맵핑부(2960) 및 채도보정부(2970)의 동작은 표 2로 요약될 수 있다.
구성 요약
휘도특성획득부(2950)
Figure pct00003
톤맵핑부(2960)
Figure pct00004
채도보정부(2970)
Figure pct00005
표 2에서, 휘도특성획득부(2950)는 선형화된 원본 영상인 [R_linear; G_linear; B_linear] 을 입력받고 정규화된 원본 영상인 [R_norm; G_norm; B_norm] 을 출력할 수 있다. 예를 들어, ST2084 표준에서 최대 휘도값은 10,000 nit에 해당할 수 있다. 따라서, 쉐이퍼(2930)가 ST2084 표준에 따라 선형화를 수행한 경우 선형화된 원본 영상을 10,000nit 를 기준으로 정규화하기 위하여, 선형화된 원본 영상에 정규화 팩터(normalization factor) 10,000/ScenePeak 곱할 수 있다.
정규화 팩터는 사용자가 설정할 수 있는 파라미터 SCENE_DYNAMIC_FLAG에 기초하여 설정될 수 있다. 표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 정규화 팩터의 ScenePeak는 원본 영상(2910)의 휘도 특성에 해당하는 SCENE_MAX * 10,000 또는 원본 영상(2910)의 휘도 특성에 따른 타겟 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 TargetPeak 중 큰 값으로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 정규화 팩터는 다이나믹 메타데이터에 기반하여 설정될 수 있다.
반면, 표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, ScenePeak는 스태틱 메타 데이터에 해당하는 MaxLum of Source Mastering Monitor로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, 정규화 팩터는 스태틱 메타데이터에 기반하여 설정될 수 있다.
또한, 표 2에서 전술한 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시할 때, 휘도특성획득부(2950)가 원본 영상(2910)의 휘도 특성을 획득하는 동작은 표 3으로 요약될 수 있다.
Figure pct00006
Figure pct00007
Figure pct00008
신의 최대 휘도값(SCENE_MAX)는 신 내 모든 픽셀들의 RGB 컬러 성분들 중 최대값으로 설정될 수 있다 또는, 신의 최대 휘도값(SCENE_MAX)는 픽셀 셀렉터에 의해 정의된 모든 픽셀들의 RGB 컬러 성분들 중 최대값으로 설정될 수 있다. 픽셀 셀렉터는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
신의 평균 휘도값(SCENE_AVG)는 신 내 모든 픽셀들의 최대 휘도값들의 평균값으로 설정될 수 있다. 여기서 픽셀의 최대 휘도값이란 도 11을 통해 전술한 바와 같이, 하나의 픽셀의 RGB 컬러 성분들 중 최대값을 의미할 수 있다.
최대휘도영역의 면적(SCEN_PEAK_AREA)은 휘도값에 대한 함수 f(△y) 및 거리에 관한 함수 g(△d) 에 의해 설정될 수 있다. f(△y)는 후보 픽셀(x)의 휘도값에 기초하여, 후보 픽셀(x)이 최대휘도영역에 포함될 수 있는지를 판단할 수 있다. f(△y)는 Y_linear(x,k') 및 scene_region_max 사이의 차분값의 절대값을 입력으로 한다. Y_linear(x,k')은 최대휘도영역의 중심 픽셀(p')이 포함된 프레임(k') 내 후보 픽셀(x)의 휘도값을 의미한다. 후보 픽셀(x)의 휘도값 Y_linear(x,k')은 후보 픽셀(x)의 RGB 컬러 성분을 이용하여 획득될 수 있다. scene_region_max는 최대휘도영역의 중심 픽셀(p')을 중심으로 갖는 MxN 크기의 영역에 포함되는 픽셀들의 평균 휘도값((region_avg(p',k')))을 의미한다. 표 4에 도시된 바와 같이, MxN 영역 내 포함되는 픽셀들의 평균 휘도값((region_avg(p,k)))은, 상기 MxN 영역의 중심이 k' 프레임 내 p' 픽셀이 될 때, MxN 영역의 중심이 신 내의 다른 어떤 픽셀이 될 때보다 클 수 있다. 따라서, k' 프레임 내 p' 픽셀은 최대휘도영역의 중심 픽셀이 될 수 있다. 이하에서는, 설명의 편의를 위하여 scene_region_max를 최대휘도영역의 기준 휘도값이라 한다. 또한, g(△d)는 후보 픽셀(x)의 위치에 기초하여, 후보 픽셀(x)이 최대휘도영역에 포함될 수 있는지를 판단할 수 있다.
후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y1 이하이고, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d1 이하이면, f(△y) = g(△d) = v1 = 1이 되어, 후보 픽셀(x)는 최대휘도영역에 포함될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 이 후보 픽셀(x)에 의해 1만큼 증가할 수 있다.
반면, 후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y2 이상이면, f(△y) = v2 = 0이 되고, 후보 픽셀(x)은 최대휘도영역에서 제외될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 후보 픽셀(x)에 의해 증가하지 않는다.
또한, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d2 이상이면, g(△d) = v2 = 0이 되어, 후보 픽셀(x)을 최대휘도영역에서 제외될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 후보 픽셀(x)에 의해 증가하지 않는다.
후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y1 보다 크고 y2 보다 작으면, 0 ≤ f(△y) ≤ 1이 되어, 최대휘도영역의 면적(SCENE_PEAK_AREA)은 1 보다 작은 크기만큼 증가할 수 있다. 또한, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d1 보다 크고 d2 보다 작으면, 0 ≤ g(△d) ≤ 1 이 되어, 최대휘도영역의 면적(SCENE_PEAK_AREA)은 1 보다 작은 크기만큼 증가할 수 있다.
f(△y) 및 g(△d)는 전술한 1720 단계의 구체적인 예시가 될 수 있다. 다만, 1720 단계에서는 중심 픽셀의 휘도값을 이용하는 반면, f(△y)에서는 최대휘도영역의 기준 휘도값 scene_region_max을 이용한다. 또한, 최대휘도영역의 기준 휘도값 scene_region_max은 전술한 1590 영역에 포함되는 픽셀들의 평균 휘도값에 대응될 수 있다. 또한, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 전술한 1800 영역의 면적에 대응될 수 있다.
또한, 휘도특성획득부(2950)가 다이나믹 메타데이터 SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR에 기초하여 원본 영상(2910)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작은 표 4로 요약될 수 있다. 도 30은 표 4의 연산 과정을 시계열 순으로 도시한다.
Figure pct00009
SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, SourcePeak는 원본 영상(2910)의 휘도 특성에 따른 마스터링 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 SourcePeak' 으로 설정되고, TargetPeak는 타겟 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 TargetPeak' 로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 톤맵핑 및 채도보정의 파라미터 SourcePeak 및 TargetPeak는 다이나믹 메타데이터에 기반하여 설정될 수 있다.
SOURCE_PEAK_BEHAVIOR(scene_avg_norm, SCENE_PEAK_AREA)는 신의 평균 휘도값(SCENE_AVG)을 10000 nit를 기준으로 정규화한 값(scene_avg_norm) 및 최대휘도영역의 면적(SCENE_PEAK_AREA)에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값이 될 수 있다. SourcePeak'은 상기 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 10000 nit 를 기준으로 정규화한 값에 해당할 수 있다.
TARGET_PEAK_BEHAVIOR(scene_avg_norm, SCENE_PEAK_AREA)는 신의 평균 휘도값(SCENE_AVG)을 10000 nit를 기준으로 정규화한 값(scene_avg_norm) 및 최대휘도영역의 면적(SCENE_PEAK_AREA)에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값이 될 수 있다. TargetPeak'은 상기 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 10000 nit 를 기준으로 정규화한 값에 해당할 수 있다.
표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, SourcePeak는 스태틱 메타 데이터에 해당하는 MaxLum of Source Mastering Monitor로 설정되고, TargetPeak는 스태틱 메타 데이터에 해당하는 MaxLum of Target Monitor로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, 톤맵핑 및 채도보정의 파라미터 SourcePeak 및 TargetPeak는 스태틱 메타데이터에 기반하여 설정될 수 있다.
표 2에서, 톤맵핑부(2960)는 정규화된 원본 영상인 [R_norm; G_norm; B_norm]에 톤 맵핑 가중치(w)를 적용하여 톤맵핑된 영상인 [R_stm; G_stm; B_stm]을 출력할 수 있다. 정규화된 원본 영상인 (R_norm, G_norm, B_norm) 중 최대값을 입력으로 갖는 톤맵핑 함수 f_STM의 출력값이 상기 톤 맵핑 가중치(w)가 될 수 있다. 일반적으로, 톤맵핑 함수 f_STM의 이득(Gain)은 입력값이 높을수록 낮으므로, 정규화된 원본 영상의 RGB 컬러 성분들 중 최대값을 이용하면 과도한 톤맵핑으로 인한 세츄레이션을 방지할 수 있기 때문이다.
톤맵핑부(2960)가 톤맵핑 함수 f_STM을 설정하는 동작은 표 5로 요약될 수 있다. 도 31은 표 5의 연산 과정을 시계열 순으로 도시한다.
Figure pct00010
3100 단계에서, 톤맵핑부(2960)는 원본 영상(2910)의 휘도 특성에 따라 임계값을 설정할 수 있다. 표 5에서, 상기 임계값은 TMx = SCENE_AVG/SCENE_MAX 에 해당한다. 예를 들어, 임계값(TMx)는 신의 평균 휘도값(SCENE_AVG)을 신의 최대 휘도값(SCENE_MAX)으로 나눈 0부터 1사이의 값이 될 수 있다.
3120 단계에서, 톤맵핑부(2960)는 원본 휘도값이 임계값보다 작은지를 판단할 수 있다. 원본 휘도값이 임계값보다 작은 경우, 3130 단계에서 톤맵핑부(2960)는 제1 방식에 따른 톤맵핑을 수행할 수 있다. 또한, 원본 휘도값이 임계값보다 큰 경우, 3140 단계에서 톤맵핑부(2960)는 제2 방식에 따른 톤맵핑을 수행할 수 있다.
표 5에서, 제1 방식에 따른 톤 맵핑은 선형 함수 TMy/(TargetPeak*TMx)*x 가 될 수 있고, 제2 방식에 따른 톤 맵핑은 비선형 함수 fn(x)가 될 수 있다. 구체적으로, 제1 방식에 따른 톤 맵핑은 원점과 (TMx, TMy/TargetPeak)를 연결하는 1차 선형 함수에 해당하고, 제2 방식에 따른 톤 맵핑은 (TMx, TMy/TargetPeak)와 (1,0, TargetPeak)를 연결하는 n차 다항식이 될 수 있다. 도 32는 톤 맵핑 함수 f_STM(3210)의 일 예를 도시한다. 설명의 편의를 위하여, 톤 맵핑 함수 f_STM(3210)의 y 축은 TargetPeak 배만큼 확대되었다.
표 5에서, TMy는 임계값(TMx)을 입력으로 갖는 휘도 보존 함수(f_plinear)의 출력값에 해당할 수 있다. 휘도 보존 함수(f_plinear)는 휘도 보존값(Thx = TONE_PRESERVING_LUM/SourcePeak) 이하의 입력에 대해서는 원점과 (1.0, SourcePeak)를 연결하는 1차 선형 함수에 해당하고, 휘도 보존값(Thx) 이상의 입력에 대해서는 (Thx, Thy) 및 (1.0, TargetPeak)를 연결하는 1차 선형 함수에 해당할 수 있다. 도 32는 휘도 보존 함수 f_plinear(3220)의 일 예를 도시한다.
휘도 보존값(Thx)은 톤 맵핑에 의해 원본 영상(2910)의 휘도값이 증가하지 않는 임계값을 의미할 수 있다. 톤맵핑부(2960)의 입력인 [R_norm; G_norm; B_norm] 중 최대값이 휘도 보존값(Thx) 보다 작은 경우, 톤맵핑부(2960)의 출력인 [R_stm; G_stm; B_stm]은 [R_norm; G_norm; B_norm]과 같거나 작을 수 있다.
도 33은 임계값(TMx) 및 휘도 보존값(Thx)의 관계에 따른 톤 맵핑 함수 f_STM(3310a, 3320a) 및 휘도 보존 함수 f_plinear(3320a, 3320b)의 관계를 도시한다. 전술한 바와 같이, 톤 맵핑 함수 f_STM(3310a, 3310b)의 제1 방식에 따른 톤 맵핑은 원점과 휘도 보존 함수 f_plinear(3320a, 3320b) 상의 한 점(TMx, TMy = f_plinear(TMx))을 연결하는 1차 선형 함수에 해당할 수 있다.
임계값(TMx)이 휘도 보존값(Thx) 보다 작을 때, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310a)는 원본 휘도값을 바이패스하는 1차 선형 함수가 될 수 있다. 이 경우, 톤맵핑부(2960)는 하이 다이나믹 레인지 영상의 밝지 않은 영역을 그대로 보존할 수 있다.
반면, 임계값(TMx)이 휘도 보존값(Thx) 보다 큰 경우, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310b)는 원본 휘도값을 더 작은 값으로 톤 맵핑하는 1차 선형 함수가 될 수 있다. 이 경우, 톤맵핑부(2960)는 하이 다이나믹 레인지 영상의 밝은 영역의 디테일을 보존할 수 있다. 영상 제작자 또는 컬러리스트는 휘도보존값(Thx)을 조절하여 원본 영상의 어두운 영역 휘도 특성을 보존하거나, 밝은 영역의 휘도 특성을 보존할 수 있다.
표 2에서, 채도보정부(2970)는 톤맵핑된 영상인 [R_stm; G_stm; B_stm]을 입력으로 받아 채도보정된 영상 [R_scsm; G_scsm; B_scsm]을 출력할 수 있다. 채도보정부(2970)의 동작은 표 6으로 요약될 수 있다.
Figure pct00011
표 6을 참고하면, 채도보정부(2970)는 톤 맵핑된 영상의 RGB 컬러 성분을 YUV 성분으로 변환하는 단계, 상기 YUV 성분에 대해 채도 보정을 수행하는 단계, 상기 채도 보정된 YUV 성분을 다시 RGB 컬러 성분으로 변환하는 단계를 포함할 수 있다.
채도보정부(2970)는 톤 맵핑된 영상인 [R_stm; G_stm; B_stm]에 대해 EOTF Rec.1886 감마 역보정을 수행하여 선형화하여 [R_stm'; G_stm'; B_stm']를 획득하고, 변환 매트릭스(M_RGB2YUV)를 이용하여 [R_stm'; G_stm'; B_stm']로부터 톤 맵핑된 영상의 휘도 성분 및 채도 성분 [Y_stm; U_stm; V_stm]을 획득할 수 있다. RGB 성분을 YUV 성분으로 변환하는 변환 매트릭스(M_RGB2YUV)는 SMPTE 240M 표준에 의할 수 있다.
채도보정부(2970)는 채도 보정 가중치(S_scsm)을 이용하여 톤 맵핑된 영상의 YUV 성분 [Y_stm; U_stm; V_stm] 으로부터 채도 보정된 영상의 YUV 성분 [Y_scsm; U_scsm; V_scsm]을 획득할 수 있다. 채도 보정 가중치(S_scsm)는 과도한 채도 보정으로 인한 세츄레이션을 방지하기 위하여, S_sm 및 S_scsm 중 작은 값으로 설정될 수 있다. 채도보정부(2970)가 S_sm 및 S_scsm 을 획득하는 동작은 표 7에 의해 요약될 수 있다.
Figure pct00012
채도보정부(2970)는 S_sm을 톤 맵핑된 영상의 RGB 컬러 성분 중 최대값(x_maxRGB)을 입력으로 갖는 채도보정함수(f_SCSM)의 출력값으로 설정할 수 있다. 채도 보정 함수(f_SCSM)는 원본 휘도값의 로그 스케일 및 톤맵핑된 휘도값의 로그 스케일 사이의 비율과 강도 파라미터(S)에 의해 결정될 수 있다. 영상 제작자 및 컬러리스트는 강도 파라미터(S)를 설정하여 채도 보정 함수(f_SCSM)의 채도 보정의 크기를 조절할 수 있다.
도 28에서 전술한 바와 같이, 톤맵핑부(2960)가 픽셀의 원본 휘도값을 바이패스 하는 경우 인간의 인지 채도값이 유지될 수 있으므로, 채도보정부(2970)는 상기 픽셀의 채도값을 바이패스 할 수 있다. 또는, 채도보정부(2970)는 톤맵핑부(2960)에 의해 원본 영상(2910)에서 톤맵핑이 수행된 영역에 대해서만 채도 보정을 수행할 수 있다. 따라서, 도 33을 통해 전술한 바와 같이 임계값(TMx)이 휘도 보존값(Thx) 보다 작을 때, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310a)는 원본 휘도값을 바이패스하고, 임계값(TMx) 이하의 입력에 대한 채도 보정 함수(f_SCSM) 또한 원본 채도값을 바이패스 할 수 있다.
표 7에서, 채도보정부(2970)는 S_max를 컬러 왜곡을 유발하지 않는 최대의 채도 보정 가중치로 설정할 수 있다. 표 7에서 R_scsm', G_scsm', B_scsm' 중 어느 하나라도 음수의 값을 갖거나 1보다 커지게 되는 경우, 컬러 왜곡이 발생할 수 있다. 따라서, 채도보정부(2970)는 표 7에서 R_scsm', G_scsm', B_scsm' 모두가 0 에서 1 사이의 값을 갖게 하는 최대의 k 값을 S_max로 설정할 수 있다.
표 6에서, 채도보정부(2970)는 변환 매트릭스(M_YUV2RGB)를 이용하여 채도 보정된 영상의 YUV 성분 [Y_scsm; U_scsm; V_scsm] 으로부터 채도 보정된 영상의 선형화된 RGB 성분 [R_scsm'; G_scsm'; B_scsm']을 획득할 수 있다. YUV 성분을 RGB 성분으로 변환하는 변환 매트릭스(M_YUV2RGB)는 RGB 성분을 YUV 성분으로 변환하는 변환 매트릭스(M_RGB2YUV)의 역 매트릭스가 될 수 있다. 또한, 채도보정부(2970)는 채도 보정된 영상의 선형화된 RGB 성분 [R_scsm; G_scsm; B_scsm]에 대해 EOTF Rec.1886 감마 보정을 수행하여 최종적으로 선채도보정된 영상의 RGB 성분 [R_scsm; G_scsm; B_scsm]을 획득할 수 있다.
도 29에서, 인버스컨버터(2945)는 보정 영상(2980)의 색공간을 원본 영상(2910)의 원본 색공간으로 변환할 수 있다. 채도보정부(2970)로부터 출력된 보정 영상(2980)은 톤맵핑이 수행되는 워킹 색공간을 가질 수 있다. 인버스컨버터(2945)는 보정 영상(2980)의 색공간을 워킹 색공간에서 원본 영상(2910)의 원본 색공간으로 변환할 수 있다. 예를 들어, 인버스컨버터(2945)는 워킹 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 원본 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 'Primaires' 및 화이트 포인트의 x,y 색좌표 'White Point'로 변환할 수 있다.
인버스쉐이퍼(2935)는 필요한 경우, 보정 영상(2980)에 대해 비선형화를 수행할 수 있다. 예를 들어, 인버스쉐이퍼(2935)는 보정 영상(2980)에 대해 SMPTE((the Society of Motion Picture and Television Engineers) ST2084에 따른 비선형화를 수행할 수 있다. SMPTE ST2084는 EOTF로부터 도출된 마스터링 디스플레이의 하이 다이나믹 레인지 inverse EOTF(electro-optical transfer function)에 대한 표준일 수 있다. 구체적으로, 인버스쉐이퍼(2935)는 감마 복호화에 의해 선형화된 보정 영상(2980)에 대해 감마 부호화를 수행하여 비선형화된 보정 영상(2980)을 획득할 수 있다.
인코더(2925)는 보정 영상(2980)을 타겟 시스템(2990)에 입력하기 위하여, 보정 영상(2980)을 부호화 할 수 있다. 인코더(2925)에 의해 획득된 부호화된 보정 영상(2980)은 타겟 시스템(2990)으로 입력될 수 있다.
타겟 시스템(2990)은 보정 영상(2980)을 디스플레이 할 수 있다. 보정 영상(2980)의 다이나믹 레인지가 원본 영상(2910)의 다이나믹 레인지와 상이하여도, 영상 처리 장치(2900)에 의해 획득된 보정 영상(2980)은 원본 영상(2910)에 반영된 영상 제작자의 의도를 효과적으로 유지할 수 있다.
도 34는 메타데이터 생성 장치의 블록도이다.
메타데이터 생성 장치(3400)는 영상의 휘도 특성에 따른 디스플레이부(3410)의 실제 최대 디스플레이 휘도값을 지시하는 다이나믹 메타데이터를 생성할 수 있다. 영상의 휘도 특성은 전술한 영상의 평균 휘도값 및 영상 내 화이트패치의 면적을 포함할 수 있다.
메타데이터 생성 장치(3400)는 디스플레이부(3410), 센서(3420) 및 제어부(3430)를 포함할 수 있다.
디스플레이부(3410)는 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이한다. 상기 영역은 전술한 화이트패치에 해당하며, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 적어도 하나의 픽셀일 수 있다. 예를 들어, 8 bit 뎁스의 영상 내 상기 영역은 255 그레이스케일 값을 갖는 M x N 픽셀들에 해당할 수 있다.
센서(3420)는 상기 디스플레이부(3410)가 상기 영상을 디스플레이 할 때, 상기 디스플레이부(3410)에서 디스플레이되는 상기 영역의 휘도값을 측정한다. 센서(3420)가 측정한 디스플레이부(3410)의 휘도값은, 디스플레이부(3410)가 상기 영상을 디스플레이할 때 상기 영역 상에서 측정 가능한 디스플레이부(3410)의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 전술한 바와 같이, 디스플레이부(3410)의 소비 전력이 충분하지 않은 경우, 디스플레이부(3410)의 실제 최대 디스플레이 휘도값은 디스플레이부(3410)의 이상적인 최대 디스플레이 휘도값보다 낮을 수 있다.
제어부(3430)는 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성한다. 상기 영역의 픽셀 면적은 전술한 화이트 패치의 면적에 해당하며, 상기 영역에 포함된 픽셀들의 개수가 될 수 있다. 또한, 상기 영상의 평균 휘도값이란, 상기 영상 내 포함된 모든 픽셀들의 휘도값들의 평균을 의미할 수 있다.
제어부(3430)는 영상의 휘도 특성을 변경하여 메타데이터를 생성할 수 있다. 예를 들어, 도 3에서 전술한 310, 320, 330, 340 영상과 같이 제어부(3430)는 영상의 평균 휘도값을 변경하거나, 도 4에서 전술한 410, 420, 430, 440 영상과 같이 제어부는 화이트 패치의 면적을 변경할 수 있다. 또는, 제어부(3430)는 영상의 평균 휘도값 및 화이트 패치의 면적을 함께 변경할 수 있다. 또한, 제어부(3430)는 변경된 영상의 휘도 특성에 따른 센서(3420)에서 측정된 디스플레이부(3410)의 실제 최대 디스플레이 휘도값을 메타데이터에 추가할 수 있다.
디스플레이부(3410)가 영상 처리 장치(2900)의 마스터링 디스플레이 장치로 이용되는 경우, 메타데이터는 영상 처리 장치(2900)의 제1 메타데이터로 이용될 수 있다. 또한, 디스플레이부(3410)가 영상 처리 장치(2900)의 타겟 디스플레이 장치로 이용되는 경우, 메타데이터는 영상 처리 장치(2900)의 제2 메타데이터로 이용될 수 있다.
도 35는 메타데이터 생성 방법의 흐름도이다.
3510 단계에서 메타데이터 생성 장치(3400)의 디스플레이부(3410)는 최대 그레이스케일 값을 갖는 영역을 포함하는 영상을 디스플레이할 수 있다.
3520 단계에서 메타데이터 생성 장치(3400)의 센서(3420)는 디스플레이부(3410)에서 디스플레이되는 영상 내 최대 그레이스케일 값을 갖는 영역의 휘도값을 측정할 수 있다.
3530 단계에서 메타데이터 생성 장치(3400)는 최대 그레이스케일 값을 갖는 영역의 픽셀 면적 및 디스플레이부(3410)에서 디스플레이되는 영상의 평균 휘도값에 따른 3520 단계에서 측정된 휘도값을 지시하는 메타데이터를 생성할 수 있다. 3530 단계의 동작은 제어부(3430)에서 수행될 수 있다.
상술한 바와 같이, 영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
한편, 상술한 실시예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예들 들어, “등등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재는, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다.
따라서, "a1 중 적어도 하나, a2 중 적어도 하나 및 a3 중 적어도 하나"라고 명시적으로 기재되지 않는 이상, "a1, a2 및 a3 중 적어도 하나"라는 기재는 "a1 중 적어도 하나", "a2 중 적어도 하나" 및 "a3 중 적어도 하나"라고 해석되지 않음에 유의하여야 한다.

Claims (15)

  1. 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및
    부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고,
    상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고,
    상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;
    를 포함하는 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 현재 신의 상기 평균 휘도값은 상기 현재 신에 포함된 픽셀의 RGB 성분값들 중 최대값을 이용하여 획득되는 것을 특징으로 하는 영상 처리 장치.
  3. 제1 항에 있어서,
    상기 현재 신의 상기 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이한 것을 특징으로 하는 영상 처리 장치.
  4. 제1 항에 있어서,
    상기 제어부는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀을 상기 현재 신의 픽셀들 중에서 결정하고, 상기 중심 픽셀이 포함된 프레임의 픽셀들 중에서 상기 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득하고,
    상기 현재 신의 휘도 특성은 상기 획득된 제1 픽셀들의 개수를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1 항에 있어서,
    상기 수신부는 상기 현재 신의 상기 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신하고,
    상기 제어부는 상기 획득된 플래그가 상기 현재 신의 상기 휘도 특성을 획득할 것을 지시하는 경우, 상기 현재 신의 상기 휘도 특성을 획득하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1 항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부는 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 상기 최대 디스플레이 휘도값 및 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 상기 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 상기 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑(tone mapping)을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득하고,
    상기 디스플레이부는 상기 톤맵핑된 휘도값을 이용하여 상기 현재 신을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6 항에 있어서,
    상기 원본 휘도값이 임계값 보다 작을 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제1 방식에 따른 톤맵핑에 의해 획득되고,
    상기 원본 휘도값이 상기 임계값 보다 클 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제2 방식에 따른 톤맵핑에 의해 획득되는 것을 특징으로 하는 영상 처리 장치.
  8. 제7 항에 있어서,
    상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 선형 함수에 해당하고, 상기 제2 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 비선형 함수에 해당하는 것을 특징으로 하는 영상 처리 장치.
  9. 제8 항에 있어서,
    상기 임계값이 휘도 보존값 보다 작을 때, 상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값을 바이패스하는 것을 특징으로 하는 영상 처리 장치.
  10. 제6 항에 있어서,
    상기 제어부는 상기 픽셀의 상기 원본 휘도값과 상기 픽셀의 상기 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정하고,
    상기 디스플레이부는 상기 톤맵핑된 휘도값 및 상기 보정된 채도값을 이용하여 상기 현재 신을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10 항에 있어서,
    상기 보정된 채도값은 상기 원본 휘도값의 로그 스케일 및 상기 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정되는 것을 특징으로 하는 영상 처리 장치.
  12. 제9 항에 있어서,
    상기 픽셀의 상기 원본 휘도값이 바이패스된 경우, 상기 제어부는 상기 픽셀의 채도값을 바이패스 하는 것을 특징으로 하는 영상 처리 장치.
  13. 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 단계;
    부호화된 영상을 적어도 하나의 신(scene)으로 분할하는 단계;
    현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하는 단계;
    상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계; 및
    상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계;
    를 포함하는 영상 처리 방법.
  14. 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 디스플레이부;
    상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 센서; 및
    상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 제어부를 포함하는 메타데이터 생성 장치.
  15. 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 단계;
    디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 단계; 및
    상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법.
KR1020177032855A 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 KR101974137B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562159529P 2015-05-11 2015-05-11
US62/159,529 2015-05-11
US201562164813P 2015-05-21 2015-05-21
US62/164,813 2015-05-21
US201562181870P 2015-06-19 2015-06-19
US62/181,870 2015-06-19
US201562186786P 2015-06-30 2015-06-30
US62/186,786 2015-06-30
PCT/KR2016/004862 WO2016182307A1 (ko) 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20170134749A true KR20170134749A (ko) 2017-12-06
KR101974137B1 KR101974137B1 (ko) 2019-08-23

Family

ID=57249209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032855A KR101974137B1 (ko) 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법

Country Status (3)

Country Link
US (1) US10708564B2 (ko)
KR (1) KR101974137B1 (ko)
WO (1) WO2016182307A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200103348A (ko) * 2019-02-25 2020-09-02 한양대학교 에리카산학협력단 객체 인식 장치 및 객체 인식 방법
KR20210053096A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
WO2022114764A1 (ko) * 2020-11-24 2022-06-02 고려대학교 산학협력단 X-ray 검사를 위한 디테일 복원 및 톤 매핑 네트워크 장치, 이를 이용한 영상 변환 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6652301B2 (ja) * 2016-01-27 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200035198A1 (en) * 2016-09-28 2020-01-30 Panasonic Intellectual Property Management Co., Ltd. Adjusting device, adjusting method, and program
US10423868B2 (en) * 2017-01-26 2019-09-24 International Business Machines Corporation Embedding a removable barcode into an image
JP6929373B2 (ja) * 2017-03-03 2021-09-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 不均等な色空間における彩度調整
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
US10735688B2 (en) * 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
KR102370367B1 (ko) * 2017-07-17 2022-03-07 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
DE102017218072A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Aufnehmen eines Bildes
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
CN107863085B (zh) * 2017-12-20 2019-08-06 惠科股份有限公司 一种显示装置的驱动方法及显示装置
WO2020060980A1 (en) * 2018-09-17 2020-03-26 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays
KR20200032584A (ko) * 2018-09-18 2020-03-26 엘지전자 주식회사 영상표시장치
US10757291B2 (en) * 2018-11-12 2020-08-25 International Business Machines Corporation Embedding procedures on digital images as metadata
US11609949B2 (en) * 2018-11-20 2023-03-21 Google Llc Methods, systems, and media for modifying search results based on search query risk
US11095861B2 (en) 2019-01-31 2021-08-17 Coretronic Corporation Projector and method for projecting image light beam
US10986320B2 (en) * 2019-01-31 2021-04-20 Coretronic Corporation Projector and method for projecting image light beam
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
US11961450B2 (en) 2020-01-09 2024-04-16 Sony Interactive Entertainment Inc. Display controller, head-mounted display, and image displaying method
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
US11930189B2 (en) 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020724A (ko) * 2010-07-22 2013-02-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
US20160248939A1 (en) * 2013-11-13 2016-08-25 Dolby Laboratories Licensing Corporation Workflow for Content Creation and Guided Display Management of EDR Video
US20160254028A1 (en) * 2013-07-30 2016-09-01 Dolby Laboratories Licensing Corporation System and Methods for Generating Scene Stabilized Metadata

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070080A (ja) * 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd 階調補正方法およびプログラム
US8514166B2 (en) * 2008-05-29 2013-08-20 Hong Kong Applied Science and Technology Research Institute Company Limited LCD backlight dimming, LCD/image signal compensation and method of controlling an LCD display
US20100156956A1 (en) * 2008-12-19 2010-06-24 Madden Thomas E Grayscale characteristic for non-crt displays
US8831340B2 (en) 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
CN106101483B (zh) * 2011-05-27 2020-01-17 杜比实验室特许公司 包括变化的元数据等级的用于控制颜色管理的可缩放系统
CN103843058B (zh) 2011-09-27 2016-11-23 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
EP2839770A4 (en) * 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method
US9842385B2 (en) * 2012-09-12 2017-12-12 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
BR112014027815B1 (pt) * 2012-10-08 2022-03-15 Koninklijke Philips N.V. Aparelho de processamento de cor de imagem, codificador de imagem, decodificador de imagem e método de processamento de cor de imagem
FR3002824A1 (fr) * 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
EP2819414A3 (en) 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
US9280811B2 (en) * 2014-03-06 2016-03-08 Samsung Electronics Co., Ltd. Multi-scale large radius edge-preserving low-pass filtering
WO2015178598A1 (ko) * 2014-05-20 2015-11-26 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
US9613407B2 (en) * 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
KR20170031160A (ko) * 2014-07-07 2017-03-20 톰슨 라이센싱 메타데이터에 따른 비디오 콘텐츠 향상
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020724A (ko) * 2010-07-22 2013-02-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
US20160254028A1 (en) * 2013-07-30 2016-09-01 Dolby Laboratories Licensing Corporation System and Methods for Generating Scene Stabilized Metadata
US20160248939A1 (en) * 2013-11-13 2016-08-25 Dolby Laboratories Licensing Corporation Workflow for Content Creation and Guided Display Management of EDR Video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200103348A (ko) * 2019-02-25 2020-09-02 한양대학교 에리카산학협력단 객체 인식 장치 및 객체 인식 방법
KR20210053096A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
WO2022114764A1 (ko) * 2020-11-24 2022-06-02 고려대학교 산학협력단 X-ray 검사를 위한 디테일 복원 및 톤 매핑 네트워크 장치, 이를 이용한 영상 변환 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체

Also Published As

Publication number Publication date
WO2016182307A1 (ko) 2016-11-17
US20180139429A1 (en) 2018-05-17
US10708564B2 (en) 2020-07-07
KR101974137B1 (ko) 2019-08-23

Similar Documents

Publication Publication Date Title
KR101974137B1 (ko) 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
CN109983530B (zh) 环境光自适应显示管理
US10140953B2 (en) Ambient-light-corrected display management for high dynamic range images
TWI752084B (zh) 顯示裝置
US9685120B2 (en) Image formats and related methods and apparatuses
EP2989793B1 (en) Workflow for content creation and guided display management of enhanced dynamic range video
US10127867B2 (en) Apparatus and method for controlling liquid crystal display brightness, and liquid crystal display device
US10319085B2 (en) Metadata-based image processing method and apparatus
JP5611457B2 (ja) 階調および色再現域のマッピング方法および装置
US9972078B2 (en) Image processing apparatus
KR102553977B1 (ko) 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US20160005153A1 (en) Display Management for High Dynamic Range Video
US9530346B2 (en) Organic light-emitting diode display and method of driving the same
KR101927968B1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
CN110192223B (zh) 高动态范围图像的显示映射
KR102287095B1 (ko) 전력-제한 디스플레이 상에서의 하이 다이나믹 레인지 이미지를 위한 디스플레이 매핑
CN112368763A (zh) 控制装置、显示装置以及控制方法
US10477135B2 (en) Display apparatus, display control apparatus, and display control method
KR102286105B1 (ko) 표시장치, 표시 제어방법 및 컴퓨터 판독가능한 매체
JP2017044840A (ja) 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
JP2019201271A (ja) 投射型表示装置
WO2023244616A1 (en) Video delivery system capable of dynamic-range changes
JP2020115178A (ja) 表示装置
JP2019062539A (ja) 画像処理装置及び表示判定方法
KR20180062054A (ko) Amoled 디스플레이의 동적 전압 제어 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant