WO2016182307A1 - 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 - Google Patents

메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
WO2016182307A1
WO2016182307A1 PCT/KR2016/004862 KR2016004862W WO2016182307A1 WO 2016182307 A1 WO2016182307 A1 WO 2016182307A1 KR 2016004862 W KR2016004862 W KR 2016004862W WO 2016182307 A1 WO2016182307 A1 WO 2016182307A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
luminance value
image
display
value
Prior art date
Application number
PCT/KR2016/004862
Other languages
English (en)
French (fr)
Inventor
박승호
한승훈
서귀원
위호천
민병석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020177032855A priority Critical patent/KR101974137B1/ko
Priority to US15/573,333 priority patent/US10708564B2/en
Publication of WO2016182307A1 publication Critical patent/WO2016182307A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/797—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal
    • H04N9/7973—Processing of colour television signals in connection with recording for recording the signal in a plurality of channels, the bandwidth of each channel being less than the bandwidth of the signal by dividing the luminance or colour component signal samples or frequency bands among a plurality of recording channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Definitions

  • a method and apparatus for correcting a dynamic range of an image based on metadata is disclosed. Also disclosed is a method and apparatus for generating metadata for correcting the dynamic range of an image.
  • Display devices may differ from one another in color gamut, which is the range in which colors can be reproduced, for example, the color, depending on the capabilities of the display devices.
  • the gamut of the input image and the gamut of the device displaying the input image are different from each other, the gamut of the input image is appropriately corrected so that the gamut of the input image is matched with each other, thereby improving the color reproducibility of the display apparatus. Can be.
  • the gamut of the input image is narrower than the gamut of the display apparatus, it is necessary to expand the gamut of the input image to improve the color reproducibility of the image displayed on the display apparatus.
  • a receiver configured to receive at least one of first metadata indicating a maximum display luminance value of the mastering display according to the luminance characteristic of the image and second metadata indicating a maximum display luminance value of the target display according to the luminance characteristic of the image; And dividing an encoded image into at least one scene, obtaining a luminance characteristic of the current scene including an average luminance value of the current scene, and when the first metadata is obtained, Acquiring a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on one metadata; and if the second metadata is obtained, the luminance of the current scene based on the second metadata
  • a control unit for obtaining a maximum display luminance value of the target display according to a characteristic is disclosed.
  • the tone-mapped image can more effectively maintain the intention of the original image than when the tone mapping is performed without considering the luminance characteristic of the image.
  • FIG. 1 is a block diagram of an image processing apparatus.
  • FIG. 2 is a block diagram of a controller included in an image processing apparatus.
  • 3 to 5 illustrate examples of a maximum display luminance value of a liquid crystal display (LCD) device according to luminance characteristics of an image.
  • LCD liquid crystal display
  • FIG. 6 illustrates examples of a maximum display luminance value of another liquid crystal display (LCD) device according to luminance characteristics of an image.
  • FIG. 7 illustrates examples of maximum display luminance values of various types of display devices according to luminance characteristics of an image.
  • LCD liquid crystal display
  • FIG. 8 is a block diagram of another image processing apparatus.
  • FIG. 9 shows a flowchart of an image processing method 900.
  • FIG. 10 is a flowchart illustrating a method of obtaining luminance characteristics of an image.
  • 11 illustrates an operation of obtaining an average luminance value of an image.
  • FIG. 13 illustrates an operation of determining the maximum luminance region of an image.
  • FIG. 14 is a flowchart of a method for determining to obtain a center pixel for the maximum luminance region of the current scene.
  • FIG. 16 illustrates another operation of determining the center pixel of the maximum luminance region of the current scene.
  • 17 is a flowchart illustrating a method of obtaining a maximum luminance region of a current scene.
  • 19 is a flowchart illustrating a method of performing tone mapping based on luminance characteristics of an image.
  • 20 illustrates an example of an operation of performing tone mapping based on luminance characteristics of an image.
  • 21 is a flowchart of another method of performing tone mapping based on luminance characteristics of an image.
  • FIG. 22 illustrates another example of an operation of performing tone mapping based on luminance characteristics of an image.
  • 23 illustrates another example of an operation of performing tone mapping based on a luminance characteristic of an image.
  • 25 is a flowchart of another method of performing tone mapping based on luminance characteristics of an image.
  • FIG. 26 illustrates another example of an operation of performing tone mapping based on luminance characteristics of an image.
  • FIG. 27 is a flowchart illustrating a method of correcting a saturation value of an image based on a tone-mapped luminance value.
  • FIG. 28 illustrates an operation of correcting a saturation value of an image based on a tone-mapped luminance value.
  • FIG. 29 is a block diagram of an image processing apparatus that performs tone mapping and saturation correction according to luminance characteristics of an image by using unified dynamic metadata.
  • FIG. 31 shows the calculation process of Table 5 in chronological order.
  • 34 is a block diagram of a metadata generating device.
  • 35 is a flowchart of a metadata generating method.
  • a receiver configured to receive at least one of first metadata indicating a maximum display luminance value of the mastering display according to the luminance characteristic of the image and second metadata indicating a maximum display luminance value of the target display according to the luminance characteristic of the image; And dividing an encoded image into at least one scene, obtaining a luminance characteristic of the current scene including an average luminance value of the current scene, and when the first metadata is obtained, Acquiring a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on one metadata; and if the second metadata is obtained, the luminance of the current scene based on the second metadata
  • a control unit for obtaining a maximum display luminance value of the target display according to a characteristic is disclosed.
  • a receiver configured to receive metadata indicating a maximum display luminance value of the mastering display according to the luminance characteristic of the image; Splits an encoded image into at least one scene, obtains a luminance characteristic of the current scene including an average luminance value of the current scene, and, if the metadata is obtained, based on the metadata And a controller configured to obtain a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene.
  • the average luminance value of the current scene may be obtained by using a maximum value among RGB component values of pixels included in the current scene.
  • the maximum display luminance value of the mastering display according to the luminance characteristic of the current scene and the maximum display luminance value of the target display according to the luminance characteristic of the current scene may be different from each other.
  • the controller determines a center pixel of the area that maximizes the sum of luminance values of pixels included in an area of a predetermined size, among the pixels of the current scene, and among the pixels of a frame including the center pixel, the center pixel. And obtaining a number of first pixels located within a threshold distance from the luminance value of the center pixel and having a luminance value within a threshold range, wherein the luminance characteristic of the current scene may further include the obtained number of first pixels.
  • the receiving unit receives a flag indicating whether to obtain the luminance characteristic of the current scene, and the control unit receives the luminance characteristic of the current scene when the acquired flag indicates to obtain the luminance characteristic of the current scene. Can be obtained.
  • the apparatus further includes a display unit, wherein the control unit is configured to display the maximum display brightness value of the mastering display according to the obtained brightness characteristic of the current scene and the obtained display unit of the target display according to the brightness characteristic of the current scene. Based on at least one of the maximum display luminance values, tone mapping the original luminance values of the pixels included in the frame of the current scene to obtain the tone mapped luminance values of the pixels; The current scene may be displayed using the tone-mapped luminance value.
  • the tone mapped luminance value is obtained by tone mapping according to the first scheme with respect to the original luminance value, and when the original luminance value is greater than the threshold value, the tone The mapped luminance value may be obtained by tone mapping according to the second scheme with respect to the original luminance value.
  • the tone mapping according to the first scheme corresponds to a linear function between the original luminance value and the tone mapped luminance value
  • the tone mapping according to the second scheme is between the original luminance value and the tone mapped luminance value. It may correspond to a nonlinear function.
  • tone mapping according to the first scheme may bypass the original luminance value.
  • the control unit corrects the chroma value of the pixel based on the original luminance value of the pixel and the tone mapped luminance value of the pixel, and the display unit uses the tone mapped luminance value and the corrected chroma value. To display the current scene.
  • the corrected saturation value may be determined based on a ratio of a log scale of the original luminance value and a log scale of the tone mapped luminance value.
  • the controller may bypass the chroma value of the pixel.
  • a display unit configured to display an image including an area having a maximum grayscale value;
  • a sensor for measuring a luminance value of the area displayed on the display unit when the display unit displays the image;
  • a controller configured to generate metadata indicating the measured luminance value according to the pixel area of the area and the average luminance value of the image.
  • first and second may be used to describe various components, but the components should not be limited by these terms. These terms are used to distinguish one component from another.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented in algorithms running on one or more processors.
  • the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as “mechanism”, “element”, “means” and “configuration” may be used widely and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • the 'image' may be a still image of the video or a video, that is, the video itself.
  • dynamic range may refer to the ratio between the maximum and minimum values of a physical measurand.
  • a dynamic range of an image may mean a brightness ratio between the lightest part and the darkest part in the image.
  • the dynamic range of the display device may mean a ratio between the minimum brightness and the maximum brightness of light that may be emitted from the screen. In the real world, it has a dynamic range from full darkness close to zero nit to very bright brightness close to sun light.
  • the image may be divided into a low dynamic range image, a standard dynamic range image, and a high dynamic range image.
  • a low dynamic range image For example, an image having a bit depth of 16 bits or less for each R, G, and B component of one pixel may represent a low dynamic range image.
  • an image having a bit depth of 32 bits or more for each R, G, and B component of each pixel may be expressed from a low dynamic range image to a high dynamic range image.
  • a high dynamic range image is displayed without correction in a display device having a low dynamic range, the original intention of the high dynamic range image may be distorted and displayed.
  • Tone-mapping may refer to an operation of converting a dynamic range of an image.
  • the tone mapping may mean an operation of narrowing the dynamic range of the image.
  • tone mapping may mean converting a high dynamic range image into a low dynamic range image.
  • tone mapping may refer to an operation of widening a dynamic range of an image.
  • tone mapping may mean an operation of converting a low dynamic range image into a high dynamic range image.
  • the display apparatus may maintain the intention of the original image by using the tonemapped image.
  • Typical tone mapping is performed using the maximum luminance value that the display device can display under ideal conditions. For example, if the maximum luminance of the display device corresponds to 1000 nits, general tone mapping is performed based on 1000 nits without considering the conditions of the image such as the luminance component, chroma component, or runtime.
  • the maximum luminance value that the display device can actually display may be different according to the brightness characteristic of the image.
  • the luminance value of the display device may be limited by the power consumption of the display device. Therefore, when the display device does not have sufficient power consumption for displaying the image according to the brightness characteristic of the image, the maximum luminance value that the display apparatus can actually display is the nominal maximum luminance value of the display apparatus. It may be lower than the maximum luminance value.
  • the actual maximum brightness measurable on the display may correspond to 800 nits.
  • the tone mapped image can more effectively maintain the intention of the original image than when tone mapping is performed without considering the luminance characteristic of the image.
  • the maximum luminance value that can be displayed by the display apparatus under ideal conditions is referred to as an "ideal maximum display luminance value". If the luminance characteristic of the input image satisfies the ideal condition, the ideal maximum display luminance value may be measured in the display device. Display ideal conditions may vary for the characteristics of the display device.
  • an ideal condition of the first display device may be a case in which the first display device displays an image including one pixel having the maximum brightness and the remaining pixels having the minimum brightness.
  • the ideal maximum display luminance value of the first display apparatus may mean a luminance value of the display apparatus measured in one pixel having the maximum brightness. As the number of pixels having the maximum brightness in the image decreases and the number of the pixels having the minimum brightness increases, the maximum display luminance value that the first display apparatus can display may increase.
  • an ideal condition of the second display device may be a case in which the second display device displays an image in which all pixels have the maximum brightness. As the number of pixels having the maximum brightness in the image increases, the maximum display luminance value that the second display apparatus can display may increase.
  • the maximum luminance value that the display apparatus may actually display according to the luminance characteristic of the input image is referred to as an "actual maximum display luminance value".
  • the actual maximum display luminance value of the display apparatus may mean a maximum luminance value that can be measured on the display apparatus when the display apparatus displays an input image.
  • the actual maximum luminance value of the display device may differ depending on the luminance characteristic of the input image.
  • the ideal maximum luminance value of the display device may be 1000 nits, and the actual maximum luminance value of the display device may be 800 nits.
  • FIG. 1 is a block diagram of an image processing apparatus.
  • the image processing apparatus 100 may include a receiver 110 and a controller 120. Not all components of the image processing apparatus 100 illustrated in FIG. 1 are essential components. The image processing apparatus 100 may be implemented by more components than those illustrated in FIG. 1, or the image processing apparatus 100 may be implemented by fewer components than those illustrated in FIG. 1. For example, as illustrated in FIG. 8, the image processing apparatus 100 may further include a display unit 830 and a memory 840.
  • the receiver 110 may include at least one of first metadata indicating a maximum display luminance value of the mastering display according to the luminance characteristic of the image and second metadata indicating a maximum display luminance value of the target display according to the luminance characteristic of the image. Can be received.
  • the luminance characteristic of an image may be a numerical value or an index indicating a space-time distribution of luminance values of pixels in the image.
  • the luminance characteristic of an image may include a maximum value and a minimum value of luminance values of pixels in an image, an average value of luminance values of pixels in an image, and a dynamic range.
  • the luminance characteristic of the image may include a change amount of luminance values of pixels in the image.
  • the first metadata may indicate the actual maximum display luminance value of the mastering display according to the luminance characteristic of the image under various conditions.
  • the first meta data may have a LookUp Table format.
  • the first metadata may be generated in the mastering display, and the image processing apparatus 100 may receive the first metadata from the mastering display.
  • the mastering display may mean a display device used to generate and edit an original image.
  • Image creators can create and edit original images based on the dynamic range of the mastering display.
  • the second metadata may indicate the actual maximum display luminance value of the target display according to the luminance characteristic of the image under various conditions.
  • the second meta data may have a LookUp Table format.
  • the second metadata may be generated in the target display, and the image processing apparatus 100 may receive the second metadata from the mastering display or the target display.
  • the target display is a display device included in the target system 270 and may refer to a device on which a tone-mapped image is displayed.
  • the video producer or colorist can determine the dynamic range of the target display.
  • the dynamic range of the target display may be included in the dynamic range of the display device actually used by the consumer, or may include the dynamic range of the display device actually used by the consumer.
  • the maximum display luminance value of the mastering display according to the luminance characteristics of the current scene and the maximum display luminance value of the target display according to the luminance characteristics of the current scene may be different from each other.
  • first metadata and the second metadata will be described below with reference to FIGS. 3 to 7.
  • apparatus and method for generating the first metadata and the second metadata will be described with reference to FIGS. 34 to 35.
  • the controller 120 may acquire luminance characteristics of the image input to the image processing apparatus 100. For example, the controller 120 may obtain an average luminance value of the input image.
  • the controller 120 may obtain the actual maximum display luminance value of the mastering display according to the luminance characteristic of the input image based on the first metadata.
  • the controller 120 may obtain the actual maximum display luminance value of the target display according to the luminance characteristic of the input image based on the second metadata.
  • the controller 120 may adjust the dynamic range of the input image based on at least one of the actual maximum display luminance value of the mastering display according to the luminance characteristic of the input image and the actual maximum display luminance value of the target display according to the luminance characteristic of the input image. I can convert it. For example, the controller 120 may tonemap the high dynamic range of the input image to the low dynamic range. Conversely, the controller 120 may tonemap the low dynamic range of the input image to the high dynamic range.
  • the controller 120 may include at least one processor, and may control overall operations of the image processing apparatus 100. Hereinafter, the controller 120 will be described in detail with reference to FIG. 2.
  • FIG. 2 is a block diagram of a controller included in an image processing apparatus.
  • the controller 120 may include a decoder 210, a converter 220, a luminance characteristic acquisition unit 230, a tone mapping unit 240, a saturation correction unit 250, an inverse converter 260, and an encoder 270. Can be. Not all components of the controller 120 illustrated in FIG. 2 are essential components. The control unit 120 may be implemented by more components than those illustrated in FIG. 2, or the control unit 120 may be implemented by fewer components than those illustrated in FIG. 2.
  • the decoder 210 may decode the original image 200 and obtain the decoded original image 200.
  • the decoder 210 may convert the decoded original image 200 of the YCbCr format into an RGB format.
  • the converter 220 may convert the original color space of the original image 200 into a working color space in which tone mapping is performed. For example, the converter 220 converts the x, y color coordinates of the primary color corresponding to the original color space and the x, y color coordinates of the white point into the x, y color coordinates of the primary color corresponding to the working color space. And x, y color coordinates of the white point. If the original color space of the original image 200 coincides with the working color space, the converter 220 may be omitted from the controller 120.
  • the luminance characteristic acquirer 230 may acquire luminance characteristics of the original image 200.
  • the luminance characteristic acquisition unit 230 may divide the original image 200 into predetermined units, and acquire luminance characteristics for each of the divided predetermined units.
  • the original image 200 called a title or cut may be divided into at least one scene, and the scene may be divided into at least one frame.
  • the luminance characteristic acquirer 230 may acquire luminance characteristics for each scene unit of the original image 200.
  • the luminance characteristic acquirer 230 may acquire luminance characteristics for every n frames of the original image 200.
  • the luminance characteristic acquisition unit 230 may acquire an average luminance value of the scene.
  • the luminance characteristic acquisition unit 230 may acquire an average luminance value of n frames.
  • the luminance characteristic acquirer 230 may determine the actual maximum display luminance value of the mastering display according to the luminance characteristics of the original image 200 based on the first metadata. Can be obtained.
  • the first metadata may indicate the actual maximum display luminance value of the mastering display according to the average luminance value of the image.
  • the luminance characteristic acquirer 230 obtains the actual maximum display luminance value of the target display according to the luminance characteristics of the original image 200 based on the second metadata. can do.
  • the second metadata may indicate the actual maximum display luminance value of the target display according to the average luminance value of the image.
  • the tone mapping unit 240 is based on at least one of the actual maximum display luminance value of the mastering display according to the luminance characteristic of the original image 200 and the actual maximum display luminance value of the target display according to the luminance characteristic of the original image 200. Thus, tone mapping is performed on the original image 200.
  • the tone mapping unit 240 may narrow the dynamic range of the original image 200 when the dynamic range of the mastering display includes the dynamic range of the target display.
  • the tone mapping unit 240 may broaden the dynamic range of the original image 200 when the dynamic range of the mastering display is included in the dynamic range of the target display.
  • the tone mapping unit 240 compares the actual maximum display luminance value of the master display according to the luminance characteristic of the original image 200 with the actual maximum display luminance value of the target display according to the luminance characteristic of the original image 200, It may be determined whether the dynamic range of the ring display includes the dynamic range of the target display or whether the dynamic range of the mastering display is included in the dynamic range of the target display.
  • Saturation correction unit 250 may correct the saturation value of the tone-mapped image. Even if the tone mapping unit 240 performs tone mapping on the original image 200, the user's perception of the original image 200 displayed on the mastering display is not affected by the tone mapped image displayed on the target display. May be different from the user's perceived feeling.
  • the saturation correction unit 250 may correct the saturation value of the tone-mapped image to make the correction image 280 closer to the original image 200.
  • the inverse converter 260 may convert the color space of the corrected image 280 into the original color space of the original image 200.
  • the corrected image 280 output from the chroma correction unit 250 may have a working color space in which tone mapping is performed.
  • the inverse converter 260 may convert the color space of the corrected image 280 from the working color space to the original color space of the original image 200.
  • the inverse converter 260 converts the x, y color coordinates of the primary color corresponding to the working color space and the x, y color coordinates of the white point into x, y of the primary color corresponding to the original color space. You can convert to the x and y color coordinates of the color coordinate and the white point.
  • the encoder 270 may encode the corrected image 280 to input the corrected image 280 to the target system 290.
  • the encoded corrected image 280 obtained by the encoder 270 may be input to the target system 290.
  • the target system 290 may display the corrected image 280. Even if the dynamic range of the corrected image 280 is different from the dynamic range of the original image 200, the corrected image 280 obtained by the controller 120 effectively maintains the intention of the image creator reflected in the original image 200. Can be.
  • 3 to 5 illustrate examples of a maximum display luminance value of a liquid crystal display (LCD) device according to luminance characteristics of an image.
  • LCD liquid crystal display
  • the x-axis of the graph 300 may correspond to an average luminance value or an average grayscale value of an image having an 8 bit depth. Therefore, the minimum value of the x-axis of the graph 300 may be 0, and the maximum value may be 255.
  • the y-axis of the graph 300 may correspond to the actual maximum display luminance value of the LCD device according to the average luminance value of the image. In addition, the unit of the y-axis of the graph 300 may be nit.
  • the first metadata may include the actual maximum display luminance value of the mastering display according to the average luminance value of the image such as the graph 300.
  • the second metadata may include the actual maximum display luminance value of the target display according to the average luminance value of the image such as the graph 300.
  • the maximum luminance value that can be displayed on the LCD device corresponds to any point on the x axis on the graph 300. It can be the nit value of the y axis.
  • the LCD device may display an ideal maximum display luminance value. That is, when the average luminance value of the image has a value close to zero, the actual maximum display luminance value of the LCD device may have a maximum value. In addition, when the average luminance value of the image has a value close to 255, the actual maximum display luminance value of the LCD device may have a minimum value. Also, when the average luminance value of the image is 40 or less, as the average luminance value of the image increases, the actual maximum display luminance value of the LCD device may decrease.
  • the actual maximum display luminance value of the LCD device may increase.
  • the actual display luminance value of the LCD device may decrease again.
  • the actual maximum display luminance value of the LCD device may be 600 nits.
  • the actual maximum display luminance value of the LCD device may be 650 nits.
  • the 310, 320, 330, and 340 images shown in the graph 300 are grayscale images.
  • the 310, 320, 330, and 340 images may include regions 311, 321, 331, and 341 including at least one pixel having a maximum grayscale value (eg, 255).
  • the 310 image may include a second pixel outside the area 311 having a background grayscale value corresponding to the x1 point on the graph 300.
  • the actual maximum display luminance value of the LCD device measured in the area 311 may be a y1 nit value corresponding to the x1 grayscale value on the graph 300.
  • the image 320 may include a second pixel outside the area 321 having a background grayscale value corresponding to the x2 point of the graph 300.
  • the actual maximum display luminance value of the LCD device measured in the area 321 may be y2 nit corresponding to the x2 grayscale value on the graph 300.
  • the image 330 may include a second pixel outside the region 331 having a background grayscale value corresponding to x3 of the graph 300.
  • the actual maximum display luminance value of the LCD device measured in the area 331 may be y3 nit corresponding to the x3 grayscale value on the graph 300.
  • the image 340 may include a second pixel outside the region 341 having a background grayscale value corresponding to the x4 point of the graph 300.
  • the actual maximum display luminance value of the LCD device measured in the area 341 may be y4 nit corresponding to the x4 grayscale value on the graph 300.
  • the maximum luminance value that the display apparatus may actually display may be different according to the luminance characteristic of the image.
  • the display device does not have sufficient power consumption for displaying the image according to the average luminance value of the image, the actual maximum display luminance value of the display apparatus may be lower than the ideal maximum display luminance value of the display apparatus.
  • the change in the actual maximum display luminance value according to the average luminance value of the image of the advertisement display may be relatively smaller than the change in the actual maximum display luminance value according to the average luminance value of the image of the general display apparatus.
  • the x-axis of the graph 400 may correspond to the area of the white patch.
  • the y-axis of the graph 400 may correspond to the actual maximum display luminance value of the LCD device according to the area of the white patch.
  • the unit of the y-axis of the graph 400 may be nit.
  • the first metadata may include an actual maximum display luminance value of the mastering display according to the area of the white patch in the image such as the graph 400.
  • the second metadata may include an actual maximum display luminance value of the target display according to the area of the white patch in the image such as the graph 400.
  • the maximum luminance value that can be displayed on the LCD device is y corresponding to any point on the x axis on the graph 400.
  • the white patch may mean an area including pixels having a maximum luminance value or a maximum grayscale value.
  • a white patch in an image having an 8 bit depth may include pixels having a 255 grayscale value.
  • the area of the white patch corresponding to the x-axis of the graph 400 may be the number of pixels included in the white patch.
  • the area of the white patch may be a product of the horizontal pixel length of the white patch and the vertical pixel length of the white patch. Therefore, the minimum value of the x-axis of the graph 400 may be 0, and the maximum value may be the number of pixels included in one frame in the image.
  • a 250k point on the x-axis of the graph 400 may mean that 250 x 1000 pixels are included in the white patch.
  • the 1000k point on the x-axis of the graph 400 may mean that 1000 x 1000 pixels are included in the white patch.
  • the LCD device may display an ideal maximum display luminance value. That is, as the area of the white patch is smaller, the actual maximum display luminance value of the LCD device may have a maximum value. In addition, as the area of the white patch increases, the actual maximum display luminance value of the LCD device may have a minimum value. In addition, when the area of the white patch is about 1000k or less, as the area of the white patch increases, the actual maximum display luminance value of the LCD device may decrease. In addition, when the area of the white patch is 1000k or more and 1260k or less, the actual maximum display luminance value of the LCD device may decrease as the area of the whitepatch increases.
  • the actual maximum display luminance value of the LCD device may decrease again.
  • the actual maximum display luminance value of the LCD device may be 820 nits.
  • the actual maximum display luminance value of the LCD device may be 620 nits.
  • the 410, 420, 430, and 440 images shown in the graph 400 are grayscale images.
  • the 410, 420, 430, and 440 images may include white patches 411, 421, 431, and 441, respectively.
  • the 410 image may include a white patch having an area corresponding to the p1 point on the graph 400.
  • the actual maximum display luminance value of the LCD device measured by the white patch 411 may be q1 nit corresponding to the p1 area on the graph 400.
  • the actual maximum display luminance value of the LCD device measured by the white patch 421 may be q2 nit corresponding to the p2 area on the graph 400.
  • the actual maximum display luminance value of the lcd device measured by the white patch 431 may be q3 nit corresponding to the p3 area on the graph 400.
  • the actual maximum display luminance value of the LCD device measured by the white patch 441 may be q4 nit corresponding to the p4 area on the graph 400.
  • (p1, q1) (40k, 980 nit)
  • (p2, q2) (390k, 800 nit)
  • (p3, q3) (1260k, 650 nit)
  • (p4, q4) ( 2560k, 450 nit).
  • the BLU (Back Light Unit) of the LCD device may control a plurality of pixels.
  • the number of pixels controlled by one BLU may increase in the order of direct type BLU, bar type BLU, and edge type BLU.
  • the LCD device displays an image including a white patch
  • it may become difficult to express a white patch.
  • the above characteristics of the BLU can cause a waste of power consumption of the LCD device. Therefore, when the LCD device does not have sufficient power consumption to display an image including a white patch, the actual maximum display luminance value of the LCD apparatus may be lower than the ideal maximum display luminance value.
  • the BLU may not be used and a one-to-one correspondence between the light emitting element and the pixel is possible. Therefore, the change in the actual maximum display luminance value according to the area of the white patch in the image of the OLED display may be relatively smaller than the change in the actual maximum display luminance value in accordance with the area of the white patch in the image of the LCD device.
  • the x-axis of the two-dimensional color map 500 may correspond to the area of the white patch in the image.
  • the y-axis of the two-dimensional color map 500 may correspond to an average luminance value of the image.
  • the color of the 2D color map 500 may correspond to the maximum display luminance value of the LCD device.
  • the color of the 2D color map 500 may mean a luminance value of a corresponding nit on the color bar 510.
  • the first metadata is the actual maximum display luminance of the mastering display according to the area of the white patch in the image such as the two-dimensional color map 500 and the average luminance value of the image. May contain a value.
  • the second metadata may determine the actual maximum display luminance value of the target display according to the area of the white patch in the image such as the two-dimensional color map 500 and the average luminance value of the image. It may include.
  • the LCD device can display an ideal maximum display luminance value. That is, the actual maximum display luminance value of the LCD device may have a maximum value at the lower left of the 2D color map 500.
  • the actual maximum display luminance value of the LCD device may have a minimum value. That is, the actual maximum display luminance value of the LCD device may have a minimum value at the upper right side of the 2D color map 500.
  • the actual maximum display luminance value of the LCD device may be about 600 nits.
  • FIG. 6 illustrates examples of a maximum display luminance value of another liquid crystal display (LCD) device according to luminance characteristics of an image.
  • FIG. 6 is a first graph 600 showing a maximum display luminance value of an LCD device according to an average luminance value of an image, and a second graph showing a maximum display luminance value of an LCD device according to an area of a white patch in an image ( 610 and a third graph 620 showing the maximum display luminance value of the LCD device according to the area of the white patch in the image and the average luminance value of the image.
  • the first metadata may be the actual maximum display luminance value according to the average luminance value of the image such as the first graph 600, and the image such as the second graph 610. It may include at least one of the actual maximum display luminance value according to the area of the white patch, the average luminance value of the image such as the two-dimensional color map 620 and the actual maximum display luminance value according to the area of the white patch in the image. .
  • the second metadata is the actual maximum display luminance value according to the average luminance value of the image such as the first graph 600, and the image within the image such as the second graph 610. At least one of the actual maximum display luminance value according to the area of the white patch, the average luminance value of the image such as the two-dimensional color map 620 and the actual maximum display luminance value according to the area of the white patch in the image.
  • the x-axis of the first graph 600 may correspond to an average luminance value or an average grayscale value of an image having an 8-bit depth. Therefore, the minimum value of the x-axis of the first graph 600 may be 0, and the maximum value may be 255.
  • the y-axis of the first graph 600 may correspond to the actual maximum display luminance value of the LCD device according to the average luminance value of the image. Also, the unit of the y-axis of the first graph 600 may be nit.
  • the actual maximum display luminance value of the LCD device may increase as the average luminance value of the image increases.
  • the average luminance value of the image exceeds 170, as the average luminance value of the image increases, the actual maximum display luminance value of the LCD device may decrease.
  • the x-axis of the second graph 610 may correspond to the area of the white patch in the image. Accordingly, the minimum value of the x-axis of the second graph 610 may be 0, and the maximum value may be the number of pixels included in one frame in the image.
  • the y-axis of the second graph 610 may correspond to the actual maximum display luminance value of the LCD device according to the area of the white patch in the image. Also, the unit of the y-axis of the second graph 610 may be nit.
  • the actual maximum display luminance value of the LCD device may increase as the area of the white patch increases. Also, when the area of the white patch exceeds about 250k, the actual maximum display luminance value of the LCD device may decrease as the area of the white patch increases.
  • the x-axis of the 2D color map 620 may correspond to the area of the white patch in the image.
  • the y-axis of the two-dimensional color map 620 may correspond to an average luminance value of the image.
  • the color of the 2D color map 620 may correspond to the maximum display luminance value of the LCD device.
  • the color of the 2D color map 620 may mean a luminance value of a corresponding nit on the color bar 630.
  • the actual maximum display luminance value of the LCD device may have a maximum value.
  • the actual maximum display luminance value of the LCD device may have a minimum value.
  • the LCD device of FIG. 5 Comparing the two-dimensional color map 620 of the LCD device of FIG. 5 and the two-dimensional color map 620 of the LCD device of FIG. 6, the LCD device of FIG. Accordingly, the amount of change in the actual maximum display luminance value may be relatively small.
  • FIG 7 illustrates examples of maximum display luminance values of various types of display devices according to luminance characteristics of an image.
  • the x-axis of the two-dimensional color maps 700, 720, and 740 may correspond to the area of the white patch in the image.
  • the y-axis of the two-dimensional color maps 700, 720, and 740 may correspond to an average luminance value of the image.
  • the color of the 2D color maps 700, 720, and 740 may correspond to a maximum display luminance value.
  • the colors of the two-dimensional color maps 700, 720, and 740 may refer to luminance values in units of nit corresponding to the color bars 710, 730, and 750.
  • the first two-dimensional color map 700 shows an example of the maximum display luminance value of the display for advertising according to the luminance characteristics of the image.
  • the first metadata is the actual maximum display luminance value of the mastering display according to the area of the white patch in the image such as the first two-dimensional color map 700 and the average luminance value of the image. It may include.
  • the actual maximum display luminance value of the advertising display may be constant even if the brightness characteristic of the image changes.
  • the actual maximum display luminance value of the advertisement display may be independent of the luminance characteristic of the image.
  • the power consumption of the advertising display may be unlimited. Therefore, the actual maximum display luminance value of the advertisement display may be less affected by the luminance characteristic of the image than the actual maximum display luminance value of the other type of display apparatus.
  • the actual maximum display luminance value of the advertisement display may be different according to the luminance characteristic of the image.
  • the second two-dimensional color map 720 shows an example of the maximum display luminance value of the organic light emitting diode (OLED) display according to the luminance characteristic of the image.
  • the first metadata is the actual maximum display luminance value of the mastering display according to the area of the white patch in the image such as the second two-dimensional color map 720 and the average luminance value of the image. It may include.
  • the actual maximum display luminance value of the OLED display may be constant as the area of the white patch in the image changes. For example, if the average luminance value of the image is equal to 200, the actual maximum display luminance value of the OLED display may be independent of the area of the white patch in the image. In the case of OLED displays, BLU may not be used and a one-to-one correspondence between the light emitting element and the pixel may be possible. Therefore, the actual maximum display luminance value of the OLED display may be less affected by the area of the white patch in the image than the actual maximum display luminance value of other types of display devices. In addition, the actual maximum display luminance value of the OLED display may be different according to the average luminance value of the image.
  • the third two-dimensional color map 740 shows an example of the maximum display luminance value of the conventional reference monitor according to the luminance characteristic of the image.
  • Conventional reference monitors are commonly used as mastering displays.
  • the first metadata is the actual maximum display of the mastering display according to the area of the white patch in the image, such as the third two-dimensional color map 740 and the average luminance value of the image. It may include a luminance value.
  • the actual maximum display luminance value of the conventional reference monitor is compared with the actual maximum display luminance value of the LCD device of FIG. 5 and the LCD device of FIG. 6. You can get less.
  • the actual maximum display luminance value of the conventional reference monitor may be constant.
  • FIG. 8 is a block diagram of another image processing apparatus.
  • the image processing apparatus 800 of FIG. 8 may further include at least one of the display unit 830 and the memory 840 as compared to the image processing apparatus 100 of FIG. 1.
  • the receiver 810 and the controller 820 of the image processing apparatus 800 of FIG. 8 may correspond to the receiver 110 and the controller 120 of the image processing apparatus 100 of FIG. 1. Therefore, description overlapping with FIG. 1 will be omitted.
  • the display 830 may display an image under the control of the controller 820.
  • the display unit 830 may display an original image input to the image processing apparatus 800.
  • the display unit 830 may display a corrected image in which tone mapping and saturation correction are performed by the controller 820.
  • the dynamic range of the display 830 may include the dynamic range of the target display of the second metadata received by the receiver 810. Alternatively, the dynamic range of the display unit 830 may be included in the dynamic range of the target display of the second metadata received by the receiver 810.
  • the display unit 830 includes at least one of an LCD, a thin film transistor-liquid crystal display, an OLED display, a flexible display, a 3D display, and an electrophoretic display. It may include.
  • the memory 840 may store a program for processing and controlling the controller 820, and may store data input to the image processing apparatus 800 or output from the image processing apparatus 800.
  • the memory 840 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • FIG. 9 shows a flowchart of an image processing method 900.
  • the image processing apparatuses 100 and 800 indicate first metadata indicating the maximum display luminance value of the mastering display according to the luminance characteristic of the image and maximum display luminance value of the target display according to the luminance characteristic of the image. Receive at least one of the second metadata. Operation 910 may be performed by the receivers 110 and 810 included in the image processing apparatuses 100 and 800.
  • the image processing apparatuses 100 and 800 divide the encoded image into at least one scene.
  • the image processing apparatuses 100 and 800 acquire luminance characteristics of the current scene including the average luminance value of the current scene.
  • the image processing apparatuses 100 and 800 may display the mastering display according to the luminance characteristics of the current scene based on the first metadata. Obtain the maximum display luminance value.
  • the image processing apparatuses 100 and 800 may display the target display according to the luminance characteristics of the current scene based on the second metadata. Obtain the maximum display luminance value.
  • steps 920 to 970 may be performed by the controllers 120 and 820 included in the image processing apparatuses 100 and 800.
  • operations 920 to 970 may be performed by the brightness characteristic acquisition unit 230.
  • FIG. 10 is a flowchart illustrating a method of obtaining luminance characteristics of an image.
  • the luminance characteristic acquirer 230 may divide the image input to the image processing apparatus 100 into predetermined units, and acquire luminance characteristics for each of the divided predetermined units.
  • the luminance characteristic acquisition unit 230 may divide an image into at least one scene.
  • the luminance characteristic acquisition unit 230 may obtain the luminance characteristics of the current scene divided from the image.
  • the receiver 110 may receive a flag indicating whether to acquire a luminance characteristic of the current scene.
  • the receiver 110 may obtain the flag from the mastering display.
  • the luminance characteristic acquisition unit 230 may determine the luminance characteristic to be acquired from the current scene based on the flag.
  • the flag may indicate that the luminance characteristic of the current scene divided from the image is not obtained.
  • the luminance characteristic acquisition unit 230 does not acquire the luminance characteristics of the current scene.
  • the image processing apparatus 100 may perform tone mapping on the current scene for which the luminance characteristic is not obtained, based on at least one of an ideal maximum display luminance value of the mastering display and an ideal maximum display luminance value of the target display. have.
  • the flag When the value of the flag is 1, the flag may indicate to obtain an average luminance value of the current scene. If the flag indicates to obtain the average luminance value of the current scene, the luminance characteristic acquisition unit 230 may obtain the average luminance value of the current scene in step 1020. In addition, the image processing apparatus 100 may determine the current scene based on at least one of the actual maximum display luminance value of the mastering display according to the average luminance value of the current scene and the actual maximum display luminance value of the target display according to the average luminance value of the current scene. Tone mapping can be performed for An operation of obtaining the average luminance value of the current scene by the luminance characteristic acquisition unit 230 will be described in detail with reference to FIGS. 11 to 12.
  • the flag may indicate to obtain the maximum luminance region of the current scene. If the flag indicates to obtain the maximum luminance region of the current scene, the luminance characteristic acquisition unit 230 may obtain the maximum luminance region of the current scene in step 1030. Also, the image processing apparatus 100 is based on at least one of an actual maximum display luminance value of the mastering display according to the area of the maximum luminance area of the current scene and an actual maximum display luminance value of the target display according to the area of the maximum luminance area of the current scene. Tone mapping can be performed on the current scene. The maximum luminance region of the current scene may correspond to the white patch described above. An operation of acquiring the maximum luminance region of the current scene and the luminance characteristic acquisition unit 230 will be described in detail with reference to FIGS. 13 to 18.
  • the flag may indicate to obtain the average luminance value of the current scene and the maximum luminance region of the current scene. If the flag indicates to acquire the average luminance value of the current scene and the maximum luminance region of the current scene, in operation 1040, the luminance characteristic acquisition unit 230 may obtain the average luminance value of the current scene and the maximum luminance region of the current scene. In addition, the image processing apparatus 100 may present the current image based on at least one of the actual maximum display luminance value of the mastering display and the actual maximum display luminance value of the target display according to the average luminance value of the current scene and the area of the maximum luminance region of the current scene. Tone mapping can be performed on the scene.
  • 11 illustrates an operation of obtaining an average luminance value of an image.
  • the luminance characteristic acquisition unit 230 may acquire an average luminance value of pixels included in the current scene.
  • the average luminance value of the pixel can be obtained using the average value for the RGB component values of the pixel.
  • the average luminance value of the pixel may be obtained using the Y value of the YCbCr component values of the pixel.
  • the luminance characteristic acquisition unit 230 may obtain an average luminance value of the current scene by using the average luminance value of the pixel.
  • a title or image 1100 having an 8-bit depth is divided into a plurality of scenes including a first scene 1110, a second scene 1120, a third scene 1130, and a fourth scene 1140.
  • the third scene 1130 may be divided into a plurality of frames including an Nth frame 1150, an N + 1th frame 1160, and an N + 2th frame 1170.
  • the RGB component values of the p1 pixel included in the Nth frame 1150 of the third scene 1130 may be (55, 66, 77).
  • the red component value of the p1 pixel may be 55, the green component value of the p1 pixel may be 66, and the blue component value of the p1 pixel may be 77.
  • the RGB component values of the p2 pixel included in the N + 1th frame 1160 of the third scene 1130 may be (77,88,99).
  • the red component value of the p2 pixel may be 77
  • the green component value of the p2 pixel may be 88
  • the blue component value of the p2 pixel may be 99.
  • the RGB component values of the p3 pixel included in the N + 2th frame 1170 of the third scene 1130 may be (66,77,88).
  • the red component value of the p3 pixel may be 66
  • the green component value of the p3 pixel may be 77
  • the blue component value of the p3 pixel may be 88.
  • the luminance characteristic acquisition unit 230 obtains average luminance values of all pixels included in the current scene, in addition to the average luminance value of the p1 pixel, the average luminance value of the p2 pixel, and the average luminance value of the p3 pixel, and obtains the obtained average luminance value. The sum of these may be divided by the total number of pixels of the current scene to obtain an average luminance value of the current scene.
  • the luminance characteristic acquisition unit 230 may acquire a maximum luminance value of the pixel currently included in the scene.
  • the maximum luminance value of the pixel may mean the maximum value among the RGB component values of the pixel.
  • the luminance characteristic acquisition unit 230 may acquire an average luminance value of the current scene by using the maximum luminance value of the pixel.
  • the maximum luminance value of the p1 pixel included in the Nth frame 1150 of the third scene 1130 may be 77.
  • the maximum luminance value of the p2 pixel included in the N + 1th frame 1160 of the third scene 1130 may be 99.
  • the maximum luminance value of the p3 pixel included in the N + 2th frame 1170 of the third scene 1130 may be 88.
  • the luminance characteristic acquisition unit 230 obtains the maximum luminance values of all pixels included in the current scene, in addition to the maximum luminance value of the p1 pixel, the maximum luminance value of the p2 pixel, and the maximum luminance value of the p3 pixel, and obtains the obtained maximum luminance value. The sum of these may be divided by the total number of pixels of the current scene to obtain an average luminance value of the current scene.
  • the luminance characteristic acquisition unit 230 may acquire the average luminance value of the current scene by using the minimum luminance value of the pixel or the intermediate luminance value of the pixel, in addition to the average luminance value of the pixel and the maximum luminance value of the pixel included in the current scene. Can be.
  • the luminance characteristic acquisition unit 230 may select some of the pixels included in the current scene and obtain an average luminance value of the current scene using the average luminance values of the selected pixels.
  • the luminance characteristic acquisition unit 230 may select pixels located at predetermined coordinates among pixels included in the current scene.
  • the luminance characteristic acquisition unit 230 may select some pixels among the pixels included in the current scene based on the size of the frame, the position of the foreground and the background.
  • a title or image 1200 having an 8-bit depth includes a first scene 1210, a second scene 1220, a third scene 1230, and a fourth scene 1240. It can be divided into a plurality of gods, including.
  • the third scene 1230 may be divided into a plurality of frames including an Nth frame 1250, an N + 1th frame 1260, and an N + 2th frame 1270.
  • the luminance characteristic acquisition unit 230 may select pixels located at the upper right side of the frame among the pixels of the third scene to obtain an average luminance value of the third scene.
  • the luminance characteristic acquisition unit 230 includes pixels 1255 positioned at the upper right of the Nth frame 1250, pixels 1265 positioned at the upper right of the N + 1th frame 1260, and N + 2.
  • the pixels 1275 positioned at the upper right side of the frame 1270 may be selected.
  • the luminance characteristic acquisition unit 230 may obtain an average luminance value of the current scene by using average luminance values, maximum luminance values, minimum luminance values, or intermediate luminance values of selected pixels among the pixels of the current scene.
  • FIG. 13 illustrates an operation of determining the maximum luminance region of an image.
  • the luminance characteristic acquirer 230 may determine the center pixel of the maximum luminance region of the current scene.
  • the maximum luminance region of the current scene may mean the brightest area or the brightest subject in the current scene.
  • the maximum luminance region may include pixels having a maximum luminance value or a maximum grayscale value, as described above with the white patch.
  • the maximum luminance region may include pixels representing a very bright subject such as the sun present in the image.
  • the luminance characteristic acquisition unit 230 may first determine a center pixel of the maximum luminance region among the pixels included in the current scene to obtain the maximum luminance region of the current scene. An operation of determining the center pixel of the maximum luminance region will be described in detail with reference to FIGS. 14 to 16.
  • the luminance characteristic acquirer 230 may acquire a maximum luminance region of the current scene based on the center pixel determined in operation 1310. In addition, the luminance characteristic acquisition unit 230 may acquire the area of the maximum luminance region of the current scene.
  • An area bright enough in the image input to the image processing apparatus 100 may affect power consumption of the display apparatus. Therefore, the area of the region having the high luminance value or the area of the subject having the high luminance value in the image may change the actual maximum display luminance value of the display device, as in the area of the white patch described above.
  • the luminance characteristic acquisition unit 230 may obtain the actual maximum display luminance value of the display apparatus according to the area of the maximum luminance region of the current scene using the actual maximum display luminance value of the display apparatus according to the area of the white patch. For example, the luminance characteristic acquisition unit 230 may replace the actual maximum display luminance value of the display apparatus according to the area of the maximum luminance region of the current scene to the actual maximum display luminance value of the display apparatus according to the area of the white patch. As another example, as shown in Equation 1, the luminance characteristic acquisition unit 230 uses a ratio between the average luminance value of the maximum luminance region and the maximum luminance value of the image (for example, 255 in the case of an 8-bit depth image). In addition, an actual maximum display luminance value of the display device according to the area of the maximum luminance region of the current scene may be obtained.
  • An image input to the image processing apparatus 100 may or may not include a white patch. Therefore, even if the metadata includes the actual maximum display luminance value of the display device according to the area of the white patch, it may be reasonable to find the maximum luminance region in the image rather than the white patch in the image. A detailed operation of obtaining the maximum luminance region by the luminance characteristic acquisition unit 230 will be described in detail with reference to FIGS. 17 to 18.
  • the luminance characteristic acquirer 230 performs the first metadata in operation 1340. Based on, the actual maximum luminance value of the mastering display apparatus according to the area of the maximum luminance region may be obtained.
  • the luminance characteristic acquisition unit 230 may estimate the actual maximum luminance value of the mastering display apparatus according to the area of the maximum luminance region based on the first metadata.
  • the luminance characteristic acquisition unit 230 replaces the actual maximum display luminance value of the mastering display apparatus according to the area of the maximum luminance area of the current scene with the actual maximum display luminance value of the mastering display apparatus according to the area of the white patch. can do.
  • the luminance characteristic acquisition unit 230 is a mastering display device corresponding to the white patch of the 40k area on the first metadata to the actual maximum display luminance value of the mastering display device for the maximum luminance area of the current scene of 40k area It can be obtained with 980nit which is the actual maximum display luminance value of.
  • the luminance characteristic acquisition unit 230 masters the ratio between the average luminance value of the maximum luminance region and the maximum luminance value of the image (for example, 255 in the case of an 8-bit depth image) according to the area of the white patch. By multiplying the actual maximum display luminance value of the display apparatus, the actual maximum display luminance value of the mastering display apparatus according to the area of the maximum luminance region of the current scene may be obtained.
  • the luminance characteristic acquirer 230 may add the second metadata to the second metadata in operation 1360. Based on this, the actual maximum luminance value of the target display apparatus according to the area of the maximum luminance region may be obtained.
  • the luminance characteristic acquisition unit 230 may estimate or obtain an approximation of the actual maximum luminance value of the target display apparatus according to the area of the maximum luminance region based on the second metadata.
  • the luminance characteristic acquisition unit 230 may replace the actual maximum display luminance value of the target display apparatus according to the area of the maximum luminance region of the current scene with the actual maximum display luminance value of the target display apparatus according to the area of the white patch. have.
  • the luminance characteristic acquisition unit 230 may determine the actual maximum display luminance value of the target display apparatus with respect to the maximum luminance region of the current scene of 40k area, and the actual value of the target display apparatus corresponding to the white patch of 40k area on the second metadata. It can be obtained with the maximum display luminance value of 450 nits.
  • the luminance characteristic acquisition unit 230 displays a ratio between the average luminance value of the maximum luminance region and the maximum luminance value of the image (for example, 255 in the case of an 8-bit depth image) according to the area of the white patch.
  • the actual maximum display luminance value of the target display apparatus according to the area of the maximum luminance region of the current scene may be obtained by multiplying the actual maximum display luminance value of the apparatus.
  • FIG. 14 is a flowchart of a method for determining to obtain a center pixel for the maximum luminance region of the current scene.
  • the luminance characteristic acquisition unit 230 may determine, among the pixels of the current scene, the center pixel p of the region that maximizes the sum of the luminance values of the pixels included in the region having a predetermined size.
  • the luminance characteristic acquirer 230 may set a first region having a predetermined size centering on the first pixel of the current scene and obtain a sum of luminance values of pixels in the first region.
  • the luminance characteristic acquisition unit 230 may set a second region having the same size as the first region with respect to the second pixel of the current scene, and obtain the sum of the luminance values of the pixels in the second region.
  • the luminance characteristic acquisition unit 230 may compare the sum of the luminance values of the first region with the sum of the luminance values of the second region, and determine the first pixel or the second pixel as the center pixel for the maximum luminance region. When the sum of the luminance values of the first region is greater than the sum of the luminance values of the second region, the center pixel for the maximum luminance region may be the first pixel.
  • the luminance characteristic acquisition unit 230 may initialize factors for obtaining the center pixel. For example, the luminance characteristic acquisition unit 230 may initialize f, the number of the current frame in the current scene, to 0, and initialize p, the number of the current pixel, in the current frame, to zero. In addition, the luminance characteristic acquisition unit 230 may initialize the MAX to zero.
  • the luminance characteristic acquirer 230 may set an area having a predetermined size and a predetermined shape with respect to the p-th pixel in the f-th frame.
  • the size and shape of the area may be determined based on the size of the frame, the position of the foreground and the background.
  • the luminance characteristic acquisition unit 230 may change the size and shape of the region into a square, a rectangle, a circle, or the like.
  • the center pixel for the maximum luminance region may vary according to the size and shape of the region.
  • the luminance characteristic acquirer 230 may acquire S (f, p) of the region set in operation 1420.
  • S (f, p) may mean the sum of luminance values of pixels included in the area.
  • the luminance characteristic acquirer 230 may compare S (f, p) with MAX. If S (f, p) is greater than MAX, in step 1450, the center pixel may be set to p, and the frame including the center pixel may be set to f. MAX can also be set to S (f, p). On the other hand, when S (f, p) is not greater than MAX, the center pixel, the frame containing the center pixel, and MAX may maintain the existing value. MAX may mean the maximum value of the S (f, p) values obtained to date.
  • the luminance characteristic acquirer 230 may determine whether the current pixel p is the last pixel in the f-th frame. If the current pixel p is not the last pixel in the f-th frame, the luminance characteristic acquisition unit 230 may repeat steps 1420 to 1450 based on the next pixel. For example, in operation 1480, the luminance characteristic acquisition unit 230 may increase p by one.
  • the luminance characteristic acquirer 230 may determine whether the current frame f is the last frame in the current scene. If the current frame f is not the last frame in the current scene, the luminance characteristic acquisition unit 230 may repeat steps 1420 to 1450 based on the next frame. For example, in operation 1490, the luminance characteristic acquisition unit 230 may increase f by one.
  • the luminance characteristic acquirer 230 may determine the center pixel of the maximum luminance region.
  • a title or image 1500 having an 8-bit depth is divided into a plurality of scenes including a first scene 1510, a second scene 1520, a third scene 1530, and a fourth scene 1540.
  • the third scene 1530 may be divided into a plurality of frames including an Nth frame 1550, an N + 1th frame 1560, and an N + 2th frame 1570.
  • the center pixel of the maximum luminance region of the third scene 1530 may be the pixel 1580 corresponding to the center of the sun existing in the N + 1th frame.
  • the luminance characteristic acquisition unit 230 sets an area 1590 in which the width and the vertical length correspond to n pixel lengths, and move the position of the area 1590 within the current scene, and include the pixels included in the area 1590. It is possible to determine the position where the sum of the luminance values of these becomes the maximum. As shown in FIG. 15, the luminance characteristic acquisition unit 230 may move the position of the region 1590 in the horizontal direction.
  • the luminance characteristic acquisition unit 230 may move the region 1590 in various directions such as a horizontal direction, a vertical direction, and a diagonal direction within the third scene to determine the center pixel.
  • the moving direction of the region 1590 may be determined based on the size of the frame. For example, when the horizontal length of the frame is longer than the vertical length, the moving direction of the region 1590 may be the horizontal direction. As another example, when the vertical length of the frame is longer than the horizontal length, the moving direction of the region 1590 may be the vertical direction.
  • the luminance characteristic acquirer 230 may determine the moving direction of the region 1590 based on the position of the foreground and the background in the frame.
  • FIG. 16 illustrates another operation of determining the center pixel of the maximum luminance region of the current scene.
  • the luminance characteristic acquisition unit 230 may select some of the pixels included in the current scene and determine the center pixel of the maximum luminance region among the selected pixels.
  • the luminance characteristic acquisition unit 230 may select pixels located at predetermined coordinates among pixels included in the current scene.
  • the luminance characteristic acquisition unit 230 may select some pixels among the pixels included in the current scene based on the size of the frame, the position of the foreground and the background.
  • a title or image 1600 may include a plurality of gods including a first scene 1610, a second scene 1620, a third scene 1630, and a fourth scene 1640. It can be divided into The third scene 1630 may be divided into a plurality of frames including an Nth frame 1650, an N + 1th frame 1660, and an N + 2th frame 1670.
  • the luminance characteristic acquisition unit 230 may select pixels located at the upper right side of the frame among the pixels of the third scene to obtain an average luminance value of the third scene.
  • the luminance characteristic acquirer 230 may include pixels 1655 positioned at the upper right of the Nth frame 1650, pixels 1665 positioned at the upper right of the N + 1th frame 1660, and N + 2.
  • the pixels 1675 positioned at the upper right of the frame 1670 may be selected.
  • the center pixel of the maximum luminance region of the third scene 1630 may be the pixel 1680 corresponding to the center of the sun existing in the N + 1th frame.
  • the luminance characteristic acquisition unit 230 sets an area 1695 in which the width and the length correspond to n pixel lengths, and moves the center point of the area within the selected pixels, and the luminance of the pixels included in the area 1695. The position where the sum of the values is maximum can be determined.
  • 17 is a flowchart illustrating a method of obtaining a maximum luminance region of a current scene.
  • the luminance characteristic acquisition unit 230 may acquire the area of the maximum luminance region based on the position of the center pixel and the luminance value of the center pixel.
  • the luminance characteristic acquisition unit 230 is a number of first pixels among pixels of a frame including the center pixel, located within a threshold distance from the center pixel and having a luminance value within a threshold range from the luminance value of the center pixel. Can be obtained.
  • the number of first pixels may be an area of the maximum luminance region.
  • the luminance characteristic acquisition unit 230 may initialize factors for obtaining the maximum luminance region. For example, the luminance characteristic acquisition unit 230 may initialize p, which is the number of the current pixel in the frame including the center pixel, to 0, and initialize the area of the maximum luminance region to zero.
  • the luminance characteristic acquirer 230 may determine whether an absolute value of a difference between the luminance value of the p-th pixel and the luminance value of the center pixel is within a threshold range. In addition, the luminance characteristic acquisition unit 230 may determine whether the distance between the p-th pixel and the center pixel is within a threshold distance.
  • the luminance characteristic acquisition unit may include the p-th pixel as the maximum luminance region. Therefore, the luminance characteristic acquisition unit 230 may increase the area of the maximum luminance region by 1 in step 1730.
  • the p-th pixel may be excluded from the maximum luminance region.
  • the luminance characteristic acquisition unit 230 may maintain the area of the maximum luminance region at an existing value.
  • the luminance characteristic acquirer 230 may determine whether the p th pixel, which is the current pixel, is the last pixel in the frame including the center pixel. If the p-th pixel that is the current pixel is not the last pixel, the luminance characteristic acquisition unit 230 may repeat steps 1720 to 1730 based on the next pixel. For example, in operation 1750, the luminance characteristic acquisition unit 230 may increase p by one.
  • the luminance characteristic acquirer 230 may select first pixels included in the maximum luminance region among the pixels in the frame including the center pixel.
  • the number of the selected first pixels may be the area of the maximum luminance region.
  • FIG. 18 illustrates a region 1590 and a maximum luminance region 1800 of a predetermined size and a predetermined shape for selecting the center pixel described above with reference to FIG. 15.
  • the luminance characteristic acquisition unit 230 may determine the center pixel 1580 of the maximum luminance region among the pixels of the current scene.
  • the luminance characteristic acquisition unit 230 has a luminance value that differs from the luminance value of the central pixel below the threshold range among the pixels in the N + 1th frame 1560 including the central pixel of FIG. 15, First pixels located within a threshold distance from the center pixel may be determined.
  • the number of first pixels may be an area of the maximum luminance region 1800.
  • the region 1590 and the maximum luminance region 1800 for selecting the center pixel may be independent of each other.
  • the maximum luminance region 1800 may or may not include the region 1590 for selecting a center pixel.
  • the size and shape of the region 1590 for selecting the center pixel may be set based on the size of the frame, the position of the foreground and the background.
  • the shape and area of the maximum luminance region 1800 may be set based on the luminance value of the center pixel and the position of the center pixel.
  • 19 is a flowchart illustrating a method of performing tone mapping based on luminance characteristics of an image.
  • the tone mapping unit 240 may generate a luminance value of the current scene based on at least one of a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene and a maximum display luminance value of the target display according to the luminance characteristic of the current scene. Tone mapping can be performed on.
  • the tone mapping unit 240 may obtain a tone mapped luminance value of the pixel by performing tone mapping on the original luminance value of the pixel included in the frame of the current scene.
  • the tone mapping unit 240 may display the current scene using the tone mapped luminance value.
  • the image processing apparatus 100 may not include the display unit 830, and the image processing method 900 may proceed to step 1910. Can be omitted.
  • FIG. 20 illustrates an example of an operation of performing tone mapping based on luminance characteristics of an image.
  • FIG. 20 illustrates an operation in which the tone mapping unit 240 performs tone mapping based on the first metadata.
  • the actual maximum display luminance value SCENE_PEAK of the mastering display according to the ideal maximum display luminance value of the target display and the luminance characteristic of the current scene of the image is 500 nit. May be the same.
  • the ideal maximum display luminance value MAX_CLL of the mastering display may be 1000 nit.
  • the graph of FIG. 20 is a linear linear connection between a point 2020 and an origin 2010 consisting of 1000 ns ideal maximum display luminance value (MAX_CLL) of the mastering display and 500 nits of the ideal maximum display luminance value of the target display. Tone mapping function 2000 is included.
  • the graph of FIG. 20 connects a point 2040 and an origin 2010 composed of an actual maximum display luminance value of 500 nits of a mastering display and an ideal maximum display luminance value of 500 nits of a target display according to luminance characteristics of a current scene of an image.
  • Linear linear tonemapping function 2030 composed of an actual maximum display luminance value of 500 nits of a mastering display and an ideal maximum display luminance value of 500 nits of a target display according to luminance characteristics of a current scene of an image.
  • the x-axis of the graph of FIG. 20 may correspond to the luminance value of the original image input to the image processing apparatus 100, and the y-axis of the graph may correspond to the luminance value of the tone-mapped image output from the image processing apparatus 100. .
  • the tone-mapped luminance value of 250 nit may be obtained by the 2000 tone mapping function, and the bypassed luminance of 500 nit by the 2030 tone mapping function. The value can be obtained.
  • the 2000 tone mapping function that considers the luminance characteristics of the image may preserve the intention of the image producer reflected in the original image better than the 2030 tone mapping function that does not consider the luminance characteristics of the image.
  • the tone mapping unit 240 performs tone mapping on the input image using the 2030 tone mapping function, the image displayed on the target display of the target system may be the same as the original.
  • the ideal maximum display luminance value MAX_CLL of the mastering display is twice the ideal maximum display luminance value of the target display, the luminance value of the original image may be halved by the 2000 tone mapping function. . Therefore, when the tone mapping unit 240 performs tone mapping on the input image using the 2000 tone mapping function, the image displayed on the target display of the target system may become dark due to unnecessary tone mapping.
  • FIG. 21 is a flowchart of another method of performing tone mapping based on luminance characteristics of an image.
  • FIG. 21 is a flowchart of a method in which the image processing apparatus 100 performs tone mapping on a luminance value of a current scene of an image based on first metadata.
  • the luminance characteristic acquirer 230 may acquire a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on the first metadata.
  • the first metadata received by the receiver 110 may include an actual maximum display luminance value of the mastering display according to the luminance characteristic of the image.
  • the luminance characteristic acquisition unit 230 may acquire the luminance characteristic of the current scene of the input image, and may obtain an actual maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on the first metadata.
  • the tone mapping unit 240 may perform tone mapping on the current scene based on the actual maximum display luminance value of the mastering display according to the luminance characteristics of the current scene.
  • the tone mapping unit 240 may obtain a tone mapped luminance value of the pixel by performing tone mapping on the original luminance value of the pixel included in the frame of the current scene. Tone mapping based on the actual maximum display luminance value of the mastering display will be described in more detail with reference to FIGS. 21 to 24.
  • FIG. 22 illustrates another example of an operation of performing tone mapping based on luminance characteristics of an image. Specifically, FIG. 22 illustrates an operation of narrowing the dynamic range of an image.
  • the graph 2200 of FIG. 22 illustrates a tone mapped luminance value according to a code value of an original luminance value.
  • the x-axis of the graph 2200 may correspond to a value obtained by normalizing the luminance value of the original image to a code value between 0 and 1.
  • the ideal maximum luminance value of the mastering display device or the actual maximum luminance value according to the brightness characteristic of the image may correspond to 1
  • the minimum luminance value of the mastering display device may correspond to 0.
  • the y-axis of the graph 2200 may correspond to the tone mapped luminance value of the corrected image.
  • an ideal maximum display luminance value of the target display may be 500 nit.
  • the actual maximum display luminance value of the mastering display may be 600 nit, and the ideal maximum display luminance value of the mastering display may be 1000 nit according to the luminance characteristic of the current scene of the image. Since the maximum display luminance value of the mastering display is larger than the maximum display luminance value of the target display, the tone mapping of FIG. 22 may narrow the dynamic range of the image.
  • the graph 2200 of FIG. 22 includes a tone mapping function 2220 based on an ideal maximum display luminance value of 1000 nits of a mastering display and an ideal maximum display luminance value of 500 nits of a target display.
  • the 2220 tone mapping function may pass (code value 1, an ideal maximum display luminance of 500 targets of the target display).
  • the 2220 tonemapping function may also include a straight line 2240 connecting the origin with (Code Value 1, the ideal maximum display luminance value of the mastering display of 1,000 nit). For code values below the threshold TM2, the 2220 tonemapping function may correspond to 2240 straight lines.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • the graph 2200 of FIG. 22 illustrates a tone mapping function 2210 based on the actual maximum display luminance value 600 nit of the mastering display and the ideal maximum display luminance value 500 nit of the target display according to the luminance characteristic of the current scene of the image.
  • the 2210 tone mapping function can pass (code value 1, the ideal maximum display luminance of 500 targets of the target display).
  • the 2210 tone mapping function may also include a straight line 2230 connecting the origin with (Code Value 1, the actual maximum display luminance value of the mastering display according to the luminance characteristics of the current scene).
  • code values below threshold TM1 the 2210 tonemapping function may correspond to 2230 straight lines and the original luminance value may be bypassed.
  • code values above threshold TM1 the original luminance value may be tonemapped.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • the straight line 2230 connecting the origin with (code value 1, the actual display luminance value of the mastering display according to the luminance characteristics of the current scene) on the graph 2200 may correspond to the original luminance characteristics of the image created by the image creator and the colorist. have.
  • the 2210 tone mapping function that considers the luminance characteristics of the image may preserve the intention of the image maker reflected in the original image better than the 2220 tone mapping function that does not consider the luminance characteristics of the image.
  • the tone mapped luminance value obtained by the 2220 tone mapping function may exceed the original luminance value. Therefore, according to the 2220 tone mapping function, some luminance values of the original image may be brightened and some other luminance values of the original image may be darkened. For example, based on code value 0.7, which is a point where the 2220 tone mapping function and the 2230 straight line meet, the result of the 2220 tone mapping function may vary.
  • the 2220 tone mapping function may obtain a tone mapped luminance value that is brighter than the luminance value of the original image with respect to the luminance value of the original image corresponding to the code value 0 to the code value 0.7.
  • the graph 2200 includes a tone-mapped luminance value that is unnecessarily brightened by delta ( ⁇ ) than the original luminance value by the 2220 tone mapping function.
  • the 2220 tone mapping function may obtain a tone mapped luminance value that is darker than the luminance value of the original image, for the luminance value of the original image corresponding to the code value 0.7 to the code value 1. Therefore, when using the 2220 tone mapping function that does not consider the luminance characteristics of the image, a part of the image is brighter than the original image and the other part is darker than the original image, so that the intention of the original image may be distorted. have.
  • the 2210 tone mapping function taking into account the luminance characteristics of the image is based on 2230 straight lines corresponding to the original image
  • the tone mapped luminance values obtained by the 2210 tone mapping function may be collectively darkened compared to the original luminance values. have.
  • the luminance value of the original image may be unnecessarily increased in consideration of the luminance characteristic of the image. Therefore, by using the 2210 tone mapping function considering the luminance characteristic of the image, it is possible to efficiently preserve the intention of the original image.
  • FIG. 23 illustrates another example of an operation of performing tone mapping based on a luminance characteristic of an image. Specifically, FIG. 23 illustrates an operation of widening the dynamic range of an image.
  • an ideal maximum display luminance value of the target display may be 2000 nit.
  • the actual maximum display luminance value of the mastering display may be 600 nit, and the ideal maximum display luminance value of the mastering display may be 1000 nit according to the luminance characteristic of the current scene of the image. Since the maximum display luminance value of the mastering display is smaller than the maximum display luminance value of the target display, the tone mapping of FIG. 23 may widen the dynamic range of the image. Tone mapping that broadens the dynamic range of an image is also referred to as inverse tone mapping.
  • the graph 2300 of FIG. 23 includes a tone mapping function 2320 based on an ideal maximum display luminance value of 1000 nits of a mastering display and an ideal maximum display luminance value of 2000 nits of a target display.
  • the 2220 tone mapping function may pass (code value 1, an ideal maximum display luminance value of 2000 targets of the target display).
  • the 2320 tonemapping function may also include a straight line 2340 connecting the origin with (Code Value 1, the ideal maximum display luminance value of the mastering display of 1,000 nit). For code values below the threshold TM1, the 2320 tonemapping function may correspond to a 2340 straight line.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • the graph 2300 of FIG. 23 illustrates a tone mapping function 2310 based on the actual maximum display luminance value 600 nit of the mastering display and the ideal maximum display luminance value 2000 nit of the target display according to the luminance characteristic of the current scene of the image.
  • the 2310 tone mapping function may pass (code value 1, an ideal maximum display luminance value of 2000 targets of the target display).
  • the 2310 tone mapping function may also include a straight line 2330 connecting the origin with (Code Value 1, the actual maximum display luminance value of the mastering display according to the luminance characteristics of the current scene).
  • code values below threshold TM2 the 2310 tonemapping function may correspond to a 2330 straight line and the original luminance value may be bypassed.
  • code values above threshold TM1 the original luminance value may be tonemapped.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • a straight line 2330 connecting the origin with (code value 1, the actual display luminance value of the mastering display according to the luminance characteristics of the current scene 600 nit) may correspond to the original luminance characteristics of the image created by the image creator and the colorist. have.
  • the 2310 tone mapping function considering the luminance characteristic of the image can preserve the intention of the image maker reflected in the original image better than the 2320 tone mapping function that does not consider the luminance characteristic of the image.
  • the tone mapped luminance value obtained by the 2320 tone mapping function may be excessively tone mapped compared to the original luminance value.
  • the graph 2300 includes a tone-mapped luminance value that is excessively brighter by delta ( ⁇ ) than the original luminance value by the 2320 tone mapping function. Therefore, when using the 2320 tone mapping function that does not take into account the luminance characteristics of the image, the image may be excessively bright and the intention of the original image may be distorted.
  • the tone mapped luminance value obtained by the 2310 tone mapping function can maintain the original luminance value as much as possible.
  • tone mapping to widen the dynamic range of the original image
  • the case of excessively increasing the luminance value of the original image can be eliminated by considering the luminance characteristic of the image. Therefore, by using the 2310 tone mapping function considering the luminance characteristics of the image, it is possible to efficiently preserve the intention of the original image.
  • the image processing apparatus 100 may correct the tone mapping function ft generated based on the characteristics of the mastering display and the target display. For example, when the dynamic range of a display device used by a consumer (hereinafter referred to as a 'consumer display') is different from the dynamic range of the target display, the image processing apparatus 100 may perform a function fs and tone mapping corresponding to the original image.
  • the tone mapping function ft used in the unit 240 may be used to generate a new tone mapping function fc applicable to the consumer display.
  • the consumer display may display an image which is tonemapped by ft.
  • the consumer display may generate a new tone mapping function fc based on fs and ft to display an image closer to the original image.
  • the consumer display applies new weight mapping by applying a first weight to fs corresponding to the original image and applying a second weight to the tone mapping function ft used in the image processing apparatus 100, as shown in Equation 2. You can create a function fc.
  • FIG. 25 is a flowchart of another method of performing tone mapping based on luminance characteristics of an image.
  • FIG. 25 is a flowchart of a method in which the image processing apparatus 100 performs tone mapping on a luminance value of a current scene of an image based on first metadata and second metadata.
  • the luminance characteristic acquirer 230 may acquire a maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on the first metadata.
  • the first metadata received by the receiver 110 may include an actual maximum display luminance value of the mastering display according to the luminance characteristic of the image.
  • the luminance characteristic acquisition unit 230 may acquire the luminance characteristic of the current scene of the input image, and may obtain an actual maximum display luminance value of the mastering display according to the luminance characteristic of the current scene based on the first metadata.
  • the luminance characteristic acquisition unit 230 may acquire the maximum display luminance value of the target display according to the luminance characteristic of the current scene based on the second metadata.
  • the second metadata received by the receiver 110 may include an actual maximum display luminance value of the target display according to the luminance characteristic of the image.
  • the luminance characteristic acquisition unit 230 may acquire the luminance characteristic of the current scene of the input image, and obtain the actual maximum display luminance value of the target display according to the luminance characteristic of the current scene based on the second metadata.
  • the tone mapping unit 240 may perform tone mapping on the current scene based on the actual maximum display luminance value of the mastering display and the actual maximum display luminance value of the target display according to the luminance characteristics of the current scene. .
  • the tone mapping unit 240 may obtain a tone mapped luminance value of the pixel by performing tone mapping on the original luminance value of the pixel included in the frame of the current scene. Tone mapping based on the actual maximum display luminance value of the mastering display and the actual maximum display luminance value of the target display will be described in more detail with reference to FIG. 26 below.
  • FIG. 26 illustrates another example of an operation of performing tone mapping based on luminance characteristics of an image. Specifically, FIG. 26 illustrates an operation of narrowing the dynamic range of an image.
  • the graph 2200 of FIG. 26 illustrates a tone mapped luminance value according to a code value of an original luminance value.
  • the x-axis of the graph 2600 may correspond to a value obtained by normalizing the luminance value of the original image to a code value between 0 and 1.
  • the ideal maximum luminance value of the mastering display device or the actual maximum luminance value according to the brightness characteristic of the image may correspond to 1
  • the minimum luminance value of the mastering display device may correspond to 0.
  • the y-axis of the graph 2600 may correspond to the tone-mapped luminance value of the corrected image.
  • the actual maximum display luminance value of the target display according to the luminance characteristic of the current scene of the image may be 400 nit, and the ideal maximum display luminance value (Target Display Peak) of the target display may be It can be 500 nit.
  • the actual maximum display luminance value of the mastering display may be 600 nit, and the ideal maximum display luminance value of the mastering display may be 1000 nit according to the luminance characteristic of the current scene of the image. Since the maximum display luminance value of the mastering display is larger than the maximum display luminance value of the target display, the tone mapping of FIG. 26 may narrow the dynamic range of the image.
  • the graph 2600 of FIG. 26 includes a tone mapping function 2620 based on an ideal maximum display luminance value of 1000 nits of a mastering display and an ideal maximum display luminance value of 500 nits of a target display.
  • the 2620 tone mapping function may pass (code value 1, an ideal maximum display luminance value of 500 targets of the target display).
  • the 2620 tonemapping function may also include a straight line 2640 connecting the origin with (Code Value 1, the ideal maximum display luminance value of the mastering display of 1,000 nit). For code values below the threshold TM2, the 2620 tonemapping function may correspond to a 2640 straight line.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • the graph 2600 of FIG. 26 is based on the actual maximum display luminance value 600 nit of the mastering display according to the luminance characteristic of the current scene of the image and the actual maximum display luminance value 400 nit of the target display according to the luminance characteristic of the current scene of the image.
  • Tone mapping function 2610 is included.
  • the 2610 tone mapping function may pass (code value 1, the actual maximum display luminance value 400 nit of the target display according to the luminance characteristic of the current scene).
  • the 2610 tonemapping function may also include a straight line 2630 connecting the origin with (code value 1, the actual maximum display luminance value of 6000 n of the mastering display according to the luminance characteristics of the current scene).
  • the 2610 tonemapping function may correspond to a 2630 straight line and the original luminance value may be bypassed. Also, for code values above threshold TM1, the original luminance value may be tonemapped.
  • the threshold will be described in detail with reference to FIGS. 31 to 33.
  • a straight line 2630 connecting the origin with (code value 1, the actual display luminance value of the mastering display according to the luminance characteristics of the current scene) on the graph 2600 may correspond to the original luminance characteristics of the image created by the image creator and the colorist. have.
  • the 2610 tone mapping function considering the luminance characteristic of the image may preserve the intention of the image maker reflected in the original image better than the 2620 tone mapping function not considering the luminance characteristic of the image.
  • the tone mapped luminance value obtained by the 2620 tone mapping function may exceed the original luminance value. Therefore, according to the 2620 tone mapping function, some luminance values of the original image may be brightened and some other luminance values of the original image may be darkened. For example, based on code value 0.7, which is a point where a 2620 tone mapping function and a 2630 straight line meet, a result of the 2620 tone mapping function may vary.
  • the 2620 tone mapping function may obtain a tone mapped luminance value that is brighter than the luminance value of the original image with respect to the luminance value of the original image corresponding to the code value 0 to the code value 0.7.
  • the graph 2600 includes a tone-mapped luminance value that is unnecessarily brightened by delta ( ⁇ ) than the original luminance value by the 2620 tone mapping function.
  • the 2620 tone mapping function may obtain a tone mapped luminance value that is darker than the luminance value of the original image, for the luminance value of the original image corresponding to the code value 0.7 to the code value 1. Therefore, using a 2620 tone mapping function that does not take into account the luminance characteristics of the image, part of the image is brighter than the original image, and the other part is darker than the original image, the intention of the original image may be distorted have.
  • the tone mapped luminance values obtained by the 2610 tone mapping function may be darkened collectively compared to the original luminance values. have.
  • the luminance value of the original image may be unnecessarily increased in consideration of the luminance characteristic of the image. Therefore, by using the 2610 tone mapping function that considers the brightness characteristic of the image, it is possible to efficiently preserve the intention of the original image.
  • the 2610 tone mapping function may further consider the actual maximum display luminance value of the target display according to the luminance characteristic of the image, as compared to the 2210 tone mapping function.
  • the tone-mapped luminance value obtained by the 2210 tone mapping function may have a value greater than 400 nit, which is the ideal maximum display luminance value of the target display, and less than 500 nit, which is the actual maximum display luminance value of the target display. Due to a problem of power consumption according to the brightness characteristic of the image, the target display may not display the luminance value exceeding 400 nit. Therefore, the tone mapped luminance value of 400 nit or more may distort the intention of the original image.
  • the tone mapped luminance value obtained by the 2610 tone mapping function may not exceed 400 nit, which is the actual maximum display luminance value of the target display according to the luminance characteristic of the image. Therefore, in consideration of not only the actual maximum display luminance value of the mastering display according to the luminance characteristic of the image, but also the actual maximum display luminance value of the target display according to the luminance characteristic of the image, the intention of the original image can be preserved better.
  • FIG. 27 is a flowchart illustrating a method of correcting a saturation value of an image based on a tone-mapped luminance value.
  • the saturation value perceived by the human with respect to the tone-mapped image may be lower than the saturation value recognized by the human with respect to the original image.
  • the saturation value perceived by the human may be higher for the tonemapped image than the saturation value perceived by the human with respect to the original image. Therefore, when the image processing apparatus 100 and the image processing method 900 correct the chroma values of the tone-mapped image together, the intention of the original image may be preserved more efficiently.
  • the chroma correction unit 250 may correct the chroma value of the image based on the original luminance value and the tone-mapped luminance value of the image. Specifically, the chroma correction unit 250 is included in the frame of the current scene. The chroma value of the pixel may be corrected based on the original luminance value and the tone mapped luminance value of the pixel. For example, when the original luminance value is lower than the tone mapped luminance value of the pixel, the chroma compensator 250 may increase the saturation value of the pixel, and the original luminance value is higher than the tone mapped luminance value of the pixel. In this case, the saturation correction unit 250 may lower the saturation value of the pixel.
  • the corrected saturation value may be determined based on the ratio of the log scale of the original luminance value and the log scale of the tonemapped luminance value.
  • Human cognitive ability to color may be based on a logarithmic scale. Human perception of color may be relatively more sensitive to dark colors and less sensitive to light colors. Therefore, even if the difference between the luminance value of the original image and the luminance value of the tone-mapped image is constant, the lower the luminance value of the original image may increase the intensity of saturation correction, and the difference between the corrected saturation value and the original saturation value Can grow.
  • the intensity of the saturation correction may be log (1000/900).
  • the intensity of the saturation correction may be log (500/400).
  • FIG. 28 illustrates an operation of correcting a saturation value of an image based on a tone-mapped luminance value.
  • the 2810 graph shows the tonemapped luminance values according to the code value of the original luminance values.
  • the tone mapping unit 240 may perform tone mapping on the original luminance value according to the tone mapping function 2820 of the 2810 graph.
  • the 2840 graph shows the intensity of the saturation correction according to the code value of the original luminance value.
  • the saturation correction unit 250 may correct the original saturation value according to the saturation correction function 2850 of the 2840 graph. As the saturation gain is higher, the saturation correction strength of the saturation correction unit 250 may be stronger.
  • the saturation correction unit 250 may correct the saturation value of the pixel when the luminance value of the pixel exceeds the threshold value TMx and bypass the saturation value when the luminance value of the pixel is less than or equal to the threshold value TMx. As described above, the tone mapping unit 240 may bypass or tonemap the original luminance value based on the threshold value. When the tone mapping unit 240 bypasses the original luminance value of the pixel, since the human perceived saturation value may be maintained, the saturation correction unit 250 may bypass the saturation value of the pixel.
  • the tone mapping unit 240 may bypass the original luminance value corresponding to the code value of TMx or less according to the tone mapping function 2820, and the chroma correction unit 250 may deactivate the chroma.
  • the saturation value of a pixel having an original luminance value corresponding to a code value of TMx or less may be bypassed.
  • the saturation correction unit 250 may perform saturation correction on pixels having an original luminance value corresponding to a code value exceeding TMx.
  • FIG. 29 is a block diagram of an image processing apparatus that performs tone mapping and saturation correction according to luminance characteristics of an image by using unified dynamic metadata.
  • the integrated dynamic metadata may include dynamic metadata whose value varies according to the luminance characteristic of the original image 2910, and static metadata whose value is constant regardless of the luminance characteristic of the original image.
  • the integrated dynamic metadata may further include user input parameters.
  • the static metadata may include metadata according to the Society of Motion Picture and Television Engineers (SMPTE) ST2086 standard.
  • the static metadata may include 'MinLum of Source Mastering Monitor', the ideal minimum display luminance value of the mastering display, 'MaxLum of Source Mastering Monitor', the ideal maximum display luminance value of the mastering display, and the color space of the mastering display. It may include 'White Point', which is the x, y color coordinate of the white point for, and 'Primaries', which is the x, y color coordinate of the primary color for the color space of the mastering display.
  • the static metadata may include 'MinLum of Target System', which is an ideal minimum display luminance value of the target display, and 'MaxLum of Target System,' which is an ideal maximum display luminance value of the target display.
  • Table 1 shows an example of dynamic metadata and user input parameters.
  • Metadata Specification The metadata from the source / target system Dynamic peak luminance characteristics- SOURCE_PEAK_BEHAVIOR (of the source mastering monitor)-TARGET_PEAK_BEHAVIOR (of the target system)
  • the metadata from contents Scene-wise average of maximum of color component values ⁇ R, G, B ⁇ (SCENE_AVG)-Scene-wise area of the brightest pixels ( SCENE_PEAK_AREA)
  • SOURCE_PEAK_BEHAVIOR and TARGET_PEAK_BEHAVIOR may correspond to dynamic metadata that varies depending on the luminance characteristics of the original image 2910.
  • SOURCE_PEAK_BEHAVIOR may be metadata including the actual maximum display luminance value of the mastering display according to the luminance characteristic of the image, and may be received from a source system including the mastering display.
  • TARGET_PEAK_BEHAVIOR may be metadata including the actual maximum display luminance value of the target display according to the luminance characteristic of the image, and may be received from the target system 2900 including the target display.
  • SOURCE_PEAK_BEHAVIOR and TARGET_PEAK_BEHAVIOR may correspond to the first metadata and the second metadata described above with reference to FIGS. 3 to 7, respectively.
  • SCENE_MAX, SCENE_AVG, and SCEN_PEAK_AREA may be metadata corresponding to luminance characteristics of the original image 2910 obtained by the image processing apparatus 2900.
  • SCENE_MAX may correspond to a maximum value among RGB color components in the current scene of the original image 2910.
  • SCENE_AVG may correspond to an average luminance value of the current scene of the original image 2910 described with reference to FIGS. 10 to 12. Further, SCENE_AVG may be obtained based on the maximum value of the RGB color components of the pixel.
  • SCENE_PEAK_AREA may correspond to the area of the maximum luminance region in the current scene of the original image 2910 described with reference to FIGS. 13 to 18.
  • SCENE_DYNAMIC_FLAG, TONE_PRESERVING_LUM, and COLOR_SATURATION_WEIGT may correspond to input parameters of the image processing apparatus 2900 that can be set by the user.
  • SCENE_DYNAMIC_FLAG may correspond to a flag indicating whether to acquire the luminance characteristic of the current scene of the original image 2910 described with reference to FIG. 10.
  • TONE_PRESERVING_LUM may correspond to a luminance preservation value for the current scene of the original image 2910
  • COLOR_SATURATION_WEIGT may correspond to an input parameter for adjusting the intensity of saturation correction.
  • the image processing apparatus 2900 of FIG. 29 includes a decoder 2920, a shaper 2930, a converter 2940, a luminance characteristic acquisition unit 2950, a tone mapping unit 2960, a saturation correction unit 2970, an inverse converter ( 2945), an inverse shaper 2935, and an encoder 2925.
  • the image processing apparatus 2900 of FIG. 29 may be included in the controller 120 of the image processing apparatus 100 of FIG. 1.
  • the unit 2970 and the encoder 2925 may correspond to the decoder 210, the luminance characteristic acquisition unit 230, the tone mapping unit 240, the saturation correction unit 250, and the encoder 270 of FIG. 2.
  • the shaper 2930 and the converter 2940 of FIG. 29 may be included in the converter 220 of FIG. 2, and the inverse converter 2945 and the inverse shaper 2935 of FIG. 29 may include the inverse converter 260 of FIG. 2. Can be included. Therefore, description overlapping with FIG. 1 will be omitted.
  • the decoder 2920 may decode the original image 2910 and acquire the decoded original image 2910. Also, when the decoded original image 2910 has the YCbCr format, the decoder 2920 may convert the decoded original image 2910 of the YCbCr format into an RGB format.
  • the shaper 2930 may perform linearization on the original image 2910, if necessary.
  • the shaper 2930 may perform linearization according to the Society of Motion Picture and Television Engineers (SMPTE) ST2084 on the original image 2910.
  • the SMPTE ST2084 may perform the high dynamic range EOTF of the mastering display.
  • the shaper 2930 may gamma decode or inverse gamma correct the original image 2910 or the gamma corrected original image 2910 by non-gamma encoding.
  • the linearized original image 2910 may be obtained by performing the following operations.
  • the converter 2940 may convert the original color space of the original image 2910 into a working color space in which tone mapping is performed.
  • the converter 2940 may store the x, y color coordinates 'Primaires' of the primary color of the original image 2910 and the x, y color coordinates of the white point, 'White Point', corresponding to the working color space. You can convert the x, y color coordinates of the hair color and the x, y color coordinates of the white point. If the original color space of the original image 2910 coincides with the working color space, the converter 2940 may be omitted.
  • the operations of the luminance characteristic acquisition unit 2950, the tone mapping unit 2960, and the saturation correction unit 2970 can be summarized in Table 2.
  • the luminance characteristic acquisition unit 2950 is a linearized original image [R_linear; G_linear; B_linear] is input and normalized original image [R_norm; G_norm; B_norm] can be output.
  • the maximum luminance value may correspond to 10,000 nit. Therefore, when the shaper 2930 performs linearization according to the ST2084 standard, in order to normalize the linearized original image based on 10,000 nits, the linearized original image may be multiplied by a normalization factor of 10,000 / ScenePeak.
  • the normalization factor may be set based on the parameter SCENE_DYNAMIC_FLAG that can be set by the user.
  • SCENE_DYNAMIC_FLAG instructs to acquire the luminance characteristic of the original image 2910
  • the normalized actual maximum display luminance value TargetPeak of the target display may be set to a larger value. That is, when SCENE_DYNAMIC_FLAG instructs to acquire the luminance characteristic of the original image 2910, the normalization factor may be set based on dynamic metadata.
  • ScenePeak may be set to the MaxLum of Source Mastering Monitor corresponding to the static metadata. That is, if SCENE_DYNAMIC_FLAG indicates not to acquire the luminance characteristic of the original image 2910, the normalization factor may be set based on the static metadata.
  • the maximum luminance value SCENE_MAX of the scene may be set to the maximum value among the RGB color components of all the pixels in the scene, or the maximum luminance value SCENE_MAX of the scene is the maximum among the RGB color components of all pixels defined by the pixel selector. It can be set to a value.
  • the pixel selector may select some of the pixels included in the current scene based on the size of the frame, the position of the foreground and the background, and the like.
  • the average luminance value SCENE_AVG of the scene may be set to an average value of the maximum luminance values of all the pixels in the scene.
  • the maximum luminance value of the pixel may mean the maximum value among the RGB color components of one pixel, as described above with reference to FIG. 11.
  • the area SCEN_PEAK_AREA of the maximum luminance region may be set by a function f ( ⁇ y) for the luminance value and a function g ( ⁇ d) for the distance.
  • f ( ⁇ y) may determine whether the candidate pixel x may be included in the maximum luminance region based on the luminance value of the candidate pixel x.
  • f ( ⁇ y) is an input of an absolute value of the difference value between Y_linear (x, k ') and scene_region_max.
  • Y_linear (x, k ') means a luminance value of the candidate pixel x in the frame k' including the center pixel p 'of the maximum luminance region.
  • the luminance value Y_linear (x, k ') of the candidate pixel x may be obtained using the RGB color component of the candidate pixel x.
  • the scene_region_max means an average luminance value ((region_avg (p ', k')) of pixels included in an MxN size region having the center pixel p 'of the maximum luminance region as a center. As shown in Table 4, the average luminance value ((region_avg (p, k))) of the pixels included in the MxN region is determined by determining that the center of the MxN region is the p 'pixel in the k' frame. The center may be larger than when any other pixel in the scene is.
  • the p 'pixel in the k' frame may be the center pixel of the maximum luminance region.
  • scene_region_max is referred to as a reference luminance value of the maximum luminance region.
  • g ( ⁇ d) may determine whether the candidate pixel x may be included in the maximum luminance region based on the position of the candidate pixel x.
  • the difference between the luminance value Y_linear (x, k ') of the candidate pixel and the reference luminance value scene_region_max of the maximum luminance region is y1 or less, and the distance between the center pixel p' of the maximum luminance region and the candidate pixel x is d1.
  • the candidate pixel x has the maximum luminance. May be excluded from the area. That is, the area SCEN_PEAK_AREA of the maximum luminance region is not increased by the candidate pixel x.
  • the difference between the luminance value Y_linear (x, k ') of the candidate pixel and the reference luminance value scene_region_max of the maximum luminance region is larger than y1 and smaller than y2, 0? F ( ⁇ y) ⁇ 1, and the area of the maximum luminance region ( SCENE_PEAK_AREA) may increase by a size less than one. Further, when the distance between the center pixel p 'of the maximum luminance region and the candidate pixel x is larger than d1 and smaller than d2, 0 ⁇ g ( ⁇ d) ⁇ 1, resulting in the area of the maximum luminance region SCENE_PEAK_AREA. ) May increase by a size less than one.
  • f ( ⁇ y) and g ( ⁇ d) may be specific examples of operation 1720 described above.
  • operation 1720 the luminance value of the center pixel is used, whereas in f ( ⁇ y), the reference luminance value scene_region_max of the maximum luminance region is used.
  • the reference luminance value scene_region_max of the maximum luminance region may correspond to the average luminance value of the pixels included in the above-described 1590 region.
  • the area SCEN_PEAK_AREA of the maximum luminance area may correspond to the area of the above-described 1800 area.
  • the luminance characteristic acquisition unit 2950 obtains the actual maximum display luminance value of the master display and the actual maximum display luminance value of the target display according to the luminance characteristics of the original image 2910 based on the dynamic metadata SOURCE_PEAK_BEHAVIOR and TARGET_PEAK_BEHAVIOR.
  • the operation can be summarized in Table 4. 30 shows the calculation process in Table 4 in chronological order.
  • SourcePeak is set to the normalized actual maximum display luminance value SourcePeak 'of the mastering display according to the luminance characteristic of the original image 2910, and TargetPeak is the target display. Can be set to the normalized actual maximum display luminance value TargetPeak '. That is, when SCENE_DYNAMIC_FLAG instructs to obtain the luminance characteristic of the original image 2910, the parameters SourcePeak and TargetPeak of tone mapping and saturation correction may be set based on dynamic metadata.
  • SOURCE_PEAK_BEHAVIOR (scene_avg_norm, SCENE_PEAK_AREA) may be the actual maximum display luminance value of the mastering display according to the scene normalized value (scene_avg_norm) and the maximum luminance area (SCENE_PEAK_AREA) of the scene's average luminance value (SCENE_AVG) based on 10000 nit.
  • SourcePeak ' may correspond to a value obtained by normalizing the actual maximum display luminance value of the mastering display based on 10000 nit.
  • TARGET_PEAK_BEHAVIOR (scene_avg_norm, SCENE_PEAK_AREA) may be the actual maximum display luminance value of the target display according to the scene normalized value (scene_avg_norm) and the maximum luminance area (SCENE_PEAK_AREA) of the scene's average luminance value (SCENE_AVG) based on 10000 nit.
  • TargetPeak ' may correspond to a value obtained by normalizing the actual maximum display luminance value of the target display based on 10000 nit.
  • SourcePeak is set to MaxLum of Source Mastering Monitor corresponding to static metadata
  • TargetPeak is MaxLum of Target Monitor corresponding to static metadata. It can be set to. That is, if SCENE_DYNAMIC_FLAG indicates not to acquire the luminance characteristic of the original image 2910, the parameters SourcePeak and TargetPeak of tone mapping and saturation correction may be set based on static metadata.
  • the tone mapping unit 2960 is a normalized original image [R_norm; G_norm; B_norm] [R_stm; which is a tone mapped image by applying tone mapping weight w; G_stm; B_stm] can be printed.
  • An output value of the tone mapping function f_STM having a maximum value among the normalized original images (R_norm, G_norm, and B_norm) as an input may be the tone mapping weight w.
  • the gain of the tone mapping function f_STM is lower as the input value is higher, the maximum value of the RGB color components of the normalized original image can be used to prevent saturation due to excessive tone mapping. .
  • FIG. 31 shows the calculation process of Table 5 in chronological order.
  • the tone mapping unit 2960 may set a threshold value according to the luminance characteristic of the original image 2910.
  • the threshold value TMx may be a value between 0 and 1 divided by the average luminance value SCENE_AVG of the scene divided by the maximum luminance value SCENE_MAX of the scene.
  • the tone mapping unit 2960 may determine whether the original luminance value is smaller than the threshold value. If the original luminance value is smaller than the threshold value, in operation 3130, the tone mapping unit 2960 may perform tone mapping according to the first scheme. In addition, when the original luminance value is larger than the threshold value, in operation 3140, the tone mapping unit 2960 may perform tone mapping according to the second scheme.
  • the tone mapping according to the first scheme may be a linear function TMy / (TargetPeak * TMx) * x
  • the tone mapping according to the second scheme may be a nonlinear function fn (x).
  • the tone mapping according to the first scheme corresponds to a linear linear function connecting the origin and (TMx, TMy / TargetPeak)
  • the tone mapping according to the second scheme corresponds to (TMx, TMy / TargetPeak) and (1, 0, TargetPeak) can be an nth order polynomial connecting.
  • 32 shows an example of the tone mapping function f_STM 3210.
  • the y axis of the tone mapping function f_STM 3210 is enlarged by TargetPeak times.
  • TMy may correspond to the output value of the luminance preservation function f_plinear having the threshold value TMx as an input.
  • 32 shows an example of the luminance preservation function f_plinear 3220.
  • the luminance preserving value Thx may mean a threshold value at which the luminance value of the original image 2910 is not increased by tone mapping.
  • [R_norm; which is an input of the tone mapping unit 2960; G_norm; B_norm] when the maximum value is smaller than the luminance preservation value Thx,
  • [R_stm; which is an output of the tone mapping unit 2960; G_stm; B_stm] is [R_norm; G_norm; B_norm] may be equal to or less than.
  • the tone mapping function f_STM 3310a of the first method for the input below the threshold value TMx is a linear linear function that bypasses the original luminance value.
  • the tone mapping unit 2960 may preserve the non-bright area of the high dynamic range image as it is.
  • the tone mapping function f_STM 3310b of the first method for an input below the threshold value TMx is tones the original luminance value to a smaller value. It can be a linear linear function that maps.
  • the tone mapping unit 2960 may preserve detail of bright areas of the high dynamic range image. The image maker or the colorist may adjust the luminance preservation value Thx to preserve the dark region luminance characteristic of the original image or to preserve the luminance characteristic of the bright region.
  • saturation correction unit 2970 is a tone-mapped image [R_stm; G_stm; B_stm] as input and chroma corrected image [R_scsm; G_scsm; B_scsm] can be output.
  • chroma correction 2970 can be summarized in Table 6.
  • the saturation correction unit 2970 converts RGB color components of a tone-mapped image into YUV components, performing saturation correction on the YUV components, and converts the saturation corrected YUV components to RGB again. Converting to color components.
  • Saturation correction unit 2970 is [R_stm; G_stm; B_stm] is linearized by performing EOTF Rec.1886 gamma inverse correction to [R_stm '; G_stm '; B_stm '] and [R_stm' using the transformation matrix (M_RGB2YUV); G_stm '; B_stm '] from the luminance component and chroma component of the tone-mapped image [Y_stm; U_stm; V_stm] can be obtained.
  • a conversion matrix (M_RGB2YUV) for converting RGB components to YUV components may be based on the SMPTE 240M standard.
  • Saturation correction unit 2970 is a YUV component of the tone-mapped image using the saturation correction weight (S_scsm) [Y_stm; U_stm; YUV component [Y_scsm; of the saturation corrected image from V_stm]; U_scsm; V_scsm] can be obtained.
  • the saturation correction weight S_scsm may be set to a smaller value among S_sm and S_scsm to prevent the saturation due to excessive saturation correction.
  • the operation of the chroma compensator 2970 obtaining S_sm and S_scsm can be summarized by Table 7.
  • the saturation correction unit 2970 may set S_sm as an output value of the saturation correction function f_SCSM having a maximum value (x_maxRGB) among the RGB color components of the tone-mapped image as an input.
  • the saturation correction function f_SCSM may be determined by the ratio and intensity parameter S between the log scale of the original luminance value and the log scale of the tonemapped luminance value.
  • the image producer and the colorist may adjust the magnitude of the saturation correction of the saturation correction function f_SCSM by setting the intensity parameter S.
  • the saturation correction unit 2970 may increase the saturation value of the pixel. I can pass it.
  • the saturation correction unit 2970 may perform saturation correction only on the region where tone mapping is performed in the original image 2910 by the tone mapping unit 2960. Therefore, when the threshold value TMx is smaller than the luminance preservation value Thx as described above with reference to FIG. 33, the tone mapping function f_STM 3310a of the first method for an input below the threshold value TMx is generated. Bypassing the luminance value, the chroma correction function f_SCSM for an input below the threshold value TMx may also bypass the original chroma value.
  • the saturation correction unit 2970 may set S_max to the maximum saturation correction weight that does not cause color distortion.
  • S_max may be set by any one of R_scsm ', G_scsm', and B_scsm 'in Table 7 has a negative value or becomes larger than 1, color distortion may occur.
  • the chroma correction unit 2970 may set a maximum k value S_max such that all of R_scsm ', G_scsm', and B_scsm 'in Table 7 have a value between 0 and 1.
  • the saturation correction unit 2970 performs the YUV component [Y_scsm; Y_scsm on the saturation-corrected image using the transform matrix M_YUV2RGB].
  • U_scsm; Linearized RGB component [R_scsm 'of the saturation corrected image from V_scsm]; G_scsm '; B_scsm '] can be obtained.
  • the conversion matrix M_YUV2RGB for converting the YUV component to the RGB component may be an inverse matrix of the conversion matrix M_RGB2YUV for converting the RGB component to the YUV component.
  • the saturation correction unit 2970 may perform linearization RGB component [R_scsm; G_scsm; B_scsm] is performed by performing EOTF Rec.1886 gamma correction on the RGB component [R_scsm; G_scsm; B_scsm] can be obtained.
  • the inverse converter 2945 may convert the color space of the corrected image 2980 into the original color space of the original image 2910.
  • the corrected image 2980 output from the chroma compensator 2970 may have a working color space in which tone mapping is performed.
  • the inverse converter 2945 may convert the color space of the corrected image 2980 from the working color space to the original color space of the original image 2910.
  • the inverse converter 2945 may use the x, y color coordinates of the primary color corresponding to the working color space and the x, y color coordinates of the white point to x, y of the primary color corresponding to the original color space. It can be converted to 'Primaires' in color coordinates and 'White Point' in x, y color coordinates of white points.
  • the inverse shaper 2935 may perform non-linearization on the corrected image 2980 when necessary.
  • the inverse shaper 2935 may perform non-linearization according to the Society of Motion Picture and Television Engineers (SMPTE) ST2084 on the corrected image 2980.
  • SMPTE ST2084 is a mastering display derived from EOTF.
  • a high dynamic range of inverse may be a standard for an electro-optical transfer function (EOTF)
  • the inverse shaper 2935 may perform non-linearization by performing gamma encoding on the corrected image 2980 linearized by gamma decoding.
  • the corrected image 2980 may be obtained.
  • the encoder 2925 may encode the corrected image 2980 to input the corrected image 2980 to the target system 2900.
  • the encoded corrected image 2980 obtained by the encoder 2925 may be input to the target system 2990.
  • the target system 2990 may display the corrected image 2980. Even though the dynamic range of the corrected image 2980 is different from the dynamic range of the original image 2910, the corrected image 2980 obtained by the image processing apparatus 2900 may reflect the intention of the image maker reflected in the original image 2910. Can be effectively maintained.
  • 34 is a block diagram of a metadata generating device.
  • the metadata generating device 3400 may generate dynamic metadata indicating an actual maximum display luminance value of the display 3410 according to the luminance characteristic of the image.
  • the luminance characteristic of the image may include the average luminance value of the image and the area of the white patch in the image.
  • the metadata generating device 3400 may include a display 3410, a sensor 3420, and a controller 3430.
  • the display 3410 displays an image including an area having a maximum grayscale value.
  • the area corresponds to the white patch described above and may be at least one pixel having a maximum luminance value or a maximum grayscale value.
  • the region in the image of 8 bit depth may correspond to M ⁇ N pixels having a 255 grayscale value.
  • the sensor 3420 measures a luminance value of the area displayed on the display unit 3410.
  • the luminance value of the display unit 3410 measured by the sensor 3420 may correspond to an actual maximum display luminance value of the display unit 3410 that can be measured on the area when the display unit 3410 displays the image.
  • the actual maximum display luminance value of the display unit 3410 may be lower than the ideal maximum display luminance value of the display unit 3410.
  • the controller 3430 generates metadata indicating the measured luminance value according to the pixel area of the area and the average luminance value of the image.
  • the pixel area of the area corresponds to the area of the white patch described above, and may be the number of pixels included in the area.
  • the average luminance value of the image may mean an average of luminance values of all pixels included in the image.
  • the controller 3430 may generate metadata by changing a luminance characteristic of the image. For example, as shown in the 310, 320, 330, and 340 images described above with reference to FIG. 3, the controller 3430 may change an average luminance value of the image, or as shown in the 410, 420, 430, and 440 images described above with reference to FIG. 4. You can change the area of the white patch. Alternatively, the controller 3430 may change the average luminance value of the image and the area of the white patch together. In addition, the controller 3430 may add the actual maximum display luminance value of the display unit 3410 measured by the sensor 3420 according to the changed luminance characteristic of the image to the metadata.
  • Metadata may be used as first metadata of the image processing device 2900.
  • metadata may be used as second metadata of the image processing apparatus 2900.
  • 35 is a flowchart of a metadata generating method.
  • the display unit 3410 of the metadata generating device 3400 may display an image including an area having a maximum grayscale value.
  • the sensor 3420 of the metadata generating device 3400 may measure a luminance value of an area having the maximum grayscale value in the image displayed by the display 3410.
  • the metadata generating apparatus 3400 may display metadata indicating the luminance value measured in operation 3520 according to the pixel area of the region having the maximum grayscale value and the average luminance value of the image displayed on the display 3410. Can be generated. Operation 3530 may be performed by the controller 3430.
  • the tone mapped image can more effectively maintain the intention of the original image than when the tone mapping is performed without considering the luminance characteristics of the image.
  • the above-described embodiments can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer-readable medium.
  • the structure of the data used in the above-described embodiment can be recorded on the computer-readable medium through various means.
  • the above-described embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by the computer.
  • methods implemented with a software module or algorithm may be stored on a computer readable recording medium as code or program instructions that the computer can read and execute.
  • Computer readable media can be any recording media that can be accessed by a computer, and can include volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include, but are not limited to, magnetic storage media such as ROM, floppy disks, hard disks, and the like, and optical storage media such as CD-ROMs, DVDs, etc. Do not.
  • the computer readable medium may include computer storage media and communication media.
  • a plurality of computer-readable recording media may be distributed in networked computer systems, and data stored in the distributed recording media, for example, program instructions and code, may be executed by at least one computer. have.
  • ... unit refers to a unit for processing at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software.
  • the "unit” and “module” may be implemented by a program stored in a storage medium that can be addressed and executed by a processor.
  • module means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and pro- grams. It can be implemented by procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • A may include one of a1, a2 and a3” has a broad meaning that an exemplary element that may be included in an element A is a1, a2 or a3.
  • A may include a1, include a2, or include a3.
  • the above does not mean that elements constituting A are necessarily determined within a predetermined set. It should be noted, for example, that the above description is not necessarily to be construed as limiting that a1, a2, or a3 selected from the set comprising a1, a2 and a3 constitute component A.
  • the description "at least one of a1, a2 and a3" includes “a1”, “a2”, “a3”, “a1 and a2”, “a1 and a3", “a2 and a3”, and One of "a1, a2 and a3" is represented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

부호화된 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값 또는 타겟 디스플레이의 최대 디스플레이 휘도값을 이용하는 영상 처리 장치 및 방법이 개시된다. 또한, 디스플레이에 출력된 영상에 기반하여, 상기 최대 디스플레이 휘도값을 포함하는 메타데이터를 생성할 수 있는 장치 및 방법을 함께 개시한다.

Description

메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
메타데이터에 기초하여 영상의 다이나믹 레인지를 보정하는 방법 및 장치가 개시된다. 또한, 영상의 다이나믹 레인지를 보정하기 위한 메타데이터를 생성하는 방법 및 장치가 개시된다.
디스플레이 장치들은 디스플레이 장치들 성능에 따라서, 색을 표현할 수 있는 능력, 예를 들면, 색상을 재현할 수 있는 범위인 색역(color gamut)이 서로 상이할 수 있다.
따라서, 입력 영상의 기준이 되는 색역과 입력 영상을 디스플레이하는 장치의 색역이 상이한 경우, 서로의 색역이 매칭될 수 있도록 입력 영상의 색역을 적절하게 보정하여 입력 영상에 대한 디스플레이 장치의 색 재현력이 향상될 수 있다.
예를 들면, 입력 영상의 색역이 디스플레이 장치의 색역보다 좁은 경우, 디스플레이 장치에서 표시되는 영상의 색 재현력을 향상시키기 위하여 입력 영상의 색역을 확장할 필요가 있다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고, 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
도 1은 영상 처리 장치의 블록도이다.
도 2는 영상 처리 장치에 포함된 제어부의 블락도이다.
도 3 내지 도 5는 영상의 휘도 특성에 따른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 6은 영상의 휘도 특성에 따른 또 다른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다. 도 7은 영상의 휘도 특성에 따른 다양한 종류의 디스플레이 장치들의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 8은 또 다른 영상 처리 장치의 블록도이다.
도 9는 영상처리방법(900)의 흐름도를 도시한다.
도 10은 영상의 휘도특성을 획득하는 방법의 흐름도이다.
도 11은 영상의 평균 휘도값을 획득하는 동작을 도시한다.
도 12는 영상의 평균 휘도값을 획득하는 또 다른 동작을 도시한다.
도 13은 영상의 최대휘도영역을 결정하는 동작을 도시한다.
도 14는 현재 신의 최대휘도영역에 대한 중심 픽셀을 획득하는 결정하는 방법에 대한 흐름도이다.
도 15는 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 동작을 도시한다.
도 16은 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 또 다른 동작을 도시한다.
도 17은 현재 신의 최대휘도영역을 획득하는 방법에 대한 흐름도이다.
도 18은 현재 신의 최대휘도영역을 획득하는 동작을 도시한다.
도 19는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 방법에 대한 흐름도이다.
도 20은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 일례를 도시한다.
도 21은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다.
도 22는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 23은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 24는 톤맵핑 함수를 보정하는 동작을 도시한다.
도 25는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다.
도 26은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다.
도 27은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 방법에 대한 흐름도이다.
도 28은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 동작을 도시한다.
도 29는 통합된 다이나믹 메타데이터(unified Dynamic Metadata)를 이용하여 영상의 휘도 특성에 따라 톤맵핑 및 채도 보정을 수행하는 영상 처리 장치의 블락도이다.
도 30은 표 4의 연산 과정을 시계열 순으로 도시한다.
도 31은 표 5의 연산 과정을 시계열 순으로 도시한다.
도 32는 톤 맵핑 함수)의 일 예를 도시한다.
도 33은 임계값 및 휘도 보존값의 관계에 따른 톤 맵핑 함수 및 휘도 보존 함수의 관계를 도시한다.
도 34는 메타데이터 생성 장치의 블록도이다.
도 35는 메타데이터 생성 방법의 흐름도이다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고, 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 메타데이터를 수신하는 수신부; 부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고, 상기 메타데이터가 획득된 경우, 상기 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;를 포함하는 영상 처리 장치가 개시된다.
상기 현재 신의 상기 평균 휘도값은 상기 현재 신에 포함된 픽셀의 RGB 성분값들 중 최대값을 이용하여 획득될 수 있다.
상기 현재 신의 상기 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이할 수 있다.
상기 제어부는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀을 상기 현재 신의 픽셀들 중에서 결정하고, 상기 중심 픽셀이 포함된 프레임의 픽셀들 중에서 상기 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득하고, 상기 현재 신의 휘도 특성은 상기 획득된 제1 픽셀들의 개수를 더 포함할 수 있다.
상기 수신부는 상기 현재 신의 상기 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신하고, 상기 제어부는 상기 획득된 플래그가 상기 현재 신의 상기 휘도 특성을 획득할 것을 지시하는 경우, 상기 현재 신의 상기 휘도 특성을 획득할 수 있다.
상기 장치는 디스플레이부를 더 포함하고, 상기 제어부는 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 상기 최대 디스플레이 휘도값 및 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 상기 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 상기 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑(tone mapping)을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득하고, 상기 디스플레이부는 상기 톤맵핑된 휘도값을 이용하여 상기 현재 신을 디스플레이 할 수 있다.
상기 원본 휘도값이 임계값 보다 작을 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제1 방식에 따른 톤맵핑에 의해 획득되고, 상기 원본 휘도값이 상기 임계값 보다 클 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제2 방식에 따른 톤맵핑에 의해 획득될 수 있다.
상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 선형 함수에 해당하고, 상기 제2 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 비선형 함수에 해당할 수 있다.
상기 임계값이 휘도 보존값 보다 작을 때, 상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값을 바이패스할 수 있다.
상기 제어부는 상기 픽셀의 상기 원본 휘도값과 상기 픽셀의 상기 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정하고, 상기 디스플레이부는 상기 톤맵핑된 휘도값 및 상기 보정된 채도값을 이용하여 상기 현재 신을 디스플레이 할 수 있다.
상기 보정된 채도값은 상기 원본 휘도값의 로그 스케일 및 상기 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정될 수 있다.
상기 픽셀의 상기 원본 휘도값이 바이패스된 경우, 상기 제어부는 상기 픽셀의 채도값을 바이패스 할 수 있다.
영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 단계; 부호화된 영상을 적어도 하나의 신(scene)으로 분할하는 단계; 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하는 단계; 상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계; 및 상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계를 포함하는 영상 처리 방법이 개시된다.
최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 디스플레이부; 상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 센서; 및 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 제어부를 포함하는 메타 데이터 생성 장치가 개시된다.
최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 단계; 상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 단계; 및 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법이 개시된다.
상술한 방법들 중 어느 한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
이하, '영상(image)'은 비디오의 정지영상이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다.
일반적으로, "다이나믹 레인지(dynamic range)"란 물리적인 측정량의 최대값과 최소값 사이의 비율을 의미할 수 있다. 예를 들어, 영상의 다이나믹 레인지(dynamic range)란 영상 내에서 가장 밝은 부분과 가장 어두운 부분 사이의 밝기 비율을 의미할 수 있다. 또 다른 예로, 디스플레이 장치의 다이나믹 레인지란 스크린으로부터 방출될 수 있는 빛의 최소 밝기와 최대 밝기 사이의 비율을 의미할 수 있다. 자연(real world)의 경우, 0nit에 근접하는 완전한 어두움부터, 태양 빛에 근접하는 매우 밝은 밝기까지의 다이나믹 레인지를 갖는다.
영상 내의 최소 밝기 대비 최대 밝기의 비율이 클 수 록, 영상은 로우(low) 다이나믹 레인지 영상, 스탠다드 다이나믹 레인지 영상, 하이(high) 다이나믹 레인지 영상으로 구분될 수 있다. 예를 들어, 한 픽셀의 R,G,B 성분 별로 16bit 이하의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상을 표현할 수 있다. 또한, 한 픽셀의 R,G,B 성분 별로 32비트 이상의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상부터 하이 다이나믹 레인지 영상까지 표현할 수 있다.
다이나믹 레인지가 낮은 디스플레이 장치에서 하이 다이나믹 레인지 영상을 보정 없이 디스플레이 하면, 하이 다이나믹 레인지 영상의 본래 의도가 왜곡되어 디스플레이 될 수 있다.
톤맵핑(tone-mapping)이란, 영상의 다이나믹 레인지를 변환하는 작업을 의미할 수 있다. 구체적으로, 톤맵핑은 영상의 다이나믹 레인지를 좁히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 하이 다이나믹 레인지 영상을 로우 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 잇다. 또한, 톤맵핑은 영상의 다이나믹 레인지를 넓히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 로우 다이나믹 레인지 영상을 하이 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 있다.
영상의 다이나믹 레인지가 영상이 디스플레이되는 디스플레이 장치의 다이나믹 레인지에 포함되지 않는 경우, 디스플레이 장치는 톤맵핑된 영상을 이용하여 원본 영상의 의도를 유지할 수 있다.
일반적인 톤맵핑은 이상적인 조건에서 디스플레이 장치가 디스플레이 할 수 있는 최대 휘도값을 이용하여 수행된다. 예를 들어, 디스플레이 장치의 최대 휘도가 1000nit 에 해당하면, 일반적인 톤맵핑은 휘도 성분, 채도 성분 또는 런타임과 같은 영상의 조건들을 고려하지 않고, 1000nit에 기초하여 수행된다.
그러나, 디스플레이 장치가 영상을 디스플레이 할 때, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다. 구체적으로, 디스플레이 장치의 휘도값은 디스플레이 장치의 소비 전력에 의해 제약될 수 있다. 따라서, 디스플레이 장치가 영상의 휘도 특성에 따라 상기 영상을 디스플레이 하기에 디스플레이 장치의 소비 전력이 충분하지 않은 경우, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 디스플레이 장치의 명목상의 최대 휘도값(nominal maximum luminance value)보다 낮을 수 있다.
예를 들어, 디스플레이 장치의 최대 휘도가 1000nit에 해당한다고 하여도, 디스플레이 장치가 소정의 휘도 특성을 갖는 영상을 디스플레이 할 때, 상기 디스플레이 상에서 측정 가능한 실제 최대 휘도는 800nit에 해당할 수 있다.
따라서, 영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
이하에서는, 설명의 편의를 위하여, 입력 영상의 휘도 특성과 무관하게, 이상적인 조건에서 디스플레이 장치가 디스플레이 할 수 있는 최대 휘도값을 "이상적인 최대 디스플레이 휘도값" 이라 한다. 입력 영상의 휘도 특성이 이상적인 조건을 만족한다면, 디스플레이 장치에서 이상적인 최대 디스플레이 휘도값이 측정될 수 있다. 디스플레이 이상적인 조건은 디스플레이 장치의 특성마다 상이할 수 있다.
예를 들어, 제1 디스플레이 장치의 이상적인 조건은, 제1 디스플레이 장치가 최대 밝기를 갖는 하나의 픽셀과 최소 밝기를 갖는 나머지 픽셀들을 포함하는 영상을 디스플레이 하는 경우가 될 수 있다. 또한, 제1 디스플레이 장치의 이상적인 최대 디스플레이 휘도값은 상기 최대 밝기를 갖는 하나의 픽셀에서 측정되는 디스플레이 장치의 휘도값을 의미할 수 있다. 영상 내에 최대 밝기를 갖는 픽셀들의 개수가 적을 수록, 그리고 최소 밝기를 갖는 픽셀들의 개수가 많아질수록, 제1 디스플레이 장치가 디스플레이 가능한 최대 디스플레이 휘도값이 높아질 수 있다.
또 다른 예로, 제2 디스플레이 장치의 이상적인 조건은, 제2 디스플레이 장치가 모든 픽셀이 최대 밝기를 갖는 영상을 디스플레이 하는 경우가 될 수 있다. 영상 내에 최대 밝기를 갖는 픽셀들의 개수가 많아질수록, 제2 디스플레이 장치가 디스플레이 가능한 최대 디스플레이 휘도값이 높아질 수 있다.
디스플레이 장치가 입력 영상을 디스플레이 할 때, 입력 영상의 휘도 특성에 따라 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값을 "실제 최대 디스플레이 휘도값"이라 한다. 디스플레이 장치의 실제 최대 디스플레이 휘도값은, 디스플레이 장치가 입력 영상을 디스플레이 할 때, 디스플레이 장치 상에서 측정 가능한 최대 휘도값을 의미할 수 있다. 디스플레이 장치의 실제 최대 휘도값은 입력 영상의 휘도 특성에 따라 상이할 수 있다.
전술한 예시에서, 디스플레이 장치의 이상적인 최대 휘도값은 1000nit가 될 수 있고, 디스플레이 장치의 실제 최대 휘도값은 800nit가 될 수 있다.
이하, 첨부된 도면을 참고하여 영상의 특성에 따른 실제 최대 디스플레이 휘도값을 이용하는 디스플레이 장치 및 방법에 대하여 상세히 설명하기로 한다.
도 1은 영상 처리 장치의 블록도이다.
영상 처리 장치(100)는 수신부(110) 및 제어부(120)를 포함할 수 있다. 도 1에 도시된 영상 처리 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 영상 처리 장치(100)가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 영상 처리 장치(100)가 구현될 수도 있다. 예를 들어, 영상 처리 장치(100)는 도 8에 도시된 바와 같이, 디스플레이부(830) 및 메모리(840)를 더 포함할 수 있다.
수신부(110)는 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신할 수 있다.
영상의 휘도 특성은 상기 영상 내 픽셀들의 휘도값들의 시공간적인 분포를 의미하는 수치(numerical value) 또는 지수(index)가 될 수 있다. 예를 들어, 영상의 휘도 특성은 영상 내 픽셀들의 휘도값들 중 최대값 및 최소값, 영상 내 픽셀들의 휘도값들의 평균값 및 다이나믹 레인지를 포함할 수 있다. 또 다른 예로, 영상의 휘도 특성은 영상 내 픽셀들의 휘도값들의 변화량을 포함할 수 있다.
제1 메타 데이터는 다양한 조건의 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다. 제1 메타 데이터는 LookUp Table 포맷을 가질 수 있다. 제1 메타데이터는 마스터링 디스플레이에서 생성될 수 있고, 영상 처리 장치(100)는 마스터링 디스플레이로부터 제1 메타 데이터를 수신할 수 있다.
마스터링 디스플레이란, 원본 영상을 생성 및 편집하기 위해 이용되는 디스플레이 장치를 의미할 수 있다. 영상 제작자는 마스터링 디스플레이의 다이나믹 레인지에 기초하여 원본 영상을 제작 및 편집 할 수 있다.
제2 메타 데이터는 다양한 조건의 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다. 제2 메타 데이터는 LookUp Table 포맷을 가질 수 있다. 제2 메타데이터는 타겟 디스플레이에서 생성될 수 있고, 영상 처리 장치(100)는 마스터링 디스플레이 또는 타겟 디스플레이로부터 제2 메타 데이터를 수신할 수 있다.
타겟 디스플레이란, 타겟 시스템(270)에 포함되는 디스플레이 장치이며, 톤맵핑된 영상이 디스플레이 되는 장치를 의미할 수 있다. 영상 제작자 혹은 컬러리스트는 타겟 디스플레이의 다이나믹 레인지를 정할 수 있다. 타겟 디스플레이의 다이나믹 레인지는 소비자가 실제로 사용하는 디스플레이 장치의 다이나믹 레인지에 포함될 수 도 있고, 소비자가 실제로 사용하는 디스플레이 장치의 다이나믹 레인지를 포함할 수 도 있다.
현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이할 수 있다.
제1 메타데이터 및 제2 메타데이터의 구체적인 예시들은 이하 도 3 내지 도 7을 참조하여 설명한다. 또한, 제1 메타데이터 및 제2 메타데이터를 생성하는 장치 및 방법에 대해서는 이하 도 34 내지 도 35을 참조하여 설명한다.
제어부(120)는 영상 처리 장치(100)에 입력된 영상의 휘도 특성을 획득할 수 있다. 예를 들어, 제어부(120)는 입력 영상의 평균 휘도값을 획득할 수 있다.
수신부(110)가 제1 메타데이터를 획득한 경우, 제어부(120)는 제1 메타데이터에 기초하여, 입력 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 수신부(110)가 제2 메타데이터를 획득한 경우, 제어부(120)는 제2 메타데이터에 기초하여, 입력 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 잇다.
제어부(120)는 입력 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 입력 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 입력 영상의 다이나믹 레인지를 변환할 수 있다. 예를 들어, 제어부(120)는 입력 영상의 하이 다이나믹 레인지를 로우 다이나믹 레인지로 톤맵핑 할 수 있다. 반대로, 제어부(120)는 입력 영상의 로우 다이나믹 레인지를 하이 다이나믹 레인지로 톤맵핑 할 수 있다.
제어부(120)는 적어도 하나의 프로세서를 포함할 수 있으며, 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 이하, 도 2를 참조하여 제어부(120)에 대해 구체적으로 설명한다.
도 2는 영상 처리 장치에 포함된 제어부의 블락도이다.
제어부(120)는 디코더(210), 컨버터(220), 휘도특성획득부(230), 톤맵핑부(240), 채도보정부(250), 인버스컨버터(260) 및 인코더(270)를 포함할 수 있다. 도 2에 도시된 제어부(120)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 제어부(120)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 제어부(120)가 구현될 수도 있다.
영상 처리 장치(100)에 입력된 원본 영상(200)이 부호화 되어 있는 경우, 디코더(210)는 원본 영상(200)을 복호화하고, 복호화된 원본 영상(200)을 획득할 수 있다. 또한, 디코더(210)는 복호화된 원본 영상(200)이 YCbCr 포맷을 갖는 경우, YCbCr 포맷의 복호화된 원본 영상(200)을 RGB 포맷으로 변환할 수 있다.
원본 영상(200)에 대해 톤맵핑을 수행하기 위하여, 컨버터(220)는 원본 영상(200)의 원본 색공간(color space)을 톤맵핑이 수행되는 워킹(working) 색공간으로 변환할 수 있다. 예를 들어, 컨버터(220)는 원본 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 워킹 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다. 만약, 원본 영상(200)의 원본 색공간이 워킹 색공간과 일치하는 경우, 제어부(120)에서 컨버터(220)는 생략될 수 있다.
휘도특성획득부(230)는 원본 영상(200)의 휘도 특성을 획득할 수 있다. 휘도특성획득부(230)는 원본 영상(200)을 소정의 단위로 분할하고, 분할된 소정의 단위마다 휘도 특성을 획득할 수 있다.
예를 들어, 타이틀(title) 또는 컷(cut)으로 불리는 원본 영상(200)은 적어도 하나의 신(scene)으로 분할될 수 있으며, 신은 적어도 하나의 프레임으로 분할될 수 있다. 휘도특성획득부(230)는 원본 영상(200)의 신(scene) 단위마다 휘도 특성을 획득될 수 있다. 또 다른 예로, 휘도특성획득부(230)는 원본 영상(200)의 n개의 프레임들마다 휘도 특성을 획득할 수 있다. 구체적으로, 휘도특성획득부(230)는 신의 평균 휘도값을 획득할 수 있다. 또한, 휘도특성획득부(230)는 n개의 프레임들의 평균 휘도값을 획득할 수 있다.
수신부(110)가 제1 메타데이터를 획득한 경우, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 예를 들어, 제1 메타데이터는 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다.
수신부(110)가 제2 메타데이터를 획득한 경우, 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다. 예를 들어, 제2 메타데이터는 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 지시할 수 있다.
휘도특성획득부(230)가 원본 영상의 휘도 특성을 획득하는 동작, 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작에 대해서는 이하 도 10 내지 도 18를 참조하여 상세히 설명한다.
톤맵핑부(240)는 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 원본 영상(200)에 대해 톤맵핑을 수행한다.
톤맵핑부(240)는 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지를 포함하는 경우, 원본 영상(200)의 다이나믹 레인지를 좁힐 수 있다. 톤맵핑부(240)는 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지에 포함되는 경우, 원본 영상(200)의 다이나믹 레인지를 넓힐 수 있다.
톤맵핑부(240)는 원본 영상(200)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값과 원본 영상(200)의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 비교하고, 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지를 포함하는지 혹은 마스터링 디스플레이의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지에 포함되는지를 판단할 수 있다.
톤맵핑부(240)가 원본 영상(200)에 대해 톤맵핑을 수행하는 동작에 대해서는 이하, 도 19 내지 도 26을 참조하여 상세히 설명한다.
채도보정부(250)는 톤맵핑된 영상의 채도값을 보정할 수 있다. 톤맵핑부(240)가 원본 영상(200)에 대해 톤맵핑을 수행하여도, 마스터링 디스플레이 상에서 디스플레이 되는 원본 영상(200)에 대해 사용자가 인지하는 느낌은 타겟 디스플레이 상에서 디스플레이 되는 톤맵핑된 영상에 대해 사용자가 인지하는 느낌과 상이할 수 있다. 채도보정부(250)는 원본 영상(200)에 더욱 가까운 보정 영상(280)을 만들기 위하여, 톤맵핑된 영상의 채도값을 보정할 수 있다.
채도보정부(250)가 톤맵핑된 영상에 대해 채도 보정을 수행하는 동작에 대해서는 이하, 도 27 내지 도 28를 참조하여 상세히 설명한다.
인버스컨버터(260)는 보정 영상(280)의 색공간을 원본 영상(200)의 원본 색공간으로 변환할 수 있다. 채도보정부(250)로부터 출력된 보정 영상(280)은 톤맵핑이 수행되는 워킹 색공간을 가질 수 있다. 인버스컨버터(260)는 보정 영상(280)의 색공간을 워킹 색공간에서 원본 영상(200)의 원본 색공간으로 변환할 수 있다. 예를 들어, 인버스컨버터(260)는 워킹 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 원본 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다.
인코더(270)는 보정 영상(280)을 타겟 시스템(290)에 입력하기 위하여, 보정 영상(280)을 부호화 할 수 있다. 인코더(270)에 의해 획득된 부호화된 보정 영상(280)은 타겟 시스템(290)으로 입력될 수 있다.
타겟 시스템(290)은 보정 영상(280)을 디스플레이 할 수 있다. 보정 영상(280)의 다이나믹 레인지가 원본 영상(200)의 다이나믹 레인지와 상이하여도, 제어부(120)에 의해 획득된 보정 영상(280)은 원본 영상(200)에 반영된 영상 제작자의 의도를 효과적으로 유지할 수 있다.
이하, 도 3 내지 도 7을 참조하여, 제1 메타데이터 및 제2 메타데이터의 구체적인 예시들을 설명한다.
도 3 내지 도 5는 영상의 휘도 특성에 따른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다.
도 3은 8bit 뎁스를 갖는 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 그래프(300)의 x축은 8bit 뎁스를 갖는 영상의 평균 휘도값 또는 평균 그레이스케일 값에 해당할 수 있다. 따라서, 그래프(300)의 x축의 최소값은 0이 될 수 있고, 최대값은 255가 될 수 있다. 그래프(300)의 y축은 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 그래프(300)의 y축의 단위는 nit가 될 수 있다.
도 3의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 그래프(300)와 같은 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 3의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 그래프(300)와 같은 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
LCD 장치가 x축의 어느 한 지점에 해당하는 평균 휘도값 또는 그레이스케일 값을 갖는 영상을 디스플레이 할 때, LCD 장치에서 디스플레이 할 수 있는 최대 휘도값은 그래프(300) 상에서 상기 x축의 어느 한 지점에 대응되는 y축의 nit 값이 될 수 있다.
그래프(300)를 참조하면, 영상의 평균 휘도값이 0에 가까운 값을 가질 때, LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이 할 수 있다. 즉, 영상의 평균 휘도값이 0에 가까운 값을 가질 때 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상의 평균 휘도값이 255에 가까운 값을 가질 때 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 또한, 영상의 평균 휘도값이 40 이하일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 영상의 평균 휘도값이 40 초과 90 이하일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 증가할 수 있다. 또한, 영상의 평균 휘도값이 90 이상일 때, 영상의 평균 휘도값이 증가함에 따라, LCD 장치의 실제 디스플레이 휘도값은 다시 감소할 수 있다. 예를 들어, 영상의 평균 휘도값이 60일 때 LCD 장치의 실제 최대 디스플레이 휘도값은 600nit가 될 수 있다. 또한, 영상의 평균 휘도값이 90 일 때 LCD 장치의 실제 최대 디스플레이 휘도값은 650nit가 될 수 있다.
그래프(300)에 도시된 310, 320, 330, 340 영상들은 그레이스케일 영상들이다. 310, 320, 330, 340 영상들은 각각 최대 그레이스케일 값(예를 들어, 255)을 갖는 적어도 하나의 픽셀을 포함하는 영역(311, 321, 331, 341)을 포함할 수 있다. 310 영상은 그래프(300) 상의 x1 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(311) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 310 영상을 디스플레이 할 때, 상기 영역(311)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x1 그레이스케일 값에 대응되는 y1 nit값이 될 수 있다. 320 영상은 그래프(300)의 x2 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(321) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 320 영상을 디스플레이 할 때, 상기 영역(321)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x2 그레이스케일 값에 대응되는 y2 nit가 될 수 있다. 330 영상은 그래프(300)의 x3 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(331) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 330 영상을 디스플레이 할 때, 상기 영역(331)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x3 그레이스케일 값에 대응되는 y3 nit가 될 수 있다. 340 영상은 그래프(300)의 x4 지점에 대응되는 백그라운드 그레이스케일 값을 갖는 상기 영역(341) 밖의 제2 픽셀을 포함할 수 있다. LCD 장치가 340 영상을 디스플레이 할 때, 상기 영역(341)에서 측정되는 LCD 장치의 실제 최대 디스플레이 휘도값은 그래프(300) 상에서 x4 그레이스케일 값에 대응되는 y4 nit가 될 수 있다. 예를 들어, (x1, y1) = (30, 590nit), (x2, y2) = (80, 630nit), (x3, y3)= (150, 520nit), (x4, y4) = (210, 450nit) 가 될 수 있다.
전술한 바와 같이, 디스플레이 장치가 영상을 디스플레이 할 때, 디스플레이 장치가 실제로 디스플레이 할 수 있는 최대 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다. 디스플레이 장치가 영상의 평균 휘도값에 따라 상기 영상을 디스플레이 하기에 디스플레이 장치의 소비 전력이 충분하지 않은 경우, 디스플레이 장치의 실제 최대 디스플레이 휘도값은 디스플레이 장치의 이상적인 최대 디스플레이 휘도값보다 낮을 수 있다.
일반적인 LCD 장치, OLED 디스플레이 장치는 소비 전력에 제한이 있는 반면, 광고용 디스플레이 또는 광고용 전광판의 경우 소비 전력에 제한이 없을 수 있다. 따라서, 일반적인 디스플레이 장치의 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화에 비하여, 광고용 디스플레이의 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화가 상대적으로 작을 수 있다.
도 4는 영상 내 화이트패치(white patch)의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 그래프(400)의 x축은 화이트패치의 면적에 해당할 수 있다. 그래프(400)의 y축은 화이트패치의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 그래프(400)의 y축의 단위는 nit가 될 수 있다.
도 4의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 그래프(400)와 같은 영상 내 화이트패치의 면적에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 4의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 그래프(400)와 같은 영상 내 화이트패치의 면적에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
LCD 장치가 x축의 어느 한 지점에 해당하는 면적의 화이트패치를 포함하는 영상을 디스플레이 할 때, LCD 장치에서 디스플레이 할 수 있는 최대 휘도값은 그래프(400) 상에서 상기 x축의 어느 한 지점에 대응되는 y축의 nit 값이 될 수 있다.
화이트패치란, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 픽셀들을 포함하는 영역을 의미할 수 있다. 예를 들어, 8 bit 뎁스의 영상 내 화이트패치는 255 그레이스케일 값을 갖는 픽셀들을 포함할 수 있다.
그래프(400)의 x축에 해당하는 화이트패치의 면적이란, 화이트패치에 포함된 픽셀들의 개수가 될 수 있다. 예를 들어, 화이트패치가 사각형인 경우, 화이트패치의 면적은 화이트패치의 가로 픽셀 길이와 화이트패치의 세로 픽셀 길이의 곱이 될 수 있다. 따라서, 그래프(400)의 x축의 최소값은 0이 될 수 있고, 최대값은 영상 내 하나의 프레임에 포함된 픽셀들의 개수가 될 수 있다. 예를 들어, 그래프(400)의 x축 상의 250k 지점은 화이트패치 내에 250 x 1000 개의 픽셀들이 포함되는 것을 의미할 수 있다. 또 다른 예로, 그래프(400)의 x축 상의 1000k 지점은 화이트패치 내에 1000 x 1000 개의 픽셀들이 포함되는 것을 의미할 수 있다.
그래프(400)를 참조하면, 화이트패치의 면적이 작을 수 록 LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이 할 수 있다. 즉, 화이트패치의 면적이 작을 수 록 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 화이트패치의 면적이 클 수 록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 또한, 화이트패치의 면적이 약 1000k 이하일 때, 화이트패치의 면적이 증가함에 따라, LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 화이트패치의 면적이 1000k 이상 1260k 이하일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다. 또한, 화이트패치의 면적이 1260k 이상일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 다시 감소할 수 있다. 예를 들어, 영상 내 화이트패치의 면적이 250k 인 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 820nit가 될 수 있다. 또한, 영상 내 화이트패치의 면적이 1000k 인 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 620nit가 될 수 있다.
그래프(400)에 도시된 410, 420, 430, 440 영상들은 그레이스케일 영상들이다. 410, 420, 430, 440 영상들은 각각 화이트패치(411, 421, 431, 441)를 포함할 수 있다. 410 영상은 그래프(400) 상의 p1 지점에 대응되는 면적의 화이트패치를 포함할 수 있다. LCD 장치가 410 영상을 디스플레이 할 때, 상기 화이트패치(411)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p1 면적에 대응되는 q1 nit가 될 수 있다. LCD 장치가 420 영상을 디스플레이 할 때, 상기 화이트패치(421)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p2 면적에 대응되는 q2 nit가 될 수 있다. LCD 장치가 430 영상을 디스플레이 할 때, 상기 화이트패치(431)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p3 면적에 대응되는 q3 nit가 될 수 있다. LCD 장치가 440 영상을 디스플레이 할 때, 상기 화이트패치(441)에서 측정되는 lcd 장치의 실제 최대 디스플레이 휘도값은 그래프(400) 상에서 p4 면적에 대응되는 q4 nit가 될 수 있다. 예를 들어, (p1, q1) = (40k, 980 nit), (p2, q2) = (390k, 800 nit), (p3, q3) = (1260k, 650 nit), (p4, q4) = (2560k, 450 nit) 가 될 수 있다.
일반적으로, LCD 장치의 BLU(Back Light Unit)는 복수 개의 픽셀을 제어할 수 있다. Direct type BLU, Bar type BLU, Edge type BLU 순서대로 하나의 BLU가 제어하는 픽셀의 개수는 많아질 수 있다. LCD 장치가 화이트패치를 포함하는 영상을 디스플레이 할 때, 하나의 BLU가 제어하는 픽셀의 개수가 많아질 수록, 화이트패치를 표현하기 어려워질 수 있다. BLU의 위와 같은 특징은 LCD 장치의 소비 전력을 낭비하는 원인이 될 수 있다. 따라서, LCD 장치가 화이트패치를 포함하는 영상을 디스플레이 하기에 LCD 장치의 소비 전력이 충분하지 않은 경우, LCD 장치의 실제 최대 디스플레이 휘도값은 이상적인 최대 디스플레이 휘도값보다 낮아질 수 있다.
OLED(Organic Light Emitting diode) 디스플레이 장치의 경우, BLU를 이용하지 않을 수 있고 발광 소자와 픽셀 간에 일대일 대응이 가능하다. 따라서, LCD 장치의 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값의 변화에 비하여, OLED 디스플레이의 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값의 변화가 상대적으로 작을 수 있다.
도 5는 8 bit 뎁스를 갖는 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값의 예시를 도시한다. 2차원 컬러맵(500)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵(500)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵(500)의 컬러는 LCD 장치의 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵(500)의 컬러는 컬러바(510) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
도 5의 LCD 장치가 마스터링 디스플레이로 이용되는 경우, 제1 메타데이터는 2차원 컬러맵(500)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 도 5의 LCD 장치가 타겟 디스플레이로 이용되는 경우, 제2 메타데이터는 2차원 컬러맵(500)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
2차원 컬러맵(500)을 참조하면, 전반적으로, 영상 내 화이트패치의 면적이 작을수록, 영상의 평균 휘도값이 낮을수록 LCD 장치는 이상적인 최대 디스플레이 휘도값을 디스플레이할 수 있다. 즉, 2차원 컬러맵(500)의 좌측 하단에서 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상 내 화이트패치의 면적이 클수록, 영상의 평균 휘도값이 높을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다. 즉, 2차원 컬러맵(500)의 우측 상단에서 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다.
예를 들어, LCD 장치가 1000k 면적의 화이트패치를 포함하고, 평균 휘도값이 150인 영상을 디스플레이할 때, LCD 장치의 실제 최대 디스플레이 휘도값은 약 600nit가 될 수 있다.
도 6은 영상의 휘도 특성에 따른 또 다른 LCD(Liquid Crystal Display) 장치의 최대 디스플레이 휘도값의 예시들을 도시한다. 구체적으로, 도 6은 영상의 평균 휘도값에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제1 그래프(600), 영상 내 화이트패치의 면적에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제2 그래프(610), 및 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 LCD 장치의 최대 디스플레이 휘도값을 나타내는 제3 그래프(620)를 도시한다.
도 6의 LCD 장치가 마스터링 디스플레이 장치로 이용될 때, 제1 메타데이터는 제1 그래프(600)와 같은 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값, 제2 그래프(610)와 같은 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값, 및 2차원 컬러맵(620)과 같은 영상의 평균 휘도값 및 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값 중 적어도 하나를 포함할 수 있다. 도 6의 LCD 장치가 타겟 디스플레이 장치로 이용될 때, 제2 메타데이터는 제1 그래프(600)와 같은 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값, 제2 그래프(610)와 같은 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값, 및 2차원 컬러맵(620)과 같은 영상의 평균 휘도값 및 영상 내 화이트패치의 면적에 따른 실제 최대 디스플레이 휘도값 중 적어도 하나를 포함할 수 있다.
제1 그래프(600)의 x축은 8bit 뎁스를 갖는 영상의 평균 휘도값 또는 평균 그레이스케일 값에 해당할 수 있다. 따라서, 제1 그래프(600)의 x축의 최소값은 0이 될 수 있고, 최대값은 255가 될 수 있다. 제1 그래프(600)의 y축은 영상의 평균 휘도값에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 제1 그래프(600)의 y축의 단위는 nit가 될 수 있다.
제1 그래프(600)를 참조하면, 영상의 평균 휘도값이 170 이하일 때, 영상의 평균 휘도값이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값이 증가할 수 있다. 또한, 영상의 평균 휘도값이 170을 초과할 때, 영상의 평균 휘도값이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값이 감소할 수 있다.
제2 그래프(610)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 따라서, 제2 그래프(610)의 x축의 최소값은 0이 될 수 있고, 최대값은 영상 내 하나의 프레임에 포함된 픽셀들의 개수가 될 수 있다. 제2 그래프(610)의 y축은 영상 내 화이트패치의 면적에 따른 LCD 장치의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 또한, 제2 그래프(610)의 y축의 단위는 nit가 될 수 있다.
제2 그래프(610)를 참조하면, 화이트패치의 면적이 약 250k 이하일 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 증가할 수 있다. 또한, 화이트패치의 면적이 약 250k 를 초과할 때, 화이트패치의 면적이 증가함에 따라 LCD 장치의 실제 최대 디스플레이 휘도값은 감소할 수 있다.
2차원 컬러맵(620)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵(620)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵(620)의 컬러는 LCD 장치의 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵(620)의 컬러는 컬러바(630) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
2차원 컬러맵(620)을 참조하면, 전반적으로 영상 내 화이트패치의 면적이 작을수록, 영상의 평균 휘도값이 낮을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최대값을 가질 수 있다. 또한, 영상 내 화이트패치의 면적이 클수록, 영상의 평균 휘도값이 높을수록 LCD 장치의 실제 최대 디스플레이 휘도값은 최소값을 가질 수 있다.
도 5의 LCD 장치의 2차원 컬러맵(620)과 도 6의 LCD 장치의 2차원 컬러맵(620)을 비교해보면, 도 6의 LCD 장치는 도 5의 LCD 장치에 비하여 영상의 평균 휘도값에 따른 실제 최대 디스플레이 휘도값의 변화량이 상대적으로 작을 수 있다.
도 7은 영상의 휘도 특성에 따른 다양한 종류의 디스플레이 장치들의 최대 디스플레이 휘도값의 예시들을 도시한다.
2차원 컬러맵들(700, 720, 740)의 x축은 영상 내 화이트패치의 면적에 해당할 수 있다. 2차원 컬러맵들(700, 720, 740)의 y축은 영상의 평균 휘도값에 해당할 수 있다. 또한, 2차원 컬러맵들(700, 720, 740)의 컬러는 최대 디스플레이 휘도값에 해당할 수 있다. 구체적으로, 2차원 컬러맵들(700, 720, 740)의 컬러는 컬러바(710, 730, 750) 상에서 대응되는 nit 단위의 휘도값을 의미할 수 있다.
제1 2차원 컬러맵(700)은 영상의 휘도 특성에 따른 광고용 디스플레이의 최대 디스플레이 휘도값의 예시를 도시한다. 광고용 디스플레이가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제1 2차원 컬러맵(700)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제1 2차원 컬러맵(700)을 참조하면, 광고용 디스플레이가 밝은 영상을 디스플레이할 때, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성이 변하더라도 일정할 수 있다. 예를 들어, 영상의 평균 휘도값이 150 이상이고, 영상 내 화이트패치의 면적이 1000k 이상이면 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성과 서로 독립적일 수 있다. 광고용 디스플레의 소비 전력은 제한이 없을 수 있다. 따라서, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 다른 종류의 디스플레이 장치의 실제 최대 디스플레이 휘도값에 비하여, 영상의 휘도 특성에 의한 영향을 적게 받을 수 있다. 또한, 제1 2차원 컬러맵(700)을 참조하면, 광고용 디스플레이가 어두운 영상을 디스플레이 할 때, 광고용 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 휘도 특성에 따라 상이해질 수 있다.
제2 2차원 컬러맵(720)은 영상의 휘도 특성에 따른 OLED(Organic Light Emitting Diode) 디스플레이의 최대 디스플레이 휘도값의 예시를 도시한다. OLED 디스플레이가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제2 2차원 컬러맵(720)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제2 2차원 컬러맵(720)을 참조하면, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상 내 화이트패치의 면적이 변하더라 일정할 수 있다. 예를 들어, 영상의 평균 휘도값이 200으로 동일하면, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상 내 화이트패치의 면적과 서로 독립적일 수 있다. OLED 디스플레이의 경우, BLU를 이용하지 않을 수 있고 발광 소자와 픽셀 간에 일대일 대응이 가능하다. 따라서, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 다른 종류의 디스플레이 장치의 실제 최대 디스플레이 휘도값에 비하여 영상 내 화이트패치의 면적에 의한 영향을 적게 받을 수 있다. 또한, OLED 디스플레이의 실제 최대 디스플레이 휘도값은 영상의 평균 휘도값에 따라 상이해질 수 있다.
제3 2차원 컬러맵(740)은 영상의 휘도 특성에 따른 컨벤셔널 레퍼런스 모니터(conventional reference monitor)의 최대 디스플레이 휘도값의 예시를 도시한다. 컨벤셔널 레퍼런스 모니터는 일반적으로 마스터링 디스플레이로 이용될 수 있다. 컨벤셔널 레퍼런스 모니터가 마스터링 디스플레이로 이용되는 경우, 제1 메타 데이터는 제3 2차원 컬러맵(740)과 같은 영상 내 화이트패치의 면적 및 영상의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다.
제3 2차원 컬러맵(740)을 참조하면, 컨벤셔널 레퍼런스 모니터의 실제 최대 디스플레이 휘도값은 도 5의 LCD 장치 및 도 6의 LCD 장치의 실제 최대 디스플레이 휘도값에 비하여, 영상희 휘도 특성의 영향을 적게 받을 수 있다. 예를 들어, 영상의 평균 휘도값이 소정의 임계값보다 작고, 영상 내 화이트패치의 면적이 소정의 범위 내에 포함되면, 컨베셔널 레퍼런스 모니터의 실제 최대 디스플레이 휘도값은 일정할 수 있다.
도 8은 또 다른 영상 처리 장치의 블록도이다.
도 8의 영상 처리 장치(800)는 도 1의 영상 처리 장치(100)에 비하여 디스플레이부(830) 및 메모리(840) 중 적어도 하나를 더 포함할 수 있다. 도 8의 영상 처리 장치(800)의 수신부(810) 및 제어부(820)는 도 1의 영상 처리 장치(100)의 수신부(110) 및 제어부(120)에 동일 대응될 수 있다. 따라서, 도 1과 중복되는 설명은 생략한다.
디스플레이부(830)는 제어부(820)의 제어에 따라 영상을 디스플레이 할 수 있다. 예를 들어, 디스플레이부(830)는 영상 처리 장치(800)에 입력된 원본 영상을 디스플레이 할 수 있다. 또한, 디스플레이부(830)는 제어부(820)에 의해 톤맵핑 및 채도 보정이 수행된 보정 영상을 디스플레이 할 수 있다.
디스플레이부(830)의 다이나믹 레인지는 수신부(810)에서 수신된 제2 메타데이터의 타겟 디스플레이의 다이나믹 레인지를 포함할 수 있다. 또는 디스플레이부(830)의 다이나믹 레인지는 수신부(810)에서 수신된 제2 메타데이터의 타겟 디스플레이의 다이나믹 레인지에 포함될 수 있다.
디스플레이부(830)는 LCD, 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), OLED 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
메모리(840)는, 제어부(820)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 영상 처리 장치(800)로 입력되거나 영상 처리 장치(800)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(840)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 9는 영상처리방법(900)의 흐름도를 도시한다.
910 단계에서, 영상 처리 장치(100, 800)는 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신한다. 910 단계의 동작은 영상 처리 장치(100, 800)에 포함된 수신부(110, 810)에 의해 수행될 수 있다.
920 단계에서, 영상 처리 장치(100, 800)는 부호화된 영상을 적어도 하나의 신(scene)으로 분할한다.
930 단계에서, 영상 처리 장치(100, 800)는 현재 신(current scene)의 평균 휘도값을 포함하는 현재 신의 휘도 특성을 획득한다.
940 단계에서 영상 처리 장치(100, 800)가 제1 메타데이터를 획득한 경우, 950 단계에서 영상 처리 장치(100, 800)는 제1 메타데이터에 기초하여 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득한다.
960 단계에서 영상 처리 장치(100, 800)가 제2 메타데이터를 획득한 경우, 970 단계에서 영상 처리 장치(100, 800)는 제2 메타데이터에 기초하여 현재 신의 상기 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 획득한다.
920 단계 내지 970 단계의 동작은 영상 처리 장치(100, 800)는 에 포함된 제어부(120, 820)에 의해 수행될 수 있다. 구체적으로, 920 단계 내지 970 단계의 동작은 휘도특성획득부(230)에 의해 수행될 수 있다.
이하, 도 10 내지 도 15를 참조하여 휘도특성획득부(230)의 동작에 대하여 상세히 설명한다.
도 10은 영상의 휘도특성을 획득하는 방법의 흐름도이다.
휘도특성획득부(230)는 영상 처리 장치(100)로 입력된 영상을 소정의 단위로 분할하고, 분할된 소정의 단위마다 휘도 특성을 획득할 수 있다.
예를 들어, 920 단계에서, 휘도특성획득부(230)는 영상을 적어도 하나의 신으로 분할할 수 있다. 휘도특성획득부(230) 영상으로부터 분할된 현재 신의 휘도 특성을 획득할 수 있다.
1010 단계에서, 수신부(110)는 현재 신의 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신할 수 있다. 수신부(110)는 마스터링 디스플레이로부터 상기 플래그를 획득할 수 있다. 또한, 휘도특성획득부(230)는 상기 플래그에 기초하여, 현재 신으로부터 획득할 휘도 특성을 결정할 수 있다.
예를 들어, 상기 플래그의 값이 0이면, 상기 플래그는 영상으로부터 분할된 현재 신의 휘도 특성을 획득하지 않을 것을 지시할 수 있다. 상기 플래그가 현재 신의 휘도 특성을 획득하지 않을 것을 지시하는 경우, 휘도특성획득부(230)는 현재 신의 휘도 특성을 획득하지 않는다. 또한, 영상 처리 장치(100)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 휘도 특성이 획득되지 않은 현재 신에 대하여 톤맵핑을 수행할 수 있다.
상기 플래그의 값이 1이면, 상기 플래그는 현재 신의 평균 휘도값을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 평균 휘도값을 획득할 것을 지시하면, 1020 단계에서 휘도특성획득부(230)는 현재 신의 평균 휘도값을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 평균 휘도값에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 현재 신의 평균 휘도값에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다. 휘도특성획득부(230)가 현재 신의 평균 휘도값을 획득하는 동작에 대해서는 이하 도 11 내지 도 12를 참조하여 상세히 설명한다.
상기 플래그의 값이 2이면, 상기 플래그는 현재 신의 최대휘도영역을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 최대휘도영역을 획득할 것을 지시하면, 1030 단계에서 휘도특성획득부(230)는 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다. 현재 신의 최대휘도영역은, 전술한 화이트패치에 대응될 수 있다. 현재 신의 최대휘도영역 및 휘도특성획득부(230)가 현재 신의 최대휘도영역을 획득하는 동작에 대해서는 이하 도 13 내지 도 18를 참조하여 상세히 설명한다.
상기 플래그의 값이 3이면, 상기 플래그는 현재 신의 평균휘도값 및 현재 신의 최대휘도영역을 획득할 것을 지시할 수 있다. 상기 플래그가 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역을 획득할 것을 지시하면, 1040 단계에서 휘도특성획득부(230)는 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 영상 처리 장치(100)는 현재 신의 평균 휘도값 및 현재 신의 최대휘도영역의 면적에 따른, 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값 중 적어도 하나에 기초하여 현재 신에 대하여 톤맵핑을 수행할 수 있다.
도 11은 영상의 평균 휘도값을 획득하는 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 평균 휘도값을 획득할 수 있다. 픽셀의 평균 휘도값은 픽셀의 RGB 성분값들에 대한 평균값을 이용하여 획득될 수 있다. 또는 픽셀의 평균 휘도값은 픽셀의 YCbCr 성분값들 중 Y 값을 이용하여 획득될 수 있다. 휘도특성획득부(230)는 상기 픽셀의 평균 휘도값을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
예를 들어, 8 비트 뎁스를 갖는 타이틀 또는 영상(1100)은 제1 신(1110), 제2 신(1120), 제3 신(1130) 및 제4 신(1140)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1130)은 제N 프레임(1150), 제N+1 프레임(1160), 제N+2 프레임(1170)을 포함한 복수 개의 프레임들로 분할될 수 있다. 제3 신(1130)의 제N 프레임(1150)에 포함된 p1 픽셀의 RGB 성분값들은 (55,66,77)이 될 수 있다. p1 픽셀의 적색 성분값은 55, p1 픽셀의 녹색 성분값은 66, p1 픽셀의 청색 성분값은 77이 될 수 있다. 또한, p1 픽셀의 평균 휘도값은 (55+66+77)/3 = 66 이 될 수 있다. 제3 신(1130)의 제N+1 프레임(1160)에 포함된 p2 픽셀의 RGB 성분값들은 (77,88,99)이 될 수 있다. p2 픽셀의 적색 성분값은 77, p2 픽셀의 녹색 성분값은 88, p2 픽셀의 청색 성분값은 99가 될 수 있다. 또한, p2 픽셀의 평균 휘도값은 (77+88+99)/3 = 88 이 될 수 있다. 제3 신(1130)의 제N+2 프레임(1170)에 포함된 p3 픽셀의 RGB 성분값들은 (66,77,88)이 될 수 있다. p3 픽셀의 적색 성분값은 66, p3 픽셀의 녹색 성분값은 77, p3 픽셀의 청색 성분값은 88이 될 수 있다. 또한, p2 픽셀의 평균 휘도값은 (77+88+99)/3 = 88 이 될 수 있다. 휘도특성획득부(230)는 p1 픽셀의 평균 휘도값, p2 픽셀의 평균 휘도값, p3 픽셀의 평균 휘도값 이외에도, 현재 신에 포함된 모든 픽셀들의 평균 휘도값들을 획득하고, 획득된 평균 휘도값들의 합을 상기 현재 신의 총 픽셀 수로 나누어서 현재 신의 평균 휘도값을 획득할 수 있다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 최대 휘도값을 획득할 수 있다. 픽셀의 최대 휘도값은 픽셀의 RGB 성분값들 중 최대값을 의미할 수 있다. 휘도특성획득부(230)는 상기 픽셀의 최대 휘도값을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
예를 들어, 제3 신(1130)의 제N 프레임(1150)에 포함된 p1 픽셀의 최대 휘도값은 77이 될 수 있다. 제3 신(1130)의 제N+1 프레임(1160)에 포함된 p2 픽셀의 최대 휘도값은 99가 될 수 있다. 제3 신(1130)의 제N+2 프레임(1170)에 포함된 p3 픽셀의 최대 휘도값은 88이 될 수 있다. 휘도특성획득부(230)는 p1 픽셀의 최대 휘도값, p2 픽셀의 최대 휘도값 및 p3 픽셀의 최대 휘도값 이외에도, 현재 신에 포함된 모든 픽셀들의 최대 휘도값들을 획득하고, 획득된 최대 휘도값들의 합을 상기 현재 신의 총 픽셀 수로 나누어서 현재 신의 평균 휘도값을 획득할 수 있다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀의 평균 휘도값, 픽셀의 최대 휘도값 이외에도, 픽셀의 최소 휘도값 혹은 픽셀의 중간 휘도값 등을 이용하여, 현재 신의 평균 휘도값을 획득할 수 있다.
도 12는 영상의 평균 휘도값을 획득하는 또 다른 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 일부를 선택하고, 선택된 픽셀들의 평균 휘도값들을 이용하여 현재 신의 평균 휘도값을 획득할 수 있다. 휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 기설정된 좌표에 위치하는 픽셀들을 선택할 수 있다. 또한, 휘도특성획득부(230)는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
도 12에 도시된 바와 같이, 예를 들어 8 비트 뎁스를 갖는 타이틀 또는 영상(1200)은 제1 신(1210), 제2 신(1220), 제3 신(1230) 및 제4 신(1240)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1230)은 제N 프레임(1250), 제N+1 프레임(1260), 제N+2 프레임(1270)을 포함한 복수 개의 프레임들로 분할될 수 있다. 휘도특성획득부(230)는 제3 신의 평균 휘도값을 획득하기 위하여, 제3 신의 픽셀들 중, 프레임 내에서 우측 상단에 위치하는 픽셀들을 선택할 수 있다. 휘도특성획득부(230)는 제N 프레임(1250)의 우측 상단에 위치하는 픽셀들(1255), 제N+1 프레임(1260)의 우측 상단에 위치하는 픽셀들(1265) 및 제N+2 프레임(1270)의 우측 상단에 위치하는 픽셀들(1275)을 선택할 수 있다.
휘도특성획득부(230)는 현재 신의 픽셀들 중, 선택된 픽셀들의 평균 휘도값들, 최대 휘도값들, 최소 휘도값들 또는 중간 휘도값들을 이용하여 현재 신의 평균 휘도값을 획득할 수 있다.
도 13은 영상의 최대휘도영역을 결정하는 동작을 도시한다.
1310 단계에서 휘도특성획득부(230)는 현재 신의 최대휘도영역에 대한 중심 픽셀을 결정할 수 있다. 현재 신의 최대휘도영역이란, 현재 신 내에서 가장 밝은 영역 혹은 가장 밝은 피사체를 의미할 수 있다. 예를 들어, 최대휘도영역은 전술한 화이트패치와 같이, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 픽셀들을 포함할 수 있다. 또 다른 예로, 최대휘도영역은 영상 내에 존재하는 태양과 같이 매우 밝은 피사체를 표현하는 픽셀들을 포함할 수 있다. 휘도특성획득부(230)는 현재 신의 최대휘도영역을 획득하기 위하여, 현재 신에 포함된 픽셀들 중 최대휘도영역에 대한 중심 픽셀을 먼저 결정할 수 있다. 최대휘도영역의 중심 픽셀을 결정하는 동작에 대해서는 이하 도 14 내지 도 16을 참조하여 상세히 설명한다.
1320 단계에서 휘도특성획득부(230)는 1310 단계에서 결정된 중심 픽셀에 기초하여, 현재 신의 최대휘도영역을 획득할 수 있다. 또한, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적을 획득할 수 있다.
영상 처리 장치(100)로 입력된 영상 내에서 충분히 밝은 영역은 디스플레이 장치의 소비 전력에 영향을 줄 수 있다. 따라서, 영상 내에서 높은 휘도값을 갖는 영역의 면적 또는 높은 휘도값을 갖는 피사체의 면적은, 전술한 화이트패치의 면적과 같이 디스플레이 장치의 실제 최대 디스플레이 휘도값을 변화시킬 수 있다.
휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 이용하여 획득할 수 있다. 예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 또 다른 예로, 수학식 1과 같이, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 이용하여, 현재 신의 최대휘도영역의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
Figure PCTKR2016004862-appb-M000001
영상 처리 장치(100)로 입력된 영상은 화이트패치를 포함할 수 도 있고, 포함하지 않을 수 도 있다. 따라서, 메타데이터가 화이트패치의 면적에 따른 디스플레이 장치의 실제 최대 디스플레이 휘도값을 포함한다고 하여도, 영상 내에서 화이트패치를 찾는 것 보다는 영상 내의 최대휘도영역을 찾는 것이 합리적일 수 있다. 휘도특성획득부(230)가 최대휘도영역을 획득하는 구체적인 동작에 대해서는 이하, 도 17 내지 도 18을 참조하여 상세히 설명한다.
1330 단계에서 수신부(110)가 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 최대 디스플레이 휘도값을 포함하는 제1 메타데이터를 획득한 경우, 1340 단계에서 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 휘도값을 획득할 수 있다.
전술한 바와 같이, 휘도특성획득부(230)는 제1 메타데이터에 기초하여 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 휘도값을 추정할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 구체적으로, 휘도특성획득부(230)는 40k 면적의 현재 신의 최대휘도영역에 대한 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 제1 메타데이터 상에서 40k 면적의 화이트패치에 대응되는 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값인 980nit로 획득할 수 있다.
또 다른 예로, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 화이트패치의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값에 곱하여, 현재 신의 최대휘도영역의 면적에 따른 마스터링 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
1350 단계에서 수신부(110)가 화이트패치의 면적에 따른 타겟 디스플레이 장치의 최대 디스플레이 휘도값을 포함하는 제2 메타데이터를 획득한 경우, 1360 단계에서 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 휘도값을 획득할 수 있다.
전술한 바와 같이, 휘도특성획득부(230)는 제2 메타데이터에 기초하여 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 휘도값을 추정하거나 근사치를 획득할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을 화이트패치의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값으로 갈음할 수 있다. 구체적으로, 휘도특성획득부(230)는 40k 면적의 현재 신의 최대휘도영역에 대한 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을, 제2 메타데이터 상에서 40k 면적의 화이트패치에 대응되는 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값인 450nit로 획득할 수 있다.
또 다른 예로, 휘도특성획득부(230)는 최대휘도영역의 평균 휘도값과 영상의 최대 휘도값(예를 들어, 8비트 뎁스 영상의 경우 255) 사이의 비율을 화이트패치의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값에 곱하여, 현재 신의 최대휘도영역의 면적에 따른 타겟 디스플레이 장치의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
도 14는 현재 신의 최대휘도영역에 대한 중심 픽셀을 획득하는 결정하는 방법에 대한 흐름도이다.
휘도특성획득부(230)는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀(p)을 현재 신의 픽셀들 중에서 결정할 수 있다.
예를 들어, 휘도특성획득부(230)는 현재 신의 제1 픽셀을 중심으로 기설정된 크기의 제1 영역을 설정하고, 상기 제1 영역 내 픽셀들의 휘도값들의 합을 획득할 수 있다. 또한, 휘도특성획득부(230)는 현재 신의 제2 픽셀을 중심으로 제1 영역과 같은 크기의 제2 영역을 설정하고, 상기 제2 영역 내 픽셀들의 휘도값들의 합을 획득할 수 있다. 휘도특성획득부(230)는 제1 영역의 휘도값들의 합과 제2 영역의 휘도값들의 합을 비교하여, 제1 픽셀 또는 제2 픽셀을 최대휘도영역에 대한 중심 픽셀로 결정할 수 있다. 제1 영역의 휘도값들의 합이 제2 영역의 휘도값들의 합보다 큰 경우, 최대휘도영역에 대한 중심 픽셀은 제1 픽셀이 될 수 있다.
구체적으로 1410 단계에서, 휘도특성획득부(230)는 중심 픽셀을 구하기 위한 인자들을 초기화할 수 있다. 예를 들어, 휘도특성획득부(230)는 현재 신 내의 현재 프레임의 번호인 f를 0으로 초기화하고, 현재 프레임 내의 현재 픽셀의 번호인 p 를 0으로 초기화 할 수 있다. 또한, 휘도특성획득부(230)는 MAX를 0으로 초기화 할 수 있다.
1420 단계에서, 휘도특성획득부(230)는 f번째 프레임 내 p번째 픽셀을 중심으로 기설정된 크기 및 기설정된 형태의 영역을 설정할 수 있다. 상기 영역의 크기 및 형태는 프레임의 크기, 전경 및 배경의 위치에 기초하여 결정될 수 있다. 예를 들어, 휘도특성획득부(230)는 정사각형, 직사각형, 원형 등으로 상기 영역의 크기 및 형태를 변경할 수 있다. 상기 영역의 크기 및 형태에 따라서 최대휘도영역에 대한 중심 픽셀은 달라질 수 있다.
1430 단계에서 휘도특성획득부(230)는 1420 단계에서 설정된 영역의 S(f,p)를 획득할 수 있다. S(f,p)는 상기 영역에 포함되는 픽셀들의 휘도값들의 합을 의미할 수 있다.
1440 단계에서 휘도특성획득부(230)는 S(f,p)를 MAX와 비교할 수 있다. S(f,p)가 MAX보다 큰 경우, 1450 단계에서, 중심 픽셀은 p로 설정되고, 중심 픽셀이 포함된 프레임은 f로 설정될 수 있다. 또한, MAX는 S(f,p)로 설정될 수 있다. 반면에, S(f,p)가 MAX보다 크지 않은 경우, 중심픽셀, 중심픽셀이 포함된 프레임 및 MAX는 기존의 값을 유지할 수 있다. MAX는 현재까지 획득된 S(f,p) 값들 중 최대값을 의미할 수 있다.
1460 단계에서, 휘도특성획득부(230)는 현재 픽셀 p가 f번째 프레임 내에서 마지막 픽셀인지 결정할 수 있다. 현재 픽셀 p가 f번째 프레임 내에서 마지막 픽셀이 아닌 경우, 휘도특성획득부(230)는 다음 픽셀에 기초하여 1420 단계 내지 1450 단계를 반복할 수 있다. 예를 들어, 1480 단계에서 휘도특성획득부(230)는 p를 1만큼 증가시킬 수 있다.
1470 단계에서, 휘도특성획득부(230)는 현재 프레임 f가 현재 신에서 마지막 프레임인지 결정할 수 있다. 현재 프레임 f가 현재 신 내에서 마지막 프레임이 아닌 경우, 휘도특성획득부(230)는 다음 프레임에 기초하여 1420 단계 내지 1450 단계를 반복할 수 있다. 예를 들어, 1490 단계에서 휘도특성획득부(230)는 f를 1만큼 증가시킬 수 있다.
1410 내지 1490 단계를 통해, 휘도특성획득부(230)는 최대휘도영역의 중심 픽셀을 결정할 수 있다.
도 15는 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 동작을 도시한다.
예를 들어, 8 비트 뎁스를 갖는 타이틀 또는 영상(1500)은 제1 신(1510), 제2 신(1520), 제3 신(1530) 및 제4 신(1540)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1530)은 제N 프레임(1550), 제N+1 프레임(1560), 제N+2 프레임(1570)을 포함한 복수 개의 프레임들로 분할될 수 있다.
예를 들어, 제3 신(1530)의 최대휘도영역의 중심 픽셀은 제N+1 프레임 내에 존재하는 태양의 중심에 해당하는 픽셀(1580)이 될 수 있다. 휘도특성획득부(230)는 가로 및 세로가 n 픽셀 길이에 해당하는 영역(1590)을 설정하고, 상기 영역(1590)의 위치를 현재 신 내에서 옮겨가면서, 상기 영역(1590)에 포함된 픽셀들의 휘도값들의 합이 최대가 되는 위치를 결정할 수 있다. 도 15에 도시된 바와 같이, 휘도특성획득부(230)는 상기 영역(1590)의 위치를 수평 방향으로 이동시킬 수 있다.
휘도특성획득부(230)는 중심 픽셀을 결정하기 위해, 상기 영역(1590)을 제3 신 내에서 가로 방향, 세로 방향, 대각선 방향과 같이 다양한 방향으로 이동시킬 수 있다. 상기 영역(1590)의 이동 방향은 프레임의 크기에 기초하여 결정될 수 있다. 예를 들어, 프레임의 가로 길이가 세로 길이 보다 긴 경우, 상기 영역(1590)의 이동 방향은 가로 방향이 될 수 있다. 또 다른 예로, 프레임의 세로 길이가 가로 길이 보다 긴 경우, 상기 영역(1590)의 이동 방향은 세로 방향이 될 수 있다. 또 다른 예로, 휘도특성획득부(230)는 프레임 내의 전경 및 배경의 위치에 기초하여 상기 영역(1590)의 이동 방향을 결정할 수 있다.
도 16은 현재 신의 최대휘도영역의 중심 픽셀을 결정하는 또 다른 동작을 도시한다.
휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 일부를 선택하고, 선택된 픽셀들 중에서 최대휘도영역의 중심 픽셀을 결정할 수 있다. 휘도특성획득부(230)는 현재 신에 포함된 픽셀들 중 기설정된 좌표에 위치하는 픽셀들을 선택할 수 있다. 또한, 휘도특성획득부(230)는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
도 16에 도시된 바와 같이, 예를 들어 타이틀 또는 영상(1600)은 제1 신(1610), 제2 신(1620), 제3 신(1630) 및 제4 신(1640)을 포함한 복수 개의 신들로 분할될 수 있다. 제3 신(1630)은 제N 프레임(1650), 제N+1 프레임(1660), 제N+2 프레임(1670)을 포함한 복수 개의 프레임들로 분할될 수 있다. 휘도특성획득부(230)는 제3 신의 평균 휘도값을 획득하기 위하여, 제3 신의 픽셀들 중, 프레임 내에서 우측 상단에 위치하는 픽셀들을 선택할 수 있다. 휘도특성획득부(230)는 제N 프레임(1650)의 우측 상단에 위치하는 픽셀들(1655), 제N+1 프레임(1660)의 우측 상단에 위치하는 픽셀들(1665) 및 제N+2 프레임(1670)의 우측 상단에 위치하는 픽셀들(1675)을 선택할 수 있다.
예를 들어, 제3 신(1630)의 최대휘도영역의 중심 픽셀은 제N+1 프레임 내에 존재하는 태양의 중심에 해당하는 픽셀(1680)이 될 수 있다. 휘도특성획득부(230)는 가로 및 세로가 n 픽셀 길이에 해당하는 영역(1695)을 설정하고, 상기 영역의 중심점을 선택된 픽셀들 내에서 옮겨가면서, 상기 영역(1695)에 포함된 픽셀들의 휘도값들의 합이 최대가 되는 위치를 결정할 수 있다.
도 17은 현재 신의 최대휘도영역을 획득하는 방법에 대한 흐름도이다.
휘도특성획득부(230)는 중심 픽셀의 위치 및 중심 픽셀의 휘도값에 기초하여 최대휘도영역의 면적을 획득할 수 있다. 예를 들어, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임의 픽셀들 중에서, 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득할 수 있다. 제1 픽셀들의 개수는 최대휘도영역의 면적이 될 수 있다.
구체적으로 1710 단계에서, 휘도특성획득부(230)는 최대휘도영역을 구하기 위한 인자들을 초기화할 수 있다. 예를 들어, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임 내의 현재 픽셀의 번호인 p를 0으로 초기화하고, 최대휘도영역의 면적을 0으로 초기화 할 수 있다.
1720 단계에서, 휘도특성획득부(230)는 p번째 픽셀의 휘도값과 중심 픽셀의 휘도값 사이의 차이에 대한 절대값이 임계 범위 이내인지를 결정할 수 있다. 또한, 휘도특성획득부(230)는 p번째 픽셀과 중심 픽셀간의 거리가 임계 거리 이내인지를 결정할 수 있다.
상기 절대값이 임계 범위 이내이고 상기 거리가 임계 거리 이내인 경우, 휘도특성획득부는 p번째 픽셀은 최대휘도영역으로 포함될 수 있다. 따라서, 휘도특성획득부(230)는 1730 단계에서 최대휘도영역의 면적을 1만큼 증가시킬 수 있다.
반면에, 상기 절대값이 임계 범위를 벗어나거나 상기 거리가 임계 거리보다 긴 경우, p번째 픽셀은 최대휘도영역에서 제외될 수 있다. 따라서, 휘도특성획득부(230)는 최대휘도영역의 면적을 기존의 값으로 유지할 수 있다.
1740 단계에서, 휘도특성획득부(230)는 현재 픽셀인 p번째 픽셀이 중심 픽셀이 포함된 프레임 내에서 마지막 픽셀인지를 결정할 수 있다. 현재 픽셀인 p번째 픽셀이 마지막 픽셀이 아닌 경우, 휘도특성획득부(230)는 다음 픽셀에 기초하여, 1720 단계 내지 1730 단계를 반복할 수 있다. 예를 들어, 1750 단계에서 휘도특성획득부(230)는 p를 1만큼 증가시킬 수 있다.
1710 단계 내지 1740 단계를 통해, 휘도특성획득부(230)는 중심 픽셀이 포함된 프레임 내 픽셀들 중에서, 최대휘도영역에 포함되는 제1 픽셀들을 선택할 수 있다. 또한, 선택된 제1 픽셀들의 개수는 최대휘도영역의 면적이 될 수 있다.
도 18은 현재 신의 최대휘도영역을 획득하는 동작을 도시한다.
도 18은 도 15에서 전술한 중심 픽셀을 선택하기 위한 기설정된 크기 및 기설정된 형태의 영역(1590)과 최대휘도영역(1800)을 도시한다.
도 14 내지 도 16을 참조하여 전술한 방법을 통해, 휘도특성획득부(230)는 현재 신의 픽셀들 중에서 최대휘도영역에 대한 중심 픽셀(1580)을 결정할 수 있다. 예를 들어, 휘도특성획득부(230)는 도 15의 중심 픽셀이 포함된 제N+1 프레임(1560) 내 픽셀들 중에서, 중심 픽셀의 휘도값과 임계 범위 이하로 차이나는 휘도값을 갖고, 중심 픽셀로부터 임계 거리 내에 위치하는 제1 픽셀들을 결정할 수 있다. 또한, 제1 픽셀들의 개수는 최대휘도영역(1800)의 면적이 될 수 있다.
중심 픽셀을 선택하기 위한 상기 영역(1590)과 최대휘도영역(1800)은 서로 독립적일 수 있다. 최대휘도영역(1800)는 중심 픽셀을 선택하기 위한 상기 영역(1590)을 포함할 수 도 있고, 포함하지 않을 수 도 있다. 전술한 바와 같이, 중심 픽셀을 선택하기 위한 상기 영역(1590)의 크기 및 형태는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여 설정될 수 있다. 또한, 최대휘도영역(1800)의 형태 및 면적은 중심 픽셀의 휘도값 및 중심 픽셀의 위치에 기초하여 설정될 수 있다.
도 19는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 방법에 대한 흐름도이다.
1910 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값 및 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 현재 신의 휘도값에 대해 톤맵핑을 수행할 수 있다.
구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다.
1920 단계에서, 톤맵핑부(240)는 톤맵핑된 휘도값을 이용하여, 현재 신을 디스플레이 할 수 있다. 영상 처리 장치(100)가 보정된 영상을 타겟 시스템(290)에 전송하는 경우, 영상 처리 장치(100)는 디스플레이부(830)를 포함하지 않을 수 있고, 영상처리방법(900)은 1910 단계를 생략할 수 있다.
도 20은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 일례를 도시한다. 구체적으로, 도 20은 톤맵핑부(240)가 제1 메타데이터에 기초하여 톤맵핑을 수행하는 동작을 도시한다.
예를 들어, 도 20에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak) 및 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값(SCENE_PEAK)은 500 nit로 동일할 수 있다. 또한, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL)은 1000 nit가 될 수 있다.
도 20의 그래프는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL) 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak) 500 nit로 이루어진 지점(2020)과 원점(2010)을 잇는 1차 선형 톤맵핑 함수(2000)를 포함한다.
또한, 도 20의 그래프는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 500 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit로 이루어진 지점(2040)과 원점(2010)을 잇는 1차 선형 톤맵핑 함수(2030)를 포함한다.
도 20의 그래프의 x축은 영상 처리 장치(100)에 입력된 원본 영상의 휘도값에 해당하고, 그래프의 y축은 영상 처리 장치(100)에서 출력된 톤맵핑된 영상의 휘도값에 해당할 수 있다.
예를 들어, 입력 영상의 휘도값이 500 nit에 해당하는 경우, 2000 톤맵핑 함수에 의해 250 nit의 톤맵핑된 휘도값이 획득될 수 있고, 2030 톤맵핑 함수에 의해 500 nit의 바이패스된 휘도값이 획득될 수 있다.
영상의 휘도 특성을 고려하는 2000 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2030 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 도 20의 경우, 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값(SCENE_PEAK)이 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)과 동일하므로, 원본 영상의 휘도값은 2030 톤맵핑 함수에 의하여 바이패스 될 수 있다. 따라서, 톤맵핑부(240)가 2030 톤맵핑 함수를 이용하여 입력 영상에 대해 톤맵핑을 수행하면, 타겟 시스템의 타겟 디스플레이에서 디스플레이 되는 영상은 원본과 동일할 수 있다.
반면에, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값(MAX_CLL)은 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)의 두배이므로, 원본 영상의 휘도값은 2000 톤맵핑 함수에 의하여 절반이 될 수 있다. 따라서, 톤맵핑부(240)가 2000 톤맵핑 함수를 이용하여 입력 영상에 대해 톤맵핑을 수행하면, 타겟 시스템의 타겟 디스플레이에서 디스플레이 되는 영상은 불필요한 톤맵핑에 의하여 영상이 어두워질 수 있다.
도 21은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다. 구체적으로, 도 21은 영상 처리 장치(100)가 제1 메타데이터에 기초하여 영상의 현재 신의 휘도값에 대해 톤맵핑을 수행하는 방법의 흐름도이다.
2110 단계에서, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제1 메타데이터는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2120 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값에 기초하여, 현재 신에 대해 톤맵핑을 수행할 수 있다. 구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다. 마스터링 디스플레이의 실제 최대 디스플레이 휘도값에 기초한 톤맵핑에 대해서는 이하 도 21 내지 도 24를 참조하여 더욱 상세히 설명한다.
도 22는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 22는 영상의 다이나믹 레인지를 좁히는 동작을 도시한다.
도 22의 그래프(2200)는 원본 휘도값의 코드 벨류(code value)에 따른 톤맵핑된 휘도값을 도시한다. 구체적으로, 그래프(2200)의 x축은 원본 영상의 휘도값을 0에서 1사이의 코드 벨류(code value)로 정규화한 값에 해당할 수 있다. 예를 들어, 마스터링 디스플레이 장치의 이상적인 최대 휘도값 또는 영상의 휘도 특성에 따른 실제 최대 휘도값은 1에 해당할 수 있고, 마스터링 디스플레이 장치의 최소 휘도값은 0에 해당할 수 있다. 그래프(2200)의 y축은 보정 영상의 톤맵핑된 휘도값에 해당할 수 있다.
예를 들어, 도 22에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 500 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 크기 때문에, 도 22의 톤맵핑은 영상의 다이나믹 레인지를 좁힐 수 있다.
도 22의 그래프(2200)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2220)를 포함한다. 구체적으로 2220 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한, 2220 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2240)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2220 톤맵핑 함수는 2240 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 22의 그래프(2200)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2210)를 포함한다. 구체적으로 2210 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한 2210 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2230)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2210 톤맵핑 함수는 2230 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2200) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2230은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2210 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수는 2240 직선에 기초하므로, 2220 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값이 원본 휘도값을 초과할 수 있다. 따라서, 2220 톤맵핑 함수에 의하면, 원본 영상의 일부 휘도값은 밝아지고 원본 영상의 다른 일부 휘도값은 어두워질 수 있다. 예를 들어, 2220 톤맵핑 함수와 2230 직선이 만나는 지점인 코드 벨류 0.7을 기준으로, 2220 톤맵핑 함수의 결과가 달라질 수 있다. 2220 톤맵핑 함수는 코드 벨류 0부터 코드 벨류 0.7에 해당하는 원본 영상의 휘도값에 대해 원본 영상의 휘도값보다 더 밝아진 톤맵핑된 휘도값을 획득할 수 있다. 영상의 다이나믹 레인지를 좁히는 톤맵핑이 수행되어야 함에도 불구하고, 2220 톤맵핑 함수에 의하면 영상의 일부가 더 밝아질 수 있다. 그래프(2200)는 2220 톤맵핑 함수에 의하여 원본 휘도값보다 불필요하게 델타(△)만큼 밝아진 톤맵핑된 휘도값을 포함한다. 또한, 2220 톤맵핑 함수는 코드 벨류 0.7 부터 코드 벨류 1에 해당하는 원본 영상의 휘도값에 대해, 원본 영상의 휘도값보다 더 어두워진 톤맵핑된 휘도값을 획득할 수 있다. 따라서, 영상의 휘도 특성을 고려하지 않는 2220 톤맵핑 함수를 이용하면, 영상의 일부는 원본 영상보다 더 밝아지고 다른 일부는 원본 영상보다 더 어두워지는 결과가 발생하여, 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2210 톤맵핑 함수는 원본 영상에 해당하는 2230 직선에 기초하므로, 2210 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 일괄되게 어두워질 수 있다. 원본 영상의 다이나믹 레인지를 좁히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 불필요하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2210 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 23은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 23은 영상의 다이나믹 레인지를 넓히는 동작을 도시한다.
예를 들어, 도 23에 도시된 바와 같이, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 2000 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 작기 때문에, 도 23의 톤맵핑은 영상의 다이나믹 레인지를 넓힐 수 있다. 영상의 다이나믹 레인지를 넓히는 톤맵핑은 역 톤맵핑(inverse tone mapping)이라고도 한다.
도 23의 그래프(2300)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit에 기초하는 톤맵핑 함수(2320)를 포함한다. 구체적으로 2220 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit)를 지날 수 있다. 또한, 2320 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2340)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2320 톤맵핑 함수는 2340 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 23의 그래프(2300)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit에 기초하는 톤맵핑 함수(2310)을 포함한다. 구체적으로 2310 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 2000 nit)를 지날 수 있다. 또한 2310 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2330)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2310 톤맵핑 함수는 2330 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2300) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2330은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2310 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수는 2340 직선에 기초하므로, 2320 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 과도하게 톤맵핑 될 수 있다. 예를 들어, 그래프(2300)는 2320 톤맵핑 함수에 의하여 원본 휘도값보다 델타(△)만큼 과도하게 밝아진 톤맵핑된 휘도값을 포함한다. 따라서, 영상의 휘도 특성을 고려하지 않는 2320 톤맵핑 함수를 이용하면, 영상이 과도하게 밝아져 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2310 톤맵핑 함수는 원본 영상에 해당하는 2330 직선에 기초하므로, 2310 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값을 최대한 유지할 수 있다. 원본 영상의 다이나믹 레인지를 넓히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 과도하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2310 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 24는 톤맵핑 함수를 보정하는 동작을 도시한다. 영상 처리 장치(100)는 마스터링 디스플레이 및 타겟 디스플레이의 특성에 기초하여 생성된 톤맵핑 함수 ft를 보정할 수 있다. 예를 들어, 소비자가 사용하는 디스플레이 장치(이하, '소비자 디스플레이'라고 한다)의 다이나믹 레인지가 타겟 디스플레이의 다이나믹 레인지와 상이한 경우, 영상 처리 장치(100)는 원본 영상에 해당하는 함수 fs 및 톤맵핑부(240)에서 이용되는 톤맵핑 함수 ft를 이용하여, 소비자 디스플레이에 적용할 수 있는 새로운 톤 맵핑 함수 fc를 생성할 수 있다.
소비자 디스플레이의 다이나믹 레인지가 마스터링 디스플레이의 다이나믹 레인지에 포함되고, 타겟 디스플레이의 다이나믹 레인지가 소비자 디스플레이의 다이나믹 레인지에 포함되는 경우, 소비자 디스플레이는 ft에 의해 톤맵핑된 영상을 디스플레이 할 수 있다. 또는, 소비자 디스플레이는 원본 영상에 더욱 가까운 영상을 디스플레이 하기 위하여 fs 및 ft에 기초하여 새로운 톤맵핑 함수 fc를 생성할 수 있다. 예를 들어, 소비자 디스플레이는 수학식 2와 같이, 원본 영상에 해당하는 fs에 제1 가중치를 적용하고, 영상 처리 장치(100)에서 이용되는 톤맵핑 함수 ft에 제2 가중치를 적용하여 새로운 톤맵핑 함수 fc를 생성할 수 있다.
Figure PCTKR2016004862-appb-M000002
도 25는 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 또 다른 방법의 흐름도이다. 구체적으로, 도 25는 영상 처리 장치(100)가 제1 메타데이터 및 제2 메타데이터에 기초하여 영상의 현재 신의 휘도값에 대해 톤맵핑을 수행하는 방법의 흐름도이다.
2510 단계에서, 휘도특성획득부(230)는 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제1 메타데이터는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제1 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2520 단계에서, 휘도특성획득부(230)는 제2 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 획득할 수 있다. 구체적으로, 수신부(110)에서 수신된 제2 메타데이터는 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함할 수 있다. 휘도특성획득부(230)는 입력 영상의 현재 신의 휘도 특성을 획득하고, 제2 메타데이터에 기초하여, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득할 수 있다.
2530 단계에서, 톤맵핑부(240)는 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값에 기초하여, 현재 신에 대해 톤맵핑을 수행할 수 있다. 구체적으로, 톤맵핑부(240)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득할 수 있다. 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값에 기초한 톤맵핑에 대해서는 이하 도 26을 참조하여 더욱 상세히 설명한다.
도 26은 영상의 휘도 특성에 기초하여 톤맵핑을 수행하는 동작의 또 다른 예를 도시한다. 구체적으로, 도 26은 영상의 다이나믹 레인지를 좁히는 동작을 도시한다.
도 26의 그래프(2200)는 원본 휘도값의 코드 벨류(code value)에 따른 톤맵핑된 휘도값을 도시한다. 구체적으로, 그래프(2600)의 x축은 원본 영상의 휘도값을 0에서 1사이의 코드 벨류(code value)로 정규화한 값에 해당할 수 있다. 예를 들어, 마스터링 디스플레이 장치의 이상적인 최대 휘도값 또는 영상의 휘도 특성에 따른 실제 최대 휘도값은 1에 해당할 수 있고, 마스터링 디스플레이 장치의 최소 휘도값은 0에 해당할 수 있다. 그래프(2600)의 y축은 보정 영상의 톤맵핑된 휘도값에 해당할 수 있다.
예를 들어, 도 26에 도시된 바와 같이, 영상의 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값은 400 nit가 될 수 있고, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값(Target Display Peak)은 500 nit가 될 수 있다. 또한, 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값은 600 nit가 될 수 있고, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값은 1000 nit가 될 수 있다. 마스터링 디스플레이의 최대 디스플레이 휘도값이 타겟 디스플레이의 최대 디스플레이 휘도값보다 크기 때문에, 도 26의 톤맵핑은 영상의 다이나믹 레인지를 좁힐 수 있다.
도 26의 그래프(2600)는 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1000nit 및 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit에 기초하는 톤맵핑 함수(2620)를 포함한다. 구체적으로 2620 톤맵핑 함수는 (코드 벨류 1, 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값 500 nit)를 지날 수 있다. 또한, 2620 톤맵핑 함수는 원점과 (코드 벨류 1, 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값 1,000 nit)를 잇는 직선(2640)을 포함할 수 있다. 임계값 TM2 이하의 코드 벨류에 대해, 2620 톤맵핑 함수는 2640 직선에 해당할 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
또한, 도 26의 그래프(2600)는 영상의 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 600 nit 및 영상의 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 400 nit에 기초하는 톤맵핑 함수(2610)을 포함한다. 구체적으로 2610 톤맵핑 함수는 (코드 벨류 1, 현재 신의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값 400 nit)를 지날 수 있다. 또한 2610 톤맵핑 함수는 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 6000 nit)를 잇는 직선(2630)을 포함할 수 있다. 임계값 TM1 이하의 코드 벨류에 대해, 2610 톤맵핑 함수는 2630 직선에 해당할 수 있고, 원본 휘도값이 바이패스 될 수 있다. 또한, 임계값 TM1 이상의 코드 벨류에 대해, 원본 휘도값은 톤맵핑 될 수 있다. 상기 임계값에 대해서는 도 31 내지 이하 도 33을 참조하여 구체적으로 설명한다.
그래프(2600) 상에서 원점과 (코드 벨류 1, 현재 신의 휘도 특성에 따른 마스터링 디스플레이의 실제 디스플레이 휘도값 600 nit)를 잇는 직선 2630은 영상 제작자 및 컬러리스트가 작성한 영상의 원본 휘도 특성에 해당할 수 있다.
영상의 휘도 특성을 고려하는 2610 톤맵핑 함수는 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수보다 원본 영상에 반영된 영상 제작자의 의도를 더욱 잘 보존할 수 있다.
예를 들어, 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수는 2640 직선에 기초하므로, 2620 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값이 원본 휘도값을 초과할 수 있다. 따라서, 2620 톤맵핑 함수에 의하면, 원본 영상의 일부 휘도값은 밝아지고 원본 영상의 다른 일부 휘도값은 어두워질 수 있다. 예를 들어, 2620 톤맵핑 함수와 2630 직선이 만나는 지점인 코드 벨류 0.7을 기준으로, 2620 톤맵핑 함수의 결과가 달라질 수 있다. 2620 톤맵핑 함수는 코드 벨류 0부터 코드 벨류 0.7에 해당하는 원본 영상의 휘도값에 대해 원본 영상의 휘도값보다 더 밝아진 톤맵핑된 휘도값을 획득할 수 있다. 영상의 다이나믹 레인지를 좁히는 톤맵핑이 수행되어야 함에도 불구하고, 2620 톤맵핑 함수에 의하면 영상의 일부가 더 밝아질 수 있다. 그래프(2600)는 2620 톤맵핑 함수에 의하여 원본 휘도값보다 불필요하게 델타(△)만큼 밝아진 톤맵핑된 휘도값을 포함한다. 또한, 2620 톤맵핑 함수는 코드 벨류 0.7 부터 코드 벨류 1에 해당하는 원본 영상의 휘도값에 대해, 원본 영상의 휘도값보다 더 어두워진 톤맵핑된 휘도값을 획득할 수 있다. 따라서, 영상의 휘도 특성을 고려하지 않는 2620 톤맵핑 함수를 이용하면, 영상의 일부는 원본 영상보다 더 밝아지고 다른 일부는 원본 영상보다 더 어두워지는 결과가 발생하여, 원본 영상의 의도가 왜곡될 수 있다.
반면에, 영상의 휘도 특성을 고려하는 2610 톤맵핑 함수는 원본 영상에 해당하는 2630 직선에 기초하므로, 2610 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 원본 휘도값에 비하여 일괄되게 어두워질 수 있다. 원본 영상의 다이나믹 레인지를 좁히는 톤맵핑의 경우, 영상의 휘도 특성을 고려하면 원본 영상의 휘도값을 불필요하게 증가시키는 경우를 제거할 수 있다. 따라서, 영상의 휘도 특성을 고려하는 2610 톤맵핑 함수를 이용하면, 원본 영상의 의도를 효율적으로 보존할 수 있다.
도 22의 2200 그래프와 도 26의 2600 그래프 비교하면, 2610 톤맵핑 함수는 2210 톤맵핑 함수에 비하여 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 더 고려할 수 있다. 2210 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값인 400 nit 보다 크고 타겟 디스플레이의 실제 최대 디스플레이 휘도값인 500 nit 보다 작은 값을 가질 수 있다. 영상의 휘도 특성에 따른 소비 전력의 문제로 타겟 디스플레이는 400 nit 를 초과하는 휘도값을 디스플레이 하지 못할 수 있다. 따라서, 400 nit 이상의 톤맵핑된 휘도값은 원본 영상의 의도를 왜곡할 수 있다. 반면에, 2610 톤맵핑 함수에 의해 획득된 톤맵핑된 휘도값은 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값인 400 nit를 초과하지 않을 수 있다. 따라서, 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 뿐만 아니라, 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값까지 고려할 때, 원본 영상의 의도가 더욱 잘 보존될 수 있다.
도 27은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 방법에 대한 흐름도이다.
같은 컬러라고 하여도, 상기 컬러의 휘도값이 낮을수록 상기 컬러에 대해 인간이 인지하는 채도값은 낮아질 수 있고, 상기 컬러의 휘도값이 높을수록 상기 컬러에 대해 인간이 인지하는 채도값은 높아질 수 있다. 이러한 컬러 현상을 헌트 효과(hunt effect)라고 한다.
마찬가지로 원본 영상의 휘도값이 톤맵핑에 의해 낮아지면, 원본 영상에 대해 인간이 인지하는 채도값 보다 톤맵핑된 영상에 대해 인간이 인지하는 채도값이 더 낮아질 수 있다. 원본 영상의 휘도값이 톤맵핑에 의해 높아지면, 원본 영상에 대해 인간이 인지하는 채도값 보다 톤맵핑된 영상에 대해 인간이 인지하는 채도값이 더 높아질 수 있다. 따라서, 영상 처리 장치(100) 및 영상처리방법(900)이 톤맵핑된 영상의 채도값을 함께 보정하면 원본 영상의 의도를 더욱 효율적으로 보존할 수 있다.
2710 단계에서, 채도보정부(250)는 영상의 원본 휘도값과 톤맵핑된 휘도값에 기초하여, 영상의 채도값을 보정할 수 있다 구체적으로, 채도보정부(250)는 현재 신의 프레임에 포함된 픽셀의 원본 휘도값 및 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정할 수 있다. 예를 들어, 상기 픽셀의 톤맵핑된 휘도값보다 원본 휘도값이 낮은 경우 채도보정부(250)는 상기 픽셀의 채도값을 높일 수 있고, 상기 픽셀의 톤맵핑된 휘도값보다 원본 휘도값이 높은 경우 채도보정부(250)는 상기 픽셀의 채도값을 낮출 수 있다.
보정된 채도값은 원본 휘도값의 로그 스케일 및 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정될 수 있다. 컬러에 대한 인간의 인지 능력은 로그 스케일에 기초할 수 있다. 컬러에 대한 인간의 인지 능력은 어두운 색상에 대해 상대적으로 더 민감하고 밝은 색상에 대하여 상대적으로 더 둔감할 수 있다. 따라서, 원본 영상의 휘도값과 톤맵핑된 영상의 휘도값의 차이가 일정하더라도, 원본 영상의 휘도값이 낮을수록 채도 보정의 강도가 증가할 수 있고, 보정된 채도값과 원본 채도값의 차이가 커질 수 있다. 예를 들어, 원본 휘도값이 1000 nit이고 보정된 휘도값이 900 nit 인 경우, 채도 보정의 강도는 log(1000/900) 가 될 수 있다. 반면 원본 휘도값이 500 nit 이고 보정된 휘도값이 400 nit 인 경우, 채도 보정의 강도는 log(500/400) 이 될 수 있다.
도 28은 톤맵핑된 휘도값에 기초하여 영상의 채도값을 보정하는 동작을 도시한다.
2810 그래프는 원본 휘도값의 코드 벨류에 따른 톤맵핑된 휘도값을 도시한다. 톤맵핑부(240)는 2810 그래프의 톤맵핑 함수(2820)에 따라 원본 휘도값에 대해 톤맵핑을 수행할 수 있다. 2840 그래프는 원본 휘도값의 코드 벨류에 따른 채도 보정의 강도를 도시한다. 채도보정부(250)는 2840 그래프의 채도보정함수(2850)에 따라 원본 채도값을 보정할 수 있다. Saturation gain 이 높을 수 록, 채도보정부(250)의 채도 보정 강도가 강해질 수 있다.
채도보정부(250)는 픽셀의 휘도값이 임계값 TMx를 초과하는 경우 상기 픽셀의 채도값을 보정하고, 픽셀의 휘도값이 임계값 TMx 이하인 경우 채도값을 바이패스 할 수 있다. 전술한 바와 같이, 톤맵핑부(240)는 임계값을 기준으로 원본 휘도값을 바이패스 하거나 톤맵핑 할 수 있다. 톤맵핑부(240)가 픽셀의 원본 휘도값을 바이패스 하는 경우 인간의 인지 채도값이 유지될 수 있으므로, 채도보정부(250)는 상기 픽셀의 채도값을 바이패스 할 수 있다. 구체적으로, 2810 그래프를 참조하면, 톤맵핑부(240)는 톤맵핑 함수(2820)에 따라 TMx 이하의 코드 벨류에 해당하는 원본 휘도값을 바이패스 할 수 있고, 채도보정부(250)는 채도보정함수(2850)에 따라 TMx 이하의 코드 벨류에 해당하는 원본 휘도값을 갖는 픽셀의 채도값을 바이패스 할 수 있다. 또한, 채도보정부(250)는 TMx 를 초과하는 코드 벨류에 해당하는 원본 휘도값을 갖는 픽셀에 대해 채도 보정을 수행할 수 있다.
이하 도 29 내지 도 33을 참조하여, 영상 처리 장치(2900)가 영상의 휘도 특성에 기초하여 톤맵핑 및 채도 보정을 수행하는 구체적인 예시에 대하여 설명한다.
도 29는 통합된 다이나믹 메타데이터(unified Dynamic Metadata)를 이용하여 영상의 휘도 특성에 따라 톤맵핑 및 채도 보정을 수행하는 영상 처리 장치의 블락도이다.
통합된 다이나믹 메타데이터는 원본 영상(2910)의 휘도 특성에 따라 값이 변동하는 다이나믹 메타데이터, 원본 영상의 휘도 특성에 무관하게 값이 일정한 스태틱 메타데이터를 포함할 수 있다. 또한 통합된 다이나믹 메타데이터는 사용자 입력 파라미터를 더 포함할 수 있다.
구체적으로, 도 29에 도시된 바와 같이, 스태틱 메타데이터는 SMPTE(the Society of Motion Picture and Television Engineers) ST2086 표준에 따른 메타데이터를 포함할 수 있다. 예를 들어, 스태틱 메타데이터는 마스터링 디스플레이의 이상적인 최소 디스플레이 휘도값인 'MinLum of Source Mastering Monitor', 마스터링 디스플레이의 이상적인 최대 디스플레이 휘도값인 'MaxLum of Source Mastering Monitor', 마스터링 디스플레이의 색공간에 대한 화이트 포인트의 x,y 색좌표인 'White Point', 마스터링 디스플레이의 색공간에 대한 프라이머리 컬러의 x,y 색좌표인 'Primaries '를 포함할 수 있다. 또한, 스태틱 메타데이터는 타겟 디스플레이의 이상적인 최소 디스플레이 휘도값인 'MinLum of Target System', 타겟 디스플레이의 이상적인 최대 디스플레이 휘도값인 'MaxLum of Target System'를 포함할 수 있다.
표 1은 다이나믹 메타데이터 및 사용자 입력 파라미터의 일 예시를 나타낸다.
Metadata Specification
The metadata from the source/target system Dynamic peak luminance characteristics- SOURCE_PEAK_BEHAVIOR (of the source mastering monitor)- TARGET_PEAK_BEHAVIOR (of the target system)
The metadata from contents -Scene-wise maximum of the color components {R,G,B} (SCENE_MAX)- Scene-wise average of maximum of color component values {R, G, B} (SCENE_AVG)- Scene-wise area of the brightest pixels (SCENE_PEAK_AREA)
User controls SCENE_DYNAMIC_FLAGTONE_PRESERVING_LUMCOLOR_SATURATION_WEIGT
SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR는 원본 영상(2910)의 휘도 특성에 따라 변동하는 다이나믹 메타데이터에 해당할 수 있다. SOURCE_PEAK_BEHAVIOR는 영상의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 포함하는 메타데이터가 될 수 있고, 마스터링 디스플레이를 포함하는 소스 시스템으로부터 수신될 수 있다. TARGET_PEAK_BEHAVIOR는 영상의 휘도 특성에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 포함하는 메타데이터가 될 수 있고, 타겟 디스플레이를 포함하는 타겟 시스템(2990)으로부터 수신될 수 있다. SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR는 각각 도 3 내지 도 7을 참조하여 전술한 제1 메타데이터 및 제2 메타데이터에 해당할 수 있다.
SCENE_MAX, SCENE_AVG, SCEN_PEAK_AREA는 영상 처리 장치(2900)가 획득한 원본 영상(2910)의 휘도 특성에 해당하는 메타데이터가 될 수 있다. 구체적으로, SCENE_MAX는 원본 영상(2910)의 현재 신 내 RGB 컬러 성분들 중 최대값에 해당할 수 있다. SCENE_AVG는 도 10 내지 도 12를 참조하여 설명한 원본 영상(2910)의 현재 신의 평균 휘도값에 해당할 수 있다. 또한, SCENE_AVG는 픽셀의 RGB 컬러 성분들 중 최대값에 기초하여 획득될 수 있다. SCENE_PEAK_AREA는 도 13 내지 도 18을 참조하여 설명한 원본 영상(2910)의 현재 신 내 최대휘도영역의 면적에 해당할 수 있다.
SCENE_DYNAMIC_FLAG, TONE_PRESERVING_LUM, COLOR_SATURATION_WEIGT 는 사용자가 설정할 수 있는 영상 처리 장치(2900)의 입력 파라미터에 해당할 수 있다. SCENE_DYNAMIC_FLAG 는 도 10을 참조하여 설명한 원본 영상(2910)의 현재 신의 휘도 특성을 획득할지 여부를 지시하는 플래그에 해당할 수 있다. TONE_PRESERVING_LUM 는 원본 영상(2910)의 현재 신에 대한 휘도 보존값에 해당할 수 있으며, COLOR_SATURATION_WEIGT는 채도 보정의 강도를 조절하는 인풋 파라미터에 해당할 수 있다.
도 29의 영상 처리 장치(2900)는 디코더(2920), 쉐이퍼(2930), 컨버터(2940), 휘도특성획득부(2950), 톤맵핑부(2960), 채도보정부(2970), 인버스컨버터(2945), 인버스쉐이퍼(2935) 및 인코더(2925)를 포함할 수 있다. 도 29의 영상 처리 장치(2900)는 도 1의 영상 처리 장치(100)의 제어부(120)에 포함될 수 있다. 구체적으로, 도 29의 영상 처리 장치(2900)가 도 1의 제어부(120)에 포함되는 경우, 도 29의 디코더(2920), 휘도특성획득부(2950), 톤맵핑부(2960), 채도보정부(2970) 및 인코더(2925)는 도 2의 디코더(210), 휘도특성획득부(230), 톤맵핑부(240), 채도보정부(250) 및 인코더(270)에 대응될 수 있다. 또한, 도 29의 쉐이퍼(2930) 및 컨버터(2940)는 도 2의 컨버터(220)에 포함될 수 있고, 도 29의 인버스컨버터(2945) 및 인버스쉐이퍼(2935)는 도 2의 인버스컨버터(260)에 포함될 수 있다. 따라서, 도 1과 중복되는 설명은 생략한다.
영상 처리 장치(2900)에 입력된 원본 영상(2910)이 부호화 되어 있는 경우, 디코더(2920)는 원본 영상(2910)을 복호화하고, 복호화된 원본 영상(2910)을 획득할 수 있다. 또한, 디코더(2920)는 복호화된 원본 영상(2910)이 YCbCr 포맷을 갖는 경우, YCbCr 포맷의 복호화된 원본 영상(2910)을 RGB 포맷으로 변환할 수 있다.
쉐이퍼(2930)는 필요한 경우, 원본 영상(2910)에 대해 선형화를 수행할 수 있다. 예를 들어, 쉐이퍼(2930)는 원본 영상(2910)에 대해 SMPTE((the Society of Motion Picture and Television Engineers) ST2084에 따른 선형화를 수행할 수 있다. SMPTE ST2084는 마스터링 디스플레이의 하이 다이나믹 레인지 EOTF(electro-optical transfer function)에 대한 표준일 수 있다. 구체적으로, 쉐이퍼(2930)는 감마 부호화에 의해 비선형화된 원본 영상(2910) 혹은 감마 보정된 원본 영상(2910)에 대해 감마 복호화 혹은 역감마 보정을 수행하여 선형화된 원본 영상(2910)을 획득할 수 있다.
원본 영상(2910)에 대해 톤맵핑을 수행하기 위하여, 컨버터(2940)는 원본 영상(2910)의 원본 색공간을 톤맵핑이 수행되는 워킹(working) 색공간으로 변환할 수 있다. 예를 들어, 컨버터(2940)는 원본 영상(2910)의 프라이머리 컬러(primary color)의 x,y 색좌표 'Primaires' 및 화이트 포인트의 x,y 색좌표 'White Point'를 워킹 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표로 변환할 수 있다. 만약, 원본 영상(2910)의 원본 색공간이 워킹 색공간과 일치하는 경우, 컨버터(2940)는 생략될 수 있다.
휘도특성획득부(2950), 톤맵핑부(2960) 및 채도보정부(2970)의 동작은 표 2로 요약될 수 있다.
구성 요약
휘도특성획득부 (2950)
Figure PCTKR2016004862-appb-I000001
톤맵핑부 (2960)
Figure PCTKR2016004862-appb-I000002
채도보정부 (2970)
Figure PCTKR2016004862-appb-I000003
표 2에서, 휘도특성획득부(2950)는 선형화된 원본 영상인 [R_linear; G_linear; B_linear] 을 입력받고 정규화된 원본 영상인 [R_norm; G_norm; B_norm] 을 출력할 수 있다. 예를 들어, ST2084 표준에서 최대 휘도값은 10,000 nit에 해당할 수 있다. 따라서, 쉐이퍼(2930)가 ST2084 표준에 따라 선형화를 수행한 경우 선형화된 원본 영상을 10,000nit 를 기준으로 정규화하기 위하여, 선형화된 원본 영상에 정규화 팩터(normalization factor) 10,000/ScenePeak 곱할 수 있다.
정규화 팩터는 사용자가 설정할 수 있는 파라미터 SCENE_DYNAMIC_FLAG에 기초하여 설정될 수 있다. 표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 정규화 팩터의 ScenePeak는 원본 영상(2910)의 휘도 특성에 해당하는 SCENE_MAX * 10,000 또는 원본 영상(2910)의 휘도 특성에 따른 타겟 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 TargetPeak 중 큰 값으로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 정규화 팩터는 다이나믹 메타데이터에 기반하여 설정될 수 있다.
반면, 표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, ScenePeak는 스태틱 메타 데이터에 해당하는 MaxLum of Source Mastering Monitor로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, 정규화 팩터는 스태틱 메타데이터에 기반하여 설정될 수 있다.
또한, 표 2에서 전술한 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시할 때, 휘도특성획득부(2950)가 원본 영상(2910)의 휘도 특성을 획득하는 동작은 표 3으로 요약될 수 있다.
Figure PCTKR2016004862-appb-I000004
Figure PCTKR2016004862-appb-I000005
Figure PCTKR2016004862-appb-I000006
신의 최대 휘도값(SCENE_MAX)는 신 내 모든 픽셀들의 RGB 컬러 성분들 중 최대값으로 설정될 수 있다 또는, 신의 최대 휘도값(SCENE_MAX)는 픽셀 셀렉터에 의해 정의된 모든 픽셀들의 RGB 컬러 성분들 중 최대값으로 설정될 수 있다. 픽셀 셀렉터는 프레임의 크기, 전경 및 배경의 위치 등에 기초하여, 현재 신에 포함된 픽셀들 중 일부 픽셀들을 선택할 수 있다.
신의 평균 휘도값(SCENE_AVG)는 신 내 모든 픽셀들의 최대 휘도값들의 평균값으로 설정될 수 있다. 여기서 픽셀의 최대 휘도값이란 도 11을 통해 전술한 바와 같이, 하나의 픽셀의 RGB 컬러 성분들 중 최대값을 의미할 수 있다.
최대휘도영역의 면적(SCEN_PEAK_AREA)은 휘도값에 대한 함수 f(△y) 및 거리에 관한 함수 g(△d) 에 의해 설정될 수 있다. f(△y)는 후보 픽셀(x)의 휘도값에 기초하여, 후보 픽셀(x)이 최대휘도영역에 포함될 수 있는지를 판단할 수 있다. f(△y)는 Y_linear(x,k') 및 scene_region_max 사이의 차분값의 절대값을 입력으로 한다. Y_linear(x,k')은 최대휘도영역의 중심 픽셀(p')이 포함된 프레임(k') 내 후보 픽셀(x)의 휘도값을 의미한다. 후보 픽셀(x)의 휘도값 Y_linear(x,k')은 후보 픽셀(x)의 RGB 컬러 성분을 이용하여 획득될 수 있다. scene_region_max는 최대휘도영역의 중심 픽셀(p')을 중심으로 갖는 MxN 크기의 영역에 포함되는 픽셀들의 평균 휘도값((region_avg(p',k')))을 의미한다. 표 4에 도시된 바와 같이, MxN 영역 내 포함되는 픽셀들의 평균 휘도값((region_avg(p,k)))은, 상기 MxN 영역의 중심이 k' 프레임 내 p' 픽셀이 될 때, MxN 영역의 중심이 신 내의 다른 어떤 픽셀이 될 때보다 클 수 있다. 따라서, k' 프레임 내 p' 픽셀은 최대휘도영역의 중심 픽셀이 될 수 있다. 이하에서는, 설명의 편의를 위하여 scene_region_max를 최대휘도영역의 기준 휘도값이라 한다. 또한, g(△d)는 후보 픽셀(x)의 위치에 기초하여, 후보 픽셀(x)이 최대휘도영역에 포함될 수 있는지를 판단할 수 있다.
후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y1 이하이고, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d1 이하이면, f(△y) = g(△d) = v1 = 1이 되어, 후보 픽셀(x)는 최대휘도영역에 포함될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 이 후보 픽셀(x)에 의해 1만큼 증가할 수 있다.
반면, 후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y2 이상이면, f(△y) = v2 = 0이 되고, 후보 픽셀(x)은 최대휘도영역에서 제외될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 후보 픽셀(x)에 의해 증가하지 않는다.
또한, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d2 이상이면, g(△d) = v2 = 0이 되어, 후보 픽셀(x)을 최대휘도영역에서 제외될 수 있다. 즉, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 후보 픽셀(x)에 의해 증가하지 않는다.
후보 픽셀의 휘도값 Y_linear(x,k') 및 최대휘도영역의 기준 휘도값 scene_region_max 의 차이가 y1 보다 크고 y2 보다 작으면, 0 ≤ f(△y) ≤ 1이 되어, 최대휘도영역의 면적(SCENE_PEAK_AREA)은 1 보다 작은 크기만큼 증가할 수 있다. 또한, 최대휘도영역의 중심 픽셀(p')과 상기 후보 픽셀(x) 사이의 거리가 d1 보다 크고 d2 보다 작으면, 0 ≤ g(△d) ≤ 1 이 되어, 최대휘도영역의 면적(SCENE_PEAK_AREA)은 1 보다 작은 크기만큼 증가할 수 있다.
f(△y) 및 g(△d)는 전술한 1720 단계의 구체적인 예시가 될 수 있다. 다만, 1720 단계에서는 중심 픽셀의 휘도값을 이용하는 반면, f(△y)에서는 최대휘도영역의 기준 휘도값 scene_region_max을 이용한다. 또한, 최대휘도영역의 기준 휘도값 scene_region_max은 전술한 1590 영역에 포함되는 픽셀들의 평균 휘도값에 대응될 수 있다. 또한, 최대휘도영역의 면적(SCEN_PEAK_AREA)은 전술한 1800 영역의 면적에 대응될 수 있다.
또한, 휘도특성획득부(2950)가 다이나믹 메타데이터 SOURCE_PEAK_BEHAVIOR 및 TARGET_PEAK_BEHAVIOR에 기초하여 원본 영상(2910)의 휘도 특성에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값 및 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 획득하는 동작은 표 4로 요약될 수 있다. 도 30은 표 4의 연산 과정을 시계열 순으로 도시한다.
Figure PCTKR2016004862-appb-I000007
SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, SourcePeak는 원본 영상(2910)의 휘도 특성에 따른 마스터링 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 SourcePeak' 으로 설정되고, TargetPeak는 타겟 디스플레이의 정규화된 실제 최대 디스플레이 휘도값 TargetPeak' 로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득할 것을 지시하면, 톤맵핑 및 채도보정의 파라미터 SourcePeak 및 TargetPeak는 다이나믹 메타데이터에 기반하여 설정될 수 있다.
SOURCE_PEAK_BEHAVIOR(scene_avg_norm, SCENE_PEAK_AREA)는 신의 평균 휘도값(SCENE_AVG)을 10000 nit를 기준으로 정규화한 값(scene_avg_norm) 및 최대휘도영역의 면적(SCENE_PEAK_AREA)에 따른 마스터링 디스플레이의 실제 최대 디스플레이 휘도값이 될 수 있다. SourcePeak'은 상기 마스터링 디스플레이의 실제 최대 디스플레이 휘도값을 10000 nit 를 기준으로 정규화한 값에 해당할 수 있다.
TARGET_PEAK_BEHAVIOR(scene_avg_norm, SCENE_PEAK_AREA)는 신의 평균 휘도값(SCENE_AVG)을 10000 nit를 기준으로 정규화한 값(scene_avg_norm) 및 최대휘도영역의 면적(SCENE_PEAK_AREA)에 따른 타겟 디스플레이의 실제 최대 디스플레이 휘도값이 될 수 있다. TargetPeak'은 상기 타겟 디스플레이의 실제 최대 디스플레이 휘도값을 10000 nit 를 기준으로 정규화한 값에 해당할 수 있다.
표 2에서 SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, SourcePeak는 스태틱 메타 데이터에 해당하는 MaxLum of Source Mastering Monitor로 설정되고, TargetPeak는 스태틱 메타 데이터에 해당하는 MaxLum of Target Monitor로 설정될 수 있다. 즉, SCENE_DYNAMIC_FLAG 가 원본 영상(2910)의 휘도 특성을 획득하지 않을 것을 지시하면, 톤맵핑 및 채도보정의 파라미터 SourcePeak 및 TargetPeak는 스태틱 메타데이터에 기반하여 설정될 수 있다.
표 2에서, 톤맵핑부(2960)는 정규화된 원본 영상인 [R_norm; G_norm; B_norm]에 톤 맵핑 가중치(w)를 적용하여 톤맵핑된 영상인 [R_stm; G_stm; B_stm]을 출력할 수 있다. 정규화된 원본 영상인 (R_norm, G_norm, B_norm) 중 최대값을 입력으로 갖는 톤맵핑 함수 f_STM의 출력값이 상기 톤 맵핑 가중치(w)가 될 수 있다. 일반적으로, 톤맵핑 함수 f_STM의 이득(Gain)은 입력값이 높을수록 낮으므로, 정규화된 원본 영상의 RGB 컬러 성분들 중 최대값을 이용하면 과도한 톤맵핑으로 인한 세츄레이션을 방지할 수 있기 때문이다.
톤맵핑부(2960)가 톤맵핑 함수 f_STM을 설정하는 동작은 표 5로 요약될 수 있다. 도 31은 표 5의 연산 과정을 시계열 순으로 도시한다.
Figure PCTKR2016004862-appb-I000008
3100 단계에서, 톤맵핑부(2960)는 원본 영상(2910)의 휘도 특성에 따라 임계값을 설정할 수 있다. 표 5에서, 상기 임계값은 TMx = SCENE_AVG/SCENE_MAX 에 해당한다. 예를 들어, 임계값(TMx)는 신의 평균 휘도값(SCENE_AVG)을 신의 최대 휘도값(SCENE_MAX)으로 나눈 0부터 1사이의 값이 될 수 있다.
3120 단계에서, 톤맵핑부(2960)는 원본 휘도값이 임계값보다 작은지를 판단할 수 있다. 원본 휘도값이 임계값보다 작은 경우, 3130 단계에서 톤맵핑부(2960)는 제1 방식에 따른 톤맵핑을 수행할 수 있다. 또한, 원본 휘도값이 임계값보다 큰 경우, 3140 단계에서 톤맵핑부(2960)는 제2 방식에 따른 톤맵핑을 수행할 수 있다.
표 5에서, 제1 방식에 따른 톤 맵핑은 선형 함수 TMy/(TargetPeak*TMx)*x 가 될 수 있고, 제2 방식에 따른 톤 맵핑은 비선형 함수 fn(x)가 될 수 있다. 구체적으로, 제1 방식에 따른 톤 맵핑은 원점과 (TMx, TMy/TargetPeak)를 연결하는 1차 선형 함수에 해당하고, 제2 방식에 따른 톤 맵핑은 (TMx, TMy/TargetPeak)와 (1,0, TargetPeak)를 연결하는 n차 다항식이 될 수 있다. 도 32는 톤 맵핑 함수 f_STM(3210)의 일 예를 도시한다. 설명의 편의를 위하여, 톤 맵핑 함수 f_STM(3210)의 y 축은 TargetPeak 배만큼 확대되었다.
표 5에서, TMy는 임계값(TMx)을 입력으로 갖는 휘도 보존 함수(f_plinear)의 출력값에 해당할 수 있다. 휘도 보존 함수(f_plinear)는 휘도 보존값(Thx = TONE_PRESERVING_LUM/SourcePeak) 이하의 입력에 대해서는 원점과 (1.0, SourcePeak)를 연결하는 1차 선형 함수에 해당하고, 휘도 보존값(Thx) 이상의 입력에 대해서는 (Thx, Thy) 및 (1.0, TargetPeak)를 연결하는 1차 선형 함수에 해당할 수 있다. 도 32는 휘도 보존 함수 f_plinear(3220)의 일 예를 도시한다.
휘도 보존값(Thx)은 톤 맵핑에 의해 원본 영상(2910)의 휘도값이 증가하지 않는 임계값을 의미할 수 있다. 톤맵핑부(2960)의 입력인 [R_norm; G_norm; B_norm] 중 최대값이 휘도 보존값(Thx) 보다 작은 경우, 톤맵핑부(2960)의 출력인 [R_stm; G_stm; B_stm]은 [R_norm; G_norm; B_norm]과 같거나 작을 수 있다.
도 33은 임계값(TMx) 및 휘도 보존값(Thx)의 관계에 따른 톤 맵핑 함수 f_STM(3310a, 3320a) 및 휘도 보존 함수 f_plinear(3320a, 3320b)의 관계를 도시한다. 전술한 바와 같이, 톤 맵핑 함수 f_STM(3310a, 3310b)의 제1 방식에 따른 톤 맵핑은 원점과 휘도 보존 함수 f_plinear(3320a, 3320b) 상의 한 점(TMx, TMy = f_plinear(TMx))을 연결하는 1차 선형 함수에 해당할 수 있다.
임계값(TMx)이 휘도 보존값(Thx) 보다 작을 때, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310a)는 원본 휘도값을 바이패스하는 1차 선형 함수가 될 수 있다. 이 경우, 톤맵핑부(2960)는 하이 다이나믹 레인지 영상의 밝지 않은 영역을 그대로 보존할 수 있다.
반면, 임계값(TMx)이 휘도 보존값(Thx) 보다 큰 경우, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310b)는 원본 휘도값을 더 작은 값으로 톤 맵핑하는 1차 선형 함수가 될 수 있다. 이 경우, 톤맵핑부(2960)는 하이 다이나믹 레인지 영상의 밝은 영역의 디테일을 보존할 수 있다. 영상 제작자 또는 컬러리스트는 휘도보존값(Thx)을 조절하여 원본 영상의 어두운 영역 휘도 특성을 보존하거나, 밝은 영역의 휘도 특성을 보존할 수 있다.
표 2에서, 채도보정부(2970)는 톤맵핑된 영상인 [R_stm; G_stm; B_stm]을 입력으로 받아 채도보정된 영상 [R_scsm; G_scsm; B_scsm]을 출력할 수 있다. 채도보정부(2970)의 동작은 표 6으로 요약될 수 있다.
Figure PCTKR2016004862-appb-I000009
표 6을 참고하면, 채도보정부(2970)는 톤 맵핑된 영상의 RGB 컬러 성분을 YUV 성분으로 변환하는 단계, 상기 YUV 성분에 대해 채도 보정을 수행하는 단계, 상기 채도 보정된 YUV 성분을 다시 RGB 컬러 성분으로 변환하는 단계를 포함할 수 있다.
채도보정부(2970)는 톤 맵핑된 영상인 [R_stm; G_stm; B_stm]에 대해 EOTF Rec.1886 감마 역보정을 수행하여 선형화하여 [R_stm'; G_stm'; B_stm']를 획득하고, 변환 매트릭스(M_RGB2YUV)를 이용하여 [R_stm'; G_stm'; B_stm']로부터 톤 맵핑된 영상의 휘도 성분 및 채도 성분 [Y_stm; U_stm; V_stm]을 획득할 수 있다. RGB 성분을 YUV 성분으로 변환하는 변환 매트릭스(M_RGB2YUV)는 SMPTE 240M 표준에 의할 수 있다.
채도보정부(2970)는 채도 보정 가중치(S_scsm)을 이용하여 톤 맵핑된 영상의 YUV 성분 [Y_stm; U_stm; V_stm] 으로부터 채도 보정된 영상의 YUV 성분 [Y_scsm; U_scsm; V_scsm]을 획득할 수 있다. 채도 보정 가중치(S_scsm)는 과도한 채도 보정으로 인한 세츄레이션을 방지하기 위하여, S_sm 및 S_scsm 중 작은 값으로 설정될 수 있다. 채도보정부(2970)가 S_sm 및 S_scsm 을 획득하는 동작은 표 7에 의해 요약될 수 있다.
Figure PCTKR2016004862-appb-I000010
채도보정부(2970)는 S_sm을 톤 맵핑된 영상의 RGB 컬러 성분 중 최대값(x_maxRGB)을 입력으로 갖는 채도보정함수(f_SCSM)의 출력값으로 설정할 수 있다. 채도 보정 함수(f_SCSM)는 원본 휘도값의 로그 스케일 및 톤맵핑된 휘도값의 로그 스케일 사이의 비율과 강도 파라미터(S)에 의해 결정될 수 있다. 영상 제작자 및 컬러리스트는 강도 파라미터(S)를 설정하여 채도 보정 함수(f_SCSM)의 채도 보정의 크기를 조절할 수 있다.
도 28에서 전술한 바와 같이, 톤맵핑부(2960)가 픽셀의 원본 휘도값을 바이패스 하는 경우 인간의 인지 채도값이 유지될 수 있으므로, 채도보정부(2970)는 상기 픽셀의 채도값을 바이패스 할 수 있다. 또는, 채도보정부(2970)는 톤맵핑부(2960)에 의해 원본 영상(2910)에서 톤맵핑이 수행된 영역에 대해서만 채도 보정을 수행할 수 있다. 따라서, 도 33을 통해 전술한 바와 같이 임계값(TMx)이 휘도 보존값(Thx) 보다 작을 때, 임계값(TMx) 이하의 입력에 대한 제1 방식의 톤 맵핑 함수(f_STM, 3310a)는 원본 휘도값을 바이패스하고, 임계값(TMx) 이하의 입력에 대한 채도 보정 함수(f_SCSM) 또한 원본 채도값을 바이패스 할 수 있다.
표 7에서, 채도보정부(2970)는 S_max를 컬러 왜곡을 유발하지 않는 최대의 채도 보정 가중치로 설정할 수 있다. 표 7에서 R_scsm', G_scsm', B_scsm' 중 어느 하나라도 음수의 값을 갖거나 1보다 커지게 되는 경우, 컬러 왜곡이 발생할 수 있다. 따라서, 채도보정부(2970)는 표 7에서 R_scsm', G_scsm', B_scsm' 모두가 0 에서 1 사이의 값을 갖게 하는 최대의 k 값을 S_max로 설정할 수 있다.
표 6에서, 채도보정부(2970)는 변환 매트릭스(M_YUV2RGB)를 이용하여 채도 보정된 영상의 YUV 성분 [Y_scsm; U_scsm; V_scsm] 으로부터 채도 보정된 영상의 선형화된 RGB 성분 [R_scsm'; G_scsm'; B_scsm']을 획득할 수 있다. YUV 성분을 RGB 성분으로 변환하는 변환 매트릭스(M_YUV2RGB)는 RGB 성분을 YUV 성분으로 변환하는 변환 매트릭스(M_RGB2YUV)의 역 매트릭스가 될 수 있다. 또한, 채도보정부(2970)는 채도 보정된 영상의 선형화된 RGB 성분 [R_scsm; G_scsm; B_scsm]에 대해 EOTF Rec.1886 감마 보정을 수행하여 최종적으로 선채도보정된 영상의 RGB 성분 [R_scsm; G_scsm; B_scsm]을 획득할 수 있다.
도 29에서, 인버스컨버터(2945)는 보정 영상(2980)의 색공간을 원본 영상(2910)의 원본 색공간으로 변환할 수 있다. 채도보정부(2970)로부터 출력된 보정 영상(2980)은 톤맵핑이 수행되는 워킹 색공간을 가질 수 있다. 인버스컨버터(2945)는 보정 영상(2980)의 색공간을 워킹 색공간에서 원본 영상(2910)의 원본 색공간으로 변환할 수 있다. 예를 들어, 인버스컨버터(2945)는 워킹 색공간에 해당하는 프라이머리 컬러(primary color)의 x,y 색좌표 및 화이트 포인트의 x,y 색좌표를 원본 색공간에 해당하는 프라이머리 컬러의 x,y 색좌표 'Primaires' 및 화이트 포인트의 x,y 색좌표 'White Point'로 변환할 수 있다.
인버스쉐이퍼(2935)는 필요한 경우, 보정 영상(2980)에 대해 비선형화를 수행할 수 있다. 예를 들어, 인버스쉐이퍼(2935)는 보정 영상(2980)에 대해 SMPTE((the Society of Motion Picture and Television Engineers) ST2084에 따른 비선형화를 수행할 수 있다. SMPTE ST2084는 EOTF로부터 도출된 마스터링 디스플레이의 하이 다이나믹 레인지 inverse EOTF(electro-optical transfer function)에 대한 표준일 수 있다. 구체적으로, 인버스쉐이퍼(2935)는 감마 복호화에 의해 선형화된 보정 영상(2980)에 대해 감마 부호화를 수행하여 비선형화된 보정 영상(2980)을 획득할 수 있다.
인코더(2925)는 보정 영상(2980)을 타겟 시스템(2990)에 입력하기 위하여, 보정 영상(2980)을 부호화 할 수 있다. 인코더(2925)에 의해 획득된 부호화된 보정 영상(2980)은 타겟 시스템(2990)으로 입력될 수 있다.
타겟 시스템(2990)은 보정 영상(2980)을 디스플레이 할 수 있다. 보정 영상(2980)의 다이나믹 레인지가 원본 영상(2910)의 다이나믹 레인지와 상이하여도, 영상 처리 장치(2900)에 의해 획득된 보정 영상(2980)은 원본 영상(2910)에 반영된 영상 제작자의 의도를 효과적으로 유지할 수 있다.
도 34는 메타데이터 생성 장치의 블록도이다.
메타데이터 생성 장치(3400)는 영상의 휘도 특성에 따른 디스플레이부(3410)의 실제 최대 디스플레이 휘도값을 지시하는 다이나믹 메타데이터를 생성할 수 있다. 영상의 휘도 특성은 전술한 영상의 평균 휘도값 및 영상 내 화이트패치의 면적을 포함할 수 있다.
메타데이터 생성 장치(3400)는 디스플레이부(3410), 센서(3420) 및 제어부(3430)를 포함할 수 있다.
디스플레이부(3410)는 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이한다. 상기 영역은 전술한 화이트패치에 해당하며, 최대 휘도값 또는 최대 그레이스케일 값을 갖는 적어도 하나의 픽셀일 수 있다. 예를 들어, 8 bit 뎁스의 영상 내 상기 영역은 255 그레이스케일 값을 갖는 M x N 픽셀들에 해당할 수 있다.
센서(3420)는 상기 디스플레이부(3410)가 상기 영상을 디스플레이 할 때, 상기 디스플레이부(3410)에서 디스플레이되는 상기 영역의 휘도값을 측정한다. 센서(3420)가 측정한 디스플레이부(3410)의 휘도값은, 디스플레이부(3410)가 상기 영상을 디스플레이할 때 상기 영역 상에서 측정 가능한 디스플레이부(3410)의 실제 최대 디스플레이 휘도값에 해당할 수 있다. 전술한 바와 같이, 디스플레이부(3410)의 소비 전력이 충분하지 않은 경우, 디스플레이부(3410)의 실제 최대 디스플레이 휘도값은 디스플레이부(3410)의 이상적인 최대 디스플레이 휘도값보다 낮을 수 있다.
제어부(3430)는 상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성한다. 상기 영역의 픽셀 면적은 전술한 화이트 패치의 면적에 해당하며, 상기 영역에 포함된 픽셀들의 개수가 될 수 있다. 또한, 상기 영상의 평균 휘도값이란, 상기 영상 내 포함된 모든 픽셀들의 휘도값들의 평균을 의미할 수 있다.
제어부(3430)는 영상의 휘도 특성을 변경하여 메타데이터를 생성할 수 있다. 예를 들어, 도 3에서 전술한 310, 320, 330, 340 영상과 같이 제어부(3430)는 영상의 평균 휘도값을 변경하거나, 도 4에서 전술한 410, 420, 430, 440 영상과 같이 제어부는 화이트 패치의 면적을 변경할 수 있다. 또는, 제어부(3430)는 영상의 평균 휘도값 및 화이트 패치의 면적을 함께 변경할 수 있다. 또한, 제어부(3430)는 변경된 영상의 휘도 특성에 따른 센서(3420)에서 측정된 디스플레이부(3410)의 실제 최대 디스플레이 휘도값을 메타데이터에 추가할 수 있다.
디스플레이부(3410)가 영상 처리 장치(2900)의 마스터링 디스플레이 장치로 이용되는 경우, 메타데이터는 영상 처리 장치(2900)의 제1 메타데이터로 이용될 수 있다. 또한, 디스플레이부(3410)가 영상 처리 장치(2900)의 타겟 디스플레이 장치로 이용되는 경우, 메타데이터는 영상 처리 장치(2900)의 제2 메타데이터로 이용될 수 있다.
도 35는 메타데이터 생성 방법의 흐름도이다.
3510 단계에서 메타데이터 생성 장치(3400)의 디스플레이부(3410)는 최대 그레이스케일 값을 갖는 영역을 포함하는 영상을 디스플레이할 수 있다.
3520 단계에서 메타데이터 생성 장치(3400)의 센서(3420)는 디스플레이부(3410)에서 디스플레이되는 영상 내 최대 그레이스케일 값을 갖는 영역의 휘도값을 측정할 수 있다.
3530 단계에서 메타데이터 생성 장치(3400)는 최대 그레이스케일 값을 갖는 영역의 픽셀 면적 및 디스플레이부(3410)에서 디스플레이되는 영상의 평균 휘도값에 따른 3520 단계에서 측정된 휘도값을 지시하는 메타데이터를 생성할 수 있다. 3530 단계의 동작은 제어부(3430)에서 수행될 수 있다.
상술한 바와 같이, 영상의 휘도 특성을 고려하여 톤맵핑을 수행하면, 영상의 휘도 특성을 고려하지 않고 톤맵핑을 수행할 때 보다, 톤맵핑된 영상이 원본 영상의 의도를 더욱 효과적으로 유지할 수 있다.
한편, 상술한 실시예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어, 예들 들어, “등등”의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재는, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다.
따라서, "a1 중 적어도 하나, a2 중 적어도 하나 및 a3 중 적어도 하나"라고 명시적으로 기재되지 않는 이상, "a1, a2 및 a3 중 적어도 하나"라는 기재는 "a1 중 적어도 하나", "a2 중 적어도 하나" 및 "a3 중 적어도 하나"라고 해석되지 않음에 유의하여야 한다.

Claims (15)

  1. 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 수신부; 및
    부호화된 영상을 적어도 하나의 신(scene)으로 분할하고, 현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하고,
    상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하고,
    상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 제어부;
    를 포함하는 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 현재 신의 상기 평균 휘도값은 상기 현재 신에 포함된 픽셀의 RGB 성분값들 중 최대값을 이용하여 획득되는 것을 특징으로 하는 영상 처리 장치.
  3. 제1 항에 있어서,
    상기 현재 신의 상기 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값과 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값은 서로 상이한 것을 특징으로 하는 영상 처리 장치.
  4. 제1 항에 있어서,
    상기 제어부는 기설정된 크기의 영역에 포함되는 픽셀들의 휘도값들의 합을 최대로 만드는 상기 영역의 중심 픽셀을 상기 현재 신의 픽셀들 중에서 결정하고, 상기 중심 픽셀이 포함된 프레임의 픽셀들 중에서 상기 중심 픽셀로부터 임계 거리 내에 위치하고, 상기 중심 픽셀의 휘도값으로부터 임계 범위 내의 휘도값을 갖는 제1 픽셀들의 개수를 획득하고,
    상기 현재 신의 휘도 특성은 상기 획득된 제1 픽셀들의 개수를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1 항에 있어서,
    상기 수신부는 상기 현재 신의 상기 휘도 특성을 획득할지 여부를 지시하는 플래그를 수신하고,
    상기 제어부는 상기 획득된 플래그가 상기 현재 신의 상기 휘도 특성을 획득할 것을 지시하는 경우, 상기 현재 신의 상기 휘도 특성을 획득하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1 항에 있어서,
    디스플레이부를 더 포함하고,
    상기 제어부는 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 상기 최대 디스플레이 휘도값 및 상기 획득된 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 상기 최대 디스플레이 휘도값 중 적어도 하나에 기초하여, 상기 현재 신의 프레임에 포함된 픽셀의 원본 휘도값에 대해 톤맵핑(tone mapping)을 수행하여 상기 픽셀의 톤맵핑된 휘도값을 획득하고,
    상기 디스플레이부는 상기 톤맵핑된 휘도값을 이용하여 상기 현재 신을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6 항에 있어서,
    상기 원본 휘도값이 임계값 보다 작을 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제1 방식에 따른 톤맵핑에 의해 획득되고,
    상기 원본 휘도값이 상기 임계값 보다 클 때, 상기 톤맵핑된 휘도 값은 상기 원본 휘도값에 대한 제2 방식에 따른 톤맵핑에 의해 획득되는 것을 특징으로 하는 영상 처리 장치.
  8. 제7 항에 있어서,
    상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 선형 함수에 해당하고, 상기 제2 방식에 따른 톤맵핑은 상기 원본 휘도값과 상기 톤맵핑된 휘도값 사이의 비선형 함수에 해당하는 것을 특징으로 하는 영상 처리 장치.
  9. 제8 항에 있어서,
    상기 임계값이 휘도 보존값 보다 작을 때, 상기 제1 방식에 따른 톤맵핑은 상기 원본 휘도값을 바이패스하는 것을 특징으로 하는 영상 처리 장치.
  10. 제6 항에 있어서,
    상기 제어부는 상기 픽셀의 상기 원본 휘도값과 상기 픽셀의 상기 톤맵핑된 휘도값에 기초하여, 상기 픽셀의 채도값을 보정하고,
    상기 디스플레이부는 상기 톤맵핑된 휘도값 및 상기 보정된 채도값을 이용하여 상기 현재 신을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10 항에 있어서,
    상기 보정된 채도값은 상기 원본 휘도값의 로그 스케일 및 상기 톤맵핑된 휘도값의 로그 스케일의 비율에 기초하여 결정되는 것을 특징으로 하는 영상 처리 장치.
  12. 제9 항에 있어서,
    상기 픽셀의 상기 원본 휘도값이 바이패스된 경우, 상기 제어부는 상기 픽셀의 채도값을 바이패스 하는 것을 특징으로 하는 영상 처리 장치.
  13. 영상의 휘도 특성에 따른 마스터링 디스플레이의 최대 디스플레이 휘도값을 지시하는 제1 메타데이터 및 영상의 휘도 특성에 따른 타겟 디스플레이의 최대 디스플레이 휘도값을 지시하는 제2 메타데이터 중 적어도 하나를 수신하는 단계;
    부호화된 영상을 적어도 하나의 신(scene)으로 분할하는 단계;
    현재 신(current scene)의 평균 휘도값을 포함하는 상기 현재 신의 휘도 특성을 획득하는 단계;
    상기 제1 메타데이터가 획득된 경우, 상기 제1 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 마스터링 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계; 및
    상기 제2 메타데이터가 획득된 경우, 상기 제2 메타데이터에 기초하여 상기 현재 신의 상기 휘도 특성에 따른 상기 타겟 디스플레이의 최대 디스플레이 휘도값을 획득하는 단계;
    를 포함하는 영상 처리 방법.
  14. 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 디스플레이부;
    상기 디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 센서; 및
    상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 제어부를 포함하는 메타데이터 생성 장치.
  15. 최대 그레이스케일(grayscale) 값을 갖는 영역을 포함하는 영상을 디스플레이하는 단계;
    디스플레이부가 상기 영상을 디스플레이 할 때, 상기 디스플레이부에서 디스플레이되는 상기 영역의 휘도값을 측정하는 단계; 및
    상기 영역의 픽셀 면적 및 상기 영상의 평균 휘도값에 따른 상기 측정된 휘도값을 지시하는 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법.
PCT/KR2016/004862 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 WO2016182307A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020177032855A KR101974137B1 (ko) 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
US15/573,333 US10708564B2 (en) 2015-05-11 2016-05-10 Image processing apparatus and image processing method based on metadata

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201562159529P 2015-05-11 2015-05-11
US62/159,529 2015-05-11
US201562164813P 2015-05-21 2015-05-21
US62/164,813 2015-05-21
US201562181870P 2015-06-19 2015-06-19
US62/181,870 2015-06-19
US201562186786P 2015-06-30 2015-06-30
US62/186,786 2015-06-30

Publications (1)

Publication Number Publication Date
WO2016182307A1 true WO2016182307A1 (ko) 2016-11-17

Family

ID=57249209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004862 WO2016182307A1 (ko) 2015-05-11 2016-05-10 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법

Country Status (3)

Country Link
US (1) US10708564B2 (ko)
KR (1) KR101974137B1 (ko)
WO (1) WO2016182307A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11122245B2 (en) * 2017-11-17 2021-09-14 Samsung Electronics Co., Ltd. Display apparatus, method for controlling the same and image providing apparatus

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6652301B2 (ja) * 2016-01-27 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200035198A1 (en) * 2016-09-28 2020-01-30 Panasonic Intellectual Property Management Co., Ltd. Adjusting device, adjusting method, and program
US10423868B2 (en) * 2017-01-26 2019-09-24 International Business Machines Corporation Embedding a removable barcode into an image
CN110383801B (zh) * 2017-03-03 2021-08-10 杜比实验室特许公司 不均匀颜色空间中的颜色饱和度调整
US10735688B2 (en) * 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
KR102370367B1 (ko) * 2017-07-17 2022-03-07 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
DE102017218072A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Aufnehmen eines Bildes
CN107863085B (zh) * 2017-12-20 2019-08-06 惠科股份有限公司 一种显示装置的驱动方法及显示装置
EP3853809A1 (en) * 2018-09-17 2021-07-28 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays
KR20200032584A (ko) * 2018-09-18 2020-03-26 엘지전자 주식회사 영상표시장치
US10757291B2 (en) * 2018-11-12 2020-08-25 International Business Machines Corporation Embedding procedures on digital images as metadata
US11609949B2 (en) * 2018-11-20 2023-03-21 Google Llc Methods, systems, and media for modifying search results based on search query risk
US10986320B2 (en) * 2019-01-31 2021-04-20 Coretronic Corporation Projector and method for projecting image light beam
US11095861B2 (en) 2019-01-31 2021-08-17 Coretronic Corporation Projector and method for projecting image light beam
KR102168038B1 (ko) * 2019-02-25 2020-10-21 한양대학교 에리카산학협력단 객체 인식 장치 및 객체 인식 방법
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
KR102664723B1 (ko) * 2019-11-01 2024-05-09 삼성전자주식회사 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
JP7503908B2 (ja) 2020-01-09 2024-06-21 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
JP7562261B2 (ja) 2020-01-09 2024-10-07 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
WO2021140711A1 (ja) * 2020-01-09 2021-07-15 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法
CN116132648A (zh) * 2020-04-30 2023-05-16 华为技术有限公司 动态范围映射的方法和装置
WO2022114764A1 (ko) * 2020-11-24 2022-06-02 고려대학교 산학협력단 X-ray 검사를 위한 디테일 복원 및 톤 매핑 네트워크 장치, 이를 이용한 영상 변환 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN113808045B (zh) * 2021-09-18 2024-06-25 凌云光技术股份有限公司 一种图像亮度调节方法及装置
US11930189B2 (en) * 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070080A (ja) * 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd 階調補正方法およびプログラム
US20100156956A1 (en) * 2008-12-19 2010-06-24 Madden Thomas E Grayscale characteristic for non-crt displays
KR20130020724A (ko) * 2010-07-22 2013-02-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
KR20140110071A (ko) * 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514166B2 (en) * 2008-05-29 2013-08-20 Hong Kong Applied Science and Technology Research Institute Company Limited LCD backlight dimming, LCD/image signal compensation and method of controlling an LCD display
EP2745290A1 (en) 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2839770A4 (en) * 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method
US9842385B2 (en) * 2012-09-12 2017-12-12 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
BR112014027815B1 (pt) * 2012-10-08 2022-03-15 Koninklijke Philips N.V. Aparelho de processamento de cor de imagem, codificador de imagem, decodificador de imagem e método de processamento de cor de imagem
FR3002824A1 (fr) * 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
KR102176398B1 (ko) * 2013-06-28 2020-11-09 삼성전자주식회사 영상처리장치 및 영상처리방법
EP2819414A3 (en) 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
KR102051798B1 (ko) * 2013-07-30 2019-12-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
US9280811B2 (en) * 2014-03-06 2016-03-08 Samsung Electronics Co., Ltd. Multi-scale large radius edge-preserving low-pass filtering
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
JP6571073B2 (ja) * 2014-05-20 2019-09-04 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US9613407B2 (en) * 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US10757472B2 (en) * 2014-07-07 2020-08-25 Interdigital Madison Patent Holdings, Sas Enhancing video content according to metadata
AU2016209615C1 (en) * 2015-01-19 2018-03-22 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070080A (ja) * 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd 階調補正方法およびプログラム
US20100156956A1 (en) * 2008-12-19 2010-06-24 Madden Thomas E Grayscale characteristic for non-crt displays
US20130121572A1 (en) * 2010-01-27 2013-05-16 Sylvain Paris Methods and Apparatus for Tone Mapping High Dynamic Range Images
KR20130020724A (ko) * 2010-07-22 2013-02-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
KR20140110071A (ko) * 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11122245B2 (en) * 2017-11-17 2021-09-14 Samsung Electronics Co., Ltd. Display apparatus, method for controlling the same and image providing apparatus

Also Published As

Publication number Publication date
KR20170134749A (ko) 2017-12-06
KR101974137B1 (ko) 2019-08-23
US20180139429A1 (en) 2018-05-17
US10708564B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
WO2016182307A1 (ko) 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
WO2016056787A1 (en) Display device and method of controlling the same
WO2020080765A1 (en) Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080827A1 (en) Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2019132485A1 (en) Image processing apparatus, image processing method and multi-screen display
EP3868096A1 (en) Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2021033867A1 (en) Decoding apparatus and operating method of the same, and artificial intelligence (ai) up-scaling apparatus and operating method of the same
WO2010039005A2 (ko) 화질 조정 방법 및 그를 이용한 영상 표시 장치.
WO2020149619A1 (ko) 비디오 월
WO2020139018A2 (en) Signal processing device and image display apparatus including the same
WO2020145659A1 (en) Signal processing device and image display apparatus including the same
WO2020085781A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2019168332A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
WO2014168454A1 (en) Electronic device, display controlling apparatus and method thereof
WO2020080782A1 (en) Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080709A1 (en) Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2021091178A1 (en) Artificial intelligence (ai) encoding apparatus and operating method thereof and ai decoding apparatus and operating method thereof
WO2019231235A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3868097A1 (en) Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020139017A1 (en) Image display apparatus
EP3811619A1 (en) Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2020185035A1 (ko) 비디오 월
WO2021060808A1 (en) Signal processing device and image display apparatus including same
WO2021054697A1 (ko) 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치
WO2021085679A1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792953

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177032855

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15573333

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 16792953

Country of ref document: EP

Kind code of ref document: A1