WO2017074076A1 - 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법 - Google Patents

전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법 Download PDF

Info

Publication number
WO2017074076A1
WO2017074076A1 PCT/KR2016/012196 KR2016012196W WO2017074076A1 WO 2017074076 A1 WO2017074076 A1 WO 2017074076A1 KR 2016012196 W KR2016012196 W KR 2016012196W WO 2017074076 A1 WO2017074076 A1 WO 2017074076A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
frame
masks
luminance
region
Prior art date
Application number
PCT/KR2016/012196
Other languages
English (en)
French (fr)
Inventor
입에릭
김동연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/770,673 priority Critical patent/US10657631B2/en
Publication of WO2017074076A1 publication Critical patent/WO2017074076A1/ko

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present disclosure relates to an apparatus and method for controlling a contrast ratio of content in an electronic device.
  • HDR technology has been widely used in photography and camera technology, but it has not been widely used in video technology due to the lack of standardization for HDR technology.
  • HDR high dynamic range
  • broadcasters are slowing to implement HDR technology in their ecosystems to broadcast HDR-based content (eg, live or prerecorded content).
  • HDR-based content eg, live or prerecorded content.
  • main problem with HDR technology was not the creation of HDR-based content, but how to match different peak luminances between the content and the specifications of the various target devices.
  • tone mapping algorithms will be proprietary algorithms that depend on each manufacturer, but most will be based on simple linear tone mapping, which increases the dynamic range of legacy content to match the capabilities of the target device. do.
  • FIG. 1 illustrates an example of a method of displaying content in a conventional electronic device.
  • the SDR-based content source 101 is linearly mapped according to the specification of the playback apparatus 100 based on the peak luminance of the SDR-based content source 101.
  • the playback device 100 displays linearly mapped content.
  • One method of providing HDR-based content in devices supporting conventional HDR is an inverse tone mapping process that converts SDR-based content into HDR-based content through unique additional metadata.
  • the problem with the inverse tone mapping process is that it is computationally intensive and difficult to implement if there is no native metadata in the content.
  • the lack of unique metadata can output inconsistent results, which is unique to the target device implementation and changes not only the brightness but also the colors of the content. As such, the intention of the content creator is changed.
  • FIG. 2 illustrates another example of a method of displaying content in a conventional electronic device.
  • the SDR-based content 101 is converted into an HDR-based content 103.
  • Meta data is obtained through inverse tone mapping between the SDR-based content 101 and the HDR-based content 103. From this, the obtained reverse tone metadata is mapped to the SDR-based content 101, and the mapped data is output to the reproduction device 100. Accordingly, the playback device 100 displays the content to which inverse tone metadata is mapped in the SDR-based content 101. That is, the reproduction device 100 may display the SDR-based content in which content peak luminance is inverse tone mapped according to the device specification.
  • One embodiment of the present disclosure provides an apparatus and method for controlling a contrast ratio of content in an electronic device.
  • an embodiment of the present disclosure provides an apparatus and method for controlling the contrast ratio of the content to effectively display the SDR-based content in the device that supports HDR in the electronic device.
  • a method of controlling a contrast ratio of content in an electronic device comprising: identifying one or more highlight areas based on brightness information of a frame constituting the content; Determining thresholds for detecting the one or more highlight areas in the frame; Generating one or more masks corresponding to the one or more highlight areas based on the thresholds; And generating a frame having a controlled contrast ratio based on the one or more masks and one or more boosting factors for the content.
  • An electronic device for controlling a contrast ratio of content comprising: a transceiver configured to transmit and receive data; And identify one or more highlight areas based on luminance information of a frame constituting the content, determine thresholds for detecting the one or more highlight areas in the frame, and based on the thresholds, the one or more highlight areas. Generating one or more masks corresponding to the plurality of masks and generating a contrast ratio controlled frame based on the one or more masks and one or more boosting factors for the content.
  • the terms “include” and “Comprise” and its derivatives mean unlimited inclusion;
  • the term “or” is inclusive and means “and / or”;
  • the phrases “associated with” and “associated therewith” and their derivatives include, be included within, and interconnected with ( interconnect with, contain, be contained within, connect to or with, connect to or with Possibility to be communicable with, cooperate with, interleave, juxtapose, be proximate to, Is large or be bound to or with, have, have a property of, etc .;
  • controller means any device, system, or portion thereof that controls at least one operation, such device being hardware, firmware or software, or some combination of at least two of the hardware, firmware or software.
  • FIG. 1 is a view showing an example of a method for displaying content in a conventional electronic device
  • FIG. 2 is a diagram illustrating another example of a method for displaying content in a conventional electronic device
  • FIG. 3 is a diagram illustrating an example of a result of a pop out effect to which an embodiment of the present disclosure is applied;
  • FIG. 4 is a diagram illustrating main components of an apparatus for controlling contrast ratio of content according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of content output from a pop out engine 400 according to an exemplary embodiment of the present disclosure
  • FIG. 6 is a diagram illustrating an internal configuration of a determination module 410 included in the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • FIG. 7 and 8 illustrate an example of a method of determining a hard threshold value and a soft threshold value in the determination module 410 according to an embodiment of the present disclosure.
  • FIG 9 illustrates an internal configuration of a detection module 430 included in the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • FIG. 10 is a view showing the internal configuration of the post-processing module 450 included in the pop out engine 400 according to an embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a method of controlling content contrast ratio according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a result of improving contrast ratio of content according to operation of the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • An important aspect of the present disclosure is to control contrast in the content, and to identify and control a specific area (eg, a white (or black) area) in the content to maintain the intention and color of the content.
  • the content constitutes frames or scenes.
  • the controlling of the contrast ratio of the content may be performed in units of frames or scenes.
  • the user can experience improved " 2.5D " content and utilize the specifications for the entire luminance range of the playback device.
  • the identification of the white (or black) area within a scene may be selected based on various algorithms and concepts, and the degree of improvement of the white (or black) area may also be determined in the content and target playback apparatus. Detailed description thereof will be given below.
  • the content to which the embodiment of the present disclosure is applied may be applied to content having all dynamic ranges.
  • the content will be described on the assumption that the content is an SDR-based content.
  • the input SDR-based content may be improved as illustrated in FIG. 3.
  • 3 illustrates an example of a result of the pop out effect to which the embodiment of the present disclosure is applied.
  • the white pop out according to the embodiment of the present disclosure on unique (i.e., for brightness X nits) linear tone mapping curves.
  • unique (i.e., for brightness X nits) linear tone mapping curves The results of the effect 310 can be seen.
  • FIG. 4 illustrates main components of an apparatus for controlling a contrast ratio of content according to an exemplary embodiment of the present disclosure.
  • the apparatus 400 for controlling the contrast ratio of the content receives the SDR-based content 101, performs post-processing on the received SDR-based content 101, and then plays back the apparatus 100.
  • the device is delivered to the display unit.
  • the contrast ratio control device 400 of the content may be included in the playback device 100 or may be configured as a separate device from the playback device 100.
  • the contrast control device 400 of the content may implement the contrast control device 400 of the content so that content distributors improve the content before sending the content to the final playback devices, or Contrast ratio control device 400 may be implemented in a playback device (for example, in the setup box or the playback device itself).
  • the contrast ratio control apparatus 400 for the content will be described as a pop-out engine.
  • the pop out engine 400 includes a decision module 410, a detection module 430, and a post-processing module 450.
  • the determining module 410 determines parameters for detecting one or more highlight areas in the content to generate at least one mask for improving the contrast ratio of the white (or black) area.
  • one parameter may be applied to one or more highlight areas and includes a hard threshold, a soft threshold, and a boosting factor. The operation of determining the hard threshold value, soft threshold value, boosting factor and one parameter will be described in detail below.
  • the detection module 430 generates one or more masks corresponding to the one or more highlight areas based on the hard thresholds and the soft thresholds included in the determined parameters.
  • the post-processing module 450 applies a boosting factor to each of the generated one or more masks and combines the one or more masks to which the boosting factor is applied in order to improve white reproduction pop out and contrast ratio.
  • the boosting factor corresponds to "argument" in mathematical terms.
  • the post-processing module 450 may multiply each of the generated one or more masks by a number greater than 1 or a number less than 1 by a boosting factor.
  • the pop out engine 400 is illustrated as including a plurality of modules in FIG. 4, the plurality of modules may be integrated with each other and implemented as at least one processor. A detailed description of each of the modules included in the pop out engine 400 will be described in detail with reference to FIGS. 6 to 10.
  • the content 101 input to the pop out engine 400 from the operation of the pop out engine 400 may output the improved SDR-based content as shown in FIG. 5.
  • FIG 5 illustrates an example of enhanced content output from the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • the pop out engine 400 may include two different masks (for example, highlighting white areas) in the input SDR-based scene (a).
  • a fused mask (b) consisting of a white mask and a black mask.
  • the pop out engine 400 may output the enhanced scene c by applying boosting factors to the generated mask b.
  • the boosting factors are applied to a mask generated by combining the two different masks, but in another embodiment, the boosting factor is applied after applying the boosting factor to each of the two different masks. You can also combine them.
  • FIG. 6 illustrates an internal configuration of the determination module 410 included in the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • the determination module 410 included in the pop out engine 400 determines parameters for each of a hard threshold value, a soft threshold value, and a boosting factor for generating at least one mask.
  • the parameters may vary according to various algorithms available.
  • the determination module 410 analyzes the luminance histogram for the frame 101 and determines and uses an algorithm for selecting the parameters.
  • the determination module 410 describes the analysis of the luminance histogram of the frame, the determination module 410 may analyze the luminance histogram of the scene. Therefore, hereinafter, a method of controlling the contrast ratio on a frame-by-frame basis will be described for convenience of description, but the embodiment of the present disclosure may be applied to a method of controlling the contrast ratio on a scene-by-scene basis.
  • the decision module 410 includes a histogram analyzer 411, a highlight region estimator 413, a threshold parameter calculator 415, and a boosting decisioner 417. It includes.
  • the histogram analyzer 411 analyzes the input content 101.
  • the input content includes frames and scenes.
  • the histogram analyzer 411 analyzes a frame included in the content 101 to generate luminance histogram information.
  • the histogram analyzer 411 transmits the luminance histogram information generated for the frame to the highlight region estimator 413 and the threshold parameter calculator 415.
  • the highlight region estimator 413 When the highlight region estimator 413 receives the luminance histogram information from the histogram analyzer 411, the highlight region estimator 413 estimates one or more highlight regions that may exist in the content 101 based on the luminance histogram information. The highlight area estimator 413 then selects a corresponding algorithm capable of identifying the estimated highlight areas. Here, even if different algorithms are selected by the highlight region estimator 413, one or more highlight regions can be identified in the frame. The highlight regions are included in the region of interest for white improvement or prevention of white improvement in the frame. Is a specific area. For example, the highlight regions may include white regions, black regions, high luminance regions, low luminance regions, saturated highlights identified through luminance histogram information. ), Skin tone regions, sky tone regions and specified area regions via manual input or possible metadata.
  • the highlight region estimator 413 estimates the highlight regions according to the nature of the region using various algorithms.
  • the various algorithms are algorithms for selecting pixels from an entire frame according to pixel luminance characteristics (eg, three primary color values RGB, color space values YCrCb, and brightness values Luma) in various possible domains. , Skin detection algorithms and sky detection algorithms.
  • the skin detection algorithm detects and changes a skin color of a person included in a frame.
  • changing skin tones is an undesirable part of improving content.
  • An embodiment of the present disclosure does not directly change the saturation or color of the content 101 for skin tones, but instead highlights the highlight regions for improvement of the captured skin tones (naturally or due to lighting) into bright or dark regions. There may be a possibility of being identified.
  • the skin detection algorithm may identify the highlight areas such as the skin and may not change the human skin color in the frame.
  • the sky detection algorithm can then regard sky regions as special highlight regions within a frame. Accordingly, in an embodiment of the present disclosure, when it is not desired to change the sky tone, the sky detection algorithm may identify highlight areas such as the sky and may not change the sky color in the corresponding frame.
  • the threshold parameter calculator 415 determines the hard threshold and the soft threshold based on the algorithm selected by the luminance histogram and the highlight area estimator 413 generated by the histogram analyzer 411. In this case, when there are a plurality of algorithms selected by the highlight area estimator 413, the threshold parameter calculator 415 determines a hard threshold value and a soft threshold value corresponding to each algorithm. Meanwhile, the thresholds may be directly input through manual or metadata.
  • the determination module 410 determines the parameters related to the hard threshold and the soft threshold as follows.
  • the hard threshold is a value for identifying a boundary of a specific highlight area within the content 101.
  • the hard threshold value is determined based on at least one of an average pixel luminance value and a luminance highlights distribution of the content 101 in the luminance histogram information.
  • the average pixel luminance value may be determined by Equation 1 below.
  • A is an average pixel luminance value
  • N is a total pixel count in one frame (screen)
  • L is a luminance value (for example, a value corresponding to a horizontal axis in the histogram of FIG. 7)
  • P is the pixel count.
  • the average pixel luminance value has a smaller value than the hard threshold value and the maximum luminance value. That is, the relationship between the average pixel luminance value, the hard threshold value, and the maximum luminance value is expressed by Equation 2 below.
  • FIGS. 7 and 8 illustrate hard thresholds H and soft thresholds A in luminance histogram information.
  • the H * region may be determined by Equation 3 below.
  • H * region % of the total number of pixels that make up a frame
  • the soft threshold may be a function of the hard threshold.
  • This soft threshold value A is determined by the determined hard threshold value and a value within a range according to the light distribution of the frame / scene.
  • An approximate light distribution ie, histogram information
  • the boosting determiner 417 may use the input content (the algorithm and the input content) used to identify each highlight area in the highlight area estimator 413. Based on the information of 101) (ie, information on the frame / scene / overall), a corresponding boosting factor is determined for each highlight area. Meanwhile, the boosting factor may be directly input through manual or metadata.
  • FIG 9 illustrates an internal configuration of the detection module 430 included in the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • the detection module 430 generates a mask for each of the parameters determined by the determination module 410 to identify one or more highlight areas in the frame.
  • each of the one or more masks includes code values that are 1 or 0 that identify particular pixels (ie, white (or black) pixels) within a frame.
  • several masks may be used to apply different boosting factors to different masks (here, different regions in the content 101).
  • the algorithm used to generate the masks is determined by the algorithm used to select appropriate parameters in decision module 410, and the determined algorithm can be complemented.
  • the detection module 430 includes a parameter parser 431, a content frame extractor 433, and a mask generator 435.
  • the parameter analyzer 431 analyzes parameters received from the determination module 410 to determine at least one of pixel luminance thresholds, pixel color luminance thresholds (in various color spaces), and pixel position in a frame. Check it.
  • the content frame extractor 433 extracts a matching frame from the content corresponding to the parameters analyzed by the parameter analyzer 431.
  • the mask generator 435 may use the same algorithm as the algorithm selected by the highlight area estimator 413 included in the determination module 410, so that the parameters for the hard threshold value and the soft threshold value are extracted in the extracted frame. Apply them.
  • each of the parameters for the hard threshold and soft threshold is used to create a mask for a particular highlight area. That is, the mask generator 435 may generate one or more masks according to the number of highlight regions analyzed by the highlight region estimator 413.
  • FIG 10 illustrates an internal configuration of the post-processing module 450 included in the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • the post-processing module 450 applies a parameter for each of the boosting factors determined by the determination module 410 to the corresponding mask generated by the detection module 430.
  • the boosting factors may use various boosting factors to improve various masks depending on the use of the playback device and the frame.
  • the post-processing module 450 includes a boosting decision analyzer 451, a mask booster 453, a mask analyzer 455, and a mask integrator 451.
  • the boosting decision analyzer 451 analyzes parameters for boosting factors received from the boosting determiner 417. And the boosting decision analyzer 451 may further use the analyzed parameters (in the form of peak luminance metadata, or any other data capable of relaying device specification information) available from a target device or any compatible device on the user's side. Compare with Depending on the additional information from the target device or another device, the boosting decision analyzer 451 may adjust the parameters for the boosting factors to adjust for improvements to the specifications of the target device or other device.
  • the mask analyzer 455 analyzes each of the masks generated from the mask generator 435, and matches each of the analyzed masks with a parameter for a corresponding boosting factor from the boosting decision analyzer 451. Forward to (453).
  • the mask boosting module 453 applies parameters of the boosting factor received from the mask analyzer 455 to the corresponding mask received from the mask analyzer 451.
  • the boosting level applied to each mask is different (eg, no boosting in the skin highlight areas).
  • the mask integrator 451 combines all boosted masks received from the mask booster 453, and outputs the combined masks as a frame included in the final enhanced content 800.
  • FIG. 11 illustrates a method of controlling a contrast ratio of content in an electronic device according to an embodiment of the present disclosure.
  • the pop out engine 400 generates luminance histogram information of a frame included in input content (1101).
  • the pop out engine 400 identifies one or more highlight areas from the luminance histogram information (1103).
  • the pop out engine 400 may identify one or more highlight areas from the luminance histogram information on the content using one or more predetermined algorithms.
  • the pop out engine 400 determines a parameter for each of the one or more highlight areas (1105).
  • the parameter includes a hard threshold value, a soft threshold value and a boosting factor.
  • the pop out engine 400 generates one or more masks corresponding to the one or more highlight areas using the hard and soft threshold values for each of the one or more highlight areas in a frame (1107).
  • the pop out engine 400 then applies a boosting factor to each of the one or more masks generated (1109).
  • the pop out engine 400 combines each of the masks to which the boosting factor is applied into one mask and outputs a final enhanced frame (1111).
  • the pop out engine 400 may combine the generated one or more masks into one mask in a manner different from the steps 1109 and 1111, and then add one or more boosting factors for the one or more highlight regions to the combined mask. It can also be applied to output the last enhanced frame.
  • FIG. 12 illustrates a result of improving the contrast ratio of content according to the operation of the pop out engine 400 according to an exemplary embodiment of the present disclosure.
  • (a) shows a frame input to the pop out engine 400
  • (b) shows an example of a frame output from the pop out engine 400.
  • the pop out engine 400 may have improved brightness compared to the input frame a as indicated by reference numerals 1201 and 1203.
  • the frame b may be output. That is, in the frame (b) of FIG. 12, the lunar part was originally a bright area, but the brighter effect appeared, and the brighter non-dark bright part of the peripheral part of the moon was also boosted. Therefore, when the contrast ratio of the content is controlled according to an exemplary embodiment of the present disclosure, a pop out (stereoscopic feeling between 2D and 3D) may be visually exhibited.

Abstract

본 개시는 전자 장치에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다. 본 개시의 일 실시예에서 제안하는 방법은; 본 개시의 일 실시예에서 제안하는 방법은; 전자 장치에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정; 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하는 과정; 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정; 및 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정을 포함한다.

Description

전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법
본 개시는 전자 장치에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다.
대형 홈 텔레비전이 소비자들에게 계속해서 인기를 얻음에 따라, 경쟁사로부터 자신들의 제품을 차별화하기 위해 텔레비전에서 디스플레이의 품질이 중요한 요소가 되고 있다. 울트라 고 화질(ultra high definition : UHD) 텔레비전 시대의 도래와 함께, 3차원(3 dimensions : 3D) 기술, 고속 프레임 레이트의 기술 및 고 다이나믹 범위(high dynamic range : HDR) 기술과 같은 다른 새로운 기술들 역시 패키지화된 UHD 프랜차이즈(franchise)에 포함되고 있다. 전자 장치에서 이러한 다양한 새로운 기술들이 있음에도 불구하고, 새로운 UHD를 지원하는 텔레비전에서 사용자로부터 UHD와 고 화질(high definition : HD)간의 차이가 명확하게 구별되는 기술이 개발되고 있지 않다.
HDR 기술은 촬영 및 카메라 기술에 널리 사용되어 왔으나, HDR 기술에 대한 표준화의 미비함으로 인해 비디오 기술에서는 널리 사용되지 못하였다.
일 예로, HDR을 지원하는 디스플레이들(displays)과 HDR 기반의 콘텐츠(content)의 분배를 통해 HDR 에코시스템(ecosystem)이 확장 중에 있음에도 불구하고, 대부분의 콘텐츠는 레가시(legacy) 컨텐츠의 양으로 인해 여전히 스탠다드 다이나믹 범위(standar dynamic range : SDR) 기술로 생성된다. 특히, 방송국들은 자신들의 에코시스템들에서 HDR 기술을 구현하여 HDR 기반의 콘텐츠(일 예로, 라이브(live) 또는 녹화된(prerecorded) 콘텐츠)를 브로드캐스팅하는 것이 늦어지고 있다. 근본적으로, HDR 기술의 주요한 문제는 HDR 기반의 콘텐츠의 생성이 아니라, 콘텐츠와 다양한 타겟(target) 장치의 사양들 사이에 서로 다른 피크(peak) 휘도들(luminances)을 어떻게 매치하는가에 있었다.
일반적으로, HDR를 지원하는 들은 SDR 기반의 콘텐츠와 비교하면 피크 휘도에 있어서 큰 차이를 가질 수 있으므로, 단순한 톤 매핑 알고리즘(simple tone mapping algorithms)에 대한 구현이 요구된다. 이러한 톤 매핑 알고리즘들은 각각의 제조자에 따라 좌우되는 독점적 기술의 알고리즘들일 것이나, 대부분은 레가시 콘텐츠의 동적 범위를 타겟 장치의 사양(capability)에 맞게 증가시키는 단순 선형 톤 매핑(simple linear tone mapping)에 기반한다.
도 1은 종래 전자 장치에서 콘텐츠를 디스플레이하는 방법의 일 예를 보이고 있다.
도 1을 참조하면, SDR 기반의 콘텐츠 소스(101)는 SDR 기반의 콘텐츠 소스(101)의 피크 휘도를 기반으로 재생 장치(100)의 사양에 따라 선형 매핑된다. 그리고 재생 장치(100)는 선형 매핑된 컨텐츠를 디스플레이한다.
한편, HDR 기반의 콘텐츠를 디스플레이를 위한 기존의 콘텐츠 기술들은 다양하다. HDR 기술에 관한 현재의 노력은 HDR 기반의 콘텐츠 및 HDR을 지원하는 디스플레이 장치들의 표준화에 대한 것이었으나, 아직까지 역호환성(backwards compatibility)에 대한 고찰은 상대적으로 적었으며, HDR을 지원하는 장치들 상에서 장치의 최대 사양으로 SDR 기반의 콘텐츠를 디스플레이하는 표준화된 방법은 개발되지 않았다.
종래 HDR을 지원하는 장치들에서 HDR 기반의 콘텐츠를 제공하는 방법 중 하나는, 고유한 추가 메타데이터를 통해 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 변환하는 역(inverse) 톤 매핑 프로세스가 있다. 역 톤 매핑 프로세스의 문제점은 계산 집중적이고, 콘텐츠에 고유한 메타데이터가 존재하지 않을 경우 구현이 어렵다는 것이다. 종래 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 역매핑하는 경우, 고유한 메타데이터의 결여는 일관되지 않은 결과들을 출력할 수 있고, 이것은 타겟 장치 구현에 고유한 것으로 콘텐츠의 휘도 뿐 아니라 컬러들까지 변경될 수 있으므로 콘텐츠 생성자의 의도가 변경되게 된다.
도 2는 종래 전자 장치에서 콘텐츠를 디스플레이하는 방법의 다른 예를 보이고 있다.
도 2를 참조하면, SDR 기반의 콘텐츠(101)는 HDR 기반의 콘텐츠(103)로 변환된다. 그리고 상기 SDR 기반의 콘텐츠(101)와 상기 HDR 기반의 콘텐츠(103) 간의 역 톤 매핑을 통해 메타 데이터가 획득된다. 이로부터, SDR 기반의 콘텐츠(101)에 상기 획득된 역 톤 메타 데이터가 매핑되어, 매핑된 데이터는 재생 장치(100)로 출력된다. 따라서 상기 재생 장치(100)는 SDR 기반의 콘텐츠(101)에서 역 톤 메타 데이터가 매핑된 콘텐츠를 디스플레이한다. 즉, 상기 재생 장치(100)는 콘텐츠 피크 휘도(content peak luminance)가 장치 사양에 따라 역 톤 매핑된 SDR 기반의 콘텐츠를 디스플레이할 수 있다.
도 1 및 도 2와 같은 방법 이외, 종래에는 픽셀 단위 컬러 개선(enhancement), 또는 타이틀에 고유한 콘텐츠 자체를 변경하는 대신 디스플레이 세팅에 대한 일반적 변경과 같은 다른 방법들이 존재할 수 있다. 그러나 종래 방법들은 계산 집중적이거나, 콘텐츠 소스와 다른 콘텐츠(즉, 변경된 콘텐츠)를 디스플레이 시킬 수 있다.
따라서, 재생 장치의 사양에 따라서 콘텐츠를 효율적으로 디스플레이할 수 있는 방안이 요구된다.
본 개시의 일 실시예는 전자 장치에서 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.
또한 본 개시의 일 실시예는 전자 장치에서 HDR을 지원하는 장치에서 SDR 기반의 콘텐츠를 효과적으로 디스플레이할 수 있도록 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.
본 개시의 일 실시예에서 제안하는 방법은; 전자 장치에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정; 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하는 과정; 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정; 및 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정을 포함한다.
본 개시의 일 실시예에서 제안하는 장치는; 콘텐츠의 명암비를 제어하는 전자 장치에 있어서, 데이터를 송수신하는 송수신부; 및 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하고, 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하고, 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하여, 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 프로세서를 포함한다.
본 개시의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 개시의 바람직한 실시예들을 개시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.
하기의 본 개시의 구체적인 설명 부분을 처리하기 전에, 이 특허 문서를 통해 사용되는 특정 단어들 및 구문들에 대한 정의들을 설정하는 것이 효과적일 수 있다: 상기 용어들 "포함하다(include)" 및 "포함하다(comprise)"와 그 파생어들은 한정없는 포함을 의미하며; 상기 용어 "혹은(or)"은 포괄적이고, "및/또는"을 의미하고; 상기 구문들 "~와 연관되는(associated with)" 및 "~와 연관되는(associated therewith)"과 그 파생어들은 포함하고(include), ~내에 포함되고(be included within), ~와 서로 연결되고(interconnect with), 포함하고(contain), ~내에 포함되고(be contained within), ~에 연결하거나 혹은 ~와 연결하고(connect to or with), ~에 연결하거나 혹은 ~와 연결하고(couple to or with), ~와 통신 가능하고(be communicable with), ~와 협조하고(cooperate with), 인터리빙하고(interleave), 병치하고(juxtapose), ~로 가장 근접하고(be proximate to), ~로 ~할 가능성이 크거나 혹은 ~와 ~할 가능성이 크고(be bound to or with), 가지고(have), 소유하고(have a property of) 등과 같은 내용을 의미하고; 상기 용어 "제어기"는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템, 혹은 그 부분을 의미하고, 상기와 같은 장치는 하드웨어, 펌웨어 혹은 소프트웨어, 혹은 상기 하드웨어, 펌웨어 혹은 소프트웨어 중 적어도 2개의 몇몇 조합에서 구현될 수 있다. 어떤 특정 제어기와 연관되는 기능성이라도 집중화되거나 혹은 분산될 수 있으며, 국부적이거나 원격적일 수도 있다는 것에 주의해야만 할 것이다. 특정 단어들 및 구문들에 대한 정의들은 이 특허 문서에 걸쳐 제공되고, 해당 기술 분야의 당업자는 많은 경우, 대부분의 경우가 아니라고 해도, 상기와 같은 정의들이 종래 뿐만 아니라 상기와 같이 정의된 단어들 및 구문들의 미래의 사용들에도 적용된다는 것을 이해해야만 할 것이다.
도 1은 종래 전자 장치에서 콘텐츠를 디스플레이하는 방법의 일 예를 나타낸 도면,
도 2는 종래 전자 장치에서 콘텐츠를 디스플레이하는 방법의 다른 예를 나타낸 도면,
도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 나타낸 도면,
도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 나타낸 도면,
도 5는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에서 출력하는 콘텐츠의 일예를 나타낸 도면,
도 6은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 결정 모듈(410)의 내부 구성을 나타낸 도면,
도 7 및 도 8은 본 개시의 실시 예에 따른 결정 모듈(410)에서 하드 임계값과 소프트 임계값을 결정하는 방법의 일 예를 나타낸 도면,
도 9는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 검출 모듈(430)의 내부 구성을 나타낸 도면,
도 10은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 후처리 모듈(450)의 내부 구성을 나타낸 도면,
도 11은 본 개시의 실시 예에 따른 콘텐츠 명암비를 제어하는 방법을 나타낸 도면,
도 12는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)의 동작에 따라 콘텐츠의 명암비가 향상된 결과를 나타낸 도면.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
첨부되는 도면들을 참조하는 하기의 상세한 설명은 청구항들 및 청구항들의 균등들로 정의되는 본 개시의 다양한 실시예들을 포괄적으로 이해하는데 있어 도움을 줄 것이다. 하기의 상세한 설명은 그 이해를 위해 다양한 특정 구체 사항들을 포함하지만, 이는 단순히 예로서만 간주될 것이다. 따라서, 해당 기술 분야의 당업자는 여기에서 설명되는 다양한 실시예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상으로부터 벗어남이 없이 이루어질 수 있다는 것을 인식할 것이다. 또한, 공지의 기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략될 수 있다.
하기의 상세한 설명 및 청구항들에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 단순히 발명자에 의한 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술 분야의 당업자들에게는 본 개시의 다양한 실시예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구항들 및 상기 청구항들의 균등들에 의해 정의되는 본 개시를 한정하기 위해 제공되는 것은 아니라는 것이 명백해야만 할 것이다.
또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 "한"과, "상기"와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, "컴포넌트 표면(component surface)"은 하나 혹은 그 이상의 컴포넌트 표현들을 포함한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 이해되어야만 한다.
본 개시의 실시 예에 따른 주요한 요지는 콘텐츠에서 명암비(contrast)를 제어하는 것으로, 콘텐츠에서 특정 영역(일 예로, 백색(또는 흑색) 영역)을 식별 및 제어하여 콘텐츠의 의도 및 컬러를 유지하는 것이다. 여기서, 상기 콘텐츠는 프레임(frame)들 또는 장면(scene)들을 구성하는 것으로, 본 개시의 실시 예에서 콘텐츠의 명암비를 제어하는 동작은 프레임 단위 또는 장면 단위로 수행될 수 있다.
이로부터 사용자는 개선된 "2.5D" 콘텐츠를 경험하고 재생 장치의 전체 휘도 범위에 대한 사양을 활용할 수 있다. 또한 한 장면 내에서 백색(또는 흑색) 영역에 대한 식별은 다양한 알고리즘들과 개념들에 기초하여 선택될 수 있으며, 백색(또는 흑색) 영역의 개선 정도 또한 콘텐츠 및 타겟 재생 장치에 결정될 수 있다. 이에 대한 상세한 설명은 하기에서 하기로 한다. 여기서, 본 개시의 실시 예가 적용되는 콘텐츠는 모든 다이나믹 범위를 갖는 콘텐츠에 적용될 수 있으며, 아래에서는 설명의 편의를 위하여 상기 콘텐츠가 일 예로 SDR 기반의 콘텐츠임을 가정하여 설명하기로 한다.
이러한 본 개시의 실시 예에 따라, HDR을 지원하는 장치에서 백색 재생을 통하여 밝기 팝 아웃(Brightness pop-out) 효과를 생성하면, 도 3과 같이 입력된 SDR 기반의 콘텐츠를 개선시킬 수 있다. 도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 보이고 있는 것이다.
본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 방법을 밝기 250 nits를 갖는 프레임에 적용하면, 고유한(즉, 밝기 X nits에 대한) 선형 톤 매핑 곡선들 상에서 본 개시의 실시 예에 따른 백색 팝 아웃 효과(310)의 결과들을 보일 수 있다.
도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 보이고 있다.
본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치(400)는 SDR 기반의 콘텐츠(101)를 수신하고, 수신된 SDR 기반의 콘텐츠(101)에 대한 후처리를 수행한 후, 재생 장치(100)의 디스플레이부로 전달하는 장치이다. 이러한 콘텐츠의 명암비 제어 장치(400)는 재생 장치(100)에 포함되거나, 재생 장치(100)와 별도의 장치로 구성될 수 있다. 일 에로, 상기 콘텐츠의 명암비 제어 장치(400)는 콘텐츠 배포자들이 최종 재생 장치들로의 콘텐츠를 전송하기 이전에 콘텐츠를 개선하도록 상기 콘텐츠의 명암비 제어 장치(400)을 구현할 수 있고, 아니면 상기 콘텐츠의 명암비 제어 장치(400)이 재생 장치(일 예로,셋업 박스 내부 또는 재생 장치 자체) 내에서 구현될 수 있다. 이하에서는 설명의 편의를 위하여, 상기 콘텐츠의 명암비 제어 장치(400)를 팝 아웃 엔진(pop-out engine)이라 정의하여 기재하기로 한다.
도 4를 참조하면, 팝 아웃 엔진(400)은 결정 모듈(decision module)(410), 검출 모듈(detection module)(430) 및 후처리 모듈(post-processing module)(450)을 포함한다.
상기 결정 모듈(410)은 백색(또는 흑색) 영역의 명암비 향상을 위한 적어도 하나의 마스크를 생성하기 위하여, 콘텐츠에서 하나 이상의 하이라이트 영역들을 검출하기 위한 파라미터들을 결정한다. 여기서, 하나의 파라미터는 하나 이상의 하이라이트 영역에 적용될 수 있으며, 하드 임계값(hard threshold), 소프트 임계값(soft threshold) 및 부스팅 팩터(boosting factor)를 포함한다. 상기 하드 임계값, 소프트 임계값, 부스팅 팩터 및 하나의 파라미터를 결정하는 동작에 대해서는 하기에서 상세히 설명하기로 한다.
상기 검출 모듈(430)은 상기 결정된 파라미터들에 포함된 하드 임계값들 및 소프트 임계값들을 기반으로, 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성한다. 그리고 후처리 모듈(450)은 백색 재생 팝 아웃 및 명암비 개선을 위하여, 상기 생성된 하나 이상의 마스크들 각각에 해당 부스팅 팩터를 적용하고 상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 하나의 마스크로 결합한다. 여기서, 상기 부스팅 팩터는 수학적인 용어로 "인수"에 해당한다. 일 예로, 상기 후처리 모듈(450)은 상기 생성된 하나 이상의 마스크들 각각에 부스팅 팩터로 1보다 큰 수를 곱하거나, 1보다 작은 수를 곱할 수 있다.
한편, 도 4에서는 팝 아웃 엔진(400)이 복수 개의 모듈들 포함하는 것으로 도시하였으나, 실시 예에 따라서 복수 개의 모듈들은 서로 통합되어 적어도 하나의 프로세서로 구현될 수 있다. 그리고 상기 팝 아웃 엔진(400)에 포함되는 모듈들 각각에 대한 상세한 설명은 하기 도 6 내지 도 10을 참조하여 상세히 설명 하기로 한다.
이러한 팝 아웃 엔진(400)의 동작으로부터 팝 아웃 엔진(400)에 입력되는 콘텐츠(101)는 도 5와 같이 향상된 SDR 기반의 콘텐츠를 출력할 수 있다.
도 5는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에서 출력하는 향상된 콘텐츠의 일 예를 보이고 있다.
도 5를 참조하면, 팝 아웃 엔진(400)은 원본 SDR 기반의 장면(a)이 입력되면, 입력된 SDR 기반의 장면(a)에서 백색 영역들을 강조하는 2개의 서로 다른 마스크들(일 예로, 백색 마스크 및 흑색 마스크)로 이루어진 융합된 마스크(b)를 생성한다. 그리고 팝 아웃 엔진(400)은 생성된 마스크(b)에 부스팅 팩터들을 적용하여 향상된 장면(c)를 출력할 수 있다.
여기서, 상기 2개의 서로 다른 마스크들을 결합하여 생성된 마스크에 부스팅 팩터들을 적용하는 실시 예에 대하여 설명하였으나, 다른 실시 예로 상기 2개의 서로 다른 마스크들 각각에 해당 부스팅 팩터를 적용한 후 부스팅 팩터가 적용된 마스크들을 결합할 수도 있다.
도 6은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 결정 모듈(410)의 내부 구성을 보이고 있다.
도 6을 참조하면, 상기 팝 아웃 엔진(400)에 포함된 결정 모듈(410)은 적어도 하나의 마스크를 생성하기 위한 하드 임계값, 소프트 임계값 및 부스팅 팩터 각각에 대한 파라미터들을 결정한다. 여기서, 상기 파라미터들은 사용 가능한 다양한 알고리즘들에 따라 달라질 수 있다. 특히, 상기 결정 모듈(410)은 프레임(101)에 관한 휘도 히스토그램을 분석하고, 상기 파라미터들을 선택하기 위한 알고리즘을 결정 및 사용한다. 여기서, 상기 결정 모듈(410)이 프레임에 관한 휘도 히스토그램을 분석함에 대하여 기재하였으나, 상기 결정 모듈(410)은 장면에 관한 휘도 히스토그램을 분석할 수 있다. 따라서, 이하에서는 설명의 편의상 프레임 단위로 명암비를 제어하는 방법에 대하여 설명하지만, 본 개시의 실시 예는 장면 단위로 명암비를 제어하는 방법에서도 적용 가능함은 물론이다.
상세하게, 상기 결정 모듈(410)은 히스토그램 분석기(histogram analyser, 411), 하이라이트 영역 추정기(highlights region estimator, 413) 임계값 파라미터 산출기(threshold parameter calculator, 415) 및 부스팅 결정기(boosting decisioner, 417)을 포함한다. 상기 히스토그램 분석기(411)는 입력된 콘텐츠(101)를 분석한다. 여기서, 상기 입력된 콘텐츠는 프레임들 및 장면들을 포함한다. 상기 히스토그램 분석기(411)는 상기 콘텐츠(101)에 포함된 프레임을 분석하여 휘도 히스토그램 정보를 생성한다. 그리고 상기 히스토그램 분석기(411)는 상기 프레임에 대하여 생성된 휘도 히스토그램 정보를 하이라이트 영역 추정기(413) 및 임계값 파라미터 산출기(415)로 전달한다.
상기 하이라이트 영역 추정기(413)는 상기 히스토그램 분석기(411)로부터 휘도 히스토그램 정보를 전달받으면, 휘도 히스토그램 정보를 기반으로 콘텐츠(101) 내에 존재할 수 있는 하나 이상의 하이라이트 영역들을 추정한다. 그리고 상기 하이라이트 영역 추정기(413)는 상기 추정된 하이라이트 영역들을 식별할 수 있는 대응 알고리즘을 선택한다. 여기서, 하이라이트 영역 추정기(413)에 의해 서로 다른 알고리즘들이 선택되어도 프레임 내에서 하나 이상의 하이라이트 영역은 식별될 수 있다.그리고 상기 하이라이트 영역들은 프레임 내에서 백색 개선 또는 백색 개선의 방지를 위한 관심 영역에 포함된 특정 영역이다. 일 예로, 상기 하이라이트 영역들은, 휘도 히스토그램 정보를 통해 식별된 백색 영역들, 흑색 영역들, 높은 휘도 영역들(high luminance regions), 낮은 휘도 영역들(low luminance regions), 포화된 하이라이트들(saturated highlights), 스킨 톤 영역들(skin tone regions), 스카이 톤 영역들(sky tone regions) 및 수동 입력 또는 가능한 메타데이터를 통한 특정 면적 영역들(specified area regions) 중 적어도 하나를 포함한다.
그리고 상기 하이라이트 영역 추정기(413)는 다양한 알고리즘을 이용하여 해당 영역의 특성(nature)에 따라 하이라이트 영역들을 추정한다. 여기서, 상기 다양한 알고리즘은 다양한 가능 도메인들에서 픽셀 휘도 특성들(일 예로, 3원색값(RGB), 색공간값(YCrCb), 밝기값(Luma))에 따른 전체 프레임으로부터의 픽셀을 선택하는 알고리즘, 스킨 검출 알고리즘들(skin detection algorithms) 및 스카이 검출 알고리즘들(sky detection algorithms) 중 적어도 하나일 수 있다.
상기 스킨 검출 알고리즘은 프레임에 포함된 사람의 피부색을 검출하여 변경하는 것이다. 일반적으로 스킨 톤들의 변경은 콘텐츠 향상 시 원하지 않는 부분이다. 본 개시의 실시 예는 스킨 톤들에 대하여 콘텐츠(101)의 포화도나 컬러를 직접적으로 변경시키지 않고, 밝거나 어두운 영역들로 (자연스럽게 또는 조명으로 인해) 캡쳐된 스킨 톤들의 개선을 위하여 하이라이트 영역들로 식별될 가능성이 있을 수 있다. 그리고 본 개시의 실시 예에서 스킨 톤의 변경을 원하지 않는 경우에는, 스킨 검출 알고리즘을 통해 스킨과 같은 하이라이트 영역들을 식별하여 프레임에서 사람 피부색을 변경하지 않을 수도 있다.
그리고 상기 스카이 검출 알고리즘은 프레임 내에서, 하늘 영역들이 특별한 하이라이트 영역들로 간주할 수 있다. 이에 본 개시의 실시 예에서 스카이 톤의 변경을 원하지 않는 경우에는, 스카이 검출 알고리즘을 통해 하늘과 같은 하이라이트 영역들을 식별하고 해당 프레임에서 하늘색을 변경하지 않을 수도 있다.
도 6에서 임계값 파라미터 산출기(415)는 상기 히스토그램 분석기(411)에서 생성된 휘도 히스토그램 및 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘을 기반으로 하드 임계값 및 소프트 임계값을 결정한다. 이때, 상기 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘이 복수 개인 경우, 상기 임계값 파라미터 산출기(415)는 각 알고리즘에 해당하는 하드 임계값 및 소프트 임계값을 결정한다. 한편, 상기 임계값들은 메뉴얼 또는 메타데이터를 통해 직접적으로 입력될 수 있다.
상기 결정 모듈(410)은 상기 하드 임계값 및 소프트 임계값에 관한 파라미터들은 다음과 같이 결정된다.
먼저, 상기 하드 임계값은 콘텐츠(101) 내에서 특정 하이라이트 영역의 경계를 식별하기 위한 값이다. 상기 하드 임계값은 휘도 히스토그램 정보에서 콘텐츠(101)의 평균 픽셀 휘도 값(average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution) 중 적어도 하나를 기반으로 결정된다. 상기 평균 픽셀 휘도 값은 다음 <수학식 1>에 의해 결정될 수 있다.
<수학식 1>
Figure PCTKR2016012196-appb-I000001
여기서, A는 평균 픽셀 휘도 값이고, N은 하나의 프레임(화면) 내 전체 픽셀 개수(total pixel count)이고, L은 휘도 값 (일 예로, 도 7의 히스토그램에서 가로축에 해당하는 값)이며, P은 픽셀의 개수(pixel count)이다.
일 예로, 전체 100개의 픽셀로 이루어진 한 프레임에 대해서 L=100nits의 픽셀 20개, L=400nits의 픽셀 50개, L=1000nits의 픽셀 30개로 이루어져있을 경우, 평균 휘도 값 A=(1/100)*(100*20+400*50+1000*30)=520nits 에 해당한다.
여기서, 상기 평균 픽셀 휘도 값은 상기 하드 임계값 및 최대 휘도 값(max luminance) 보다 작은 값을 가진다. 즉, 상기 평균 픽셀 휘도 값, 하드 임계값 및 최대 휘도 값 간의 관계는 다음 <수학식 2>와 같다.
<수학식 2>
평균 픽셀 휘도 값 < 하드 임계값 < 최대 휘도 값
일 예로, 도 7 및 도 8은 휘도 히스토그램 정보에서 하드 임계값(H)와 소프트 임계값(A)를 나타낸 것이다. 도 7 및 도 8에서와 같이 각 프레임의 하드 임계값(H)는 하드 부스팅 영역(hard boosting region, H* region)에 따라 결정되며, H* region은 한 프레임을 구성하는 전체 픽셀의 개수(N) 중 일정한 퍼센트를 나타내는 숫자로 결정할 수 있다. 예를 들어, 전체 픽셀의 개수가 100인 프레임에서 H*를 20%로 할 경우 이는 하드 부스팅 영역에 해당하는 픽셀의 개수가 100*20%=20개가 되는 것이다.
즉, 상기 H* region은 다음 <수학식 3>에 의해 결정될 수 있다.
<수학식 3>
H* region = 한 프레임을 구성하는 전체 픽셀의 개수의 %
다음으로, 소프트 임계값은 상기 하드 임계값의 함수(function)일 수 있다. 이러한 소프트 임계값(A)은 프레임/장면의 광 분포도(light distribution)에 따라 상기 결정된 하드 임계값과 일정 범위 내의 값으로 결정된다.
여기서, 상기 프레임/장면의 광 분포도는 모든 휘도값에 대한 전체 히스토그램 정보(도 7과 같은)가 없는 경우, L=0, A, S, H, max 일때의 P(분포 픽셀 개수, 수학식1 참고) 값을 기반으로 대략적인 광 분포도 (즉, 히스토그램 정보)를 예측할 수 있다.상기 부스팅 결정기(417)는 하이라이트 영역 추정기(413)에서 각각의 하이라이트 영역을 식별하는데 사용된 알고리즘 및 입력된 콘텐츠(101)의 정보(즉, 프레임/장면/전체에 대한 정보)를 기반으로, 각각의 하이라이트 영역에 대해 해당하는 부스팅 팩터를 결정한다. 한편, 상기 부스팅 팩터는 메뉴얼 또는 메타데이터를 통해 직접적으로 입력될 수 있다.
도 9는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 검출 모듈(430)의 내부 구성을 보이고 있다.
도 9를 참조하면, 검출 모듈(430)은 상기 결정 모듈(410)에서 결정된 파라미터들 각각에 대한 마스크를 생성하여, 프레임에서 하나 이상의 하이라이트 영역들을 식별한다. 여기서, 상기 하나 이상의 마스크들 각각은 프레임 내에서 특정 픽셀들(즉, 백색(또는 흑색) 픽셀들)을 식별하는 1 또는 0인 코드 값들을 포함한다. 그리고 서로 다른 마스크들(여기서, 콘텐츠(101) 내 서로 다른 영역들)에 서로 다른 부스팅 팩터들을 적용하기 위해 여러 마스크들이 사용될 수 있다. 상기 마스크들을 생성하는데 사용되는 알고리즘은 결정 모듈(410)에서 적절한 파라미터들을 선택하기 위해 사용된 알고리즘에 의해 결정되고, 결정된 알고리즘은 보완될 수 있다.
상세하게, 상기 검출 모듈(430)은, 파라미터 분석기(parameter parser, 431), 콘텐츠 프레임 추출기(content frame extractor, 433) 및 마스크 생성기(mask generator, 435)를 포함한다. 상기 파라미터 분석기(431)는 상기 결정 모듈(410)로부터 전달받은 파라미터들을 분석하여, 픽셀 휘도 임계값들, (여러 컬러 공간들에서의) 픽셀 컬러 휘도 임계값들 및 프레임 내 픽셀 위치 중 적어도 하나를 확인한다.
그리고 콘텐츠 프레임 추출기(433)는 상기 파라미터 분석기(431)에 의해 분석된 파라미터들에 대응하는 콘텐츠로부터 매칭하는 프레임을 추출한다.
또한 상기 마스크 생성기(435)는 상기 결정 모듈(410)에 포함된 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘과 동일한 알고리즘을 이용하여, 상기 추출된 프레임에 상기 하드 임계값 및 소프트 임계값에 대한 파라미터들을 적용한다. 여기서, 상기 하드 임계값 및 소프트 임계값에 대한 파라미터들 각각은 특정 하이라이트 영역에 대한 마스크를 생성하기 위해 사용된다. 즉, 상기 마스크 생성기(435)는 하이라이트 영역 추정기(413)에서 분석된 하이라이트 영역들의 개수에 따라, 하나 이상의 마스크들을 생성할 수 있다.
도 10은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 후처리 모듈(450)의 내부 구성을 보이고 있다.
도 10을 참조하면, 후처리 모듈(450)은 상기 결정 모듈(410)에서 결정된 부스팅 팩터들 각각에 대한 파라미터를 검출 모듈(430)에서 생성한 해당 마스크에 적용한다. 여기서, 부스팅 팩터들은 다양한 부스팅 팩터들이 사용되어, 재생 장치의 사용과 프레임에 좌우되는 다양한 마스크들을 개선할 수 있다.
상세하게, 상기 후처리 모듈(450)은 부스팅 결정 분석기(451), 마스크 부스팅기(453), 마스크 분석기(455) 및 마스크 통합기(451)를 포함한다. 상기 부스팅 결정 분석기(451)는 부스팅 결정기(417)로부터 전달받은 부스팅 팩터들에 대한 파라미터들을 분석한다. 그리고 상기 부스팅 결정 분석기(451)는 상기 분석된 파라미터들을 타겟 장치 또는 사용자 측의 어떠한 호환 가능한 장치로부터 이용 가능한 (피크 휘도 메타데이터, 또는 장치 사양 정보를 중계할 수 있는 어떤 다른 데이터 형태의) 추가적 정보와 비교한다. 상기 타겟 장치 또는 다른 장치로부터의 추가 정보에 따라, 부스팅 결정 분석기(451)는 타겟 장치나 다른 장치의 사양들에 대한 개선을 조정하기 위해 부스팅 팩터들에 대한 파라미터들을 조정할 수 있다.
상기 마스크 분석기(455)는 상기 마스크 생성기(435)로부터 생성된 마스크들 각각을 분석하고, 상기 분석된 마스크들 각각을 부스팅 결정 분석기(451)로부터의 해당 부스팅 팩터에 대한 파라미터와 매칭하여 마스크 부스팅기(453)로 전달한다.
상기 마스크 부스팅 모듈(453)은 상기 마스크 분석기(455)로부터 전달받은 부스팅 팩터에 대한 파라미터를 마스크 분석기(451)로부터 전달받은 해당 마스크에 적용한다. 여기서, 부스팅 팩터에 대한 파라미터들에 따라, 각각의 마스크에 적용되는 부스팅 레벨은 달라진다(일 예로, 스킨 하이라이트 영역들에는 부스팅 없음).
그리고 상기 마스크 통합기(451)은 마스크 부스팅기(453)로부터 전달받은 모든 부스팅된 마스크들을 조합하고, 조합된 마스크들을 최종 향상된 콘텐츠(800)에 포함되는 프레임으로 출력한다.
상기에서는 도 4 내지 도 10을 참조하여, 팝 아웃 엔진(400)의 구성에 대하여 상세히 설명하였으며, 이하에서는 도 11을 참조하여 팝 아웃 엔진(400)에서 콘텐츠의 명암비를 제어하는 방법에 대하여 설명하기로 한다.도 11은 본 개시의 실시 예에 따른 전자 장치에서 콘텐츠의 명암비를 제어하는 방법을 보이고 있다.
도 11을 참조하면, 팝 아웃 엔진(400)은 입력된 콘텐츠에 포함된 프레임의 휘도 히스토그램 정보를 생성한다(1101). 그리고 상기 팝 아웃 엔진(400)은 상기 휘도 히스토그램 정보로부터 하나 이상의 하이라이트 영역들을 식별한다(1103). 이때, 상기 팝 아웃 엔진(400)은 미리 정해진 하나 이상의 알고리즘을 이용하여 콘텐츠에 대한 휘도 히스토그램 정보로부터 하나 이상의 하이라이트 영역들을 식별할 수 있다.
상기 팝 아웃 엔진(400)은 상기 하나 이상의 하이라이트 영역들 각각에 대한 파라미터를 결정한다(1105). 여기서, 상기 파라미터는 하드 임계값, 소프트 임계값 및 부스팅 팩터를 포함한다.
그리고 상기 팝 아웃 엔진(400)은 프레임에서 상기 하나 이상의 하이라이트 영역들 각각에 대한 하드 임계값 및 소프트 임계값을 이용하여, 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성한다(1107).
이후 상기 팝 아웃 엔진(400)은 상기 생성된 하나 이상의 마스크들 각각에 해당 부스팅 팩터를 적용한다(1109). 그리고 상기 팝 아웃 엔진(400)은 상기 부스팅 팩터가 적용된 마스크들 각각을 하나의 마스크로 결합하여 최종 향상된 프레임을 출력한다(1111). 한편, 팝 아웃 엔진(400)은 단계 1109 및 단계 1111와 다른 방법으로, 상기 생성된 하나 이상의 마스크들을 하나의 마스크로 결합한 후, 결합된 마스크에 상기 하나 이상의 하이라이트 영역들에 대한 하나 이상의 부스팅 팩터들을 적용하여 최종 향상된 프레임을 출력할 수도 있다.
도 12는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)의 동작에 따라 콘텐츠의 명암비가 향상된 결과를 보이고 있다.
도 12를 참조하면, (a)는 팝 아웃 엔진(400)에 입력되는 프레임이고, (b)는 팝 아웃 엔진(400)에서 출력되는 프레임의 일 예를 도시한 것이다.
본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 프레임(a)이 입력되는 경우, 팝 아웃 엔진(400)는 참조번호 1201 및 1203으로 나타낸 바와 같이 입력된 프레임(a)에 비하여 밝기가 향상된 프레임(b)를 출력함을 할 수 있다. 즉, 도 12의 프레임(b)에서 달 부분은 원래 밝은 영역이었지만 더 밝아지는 효과가 나타나고, 달 주변 부분의 아주 어둡지 않은 밝은 부분도 부스팅 되어 밝아지는 효과가 나타남을 확인할 수 있다. 따라서 본 개시의 실시 예에 따라 콘텐츠의 명암비를 제어하면 시각적으로는 팝 아웃 (2D와 3D 사이의 입체적인 느낌) 효과를 나타낼 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에서 콘텐츠의 명암비를 제어하는 방법에 있어서,
    상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정;
    상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하는 과정;
    상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정; 및
    상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정을 포함하는 제어 방법.
  2. 제 1 항에 있어서, 상기 휘도 정보는 휘도 히스토그램을 기반으로 결정됨을 특징으로 하는 제어 방법.
  3. 제 2 항에 있어서, 상기 하나 이상의 하이라이트 영역들은 미리 정해진 알고리즘에 의해 식별되며,
    상기 휘도 히스토그램에서 백색 영역, 흑색 영역, 높은 휘도 영역(high luminance region), 낮은 휘도 영역(low luminance region), 포화된 하이라이트(saturated highlight), 스킨 톤 영역(skin tone region), 스카이 톤 영역(sky tone region) 및 특정 면적 영역(specified area region) 중 하나 이상의 영역들에 해당됨을 특징으로 하는 제어 방법.
  4. 제 1 항에 있어서, 상기 임계값들은,
    상기 하나 이상의 하이라이트 영역들 각각에 대한 하드 임계값 및 소프트 임계값을 포함함을 특징으로 하는 제어 방법.
  5. 제 4 항에 있어서,
    상기 하드 임계값은 해당 하이라이트 영역의 경계를 식별하기 위한 값으로, 상기 휘도 정보에서 상기 콘텐츠의 평균 픽셀 휘도 값(average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution) 중 적어도 하나를 기반으로 결정되며,
    상기 소프트 임계값은 상기 프레임의 광 분포도(light distribution)에 따라 상기 하드 임계값과 일정 범위 내의 값으로 결정됨을 특징으로 하는 제어 방법.
  6. 제 1 항에 있어서, 상기 하나 이상의 부스팅 팩터들 각각은 상기 하나 이상의 마스크들 각각에 대하여 서로 다른 값을 가짐을 특징으로 하는 제어 방법.
  7. 제 1 항에 있어서, 상기 명암비가 제어된 프레임을 생성하는 과정은,
    상기 하나 이상의 마스크들 각각에 상기 하나 이상의 부스팅 팩터들 중 해당 부스팅 팩터를 적용하고, 상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 상기 하나의 마스크로 결합하여 상기 명암비가 제어된 프레임을 생성하는 과정임을 특징으로 하는 제어 방법.
  8. 제 1 항에 있어서, 상기 명암비가 제어된 프레임을 생성하는 과정은,
    상기 하나 이상의 마스크들을 상기 하나의 마스크로 결합하고, 상기 결합된 하나의 마스크에 상기 하나 이상의 부스팅 팩터들을 적용하여 상기 명암비가 제어된 프레임을 생성하는 과정임을 특징으로 하는 제어 방법.
  9. 콘텐츠의 명암비를 제어하는 전자 장치에 있어서,
    데이터를 송수신하는 송수신부; 및
    상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하고, 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하고, 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하여, 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 프로세서를 포함하는 전자 장치.
  10. 제 1 항에 있어서, 상기 휘도 정보는 휘도 히스토그램을 기반으로 결정되고,
    상기 하나 이상의 하이라이트 영역들은 미리 정해진 알고리즘에 의해 식별되며,
    상기 휘도 히스토그램에서 백색 영역, 흑색 영역, 높은 휘도 영역(high luminance region), 낮은 휘도 영역(low luminance region), 포화된 하이라이트(saturated highlight), 스킨 톤 영역(skin tone region), 스카이 톤 영역(sky tone region) 및 특정 면적 영역(specified area region) 중 하나 이상의 영역들에 해당됨을 특징으로 하는 전자 장치.
  11. 제 9 항에 있어서, 상기 임계값들은,
    상기 하나 이상의 하이라이트 영역들 각각에 대한 하드 임계값 및 소프트 임계값을 포함함을 특징으로 하는 전자 장치.
  12. 제 11 항에 있어서,
    상기 하드 임계값은 해당 하이라이트 영역의 경계를 식별하기 위한 값으로, 상기 휘도 정보에서 상기 콘텐츠의 평균 픽셀 휘도 값(average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution) 중 적어도 하나를 기반으로 결정되며,
    상기 소프트 임계값은 상기 프레임의 광 분포도(light distribution)에 따라 상기 하드 임계값과 일정 범위 내의 값으로 결정됨을 특징으로 하는 전자 장치.
  13. 제 9 항에 있어서, 상기 하나 이상의 부스팅 팩터들 각각은 상기 하나 이상의 마스크들 각각에 대하여 서로 다른 값을 가짐을 특징으로 하는 전자 장치.
  14. 제 9 항에 있어서, 상기 프로세서는,
    상기 하나 이상의 마스크들 각각에 상기 하나 이상의 부스팅 팩터들 중 해당 부스팅 팩터를 적용하고, 상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 상기 하나의 마스크로 결합하여 상기 명암비가 제어된 프레임을 생성함을 특징으로 하는 전자 장치.
  15. 제 9 항에 있어서, 상기 프로세서는,
    상기 하나 이상의 마스크들을 상기 하나의 마스크로 결합하고, 상기 결합된 하나의 마스크에 상기 하나 이상의 부스팅 팩터들을 적용하여 상기 명암비가 제어된 프레임을 생성함을 특징으로 하는 전자 장치.
PCT/KR2016/012196 2015-10-27 2016-10-27 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법 WO2017074076A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/770,673 US10657631B2 (en) 2015-10-27 2016-10-27 Apparatus and method for controlling contrast ratio of content in electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150149539A KR102519288B1 (ko) 2015-10-27 2015-10-27 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
KR10-2015-0149539 2015-10-27

Publications (1)

Publication Number Publication Date
WO2017074076A1 true WO2017074076A1 (ko) 2017-05-04

Family

ID=58631747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012196 WO2017074076A1 (ko) 2015-10-27 2016-10-27 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법

Country Status (3)

Country Link
US (1) US10657631B2 (ko)
KR (1) KR102519288B1 (ko)
WO (1) WO2017074076A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040104867A (ko) * 2003-06-04 2004-12-13 삼성전자주식회사 하이라이트에서의 화질개선장치 및 방법
US20090041375A1 (en) * 2007-08-06 2009-02-12 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images
KR20120112709A (ko) * 2010-02-04 2012-10-11 마이크로소프트 코포레이션 높은 동적 범위의 이미지 생성 및 렌더링
US20140168249A1 (en) * 2007-07-30 2014-06-19 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172346B2 (ja) * 2003-07-15 2008-10-29 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及びプログラム
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2016176209A1 (en) * 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040104867A (ko) * 2003-06-04 2004-12-13 삼성전자주식회사 하이라이트에서의 화질개선장치 및 방법
US20140168249A1 (en) * 2007-07-30 2014-06-19 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US20090041375A1 (en) * 2007-08-06 2009-02-12 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
KR20120112709A (ko) * 2010-02-04 2012-10-11 마이크로소프트 코포레이션 높은 동적 범위의 이미지 생성 및 렌더링
US20120002082A1 (en) * 2010-07-05 2012-01-05 Johnson Garrett M Capturing and Rendering High Dynamic Range Images

Also Published As

Publication number Publication date
US20190206032A1 (en) 2019-07-04
KR102519288B1 (ko) 2023-04-07
KR20170048890A (ko) 2017-05-10
US10657631B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
US9225916B2 (en) System and method for enhancing video images in a conferencing environment
WO2015023074A1 (en) A method and apparatus for dynamic range enhancement of an image
WO2004098167A3 (en) A system and process for generating high dynamic range video
WO2016047894A1 (ko) 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
CN110378859A (zh) 一种新的高动态范围图像生成方法
EP3402179B1 (en) Image-capturing system, image-capturing method, and program
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2018080000A1 (ko) 디스플레이 장치 및 방법
CN111064942B (zh) 图像处理方法和设备
WO2019027252A1 (en) ADAPTIVE MAPPING OF DYNAMIC RANGE OF TONES WITH OVERLAY INDICATION
CN105791925A (zh) 一种处理录制视频的方法及装置
WO2017074076A1 (ko) 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법
US11051376B2 (en) Lighting method and system to improve the perspective colour perception of an image observed by a user
CN105321153B (zh) 视频监控低照度图像色彩还原方法和装置
CN101222572B (zh) 白平衡处理装置
KR20060087588A (ko) 다수의 원색 컬러 디스플레이 시스템을 위한 입력 신호를디코딩하기 위한 범용 컬러 디코더와 방법
US8068147B2 (en) Setting the white balance of a video frame
WO2007097517A1 (en) Adjustive chroma key composition apparatus and method
KR101473648B1 (ko) 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템
KR101039404B1 (ko) 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법
KR101876322B1 (ko) 다중 컬러키 적용 크로마키 합성 시스템 및 방법
KR20110045948A (ko) 색 유동성 억제 장치 및 방법
CN111034185B (zh) 影像处理装置、影像处理方法、程序和远程通信系统
WO2023048465A1 (en) Skin tone protection using a dual-core geometric skin tone model built in device-independent space
WO2023243853A1 (ko) 이미지 처리를 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16860259

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16860259

Country of ref document: EP

Kind code of ref document: A1