WO2016195428A1 - 영상 데이터의 제어 방법 및 장치 - Google Patents

영상 데이터의 제어 방법 및 장치 Download PDF

Info

Publication number
WO2016195428A1
WO2016195428A1 PCT/KR2016/005930 KR2016005930W WO2016195428A1 WO 2016195428 A1 WO2016195428 A1 WO 2016195428A1 KR 2016005930 W KR2016005930 W KR 2016005930W WO 2016195428 A1 WO2016195428 A1 WO 2016195428A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
image
brightness
source region
region
Prior art date
Application number
PCT/KR2016/005930
Other languages
English (en)
French (fr)
Inventor
김동연
유성열
입에릭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/579,805 priority Critical patent/US10713764B2/en
Priority to EP16803781.0A priority patent/EP3306915B1/en
Publication of WO2016195428A1 publication Critical patent/WO2016195428A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present disclosure relates to a method and apparatus for controlling the brightness of image data.
  • the original image data is converted to match the maximum brightness of the display device so that the original image data can be displayed on various display devices having different maximum brightnesses. Can be.
  • the operation of converting the maximum brightness of the original image data to the maximum brightness of the display device is called tone mapping.
  • HDR High Dynamic Range
  • HDR High Dynamic Range
  • the maximum brightness of the display device is lower, the brightness of the image is generally darker, and the range of brightness expression is limited, such as a phenomenon that a large change in saturation occurs due to a low contrast ratio in the image. This may be a performance limiting factor of a display device to which high dynamic range (HDR) technology is applied.
  • HDR high dynamic range
  • Embodiments of the present disclosure provide a method and apparatus for optimally displaying various brightnesses in an image to a user.
  • An embodiment of the present disclosure provides a method and apparatus for controlling a brightness characteristic of an image.
  • An embodiment of the present disclosure provides a method and apparatus for determining a light source region and a peripheral region of an image.
  • Embodiments of the present disclosure provide a method and apparatus for determining a light source threshold for determining a light source region of an image.
  • Embodiments of the present disclosure provide a method and apparatus for determining a correction factor and a correction value for controlling brightness characteristics of an image.
  • a method of controlling the brightness of an image provided by the present disclosure includes determining a light source region based on an optical signal intensity of pixels included in the image, and determining a peripheral region of the light source region by a predetermined method. And correcting at least one brightness characteristic of the light source region and the peripheral region based on at least one of the characteristic of the image, the characteristic of the display apparatus, or the surrounding environment.
  • An apparatus for controlling the brightness of an image may include: a signal analyzer configured to receive content including the image, and determine a light source region based on an optical signal intensity of pixels included in the image, An image controller to determine a peripheral region of the light source region and to correct brightness characteristics of at least one of the light source region and the peripheral region based on at least one of a characteristic of the image, a characteristic of a display device, or an ambient environment. It includes.
  • FIG. 1 is a view for explaining the configuration of a video reproducing apparatus according to an embodiment of the present disclosure
  • FIG. 2 is a diagram illustrating a surround type
  • FIG. 3 is a view for explaining an operation of an image controller according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of identifying a light source pixel in an image when a light source threshold is set according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a view for explaining an example of setting a peripheral area according to an embodiment of the present disclosure.
  • FIG. 6 is a view for explaining an example of a method of adjusting the brightness effect of the light source region and the peripheral region according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure described below are separated for convenience of description, but at least two or more embodiments may be combined and performed within a range that does not conflict with each other.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • the present disclosure controls brightness of an image in consideration of at least one of a characteristic of an image, a characteristic of a display apparatus displaying an image, or an environmental characteristic around a playback apparatus.
  • the present disclosure determines the light source region and the peripheral region in one image, and adjusts the brightness characteristics of the light source region and the peripheral region to maximize the effect of the light source to the user. For example, the light source region of the original image may be extended, and the brightness of the peripheral region of the original image may be lowered to effectively express the light source in the corresponding image.
  • FIG. 1 is a diagram illustrating a configuration of a video reproducing apparatus according to an embodiment of the present disclosure.
  • content 101 including image data is input to the image reproducing apparatus 100, and the image reproducing apparatus 100 decodes the image data, and the light source for each scene with respect to the image data.
  • the brightness of the image data may be controlled by determining an area and a peripheral area of the light source and considering the brightness characteristics of the light source area and the peripheral area in consideration of the content property and / or the surrounding environment.
  • the image data is output to the display 111 and displayed.
  • the display 111 may be part of the image reproducing apparatus 100 or may be a separate device connected to the outside of the image reproducing apparatus 111.
  • the content 101 includes image data such as a movie and a video on demand (VOD), and the content includes metadata representing the characteristics of the content.
  • image data such as a movie and a video on demand (VOD)
  • content includes metadata representing the characteristics of the content.
  • the solid line represents the flow of image data
  • the dotted line represents the flow of meta data
  • the signal analyzer 103 analyzes the input content 101 to identify the image data and the metadata, transfer the image data to the tone mapping unit 107, and transmit the metadata to the metadata analyzer 105. To pass.
  • the metadata analyzer 105 receives the metadata related to the content and / or the metadata related to the display from the signal analyzer 103.
  • the metadata analyzer 105 may receive display-related metadata from the display 111.
  • the maximum brightness of the display 111 is information necessary for tone mapping. If the maximum brightness information of the display unit 111 is not known in advance, the metadata analyzer 105 requests the display unit 111 to display display metadata including the maximum brightness information and / or other information of the display unit. May be received.
  • the metadata analysis unit 105 receives the received content related metadata and / or display related metadata, checks metadata required for brightness adjustment of the image data from the received metadata, and checks at least one identified metadata. The data is transmitted to the tone mapping unit 107.
  • Metadata necessary for adjusting brightness of the image data and a description thereof are as follows.
  • Content Peak Luminance Means the maximum brightness (or luminance) of the image of the content.
  • Center of Light Source Refers to the center of light source in the image.
  • Surrounding Type Means the form of the surrounding area (Surrounding) that can be affected by the brightness of the light source, the surround type is the scale-up type (Scale-up Type) and the window type (Window Type) and the like. Examples of the scale-up type and the window type are shown in FIG. 2. That is, (a) is an example of a scale up type, and (b) is an example of a window type.
  • the surrounding type will be described in more detail in the following description.
  • Scale factor When the surrounding type is the scale up type, it is information necessary for setting the position and size of the surrounding area in the image.
  • Display Peak Luminance Means the maximum brightness of the display 111.
  • the metadata of (1) to (6) can be identified from the content related metadata, and (7) can be confirmed from the display related metadata.
  • the tone mapping unit 107 adjusts the brightness value of the image data to correspond to the display maximum brightness value based on the content maximum brightness value based on the metadata transmitted from the metadata analyzer 105. .
  • the meta data necessary for adjusting the brightness of the image data is transmitted to the image controller 109.
  • the image controller 109 detects the light source region and the peripheral region in each scene of the tone-mapped image data based on the received metadata (ie, content related metadata and / or display related metadata) or surrounding environment information.
  • the brightness of the detected light source region and the peripheral region is adjusted.
  • the surrounding environment information may be received from an external sensor (not shown in FIG. 1 for convenience).
  • the external sensor may detect surrounding environment information including brightness around the display 111 and transmit the information to the image controller 109.
  • the metadata has been described as being transmitted from the tone mapping unit 107, the metadata may be directly transmitted from the metadata analysis unit 105.
  • the light source area is an area that is recognized as a light source on the screen when a user views an image, and is a set of neighboring pixels having similar brightness values among pixels having brightness values of a predetermined threshold or more, and belonging to the one set. An inner region connecting the included neighboring pixels may be determined as the light source region.
  • the peripheral area refers to the area around the light source that can affect the brightness of the light source area.
  • an operation of the image controller 109 may be largely divided into five steps.
  • FIG 3 is a diagram illustrating an operation of the image controller 109 according to an embodiment of the present disclosure.
  • step 301 a light source threshold for detecting a light source region is set.
  • the light source region is detected for each scene (ie, a frame) according to the set light source threshold.
  • a peripheral area that may affect and receive the brightness of the light source area is determined.
  • a correction factor and a correction value for correcting the brightness characteristics of the detected light source region and the peripheral region are determined.
  • brightness characteristics of the light source region and the peripheral region are corrected according to the determined correction factor and the correction value.
  • the light source threshold may be set in various ways, examples of which are as follows (a) to (d).
  • the light source threshold is included in the content related metadata or the display related metadata
  • the corresponding light source threshold is used. That is, the light source threshold value may be included in the content or may be included in the display related metadata received from the display 111.
  • a value of a predetermined ratio is applied to the Display Peak Luminance value included in the display-related metadata to be used as the light source threshold.
  • the image control unit 109 represents the representative brightness representing the whole or the predetermined section or the scene of each of the image data based on the histogram indicating the whole or the predetermined section or the distribution of brightness for each scene. A ratio is applied to the value and used as the light source threshold.
  • the representative brightness value may be, for example, an average brightness value or the like.
  • the method of determining the light source region is as follows.
  • the image controller 109 detects pixels in which the brightness value of the pixels in the corresponding screen is larger than the light source threshold set by the above-described method.
  • 4 is a diagram illustrating an example of identifying a light source pixel in an image when a light source threshold is set according to an exemplary embodiment of the present disclosure.
  • the pixels of the image data for each scene are identified as light source pixels whose intensity of the light signal is greater than or equal to the light source threshold.
  • the light source pixels are indicated with reference numeral 401.
  • adjacent pixels are grouped with similar brightness values within a predetermined range among the detected light source pixels.
  • the internal region connecting the grouped pixels is determined as one light source region.
  • a plurality of light source pixels may be detected, and at least one light source region may be detected therefrom.
  • a light source center point is set for each of the detected light sources.
  • step 303 The contents of step 303 can be summarized as follows.
  • Light source area L An area of light source pixels having a brightness value equal to or greater than a light source threshold in the screen, having similar brightness and connecting groups of neighboring pixels
  • the method of determining the peripheral area is as follows.
  • the method of determining the peripheral area may be determined by the scale up type or the window type.
  • an area corresponding to k times the light source area may be determined as the peripheral area based on the center point of the light source.
  • the coordinates of the upper left point and the lower right point in a rectangular shape may be determined based on the center point of the light source region.
  • the scale up type may be determined more precisely than the window type. Therefore, in order to express a precise image, a scale up type may be used.
  • the window type may be used when determining the surrounding area is simpler than the scale-up type, and thus requires fast processing of the corresponding image.
  • peripheral region determination method can be summarized as follows.
  • Scale factor (k) A value for setting the area of k times the size of the light source to the surrounding area based on the center point of the light source in the scale up type.
  • Window (w) In the window type, it is a peripheral area of rectangular shape, defined as the upper left point (Xmin, Ymin) and the lower right point (Xmax, Ymax).
  • FIG. 5 An example of setting the peripheral area by the above-described method is shown in FIG. 5.
  • FIG. 5 is a diagram illustrating an example of setting a peripheral area according to an exemplary embodiment of the present disclosure.
  • (a) is an example in which the peripheral area is set by the scale-up type.
  • the peripheral area 505 is enlarged by K times compared to the light source area 501 based on the light source center point 503 of the light source area 501.
  • (b) is an example in which the peripheral area is set by the window type, the peripheral area 515 is located at the upper left end point 517 and the lower right end point 519 around the light source center point 513 of the light source area 511. Was set.
  • a method of determining a correction factor and a correction value for correcting brightness characteristics of the light source region and the peripheral region is as follows.
  • the image controller 109 adjusts a correction value for at least one of factors affecting the brightness effect of the light source region and the surrounding region based on at least one of content related metadata, display related metadata, or surrounding environment information. Can be determined.
  • Factors affecting the brightness effect are (1) Luminance of Light Source, (2) Hue of Light Source, (3) Saturation of Light Source, (4) Size of Light Source (5) Sharpness of Light Source (6) Luminance of Surrounding, (7) Hue of Surrounding, (8) Saturation of the surrounding area may be, and the image controller 109 may determine a correction value for at least one of the factors.
  • Examples of a method of determining the correction factor and the correction value of the image data in the present disclosure may be by one of the following (1) to (5).
  • the external sensor detects the surrounding environment information including the brightness around the display 111, and the image control unit 109 surrounds the ambient sensor from the external sensor.
  • the image control unit 109 may further include ambient brightness information in addition to the metadata of the content and the metadata of the display unit. The correction factor and the correction value can be determined in consideration of the above.
  • a correction factor and a correction value may be determined by the aforementioned methods.
  • the correction factor and the correction value may be determined so that the size of the light source region is larger than the light source region of the original image, and the brightness of the peripheral region is lower than the original brightness.
  • the reason for increasing the size of the light source region and lowering the luminance of the peripheral region is as follows.
  • the brightness effect of the light source visually felt by the user is relative to the brightness of the surrounding area. Therefore, the brightness effect of the light source region can be maximized by adjusting the characteristics related to the brightness of the peripheral region as well as the light source region on the screen. For example, if the brightness of the surrounding area is lower than the brightness of the original image, the contrast ratio is increased by increasing the brightness difference between the light source area and the surrounding area, so that the user may feel that the light source area is brighter than it actually is.
  • FIG. 6 is a diagram illustrating an example of a method of adjusting brightness effects of a light source region and a peripheral region according to an exemplary embodiment of the present disclosure.
  • the size of the light source region 602 after correction is greater than that of the light source region 601 in the original image. It may be expanded (605), and the brightness 608 of the peripheral area after the correction is lower than the brightness 607 of the peripheral area in the original image. That is, (4) Size of Light Source and (6) Luminance of Surrounding were adjusted.
  • the sharpness of the light source is determined according to the slope of the line connecting the brightness of the light source region and the brightness of the peripheral region. That is, the larger the difference between the brightness of the light source area and the brightness of the surrounding area, the larger the slope of the line connecting both. This is referred to as "clarity gradient", the greater the sharpness gradient, the greater the sharpness of the light source region.
  • the sharpness slopes 612 and 614 connecting the luminance of the corrected light source region 602 and the corrected luminance of the peripheral regions 603 and 604 are larger than the sharpness slopes 611 and 613 before correction. Can be. This means that the sharpness of the corrected light source region 602 is increased.
  • the brightness of the light source region and the surrounding region in the image is adjusted based on at least one of content characteristics, display device characteristics, and the surrounding environment, thereby adjusting the brightness effect of the image to the user. It is possible to provide a high quality image around the, and to prevent the phenomenon that the HDR performance is reduced according to the maximum brightness of the display device.
  • a computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of the computer readable recording medium include read-only memory (ROM), random-access memory (RAM), CD-ROMs, magnetic tapes, Floppy disks, optical data storage devices, and carrier waves (such as data transmission over the Internet).
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, code, and code segments for achieving the present disclosure may be readily interpreted by those skilled in the art to which the present disclosure applies.
  • any such software may be, for example, volatile or nonvolatile storage, such as a storage device such as a ROM, whether or not removable or rewritable, or a memory such as, for example, a RAM, a memory chip, a device or an integrated circuit. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer).
  • a machine eg computer
  • the method according to an embodiment of the present disclosure may be implemented by a computer or a portable terminal including a control unit and a memory, the memory suitable for storing a program or programs including instructions for implementing the embodiments of the present disclosure. It will be appreciated that this is an example of a machine-readable storage medium.
  • the present disclosure includes a program comprising code for implementing the apparatus or method described in any claim herein and a machine-readable storage medium storing such a program.
  • a program may be transferred electronically through any medium, such as a communication signal transmitted over a wired or wireless connection, and the present disclosure suitably includes equivalents thereof.
  • the apparatus may receive and store the program from a program providing apparatus connected by wire or wirelessly.
  • the program providing apparatus includes a memory for storing a program including instructions for causing the program processing apparatus to perform a preset content protection method, information necessary for the content protection method, and the like, and wired or wireless communication with the graphic processing apparatus.
  • a communication unit for performing and a control unit for automatically transmitting the program or the corresponding program to the request or the graphics processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

본 개시가 제공하는 영상의 밝기를 제어하는 방법은, 상기 영상에 포함된 픽셀들의 광 신호 강도에 기초하여 광원 영역을 결정하는 과정과, 소정의 방식에 의하여 상기 광원 영역의 주변 영역을 결정하는 과정과, 상기 영상의 특성, 디스플레이 장치의 특성, 또는 주변 환경 특성 중 적어도 하나에 기초하여, 상기 광원 영역과 주변 영역 중 적어도 하나의 밝기 특성을 보정하는 과정을 포함한다.

Description

영상 데이터의 제어 방법 및 장치
본 개시는 영상 데이터의 밝기를 제어하기 위한 방법 및 장치에 관한 것이다.
일반적으로 원본 영상 데이터의 최대 밝기가 디스플레이 장치의 최대 밝기보다 높으면, 원본 영상 데이터를 디스플레이 장치의 최대 밝기에 맞게 변환하여, 원본 영상 데이터가 서로 다른 최대 밝기를 가지는 다양한 디스플레이 장치에서 디스플레이될 수 있도록 할 수 있다. 이렇게 원본 영상 데이터의 최대 밝기를 디스플레이 장치의 최대 밝기에 맞게 변환하는 동작을 톤 매핑(tone mapping)이라고 한다.
한편, HDR(High Dynamic Range)은, 하나의 장면에 대하여 서로 다른 밝기를 가지는 복수 개의 영상 데이터를 생성하고, 복수 개의 영상 데이터를 합성하여 최적의 영상 데이터를 생성하는 기술이다. 예를 들어, 태양이 하늘에 떠 있는 밝은 하늘과, 그림자가 져서 어두운 언덕이 공존하는 장면과 같이, 하나의 장면에서 밝기 차이가 큰 피사체들이 포함된 경우, HDR 기술을 이용하여 피사체들마다 적당한 밝기를 갖는 영상을 선택하고, 이들을 합성하면 밝은 하늘과 어두운 언덕이 하나의 영상에서 모두 적절한 밝기로 표현될 수 있다.
기존의 톤 매핑 방식을 사용할 경우, 디스플레이 장치의 최대 밝기에 따라 하나의 영상이 다르게 보여진다.
또한, 디스플레이 장치의 최대 밝기가 낮을수록 영상의 밝기는 전체적으로 어둡게 표현되며, 영상 내에 명암비가 낮아져서 채도에 큰 변화가 생기는 현상이 생기는 등 밝기 표현의 범위가 제한된다. 이는 HDR (High Dynamic Range) 기술이 적용되는 디스플레이 장치의 성능 제한 요소가 될 수 있다.
본 개시의 실시예는 영상에서 다양한 밝기를 사용자에게 최적으로 디스플레이하기 위한 방법 및 장치를 제공한다.
본 개시의 실시예는 영상의 밝기 특성을 제어하는 방법 및 장치를 제공한다.
본 개시의 실시예는 영상의 광원 영역과 주변 영역을 결정하는 방법 및 장치를 제공한다.
본 개시의 실시예는 영상의 광원 영역 결정을 광원 임계값을 결정하기 위한 방법 및 장치를 제공한다.
본 개시의 실시예는 영상의 밝기 특성을 제어하기 위한 보정 인자 및 보정 값을 결정하기 위한 방법 및 장치를 제공한다.
본 개시가 제공하는 영상의 밝기를 제어하는 방법은, 상기 영상에 포함된 픽셀들의 광 신호 강도에 기초하여 광원 영역을 결정하는 과정과, 소정의 방식에 의하여 상기 광원 영역의 주변 영역을 결정하는 과정과, 상기 영상의 특성, 디스플레이 장치의 특성, 또는 주변 환경 특성 중 적어도 하나에 기초하여, 상기 광원 영역과 주변 영역 중 적어도 하나의 밝기 특성을 보정하는 과정을 포함한다.
본 개시가 제공하는 영상의 밝기를 제어하는 장치는, 상기 영상이 포함된 콘텐츠를 입력받는 신호 분석부와, 상기 영상에 포함된 픽셀들의 광 신호 강도에 기초하여 광원 영역을 결정하고, 소정의 방식에 의하여 상기 광원 영역의 주변 영역을 결정하고, 상기 영상의 특성, 디스플레이 장치의 특성, 또는 주변 환경 특성 중 적어도 하나에 기초하여, 상기 광원 영역과 주변 영역 중 적어도 하나의 밝기 특성을 보정하는 영상 제어부를 포함한다.
도 1은 본 개시의 실시예에 의한 영상 재생 장치의 구성을 설명하는 도면,
도 2는 서라운딩 타입을 설명하는 도면,
도 3은 본 개시의 실시예에 의한 영상 제어부의 동작을 설명하는 도면,
도 4는 본 개시의 실시예에 따라 광원 임계값이 설정된 경우, 영상에서 광원 픽셀을 식별하는 일 예를 설명하는 도면이다.
도 5는 본 개시의 실시예에 따라 주변 영역을 설정한 예를 설명하는 도면,
도 6은 본 개시의 실시예에 따라 광원 영역 및 주변 영역의 밝기 효과를 조정하는 방식의 일 예를 설명하는 도면.
하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 상기한 본 개시의 실시예를 구체적으로 설명하기로 한다.
이하에서 설명되는 본 개시의 실시예들은 설명의 편의를 위하여 분리된 것이지만, 상호 충돌되지 않는 범위 내에서 적어도 둘 이상의 실시예는 결합되어 수행될 수 있다.
이하에서 후술되는 용어들은 본 개시의 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 특정 실시 예들을 도면들에 예시하여 상세하게 설명한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 상세한 설명에 앞서 본 개시의 기본 개념을 간략히 설명한다.
본 개시는 영상의 특성, 영상을 디스플레이하는 디스플레이 장치의 특성, 또는 재생 장치 주변의 환경 특성 중 적어도 하나를 고려하여, 영상의 밝기를 제어하는 것이다. 특히, 본 개시에서는 하나의 영상에서 광원(light source) 영역과 주변 영역을 결정하고, 사용자에게 광원의 효과가 극대화될 수 있도록, 광원 영역과 주변 영역의 밝기 특성을 조정한다. 예를 들어, 원본 영상의 광원 영역을 확장하고, 원본 영상의 주변 영역의 밝기를 낮추어 해당 영상에서 광원의 효과적으로 표현할 수 있다.
본 개시에서는 상술한 기본 개념에 기초하여, 광원 영역을 결정하는 방식과, 주변 영역을 결정하는 방식, 광원 영역과 주변 영역의 밝기 특성을 제어하기 위하여 밝기 특성과 관련된 인자(factor)를 결정하고 해당 인자의 값을 결정하는 방식이 설명될 것이다.
이하에서 도면을 참조하여 본 개시를 상세히 설명한다.
도 1은 본 개시의 실시예에 의한 영상 재생 장치의 구성을 설명하는 도면이다.
도 1을 참조하면, 본 개시에서 영상 데이터를 포함하는 콘텐츠(101)는 영상 재생 장치(100)로 입력되고, 영상 재생 장치는(100)는 영상 데이터를 복호하고, 영상 데이터에 대하여 장면 별로 광원 영역과 광원 주변 영역을 결정하고, 상기 광원 영역과 주변 영역의 밝기 특성을 콘텐츠 특성 및/또는 주변 환경 등을 고려하여 영상 데이터의 밝기를 제어할 수 있다. 이후, 영상 데이터는 디스플레이부(111)로 출력되어 디스플레이된다. 상기 디스플레이부(111)는 영상 재생 장치(100)의 일 부분이거나, 영상 재생 장치(111)의 외부에 연결된 별도의 장치가 될 수 있다.
이하에서 영상 재생 장치(100)의 구성들과 그 동작을 구체적으로 설명한다.
도 1에서 콘텐츠(101)는 영화, VOD(video on demand)와 같은 영상 데이터를 포함하며, 상기 콘텐츠에는 상기 콘텐츠의 특징을 나타내는 메타 데이터들이 포함되어 있다.
참고로, 도 1에서 실선은 영상 데이터의 흐름을 나타내고, 점선은 메타 데이터의 흐름을 나타낸다.
신호 분석부(103)는 입력된 콘텐츠(101)를 분석하여, 영상 데이터와 메타 데이터를 식별하고, 영상 데이터를 톤 매핑부(107)로 전달하고, 메타 데이터를 메타 데이터 분석부(105)로 전달한다.
메타 데이터 분석부(105)는 신호 분석부(103)로부터 콘텐츠 관련 메타 데이터 및/또는 디스플레이 관련 메타 데이터를 수신한다. 또한, 메타 데이터 분석부(105)는 디스플레이부(111)로부터 디스플레이 관련 메타 데이터를 수신할 수도 있다. 예를 들어, 디스플레이부(111)의 최대 밝기는 톤 매핑을 위하여 필요한 정보이다. 만일 상기 디스플레이부(111)의 최대 밝기 정보가 미리 알려져 있지 않다면, 메타 데이터 분석부(105)는 디스플레이부(111)에게 요청하여 디스플레이부의 최대 밝기 정보 및/또는 다른 정보들을 포함하는 디스플레이 관련 메타 데이터를 수신할 수도 있다.
메타 데이터 분석부(105)는 수신한 콘텐츠 관련 메타 데이터 및/또는 디스플레이 관련 메타 데이터를 수신하고, 수신한 메타데이터들로부터 영상 데이터의 밝기 조절에 필요한 메타 데이터를 확인하고, 확인된 적어도 하나의 메타 데이터를 톤 매핑부(107)로 전달한다.
상기 영상 데이터의 밝기 조절에 필요한 메타 데이터와 그에 대한 설명은 아래와 같다.
(1) 콘텐츠 최대 밝기(Content Peak Luminance): 해당 콘텐츠의 영상의 최대 밝기(또는 휘도)를 의미한다.
(2)광원 식별 임계값(Light Source Identifying Threshold): 영상에서 광원(light source)을 식별하기 위한 임계값을 의미한다.
(3)광원 중심(Center of Light Source): 영상에서 광원의 중심 위치를 의미한다.
(4)서라운딩 타입(Surrounding Type): 광원의 밝기에 의하여 영향을 주고 받을 수 있는 주변 영역(Surrounding)의 형태를 의미하며, 상기 서라운딩 타입에는 스케일 업 타입(Scale-up Type)과 윈도우 타입(Window Type) 등이 있을 수 있다. 상기 스케일 업 타입(Scale-up Type)과 윈도우 타입(Window Type)의 예는 도 2에 도시되어 있다. 즉, (a)는 스케일 업 타입의 일 예이고, (b)는 윈도우 타입의 일 예이다. 서라운딩 타입에 대해서는 이후의 설명에서 더 상세히 설명될 것이다.
(5)스케일 인자(Scale factor): 상기 서라운딩 타입이 스케일 업 타입인 경우, 영상 내에서 주변 영역의 위치 및 크기의 설정에 필요한 정보이다.
(6)윈도우(Window): 상기 서라운딩 타입이 윈도우 타입인 경우, 영상 내에서 주변 영역의 위치 및 크기의 설정에 필요한 정보이다.
(7)디스플레이 최대 밝기(Display Peak Luminance): 디스플레이부(111)의 최대 밝기를 의미한다.
참고로, 상기 (1)~(6)의 메타 데이터들은 콘텐츠 관련 메타데이터들로부터 확인할 수 있고, 상기 (7)은 디스플레이 관련 메타 데이터로부터 확인할 수 있다.
다시 도 1을 참조하면, 톤 매핑부(107)는 메타 데이터 분석부(105)로부터 전달된 메타 데이터들에 기초하여 콘텐츠 최대 밝기 값을 디스플레이 최대 밝기 값에 대응하도록 영상 데이터의 밝기 값을 조정한다. 또한, 상기 영상 데이터의 밝기 조절에 필요한 메타 데이터들을 영상 제어부(109)로 전달한다.
영상 제어부(109)는 전달받은 메타 데이터들(즉, 콘텐츠 관련 메타 데이터 및/또는 디스플레이 관련 메타 데이터), 또는 주변 환경 정보에 기초하여 톤 매핑된 영상 데이터의 각 장면에서 광원 영역 및 주변 영역을 검출하고, 검출된 광원 영역 및 주변 영역의 밝기를 조절한다. 참고로 상기 주변 환경 정보는 (편의상 도 1에 도시되지 않은) 외부 센서로부터 수신할 수 있다. 상기 외부 센서는 디스플레이부(111) 주변의 밝기를 포함하는 주변 환경 정보를 감지하고 이를 영상 제어부(109)로 전달할 수 있다. 또한, 상기 메타 데이터들은 톤 매핑부(107)로부터 전달된 것으로 설명되었으나, 메타 데이터 분석부(105)로부터 직접 전달받을 수도 있을 것이다.
상기 광원 영역이란 사용자가 영상을 시청할 때, 해당 화면에서 광원이라고 인식하는 영역으로, 소정 임계값 이상의 밝기 값을 갖는 픽셀들 중에서, 유사한 밝기 값을 가지는 이웃한 픽셀들의 집합으로, 상기 하나의 집합에 포함된 이웃한 픽셀들을 연결한 내부 영역을 광원 영역으로 결정할 수 있다. 한편, 주변 영역이란 상기 광원 영역의 밝기에 영향을 주고 받을 수 있는 광원 주변의 영역을 말한다.
본 개시에서 영상 제어부(109)의 동작은 크게 다섯 단계로 구분할 수 있다.
도 3은 본 개시의 실시예에 의한 영상 제어부(109)의 동작을 설명하는 도면이다.
301 단계에서는 광원 영역을 검출하기 위한 광원 임계값을 설정한다.
303 단계에서는, 설정된 광원 임계값에 따라 장면(즉, 프레임) 별로 광원 영역을 검출한다.
305 단계에서는, 상기 광원 영역의 밝기에 영향을 주고 받을 수 있는 주변 영역을 결정한다.
307 단계에서는, 검출된 광원 영역 및 주변 영역의 밝기 특성을 보정하기 위한 보정 인자 및 보정 값을 결정한다.
309 단계에서는, 결정된 보정 인자 및 보정 값에 따라 광원 영역 및 주변 영역의 밝기 특성을 보정한다.
도 3의 301단계에서 광원 임계값은 다양한 방식으로 설정될 수 있으며, 그 예는 아래 (a)~(d) 같다.
(a) 콘텐츠 관련 메타데이타 또는 디스플레이 관련 메타 데이터에 광원 임계값이 포함된 경우 해당 광원 임계값을 사용한다. 즉, 광원 임계값은 콘텐츠에 포함되거나, 디스플레이부(111)로부터 수신한 디스플레이 관련 메타 데이터에 포함되어 있을 수 있다.
(b) 디스플레이 관련 메타 데이터에 포함된 디스플레이 최대 밝기(Display Peak Luminance) 값에 대하여 소정 비율의 값을 적용하여 광원 임계값으로 사용한다.
(c) 영상 제어부(109)가 영상 데이터의 전체, 또는 일정 구간, 또는 장면 별 밝기 분포를 나타내는 히스토그램(histogram)에 기초하여, 각 영상 데이터의 전체, 또는 일정 구간, 또는 장면을 대표하는 대표 밝기값에 대하여 일정 비율을 적용하여 광원 임계값으로 사용한다. 상기 대표 밝기 값은, 예를 들어, 평균 밝기 값 등이 사용될 수 있다.
(d) 사용자가 직접 광원 임계값을 설정하고, 이를 영상 제어부(109)로 입력한 경우, 사용자가 설정한 광원 임계값을 사용한다.
도 3의 303 단계에서, 광원 영역을 결정하는 방식은 다음과 같다.
영상 제어부(109)는 해당 화면 내의 픽셀들의 밝기 값이 상술한 방식에 의하여 설정된 광원 임계값보다 큰 픽셀들을 검출한다. 도 4는 본 개시의 실시예에 따라 광원 임계값이 설정된 경우, 영상에서 광원 픽셀을 식별하는 일 예를 설명하는 도면이다. 상술한 광원 임계값 설정 방식들 중 하나에 의하여 광원 임계값이 설정되면, 각 장면 별 영상 데이터의 픽셀들에서 광 신호의 강도가 광원 임계값 이상이 되는 광원 픽셀들로 식별한다. 도 4에서 광원 픽셀들은 참조 번호 401로 표시되었다.
이후, 검출된 광원 픽셀들 중에서 소정 범위 내에서 유사한 밝기 값을 갖고 인접한 픽셀들끼리 그룹핑한다. 이후, 그룹핑된 픽셀들을 연결한 내부 영역을 하나의 광원 영역으로 결정한다. 이렇게 복수 개의 광원 픽셀들을 검출하고, 그로부터 적어도 하나 이상의 광원 영역이 검출될 수 있다. 이후, 검출된 각각의 광원들에 대해서는 광원 중심점을 설정한다.
상기 303단계의 내용은 아래와 같이 요약할 수 있다.
(1) 광원 영역(L): 화면 내에서 광원 임계값(threshold) 이상의 밝기 값을 갖는 광원 픽셀들 중, 유사한 밝기를 갖고 이웃한 픽셀들의 그룹을 연결한 영역
(2) 광원 중심점(Center of the light source: C(x,y)): 광원 영역의 중심점
도 3의 305단계에서 주변 영역을 결정하는 방식은 다음과 같다.
주변 영역을 결정하는 방식은, 스케일 업 타입 또는 윈도우 타입으로 결정할 수 있다.
스케일 업 타입에서는 광원의 중심점을 기준으로 광원 영역의 k배에 해당하는 영역을 주변 영역으로 결정할 수 있다. 윈도우 타입에서는 광원 영역의 중심점을 기준으로 직사각형 형태로 좌측 상단점과 우측의 하단점의 좌표를 결정할 수 있다. 참고로, 스케일 업 타입은 윈도우 타입에 비하여 주변 영역이 더 정교하게 결정될 수 있다. 따라서 정밀한 영상을 표현하고자 할 경우에는 스케일 업 타입을 사용할 수 있다. 한편, 윈도우 타입은 주변 영역을 결정이 스케일 업 타입에 비하여 간단하기 때문에 해당 영상의 신속한 처리가 필요한 경우에 사용될 수 있다.
상술한 주변 영역 결정 방식을 아래와 같이 요약할 수 있다.
(1) 서라운딩 타입(Surrounding Type): 스케일 업 타입 또는 윈도우 타입
(2) 주변 영역(Surrounding: S): 광원의 밝기 효과에 영향을 주고 받을 수 있는 주변부
(3)스케일 인자(Scale factor: k): 스케일 업 타입에서 광원의 중심점을 기준으로 광원의 k 배 크기의 영역을 주변 영역으로 설정하기 위한 값
(4)윈도우(Window: w): 윈도우 타입에서 직사각형 형태의 주변 영역으로, 좌측 상단점 (Xmin, Ymin), 우측 하단점(Xmax, Ymax)으로 정의함
상술한 방식에 의하여 주변 영역을 설정한 예가 도 5에 도시되어 있다.
도 5는 본 개시의 실시예에 따라 주변 영역을 설정한 예를 설명하는 도면이다.
(a)는 스케일 업 타입에 의하여 주변 영역을 설정한 예인데, 주변 영역(505)는 광원 영역(501)의 광원 중심점(503)을 기준으로, 광원 영역(501)과 비교하여 K배 확대된 영역으로 설정되었다. 한편, (b)는 윈도우 타입에 의하여 주변 영역을 설정한 예인데, 주변 영역(515)은 광원 영역(511)의 광원 중심점(513)을 중심으로 좌상단점(517)과 우하단점(519)에 의하여 설정되었다.
도 3의 307단계에서, 광원 영역 및 주변 영역의 밝기 특성을 보정하기 위한 보정 인자 및 보정 값을 결정하는 방식은 다음과 같다.
영상 제어부(109)는 콘텐츠 관련 메타 데이터, 디스플레이 관련 메타 데이터, 또는 주변 환경 정보 중 적어도 하나에 기초하여, 광원 영역과 주변 영역의 밝기 효과에 영향을 미치는 인자들 중 적어도 하나의 인자에 대하여 보정 값을 결정할 수 있다.
밝기 효과에 영향을 주는 인자들은 (1)광원의 휘도(Luminance of Light Source), (2)광원의 색조(Hue of Light Source), (3)광원의 채도(Saturation of Light Source), (4)광원의 크기(Size of Light Source) (5) 광원의 선명도(Sharpness of Light source) (6)주변 영역의 휘도(Luminance of Surrounding), (7)주변 영역의 색조(Hue of Surrounding), (8) 주변 영역의 채도(Saturation of Surrounding), 가 될 수 있으며, 영상 제어부(109)는 상기 인자들 중 적어도 하나 이상에 대한 보정 값을 결정할 수 있다.
본 개시에서 영상 데이터의 보정 인자 및 보정값을 결정하는 방식의 일 예들은 아래 (1)~(5) 중 하나에 의할 수 있다.
(1) 콘텐츠의 메타 데이터에 보정 인자 및 보정 값이 포함된 경우, 해당 메타 데이터의 보정 인자 및 보정값을 사용하는 방식
(2)영상 제어부(109)가 콘텐츠의 최대 밝기(Content Peak Luminance)와 디스플레이의 최대 밝기( Display Peak Luminance )와의 차이를 고려하여 보정값을 결정하는 방식
(3)영상 제어부(109)가 영상 데이터의 전체, 또는 일정 구간, 또는 장면 별 밝기 분포를 나타내는 히스토그램(histogram)에 기초하여 보정 인자 및 보정값을 결정하는 방식
(4) 사용자가 보정 인자 및 보정값을 직접 설정하고 이를 입력받아 사용하는 방식
(5)영상 재생 장치에 외부 센서(ambient sensor)가 구성된 경우, 상기 외부 센서가 디스플레이부(111) 주변의 밝기를 포함하는 주변 환경 정보를 감지하고, 영상 제어부(109)가 상기 외부 센서로부터 주변 환경 정보를 입력받고, 콘텐츠의 메타 데이터, 디스플레이부의 메타 데이터, 또는 상기 주변 환경 정보 중 적어도 하나에 기초하여 보정 인자 및 보정값을 결정하는 방식
상기 (5)에서 주변의 환경 정보에 기초하여 보정 인자 및 보정값의 결정하는 방식의 예는 아래와 같다.
만일 재생 장치 주변이 어두운 환경일 경우, 영상의 밝기 보정 시, 보정의 강도를 약하게 하여도 밝기 효과를 나타낼 수 있다. 반면, 재생 장치 주변이 밝은 환경일 경우, 영상의 밝기 보정의 강도를 강하게 하여야 밝기 보정의 효과가 나타날 것이다. 이러한 점을 고려하여, 외부 센서를 통하여 재생 장치 주변의 밝기 정보 등의 주변 환경 정보를 감지할 수 있으면, 영상 제어부(109)는 콘텐츠의 메타 데이터, 디스플레이부의 메타 데이터에, 추가로 주변의 밝기 정보 등을 고려하여 보정 인자 및 보정값을 결정할 수 있다.
본 개시에서는 상술한 방식들에 의하여, 보정 인자 및 보정값이 결정될 수 있다. 다만, 본 개시에서 보정 인자 및 보정값을 결정할 때, 광원 영역의 크기를 원본 영상의 광원 영역보다 크게 하고, 주변 영역의 밝기를 원래의 밝기보다 낮추도록 보정 인자 및 보정값이 결정될 수 있다.
이렇게 광원 영역의 크기를 크게 하고, 주변 영역의 휘도를 낮게 하는 이유는 다음과 같다.
사용자가 시각적으로 느끼는 광원의 밝기 효과는 주변 영역의 밝기와 비교한 상대적인 것이다. 따라서 해당 화면에서 광원 영역뿐만 아니라 주변 영역의 밝기와 관련된 특성을 조정하면, 광원 영역의 밝기 효과를 극대화할 수 있다. 예를 들어, 주변 영역의 밝기를 실제 원본 영상에서의 밝기보다 낮게 하면, 광원 영역과 주변 영역의 밝기 차이가 커져서 명암비가 증가하기 때문에, 사용자는 해당 광원 영역이 실제보다 더 밝게 느낄 수 있다.
도 6은 본 개시의 실시예에 따라 광원 영역 및 주변 영역의 밝기 효과를 조정하는 방식의 일 예를 설명하는 도면이다.
도 6에서는, 앞서 설명된 밝기 효과에 영향을 주는 인자들 (4)광원의 크기(Size of Light Source), (6)주변 영역의 휘도(Luminance of Surrounding), (5)광원의 선명도(Sharpness of Light source)를 보정하여 밝기 효과를 조정하였다.
도 6을 참조하면, 원본 화면(610)에서 광원 영역(601)과 주변 영역(603, 604)이 결정된 이후, 보정 후 광원 영역(602)의 크기는 원본 영상에서 광원 영역(601)의 크기보다 확장되었고(605), 보정 후 주변 영역의 밝기(608)는 원본 영상에서 주변 영역의 밝기(607)보나 낮아졌음을 볼 수 있다. 즉, (4)광원의 크기(Size of Light Source)와 (6)주변 영역의 휘도(Luminance of Surrounding)를 조정하였다.
한편, (5)광원의 선명도(Sharpness of Light source)는 광원 영역의 밝기와 주변 영역의 밝기를 연결한 선의 기울기에 따라 결정된다. 즉, 광원 영역의 밝기와 주변 영역의 밝기 차이가 클수록 양자를 연결한 선의 기울기가 커지게 된다. 이를 "선명도 기울기"라 칭하면, 상기 선명도 기울기가 커지면 광원 영역의 선명도가 증가한다. 도 6에서 보정된 광원 영역(602)의 휘도와, 보정된 주변 영역(603, 604)의 휘도를 연결한 선명도 기울기(612, 614)가, 보정 전 선명도 기울기(611, 613)보다 커진 것을 볼 수 있다. 이는 보정된 광원 영역(602)의 선명도가 증가되었음을 의미한다.
이렇게 하여 사용자에게 광원 영역이 실제보다 더 밝게 보이는 효과를 낼 수 있다.
상술한 본 개시에서 제안하는 영상 제어 방식에 의하면, 영상에서 광원 영역과 주변 영역의 밝기를 콘텐츠 특성, 디스플레이 장치 특성, 주변 환경 중 적어도 하나에 기초하여 영상의 밝기 효과를 조절하여, 사용자에게 광원 영역을 중심으로 고품질의 영상을 제공할 수 있고, 디스플레이 장치의 최대 밝기에 따라 HDR 성능이 저감되는 현상을 방지할 수 있다.
본 개시의 특정 측면들은 또한 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 상기 컴퓨터 리드 가능 기록 매체의 예들은 리드 온니 메모리(Read-Only Memory: ROM)와, 랜덤-접속 메모리(Random-Access Memory: RAM)와, CD-ROM들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(상기 인터넷을 통한 데이터 송신과 같은)을 포함할 수 있다. 상기 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 상기 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시를 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시가 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 일 실시예에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 일 실시예에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 개시의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시는 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시는 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 일 실시예에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 프로그램 처리 장치가 기 설정된 콘텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

Claims (11)

  1. 영상을 제어하는 방법에 있어서,
    상기 영상에 포함된 픽셀들의 광 신호 강도에 기초하여 광원 영역을 결정하는 과정과,
    소정의 방식에 의하여 상기 광원 영역의 주변 영역을 결정하는 과정과,
    상기 영상의 특성, 디스플레이 장치의 특성, 또는 주변 환경 특성 중 적어도 하나에 기초하여, 상기 광원 영역과 주변 영역 중 적어도 하나의 밝기 특성을 보정하는 과정을 포함하는 영상을 제어하는 방법.
  2. 제1항에 있어서, 상기 광원 영역을 결정하는 과정은,
    광원 임계값을 설정하는 과정과,
    상기 영상에 포함된 픽셀들의 광 신호 강도가 상기 광원 임계값 이상인 광원 픽셀들을 검출하는 과정과,
    상기 검출된 광원 픽셀들 중 소정 범위 내에서 유사한 밝기를 가지고, 인접한 광원 픽셀들끼리 그룹화하는 과정과,
    상기 그룹화된 광원 픽셀들을 연결한 영역을 광원 영역으로 결정하는 과정을 포함하는 영상을 제어하는 방법.
  3. 제2항에 있어서, 상기 광원 임계값을 설정하는 과정은,
    상기 영상과 관련된 메타 데이터 또는 상기 디스플레이 관련 메타 데이터에 포함되거나, 디스플레이 장치의 최대 밝기에 기초하여 소정 비율로 결정되거나, 상기 영상 데이터의 히스토그램에 기초하여 결정되거나, 사용자의 입력에 의하여 결정됨을 특징으로 하는 영상을 제어하는 방법.
  4. 제2항에 있어서,
    상기 영상과 관련된 메타 데이터는, 상기 영상의 최대 밝기 정보, 상기 광원 임계값 정보, 상기 광원 영역의 중심값 정보, 상기 주변 영역의 형태 설정에 필요한 정보 중 적어도 하나를 포함하며,
    상기 디스플레이 관련 메타 데이터는, 상기 디스플레이 장치의 최대 밝기 정보를 포함하는 영상을 제어하는 방법.
  5. 제2항에 있어서, 상기 주변 영역을 결정하는 과정은,
    상기 결정된 광원 영역의 중심점을 설정하는 과정과,
    상기 설정된 중심점을 기준으로, 스케일 업 타입 또는 윈도우 타입에 따라 상기 주변 영역을 결정하는 과정을 포함하는 영상을 제어하는 방법.
  6. 제1항에 있어서, 상기 밝기 특성을 보정하는 과정은,
    상기 영상과 관련된 메타 데이터, 상기 영상을 디스플레이하기 위한 디스플레이 장치 관련 메타 데이터, 또는 영상 재생 장치 주변의 환경 정보 중 적어도 하나에 기초하여, 상기 밝기 특성을 보정할 적어도 하나의 보정 인자를 결정하는 과정과,
    상기 결정된 적어도 하나의 보정 인자에 대한 보정 값을 결정하는 과정을 포함하는 영상을 제어하는 방법.
  7. 제6항에 있어서, 상기 밝기 특성을 보정할 적어도 하나의 보정 인자는,
    상기 광원 영역의 휘도, 상기 광원 영역의 색조, 상기 광원 영역의 채도, 상기 광원 영역의 크기, 상기 광원 영역의 선명도, 상기 주변 영역의 휘도, 상기 주변 영역의 색조, 상기 주변 영역의 채도 중 적어도 하나임을 특징으로 하는 영상을 제어하는 방법.
  8. 제6항에 있어서, 상기 밝기 특성을 보정할 적어도 하나의 보정 인자와, 상기 보정 인자에 대한 보정 값은,
    상기 영상과 관련된 메타 데이터 또는 상기 디스플레이 관련 메타 데이터에 포함되거나, 상기 영상의 최대 밝기와 상기 디스플레이 장치의 최대 밝기와의 차이를 고려하여 결정되거나, 상기 영상 데이터의 히스토그램에 기초하여 결정되거나, 사용자의 입력에 의하여 결정됨을 특징으로 하는 영상을 제어하는 방법.
  9. 제1항에 있어서, 상기 밝기 특성을 보정하는 과정은,
    상기 광원 영역의 크기를 실제 크기보다 확장하고, 상기 주변 영역의 밝기를 실제 밝기보다 낮게 함을 특징으로 하는 영상을 제어하는 방법.
  10. 영상을 제어하는 장치에 있어서,
    상기 영상이 포함된 콘텐츠를 입력받는 신호 분석부와,
    상기 영상에 포함된 픽셀들의 광 신호 강도에 기초하여 광원 영역을 결정하고, 소정의 방식에 의하여 상기 광원 영역의 주변 영역을 결정하고, 상기 영상의 특성, 디스플레이 장치의 특성, 또는 주변 환경 특성 중 적어도 하나에 기초하여, 상기 광원 영역과 주변 영역 중 적어도 하나의 밝기 특성을 보정하는 영상 제어부를 포함하는 영상을 제어하는 장치.
  11. 제10항에 있어서, 상기 장치는 제2항 내지 제9항의 방법에 따라 동작함을 특징으로 하는 영상을 제어하는 장치.
PCT/KR2016/005930 2015-06-05 2016-06-03 영상 데이터의 제어 방법 및 장치 WO2016195428A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/579,805 US10713764B2 (en) 2015-06-05 2016-06-03 Method and apparatus for controlling image data
EP16803781.0A EP3306915B1 (en) 2015-06-05 2016-06-03 Method and apparatus for controlling image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0080128 2015-06-05
KR1020150080128A KR102379601B1 (ko) 2015-06-05 2015-06-05 영상 데이터의 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016195428A1 true WO2016195428A1 (ko) 2016-12-08

Family

ID=57442139

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005930 WO2016195428A1 (ko) 2015-06-05 2016-06-03 영상 데이터의 제어 방법 및 장치

Country Status (4)

Country Link
US (1) US10713764B2 (ko)
EP (1) EP3306915B1 (ko)
KR (1) KR102379601B1 (ko)
WO (1) WO2016195428A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US11145294B2 (en) * 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
WO2020008511A1 (ja) * 2018-07-02 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法
JP7475187B2 (ja) * 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体
CN112153303B (zh) * 2020-09-28 2021-09-21 广州虎牙科技有限公司 一种视觉数据处理方法、装置、图像处理设备和存储介质
KR20220097818A (ko) * 2020-12-31 2022-07-08 삼성전자주식회사 언더 디스플레이 카메라

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100039664A (ko) * 2008-10-08 2010-04-16 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
KR20140020464A (ko) * 2012-08-08 2014-02-19 엘지이노텍 주식회사 이미지 처리 장치 및 이의 이미지 처리 방법
KR20140059386A (ko) * 2012-11-08 2014-05-16 엘지디스플레이 주식회사 데이터 변환 장치와 방법, 및 디스플레이 장치
JP2014160253A (ja) * 2014-03-13 2014-09-04 Sharp Corp 表示装置、表示装置の制御方法、テレビジョン受像機、制御プログラム、および記録媒体
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3514257B2 (ja) * 2002-05-20 2004-03-31 セイコーエプソン株式会社 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7929056B2 (en) * 2004-09-13 2011-04-19 Hewlett-Packard Development Company, L.P. User interface with tiling of video sources, widescreen modes or calibration settings
KR20080081511A (ko) * 2007-03-05 2008-09-10 삼성전자주식회사 입력 영상의 히스토그램에 기반한 디스플레이 장치의 전력제어 방법 및 장치 및 디스플레이 장치
JP5175534B2 (ja) * 2007-12-10 2013-04-03 株式会社東芝 液晶表示装置
JP2009253579A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム
EP2335219B1 (en) * 2008-10-14 2014-01-15 Dolby Laboratories Licensing Corporation Backlight simulation at reduced resolutions to determine spatial modulation of light for high dynamic range images
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8314847B2 (en) * 2010-05-25 2012-11-20 Apple Inc. Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
US8736674B2 (en) * 2010-09-23 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for 3D display calibration with feedback determined by a camera device
JP5818552B2 (ja) 2011-07-23 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5085792B1 (ja) * 2012-02-08 2012-11-28 シャープ株式会社 映像表示装置およびテレビ受信装置
JP6185249B2 (ja) 2012-04-27 2017-08-23 エルジー イノテック カンパニー リミテッド イメージ処理装置及びイメージ処理方法
US9046421B2 (en) * 2012-12-17 2015-06-02 Apple Inc. Light sensors for electronic devices
US20150124067A1 (en) * 2013-11-04 2015-05-07 Xerox Corporation Physiological measurement obtained from video images captured by a camera of a handheld device
US10075234B2 (en) 2014-03-25 2018-09-11 Osram Sylvania Inc. Techniques for emitting position information from luminaires
CN105302286B (zh) * 2014-06-04 2020-03-03 昇佳电子股份有限公司 光感测装置及安排感光组件的方法
US20150365689A1 (en) * 2014-06-11 2015-12-17 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9979894B1 (en) * 2014-06-27 2018-05-22 Google Llc Modifying images with simulated light sources
JP6442209B2 (ja) * 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法
CN107530000B (zh) * 2015-04-27 2020-08-25 苹果公司 用于ppg信号优化和环境光缓解的动态可配置光阑

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100039664A (ko) * 2008-10-08 2010-04-16 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
KR20140020464A (ko) * 2012-08-08 2014-02-19 엘지이노텍 주식회사 이미지 처리 장치 및 이의 이미지 처리 방법
KR20140059386A (ko) * 2012-11-08 2014-05-16 엘지디스플레이 주식회사 데이터 변환 장치와 방법, 및 디스플레이 장치
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치
JP2014160253A (ja) * 2014-03-13 2014-09-04 Sharp Corp 表示装置、表示装置の制御方法、テレビジョン受像機、制御プログラム、および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3306915A4 *

Also Published As

Publication number Publication date
US10713764B2 (en) 2020-07-14
KR102379601B1 (ko) 2022-03-29
EP3306915B1 (en) 2021-10-20
EP3306915A4 (en) 2018-06-27
EP3306915A1 (en) 2018-04-11
KR20160143419A (ko) 2016-12-14
US20180165801A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
WO2016195428A1 (ko) 영상 데이터의 제어 방법 및 장치
JP3200324B2 (ja) 映像表示機器の映像自動補正装置とその方法
WO2014148829A1 (en) Method and apparatus for processing an image based on detected information
WO2017200149A1 (en) Image processing device and image processing method using the same
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2014051304A1 (en) Method and apparatus for generating photograph image
WO2015030307A1 (en) Head mounted display device and method for controlling the same
JP3302214B2 (ja) 画像入力装置
CN114866809B (zh) 视频转换方法、装置、设备、存储介质及程序产品
WO2019004701A1 (ko) 영상을 처리하기 위한 방법 및 디스플레이 장치
WO2020101189A1 (en) Image and audio processing apparatus and operating method of the same
WO2021167231A1 (ko) 전자장치 및 그 제어방법
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2017113585A1 (zh) 降低视频图像中osd亮度的方法和装置
KR100266588B1 (ko) 기호색 보상방법
WO2018043916A1 (en) Display device and method for displaying image
CN112312122B (zh) 摄像头保护膜的检测方法及装置
KR102260573B1 (ko) 각각 다양한 조명에서 촬영된 인물 사진이 함께 놓인 레이아웃에 대한 색보정 방법 및 장치
WO2022203258A1 (ko) 전자 장치 및 그 제어 방법
WO2020013663A1 (en) Method and apparatus for rendering contents for vision accessibility
KR100474076B1 (ko) 광원 변화에 반응하는 오토 화이트 밸런스 회로 및 그를 이용한 동영상 카메라 장치
WO2023153790A1 (en) Method and apparatus for generating three-dimensional (3d) lookup table for tone mapping or other image processing functions
WO2018151540A1 (en) Electronic apparatus for playing substitutional advertisement and method for controlling method thereof
WO2023149708A1 (en) Method and system for a face detection management
WO2023022382A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16803781

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15579805

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016803781

Country of ref document: EP