WO2021020627A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021020627A1
WO2021020627A1 PCT/KR2019/009572 KR2019009572W WO2021020627A1 WO 2021020627 A1 WO2021020627 A1 WO 2021020627A1 KR 2019009572 W KR2019009572 W KR 2019009572W WO 2021020627 A1 WO2021020627 A1 WO 2021020627A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
input image
control unit
data
histogram
Prior art date
Application number
PCT/KR2019/009572
Other languages
English (en)
French (fr)
Inventor
김규리
박종민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020217040930A priority Critical patent/KR102584198B1/ko
Priority to US17/627,836 priority patent/US12008741B2/en
Priority to EP19939182.2A priority patent/EP4006823A4/en
Priority to PCT/KR2019/009572 priority patent/WO2021020627A1/ko
Publication of WO2021020627A1 publication Critical patent/WO2021020627A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present invention relates to a display device and a method of operating the same, and more particularly, to a display device that improves color and contrast of an image, and a method of operating the same.
  • Dynamic Range refers to the range from the brightest to the darkest. The wider the dynamic range, the more the user can feel the emotion as if they actually see the environment in the video.
  • an image source input to a display device is mainly SDR (Standard Dynamic Range), and there is a limit to realizing realistic image quality because the range of brightness is narrower than the range seen by human eyes.
  • SDR Standard Dynamic Range
  • a tone mapping algorithm is used to enhance the color of an image or enhance the contrast.
  • the current tone mapping algorithm uses a static curve, some images have a problem that the contrast ratio is lowered or saturated.
  • An object of the present invention is to provide a display device capable of enhancing the color or contrast of all input images and a method of operating the same.
  • An object of the present invention is to provide a display device capable of enhancing color or contrast regardless of the characteristics of an image, and a method of operating the same.
  • a display device and a method of operating the same according to an exemplary embodiment of the present invention are intended to perform tone mapping in which curves are applied in various ways according to image characteristics.
  • a display device includes a control unit that performs tone mapping for converting RGB data of an input image through a look-up table (LUT) curve, and displays an image according to the RGB data converted by tone mapping.
  • the controller may correct the LUT curve according to the histogram of the input image.
  • the controller may obtain an offset gain based on the histogram of the input image and correct the LUT curve by applying the offset gain.
  • the controller may obtain a maximum bin in which data is concentrated in the histogram of the input image, and obtain an offset gain based on the maximum bin.
  • the controller may obtain a representative bin from a group having a high data ratio based on the histogram of the input image and obtain an offset gain based on the maximum bin and the representative bin.
  • control unit may obtain a gain value corresponding to the maximum bin as an offset gain.
  • the controller may obtain a gain value corresponding to the average of the maximum bin and the representative bin as an offset gain.
  • the controller may acquire a group having a high data rate based on a bin in which the data amount is equal to or greater than a predetermined rate in the histogram of the input image.
  • the control unit acquires an offset point based on at least one of the maximum bin and the representative bin, acquires a gain value mapped to the offset point as an offset gain, and the gain value may be mapped larger as the offset point increases.
  • the controller may obtain the offset gain as 0.
  • control unit may obtain the offset gain differently according to the amount of data belonging to the range corresponding to the higher second setting ratio.
  • the controller may obtain the offset gain by multiplying the gain value mapped to the offset point by a specified constant according to the amount of data belonging to the range corresponding to the upper second set ratio.
  • the controller may obtain an LUT curve in which the luminance is compensated based on a decrease value of the maximum luminance.
  • the controller may select any one of a plurality of predetermined LUT curves based on a peak luminance level or an average picture level (APL) of the input image, and correct the selected LUT curve according to the histogram of the input image.
  • APL average picture level
  • the controller may obtain an offset gain based on the histogram of the input image and correct the LUT curve by applying the offset gain to the selected LUT curve.
  • a method of operating a display device includes storing a plurality of look-up table (LUT) curves, selecting one of a plurality of LUTs, and selecting a LUT selected from among the plurality of LUTs as a histogram of an input image. Compensating according to, performing tone mapping of converting RGB data of the input image using the LUT curve corrected according to the histogram of the input image, and displaying the image on which the tone mapping has been performed. .
  • LUT look-up table
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • FIG. 3 shows an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a tone mapping unit according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • FIG. 7 is an exemplary diagram for describing a method of selecting one of a plurality of LUT curves by a display device according to an exemplary embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of correcting a LUT curve by a display device according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram for describing a method of obtaining an offset point based on a histogram of an input image by a display device according to an exemplary embodiment of the present invention.
  • FIG. 10 is an exemplary diagram illustrating a method of setting an offset gain according to an amount of data by a display device according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating a method of correcting a LUT curve by applying an offset gain by a display device according to an exemplary embodiment of the present invention.
  • 12A to 12B are exemplary views for explaining a method of differently outputting a LUT curve according to a peak of an input image by a display device according to an exemplary embodiment of the present invention.
  • 13A to 13B are exemplary views for explaining a method of differently outputting a LUT curve according to a histogram distribution of an input image by a display device according to an exemplary embodiment of the present invention.
  • FIG. 14A is an exemplary diagram of an image output according to RGB data of an input image by a display device according to an embodiment of the present invention.
  • 14B is an exemplary diagram of an image output when a display device according to an embodiment of the present invention applies a fixed curve to RGB data of an input image.
  • 14C is an exemplary diagram of an image output when tone mapping is performed using a LUT curve corrected for RGB data of an input image by a display device according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a control unit 170, and a wireless communication unit 173.
  • a voice acquisition unit 175, a display unit 180, an audio output unit 185, and a power supply unit 190 may be included.
  • the broadcast reception unit 130 may include a tuner 131, a demodulation unit 132, and a network interface unit 133.
  • the tuner 131 may select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a selected specific broadcast channel.
  • the demodulator 132 may divide the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and restore the separated video signal, audio signal, and data signal into a form capable of outputting.
  • the network interface unit 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through a network, the server and data can be transmitted or received.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as movies, advertisements, games, VODs, broadcast signals, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive update information and an update file of firmware provided by a network operator, and transmit data to the Internet or content provider or network operator.
  • the network interface unit 133 may select and receive a desired application from among applications open to the public through a network.
  • the external device interface unit 135 may receive an application or an application list in an adjacent external device and transmit it to the control unit 170 or the storage unit 140.
  • the external device interface unit 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display device 100 by wire or wirelessly, and transmit it to the control unit 170.
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more HDMI (High Definition Multimedia Interface) terminals, and a component terminal.
  • An image signal of an external device input through the external device interface unit 135 may be output through the display unit 180.
  • the audio signal of the external device input through the external device interface unit 135 may be output through the audio output unit 185.
  • the external device connectable to the external device interface unit 135 may be any one of a set-top box, a Blu-ray player, a DVD player, a game console, a sound bar, a smartphone, a PC, a USB memory, and a home theater, but this is only an example. .
  • some content data stored in the display apparatus 100 may be transmitted to another user registered in advance in the display apparatus 100 or a selected user or a selected electronic device among other electronic devices.
  • the storage unit 140 may store a program for processing and controlling each signal in the control unit 170 and may store signal-processed video, audio, or data signals.
  • the storage unit 140 may perform a function for temporary storage of a video, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or an application list input from the external device interface unit 135 or the network interface unit 133.
  • the display device 100 may reproduce and provide a content file (movie file, still image file, music file, document file, application file, etc.) stored in the storage unit 140 to a user.
  • a content file moving file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee method, Radio Frequency (RF) communication method, or infrared (IR) communication method, Control signals such as power on/off, channel selection, and screen setting may be received and processed from the remote control device 200, or a control signal from the control unit 170 may be transmitted to the remote control device 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the control unit 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the controller 170 may be input to an external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135.
  • controller 170 may control the overall operation of the display apparatus 100.
  • control unit 170 may control the display device 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or application list desired by the user. It can be downloaded within (100).
  • the control unit 170 enables channel information selected by the user to be output through the display unit 180 or the audio output unit 185 together with the processed image or audio signal.
  • control unit 170 in accordance with an external device image playback command received through the user input interface unit 150, from an external device input through the external device interface unit 135, for example, a camera or a camcorder, An image signal or an audio signal may be output through the display unit 180 or the audio output unit 185.
  • control unit 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface unit 135
  • An image, an image input through the network interface unit, or an image stored in the storage unit 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 may control content stored in the display device 100, received broadcast content, or external input content input from the outside to be played, and the content includes a broadcast image, an external input image, an audio file, and a stop. It may be in various forms such as an image, a connected web screen, and a document file.
  • the wireless communication unit 173 may communicate with an external device through wired or wireless communication.
  • the wireless communication unit 173 may perform short range communication with an external device.
  • the wireless communication unit 173 includes BluetoothTM, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • the wireless communication unit 173 may be configured between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 and the display device 100 through wireless area networks. Wireless communication between networks in which the display device 100 or an external server is located may be supported.
  • the local area wireless communication networks may be wireless personal area networks (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interlocking with) data with the display device 100 according to the present invention, for example, a smartwatch, smart glasses. (smart glass), HMD (head mounted display)), it can be a mobile terminal such as a smart phone.
  • the wireless communication unit 173 may detect (or recognize) a wearable device capable of communicating around the display apparatus 100. Further, when the sensed wearable device is an authenticated device to communicate with the display apparatus 100 according to the present invention, the controller 170 transmits at least a portion of the data processed by the display apparatus 100 to the wireless communication unit ( 173) can be transmitted to the wearable device. Accordingly, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the voice acquisition unit 175 may acquire audio.
  • the voice acquisition unit 175 may include at least one microphone (not shown), and may acquire audio around the display apparatus 100 through a microphone (not shown).
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the control unit 170, or an image signal and a data signal received from the external device interface unit 135 into R, G, and B signals, respectively. Can generate signals.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into a single component, or one component may be subdivided into two or more components and configured.
  • functions performed by each block are for explaining an embodiment of the present invention, and specific operations or devices thereof do not limit the scope of the present invention.
  • the display apparatus 100 does not include a tuner 131 and a demodulation unit 132, but a network interface unit 133 or an external device interface unit ( 135) can also be received and played.
  • the display device 100 is implemented by being divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content reproducing device for reproducing content input from the image processing device. Can be.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content reproducing device for reproducing content input from the image processing device. Can be.
  • the method of operating the display device according to an embodiment of the present invention to be described below is not only the display device 100 as described with reference to FIG. 1, but also an image processing device or display unit 180 such as a separate set-top box. ) And the audio output unit 185 may be performed by any one of a content playback device.
  • the audio output unit 185 receives a signal processed by the control unit 170 and outputs a sound as sound.
  • the power supply unit 190 supplies corresponding power to the entire display apparatus 100.
  • power is supplied to the control unit 170 that can be implemented in the form of a System On Chip (SOC), the display unit 180 for image display, and the audio output unit 185 for audio output. I can.
  • SOC System On Chip
  • the power supply unit 190 may include a converter that converts AC power to DC power and a dc/dc converter that converts the level of DC power.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, and a power supply unit 260. ), a storage unit 270, a control unit 280, and a voice acquisition unit 290.
  • the wireless communication unit 220 transmits and receives signals to and from any one of the display devices according to the exemplary embodiments described above.
  • the remote control device 200 includes an RF module 221 capable of transmitting and receiving signals with the display device 100 according to the RF communication standard, and capable of transmitting and receiving signals with the display device 100 according to the IR communication standard.
  • An IR module 223 may be provided.
  • the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 includes an NFC module 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and the display according to the WLAN (Wireless LAN) communication standard.
  • a WLAN module 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and power on/off the display device 100 through the IR module 223 as necessary. Commands for off, channel change, volume change, etc. can be transmitted.
  • the user input unit 230 may be composed of a keypad, a button, a touch pad, or a touch screen. A user may input a command related to the display device 100 to the remote control device 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, A channel change button 237, a confirmation button 238, and a back button 239 may be included.
  • the fingerprint recognition button 212 may be a button for recognizing a user's fingerprint. As an example, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume output from the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display device 100 to the remote control device 200 by touching a soft key on the touch screen.
  • the user input unit 230 may include various types of input means that a user can manipulate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 may sense information on the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 is the moving speed of the remote control device 200 Information about the back can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, so that the distance to the display unit 180 of the display device 100 may be sensed.
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the display apparatus 100. Through the output unit 250, the user may recognize whether the user input unit 230 is operated or whether the display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 that lights up when the user input unit 230 is operated or a signal is transmitted and received with the display device 100 through the wireless communication unit 220, and a vibration module that generates vibration ( 253), a sound output module 255 for outputting sound, or a display module 257 for outputting an image may be provided.
  • the power supply unit 260 supplies power to the remote control device 200, and when the remote control device 200 has not moved for a predetermined period of time, the power supply is stopped, thereby reducing power waste.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control device 200. If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control device 200 stores information about a frequency band through which signals can be wirelessly transmitted and received with the display device 100 paired with the remote control device 200 in the storage unit 270 and is referred to. can do.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 transmits a signal corresponding to the operation of a predetermined key by the user input unit 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 through the wireless communication unit 220. 100).
  • the voice acquisition unit 290 of the remote control device 200 may acquire voice.
  • the voice acquisition unit 290 may include at least one microphone 291, and may acquire a voice through the microphone 291.
  • FIG. 4 will be described.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display unit 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display unit 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • the remote control device 200 since the corresponding pointer 205 is moved and displayed according to movement in the 3D space, the remote control device 200 may be referred to as a space remote controller.
  • FIG. 4B illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display unit 180 of the display device 100 also moves to the left in response thereto.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case where a user moves the remote control device 200 away from the display unit 180 while pressing a specific button in the remote control device 200. Accordingly, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in and displayed in an enlarged manner.
  • a selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selection area may be zoomed out, and when the remote control device 200 approaches the display unit 180, the selection area may be zoomed in.
  • a specific button in the remote control device 200 when a specific button in the remote control device 200 is pressed, recognition of vertical and horizontal movement may be excluded. That is, when the remote control device 200 moves away from or approaches the display unit 180, up, down, left, and right movements are not recognized, but only forward and backward movements may be recognized. In a state in which a specific button in the remote control device 200 is not pressed, only the pointer 205 is moved according to the up, down, left, and right movement of the remote control device 200.
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200.
  • a pointer refers to an object displayed on the display unit 180 in response to an operation of the remote control device 200.
  • the pointer 205 can be used to make objects of various shapes other than the arrow shape shown in the drawing.
  • it may be a concept including a point, a cursor, a prompt, and a thick outline.
  • the pointer 205 may be displayed in correspondence with any one of a horizontal axis and a vertical axis on the display unit 180, as well as a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a block diagram of a tone mapping unit according to an embodiment of the present invention.
  • the display apparatus 100 may further include a tone mapping unit 171.
  • the control unit 170 may include a tone mapping unit 171.
  • the tone mapping performing unit 171 may be provided at an arbitrary position in the display apparatus 100.
  • the tone mapping unit 171 may convert RGB data by performing tone mapping applying a look-up table (LUT) curve to an input image.
  • the display unit 180 may display an image according to RGB data converted by tone mapping.
  • the tone mapping unit 171 may convert and output RGB data of the input image.
  • the display unit 180 may receive converted RGB data output from the tone mapping unit 171.
  • the display unit 180 may display an image based on the converted RGB data.
  • the tone mapping performing unit 171 may include at least some or all of the tone curve determining unit 173 and the tone curve correcting unit 175.
  • the tone curve determiner 173 may obtain a LUT curve to be used for tone mapping.
  • the LUT curve may be a table for changing RGB of an original image captured by adjusting hue, saturation, and brightness to new RGB.
  • the storage unit 140 stores a plurality of LUT curves
  • the tone curve determination unit 173 recognizes at least one of the plurality of LUT curves stored in the storage unit 140 as a LUT curve to be used for tone mapping. I can.
  • the tone curve determiner 173 may select any one of a plurality of predetermined LUT curves based on at least one of a peak luminance level or an average picture level (APL) of the input image. A method of selecting any one of the plurality of LUT curves will be described in detail with reference to FIG. 7.
  • the tone curve correction unit 175 may correct the LUT curve determined by the tone curve determination unit 173.
  • the tone curve corrector 175 may correct a LUT selected from among a plurality of LUTs based on a histogram of an input image.
  • the tone curve correction unit 175 may perform tone mapping for converting RGB data of an input image using the corrected LUT curve.
  • the tone curve corrector 175 may output RGB data converted by tone mapping.
  • FIG. 6 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • the controller 170 may receive an image (S11).
  • the controller 170 may receive an image received through the broadcast receiving unit 130, the external device interface unit 135, the user input interface unit 150, the wireless communication unit 173, and the like.
  • the controller 170 may acquire RGB data of an input image.
  • the controller 170 may select any one of a plurality of predetermined LUT curves (S13).
  • the controller 170 may select any one of a plurality of predetermined LUT curves based on a peak luminance level or an average picture level (APL) of the input image.
  • APL average picture level
  • FIG. 7 is an exemplary diagram for describing a method of selecting one of a plurality of LUT curves by a display device according to an exemplary embodiment of the present invention.
  • the storage unit 140 may store a plurality of LUT curves.
  • each of the plurality of LUT curves may have a different gain for improving color or contrast, and the degree of color or contrast enhancement increases as the LUT curve closer to the a direction increases, and the LUT curve closer to the b direction. The higher it is, the lower the degree of improvement in color or contrast.
  • the controller 170 may select any one of a plurality of LUT curves according to the image information. For example, the controller 170 may select an LUT curve closer to the b direction as an image having a higher peak luminance level and APL, and may select an LUT curve closer to the a direction as an image having a lower peak luminance level and APL.
  • the controller 170 may pre-store a table in which the LUT curve corresponding to the peak luminance level and APL is mapped, and obtain the LUT curve from the table according to the peak luminance level and APL of the input image.
  • the controller 170 may acquire any one of a plurality of LUT curves in various ways.
  • the controller 170 may correct the selected LUT curve based on the histogram of the input image (S15).
  • the controller 170 may obtain a histogram of the input image based on RGB data of the input image and correct the selected LUT curve based on the histogram of the input image.
  • the contrast ratio may be lowered or saturated during tone mapping in order to improve color or contrast. Accordingly, in the present invention, the LUT curve may be further corrected so that tone mapping is performed by reducing the gain of the LUT curve with respect to the data in which the luminance level is concentrated.
  • the controller 170 may adjust the LUT curve according to the histogram of the input image.
  • FIG. 8 is a flowchart illustrating a method of correcting a LUT curve by a display device according to an embodiment of the present invention.
  • FIG. 8 may be a flowchart illustrating step S15 of FIG. 6.
  • the controller 170 may acquire a histogram of the input image (S107).
  • the histogram of the input image is a graph indicating the distribution of the luminance levels of the input image, and may indicate the frequency of each luminance level of the input image.
  • control unit 170 may group the luminance level of the input image into 32 bin units. Grouping by bins has the advantage of improving image processing speed.
  • the controller 170 may extract a group having a high data rate from the histogram of the input image (S104).
  • the controller 170 may extract a group in which data is concentrated from a histogram displayed in units of bins.
  • the controller 170 may recognize six consecutive bins as one group, and extract a group having the highest data frequency among the recognized groups as a group having a high data rate.
  • the controller 170 may acquire a group having a high data rate based on a bin in which the amount of data is equal to or greater than a predetermined rate in the histogram of the input image.
  • the controller 170 may recognize the bin as one group only when the ratio of data occupied by each of the six bins is 5% or more. . In this case, since the data ratio is not extracted for a group having less than 5% bins, there is an advantage of minimizing unnecessary operations.
  • the control unit 170 may obtain a representative bin belonging to a group having a high ratio of the maximum bin and the data (S106).
  • the maximum bin may mean a bin with the highest frequency among 32 bins. That is, the maximum bin may be a bin in which data is concentrated in the histogram of the input image.
  • control unit 170 may acquire the bin with the highest frequency in the histogram as the maximum bin.
  • the representative bin may be any one bin belonging to a group having a high data rate.
  • the representative bin may be the first bin among a group having a high data rate.
  • the control unit 170 may obtain an offset point based on at least one of the maximum bin and the representative bin (S108).
  • the offset point may mean a bin having data corresponding to an area in which the contrast ratio is estimated to be lowered by tone mapping.
  • control unit 170 may acquire an offset point to apply differently according to the offset gain according to the area where data is concentrated.
  • FIG. 9 is an exemplary diagram for describing a method of obtaining an offset point based on a histogram of an input image by a display device according to an exemplary embodiment of the present invention.
  • control unit 170 may acquire groups G1 to G12 in which six bins having a data amount of at least 5% of the total are consecutive.
  • the control unit 170 may extract a group having a high data rate by calculating a ratio of data belonging to each group to the total for each of the plurality of groups G1 to G12.
  • the sixth group G6 among the plurality of groups G1 to G12 may be a group having a high data rate.
  • the controller 170 may acquire a representative bin from a group having a high data rate. For example, if the representative bin is the first bin among the group having a high data ratio, the representative bin may be bin 17 in the example of FIG. 9.
  • control unit 170 may obtain the maximum bin, and in the example of FIG. 9, the maximum bin may be bin 21.
  • the controller 170 may obtain an offset point based on the representative bin and the largest bin.
  • the controller 170 may determine whether the maximum bin is included in a group having a high data rate. In the example of FIG. 9, the controller 170 may determine which one of bins 17 to 22, which is a group G6 having a high data rate, corresponds to bin 21 as the maximum bin.
  • the controller 170 may obtain the maximum bin as an offset point. According to the example of FIG. 9, the controller 170 may acquire bin 21 as an offset point.
  • the controller 170 may obtain a bin corresponding to an average of the maximum bin and the representative bin as an offset point.
  • bin 20 which is the average of bin 23 and bin 17, may be obtained as an offset point. That is, when the maximum bin does not belong to a group having a high data ratio, the controller 170 may obtain an average of the maximum bin and the representative bin as an offset point.
  • the control unit 170 may obtain an offset gain according to the offset point (S110).
  • the control unit 170 may be mapping a gain value for each bin that may be an offset point. Accordingly, when the offset point is obtained, the controller 170 may extract a gain value mapped to the offset point and obtain the extracted gain value as an offset gain. That is, the control unit 170 may obtain a gain value mapped to the offset point as the offset gain. In this case, the gain value may be mapped larger as the offset point increases.
  • the controller 170 may acquire a maximum bin in which data is concentrated in a histogram of an input image, and obtain an offset gain based on the maximum bin.
  • the controller 170 may obtain an offset gain based on the maximum bin and the representative bin.
  • the controller 170 may obtain a gain value corresponding to the maximum bin as an offset gain.
  • the controller 170 may obtain a gain value corresponding to the average of the maximum bin and the representative bin as an offset gain.
  • the offset gain may be any one of 0 to 80.
  • the controller 170 may adjust the offset gain according to the distribution and amount of data corresponding to the upper 50% or more in the input image histogram.
  • control unit 170 adjusts the offset gain according to the distribution of data corresponding to the top 50% or more in the input image histogram.
  • the controller 170 may obtain the offset gain as 0.
  • the first setting ratio may be 3%. That is, if more than half of the data of the input image belong to the top 3%, the controller 170 recognizes that the image corresponds to a bright image as a whole, and in this case, since the data is not concentrated at a specific luminance level, the offset gain is set to 0. Can be obtained with.
  • control unit 170 adjusts the offset gain according to the data amount of data corresponding to the upper 50% or more in the input image histogram.
  • the control unit 170 offsets according to the amount of data belonging to the range corresponding to the upper second setting ratio.
  • the gain can be obtained differently.
  • the second setting ratio may be 50%.
  • FIG. 10 is an exemplary diagram illustrating a method of setting an offset gain according to an amount of data by a display device according to an embodiment of the present invention.
  • the controller 170 may obtain a value obtained by multiplying a gain value by a specified constant as an offset gain.
  • the controller 170 sets a designated constant to 1, and in this case, the offset gain may be a gain value corresponding to an offset point. .
  • the controller 170 may set the designated constant to 2 when the data amount of the upper 50% in the input image histogram is 75%. That is, if the amount of data belonging to the range corresponding to the upper 50% is 70% of the total data, the controller 170 may set the designated constant to 2. In this case, the controller 170 may obtain an offset gain obtained by multiplying a gain value corresponding to the offset point by 2 as an offset gain.
  • the controller 170 may set the designated constant to 3 when the data amount of the upper 50% in the input image histogram is 100%. That is, the controller 170 may set the designated constant to 3 if the amount of data belonging to the range corresponding to the upper 50% is 100% of the total data.
  • the offset gain may be obtained by multiplying the gain value corresponding to the offset point by 3 as the offset gain.
  • control unit 170 may adjust the gain value to increase as the amount of data belonging to the upper 50% of the data of the input image increases.
  • control unit 170 sets a designated constant according to the graph shown in FIG. It can be obtained and adjusted the offset gain
  • the offset gain may be adjusted to one of 0 to 240 according to the amount of data of the upper 50%.
  • the control unit 170 may apply an offset gain to the LUT curve (S112).
  • the controller 170 may apply the offset gain to the LUT curve by subtracting by the offset gain from the selected LUT curve among the plurality of LUT curves. That is, applying the offset gain to the LUT curve may mean obtaining a curve subtracted by the offset gain from the LUT curve.
  • control unit 170 may obtain an offset gain based on the histogram of the input image and may correct the LUT curve by applying the offset gain.
  • the controller 170 may perform luminance compensation according to the result of applying the offset gain (S114).
  • the controller 170 may perform luminance compensation or may not perform luminance compensation according to a result of applying the offset gain. That is, the controller 170 may analyze the result of applying the offset gain and perform luminance compensation only when luminance compensation is required.
  • the controller 170 may obtain a corrected LUT curve by applying an offset gain to the LUT curve, or may obtain a corrected LUT curve by applying an offset gain to the LUT curve and then compensating for luminance.
  • FIG. 11 is an exemplary diagram illustrating a method of correcting a LUT curve by applying an offset gain by a display device according to an exemplary embodiment of the present invention.
  • 'input data' indicates an LUT curve according to RGB data of an input image
  • 'offset application' may indicate a LUT curve when an offset gain is applied.
  • the controller 170 may perform luminance compensation according to the following equation.
  • Output data (input data-offset) * (Max input data) / (Max Input data-offset)
  • control unit 170 may obtain an LUT curve in which the luminance is compensated based on the decrease value of the maximum luminance.
  • the control unit 170 may perform tone mapping using the corrected LUT curve (S17).
  • the controller 170 may perform tone mapping for converting RGB data of an input image according to the corrected LUT curve.
  • the controller 170 may output an image according to tone mapping (S19).
  • the controller 170 may control the display 180 to output an image according to RGB data converted according to tone mapping.
  • 12A to 12B are exemplary views for explaining a method of differently outputting a LUT curve according to a peak of an input image by a display device according to an exemplary embodiment of the present invention.
  • the controller 170 may acquire the LUT curve by sensing data of the image output from the display unit 180, which is curve C1 of FIG. 12B.
  • the controller 170 detects the image data output from the display unit 180.
  • the LUT curve can be obtained, which can be curve C2 in FIG. 12B. That is, looking at curves C1 and C2 shown in FIG. 12B, it can be seen that the LUT curve changes as the data of the bin corresponding to the peak is changed.
  • 13A to 13B are exemplary views for explaining a method of differently outputting a LUT curve according to a histogram distribution of an input image by a display device according to an exemplary embodiment of the present invention.
  • the controller 170 may acquire the LUT curve by sensing data of the image output from the display unit 180, which is curve C3 in FIG. 13B.
  • the controller 170 may acquire the LUT curve by sensing data of the image output from the display unit 180. And this may be curve C4 of FIG. 13B. That is, looking at curves C1 and C2 shown in FIG. 13B, it can be seen that the LUT curve changes as the distribution of the histogram changes.
  • FIG. 14A is an exemplary diagram of an image output by the display device according to the RGB data of the input image
  • FIG. 14B is a diagram illustrating a fixed curve in the RGB data of the input image by the display device according to an embodiment of the present invention. It is an exemplary diagram of an image output when applied
  • FIG. 14C is an exemplary diagram of an image output when tone mapping by using a LUT curve corrected for RGB data of an input image by a display device according to an embodiment of the present invention.
  • FIGS. 14A and 14B it can be seen that since the fixed curve is applied irrespective of the image information, the image is only brightened, but rather the contrast ratio is lowered.
  • FIGS. 14A and 14C when any one of a plurality of LUT curves is selected and the LUT curve is corrected based on the histogram, it can be seen that contrast ratio, expressive power, and three-dimensional effect are improved.
  • the LUT curve is changed according to the image information, an image according to the LUT curve optimized for the current scene is output. Accordingly, the contrast ratio is maximized, and the subtle difference in color is greatly increased. Since it is expanded, there is an advantage of increasing the expressive power.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 영상 정보에 따라 영상의 색채(color) 및 콘트라스트(contrast)를 향상시키기 위한 디스플레이 장치 및 그의 동작 방법에 관한 것으로, LUT(Look-Up Table) 커브를 통해 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행하는 제어부, 및 톤 매핑에 의해 변환된 RGB 데이터에 따른 영상을 표시하는 디스플레이부를 포함하고, 제어부는 입력 영상의 히스토그램에 따라 LUT 커브를 보정할 수 있다.

Description

디스플레이 장치 및 그의 동작 방법
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 영상의 색채(color) 및 콘트라스트(contrast)를 향상시키는 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
동적 범위(Dynamic Range, DR)는 가장 밝음부터 가장 어두움까지의 범위를 의미한다. 동적 범위가 넓을수록 사용자는 영상 속 환경을 실제로 보는 것과 같은 감성을 느낄 수 있다.
한편, 최근 디스플레이 장치에 입력되는 영상 소스는 주로 SDR(Standard Dynamic Range)로, 밝음의 범위가 사람의 눈으로 보는 범위보다 좁아 실감나는 화질을 구현하는 데 한계가 있다.
이러한 한계를 개선하기 위해, 영상의 색채(color)를 강화하거나, 콘트라스트(contrast)를 강화하기 위한 톤 매핑 알고리즘이 사용되고 있다. 그러나, 현재 톤 매핑 알고리즘은 고정 커브(static curve)를 사용하기 때문에, 일부 영상에서는 오히려 명암비가 저하되거나 포화되는 문제가 발생하고 있다.
따라서, 영상의 특성과 관계 없이 색채(color) 또는 콘트라스트(contrast)를 강화시킬 수 있는 방안이 요구된다.
본 발명은 입력되는 모든 영상의 색채(color) 또는 콘트라스트(contrast)를 강화시킬 수 있는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 발명은 영상의 특성과 관계없이 색채(color) 또는 콘트라스트(contrast)를 강화시킬 수 있는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 발명의 실시 예에 따른 디스플레이 장치 및 그의 동작 방법은 영상 특성에 따라 커브를 다양하게 적용하는 톤 매핑을 수행하고자 한다.
본 발명의 실시 예에 따른 디스플레이 장치는 LUT(Look-Up Table) 커브를 통해 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행하는 제어부, 및 톤 매핑에 의해 변환된 RGB 데이터에 따른 영상을 표시하는 디스플레이부를 포함하고, 제어부는 입력 영상의 히스토그램에 따라 LUT 커브를 보정할 수 있다.
제어부는 입력 영상의 히스토그램에 기초하여 오프셋 게인을 획득하고, 오프셋 게인을 적용함으로써 LUT 커브를 보정할 수 있다.
제어부는 입력 영상의 히스토그램에서 데이터가 집중된 최대 빈(max bin)을 획득하고, 최대 빈에 기초하여 오프셋 게인을 획득할 수 있다.
제어부는 입력 영상의 히스토그램에 기초하여 데이터의 비율이 높은 그룹에서 대표 빈(representative bin)을 획득하고, 최대 빈과 대표 빈에 기초하여 오프셋 게인을 획득할 수 있다.
제어부는 최대 빈이 데이터의 비율이 높은 그룹에 속할 경우, 최대 빈에 대응하는 게인값을 오프셋 게인으로 획득할 수 있다.
제어부는 최대 빈이 데이터의 비율이 높은 그룹에 속하지 않는 경우, 최대 빈과 대표 빈의 평균에 대응하는 게인값을 오프셋 게인으로 획득할 수 있다.
제어부는 입력 영상의 히스토그램에서 데이터량이 소정 비율 이상인 빈을 기준으로 데이터의 비율이 높은 그룹을 획득할 수 있다.
제어부는 최대 빈 및 대표 빈 중 적어도 하나에 기초하여 오프셋 지점을 획득하고, 오프셋 지점에 맵핑된 게인값을 오프셋 게인으로 획득하며, 게인값은 오프셋 지점이 증가할수록 크게 맵핑되어 있을 수 있다.
제어부는 입력 영상의 히스토그램에서 50% 이상 데이터가 상위 제1 설정 비율에 해당하는 범위에 속하는 경우, 오프셋 게인을 0으로 획득할 수 있다.
제어부는 입력 영상의 히스토그램에서 50% 이상의 데이터가 상위 제2 설정 비율에 해당하는 범위에 속하는 경우, 상위 제2 설정 비율에 해당하는 범위에 속하는 데이터량에 따라 오프셋 게인을 다르게 획득할 수 있다.
제어부는 상위 제2 설정 비율에 해당하는 범위에 속하는 데이터량에 따라 오프셋 지점에 맵핑된 게인값에 지정 상수를 곱함으로써 오프셋 게인을 획득할 수 있다.
제어부는 오프셋 게인 적용시 최대 휘도의 감소값에 기초하여 휘도를 보상한 LUT 커브를 획득할 수 있다.
제어부는 입력 영상의 피크 휘도 레벨 또는 APL(Average Picture Level)에 기초하여 기 정해진 복수의 LUT 커브 중 어느 하나를 선택하고, 선택된 LUT 커브를 입력 영상의 히스토그램에 따라 보정할 수 있다.
제어부는 입력 영상의 히스토그램에 기초하여 오프셋 게인을 획득하고, 선택된 LUT 커브에 오프셋 게인을 적용함으로써 LUT 커브를 보정할 수 있다.
본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 복수의 LUT(Look-Up Table) 커브를 저장하는 단계, 복수의 LUT 중 어느 하나를 선택하는 단계, 복수의 LUT 중 선택된 LUT를 입력 영상의 히스토그램에 따라 보정하는 단계, 입력 영상의 히스토그램에 따라 보정된 LUT 커브를 이용하여 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행하는 단계, 및 톤 매핑이 수행된 영상을 표시하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 영상의 특성이 상이한 경우 톤 매핑에 다른 LUT 커브를 적용함으로써, 모든 입력 영상에 대해 색채(color) 또는 콘트라스트(contrast)를 강화시킬 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 톤 매핑 수행부의 블록도이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 도시한 순서도이다.
도 7은 본 발명의 실시 예에 따른 디스플레이 장치가 복수의 LUT 커브 중 어느 하나를 선택하는 방법을 설명하기 위한 예시 도면이다.
도 8은 본 발명의 실시 예에 따른 디스플레이 장치가 LUT 커브를 보정하는 방법을 도시한 순서도이다.
도 9는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 히스토그램에 기초하여 오프셋 지점을 획득하는 방법을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치가 데이터량에 따라 오프셋 게인을 설정하는 방법을 설명하기 위한 예시 도면이다.
도 11은 본 발명의 실시 예에 따른 디스플레이 장치가 오프셋 게인을 적용하여 LUT 커브를 보정하는 방법을 설명하기 위한 예시 도면이다.
도 12a 내지 도 12b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 피크(peak)에 따라 LUT 커브를 다르게 출력하는 방법을 설명하기 위한 예시 도면이다.
도 13a 내지 도 13b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 히스토그램 분포에 따라 LUT 커브를 다르게 출력하는 방법을 설명하기 위한 예시 도면이다.
도 14a는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 따라 출력한 영상의 예시 도면이다.
도 14b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 고정 커브를 적용시 출력한 영상의 예시 도면이다.
도 14c는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 보정된 LUT 커브를 이용하여 톤 매핑시 출력한 영상의 예시 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 무선 통신부(173), 음성 획득부(175), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱 박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신부(173)는 블루투스(Bluetooth™), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된(authenticated) 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
음성 획득부(175)는 오디오를 획득할 수 있다. 음성 획득부(175)는 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크(미도시)를 통해 디스플레이 장치(100) 주변의 오디오를 획득할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일 실시 예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋톱 박스 등과 같은 영상 처리 장치와 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 분리된 셋톱 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
오디오 출력부(185)는, 제어부(170)에서 오디오 처리된 신호를 입력 받아 사운드로 출력한다.
전원 공급부(190)는, 디스플레이 장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip, SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이부(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터와, 직류 전원의 레벨을 변환하는 dc/dc 컨버터를 구비할 수 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2를 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량을 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 톤 매핑 수행부의 블록도이다.
본 발명의 실시 예에 따른 디스플레이 장치(100)는 톤 매핑 수행부(171)를 더 포함할 수 있다. 특히, 제어부(170)가 톤 매핑 수행부(171)를 포함할 수 있다. 그러나, 이는 예시적인 것에 불과하며, 톤 매핑 수행부(171)는 디스플레이 장치(100) 내 임의의 위치에 구비될 수 있다.
톤 매핑 수행부(171)는 입력 영상에 LUT(Look-Up Table) 커브를 적용하는 톤 매핑을 수행함으로써 RGB 데이터를 변환할 수 있다. 디스플레이부(180)는 톤 매핑에 의해 변환된 RGB 데이터에 따른 영상을 표시할 수 있다.
구체적으로, 톤 매핑 수행부(171)는 영상을 입력 받으면, 입력 영상의 RGB 데이터를 변환하여 출력할 수 있다. 디스플레이부(180)는 톤 매핑 수행부(171)에서 출력된 변환된 RGB 데이터(converted RGB data)를 입력 받을 수 있다. 디스플레이부(180)는 변환된 RGB 데이터에 기초하는 영상을 표시할 수 있다.
톤 매핑 수행부(171)는 톤 커브 결정부(173) 및 톤 커브 보정부(175) 중 적어도 일부 또는 전부를 포함할 수 있다.
톤 커브 결정부(173)는 톤 매핑에 사용할 LUT 커브를 획득할 수 있다.
LUT 커브는, 색상(hue), 채도(saturation), 조도(brightness)를 조정하여 촬영된 원본 영상의 RGB를 새로운 RGB로 바꾸기 위한 테이블일 수 있다.
구체적으로, 저장부(140)는 복수의 LUT 커브를 저장하고 있고, 톤 커브 결정부(173)는 저장부(140)에 저장된 복수의 LUT 커브 중 적어도 하나를 톤 매핑에 사용될 LUT 커브로 인식할 수 있다.
톤 커브 결정부(173)는 입력 영상의 피크 휘도 레벨 또는 APL(Average Picture Level) 중 적어도 하나에 기초하여 기 정해진 복수의 LUT 커브 중 어느 하나를 선택할 수 있다. 복수의 LUT 커브 중 어느 하나를 선택하는 방법에 대해서는 도 7에서 자세히 설명하기로 한다.
톤 커브 보정부(175)는 톤 커브 결정부(173)에 의해 결정된 LUT 커브를 보정할 수 있다. 톤 커브 보정부(175)는 복수의 LUT 중 선택된 LUT를 입력 영상의 히스토그램에 기초하여 보정할 수 있다.
톤 커브 보정부(175)는 보정된 LUT 커브를 이용하여 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행할 수 있다. 톤 커브 보정부(175)는 톤 매핑에 의해 변환된 RGB 데이터를 출력할 수 있다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 도시한 순서도이다.
제어부(170)는 영상을 입력 받을 수 있다(S11).
제어부(170)는 방송 수신부(130), 외부기기 인터페이스부(135), 사용자 입력 인터페이스부(150), 무선 통신부(173) 등을 통해 수신된 영상을 입력 받을 수 있다.
제어부(170)는 입력 영상의 RGB 데이터를 획득할 수 있다.
제어부(170)는 기 정해진 복수의 LUT 커브 중 어느 하나를 선택할 수 있다(S13).
제어부(170)는 입력 영상의 피크 휘도 레벨 또는 APL(Average Picture Level)에 기초하여 기 정해진 복수의 LUT 커브 중 어느 하나를 선택할 수 있다.
도 7은 본 발명의 실시 예에 따른 디스플레이 장치가 복수의 LUT 커브 중 어느 하나를 선택하는 방법을 설명하기 위한 예시 도면이다.
도 7에 도시된 바와 같이, 저장부(140)는 복수의 LUT 커브를 저장하고 있을 수 있다. 도 7을 참조하면, 복수의 LUT 커브 각각은 색채 또는 콘트라스트를 향상시키기 위한 정도(gain)를 달리할 수 있고, a방향에 가까운 LUT 커브일수록 색채 또는 콘트라스트 향상 정도가 높아지고, b방향에 가까운 LUT 커브일수록 색채 또는 콘트라스트의 향상 정도가 낮아질 수 있다.
제어부(170)는 영상 정보에 따라 복수의 LUT 커브 중 어느 하나를 선택할 수 있다. 예를 들어, 제어부(170)는 피크 휘도 레벨 및 APL이 높은 영상일수록 b방향에 가까운 LUT 커브를 선택하고, 피크 휘도 레벨 및 APL이 낮은 영상일수록 a방향에 가까운 LUT 커브를 선택할 수 있다.
이를 위해, 제어부(170)는 피크 휘도 레벨 및 APL 에 대응하는 LUT 커브를 매핑한 테이블을 미리 저장하고, 입력 영상의 피크 휘도 레벨 및 APL 에 따라 테이블에서 LUT 커브를 획득할 수 있다. 그러나, 이는 예시적인 것에 불과하고, 제어부(170)는 다양한 방법으로 복수의 LUT 커브 중 어느 하나를 획득할 수 있다.
다시, 도 6을 설명한다.
제어부(170)는 입력 영상의 히스토그램에 기초하여 선택된 LUT 커브를 보정할 수 있다(S15).
제어부(170)는 입력 영상의 RGB 데이터에 기초하여 입력 영상의 히스토그램을 획득하고, 입력 영상의 히스토그램에 기초하여 선택된 LUT 커브를 보정할 수 있다.
휘도 레벨의 분포가 균일하지 못한 영상의 경우, 색채 또는 콘트라스트 향상을 위해 톤 매핑시 오히려 명암비가 저하되거나 포화될 수 있다. 따라서, 본 발명에서는 휘도 레벨이 몰려있는 데이터에 대해서는 LUT 커브의 게인을 감소시켜 톤 매핑이 수행되도록 LUT 커브의 보정을 더 수행할 수 있다.
다음으로, 도 8 내지 도 11을 참조하여, 본 발명의 실시 예에 따른 디스플레이 장치가 LUT 커브를 보정하는 방법을 설명한다.
제어부(170)는 입력 영상의 히스토그램에 따라 LUT 커브를 조정할 수 있다.
도 8은 본 발명의 실시 예에 따른 디스플레이 장치가 LUT 커브를 보정하는 방법을 도시한 순서도이다.
도 8은 도 6의 단계 S15를 구체화한 순서도일 수 있다.
제어부(170)는 입력 영상의 히스토그램을 획득할 수 있다(S107).
입력 영상의 히스토그램은 입력 영상의 휘도 레벨 분포를 나타내는 그래프로, 입력 영상의 휘도 레벨 별 빈도수를 나타낼 수 있다.
예를 들어, 제어부(170)는 입력 영상의 휘도 레벨을 32개의 빈(bin) 단위로 그룹화할 수 있다. 빈 단위로 그룹화할 경우 영상 처리 속도가 개선되는 이점이 있다.
제어부(170)는 입력 영상의 히스토그램에서 데이터의 비율이 높은 그룹을 추출할 수 있다(S104).
제어부(170)는 빈 단위로 나타난 히스토그램에서 데이터가 몰린 그룹을 추출할 수 있다. 제어부(170)는 연속된 6개의 빈을 하나의 그룹으로 인식하고, 인식된 그룹들 중 데이터의 빈도수가 가장 많은 그룹을 데이터의 비율이 높은 그룹으로 추출할 수 있다.
즉, 제어부(170)는 입력 영상의 히스토그램에서 데이터량이 소정 비율 이상인 빈을 기준으로 데이터 비율이 높은 그룹을 획득할 수 있다.
실시 예에 따라, 제어부(170)는 연속된 6개의 빈을 하나의 그룹으로 인식할 때, 6개의 빈 각각이 차지하는 데이터의 비율이 5% 이상인 경우에만 해당 빈을 하나의 그룹으로 인식할 수 있다. 이 경우, 5% 미만인 빈을 갖는 그룹에 대해서는 데이터의 비율을 추출하지 않으므로, 불필요한 연산을 최소화할 수 있는 이점이 있다.
제어부(170)는 최대 빈 및 데이터의 비율이 높은 그룹에 속하는 대표 빈을 획득할 수 있다(S106).
최대 빈(max bin)은 32개의 빈 중 빈도수가 가장 높은 빈을 의미할 수 있다. 즉, 최대 빈은 입력 영상의 히스토그램에서 데이터가 집중된 빈일 수 있다.
예를 들어, 제어부(170)는 히스토그램에서 빈도수가 가장 높은 빈을 최대 빈으로 획득할 수 있다.
대표 빈(representative bin)은 데이터의 비율이 높은 그룹에 속하는 어느 하나의 빈일 수 있다. 예를 들어, 대표 빈은 데이터의 비율이 높은 그룹 중 가장 첫 번째 빈일 수 있다.
제어부(170)는 최대 빈 및 대표 빈 중 적어도 하나에 기초하여 오프셋 지점을 획득할 수 있다(S108).
오프셋 지점은, 톤 매핑에 의해 명암비가 더 낮아지는 것으로 추측되는 영역에 대응하는 데이터를 갖는 빈을 의미할 수 있다.
영상마다 데이터가 몰린 영역이 다르므로, 제어부(170)는 데이터가 몰린 영역에 따라 오프셋 게인을 따라 다르게 적용하기 위해, 오프셋 지점을 획득할 수 있다.
다음으로, 도 9를 참조하여, 본 발명의 실시 예에 따른 디스플레이 장치가 오프셋 지점을 획득하는 방법을 설명한다.
도 9는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 히스토그램에 기초하여 오프셋 지점을 획득하는 방법을 설명하기 위한 예시 도면이다.
도 9의 예시를 참조하면, 제어부(170)는 데이터량이 전체 대비 최소 5%인 빈들 6개가 연속된 그룹들(G1 내지 G12)을 획득할 수 있다. 제어부(170)는 복수개의 그룹들(G1 내지 G12) 각각에 대해 전체 대비 각 그룹에 속하는 데이터의 비율을 산출함으로써, 데이터의 비율이 높은 그룹을 추출할 수 있다. 도 9의 예시에서는 복수개의 그룹들(G1 내지 G12) 중 제6 그룹(G6)이 데이터의 비율이 높은 그룹일 수 있다.
제어부(170)는 데이터의 비율이 높은 그룹에서 대표 빈(representative bin)을 획득할 수 있다. 예를 들어, 대표 빈이 데이터의 비율이 높은 그룹 중 가장 첫번째 빈이라고 할 경우, 도 9의 예시에서 대표 빈은 17번 빈일 수 있다.
그리고, 제어부(170)는 최대 빈을 획득할 수 있고, 도 9의 예시에서 최대 빈은 21번 빈일 수 있다.
제어부(170)는 대표 빈과 최대 빈을 획득하면, 대표 빈과 최대 빈에 기초하여 오프셋 지점을 획득할 수 있다.
오프셋 지점을 획득하기 위해, 제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 포함되는지 판단할 수 있다. 도 9의 예시에서, 제어부(170)는 최대 빈인 21번 빈이 데이터의 비율이 높은 그룹(G6)인 17번 빈 내지 22번 빈 중 어느 하나에 해당하는지 판단할 수 있다.
제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 속할 경우, 최대 빈을 오프셋 지점으로 획득할 수 있다. 도 9의 예시에 따르면, 제어부(170)는 21번 빈을 오프셋 지점으로 획득할 수 있다.
한편, 제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 속하지 않는 경우, 최대 빈과 대표 빈의 평균에 해당하는 빈을 오프셋 지점으로 획득할 수 있다. 도 9의 예시와 달리, 최대 빈이 23번 빈이고, 대표 빈이 17번 빈인 경우, 23번 빈과 17번 빈의 평균인 20번 빈을 오프셋 지점으로 획득할 수 있다. 즉, 제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 속하지 않는 경우, 최대 빈과 대표 빈의 평균을 오프셋 지점으로 획득할 수 있다.
제어부(170)는 오프셋 지점에 따른 오프셋 게인을 획득할 수 있다(S110).
제어부(170)는 오프셋 지점이 될 수 있는 빈 각각에 대한 게인값을 매핑하고 있을 수 있다. 따라서, 제어부(170)는 오프셋 지점을 획득하면, 오프셋 지점에 매핑된 게인값을 추출하고, 추출된 게인값을 오프셋 게인으로 획득할 수 있다. 즉, 제어부(170)는 오프셋 지점에 맵핑된 게인값을 오프셋 게인으로 획득할 수 있다. 이 때, 게인값은 오프셋 지점이 증가할수록 크게 맵핑되어 있을 수 있다.
일 실시 예에 따르면, 제어부(170)는 입력 영상의 히스토그램에서 데이터가 집중된 최대 빈(max bin)을 획득하고, 최대 빈에 기초하여 오프셋 게인을 획득할 수 있다.
다른 실시 예에 따르면, 제어부(170)는 최대 빈과 대표 빈에 기초하여 오프셋 게인을 획득할 수 있다.
일 예로, 제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 속할 경우, 최대 빈에 대응하는 게인값을 오프셋 게인으로 획득할 수 있다. 다른 예로, 제어부(170)는 최대 빈이 데이터의 비율이 높은 그룹에 속하지 않는 경우, 최대 빈과 대표 빈의 평균에 대응하는 게인값을 오프셋 게인으로 획득할 수 있다.
예를 들어, 입력 영상이 10 비트(bit) 영상인 경우, 오프셋 게인은 0 내지 80 중 어느 하나일 수 있다.
한편, 제어부(170)는 오프셋 게인을 획득시, 입력 영상 히스토그램에서 상위 50% 이상에 해당하는 데이터의 분포 및 데이터량에 따라 오프셋 게인을 조절할 수 있다.
다음으로, 제어부(170)가 입력 영상 히스토그램에서 상위 50% 이상에 해당하는 데이터의 분포에 따라 오프셋 게인을 조절하는 방법을 설명한다.
일 실시 예에 따르면, 제어부(170)는 입력 영상의 히스토그램에서 50% 이상의 데이터가 상위 제1 설정 비율에 해당하는 범위에 속하는 경우, 오프셋 게인을 0으로 획득할 수 있다. 예를 들어, 제1 설정 비율은 3% 일 수 있다. 즉, 제어부(170)는 입력 영상의 데이터 중 과반수 이상이 상위 3%에 속하는 경우, 영상이 전체적으로 밝은 영상에 해당하는 것으로 인식하고, 이 경우 데이터가 특정 휘도 레벨이 몰려 있지 않으므로, 오프셋 게인을 0으로 획득할 수 있다.
다음으로, 제어부(170)가 입력 영상 히스토그램에서 상위 50% 이상에 해당하는 데이터의 데이터량에 따라 오프셋 게인을 조절하는 방법을 설명한다.
일 실시 예에 따르면, 제어부(170)는 입력 영상의 히스토그램에서 50% 이상의 데이터가 상위 제2 설정 비율에 해당하는 범위에 속하는 경우, 상위 제2 설정 비율에 해당하는 범위에 속하는 데이터량에 따라 오프셋 게인을 다르게 획득할 수 있다. 예를 들어, 제2 설정 비율은 50% 일 수 있다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치가 데이터량에 따라 오프셋 게인을 설정하는 방법을 설명하기 위한 예시 도면이다.
제어부(170)는 입력 영상 히스토그램에서 50% 이상의 데이터가 상위 50%에 몰려있는 경우에는 게인값에 지정 상수를 곱한 값을 오프셋 게인으로 획득할 수 있다.
도 10을 참조하면, 제어부(170)는 입력 영상 히스토그램에서 상위 50%의 데이터량이 0 내지 50%에 속하면 지정 상수를 1로 설정하고, 이 경우 오프셋 게인은 오프셋 지점에 대응하는 게인값일 수 있다.
한편, 제어부(170)는 입력 영상 히스토그램에서 상위 50%의 데이터량이 75%이면 지정 상수를 2로 설정할 수 있다. 즉, 제어부(170)는 상위 50%에 해당하는 범위에 속하는 데이터량이 전체 데이터 대비 70%이면 지정 상수를 2로 설정할 수 있다. 이 경우, 제어부(170)는 오프셋 게인은 오프셋 지점에 대응하는 게인값에 2를 곱한 값을 오프셋 게인으로 획득할 수 있다.
그리고, 제어부(170)는 입력 영상 히스토그램에서 상위 50%의 데이터량이 100%이면 지정 상수를 3으로 설정할 수 있다. 즉, 제어부(170)는 상위 50%에 해당하는 범위에 속하는 데이터량이 전체 데이터 대비 100%이면 지정 상수를 3으로 설정할 수 있다. 이 경우 오프셋 게인은 오프셋 지점에 대응하는 게인값에 3을 곱한 값을 오프셋 게인으로 획득할 수 있다.
즉, 제어부(170)는 입력 영상의 데이터 중 상위 50%에 속하는 데이터량이 증가할수록 게인값이 커지도록 조절할 수 있다.
한편, 제어부(170)는 상위 50%의 데이터량이 50% 초과 75% 미만, 70% 초과 내지 100% 미만에 해당하는 경우, 상술한 바와 마찬가지로, 도 10에 도시된 바와 같은 그래프에 따라 지정 상수를 획득하여 오프셋 게인을 조절할 수 있다.
만약, 제어부(170)가 오프셋 지점에 따라 0 내지 80 중 어느 하나를 오프셋 게인으로 설정하였다면, 상위 50%의 데이터량에 따라 오프셋 게인을 0 내지 240 중 어느 하나로 조절할 수 있다.
제어부(170)는 LUT 커브에 오프셋 게인을 적용할 수 있다(S112).
제어부(170)는 복수의 LUT 커브 중 선택된 LUT 커브에서 오프셋 게인만큼 빼는 연산을 통해 LUT 커브에 오프셋 게인을 적용할 수 있다. 즉, LUT 커브에 오프셋 게인을 적용한다는 것은, LUT 커브에서 오프셋 게인만큼 차감된 커브를 획득하는 것을 의미할 수 있다.
정리하면, 제어부(170)는 입력 영상의 히스토그램에 기초하여 오프셋 게인을 획득하고, 오프셋 게인을 적용함으로써 LUT 커브를 보정할 수 있다.
그리고, 제어부(170)는 오프셋 게인을 적용한 결과에 따라 휘도 보상을 수행할 수 있다(S114).
제어부(170)는 오프셋 게인을 적용한 결과에 따라 휘도 보상을 수행하거나 혹은 휘도 보상을 수행하지 않을 수도 있다. 즉, 제어부(170)는 오프셋 게인을 적용한 결과를 분석하고, 휘도 보상이 필요한 경우에만 휘도 보상을 수행할 수 있다.
이와 같이, 제어부(170)는 LUT 커브에 오프셋 게인을 적용함으로써 보정된 LUT 커브를 획득하거나, LUT 커브에 오프셋 게인을 적용한 후 휘도 보상함으로써 보정된 LUT 커브를 획득할 수 있다.
도 11은 본 발명의 실시 예에 따른 디스플레이 장치가 오프셋 게인을 적용하여 LUT 커브를 보정하는 방법을 설명하기 위한 예시 도면이다.
도 11을 참조하면, 'input data'는 입력 영상의 RGB 데이터에 따른 LUT 커브를 나타내고, 'offset 적용'은 오프셋 게인을 적용한 경우 LUT 커브를 나타낼 수 있다.
한편, 경우에 따라, 도 11에 도시된 바와 같이, 오프셋 게인의 적용에 의해 휘도가 감소하는 것을 확인할 수 있다. 특히, 신호가 존재하는 구간 중 최대 휘도(Max input data)가 어두워지므로, 이를 보상하기 위한 휘도 보상을 수행할 수 있고, 'Output data'는 휘도 보상을 수행할 경우의 LUT 커브를 나타낼 수 있다. 특히, 제어부(170)는 아래 수학식에 따라 휘도 보상을 수행할 수 있다.
[수학식 1]
Output data = (input data - offset) * (Max input data) / (Max Input data - offset)
즉, 도 11에 도시된 바와 같이, 제어부(170)는 오프셋 게인 적용시 최대 휘소가 감소하면, 최대 휘도의 감소값에 기초하여 휘도를 보상한 LUT 커브를 획득할 수 있다.
다시, 도 6을 설명한다.
제어부(170)는 보정된 LUT 커브를 이용하여 톤 매핑을 수행할 수 있다(S17).
제어부(170)는 보정된 LUT 커브에 따라 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행할 수 있다.
제어부(170)는 톤 매핑에 따른 영상을 출력할 수 있다(S19).
제어부(170)는 톤 매핑에 따라 변환된 RGB 데이터에 따라 영상이 출력되도록 디스플레이부(180)를 제어할 수 있다.
도 12a 내지 도 12b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 피크(peak)에 따라 LUT 커브를 다르게 출력하는 방법을 설명하기 위한 예시 도면이다.
히스토그램이 도 12a의 상부에 도시된 바와 같은 영상이 입력될 때, 제어부(170)는 디스플레이부(180)에서 출력되는 영상의 데이터를 감지함으로써 LUT 커브를 획득할 수 있고, 이는 도 12b의 커브 C1일 수 있다. 한편, 제어부(170)는 도 12a의 상부에 도시된 히스토그램 중 피크에 해당하는 빈의 데이터가 변경된 영상이 입력될 때, 제어부(170)는 디스플레이부(180)에서 출력되는 영상의 데이터를 감지함으로써 LUT 커브를 획득할 수 있고, 이는 도 12b의 커브 C2일 수 있다. 즉, 도 12b에 도시된 커브 C1과 C2를 보면, 피크에 해당하는 빈의 데이터가 변경됨에 따라 LUT 커브가 변경되는 것을 확인할 수 있다.
도 13a 내지 도 13b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 히스토그램 분포에 따라 LUT 커브를 다르게 출력하는 방법을 설명하기 위한 예시 도면이다.
히스토그램이 도 13a의 상부에 도시된 바와 같은 영상이 입력될 때, 제어부(170)는 디스플레이부(180)에서 출력되는 영상의 데이터를 감지함으로써 LUT 커브를 획득할 수 있고, 이는 도 13b의 커브 C3일 수 있다. 한편, 제어부(170)는 도 13a의 상부에 도시된 히스토그램의 분포가 변경된 영상이 입력될 때, 제어부(170)는 디스플레이부(180)에서 출력되는 영상의 데이터를 감지함으로써 LUT 커브를 획득할 수 있고, 이는 도 13b의 커브 C4일 수 있다. 즉, 도 13b에 도시된 커브 C1과 C2를 보면, 히스토그램의 분포가 변경됨에 따라 LUT 커브가 변경되는 것을 확인할 수 있다.
도 14a는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 따라 출력한 영상의 예시 도면이고, 도 14b는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 고정 커브를 적용시 출력한 영상의 예시 도면이고, 도 14c는 본 발명의 실시 예에 따른 디스플레이 장치가 입력 영상의 RGB 데이터에 보정된 LUT 커브를 이용하여 톤 매핑시 출력한 영상의 예시 도면이다.
도 14a 및 도 14b를 참조하면, 영상 정보와 관계없이 고정 커브가 적용되기 때문에, 영상이 밝아지기만 했을 뿐 오히려 명암비가 저하되는 것을 볼 수 있다. 그러나, 도 14a 및 도 14c를 참조하면, 복수의 LUT 커브 중 어느 하나를 선택하고, 히스토그램에 기반하여 LUT 커브를 보정할 경우, 명암비, 표현력, 입체감 등이 향상되는 것을 볼 수 있다.
즉, 본 발명의 실시 예에 따르면, 영상 정보에 따라 LUT 커브가 변경되기 때문에 현재 장면(scene)에 최적화된 LUT 커브에 따른 영상이 출력되며, 이에 따라 명암비가 극대화되고, 색상의 미세한 차이가 크게 확장되므로, 표현력이 높아지는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. LUT(Look-Up Table) 커브를 통해 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행하는 제어부; 및
    상기 톤 매핑에 의해 변환된 RGB 데이터에 따른 영상을 표시하는 디스플레이부를 포함하고,
    상기 제어부는
    상기 입력 영상의 히스토그램에 따라 상기 LUT 커브를 보정하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에 기초하여 오프셋 게인을 획득하고, 상기 오프셋 게인을 적용함으로써 상기 LUT 커브를 보정하는
    디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에서 데이터가 집중된 최대 빈(max bin)을 획득하고, 상기 최대 빈에 기초하여 상기 오프셋 게인을 획득하는
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에 기초하여 데이터의 비율이 높은 그룹에서 대표 빈(representative bin)을 획득하고, 상기 최대 빈과 상기 대표 빈에 기초하여 상기 오프셋 게인을 획득하는
    디스플레이 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 최대 빈이 상기 데이터의 비율이 높은 그룹에 속할 경우, 상기 최대 빈에 대응하는 게인값을 상기 오프셋 게인으로 획득하는
    디스플레이 장치.
  6. 제4항에 있어서,
    상기 제어부는
    상기 최대 빈이 상기 데이터의 비율이 높은 그룹에 속하지 않는 경우, 상기 최대 빈과 상기 대표 빈의 평균에 대응하는 게인값을 상기 오프셋 게인으로 획득하는
    디스플레이 장치.
  7. 제4항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에서 데이터량이 소정 비율 이상인 빈을 기준으로 상기 데이터의 비율이 높은 그룹을 획득하는
    디스플레이 장치.
  8. 제4항에 있어서,
    상기 제어부는
    상기 최대 빈 및 상기 대표 빈 중 적어도 하나에 기초하여 오프셋 지점을 획득하고, 상기 오프셋 지점에 맵핑된 게인값을 상기 오프셋 게인으로 획득하며,
    상기 게인값은 상기 오프셋 지점이 증가할수록 크게 맵핑되어 있는
    디스플레이 장치.
  9. 제2항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에서 50% 이상 데이터가 상위 제1 설정 비율에 해당하는 범위에 속하는 경우, 상기 오프셋 게인을 0으로 획득하는
    디스플레이 장치.
  10. 제2항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에서 50% 이상의 데이터가 상위 제2 설정 비율에 해당하는 범위에 속하는 경우, 상기 상위 제2 설정 비율에 해당하는 범위에 속하는 데이터량에 따라 상기 오프셋 게인을 다르게 획득하는
    디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는
    상기 상위 제2 설정 비율에 해당하는 범위에 속하는 데이터량에 따라 오프셋 지점에 맵핑된 게인값에 지정 상수를 곱함으로써 상기 오프셋 게인을 획득하는
    디스플레이 장치.
  12. 제2항에 있어서,
    상기 제어부는
    상기 오프셋 게인 적용시 최대 휘도의 감소값에 기초하여 휘도를 보상한 LUT 커브를 획득하는
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 제어부는
    상기 입력 영상의 피크 휘도 레벨 또는 APL(Average Picture Level)에 기초하여 기 정해진 복수의 LUT 커브 중 어느 하나를 선택하고, 선택된 LUT 커브를 상기 입력 영상의 히스토그램에 따라 보정하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 입력 영상의 히스토그램에 기초하여 오프셋 게인을 획득하고, 상기 선택된 LUT 커브에 상기 오프셋 게인을 적용함으로써 상기 LUT 커브를 보정하는
    디스플레이 장치.
  15. 복수의 LUT(Look-Up Table) 커브를 저장하는 단계;
    상기 복수의 LUT 중 어느 하나를 선택하는 단계;
    상기 복수의 LUT 중 선택된 LUT를 입력 영상의 히스토그램에 따라 보정하는 단계;
    상기 입력 영상의 히스토그램에 따라 보정된 LUT 커브를 이용하여 입력 영상의 RGB 데이터를 변환하는 톤 매핑을 수행하는 단계; 및
    상기 톤 매핑이 수행된 영상을 표시하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
PCT/KR2019/009572 2019-07-31 2019-07-31 디스플레이 장치 및 그의 동작 방법 WO2021020627A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217040930A KR102584198B1 (ko) 2019-07-31 2019-07-31 디스플레이 장치 및 그의 동작 방법
US17/627,836 US12008741B2 (en) 2019-07-31 Display device and operation method thereof
EP19939182.2A EP4006823A4 (en) 2019-07-31 2019-07-31 DISPLAY DEVICE AND METHOD OF OPERATION
PCT/KR2019/009572 WO2021020627A1 (ko) 2019-07-31 2019-07-31 디스플레이 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/009572 WO2021020627A1 (ko) 2019-07-31 2019-07-31 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021020627A1 true WO2021020627A1 (ko) 2021-02-04

Family

ID=74228250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009572 WO2021020627A1 (ko) 2019-07-31 2019-07-31 디스플레이 장치 및 그의 동작 방법

Country Status (3)

Country Link
EP (1) EP4006823A4 (ko)
KR (1) KR102584198B1 (ko)
WO (1) WO2021020627A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138913A1 (en) * 2022-01-19 2023-07-27 Interdigital Vc Holdings France, Sas Expansion function selection in an inverse tone mapping process

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171852A1 (en) * 2001-04-20 2002-11-21 Xuemei Zhang System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
KR20070026190A (ko) * 2005-08-31 2007-03-08 소니 가부시끼 가이샤 촬상 장치, 촬상 방법 및, 촬상 프로그램과, 화상 처리장치, 화상 처리 방법 및 화상 처리 프로그램
KR20110064631A (ko) * 2009-12-08 2011-06-15 한양대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP2013030158A (ja) * 2011-06-24 2013-02-07 Tokyo Electron Ltd 画像処理方法、画像表示方法、画像処理装置、プログラム及びコンピュータ記憶媒体
JP2016004313A (ja) * 2014-06-13 2016-01-12 大日本印刷株式会社 画像処理装置および輝度調整方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208396B2 (ja) * 2000-08-31 2009-01-14 キヤノン株式会社 画像処理方法、装置および記録媒体
SG139602A1 (en) * 2006-08-08 2008-02-29 St Microelectronics Asia Automatic contrast enhancement
KR102317035B1 (ko) * 2014-12-19 2021-10-25 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171852A1 (en) * 2001-04-20 2002-11-21 Xuemei Zhang System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
KR20070026190A (ko) * 2005-08-31 2007-03-08 소니 가부시끼 가이샤 촬상 장치, 촬상 방법 및, 촬상 프로그램과, 화상 처리장치, 화상 처리 방법 및 화상 처리 프로그램
KR20110064631A (ko) * 2009-12-08 2011-06-15 한양대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP2013030158A (ja) * 2011-06-24 2013-02-07 Tokyo Electron Ltd 画像処理方法、画像表示方法、画像処理装置、プログラム及びコンピュータ記憶媒体
JP2016004313A (ja) * 2014-06-13 2016-01-12 大日本印刷株式会社 画像処理装置および輝度調整方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138913A1 (en) * 2022-01-19 2023-07-27 Interdigital Vc Holdings France, Sas Expansion function selection in an inverse tone mapping process

Also Published As

Publication number Publication date
KR102584198B1 (ko) 2023-10-04
US20220277428A1 (en) 2022-09-01
EP4006823A1 (en) 2022-06-01
KR20210158384A (ko) 2021-12-30
EP4006823A4 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
WO2020256185A1 (ko) 디스플레이 장치
WO2021029447A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021020627A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020235699A1 (ko) 디스플레이 장치
WO2021025245A1 (ko) 디스플레이 장치 및 서라운드 사운드 시스템
WO2022149650A1 (en) Display device and display system
WO2021029469A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021010511A1 (ko) 디스플레이 장치
WO2023128070A1 (en) Display device
WO2024005241A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023101110A1 (en) Display device
WO2024010129A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023238966A1 (ko) 투명 디스플레이 장치 및 그의 동작 방법
WO2021010522A1 (ko) 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2023054823A1 (en) Display device
WO2022260216A1 (ko) 디스플레이 장치
WO2021172623A1 (ko) 디스플레이 장치
WO2021040074A1 (ko) 디스플레이 장치 및 서라운드 사운드 시스템
WO2022014739A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023038166A1 (ko) 디스플레이 장치
WO2023229054A1 (ko) 디스플레이 장치
WO2022045391A1 (ko) 디스플레이 장치 및 이를 이용한 콘텐트 제공 방법
WO2024090599A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939182

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217040930

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019939182

Country of ref document: EP

Effective date: 20220228