WO2024154925A1 - 전자 장치 및 그 영상 처리 방법 - Google Patents

전자 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
WO2024154925A1
WO2024154925A1 PCT/KR2023/019369 KR2023019369W WO2024154925A1 WO 2024154925 A1 WO2024154925 A1 WO 2024154925A1 KR 2023019369 W KR2023019369 W KR 2023019369W WO 2024154925 A1 WO2024154925 A1 WO 2024154925A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
enhancement
candidate
change amount
information
Prior art date
Application number
PCT/KR2023/019369
Other languages
English (en)
French (fr)
Inventor
김범준
서귀원
김종환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024154925A1 publication Critical patent/WO2024154925A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast

Definitions

  • This disclosure relates to an electronic device and an image processing method thereof, and more specifically, to an electronic device that performs contrast ratio enhancement processing on an input image and an image processing method thereof.
  • an electronic device includes a memory storing a plurality of contrast ratio enhancement curves and one or more processors connected to the memory to control the electronic device, wherein the one or more processors are configured to store the plurality of contrast ratio enhancement curves.
  • a plurality of candidate enhancement images obtained by applying each of the enhancement curves to the input image are compared with the input image to identify image change amount information and enhancement effect information corresponding to each of the plurality of candidate enhancement images, and Based on the image change amount information and enhancement effect information corresponding to each image, the final enhanced image can be identified among the plurality of candidate enhanced images, and an output image corresponding to the input image can be obtained based on the identified final enhanced image.
  • the one or more processors compare each of the plurality of candidate enhancement images with the input image to identify a pixel structure change amount, a noise level change amount, and a color change amount corresponding to each of the plurality of candidate enhancement images, and Image change amount information corresponding to each of the plurality of candidate enhanced images may be obtained based on the pixel structure change amount, the noise level change amount, and the color change amount.
  • the one or more processors identify pixel uniform distribution information corresponding to each of the plurality of candidate enhancement images, and enhance effect information corresponding to each of the plurality of candidate enhancement images based on the pixel uniform distribution information. can be obtained.
  • the one or more processors obtain an image change value by applying preset weights corresponding to each of the pixel structure change amount, the noise level change amount, and the color change amount, and inversely convert the image change amount value. After normalization, the image change amount information can be obtained.
  • the one or more processors obtain an effect identification value based on histogram information corresponding to each of the plurality of candidate enhancement images, normalize the effect identification value to obtain the enhancement effect information, and
  • the final identification value corresponding to each of the plurality of candidate enhanced images can be identified by applying a preset weight to the change amount information and the enhancement effect information, and the final enhanced image can be identified based on the identified final identification value.
  • it further includes a display, wherein the one or more processors display the output image through the display, and the preset weight may be identified differently depending on panel characteristics of the display.
  • the one or more processors may identify an image among the plurality of candidate enhancement images in which the image change value according to the image change amount information is small and the enhancement effect value according to the enhancement effect information is large as the final enhanced image. .
  • the one or more processors acquire feature information from the input image, input the obtained feature information into a learned first artificial intelligence model, and select one of the plurality of contrast ratio enhancement curves corresponding to the input image.
  • a contrast ratio enhancement curve may be obtained, and the output image may be obtained by processing the input image based on the obtained contrast ratio enhancement curve.
  • the learned first artificial intelligence model calculates the contrast ratio of one of the plurality of contrast ratio enhancement curves based on the image change amount information and enhancement effect information corresponding to the plurality of contrast ratio enhancement curves in the image. It can be trained to output information about the enhancement curve.
  • the one or more processors acquire feature information from the input image, input the obtained feature information into a learned second artificial intelligence model, and generate image change amount information corresponding to the plurality of candidate enhanced images, and Enhance effect information may be obtained, and a final enhanced image among the plurality of candidate enhanced images may be identified based on image change amount information and enhancement effect information corresponding to each of the plurality of candidate enhanced images.
  • the learned second artificial intelligence model outputs image change information and enhancement effect information corresponding to a plurality of candidate enhancement images obtained by applying a plurality of contrast ratio enhancement curves to the image when feature information of the image is input. It can be learned.
  • the one or more processors may acquire the output image by inputting the input image into a learned third artificial intelligence model.
  • the learned third artificial intelligence model identifies image change information and enhancement effect information corresponding to a plurality of candidate enhancement images obtained by applying a plurality of contrast ratio enhancement curves to the image, and It can be learned to identify and output a final enhanced image among the plurality of candidate enhanced images based on the identified image change amount information and enhancement effect information.
  • An image processing method of an electronic device includes comparing a plurality of candidate enhancement images obtained by applying each of a plurality of contrast ratio enhancement curves to an input image, and comparing the plurality of candidate enhancement images with the input image to generate Identifying image change amount information and enhancement effect information, identifying a final enhanced image among the plurality of candidate enhancement images based on the image change amount information and enhancement effect information corresponding to each of the plurality of candidate enhancement images, and the identification. It may include obtaining an output image corresponding to the input image based on the final enhanced image.
  • the operation includes converting each of a plurality of contrast ratio enhancement curves to an input image. Comparing a plurality of candidate enhancement images obtained by applying to the input image to identify image change information and enhancement effect information corresponding to each of the plurality of candidate enhancement images, each of the plurality of candidate enhancement images corresponding to It may include identifying a final enhanced image among the plurality of candidate enhanced images based on image change amount information and enhancement effect information, and obtaining an output image corresponding to the input image based on the identified final enhanced image. You can.
  • FIG. 1 is a diagram for explaining an implementation example of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to an embodiment.
  • Figure 2b is a block diagram specifically illustrating the configuration of a display device according to an embodiment.
  • Figure 3 is a flowchart illustrating an image processing method of an electronic device according to an embodiment.
  • FIG. 4 is a diagram illustrating the configuration of functional modules for performing an image processing method according to an embodiment.
  • Figure 5 is a flowchart illustrating a method of predicting image change information and enhancement effect information according to an embodiment.
  • FIGS. 6A and 6B are diagrams for explaining an image processing method according to an example.
  • FIGS. 7A and 7B are diagrams for explaining an image processing method using a learned artificial intelligence model according to an embodiment.
  • FIG. 8 is a diagram illustrating an image processing method using a learned artificial intelligence model according to an embodiment.
  • Figure 9 is a diagram for explaining an image processing method using a learned artificial intelligence model according to an embodiment.
  • FIG. 10 is a diagram illustrating an image processing method using a learned artificial intelligence model according to an embodiment.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., a numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.
  • a or/and B should be understood as referring to either “A” or “B” or “A and B”.
  • expressions such as “first,” “second,” “first,” or “second,” can modify various components regardless of order and/or importance, and can refer to one component. It is only used to distinguish from other components and does not limit the components.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that a certain component can be connected directly to another component or connected through another component (e.g., a third component).
  • a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented by at least one processor (not shown), except for “modules” or “units” that need to be implemented with specific hardware. It can be.
  • FIG. 1 is a diagram for explaining an implementation example of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as a TV or a set-top box as shown in FIG. 1, but is not limited thereto and may include a smart phone, a tablet PC, a laptop PC, a head mounted display (HMD), and a near eye (NED). Display), LFD (large format display), Digital Signage, DID (Digital Information Display), video wall, projector display, camera, camcorder, printer, etc. with image processing and/or display functions. It is applicable to any device without limitation.
  • the electronic device 100 can receive various compressed images or images of various resolutions.
  • the electronic device 100 may include Moving Picture Experts Group (MPEG) (e.g., MP2, MP4, MP7, etc.), joint photographic coding experts group (JPEG), Advanced Video Coding (AVC), H.264, You can receive video in a compressed form such as H.265 or HEVC (High Efficiency Video Codec).
  • MPEG Moving Picture Experts Group
  • JPEG joint photographic coding experts group
  • AVC Advanced Video Coding
  • H.264 H.264
  • the electronic device 100 may receive any one of Standard Definition (SD), High Definition (HD), Full HD, Ultra HD, or higher resolution images.
  • SD Standard Definition
  • HD High Definition
  • Ultra HD Ultra HD
  • Contrast ratio improvement is a low-level image processing technique that clarifies the difference between dark and bright areas of an image and improves image quality by sharpening areas of interest in an image or redistributing contrast values. Contrast ratio improvement provides clear images to the human eye by improving image quality or is used as a preprocessing process for higher-level image processing in an imaging system.
  • the method of designing a tone mapping curve that adjusts the tone in an existing image is to design a curve that can disperse the histogram by considering the pixel distribution of the image, thereby obtaining an image with an improved contrast ratio.
  • the image characteristics considered in the existing method are limited to some characteristics such as the pixel distribution histogram, and although the contrast ratio is improved in some images, there is a possibility of side effects occurring in other images. In particular, excessive application of tone mapping curves can damage image information and reduce visibility.
  • FIG. 2A is a block diagram showing the configuration of an electronic device according to an embodiment.
  • the electronic device 100 includes a display 110, a memory 120, and one or more processors 130.
  • the display 110 may be implemented as a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED Plasma Display Panel
  • PDP Plasma Display Panel
  • QD Quantum dot
  • QLED Quantum dot light-emitting diodes
  • the display 110 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • the display 110 may be implemented as a flat display, a curved display, a flexible display capable of folding and/or rolling, etc.
  • the memory 120 can store data needed for various embodiments.
  • the memory 120 may be implemented as a memory embedded in the electronic device 100' or as a memory detachable from the electronic device 100, depending on the data storage purpose. For example, in the case of data for driving the electronic device 100, it is stored in a memory embedded in the electronic device 100', and in the case of data for the expansion function of the electronic device 100, it is attached and detachable from the electronic device 100. This can be stored in available memory.
  • volatile memory e.g., dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory Examples: one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, flash memory (e.g. NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD).
  • a memory card for example, a compact memory card (CF) may be used.
  • USB port It may be implemented in a form such as (for example, USB memory).
  • the memory 120 may store a plurality of contrast ratio enhancement curves.
  • the contrast ratio enhancement curve can be implemented as a tone mapping curve.
  • tone mapping is a method of expressing the original tone of the image according to the dynamic range of the display 110, and can provide optimized color by optimizing contrast.
  • One or more processors 130 generally control the operation of the electronic device 100. Specifically, one or more processors 130 may be connected to each component of the electronic device 100 and generally control the operation of the electronic device 100. For example, one or more processors 130 may be electrically connected to the display 110 and the memory 120 to control the overall operation of the electronic device 100. One or more processors 130 may be comprised of one or multiple processors.
  • One or more processors 130 may perform operations of the electronic device 100 according to various embodiments by executing at least one instruction stored in the memory 120.
  • Functions related to artificial intelligence are operated through the processor and memory of the electronic device.
  • One or more processors 130 may be comprised of one or multiple processors. At this time, one or more processors may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Neural Processing Unit (NPU), but are not limited to the examples of the processors described above.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • NPU Neural Processing Unit
  • CPU is a general-purpose processor that can perform not only general calculations but also artificial intelligence calculations, and can efficiently execute complex programs through a multi-layer cache structure. CPUs are advantageous for serial processing, which allows organic connection between previous and next calculation results through sequential calculations.
  • the general-purpose processor is not limited to the examples described above, except where specified as the CPU described above.
  • GPU is a processor for large-scale operations such as floating-point operations used in graphics processing, and can perform large-scale operations in parallel by integrating a large number of cores.
  • GPUs may be more advantageous than CPUs in parallel processing methods such as convolution operations.
  • the GPU can be used as a co-processor to supplement the functions of the CPU.
  • the processor for mass computation is not limited to the above-described example, except for the case where it is specified as the GPU.
  • NPU is a processor specialized in artificial intelligence calculations using artificial neural networks, and each layer that makes up the artificial neural network can be implemented in hardware (e.g., silicon). At this time, the NPU is designed specifically according to the company's requirements, so it has a lower degree of freedom than a CPU or GPU, but can efficiently process artificial intelligence calculations requested by the company. Meanwhile, as a processor specialized for artificial intelligence calculations, NPU can be implemented in various forms such as TPU (Tensor Processing Unit), IPU (Intelligence Processing Unit), and VPU (Vision processing unit).
  • the artificial intelligence processor is not limited to the examples described above, except where specified as the NPU described above.
  • one or more processors 130 may be implemented as a System on Chip (SoC).
  • SoC System on Chip
  • the SoC may further include a memory 120 and a network interface such as a bus for data communication between the processor 130 and the memory 120.
  • the electronic device 100 uses some of the processors to perform artificial intelligence-related operations (e.g., artificial intelligence Operations related to model learning or inference) can be performed.
  • artificial intelligence-related operations e.g., artificial intelligence Operations related to model learning or inference
  • an electronic device can perform operations related to artificial intelligence using at least one of a plurality of processors, a GPU, NPU, VPU, TPU, or hardware accelerator specialized for artificial intelligence operations such as convolution operation, matrix multiplication operation, etc. there is.
  • this is only an example, and of course, calculations related to artificial intelligence can be processed using general-purpose processors such as CPUs.
  • the electronic device 100 may perform calculations on functions related to artificial intelligence using multiple cores (eg, dual core, quad core, etc.) included in one processor.
  • electronic devices can perform artificial intelligence operations such as convolution operations and matrix multiplication operations in parallel using multi-cores included in the processor.
  • One or more processors 130 control input data to be processed according to predefined operation rules or artificial intelligence models stored in the memory 120.
  • Predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that a predefined operation rule or artificial intelligence model with desired characteristics is created by applying a learning algorithm to a plurality of learning data.
  • This learning may be performed on the device itself that performs the artificial intelligence according to the present disclosure, or may be performed through a separate server/system.
  • An artificial intelligence model may be composed of multiple neural network layers. At least one layer has at least one weight value, and the operation of the layer is performed using the operation result of the previous layer and at least one defined operation.
  • Examples of neural networks include Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Deep Neural Network (DNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Neural Network (BRDNN).
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DNN Deep Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Deep Belief Network
  • BBN Deep Belief Network
  • BBN Bidirectional Recurrent Deep Neural Network
  • BDN Deep Neural Network
  • a learning algorithm is a method of training a target device (eg, a robot) using a large number of learning data so that the target device can make decisions or identify itself.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified. Except, it is not limited to the examples described above.
  • processors 130 one or more processors 130 will be referred to as processor 130.
  • Figure 2b is a block diagram specifically illustrating the configuration of a display device according to an embodiment.
  • the electronic device 100' includes a display 110, a memory 120, one or more processors 130, a communication interface 140, a user interface 150, a speaker 160, and a camera 170. may include.
  • a display 110 includes a display 110, a memory 120, one or more processors 130, a communication interface 140, a user interface 150, a speaker 160, and a camera 170.
  • processors 130 may include a communication interface 140, a user interface 150, a speaker 160, and a camera 170.
  • the communication interface 140 may support various communication methods depending on the implementation example of the electronic device 100'.
  • the communication interface 140 includes Bluetooth, AP-based Wi-Fi (Wireless LAN network), Zigbee, wired/wireless LAN (Local Area Network), WAN (Wide Area Network), Ethernet, IEEE 1394, HDMI (High-Definition Multimedia Interface), USB (Universal Serial Bus), MHL (Mobile High-Definition Link), AES/EBU (Audio Engineering Society/European Broadcasting Union), Optical , Coaxial, etc. can be used to communicate with external devices, external storage media (e.g., USB memory), external servers (e.g., cloud servers), etc.
  • external storage media e.g., USB memory
  • external servers e.g., cloud servers
  • the user interface 150 may be implemented as a device such as buttons, a touch pad, a mouse, and a keyboard, or as a touch screen that can also perform the display function and manipulation input function described above.
  • the user interface 150 is implemented as a remote control transceiver and can receive a remote control signal.
  • the remote control transceiver may receive a remote control signal from an external remote control device or transmit a remote control signal through at least one communication method among infrared communication, Bluetooth communication, or Wi-Fi communication.
  • the speaker 160 outputs an acoustic signal.
  • the speaker 160 may convert the digital sound signal processed by the processor 130 into an analog sound signal, amplify it, and output it.
  • the speaker 190 may include at least one speaker unit capable of outputting at least one channel, a D/A converter, an audio amplifier, etc.
  • the speaker 160 may be implemented to output various multi-channel sound signals.
  • the processor 130 may control the speaker 160 to enhance and output the input audio signal to correspond to the enhancement processing of the input image.
  • the camera 170 may be turned on and perform photography according to a preset event.
  • the camera 170 may convert the captured image into an electrical signal and generate image data based on the converted signal.
  • a subject is converted into an electrical image signal through a semiconductor optical device (CCD; Charge Coupled Device), and the converted image signal can be amplified and converted into a digital signal and then processed.
  • CCD semiconductor optical device
  • the electronic device 100' may include a microphone (not shown), a sensor (not shown), a tuner (not shown), and a demodulator (not shown), depending on the implementation example.
  • a microphone (not shown) is configured to receive the user's voice or other sounds and convert them into audio data.
  • the electronic device 100' may receive a user's voice input through an external device through the communication interface 140.
  • Sensors may include various types of sensors such as touch sensors, proximity sensors, acceleration sensors, geomagnetic sensors, gyro sensors, pressure sensors, position sensors, and illuminance sensors.
  • a tuner may receive an RF broadcast signal by tuning a channel selected by the user or all previously stored channels among RF (Radio Frequency) broadcast signals received through an antenna.
  • the demodulator may receive the digital IF signal (DIF) converted from the tuner, demodulate it, and perform channel decoding.
  • DIF digital IF signal
  • Figure 3 is a flowchart illustrating an image processing method of an electronic device according to an embodiment.
  • the processor 130 compares a plurality of candidate enhancement images obtained by applying each of a plurality of contrast ratio enhancement curves to the input image, and compares the plurality of candidate enhancement images with the input image to correspond to each of the plurality of candidate enhancement images.
  • Image change amount information or excessive information
  • contrast ratio enhancement effect information hereinafter referred to as enhancement effect information
  • the contrast ratio enhancement curve can be implemented as a tone mapping curve, and when there are N tone mapping curves, N candidate enhancement images can be obtained.
  • candidate enhancement images may be obtained as many as the number of combinations of tone mapping curves.
  • the processor 130 may identify the final enhanced image among the plurality of candidate enhanced images based on the image change amount information and the enhancement effect information corresponding to each of the plurality of candidate enhanced images (S320). According to one example, the processor 130 may identify an image with a small image change value according to image change amount information and a large enhancement effect value according to the enhancement effect information as the final enhanced image among a plurality of candidate enhanced images. That is, the processor 130 can identify an image among the plurality of enhanced images that maintains the image structure as much as possible and has a large contrast ratio improvement effect as the final enhanced image.
  • the processor 130 may obtain an output image corresponding to the input image based on the identified final enhanced image (S330). For example, the processor 130 may obtain an output image by applying the tone mapping curve applied to the identified final enhanced image to the input image.
  • FIG. 4 is a diagram illustrating the configuration of functional modules for performing an image processing method according to an embodiment.
  • Each functional module shown in FIG. 4 may be comprised of a combination of at least one hardware or/and at least one software.
  • the candidate enhancement image acquisition module 410 may obtain a plurality of candidate enhancement images obtained by applying each of the plurality of contrast ratio enhancement curves to the input image.
  • the candidate enhanced image acquisition module 410 may acquire a plurality of candidate enhanced images based on at least one of an image frame unit, a plurality of image frames unit, or a scene unit. For example, the candidate enhancement image acquisition module 410 may apply each of the N contrast ratio enhancement curves to the first image frame to obtain N first candidate enhancement images corresponding to the first image frame. Additionally, the candidate enhancement image acquisition module 410 may apply each of the N contrast ratio enhancement curves to the second image frame to obtain N second candidate enhancement images corresponding to the second image frame.
  • the prediction module 420 may include an image change amount prediction module 421 and an enhancement effect prediction module 422.
  • the image change prediction module 421 may compare each of the plurality of candidate enhancement images with the input image to predict image change information (or excess information) corresponding to each of the plurality of candidate enhancement images.
  • the image change prediction module 421 may predict image change information based on at least one of an image frame unit, a plurality of image frames unit, or a scene unit. For example, the image change prediction module 421 may compare the N first candidate enhancement images with the first image frame and predict first image change information corresponding to each of the N first candidate enhancement images. Additionally, the image change prediction module 421 may compare the N second candidate enhancement images with the second image frame and predict second image change information corresponding to each of the N second candidate enhancement images.
  • the enhancement effect prediction module 422 may compare each of a plurality of candidate enhancement images with the input image and predict enhancement effect information corresponding to each of the plurality of candidate enhancement images.
  • the enhancement effect prediction module 422 may predict the enhancement effect information based on at least one of an image frame unit, a plurality of image frames unit, or a scene unit. For example, the enhancement effect prediction module 422 may predict first enhancement effect information corresponding to each of the N first candidate enhancement images based on pixel uniform distribution information of each of the N first candidate enhancement images. Additionally, the enhancement effect prediction module 422 may predict second enhancement effect information corresponding to each of the N second candidate enhancement images based on pixel uniform distribution information of each of the N second candidate enhancement images.
  • the contrast ratio enhancement determination module 430 may determine the final contrast ratio enhancement curve based on the prediction result of the prediction module 420.
  • the contrast ratio enhancement determination module 430 determines the final contrast ratio corresponding to the first image frame based on the weighted sum information of the first image change amount information and the first enhancement effect information corresponding to each of the N first candidate enhancement images.
  • the enhancement curve can be determined.
  • the contrast ratio enhancement determination module 430 determines a final contrast ratio enhancement curve corresponding to the second image frame based on the weighted sum information of the second image change amount information and the second enhancement effect information corresponding to each of the N second candidate enhancement images. can be decided.
  • a different contrast ratio enhancement curve may be applied for each object (or region), but even in this case, the final contrast ratio enhancement curve for each object (or region) may be determined in a method similar to the method described above. For example, candidate enhancement images to which different contrast enhancement curves are applied for each object may be obtained, and image change information and enhancement effect information may be obtained for each candidate enhancement image to determine the final contrast enhancement curve. That is, by applying different combinations of contrast ratio enhancement curves to each object, candidate enhancement images corresponding to each combination can be obtained.
  • Figure 5 is a flowchart illustrating a method of predicting image change information and enhancement effect information according to an embodiment.
  • the processor 130 compares each of a plurality of candidate enhancement images with the input image to determine the pixel structure change amount and noise level corresponding to each of the plurality of candidate enhancement images.
  • the amount of change and color change can be identified (S510).
  • Pixel structure change, noise level change, and color change may be examples for obtaining image change, but are not necessarily limited thereto.
  • some of the pixel structure variation, noise level variation, and color variation may not be used to obtain the image variation, or other additional variation may be added to obtain the image variation.
  • the example used for the amount of image change may vary depending on the type of image, frame rate of the original image, etc.
  • the processor 130 may obtain image change amount information corresponding to each of the plurality of candidate enhanced images based on the pixel structure change amount, noise level change amount, and color change amount (S520).
  • the processor 130 may obtain an image change value by applying preset weights corresponding to each of the pixel structure change amount, noise level change amount, and color change amount.
  • the processor 130 may obtain image change amount information by inversely converting the image change amount value.
  • the processor 130 may obtain image change amount information by inversely converting the image change amount value and then normalizing it. This is because the processor 130 converts information in an inverse relationship to the same standard in order to later obtain integrated information of the image change amount information and the enhancement effect information.
  • the processor 130 may identify pixel uniform distribution information corresponding to each of a plurality of candidate enhancement images in order to obtain contrast ratio enhancement effect information (S530). According to one example, the processor 130 may obtain an effect identification value based on histogram information corresponding to each of a plurality of candidate enhancement images.
  • the processor 130 may obtain enhancement effect information corresponding to each of the plurality of candidate enhancement images based on pixel uniform distribution information corresponding to each of the plurality of candidate enhancement images. According to one example, the processor 130 may obtain enhancement effect information corresponding to each of the plurality of candidate enhancement images by normalizing the effect identification value corresponding to each of the plurality of candidate enhancement images.
  • the processor 130 applies preset weights to the image change amount information and the enhancement effect information to identify the final identification value corresponding to each of the plurality of candidate enhanced images, and creates the final enhanced image based on the identified final identification values. can be identified.
  • steps S510 and S520 are shown/described as being performed before steps S530 and S540, but the image change amount information and enhancement effect information can be obtained separately, so the order is of course not limited.
  • FIGS. 6A and 6B are diagrams for explaining an image processing method according to an example.
  • the processor 130 may obtain N candidate enhancement images by applying N contrast ratio enhancement curves to the input image as shown in FIG. 6A.
  • the N contrast ratio enhancement curves may be various curves based on global curve contrast enhancement, local curve contrast enhancement, object unit contrast enhancement, and combinations of these methods.
  • the processor 130 may obtain a candidate enhanced image I E (x) as shown in Equation 1 below.
  • I E (x) may refer to a candidate enhancement image
  • f x may refer to a contrast ratio enhancement curve
  • I o may refer to an input image
  • the contrast ratio enhancement curves of f 1 , f 2 , ,,, f N are applied to the input image 10 (I o ) to create candidate enhancement images I E (1), I You can obtain E (2), ... I E (N).
  • the processor 130 determines the amount of image change, that is, excessive change, based on the amount of pixel structure change (e.g., edge loss and texture change), noise level change, and color change due to excessive contrast ratio improvement. can be predicted. For example, by calculating the amount of pixel structure change, noise level change, and color change between the input image and the candidate enhanced image, it can be determined that the greater the amount of change, the more severe the excessiveness.
  • the amount of image change that is, excessive change
  • the amount of pixel structure change e.g., edge loss and texture change
  • noise level change e.g., color change due to excessive contrast ratio improvement
  • the image change prediction value (or excessive prediction value) (OM) can be calculated by calculating the pixel structure change, noise level change, and color change between the input image and the candidate enhanced image as shown in Equation 2.
  • ⁇ ST may mean the amount of pixel structure change
  • ⁇ NL may mean the amount of noise level change
  • ⁇ Color may mean the amount of color change
  • w ST , w NL , and w COLOR may mean a weight against each term.
  • w ST , w NL , and w COLOR may be determined by learning, preset by the manufacturer, or set/changed by the user.
  • the amount of pixel structure change predicts the amount of structural change in the edge area or texture area. The larger the value, the more severe the structural change, and the result of improving the contrast ratio may be judged to be excessive.
  • the noise level change amount represents the amount of change in the noise level highlighted by the contrast ratio improvement, and the larger the change amount, the more noise is highlighted compared to the input image.
  • the amount of color change indicates the degree to which the color (Hue) is distorted due to an improvement in contrast ratio, and it can be judged that the larger the value, the more the side effect of color distortion occurs.
  • the processor 130 may calculate the final image change amount prediction value (OM final ) by inversely converting and normalizing the image change amount prediction value as shown in Equation 3 below for integrated calculation with the enhancement effect information.
  • OM final the final image change amount prediction value
  • OM max is the maximum image change value
  • OM min is the minimum image change value
  • k may mean the normalization range.
  • the processor 130 may obtain enhancement effect information by calculating the degree of uniform distribution of pixels in the candidate enhancement image. For example, as pixel values are distributed more evenly rather than concentrated on specific pixel values, the predicted value of the enhancement effect increases, which can be judged to be a good contrast ratio improvement effect.
  • Equation 4 shows an example of a formula for calculating the degree of uniform distribution of pixels using a histogram.
  • TP refers to the total number of pixels in the image
  • R may refer to the gray-level expression range (for example, 1024 gradations in 10-bit expression).
  • the processor 130 may calculate the final enhancement effect prediction value (EM final ) by performing normalization as shown in Equation 5 below for an integrated operation with the image change prediction value.
  • k means the normalization range.
  • the processor 130 may calculate the final prediction value based on the image change prediction value and the enhancement effect prediction value. For example, the processor 130 may calculate the final contrast ratio prediction value for N candidate enhancement images as a score, as shown in FIG. 6A.
  • Equation 6 shows an example of a formula for calculating the final predicted value.
  • w OM and w EM may be determined differently depending on the weights for the predicted image change amount and the enhanced effect predicted value depending on the panel characteristics of the display 110, the resolution of the image, the original frame rate of the image, and the image type. For example, if the panel has low brightness and poor contrast ratio characteristics, the weight for the enhancement effect prediction value (w EM ) can be set to be relatively large compared to the weight for the image change prediction value (w OM ).
  • the processor 130 selects the largest value among the N final prediction values, that is, the value with the highest score, as the index, and selects the candidate enhanced image corresponding to the index as the final output image I E (Index).
  • the largest value among the N final predicted values may be the value that maximizes the enhancement effect and minimizes the excessiveness related to side effects.
  • Equation 7 shows an example of a formula for determining the final contrast ratio enhanced image.
  • the final output image I E (Index) may be selected from among the candidate enhancement images I E (1), I E (2), ... I E (N).
  • the processor 130 may perform at least some of the above-described image processing operations using a learned artificial intelligence model.
  • FIGS. 7A and 7B are diagrams for explaining an image processing method using a learned artificial intelligence model according to an embodiment.
  • the operations of the prediction module 420 and the contrast ratio enhancement determination module 430 shown in FIG. 4 can be implemented by learning them through an artificial intelligence model.
  • the processor 130 acquires (or extracts) feature information of the image from the input image 10 and converts the obtained feature information into the learned first artificial intelligence model 700.
  • contrast ratio enhancement curve #2 corresponding to the input image 10 can be obtained.
  • the learned first artificial intelligence model 700 can output identification information about contrast ratio enhancement curve #2 corresponding to the input image 10 among the N contrast ratio enhancement curves.
  • the learned first artificial intelligence model 700 may be implemented as a learning-based classifier, but is not necessarily limited thereto.
  • the feature information of the image may be feature information related to the amount of image change and enhancement effect, such as edge information, texture information, noise information, and histogram information of the image.
  • the first artificial intelligence model 700 learns the contrast ratio enhancement of one of the plurality of contrast ratio enhancement curves based on the image change amount information and enhancement effect information corresponding to the plurality of contrast ratio enhancement curves. It can be trained to output information about curves.
  • ground truth can use data obtained according to the method described in FIGS. 3 to 6B.
  • the processor 130 acquires feature information of the image from the input image 10, inputs the obtained feature information into the learned first artificial intelligence model 710, and selects the contrast ratio enhancement curve selected through the selector. #2 can be applied to the input image (10).
  • the input image 10 is provided to a selector, and the contrast ratio enhancement curve #2 selected through the selector is applied to the input image 10 to obtain the output image 20. .
  • the process of acquiring the output image 20 from the input image 10 may proceed with the logic shown in FIG. 7B.
  • FIG. 8 is a diagram illustrating an image processing method using a learned artificial intelligence model according to an embodiment.
  • the operation of the prediction module 420 shown in FIG. 4 can be implemented by learning it through an artificial intelligence model.
  • the processor 130 acquires (or extracts) feature information of the image from the input image 10, and converts the obtained feature information into the learned second artificial intelligence model 800.
  • image change amount information and enhancement effect information corresponding to a plurality of candidate enhanced images can be obtained.
  • the learned second artificial intelligence model 800 can output image change amount information and enhancement effect information corresponding to each of the N contrast ratio enhancement curves.
  • the learned second artificial intelligence model 800 may be implemented as a learning-based classifier, but is not necessarily limited thereto.
  • the feature information of the image may be feature information related to the amount of image change and enhancement effect, such as edge information, texture information, noise information, and histogram information of the image.
  • the second artificial intelligence model 800 when feature information of an image is input, provides image change information and enhancement effect information corresponding to a plurality of candidate enhancement images obtained by applying a plurality of contrast ratio enhancement curves to the image. It can be learned to print.
  • ground truth can use data obtained according to the method described in FIGS. 3 to 6B.
  • the processor 130 may identify the final enhanced image among the plurality of candidate enhanced images based on image change amount information and enhancement effect information corresponding to each of the plurality of candidate enhanced images. That is, the processor 130 may identify a contrast ratio enhancement curve corresponding to the final enhanced image and process the input image 10 based on the identified contrast ratio enhancement curve.
  • Figure 9 is a diagram for explaining an image processing method using a learned artificial intelligence model according to an embodiment.
  • the operations of the candidate enhanced image acquisition module 410, prediction module 420, and contrast ratio enhancement determination module 430 shown in FIG. 4 can be learned through an artificial intelligence model to implement the corresponding operations.
  • the processor 130 may obtain the output image 20 by inputting the input image 10 into the learned third artificial intelligence model 900.
  • the third artificial intelligence model 900 may be implemented as a pixel-level CNN (Convolutional Neural Network) deep learning network, but is not limited to this.
  • the third artificial intelligence model 900 learned identifies image change information and enhancement effect information corresponding to a plurality of candidate enhancement images obtained by applying a plurality of contrast ratio enhancement curves to the image, , It can be learned to identify and output a final enhanced image among a plurality of candidate enhanced images based on the identified image change amount information and enhancement effect information.
  • ground truth can use data obtained according to the method described in FIGS. 3 to 6B.
  • FIG. 10 is a diagram illustrating an image processing method using a learned artificial intelligence model according to an embodiment.
  • the operations of the candidate enhanced image acquisition module 410, prediction module 420, and contrast ratio enhancement determination module 430 shown in FIG. 4 can be learned through an artificial intelligence model to implement the corresponding operations.
  • the processor 130 inputs the input image 10 into the learned fourth artificial intelligence model 1000 to obtain contrast ratio enhancement curve #2 corresponding to the input image 10.
  • the fourth artificial intelligence model 1000 may be implemented as a pixel-level CNN (Convolutional Neural Network) deep learning network, but is not limited to this.
  • the fourth artificial intelligence model 1000 learned according to the plurality of contrast ratio enhancement curves is applied to one of the plurality of contrast ratio enhancement curves based on the image change amount information and enhancement effect information corresponding to the plurality of contrast ratio enhancement curves. It can be learned to output information about When learning the fourth artificial intelligence model 1000, ground truth can use data obtained according to the method described in FIGS. 3 to 6B.
  • the processor 130 may process the input image 10 based on the contrast ratio enhancement curve (eg, contrast ratio enhancement curve #2) identified using the fourth artificial intelligence model 1000.
  • the contrast ratio enhancement curve eg, contrast ratio enhancement curve #2
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. You can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 복수의 명암비 인핸스(enhance) 커브가 저장된 메모리 및 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는, 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 입력 영상과 비교하여 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고, 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하고, 식별된 최종 인핸스 영상에 기초하여 입력 영상에 대응되는 출력 영상을 획득한다.

Description

전자 장치 및 그 영상 처리 방법
본 개시는 전자 장치 및 그 영상 처리 방법에 관한 것으로, 더욱 상세하게는 입력 영상에 대한 명암비 인핸스 처리를 수행하는 전자 장치 및 그 영상 처리 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기들이 개발 및 보급되고 있다. 특히, 티브이(TV)나 모바일 등의 디스플레이 기기 들의 개발 및 보급이 활발하게 진행되고 있다.
사용자에게 좀더 좋은 화질의 영상을 제공하기 위하여 다양한 명암비 향상 기법이 연구되고 있다.
일 실시 예에 따르면, 전자 장치는, 복수의 명암비 인핸스(enhance) 커브가 저장된 메모리 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는, 상기 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고, 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하고, 상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 후보 인핸스 영상 각각을 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량을 식별하고, 상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보를 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 균일 분포 정보를 식별하고, 상기 픽셀 균일 분포 정보에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량 각각에 대응되는 기 설정된 가중치를 적용하여 영상 변화량 값을 획득하고, 상기 영상 변화량 값을 역으로 환산한 후 정규화하여 상기 영상 변화량 정보를 획득할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 후보 인핸스 영상 각각에 대응되는 히스토그램 정보에 기초하여 효과 식별 값을 획득하고, 상기 효과 식별 값을 정규화하여 상기 인핸스 효과 정보를 획득하고, 상기 영상 변화량 정보 및 상기 인핸스 효과 정보에 기 설정된 가중치를 적용하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 최종 식별 값을 식별하고, 상기 식별된 최종 식별 값에 기초하여 상기 최종 인핸스 영상을 식별할 수 있다.
일 예에 따르면, 디스플레이를 더 포함하며, 상기 하나 이상의 프로세서는, 상기 출력 영상을 상기 디스플레이를 통해 표시하며, 상기 기 설정된 가중치는, 상기 디스플레이의 패널 특성에 따라 상이하게 식별될 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 후보 인핸스 영상 중 상기 영상 변화량 정보에 따른 영상 변화 값은 작고 상기 인핸스 효과 정보에 따른 인핸스 효과 값은 큰 영상을 최종 인핸스 영상으로 식별할 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 입력 영상으로부터 특징 정보를 획득하고, 상기 획득된 특징 정보를 학습된 제1 인공 지능 모델에 입력하여 상기 복수의 명암비 인핸스 커브 중 상기 입력 영상에 대응되는 명암비 인핸스 커브를 획득하고, 상기 획득된 명암비 인핸스 커브에 기초하여 상기 입력 영상을 처리하여 상기 출력 영상을 획득할 수 있다. 여기서, 상기 학습된 제1 인공 지능 모델은, 영상의 특징 정보가 입력되면 상기 영상에 복수의 명암비 인핸스 커브에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 명암비 인핸스 커브 중 하나의 명암비 인핸스 커브에 대한 정보를 출력하도록 학습될 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 입력 영상으로부터 특징 정보를 획득하고, 상기 획득된 특징 정보를 학습된 제2 인공 지능 모델에 입력하여 상기 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 획득하고, 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별할 수 있다. 여기서, 상기 학습된 제2 인공 지능 모델은, 영상의 특징 정보가 입력되면 상기 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 출력하도록 학습될 수 있다.
일 예에 따르면, 상기 하나 이상의 프로세서는, 상기 입력 영상을 학습된 제3 인공 지능 모델에 입력하여 상기 출력 영상을 획득할 수 있다. 여기서, 상기 학습된 제3 인공 지능 모델은, 영상이 입력되면, 상기 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고, 상기 식별된 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하여 출력하도록 학습될 수 있다.
일 실시 예에 따른 전자 장치의 영상 처리 방법은, 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계, 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하는 단계 및, 상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득하는 단계를 포함할 수 있다.
일 실시 예에 따른 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계, 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하는 단계 및, 상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2b는 일 실시 예에 따른 디스플레이 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 3은 일 실시 예에 따른 전자 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 기능 모듈들의 구성을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 영상 변화량 정보 및 인핸스 효과 정보를 예측하는 방법을 설명하기 위한 흐름도이다.
도 6a 및 도 6b는 일 예시에 따른 영상 처리 방법을 설명하기 위한 도면들이다.
도 7a 및 도 7b는 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면들이다.
도 8은 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
전자 장치(100)는 도 1에 도시된 바와 같이 TV 또는 set-top box 로 구현될 수 있으나, 이에 한정되는 것은 아니며 스마트 폰, 태블릿 PC, 노트북 PC, HMD(Head mounted Display), NED(Near Eye Display), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이, 카메라, 캠코더, 프린터 등과 같이 영상 처리 및/또는 디스플레이 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
전자 장치(100)는 다양한 압축 영상 또는 다양한 해상도의 영상을 수신할 수 있다. 예를 들어, 전자 장치(100)는 MPEG(Moving Picture Experts Group)(예를 들어, MP2, MP4, MP7 등), JPEG(joint photographic coding experts group), AVC(Advanced Video Coding), H.264, H.265, HEVC(High Efficiency Video Codec) 등으로 압축된 형태로 영상을 수신할 수 있다. 또는 전자 장치(100)는 SD(Standard Definition), HD(High Definition), Full HD, Ultra HD 영상 또는 그 이상 해상도의 영상 중 어느 하나의 영상을 수신할 수 있다.
명암비 향상은 영상의 어두운 영역과 밝은 영역의 차이를 명확히 하는 것으로서, 영상내의 관심 영역을 선명하게 하거나 명암 값을 재분배하여 화질을 개선시키는 낮은 단계 영상처리 기법이다. 명암비 향상은 화질 개선을 통하여 인간의 눈에 선명한 영상을 제공하거나 영상 시스템에서 상위 영상 처리를 위한 전처리 과정으로 사용된다.
기존의 영상 내 톤을 조절하는 톤 맵핑 커브(Tone mapping curve)를 설계하는 방법은 영상의 픽셀 분포를 고려하여 히스토그램을 분산시킬 수 있는 커브를 설계하여 명암비가 향상된 영상을 얻을 수 있다. 하지만, 기존의 방식에서 고려되는 영상 특성은 픽셀 분포 히스토그램과 같은 일부 특성에 국한되며, 어떤 영상에서는 명암비 향상 효과가 있으나 다른 영상에서는 부작용이 발생할 가능성이 존재한다. 특히 과도한 톤 맵핑 커브의 적용은 영상의 정보를 훼손하여 시인성을 감소시킬 수 있다.
이에 따라 이하에서는, 명암비 향상 효과와 함께 과도한 명암비로 인해 발생되는 영상의 정보 손실 및/또는 부작용(노이즈 부각, 색상 변화)을 식별하고 이를 기반으로 최적의 명암비 처리를 구현하는 다양한 실시 예에 대해 설명하도록 한다.
도 2a는 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면 전자 장치(100)은 디스플레이(110), 메모리(120) 및 하나 이상의 프로세서(130)를 포함한다.
디스플레이(110)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 일 예에 따라 디스플레이(110)는 평면(flat) 디스플레이, 커브드(curved) 디스플레이, 폴딩(folding) 또는/및 롤링(rolling) 가능한 플렉서블 디스플레이 등으로 구현될 수 있다.
메모리(120)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100')에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어,전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100')에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 전자 장치(100')에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(120)는 복수의 명암비 인핸스(enhance) 커브를 저장할 수 있다. 예를 들어, 명암비 인핸스 커브는 톤 맵핑 커브(tone mapping curve)로 구현될 수 있다. 여기서, 톤 맵핑이란 영상의 오리지널 톤을 디스플레이(110)의 다이내믹 레인지에 맞추어 표현하는 방법으로 콘트라스트를 최적화하여 최적화된 색감을 제공할 수 있다.
하나 이상의 프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 하나 이상의 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 하나 이상의 프로세서(130)는 디스플레이(110) 및 메모리(120)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 하나 이상의 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다.
하나 이상의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 전자 장치(100)의 동작을 수행할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치의 프로세서와 메모리를 통해 동작된다.
하나 이상의 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 이상의 프로세서(130)는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 이상의 프로세서(130)는 이외에 메모리(120), 및 프로세서(130)와 메모리(120) 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치(100)에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치(100)는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공 지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치(100)는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 이상의 프로세서(130)는, 메모리(120)에 저장된 기정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DNN(Deep Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크(Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 식별을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다. 이하에서는 설명의 편의를 위하여 하나 이상의 프로세서(130)를 프로세서(130)로 명명하도록 한다.
도 2b는 일 실시 예에 따른 디스플레이 장치의 구성을 구체적으로 나타내는 블럭도이다.
도 2b에 따르면, 전자 장치(100')은 디스플레이(110), 메모리(120), 하나 이상의 프로세서(130), 통신 인터페이스(140), 사용자 인터페이스(150), 스피커(160) 및 카메라(170)를 포함할 수 있다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 전자 장치(100')의 구현 예에 따라 다양한 통신 방식을 지원할 수 있다. 예를 들어 통신 인터페이스(140)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), MHL(Mobile High-Definition Link), AES/EBU(Audio Engineering Society/ European Broadcasting Union), 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치, 외부 저장 매체(예를 들어, USB 메모리), 외부 서버(예를 들어 클라우드 서버) 등과 통신을 수행할 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로 구현될 수 있다. 일 실시 예에 따라 사용자 인터페이스(150)는 리모콘 송수신부로 구현되어 원격 제어 신호를 수신할 수 있다. 리모콘 송수신부는 적외선 통신, 블루투스 통신 또는 와이파이 통신 중 적어도 하나의 통신 방식을 통해 외부 원격 제어 장치로부터 리모콘 신호를 수신하거나, 리모콘 신호를 송신할 수 있다.
스피커(160)는 음향 신호를 출력한다. 예를 들어, 스피커(160)는 프로세서(130)에서 처리된 디지털 음향 신호를 아날로그 음향 신호로 변환하고 증폭하여 출력할 수 있다. 예를 들어, 스피커(190)는 적어도 하나의 채널을 출력할 수 있는, 적어도 하나의 스피커 유닛, D/A 컨버터, 오디오 앰프(audio amplifier) 등을 포함할 수 있다. 일 예에 따라 스피커(160)는 다양한 멀티 채널 음향 신호를 출력하도록 구현될 수 있다. 이 경우, 프로세서(130)는 입력 영상의 인핸스 처리에 대응되도록 입력된 음향 신호를 인핸스 처리하여 출력하도록 스피커(160)를 제어할 수 있다.
카메라(170)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(170)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 예를 들어, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다.
그 밖에 전자 장치(100')는 구현 예에 따라 마이크(미도시), 센서(미도시), 튜너(미도시) 및 복조부(미도시) 등을 포함할 수 있다.
마이크(미도시)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 다만, 다른 실시 예에 따라 전자 장치(100')는 외부 장치를 통해 입력된 사용자 음성을 통신 인터페이스(140)를 통해 수신할 수 있다.
센서(미도시)는 터치 센서, 근접 센서, 가속도 센서, 지자기 센서, 자이로 센서, 압력 센서, 위치 센서, 조도 센서 등과 같은 다양한 유형의 센서를 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 3은 일 실시 예에 따른 전자 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3에 도시된 일 실시 예에 따르면, 프로세서(130)는 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 입력 영상과 비교하여 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보(또는 과도함 정보) 및 명암비 인핸스 효과 정보(이하, 인핸스 효과 정보)를 식별(또는 예측)할 수 있다(S310). 예를 들어, 명암비 인핸스 커브는 톤 맵핑 커브(tone mapping curve)로 구현될 수 있고, 톤 맵핑 커브가 N 개인 경우 N 개의 후보 인핸스 영상이 획득될 수 있다. 다만, 영역 별로 별개의 명암비 인핸스 커브가 적용되는 경우, 즉 하나의 프레임에 복수의 톤 맵핑 커브가 적용되는 경우, 톤 맵핑 커브들의 조합의 개수 만큼 후보 인핸스 영상이 획득될 수도 있다.
이어서, 프로세서(130)는 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별할 수 있다(S320). 일 예에 따라 프로세서(130)는 복수의 후보 인핸스 영상 중 영상 변화량 정보에 따른 영상 변화 값은 작고 인핸스 효과 정보에 따른 인핸스 효과 값은 큰 영상을 최종 인핸스 영상으로 식별할 수 있다. 즉, 프로세서(130)는 복수의 인핸스 영상 중 영상의 구조는 가능한 유지되면서 명암비 향상 효과는 큰 영상을 최종 인핸스 영상으로 식별할 수 있다.
이 후, 프로세서(130)는 식별된 최종 인핸스 영상에 기초하여 입력 영상에 대응되는 출력 영상을 획득할 수 있다(S330). 예를 들어, 프로세서(130)는 식별된 최종 인핸스 영상에 적용된 톤 맵핑 커브를 입력 영상에 적용하여 출력 영상을 획득할 수 있다.
도 4는 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 기능 모듈들의 구성을 설명하기 위한 도면이다.
도 4에 도시된 각 기능 모듈들은 적어도 하나의 하드웨어 또는/및 적어도 하나의 소프트웨어의 조합으로 이루어질 수 있다.
후보 인핸스 영상 획득 모듈(410)은 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을 획득할 수 있다.
예를 들어, 후보 인핸스 영상 획득 모듈(410)은 영상 프레임 단위, 복수의 영상 프레임 단위 또는 씬 단위 중 적어도 하나에 기초하여 복수의 후보 인핸스 영상을 획득할 수 있다. 예를 들어, 후보 인핸스 영상 획득 모듈(410)은 N 개의 명암비 인핸스 커브 각각을 제1 영상 프레임에 적용하여 제1 영상 프레임에 대응되는 N 개의 제1 후보 인핸스 영상을 획득할 수 있다. 또한, 후보 인핸스 영상 획득 모듈(410)은 N 개의 명암비 인핸스 커브 각각을 제2 영상 프레임에 적용하여 제2 영상 프레임에 대응되는 N 개의 제2 후보 인핸스 영상을 획득할 수 있다.
예측 모듈(420)은 영상 변화량 예측 모듈(421) 및 인핸스 효과 예측 모듈(422)을 포함할 수 있다.
영상 변화량 예측 모듈(421)은 복수의 후보 인핸스 영상 각각을 입력 영상과 비교하여 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보(또는 과도함 정보)를 예측할 수 있다.
예를 들어, 영상 변화량 예측 모듈(421)은 영상 프레임 단위, 복수의 영상 프레임 단위 또는 씬 단위 중 적어도 하나에 기초하여 영상 변화량 정보를 예측할 수 있다. 예를 들어, 영상 변화량 예측 모듈(421)은 N 개의 제1 후보 인핸스 영상을 제1 영상 프레임과 비교하여 N 개의 제1 후보 인핸스 영상 각각에 대응되는 제1 영상 변화량 정보를 예측할 수 있다. 또한, 영상 변화량 예측 모듈(421)은 N 개의 제2 후보 인핸스 영상을 제2 영상 프레임과 비교하여 N 개의 제2 후보 인핸스 영상 각각에 대응되는 제2 영상 변화량 정보를 예측할 수 있다.
인핸스 효과 예측 모듈(422)은 복수의 후보 인핸스 영상 각각을 상기 입력 영상과 비교하여 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 예측할 수 있다.
예를 들어, 인핸스 효과 예측 모듈(422)은 영상 프레임 단위, 복수의 영상 프레임 단위 또는 씬 단위 중 적어도 하나에 기초하여 인핸스 효과 정보를 예측할 수 있다. 예를 들어, 인핸스 효과 예측 모듈(422)은 N 개의 제1 후보 인핸스 영상 각각의 픽셀 균일 분포 정보에 기초하여 N 개의 제1 후보 인핸스 영상 각각에 대응되는 제1 인핸스 효과 정보를 예측할 수 있다. 또한, 인핸스 효과 예측 모듈(422)은 N 개의 제2 후보 인핸스 영상 각각의 픽셀 균일 분포 정보에 기초하여 N 개의 제2 후보 인핸스 영상 각각에 대응되는 제2 인핸스 효과 정보를 예측할 수 있다.
명암비 인핸스 결정 모듈(430)은 예측 모듈(420)의 예측 결과에 기초하여 최종 명암비 인핸스 커브를 결정할 수 있다.
예를 들어, 명암비 인핸스 결정 모듈(430)은 N 개의 제1 후보 인핸스 영상 각각에 대응되는 제1 영상 변화량 정보 및 제1 인핸스 효과 정보의 가중 합 정보에 기초하여 제1 영상 프레임에 대응되는 최종 명암비 인핸스 커브를 결정할 수 있다. 또한, 명암비 인핸스 결정 모듈(430)은 N 개의 제2 후보 인핸스 영상 각각에 대응되는 제2 영상 변화량 정보 및 제2 인핸스 효과 정보의 가중 합 정보에 기초하여 제2 영상 프레임에 대응되는 최종 명암비 인핸스 커브를 결정할 수 있다.
한편, 경우에 따라 객체 별(또는 영역 별)로 상이한 명암비 인핸스 커브가 적용될 수 있으나, 이 경우에도 상술한 방법과 유사한 방법으로 객체 별(또는 영역 별) 최종 명암비 인핸스 커브가 결정될 수 있다. 예를 들어, 객체 별로 상이한 명암비 인핸스 커브가 적용된 후보 인핸스 영상을 획득하고, 각 후보 인핸스 영상에 대해 영상 변화량 정보 및 인핸스 효과 정보를 획득하여 최종 명암비 인핸스 커브를 결정할 수 있다. 즉, 객체 별로 명암비 인핸스 커브의 상이한 조합을 각각 적용하여 각 조합에 대응되는 후보 인핸스 영상을 획득할 수 있다.
도 5는 일 실시 예에 따른 영상 변화량 정보 및 인핸스 효과 정보를 예측하는 방법을 설명하기 위한 흐름도이다.
도 5에 도시된 실시 예에 따르면, 프로세서(130)는 영상 변화량 정보를 획득하기 위하여, 복수의 후보 인핸스 영상 각각을 입력 영상과 비교하여 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량을 식별할 수 있다(S510). 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량은 영상 변화량을 획득하기 위한 예시들일 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량 중 일부가 영상 변화량을 획득하는데 이용되지 않거나, 다른 추가 변화량이 영상 변화량을 획득하는데 추가될 수 있다. 일 예로, 영상의 타입, 원본 영상의 프레임율 등에 따라 영상 변화량에 이용되는 예시가 달라질 수도 있다.
이어서, 프로세서(130)는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량에 기초하여 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보를 획득할 수 있다(S520). 일 예에 따라 프로세서(130)는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량 각각에 대응되는 기 설정된 가중치를 적용하여 영상 변화량 값을 획득할 수 있다. 이 경우 프로세서(130)는 영상 변화량 값을 역으로 환산하여 영상 변화량 정보를 획득할 수 있다. 예를 들어, 프로세서(130)는 영상 변화량 값을 역으로 환산한 후 정규화하여 영상 변화량 정보를 획득할 수 있다. 이는 프로세서(130)는 추후 영상 변화량 정보와 인핸스 효과 정보와의 통합 정보를 획득하기 위하여 역의 관계에 있는 정보를 동일한 기준으로 변환하기 위함이다.
또한, 프로세서(130)는 명암비 인핸스 효과 정보를 획득하기 위하여, 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 균일 분포 정보를 식별할 수 있다(S530). 일 예에 따라 프로세서(130)는 복수의 후보 인핸스 영상 각각에 대응되는 히스토그램 정보에 기초하여 효과 식별 값을 획득할 수 있다.
이어서, 프로세서(130)는 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 균일 분포 정보에 기초하여 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 획득할 수 있다. 일 예에 따라 프로세서(130)는 복수의 후보 인핸스 영상 각각에 대응되는 효과 식별 값을 정규화하여 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 획득할 수 있다.
이 후, 프로세서(130)는 영상 변화량 정보 및 인핸스 효과 정보에 기 설정된 가중치를 적용하여 복수의 후보 인핸스 영상 각각에 대응되는 최종 식별 값을 식별하고, 식별된 최종 식별 값에 기초하여 최종 인핸스 영상을 식별할 수 있다.
한편, 도 5에서는 S510, S520 단계가 S530, S540 단계보다 먼저 수행되는 것으로 도시/설명 되었으나, 영상 변화량 정보 및 인핸스 효과 정보는 개별적으로 획득될 수 있으므로 순서에 한정되지 않음은 물론이다.
이하에서는 도면 및 수학식을 참고하여 본 개시의 일 실시 예에 대해 좀더 자세히 설명하도록 한다.
도 6a 및 도 6b는 일 예시에 따른 영상 처리 방법을 설명하기 위한 도면들이다.
일 예에 따라 프로세서(130)는 도 6a에 도시된 바와 같이 입력 영상에 대해 N 개의 명암비 인핸스 커브를 적용하여 N 개의 후보 인핸스 영상을 획득할 수 있다. 여기서, N 개의 명암비 인핸스 커브는 글로벌 커브 명암비 향상, 로컬 커브 명암비 향상, 객체 단위 명암비 향상 및 이러한 방법들의 조합에 기초한 다양한 커브일 수 있다.
예를 들어, 프로세서(130)는 하기 수학식 1과 같은 후보 인핸스 영상 IE(x)를 획득할 수 있다.
Figure PCTKR2023019369-appb-img-000001
여기서, IE(x)는 후보 인핸스 영상, fx는 명암비 인핸스 커브, Io는 입력 영상을 의미할 수 있다.
예를 들어, 도 6b에 도시된 바와 같이 입력 영상(10)(Io)에 대해 f1, f2, ,,, fN의 명암비 인핸스 커브를 적용하여 후보 인핸스 영상 IE(1), IE(2), ... IE(N)를 획득할 수 있다.
일 예에 따라 프로세서(130)는 과도한 명암비 향상에 따른 픽셀 구조 변화량(예를 들어, 에지(edge) 손실 및 텍스처(texture) 변화량), 노이즈 레벨 변화량, 색상 변화량에 기초하여 영상 변화량 즉, 과도함을 예측할 수 있다. 예를 들어, 입력 영상과 후보 인핸스 영상 간의 픽셀 구조 변화량, 노이즈 레벨 변화량, 색상 변화량을 산출하여 변화량이 크면 클수록 과도함이 심하다고 판단할 수 있다.
일 예에 따라 수학식 2와 같이 입력 영상과 후보 인핸스 영상 간의 픽셀 구조 변화량, 노이즈 레벨 변화량, 색상 변화량을 산출하여 영상 변화량 예측 값(또는 과도함 예측 값)(OM)을 산출할 수 있다.
Figure PCTKR2023019369-appb-img-000002
여기서, ΔST는 픽셀 구조 변화량, ΔNL은 노이즈 레벨 변화량, ΔColor은 색상 변화량을 의미할 수 있다. wST, wNL 및 wCOLOR는 각 항에 대항 가중치를 의미할 수 있다. wST, wNL 및 wCOLOR는 학습에 의해 결정되거나, 제조사에 의해 기 설정되거나, 사용자에 의해 설정/변경 될 수 있다.
픽셀 구조 변화량(ΔST)은 에지 영역 또는 텍스처 영역의 구조적 변화량을 예측하는 것으로 값이 클수록 구조적 변화가 심하여 명암비 향상 결과가 과도하다고 판단될 수 있다. 또한, 노이즈 레벨 변화량(ΔNL)은 명암비 향상에 의해 부각되는 노이즈 레벨의 변화량을 나타내는 것으로 변화량이 클수록 입력 영상 대비 노이즈가 많이 부각되는 것을 의미할 수 있다. 또한, 색상 변화량(ΔColor)은 명암비 향상에 의해 색상(Hue)이 틀어지는 정도를 나타내는 것으로 값이 클수록 색이 많이 틀어지는 부작용이 발생된다고 판단될 수 있다.
한편, 프로세서(130)는 인핸스 효과 정보와의 통합 연산을 위하여 하기 수학식 3과 같이 영상 변화량 예측 값을 역으로 환산하고 정규화하여 최종 영상 변화량 예측 값(OMfinal)을 산출할 수 있다. 즉, 최종 영상 변화량 예측 값은 클수록 변화량이 과도하지 않다고 판단될 수 있다.
Figure PCTKR2023019369-appb-img-000003
여기에서, OMmax는 최대 영상 변화량 값, OMmin는 최소 영상 변화량 값, k는 정규화 범위를 의미할 수 있다.
한편, 프로세서(130)는 후보 인핸스 영상에서 픽셀의 균일 분포 정도를 산출하여 인핸스 효과 정보를 획득할 수 있다. 예를 들어, 특정 픽셀 값에 집중되어 있지 않고 균등하게 분포될수록 인핸스 효과 예측 값은 커지고, 이는 명암비 향상 효과가 좋다고 판단할 수 있다.
하기 수학식 4는 히스토그램을 이용하여 픽셀의 균일 분포 정도를 산출하는 수식의 예시를 나타낸다.
Figure PCTKR2023019369-appb-img-000004
여기에서 TP는 영상의 전체 픽셀 수를 의미하고, R은 Gray-level의 표현 범위(예를 들면, 10bit 표현시 1024계조)를 의미할 수 있다.
또한, 프로세서(130)는 영상 변화량 예측 값과의 통합 연산을 위하여 하기 수학식 5와 같이 정규화를 수행하여 최종 인핸스 효과 예측 값(EMfinal)을 산출할 수 있다.
Figure PCTKR2023019369-appb-img-000005
여기에서 k는 정규화 범위를 의미한다.
이 후, 프로세서(130)는 영상 변화량 예측 값 및 인핸스 효과 예측 값에 기초하여 최종 예측값을 산출할 수 있다. 예를 들어, 프로세서(130)는 도 6a에 도시된 바와 같이 N 개의 후보 인핸스 영상에 대한 최종 명암비 예측값을 스코어로 산출할 수 있다.
수학식 6은 최종 예측값을 산출하는 수식의 예시를 나타낸다.
Figure PCTKR2023019369-appb-img-000006
여기에서 wOM 및 wEM은 영상 변화량 예측 값 및 인핸스 효과 예측 값에 대한 가중치를 디스플레이(110)의 패널 특성, 영상의 해상도, 영상의 원본 프레임 율, 영상 타입 등에 따라 상이하게 결정될 수 있다. 예를 들어, 밝기도 낮고 명암비 특성도 좋지 않은 패널이라면 인핸스 효과 예측 값에 대한 가중치(wEM)를 영상 변화량 예측 값에 대한 가중치(wOM) 대비 상대적으로 크게 설정할 수 있다.
이 후, 프로세서(130)는 N 개의 최종 예측 값 중 가장 큰 값 즉, 스코어가 가장 큰 값을 인덱스(Index)로 선택하고, 해당 인덱스에 대응되는 후보 인핸스 영상을 최종 출력 영상 IE(Index)으로 결정할 수 있다. 여기서, N 개의 최종 예측 값 중 가장 큰 값은 인핸스 효과는 최대이고, 부작용과 관련된 과도함은 최소가 되는 값일 수 있다.
하기 수학식 7은 최종 명암비 인핸스 영상을 결정하는 수식의 예시를 나타낸다.
Figure PCTKR2023019369-appb-img-000007
예를 들어, 도 6b에 도시된 바와 같이 후보 인핸스 영상 IE(1), IE(2), ... IE(N) 중 최종 출력 영상 IE(Index)이 선택될 수 있다.
한편, 일 실시 예에 따르면, 프로세서(130)는 학습된 인공 지능 모델을 이용하여 상술한 영상 처리 동작들 중 적어도 일부를 수행할 수 있다.
도 7a 및 도 7b는 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면들이다.
일 실시 예에 따르면, 도 4에 도시된 예측 모듈(420) 및 명암비 인핸스 결정 모듈(430)의 동작을 인공 지능 모델을 통해 학습시켜 해당 동작을 구현할 수 있다.
예를 들어, 도 7a에 도시된 바와 같이 프로세서(130)는 입력 영상(10)으로부터 영상의 특징 정보를 획득(또는 추출)하고, 획득된 특징 정보를 학습된 제1 인공 지능 모델(700)로 입력하여 입력 영상(10)에 대응되는 명암비 인핸스 커브 #2를 획득할 수 있다. 즉, 학습된 제1 인공 지능 모델(700)은 N 개의 명암비 인핸스 커브 중 입력 영상(10)에 대응되는 명암비 인핸스 커브 #2에 대한 식별 정보를 출력할 수 있다. 여기서, 학습된 제1 인공 지능 모델(700)은 학습 기반 분류기로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다. 일 예에 따라 영상의 특징 정보는 영상의 에지 정보, 텍스처 정보, 노이즈 정보, 히스토그램 정보 등과 같이 영상 변화량 및 인핸스 효과와 관련된 특징 정보일 수 있다.
일 예에 따라 학습된 제1 인공 지능 모델(700)은 영상의 특징 정보가 입력되면 복수의 명암비 인핸스 커브에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 명암비 인핸스 커브 중 하나의 명암비 인핸스 커브에 대한 정보를 출력하도록 학습될 수 있다. 제1 인공 지능 모델(700)의 학습시 Ground Truth는 도 3 내지 도 6b에서 설명한 방식에 따라 획득한 데이터를 이용할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 입력 영상(10)으로부터 영상의 특징 정보를 획득하고, 획득된 특징 정보를 학습된 제1 인공 지능 모델(710)로 입력하여 선택기를 통해 선택된 명암비 인핸스 커브 #2가 입력 영상(10)에 적용되도록 할 수 있다. 예를 들어, 도 7b에 도시된 바와 같이 입력 영상(10)이 선택기로 제공되고, 선택기를 통해 선택된 명암비 인핸스 커브 #2가 입력 영상(10)에 적용되어 출력 영상(20)이 획득될 수 있다. 이와 같이 입력 영상(10)에서 출력 영상(20)을 획득하는 과정이 도 7b에 도시된 바와 같은 로직으로 진행될 수 있다.
도 8은 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 도 4에 도시된 예측 모듈(420)의 동작을 인공 지능 모델을 통해 학습시켜 해당 동작을 구현할 수 있다.
예를 들어, 도 8에 도시된 바와 같이 프로세서(130)는 입력 영상(10)으로부터 영상의 특징 정보를 획득(또는 추출)하고, 획득된 특징 정보를 학습된 제2 인공 지능 모델(800)로 입력하여 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 획득할 수 있다. 즉, 학습된 제2 인공 지능 모델(800)은 N 개의 명암비 인핸스 커브 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 출력할 수 있다. 여기서, 학습된 제2 인공 지능 모델(800)은 학습 기반 분류기로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다. 일 예에 따라 영상의 특징 정보는 영상의 에지 정보, 텍스처 정보, 노이즈 정보, 히스토그램 정보 등과 같이 영상 변화량 및 인핸스 효과와 관련된 특징 정보일 수 있다.
일 예에 따라 학습된 제2 인공 지능 모델(800)은 영상의 특징 정보가 입력되면 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 출력하도록 학습될 수 있다. 제2 인공 지능 모델(800)의 학습시 Ground Truth는 도 3 내지 도 6b에서 설명한 방식에 따라 획득한 데이터를 이용할 수 있다.
이 경우, 프로세서(130)는 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별할 수 있다. 즉, 프로세서(130)는 최종 인핸스 영상에 대응되는 명암비 인핸스 커브를 식별하고, 식별된 명암비 인핸스 커브에 기초하여 입력 영상(10)을 처리할 수 있다.
도 9는 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 도 4에 도시된 후보 인핸스 영상 획득 모듈(410), 예측 모듈(420) 및 명암비 인핸스 결정 모듈(430)의 동작을 인공 지능 모델을 통해 학습시켜 해당 동작을 구현할 수 있다.
예를 들어, 도 9에 도시된 바와 같이 프로세서(130)는 입력 영상(10)을 학습된 제3 인공 지능 모델(900)에 입력하여 출력 영상(20)을 획득할 수 있다. 일 예에 따라 제3 인공 지능 모델(900)은 픽셀 단위의 CNN(Convolutional Neural Network) 딥러닝 네트워크로 구현될 수 있으나, 이에 한정되는 것은 아니다.
일 예에 따라 학습된 제3 인공 지능 모델(900)은 영상이 입력되면, 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고, 식별된 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하여 출력하도록 학습될 수 있다. 제3 인공 지능 모델(900)의 학습시 Ground Truth는 도 3 내지 도 6b에서 설명한 방식에 따라 획득한 데이터를 이용할 수 있다.
도 10은 일 실시 예에 따른 학습된 인공 지능 모델을 이용하는 영상 처리 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 도 4에 도시된 후보 인핸스 영상 획득 모듈(410), 예측 모듈(420) 및 명암비 인핸스 결정 모듈(430)의 동작을 인공 지능 모델을 통해 학습시켜 해당 동작을 구현할 수 있다.
예를 들어, 도 10에 도시된 바와 같이 프로세서(130)는 입력 영상(10)을 학습된 제4 인공 지능 모델(1000)에 입력하여 입력 영상(10)에 대응되는 명암비 인핸스 커브 #2를 획득할 수 있다. 일 예에 따라 제4 인공 지능 모델(1000)은 픽셀 단위의 CNN(Convolutional Neural Network) 딥러닝 네트워크로 구현될 수 있으나, 이에 한정되는 것은 아니다.
일 예에 따라 학습된 제4 인공 지능 모델(1000)은 영상이 입력되면, 복수의 명암비 인핸스 커브에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 복수의 명암비 인핸스 커브 중 하나의 명암비 인핸스 커브에 대한 정보를 출력하도록 학습될 수 있다. 제4 인공 지능 모델(1000)의 학습시 Ground Truth는 도 3 내지 도 6b에서 설명한 방식에 따라 획득한 데이터를 이용할 수 있다.
이 경우, 프로세서(130)는 제4 인공 지능 모델(1000)을 이용하여 식별된 명암비 인핸스 커브(예를 들어, 명암비 인핸스 커브 #2)에 기초하여 입력 영상(10)을 처리할 수 있다.
상술한 다양한 실시 예들에 따르면, 명암비 향상 효과 예측 뿐만 아니라 부작용과 관련된 과도함을 예측하여 에지 및 텍스처의 디테일 손실이 최소화되고 노이즈가 덜 부각되면서 색상 변화가 적은 최적의 명암비 향상 처리를 제공할 수 잇게 된다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    복수의 명암비 인핸스(enhance) 커브가 저장된 메모리; 및
    상기 메모리와 연결되어 상기 전자 장치를 제어하는 하나 이상의 프로세서;를 포함하며,
    상기 하나 이상의 프로세서는,
    상기 복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고,
    상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하고,
    상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득하는, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 후보 인핸스 영상 각각을 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량을 식별하고,
    상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보를 획득하는, 전자 장치.
  3. 제2항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 균일 분포 정보를 식별하고,
    상기 픽셀 균일 분포 정보에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 획득하는, 전자 장치.
  4. 제3항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량 각각에 대응되는 기 설정된 가중치를 적용하여 영상 변화량 값을 획득하고,
    상기 영상 변화량 값을 역으로 환산한 후 정규화하여 상기 영상 변화량 정보를 획득하는, 전자 장치.
  5. 제4항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 후보 인핸스 영상 각각에 대응되는 히스토그램 정보에 기초하여 효과 식별 값을 획득하고,
    상기 효과 식별 값을 정규화하여 상기 인핸스 효과 정보를 획득하고,
    상기 영상 변화량 정보 및 상기 인핸스 효과 정보에 기 설정된 가중치를 적용하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 최종 식별 값을 식별하고,
    상기 식별된 최종 식별 값에 기초하여 상기 최종 인핸스 영상을 식별하는, 전자 장치.
  6. 제5항에 있어서,
    디스플레이;를 더 포함하며,
    상기 하나 이상의 프로세서는,
    상기 출력 영상을 상기 디스플레이를 통해 표시하며,
    상기 기 설정된 가중치는,
    상기 디스플레이의 패널 특성에 따라 상이하게 식별되는, 전자 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 복수의 후보 인핸스 영상 중 상기 영상 변화량 정보에 따른 영상 변화 값은 작고 상기 인핸스 효과 정보에 따른 인핸스 효과 값은 큰 영상을 최종 인핸스 영상으로 식별하는, 전자 장치.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상으로부터 특징 정보를 획득하고,
    상기 획득된 특징 정보를 학습된 제1 인공 지능 모델에 입력하여 상기 복수의 명암비 인핸스 커브 중 상기 입력 영상에 대응되는 명암비 인핸스 커브를 획득하고,
    상기 획득된 명암비 인핸스 커브에 기초하여 상기 입력 영상을 처리하여 상기 출력 영상을 획득하며,
    상기 학습된 제1 인공 지능 모델은,
    영상의 특징 정보가 입력되면 상기 영상에 복수의 명암비 인핸스 커브에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 명암비 인핸스 커브 중 하나의 명암비 인핸스 커브에 대한 정보를 출력하도록 학습된, 전자 장치.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상으로부터 특징 정보를 획득하고,
    상기 획득된 특징 정보를 학습된 제2 인공 지능 모델에 입력하여 상기 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 획득하고,
    상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하며,
    상기 학습된 제2 인공 지능 모델은,
    영상의 특징 정보가 입력되면 상기 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 출력하도록 학습된, 전자 장치.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는,
    상기 입력 영상을 학습된 제3 인공 지능 모델에 입력하여 상기 출력 영상을 획득하며,
    상기 학습된 제3 인공 지능 모델은,
    영상이 입력되면, 상기 영상에 복수의 명암비 인핸스 커브를 적용하여 획득된 복수의 후보 인핸스 영상에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하고, 상기 식별된 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하여 출력하도록 학습된, 전자 장치.
  11. 전자 장치의 영상 처리 방법에 있어서,
    복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계;
    상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하는 단계; 및
    상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득하는 단계;를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계는,
    상기 복수의 후보 인핸스 영상 각각을 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 구조 변화량, 노이즈 레벨 변화량 및 색상 변화량을 식별하는 단계; 및
    상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보를 획득하는 단계;를 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계는,
    상기 복수의 후보 인핸스 영상 각각에 대응되는 픽셀 균일 분포 정보를 식별하는 단계; 및
    상기 픽셀 균일 분포 정보에 기초하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 인핸스 효과 정보를 획득하는 단계;를 더 포함하는, 영상 처리 방법.
  14. 제13항에 있어서,
    상기 영상 변화량 정보를 획득하는 단계는,
    상기 픽셀 구조 변화량, 상기 노이즈 레벨 변화량 및 상기 색상 변화량 각각에 대응되는 기 설정된 가중치를 적용하여 영상 변화량 값을 획득하는 단계; 및
    상기 영상 변화량 값을 역으로 환산한 후 정규화하여 상기 영상 변화량 정보를 획득하는 단계;를 포함하는, 영상 처리 방법.
  15. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서,
    상기 동작은,
    복수의 명암비 인핸스 커브 각각을 입력 영상에 적용하여 획득된 복수의 후보 인핸스 영상을, 상기 입력 영상과 비교하여 상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보를 식별하는 단계;
    상기 복수의 후보 인핸스 영상 각각에 대응되는 영상 변화량 정보 및 인핸스 효과 정보에 기초하여 상기 복수의 후보 인핸스 영상 중 최종 인핸스 영상을 식별하는 단계; 및
    상기 식별된 최종 인핸스 영상에 기초하여 상기 입력 영상에 대응되는 출력 영상을 획득하는 단계;를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
PCT/KR2023/019369 2023-01-16 2023-11-28 전자 장치 및 그 영상 처리 방법 WO2024154925A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2023-0006261 2023-01-16
KR1020230006261A KR20240114171A (ko) 2023-01-16 2023-01-16 전자 장치 및 그 영상 처리 방법

Publications (1)

Publication Number Publication Date
WO2024154925A1 true WO2024154925A1 (ko) 2024-07-25

Family

ID=91956091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/019369 WO2024154925A1 (ko) 2023-01-16 2023-11-28 전자 장치 및 그 영상 처리 방법

Country Status (2)

Country Link
KR (1) KR20240114171A (ko)
WO (1) WO2024154925A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130138435A (ko) * 2012-06-11 2013-12-19 엠텍비젼 주식회사 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치
KR102027106B1 (ko) * 2018-09-28 2019-11-04 한국생산기술연구원 콘트라스트가 향상된 영상취득장치 및 방법, 이를 위한 컴퓨터 프로그램 및 기록매체
US20200058111A1 (en) * 2018-08-20 2020-02-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Processing Method, Storage Medium, and Electronic Apparatus
KR20200022704A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 디스플레이 장치 및 그 휘도 제어 방법
KR20210053665A (ko) * 2019-11-04 2021-05-12 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130138435A (ko) * 2012-06-11 2013-12-19 엠텍비젼 주식회사 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치
US20200058111A1 (en) * 2018-08-20 2020-02-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Processing Method, Storage Medium, and Electronic Apparatus
KR20200022704A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 디스플레이 장치 및 그 휘도 제어 방법
KR102027106B1 (ko) * 2018-09-28 2019-11-04 한국생산기술연구원 콘트라스트가 향상된 영상취득장치 및 방법, 이를 위한 컴퓨터 프로그램 및 기록매체
KR20210053665A (ko) * 2019-11-04 2021-05-12 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20240114171A (ko) 2024-07-23

Similar Documents

Publication Publication Date Title
WO2020138680A1 (en) Image processing apparatus and image processing method thereof
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2020235860A1 (en) Image processing apparatus and image processing method thereof
WO2020197018A1 (en) Image processing apparatus and image processing method thereof
WO2019172546A1 (en) Electronic apparatus and control method thereof
WO2020226317A1 (en) Image processing apparatus and image processing method thereof
WO2021101087A1 (en) Electronic apparatus and controlling method thereof
WO2021029505A1 (en) Electronic apparatus and control method thereof
WO2020017875A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
WO2020204277A1 (en) Image processing apparatus and image processing method thereof
WO2020101189A1 (en) Image and audio processing apparatus and operating method of the same
WO2024014706A1 (ko) 화질 개선을 수행하는 신경망 모델을 학습시키는 전자 장치 및 그 제어 방법
WO2021075758A1 (en) Electronic apparatus and controlling method thereof
WO2018080204A1 (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2024154925A1 (ko) 전자 장치 및 그 영상 처리 방법
WO2021100985A1 (en) Electronic apparatus and control method thereof
WO2021172744A1 (ko) 전자 장치 및 그 제어 방법
WO2022255730A1 (ko) 전자장치 및 그 제어방법
WO2022108008A1 (en) Electronic apparatus and controlling method thereof
WO2023229185A1 (ko) 전자 장치 및 그 영상 처리 방법
WO2024053849A1 (ko) 전자 장치 및 그 영상 처리 방법
WO2023163494A1 (ko) 전자 장치 및 그 제어 방법
WO2024154951A1 (ko) 전자 장치 및 이의 제어 방법
WO2024085381A1 (ko) 이미지에서 관심 영역을 식별하기 위한 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23917878

Country of ref document: EP

Kind code of ref document: A1