WO2019182269A1 - 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 - Google Patents

전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
WO2019182269A1
WO2019182269A1 PCT/KR2019/002592 KR2019002592W WO2019182269A1 WO 2019182269 A1 WO2019182269 A1 WO 2019182269A1 KR 2019002592 W KR2019002592 W KR 2019002592W WO 2019182269 A1 WO2019182269 A1 WO 2019182269A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filters
artificial intelligence
parameter
intelligence model
Prior art date
Application number
PCT/KR2019/002592
Other languages
English (en)
French (fr)
Inventor
이천
강성호
권형달
임윤재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/979,303 priority Critical patent/US20200401889A1/en
Publication of WO2019182269A1 publication Critical patent/WO2019182269A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—
    • G06T5/70—
    • G06T5/73—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an electronic device for processing an image. Specifically, an image inputted through an artificial intelligence model trained on a deep neural network (DNN) to determine parameters for a plurality of filters used for image processing.
  • DNN deep neural network
  • the present invention relates to an electronic device that determines a parameter for each of a plurality of filters used for image processing, and performs image processing on an image input through a plurality of filters based on the determined parameter.
  • the present disclosure relates to an artificial intelligence (AI) system and its application for simulating functions such as recognition and judgment of the human brain using a machine learning algorithm.
  • AI artificial intelligence
  • the improvement of image quality is performed by applying a separate image quality improvement algorithm to each image quality element such as noise, sharpness, and contrast ratio in the application of the image quality improvement algorithm based on the conventional hardware.
  • the chip of the electronic device including the conventional image analysis and filter configuration has a problem that the higher the chip size, the higher the cost as the image quality improvement technology is developed.
  • Conventional technology for setting a fixed value for each image quality mode generally divides the image quality mode into a dynamic mode, a movie mode, and a standard mode, thereby allowing users to take advantage of image quality improvement effects classified by mode.
  • a dynamic mode e.g., a movie mode
  • a standard mode e.g., a movie mode
  • Image quality mode can be classified into a standard mode that is commonly used by providing a medium quality improvement between the non-movie mode, the clear mode, and the movie mode.
  • An artificial intelligence system is a computer system that implements human-level intelligence. The machine learns and judges itself and the accuracy of recognition and judgment improves as it is used.
  • AI technology can be composed of machine learning (deep learning) technology that uses algorithms to classify / learn characteristics of input data and element technologies that simulate functions of human brain cognition and judgment by using machine learning algorithms. have.
  • the element technologies are, for example, linguistic understanding technology for recognizing human language / character, visual understanding technology for recognizing objects as human vision, reasoning / prediction technology for determining and logically inferring and predicting information, and human experience information. It includes a variety of knowledge expression technology to process the data as knowledge data, autonomous driving of the vehicle, motion control technology to control the movement of the robot.
  • visual understanding is a technology for recognizing and processing objects as human vision, and includes object recognition, object tracking, image search, person recognition, scene understanding, spatial understanding, image enhancement, and the like.
  • the purpose of the present disclosure is to integrate analysis and control unit for each filter that performs different filtering into an AI model that can be learned, thereby reducing the complexity of the chip for image processing while easily updating the image quality improvement technology. It is to provide an electronic device that is reduced.
  • the present disclosure is to provide an electronic device that finds the most suitable parameter for a given hardware environment, such as the type and performance of an image processing filter, as well as to provide a control variable suitable for the changed hardware configuration even if the hardware configuration for image processing is changed.
  • Another object of the present invention is to provide an electronic device including an artificial intelligence model.
  • An object of the present invention is to provide an electronic device that provides a user with an optimum picture quality.
  • DNN deep neural network
  • the electronic device for achieving the above object is a storage unit for storing the artificial intelligence model that is trained to determine a parameter for a plurality of filters used for image processing, based on a deep neural network (DNN), the artificial intelligence Through the model, a parameter for each of the plurality of filters used for image processing on the input image is determined, and the input image is filtered through the plurality of filters based on the determined parameter, thereby performing the input. And a processor that performs image processing on the captured image.
  • DNN deep neural network
  • the plurality of filters may include a filter for noise reduction of the input image, a filter for sharpness enhancement, a filter for contrast correction, a filter for color improvement, At least two of a filter for adjusting brightness and a filter for performing mosaic processing may be included.
  • the AI model may be learned based on parameters of each of the plurality of filters required for filtering the image to convert the image into the target image.
  • the artificial intelligence model may be learned about a relationship between a characteristic of an image signal corresponding to the image and a parameter for each of the plurality of filters required.
  • the processor may determine a parameter for each of the plurality of filters used for image processing on the input image, based on the characteristics of the image signal corresponding to the input image and the correlation.
  • the artificial intelligence model after learning based on the parameters for each of the image and the plurality of filters, can be further learned through the input image and the determined parameters.
  • the artificial intelligence model may be trained based on the parameters of the image and each of the plurality of filters, and then may be further learned about a content consumption environment of the user based on the input image.
  • the processor may sequentially perform filtering on the input image through the plurality of filters based on the determined parameter.
  • the electronic device may further include a DNN accelerator, and the artificial intelligence model may be trained to determine parameters for a plurality of filters used for image processing using the DNN accelerator.
  • the degree to which each of the plurality of filters filters the input image may be determined by the parameter.
  • the image processing method of the electronic device based on the Deep Neural Network (DNN), training the artificial intelligence model to determine a parameter for a plurality of filters used for image processing, the artificial intelligence model Determining a parameter for each of the plurality of filters used for image processing on the input image, performing filtering on the input image through the plurality of filters based on the determined parameter, Performing image processing on the image.
  • DNN Deep Neural Network
  • the plurality of filters may include a filter for noise reduction of the input image, a filter for sharpness enhancement, a filter for contrast correction, a filter for color improvement, At least two of a filter for adjusting brightness and a filter for performing mosaic processing may be included.
  • the training of the artificial intelligence model may include training the artificial intelligence model based on a parameter for each of the plurality of filters required for filtering the image to convert the image into a target image. have.
  • the step of training the artificial intelligence model the artificial intelligence model to train the artificial intelligence model to identify the relationship between the characteristics of the image signal corresponding to the image and the parameters for each of the plurality of filters required. Can be.
  • the determining of the parameter may include determining a parameter for each of a plurality of filters used for image processing on the input image, based on the characteristics of the image signal corresponding to the input image and the correlation. It may be.
  • the training of the artificial intelligence model may include: training the artificial intelligence model based on the parameters of the image and the plurality of filters, and then training the artificial intelligence model through the input image and the determined parameters. You can learn more.
  • the training of the artificial intelligence model may include: training the artificial intelligence model based on the parameters of the image and each of the plurality of filters, and then comparing the artificial intelligence model with respect to a content consumption environment of the user based on the input image. You can also train additional intelligence models.
  • the input image may be sequentially filtered through the plurality of filters based on the determined parameter to perform image processing on the input image.
  • the artificial intelligence model may train the artificial intelligence model to determine a parameter for a plurality of filters used for image processing using a DNN accelerator.
  • the degree to which each of the plurality of filters filters the input image may be determined by the parameter.
  • the non-transitory computer readable medium according to the present disclosure may be executed by a processor of an electronic device, and cause the electronic device to perform parameters for a plurality of filters used for image processing based on a deep neural network (DNN).
  • DNN deep neural network
  • Computer instructions are stored to perform an operation including performing filtering on the input image through performing an image processing on the input image.
  • the electronic device, the image processing method of the electronic device, and the computer-readable medium according to the present disclosure easily update the image quality improvement technology of the electronic device by integrating an analysis unit for each filter performing different filtering into one AI model. In addition to this, it is possible to provide a progressive and active picture quality improvement effect based on the hardware environment of the electronic device and the content consumption environment of the user.
  • the electronic device can reduce the complexity of the chip for the image processing, compared to the conventional technology of configuring each analysis unit of the image processing filter in hardware, thereby reducing the hardware configuration cost of the electronic device.
  • FIG. 1 is a view for comparing a conventional image processing method for improving image quality with an image processing method according to the present disclosure
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • DNN deep neural network
  • 4 to 5 are views for explaining a learning target of an artificial intelligence model when an electronic device processes an image according to an embodiment of the present disclosure
  • FIG. 6 is a diagram for describing an example of filtering an image input by one of a plurality of filters in an electronic device according to an embodiment of the present disclosure
  • FIG. 7 is a block diagram illustrating a detailed configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating a learning target of an artificial intelligence model when an electronic device processes a voice signal according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating an image processing method of an electronic device according to an embodiment of the present disclosure.
  • ordinal numbers such as “first”, “second”, and the like may be used to distinguish between components. These ordinal numbers are used to distinguish the same or similar components from each other, and the meaning of the terms should not be construed as limited by the use of these ordinal numbers. For example, the components combined with these ordinal numbers should not be limited in order of use or arrangement by the number. If necessary, the ordinal numbers may be used interchangeably.
  • modules such as “module”, “unit”, “part”, and the like are terms for referring to a component that performs at least one function or operation, and such components are referred to as hardware or software. It may be implemented or a combination of hardware and software.
  • a plurality of "modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except that each needs to be implemented with a particular specific hardware, and is at least one processor. It can be implemented as.
  • a part when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium.
  • the meaning that a part includes a certain component means that it may further include other components, without excluding other components, unless specifically stated otherwise.
  • FIG. 1 is a view for comparing the conventional technology for improving the image quality and the technology according to the present disclosure.
  • 1 (a) is a conventional image processing method
  • Figure 1 (b) is a view of the image processing method according to the present disclosure.
  • FIG. 1A a general and schematic process of improving image quality of an input image is illustrated.
  • the converted image signal is subjected to a plurality of image processings composed of hardware.
  • the converted image signal is subjected to noise analysis, noise reduction filtering, sharpness analysis and sharpness enhancement filtering, contrast ratio analysis and contrast ratio enhancement filtering, and the conventional chip performing these processes has a larger complexity and is larger in size. It was often expensive.
  • the electronic device is one integrated artificial intelligence model for controlling all the filters used for noise reduction, sharpness improvement, contrast ratio improvement It may be included separately.
  • the converted image signal is input to at least one filter (in the case of FIG. It is also entered into the model.
  • the AI model may analyze the input image, that is, the converted image signal, and control each of the noise removing filter, the sharpness improvement filter, and the contrast ratio improvement filter based on the analysis result.
  • the noise removing filter, the sharpness improving filter, and the contrast ratio improving filter may perform filtering to improve the image quality of the input image based on the control of the artificial intelligence model.
  • each filter for image processing is implemented in hardware, only the control logic for controlling each filter is implemented as an artificial intelligence model that can learn. Can be reduced in weight.
  • the electronic device 100 may be implemented as a TV, a set-top box, a mobile phone, a monitor, or the like.
  • the electronic device 100 includes a storage 110 and a processor 120.
  • the storage unit 110 may be implemented as a nonvolatile memory (eg, a ROM, a hard disk, a solid state drive (SSD), a flash memory), or a volatile memory such as a RAM.
  • a nonvolatile memory eg, a ROM, a hard disk, a solid state drive (SSD), a flash memory
  • a volatile memory such as a RAM.
  • the storage unit 110 may store information about various tasks or applications that the electronic device 100 may perform, and data related to performing the task of the processor 120.
  • the storage unit 110 may store data related to image processing or voice processing performed by the processor 120.
  • the storage unit 110 may store an artificial intelligence model trained to determine parameters for a plurality of filters used for image processing based on a deep neural network (DNN).
  • DNN deep neural network
  • the plurality of filters used for image processing include a filter for noise reduction, a filter for sharpness enhancement, and a filter for contrast correction for an image input to the electronic device 100.
  • the present invention is not limited thereto, and the types of filters may vary depending on how to determine and design the configuration of the image processing filters to be controlled through the electronic device 100.
  • the parameter for the plurality of filters refers to the degree to which each of the plurality of filters filters the input image, and means a control variable for each of the plurality of filters.
  • the filter for improving the red color performs filtering on the image input to the electronic device 100
  • the degree of increasing the output of the red color included in the input image is for improving the red color. It may be a parameter to the filter.
  • the electronic device 100 may control the degree of filtering performed by each of the plurality of filters.
  • a parameter may be divided into a fixed parameter that does not change a setting value for a period of time and a variable parameter that changes a setting value in real time.
  • the fixed parameter is fixed after the setting value is changed when the type of the scene changes.
  • the fixed parameter may include parameters for contrast ratio improvement, color enhancement intensity, and the like.
  • the variable parameter is linked to the type of the scene, but is continuously changed in real time, and parameters such as noise reduction, sharpness improvement, and the like may be included in the variable parameter.
  • the processor 120 may control overall operations of the electronic device 100.
  • the processor 120 may control each component of the electronic device 100 to convert or process an image or a voice input to the electronic device 100.
  • the processor 120 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), and a digital signal processor. , DSP). Although not shown, the processor 120 may further include an interface such as a bus for communicating with each component.
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor
  • the processor 120 may control, for example, a plurality of hardware or software components connected to the processor 120 by running an operating system or an application program, and may perform various data processing and operations.
  • the processor 120 may be implemented as a system on chip (SoC).
  • the processor 120 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 120 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • other components eg, nonvolatile memory
  • the processor 120 may use information stored in the storage 110 to process the input image or store new information related to image processing in the storage.
  • the processor 120 may learn an artificial intelligence model and store the learned artificial intelligence model in the storage unit 110. Specifically, the operation to be performed may be determined according to a condition based on the learned AI model.
  • the artificial intelligence model may be constructed in consideration of the application field, the purpose of learning, or the computer performance of the device.
  • the artificial intelligence model may be, for example, a model based on a neural network.
  • the AI model may include a plurality of weighted network nodes that simulate the neurons of a human neural network.
  • the plurality of network nodes may form a connection relationship so that neurons simulate synaptic activity through which signals are sent and received through synapses.
  • the artificial intelligence model may include a neural network model or a deep learning model developed from the neural network model. In the deep learning model, a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but is not limited thereto.
  • DNN deep neural network
  • RNN recurrent neural network
  • BTDNN bidirectional recurrent deep neural network
  • the DNN refers to an artificial neural network composed of a number of hidden layers between an input layer and an output layer.
  • the DNN can model complex nonlinear relationships between a number of elements from input to output.
  • DNNs have the advantage of being able to model complex data with a relatively small number of units (or nodes).
  • the layer structure of the DNN may be designed similar to the layer structure of image classification using a conventional convolutional layer.
  • a CNN Convolutinal Neural Network
  • the number of nodes included in the output layer may be designed to match the number of parameters to be derived.
  • the DNN may be schematically configured as shown in FIG. 3 to train the artificial intelligence to determine parameters for a plurality of filters used for image processing.
  • an image input to the electronic device 100 may be input to an input layer.
  • each pixel of the input image may be converted into an image signal, and a digitized value may be input to each node of the input layer.
  • the DNN based on the artificial intelligence model of the electronic device 100 may be designed such that a hidden layer is configured as a customized convolutional layer and a fully connected layer is included between the customized convolutional layer and the output layer.
  • the DNN structure may be designed as a Recurrent Neural Network (RNN) structure.
  • RNN Recurrent Neural Network
  • the processor 120 may generate or learn an artificial intelligence model using training data related to voice information and training data related to image information.
  • the processor 120 may use, as learning data, an action to be executed according to a condition and a condition according to a user's intention.
  • an event to be detected according to the above condition and a function to be executed according to the above action may be added as the learning data, or a detection resource to detect the above event and an execution resource to execute the above function may be added as the learning data.
  • the processor 120 may generate and learn an artificial intelligence model using training data related to a condition and training data related to an action corresponding to a condition.
  • the processor 120 may generate and learn an artificial intelligence model using training data related to an event and training data related to a function.
  • the artificial intelligence model may be a model that is previously built and updated by learning using the processor 120.
  • the artificial intelligence model may be built in advance by receiving basic training data (eg, a sample image).
  • the processor 120 may include a dedicated hardware chip for artificial intelligence (AI) for learning an artificial intelligence model.
  • AI artificial intelligence
  • the processor 120 may include and / or control a DNN accelerator for artificial intelligence learning.
  • DNN accelerators are dedicated hardware chips designed to accelerate the learning of DNN-based AI models.
  • the processor 120 may use an AI learning software module stored in the storage 110 or an AI learning software module stored in a computer readable recording medium.
  • the training of the artificial intelligence model may not be performed by the processor 120 of the electronic device 100.
  • an artificial intelligence model learned on the basis of a DNN from an external device may be stored in the storage unit 110 of the electronic device 100, and the processor 120 may use the stored artificial intelligence model. .
  • the electronic device 100 may update the AI model by receiving data necessary for additional learning of the AI model from an external device and further learning the stored AI model.
  • the electronic device 100 receives more learned AI models from the external device than the learned AI models stored in the storage 110, and stores them in the storage 110 in such a manner that the electronic device 100 updates the AI models. You can also do In this case, the electronic device 100 may delete some or all of the data for the existing artificial intelligence model.
  • the processor 120 determines a parameter for each of the plurality of filters used for image processing on the input image through the learned AI model, and filters the image input through the plurality of filters based on the determined parameters.
  • the image processing may be performed on the input image.
  • the AI model can be trained based on the training parameters for each of the training image and the plurality of filters required for filtering to convert the training image into the target image.
  • FIG. 4 illustrates an example of a training parameter for the AI model to convert each training image into a higher quality target image.
  • Image 2 is an image that needs sharpness enhancement to make the boundary clear because the boundary of the object is unclear. Therefore, it can be seen that for Image 2, it is desirable to increase the parameter for the sharpness improvement filter ('20' in FIG. 4).
  • Image 3 is an image that needs to be made brighter and darker darker because the distinction between light and dark is not clear. Accordingly, it can be seen that for Image 3, it is desirable to increase the parameter for the contrast ratio improvement filter ('25' in FIG. 4).
  • the AI model learns data about each learning image and a suitable number (learning parameter) of a parameter corresponding to each learning image, and determines parameters for a plurality of filters used for processing the input image. Can use the learned data.
  • the artificial intelligence model has a lot of noise in the input image based on the result of learning that the image 1 of the training image is a noisy image, and that the parameter for the noise reduction filter is increased for the noisy image 1.
  • the parameters of the noise canceling filter for processing the input image may be determined relatively high.
  • the AI model needs to define various characteristics of the input image and associate them with the parameters of each of the plurality of filters. This association can be learned through a set of associations for each element of the DNN on which the AI model is based.
  • the characteristic of the image may correspond to the characteristic of the image or the characteristic of the image signal converted from the image.
  • the content of the image may include categories and subcategories of the image, wherein the category of the image may include images and photographs, and the detail category may be, for example, an advertisement image, a news image, a movie, a sport if the image is a video category Images and the like.
  • the subcategory is a movie, it may be defined as an action movie, a SF movie, a melodramatic film, and the like.
  • the content of the image may include information about whether a specific object is included in the image.
  • the content of the image may include information on whether an object having severe sensation or stimulus is included in the image.
  • the processor 120 may recognize a category of the image through an artificial intelligence model and set an image quality value according to the recognized category, that is, a parameter. .
  • the parameter setting value according to the recognized category may be previously learned.
  • the processor 120 may minimize the parameter value for color or contrast ratio and maintain (fixed parameter) until the end of the movie in order to provide an image quality corresponding to the movie mode. In addition, the processor 120 may change the parameter value for noise or sharpness improvement in real time (variable parameter) and apply it to the image.
  • the processor 120 sets a high parameter value for color or contrast ratio while maintaining (fixing) the image at the end of the image in order to provide a clear image quality according to a clear mode. Parameter).
  • the processor 120 may change (variable parameters) parameter values for sharpness in real time or for each image area, depending on whether textures that need to be processed to be clearly visible such as grass and an audience are included in the image. It may be.
  • the processor 120 considers the content of the input image including irritating content such as wasted or sensational content through an artificial intelligence model, and relatively increases the parameter value for mosaic filtering performed by the mosaic filter. You can decide.
  • the characteristics of the image signal may include a frequency characteristic, for example, a portion of the toxic change in the frequency signal can be seen as corresponding to the noise characteristic.
  • the present invention is not limited thereto.
  • each filter controls many factors to perform filtering.
  • the AI model may be trained based on a plurality of parameters instead of one parameter for each of a plurality of filters required for filtering the training image to convert the training image into a target image.
  • 5 shows another example of learning parameters for the AI model to convert each training image into a higher quality target image.
  • the AI model may learn appropriate numerical values (learning parameters) for a plurality of parameters included in each filter in processing each training image.
  • the training data displayed in FIGS. 4 and 5 may be input to the electronic device 100 by a user and used for learning an artificial intelligence model.
  • the training data may be based on data about a method of analyzing an image by another external image processing apparatus (not shown).
  • the learning image displayed in FIGS. 4 and 5 may be an image corresponding to high quality original data.
  • the training image may be an image corresponding to the transformed data provided to the electronic device 100 through post-processing and broadcasting or streaming service, rather than the original data.
  • the processor 120 may determine a parameter for each of the plurality of filters used for image processing on the input image, based on the learned correlation and the characteristics of the image signal corresponding to the image input through the artificial intelligence model. Can be.
  • the processor 120 may display the characteristic A having the same input image. If so, the parameter value of the filter B may be determined as '10' in processing the input image.
  • the processor 120 may determine parameters for the plurality of filters for processing the input image based on a complex association between the plurality of parameters and the numerous characteristics of the image defined in the learned AI model. do.
  • FIG. 6 illustrates an example in which the processor A 610 performs processing of the input image based on the determined parameter as a result of the processor 120 determining the parameter of the filter A 610 for the input image. It is a figure for following.
  • the image signal I in of the input image is input, the image signal I in is filtered to a maximum value ⁇ max that the filter A 610 can perform to become “I filtered ”. .
  • the processor 120 determines a parameter ⁇ gain for the filter A 610 for the image input through the learned AI model 620.
  • the process of FIG. 6 may be performed for each filter in parallel.
  • this is merely an example and the parameter-based filtering control is not necessarily limited thereto.
  • the processor 120 may sequentially filter the images input through the plurality of filters based on the determined parameters.
  • the processor 120 controls each filter based on the determined parameter
  • the input image passes through each filter controlled by the processor 120 in order, and sequential image processing on the input image is performed. It may be performed for each filter.
  • the artificial intelligence model may be further learned based on the input image and the determined parameter. That is, the input image and the determined parameter may also be used as the learning image and the learning parameter, respectively.
  • the AI model may be further learned about the content consumption environment of the user based on the input image.
  • the content consumption environment of the user may include an average resolution of an input image, a network environment where an image is input, and the like.
  • the processor 120 may determine a parameter of a sharpness improvement filter that processes the input image through an artificial intelligence model that has learned the low resolution characteristics of the input image. On average, you can decide higher.
  • FIG. 7 is a block diagram illustrating a detailed configuration of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 100 includes a storage 110, a processor 120, an inputter 130, an image analyzer 140, a signal processor 150, a communicator 160, and a user inputter 170. , The output unit 180, and the like.
  • the input unit 130 may receive data and signals from an external device (not shown) in a wired or wireless manner.
  • the input unit 130 may receive an image signal or an audio signal from an external device.
  • the input unit 130 may receive real-time broadcast content received from a broadcast station (not shown) or the like through the VOD service. Receive content.
  • the input unit 130 includes a communication module for connecting to an external device, including at least one of a high-definition multimedia interface (HDMI) terminal, a component terminal, or a USB terminal, or a network such as the Internet, It can be connected to an external device through a network.
  • HDMI high-definition multimedia interface
  • a component terminal or a USB terminal
  • a network such as the Internet
  • the input unit 130 may receive an input of a user's voice from the outside. To this end, the input unit 130 may include a microphone (not shown) for converting voice into a signal form.
  • the image analyzer 140 is a component for analyzing characteristics of the input image.
  • the image analyzer 140 may analyze the characteristics of the input image signal and digitize it for each element.
  • the processor 120 may train the artificial intelligence model based on the characteristics of the image signal analyzed by the image analyzer 140. In addition, the processor 120 may determine a parameter for a plurality of filters for processing the input image signal based on a characteristic of the input image signal analyzed by the image analyzer 140 and an artificial intelligence model.
  • the signal processor 150 may perform signal processing on an image input through the input unit 130 and an image processed by a plurality of filters. In addition, the signal processor 150 may perform signal processing on the voice input through the input unit 130.
  • the signal processor 130 may perform operations such as decoding, scaling, and frame rate conversion on the image signal or the audio signal.
  • the communication unit 160 enables the electronic device 100 to transmit and receive data with an external device (not shown) in a wired or wireless manner.
  • the communicator 160 may receive data about an image or voice from an external server (not shown) or a broadcasting station (not shown).
  • the communicator 160 may transmit data about the image or the voice processed by the electronic device 100 to an external server or a broadcasting station again.
  • the communicator 160 may receive data about the learned AI model from the external device.
  • the processor 120 may store data about the received artificial intelligence model in the storage 110 and use the artificial intelligence model.
  • the communicator 160 may receive data about a technique and an algorithm for improving image quality from an external server in order to update the image quality improving function of the electronic device 100 with respect to the input image.
  • the processor 120 may train the AI model based on the received techniques and algorithms.
  • the user input unit 170 receives various commands for the electronic device 100 of the user.
  • the user input unit 170 may receive various remote control signals.
  • the user input unit 170 may include a microphone (not shown) that receives the user's voice so that the user can control the electronic device 100 in the form of speech.
  • the user input unit 170 may be implemented as an input panel.
  • the input panel may be formed using a touch pad or a keypad or a touch screen method including various function keys, numeric keys, special keys, and character keys.
  • the input panel may be integrated with a display (not shown) of the output unit 180.
  • the processor 120 may perform a function of the electronic device 100 corresponding to the command. Can be performed.
  • the output unit 180 may include a display (not shown) for displaying an input image or an image in which the input image is filtered through a plurality of filters, and a voice in which the input voice and the input voice are filtered through different filters. It may include an audio output unit (not shown) for outputting.
  • the display (not shown) is implemented as a liquid crystal display (LCD), organic light emitting diodes (OLED) display, and the like
  • the audio output unit (not shown) is a speaker (not shown) or an external output terminal (not shown). And the like.
  • the storage 110 included in the electronic device 100 is trained to determine parameters for a plurality of filters used for voice processing based on a deep neural network (DNN).
  • the AI model may be stored.
  • the layer structure of the DNN may include a layer structure based on the RNN.
  • the processor 120 determines a parameter for each of the plurality of filters used for voice processing on the input voice through the artificial intelligence model, and filters the voice input through the plurality of filters based on the determined parameters.
  • the voice processing may be performed on the input voice.
  • the plurality of filters may be implemented as a noise filter, a low band filter, a mid band filter, a high band filter, or the like for the input voice.
  • a plurality of filters are not necessarily limited to these filters.
  • the artificial intelligence model may be trained based on a parameter for each of a plurality of filters required for filtering the voice of the learning target to convert the voice of the training target and the voice of the training target to the voice of the target quality.
  • the artificial intelligence model may be learned about a correlation between a characteristic of a voice signal corresponding to a voice as a learning target and a parameter for each of a plurality of filters required for filtering the voice as a learning target.
  • FIG. 8 is a diagram for describing a learning target of an artificial intelligence model when the electronic device 100 processes a voice signal according to an embodiment of the present disclosure.
  • appropriate parameter values (learning parameters) for controlling each filter to match the characteristics of each learning voice may be identified.
  • the processor 120 may train the AI model.
  • the processor 120 determines a parameter for a noise filter, a low band filter, a mid band filter, a high band filter, etc. used for voice processing of the voice input through the artificial intelligence model, and based on the determined parameters, Filtering of the voice input through the filters may be performed to perform voice processing on the input voice.
  • the preset parameter is a parameter representing a mode for comprehensively controlling the parameters for the plurality of filters according to one or more elements of the input voice.
  • each value of the preset parameter is set to 1: classic mode, 2: rock mode, 3: ballad mode, 4: hip hop mode, etc. according to the genre of the music piece when the input voice is a music piece.
  • parameter values for a plurality of preset filters may be comprehensively learned for each mode.
  • FIG. 9 is a flowchart illustrating an image processing method of an electronic device according to an embodiment of the present disclosure.
  • an artificial intelligence model may be trained to determine parameters for a plurality of filters used for image processing based on a deep neural network (DNN). (S910)
  • the plurality of filters include a filter for noise reduction, a filter for sharpness enhancement, a filter for contrast correction, a filter for color enhancement, and brightness for an input image.
  • a filter for adjustment and a filter for performing mosaic processing are included in the plurality of filters.
  • the parameter for the plurality of filters may be a variable representing the degree to which each of the plurality of filters filters the input image.
  • the width of the parameter value applicable for each filter can be determined based on the hardware performance of each filter.
  • the AI model may be trained to determine parameters for a plurality of filters used for image processing using the DNN accelerator.
  • the AI model may be trained based on parameters for each of a plurality of filters required for filtering the training image to convert the training image and the training image into a target image.
  • the information about the learning image and the learning parameters used to process the learning image is a predetermined answer that the AI model should imitate in determining the parameters for the input image.
  • This data is called Ground Truth Data.
  • the AI model may be trained to identify an association between a characteristic of an image signal corresponding to the training image and a parameter for each of a plurality of filters required for filtering the training image.
  • the AI model may be trained based on the training image and the parameters of each of the plurality of filters, and then the AI model may be further trained through the content consumption environment of the user based on the input image.
  • the parameter for each of the plurality of filters used for image processing on the input image may be determined based on the characteristics and the correlation of the image signal corresponding to the input image.
  • the AI model may be trained based on the training image and the parameters of each of the plurality of filters, and the corresponding AI model may be further trained through the input image and the determined parameter.
  • the image input through the plurality of filters may be sequentially filtered to perform image processing on the input image.
  • the image processing method described with reference to FIG. 9 may be performed by the electronic device 100 having the configuration illustrated and described with reference to FIGS. 2 and 7, but is not limited thereto.
  • various types of electronic devices having a program for performing the image processing method described with reference to FIG. 9 may determine parameters for a plurality of filters and process an image.
  • Such a program may be distributed in a state stored in a recording medium.
  • the above-described image processing method may be implemented by an apparatus in which a recording medium is connected or mounted.
  • the embodiments described in the present disclosure may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments described herein may be implemented in the processor 120 itself. According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules described above may perform one or more functions and operations described herein.
  • computer instructions for performing a processing operation in the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • the computer instructions stored in the non-transitory computer readable medium allow the specific apparatus to perform processing operations in the electronic device 100 according to the above-described various embodiments when executed by a processor of the specific apparatus.
  • a non-transitory computer readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • Specific examples of non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 기계 학습 알고리즘을 활용하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 전자 장치가 개시된다. 본 전자 장치는 DNN(Deep Neural Network)에 기반하여 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장된 저장부, 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서를 포함한다.

Description

전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
본 개시는 이미지를 처리하는 전자 장치에 관한 것으로, 구체적으로는, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 DNN(Deep Neural Network) 기반으로 학습된 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 이미지 처리를 수행하는 전자 장치에 관한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
이미지를 처리하는 전자 장치에 있어, 종래 하드웨어를 기반으로 한 화질 개선 알고리즘의 적용은 노이즈, 선명도, 명암비 등 각종 화질 요소별로 별도의 화질 개선 알고리즘이 하드웨어적으로 적용되어 화질 개선이 수행되었다.
그러나, 일반적으로 화질 개선 기술은 각종 화질 요소별로 독립적으로 개발되는 것이 보통인 반면, 소비자 제품인 전자 장치의 하드웨어는 제품 생산 과정에서 대부분의 구성이 결정되기 때문에, 종래의 하드웨어 기반 화질 개선 알고리즘은 각 화질 요소별로 새로운 기술을 즉각적으로 소비자 제품(전자 장치)에 도입하기 어렵다는 문제가 있었다.
또한, 종래의 이미지 분석 및 필터 구성을 포함한 전자 장치의 칩은, 화질 개선 기술이 발달할수록 칩의 사이즈가 커짐에 따라 높은 비용이 든다는 문제가 있었다.
종래 화질 모드별 고정값을 세팅하는 기술은 일반적으로 화질 모드를 선명한 모드(dynamic mode), 영화 모드(movie mode) 및 표준 모드(standard mode) 등으로 구분하여 모드에 따라 구분되는 화질 개선 효과를 사용자에게 제공해왔다. 종래 화질 모드 구분의 일 예로, 멀리서도 색감과 디테일이 눈에 잘 띄도록 화질 개선이 강하게 되어 스포츠나 고화질의 다큐멘터리 영상에 적합한 선명한 모드, 영화 제작자의 의도를 보장하는 화질을 제공하고자 화질 개선을 거의 하지 않는 영화 모드, 선명한 모드와 영화 모드의 중간 정도의 화질 개선이 제공되어 일반적으로 많이 사용되는 표준 모드 등으로 화질 모드가 구분될 수 있었다.
다만, 종래의 기술은 영상에 따라 적합한 화질 모드가 준비되어 있음은 별론, 사용자가 영상의 특성을 직접 파악하고 어떤 모드로 화질 개선을 수행할지를 직접 선택 및 명령해야 한다는 불편이 있었다.
인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식 및 판단의 정확성이 향상되는 시스템이다.
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성될 수 있다.
요소기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 등 여러 가지를 포함한다.
특히, 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다.
본 개시의 목적은 서로 다른 필터링을 수행하는 각각의 필터에 대한 분석 및 제어부들을 학습이 가능한 인공지능 모델로 통합함으로써, 화질 개선 기술을 손쉽게 업데이트 할 수 있으면서도 이미지 처리를 위한 칩의 복잡도가 완화되어 비용이 절감되는 전자 장치를 제공함에 있다.
본 개시는 이미지 처리 필터의 종류, 성능 등 정해진 하드웨어 환경에 가장 적합한 파라미터를 스스로 찾아나가는 전자 장치를 제공함은 물론, 이미지 처리를 위한 하드웨어 구성이 변경되더라도 변경된 하드웨어 구성에 적합한 제어 변수를 제공하도록 학습되는 인공지능 모델을 포함하는 전자 장치를 제공함에도 그 목적이 있다.
또한, 본 개시는 DNN(Deep Neural Network) 기반의 화질 개선 칩을 이용하여 영상을 분석하고, 영상의 장면에 적합한 고정 화질 세팅 파라미터 및 가변 세팅 파라미터를 추론(inference) 및 적용하여, 실시간으로 개선된 최적의 화질을 사용자에게 제공하는 전자 장치를 제공함에 그 목적이 있다.
이상의 목적을 달성하기 위한 본 개시에 따른 전자 장치는 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장된 저장부, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서를 포함한다.
이때, 상기 복수의 필터는, 상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개를 포함할 수 있다.
한편, 상기 인공지능 모델은, 이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것일 수 있다.
이때, 상기 인공지능 모델은, 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것일 수 있다.
이 경우, 상기 프로세서는, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
한편, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습될 수 있다.
또는, 상기 인공지능 모델은, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습될 수도 있다.
그리고, 상기 프로세서는, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행할 수 있다.
한편, 상기 전자 장치는 DNN 가속기를 더 포함하고, 상기 인공지능 모델은, 상기 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 것일 수 있다.
또한, 상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정될 수 있다.
한편, 본 개시에 따른 전자 장치의 이미지 처리 방법은 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델을 학습시키는 단계, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계를 포함한다.
이때, 상기 복수의 필터는, 상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함할 수 있다.
한편, 상기 인공지능 모델을 학습시키는 단계는, 이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 상기 인공지능 모델을 학습시킬 수 있다.
이때, 상기 인공지능 모델을 학습시키는 단계는, 상기 인공지능 모델이 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계를 식별하도록 상기 인공지능 모델을 학습시킬 수 있다.
이 경우, 상기 파라미터를 결정하는 단계는, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
그리고, 상기 인공지능 모델을 학습시키는 단계는, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 상기 인공지능 모델을 학습시킨 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 상기 인공지능 모델을 추가로 학습시킬 수 있다.
또는, 상기 인공지능 모델을 학습시키는 단계는, 상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 상기 인공지능 모델을 학습시킨 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 상기 인공지능 모델을 추가로 학습시킬 수도 있다.
한편, 상기 이미지 처리를 수행하는 단계는, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행할 수 있다.
또한, 상기 인공지능 모델을 학습시키는 단계는, 상기 인공지능 모델이 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 상기 인공지능 모델을 학습시킬 수 있다.
그리고, 상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정되는 것일 수 있다.
한편, 본 개시에 따른 비일시적 컴퓨터 판독 가능 매체에는, 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금, DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델이 학습되는 단계, 상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계를 포함하는 동작을 수행하도록 하는 컴퓨터 명령어가 저장되어 있다.
본 개시에 따른 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체는 서로 다른 필터링을 수행하는 각각의 필터에 대한 분석부를 하나의 인공지능 모델로 통합함으로써, 전자 장치의 화질 개선 기술을 손쉽게 업데이트할 수 있도록 함은 물론, 전자 장치의 하드웨어 환경 및 사용자의 콘텐츠 소비 환경에 기초하여 점진적이고 능동적인 화질 개선 효과를 제공할 수 있다.
또한, 본 개시에 따른 전자 장치는 이미지 처리용 필터의 각 분석부를 하드웨어적으로 구성하는 종래의 기술에 비해, 이미지 처리를 위한 칩의 복잡도가 완화되어 전자 장치의 하드웨어 구성 비용을 절감할 수 있다.
도 1은 화질 개선을 위한 종래의 이미지 처리 방법과 본 개시에 따른 이미지 처리 방법을 비교하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 전자 장치에 이용되는 DNN(Deep Neural Network)의 일 예를 설명하기 위한 도면,
도 4 내지 도 5는 본 개시의 일 실시 예에 따른 전자 장치가 이미지를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 전자 장치에 있어, 복수의 필터 중 하나의 필터가 입력된 이미지를 필터링하는 일 예를 설명하기 위한 도면,
도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도,
도 8은 본 개시의 일 실시 예에 따른 전자 장치가 음성 신호를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면, 그리고
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 순서도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 이용하여 본 개시에 대해 구체적으로 설명한다.
도 1은 화질 개선을 위한 종래의 기술과 본 개시에 따른 기술을 비교하기 위한 도면이다. 도 1의 (a)는 종래의 이미지 처리 방법, 도 1의 (b)는 본 개시에 따른 이미지 처리 방법에 대한 도면이다.
도 1의 (a)에는 입력된 이미지에 대한 화질 개선의 일반적이고 개략적인 과정이 도시되어 있다.
도 1의 (a)를 참고하면, 종래 일반적인 이미지 처리 방법은 입력된 이미지를 이미지 신호로 변환한 뒤, 변환된 이미지 신호가 하드웨어로 구성된 복수의 이미지 처리를 거치게 된다.
구체적으로는, 변환된 이미지 신호가 노이즈 분석 및 노이즈 제거 필터링, 선명도 분석 및 선명도 개선 필터링, 명암비 분석 및 명암비 개선 필터링을 거치게 되며 이러한 과정들을 수행하는 종래의 칩은 그 복잡도가 커 사이즈가 커짐에 따라 고가인 경우가 많았다.
또한, 종래의 칩은 일반적으로 여러 가지 기능을 종합적으로 수행하도록 설계되었으므로, 노이즈 제거, 선명도 개선, 명암비 개선 각각에 대한 독립적인 기능 개선이나 업데이트가 실시간으로 반영되기에는 어려웠다.
반면, 도 1의 (b)를 참고하면, 본 개시의 일 실시 예에 따른 전자 장치는 노이즈 제거, 선명도 개선, 명암비 개선에 사용되는 각각의 필터를 모두 제어하기 위한 하나의 통합된 인공지능 모델을 별도로 포함할 수 있다.
이 경우, 본 개시에 따른 이미지 처리 방법은 입력된 이미지를 이미지 신호로 변환한 뒤, 변환된 이미지 신호가 적어도 하나의 필터(도 1의 (b)의 경우 노이즈 제거 필터)에 입력됨과 동시에 인공지능 모델에도 입력된다.
그 후, 인공지능 모델은 입력된 이미지, 즉 변환된 이미지 신호를 분석하고, 분석한 결과를 기초로 노이즈 제거 필터, 선명도 개선 필터, 명암비 개선 필터 각각을 제어할 수 있다.
이를 통해, 노이즈 제거 필터, 선명도 개선 필터, 명암비 개선 필터는 인공지능 모델의 제어에 기초하여 입력된 이미지의 화질 개선을 위한 필터링을 수행할 수 있다.
즉, 도 1의 (b)에 따른 전자 장치는, 이미지 처리를 위한 각각의 필터는 하드웨어로 구현되지만, 각 필터를 제어하기 위한 제어 로직(Logic)만은 학습이 가능한 인공지능 모델로 구현됨으로써 전자 장치가 경량화될 수 있다.
이하, 본 개시의 일 실시 예에 따른 전자 장치의 구성과 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다. 전자 장치(100)는 TV, 셋톱박스(Set-Top Box), 휴대폰, 모니터 등으로 구현될 수 있다.
도 2에 의하면, 전자 장치(100)는 저장부(110) 및 프로세서(120)를 포함한다.
저장부(110)는 비휘발성 메모리(ex. ROM, 하드디스크, SSD(Solid state drive), 플래시 메모리), RAM과 같은 휘발성 메모리 등으로 구현될 수 있다.
저장부(110)에는 전자 장치(100)가 수행할 수 있는 각종 태스크 내지는 어플리케이션에 대한 정보, 프로세서(120)의 작업 수행과 관련된 데이터가 저장되어 있을 수 있다.
저장부(110)에는 프로세서(120)가 수행하는 이미지 처리 또는 음성 처리와 관련된 데이터가 저장되어 있을 수도 있다.
구체적으로, 저장부(110)에는 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장되어 있을 수 있다.
이미지 처리에 이용되는 복수의 필터는, 전자 장치(100)에 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 등으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니고 전자 장치(100)를 통해 제어하고자 하는 이미지 처리용 필터들의 구성을 어떻게 결정하고 설계하느냐에 따라 필터의 종류가 다양할 수 있다.
복수의 필터에 대한 파라미터는, 복수의 필터 각각이 입력된 이미지를 필터링하는 정도를 의미하는 것으로서, 복수의 필터 각각에 대한 제어 변수를 의미한다.
일 예로, Red 색상을 개선하기 위한 필터가 전자 장치(100)에 입력된 이미지에 대한 필터링을 수행함에 있어, 입력된 이미지에 포함된 Red 색상의 출력을 증가시키는 정도가, Red 색상을 개선하기 위한 필터에 대한 파라미터일 수 있다.
즉, 전자 장치(100)는 복수의 필터 각각에 대한 파라미터를 입력되는 이미지별로 다르게 결정한 결과, 복수의 필터 각각이 수행하는 필터링의 정도를 제어할 수 있다.
파라미터는 일단 설정되면 일정 기간 동안 세팅 값이 변하지 않는 고정 파라미터와, 실시간으로 세팅 값이 변하는 가변 파라미터로 구분될 수 있다.
일 예로, 이미지 처리를 위한 필터들에 있어서, 고정 파라미터는 장면의 종류에 변화가 생기면 세팅값이 변경된 후 고정되는 것으로서 명암비 개선 비율, 색상 개선 강도 등에 대한 파라미터가 고정 파라미터에 포함될 수 있다. 반면, 가변 파라미터는 장면의 종류와는 연동하지만 실시간으로 연속적으로 변경되는 것으로서 노이즈 제거 정도, 선명도 개선 정도 등에 대한 파라미터가 가변 파라미터에 포함될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(120)는 전자 장치(100)에 입력된 이미지 또는 음성을 변환 내지 처리하기 위해 전자 장치(100)의 각 구성을 제어할 수 있다.
이를 위해, 프로세서(120)는 주문형 집적 회로(application specific integrated circuit, ASIC), 임베디드 프로세서, 마이크로프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware finite state machine, FSM), 디지털 신호 프로세서(digital signal processor, DSP), 중 적어도 하나로 구현될 수 있다. 도시하진 않았으나, 프로세서(120)는 각 구성들과 통신을 위한 버스(bus)와 같은 인터페이스를 더 포함할 수 있다.
프로세서(120)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 SoC(system on chip)로 구현될 수도 있다.
일 예로, 프로세서(120)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(120)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
프로세서(120)는 입력된 이미지를 처리하기 위해 저장부(110)에 저장된 정보를 이용하거나 또는 이미지 처리와 관련된 새로운 정보를 저장부에 저장할 수도 있다.
프로세서(120)는 인공지능 모델을 학습시키고, 학습된 인공지능 모델을 저장부(110)에 저장할 수 있다. 구체적으로는, 학습된 인공지능 모델을 바탕으로 조건에 따라 수행할 동작을 결정할 수 있다.
인공지능 모델은 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 인공지능 모델은, 예를 들어 신경망(Neural Network)을 기반으로 하는 모델일 수 있다.
인공지능 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 일 예로, 인공지능 모델은 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
DNN은 입력층(Input Layer) 및 출력층(Output Layer) 사이에 여러 개의 은닉층(Hidden Layer)들로 이루어진 인공신경망을 의미한다.
즉, DNN은 입력으로부터 출력으로 이어지기까지의 수많은 요소 간의 복잡한 비선형 관계들을 모델링할 수 있다. DNN은 비교적 적은 수의 유닛(또는 노드)만으로도 복잡한 데이터를 모델링할 수 있다는 장점이 있다.
DNN의 Layer 구조는 기존의 Convolutional Layer를 이용한 이미지 분류의 Layer 구조와 유사하게 설계될 수 있다.
예를 들어, DNN의 은닉층 구조에는 이미지 분류를 위한 CNN(Convolutinal Neural Network) 구조를 이용하고, 출력층에 포함된 노드의 수는 도출해내고자 하는 파라미터의 수에 맞도록 설계할 수 있다.
일 예로, DNN은 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능을 학습시키기 위하여, 도 3과 같이 개략적으로 구성될 수 있다.
도 3을 참조하면, 인공지능 모델이 기반으로 하는 DNN에 있어, 입력층(Input Layer)에는 전자 장치(100)에 입력된 이미지가 입력될 수 있다. 이때, 입력된 이미지의 각각의 픽셀이 이미지 신호로 변환되어 수치화된 값이 입력층의 각 노드에 입력될 수도 있다.
도 3에 의하면, 전자 장치(100)의 인공지능 모델이 기반으로 하는 DNN은, 은닉층이 Customized Convolutional Layer로 구성되고, Customized Convolutional Layer와 출력층 사이에 Fully Connected Layer가 포함되도록 설계될 수 있다.
또한, 만약 입력 데이터가 하나의 이미지가 아니고 복수의 이미지가 시간축으로 입력되는 비디오에 해당할 경우, DNN 구조는 RNN(Recurrent Neural Network) 구조로 설계될 수도 있다.
프로세서(120)는 음성 정보와 관련된 학습 데이터 및 영상 정보와 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 또는 학습시킬 수 있다.
지도 학습 방식을 통하여 인공지능 모델을 학습시키는 경우, 프로세서(120)는, 사용자 의도에 따른 조건 및 조건에 따라 실행할 액션을 학습 데이터로서 이용할 수 있다.
또는, 상술한 조건에 따라 검출할 이벤트 및 상술한 액션에 따라 실행할 기능이 학습 데이터로서 추가되거나, 상술한 이벤트를 검출할 검출 자원 및 상술한 기능을 실행할 실행 자원이 학습 데이터로서 추가될 수 있다.
한편, 프로세서(120)는 조건과 관련된 학습 데이터 및 조건에 대응되는 액션과 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 및 학습시킬 수도 있다.
또는, 프로세서(120)는 이벤트와 관련된 학습 데이터 및 기능과 관련된 학습 데이터를 이용하여 인공지능 모델을 생성 및 학습시킬 수 있다.
한편, 인공지능 모델은 미리 구축되어, 프로세서(120)를 이용한 학습에 의해 업데이트되는 모델일 수 있다. 이 경우, 인공지능 모델은 기본 학습 데이터(예를 들어, 샘플 이미지 등)를 입력 받아 미리 구축된 상태일 수 있다.
프로세서(120)는 인공지능 모델의 학습을 위해 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩을 포함할 수 있다.
인공지능을 위한 전용 하드웨어 칩의 일 예로, 프로세서(120)는 인공 지능 학습을 위한 DNN 가속기를 포함하거나 및/또는 제어할 수 있다. DNN 가속기는 DNN 기반의 인공지능 모델의 학습을 보다 가속화할 수 있도록 설계된 전용 하드웨어 칩이다.
인공지능 모델의 학습을 위해, 프로세서(120)는 저장부(110)에 저장된 인공지능 학습용 소프트웨어 모듈 또는 컴퓨터 판독 가능 기록 매체에 저장된 인공지능 학습용 소프트웨어 모듈을 이용할 수도 있다.
한편, 인공지능 모델의 학습은 전자 장치(100)의 프로세서(120)에 의해 이루어지지 않을 수도 있다. 예를 들어, 외부 장치(도시되지 않음)에서 DNN을 기반으로 학습된 인공지능 모델이 전자 장치(100)의 저장부(110)에 저장되고, 프로세서(120)가 저장된 인공지능 모델을 이용할 수도 있다.
이 경우, 전자 장치(100)는 외부 장치로부터 인공지능 모델의 추가 학습에 필요한 데이터를 입력받아, 저장된 인공지능 모델을 추가로 학습시키는 방법으로 인공지능 모델을 업데이트 할 수 있다.
또는, 전자 장치(100)는 저장부(110)에 저장된 학습된 인공지능 모델에 비해 더많이 학습된 인공지능 모델을 외부 장치로부터 받아 저장부(110)에 저장하는 방식으로 인공지능 모델에 대한 업데이트를 수행할 수도 있다. 이때, 전자 장치(100)는 기존의 인공지능 모델에 대한 데이터의 일부 또는 전부를 삭제할 수도 있다.
프로세서(120)는 학습된 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행할 수 있다.
이를 위해, 인공지능 모델은 학습용 이미지, 그리고 학습용 이미지를 타겟 이미지로 변환하기 위한 필터링에 있어 요구되는 복수의 필터 각각에 대한 학습용 파라미터를 바탕으로 학습될 수 있다.
도 4는 인공지능 모델이 각각의 학습 이미지를 더 높은 품질의 타겟 이미지로 변환하기 위한 학습 파라미터의 일 예를 도시한 것이다.
도 4를 참조하면, 학습 대상인 이미지 중 이미지 1은 비교적 노이즈가 많은 이미지로서 노이즈가 없는 타겟 이미지로 변환하기 위해 노이즈 제거 필터에 대한 파라미터를 높이는(도 4에서는 '32') 것이 바람직하다는 것을 확인할 수 있다.
반면, 이미지 2는 객체의 경계가 불분명하기 때문에 경계를 분명히 해주는 선명도 개선이 필요한 이미지이다. 따라서, 이미지 2에 대해서는 선명도 개선 필터에 대한 파라미터를 높이는(도 4에서는 '20') 것이 바람직하다는 것을 확인할 수 있다.
또한, 이미지 3은 밝은 부분과 어두운 부분의 구분이 뚜렷하지 않기 때문에, 밝은 부분은 더 밝게 하고 어두운 부분은 더 어둡게 할 필요가 있는 이미지이다. 따라서, 이미지 3에 대해서는 명암비 개선 필터에 대한 파라미터를 높이는(도 4에서는 '25') 것이 바람직하다는 것을 확인할 수 있다.
이렇듯, 인공지능 모델은 각각의 학습 이미지 및 각각의 학습 이미지에 대응되는 파라미터의 적합한 수치(학습 파라미터)에 대한 데이터를 학습하고, 입력된 이미지의 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하는 데에 학습된 데이터를 사용할 수 있다.
구체적으로, 인공지능 모델은 학습 이미지 중 이미지 1은 노이즈가 많은 이미지이고, 노이즈가 많은 이미지 1에 대해서는 노이즈 제거 필터에 대한 파라미터를 증가시켰다는 점을 학습한 결과를 토대로, 입력된 이미지에 노이즈가 많다면 입력된 이미지를 처리하기 위한 노이즈 제거 필터의 파라미터를 비교적 높게 결정할 수 있다.
이를 위해, 인공지능 모델은 입력된 이미지의 여러 가지 특성을 정의하고 이를 복수의 필터 각각의 파라미터와 연관시킬 필요가 있다. 이러한 연관 관계는 인공지능 모델이 학습의 기반으로 하는 DNN의 각 요소별 연관 관계의 집합을 통해서 학습될 수 있다.
이때, 이미지의 특성은 이미지의 내용 또는 이미지를 변환시킨 이미지 신호의 특성에 해당할 수 있다.
이미지의 내용은 이미지의 카테고리 및 세부 카테고리들을 포함할 수 있는데, 이미지의 카테고리는 영상 및 사진을 포함할 수 있고, 세부 카테고리는 예를 들어 이미지가 영상 카테고리인 경우 광고 영상, 뉴스 영상, 영화, 스포츠 영상 등일 수 있다. 또한, 세부 카테고리가 영화인 경우, 그보다 더욱 하위 개념의 액션 영화, SF 영화, 멜로 영화 등으로 정의될 수도 있다.
또한, 이미지의 내용은 이미지상에 특정 대상이 포함되는지 여부에 대한 정보가 포함될 수 있다. 구체적으로, 이미지의 내용은 선정성 또는 자극성이 심한 대상이 이미지상에 포함되는지 여부에 대한 정보를 포함할 수 있다.
이미지의 특성 중 이미지의 내용에 기초하여 필터의 파라미터를 결정하는 일 예로, 프로세서(120)는 인공지능 모델을 통해 이미지의 카테고리를 인지하고 인지된 카테고리에 따른 화질 값, 즉 파라미터를 세팅할 수 있다. 이때, 인지된 카테고리에 따른 파라미터 세팅 값은 기존에 학습된 것일 수 있다.
만약, 세부 카테고리가 영화인 경우라면, 프로세서(120)는 영화 모드에 대응되는 화질을 제공하기 위해 색감 또는 명암비에 대한 파라미터 값을 최소화하는 한편 영화가 끝날 때까지 유지(고정 파라미터)할 수 있다. 또한, 프로세서(120)는 노이즈 또는 선명도 개선에 대한 파라미터 값은 실시간으로 변경하여(가변 파라미터) 이미지에 적용할 수 있다.
만약, 세부 카테고리가 스포츠 영상이고 구체적으로 축구 영상인 경우라면, 프로세서(120)는 선명한 모드에 따른 화질을 제공하기 위해 색감 또는 명암비에 대한 파라미터 값을 높게 설정하는 한편 영상이 끝날 때까지 유지(고정 파라미터)할 수 있다. 또한, 잔디와 관객 등 선명하게 잘 보이도록 처리할 필요가 있는 텍스처가 이미지상에 포함되는지 여부에 따라, 프로세서(120)는 선명도에 대한 파라미터 값을 실시간으로 또는 이미지 영역별로 변경(가변 파라미터)할 수도 있다.
다른 예로, 프로세서(120)는 인공지능 모델을 통해, 잔인하거나 선정적인 내용 등 자극적인 내용을 포함하고 있는 입력된 이미지의 내용을 고려하여, 모자이크 필터가 수행하는 모자이크 필터링에 대한 파라미터 값을 비교적 높게 결정할 수 있다.
한편, 이미지 신호의 특성은 주파수 특성을 포함할 수 있고, 일 예로 주파수 신호에 있어 유독 변화가 심한 부분을 노이즈 특성에 대응되는 것으로 볼 수 있다. 다만, 이에 한정되는 것은 아니다.
한편, 각각의 필터에 대한 파라미터는 필터별로 하나만 존재하는 것은 아닐 수 있다. 일반적으로 각각의 필터는 필터링을 수행하기 위해 여러 가지 요소를 제어하는 경우가 다수이다.
따라서, 인공지능 모델은 학습용 이미지를 타겟 이미지로 변환하기 위해 학습용 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대하여, 하나의 파라미터가 아닌 복수의 파라미터를 바탕으로 학습될 수 있다.
도 5는 인공지능 모델이 각각의 학습 이미지를 더 높은 품질의 타겟 이미지로 변환하기 위한 학습 파라미터의 또다른 예를 도시한 것이다.
도 5와 같은 학습 데이터를 통해, 인공지능 모델은 각각의 학습 이미지를 처리함에 있어, 각각의 필터에 포함된 복수의 파라미터에 대한 적절한 수치 값(학습 파라미터)을 학습할 수 있다.
한편, 도 4 및 도 5에 표시되는 학습 데이터들은 사용자에 의해 전자 장치(100)에 입력되어 인공지능 모델의 학습에 이용될 수 있다.
이때, 학습 데이터들은 다른 외부의 이미지 처리 장치(도시되지 않음)가 이미지를 분석하는 방법에 대한 데이터에 기초한 것일 수 있다.
도 4 및 도 5에 표시되는 학습 이미지는 고화질의 원본 데이터에 해당하는 이미지일 수 있다. 또는, 학습 이미지는 원본 데이터가 아닌 원본 데이터를 후처리하여 방송, 스트리밍 서비스 등을 통해 전자 장치(100)에 제공되는 변형 데이터에 해당하는 이미지일 수 있다.
그리고, 프로세서(120)는 인공지능 모델을 통해 입력된 이미지에 대응되는 이미지 신호의 특성 및 학습된 연관관계에 기초하여, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수 있다.
간단한 예로, 특정한 특성 A를 갖는 학습 이미지에 대해서 필터 B에 대한 파라미터의 값을 '10'으로 한 학습 파라미터 값을 인공지능 모델이 학습한 경우, 프로세서(120)는 입력된 이미지가 동일한 특성 A를 갖는다면 입력된 이미지를 처리함에 있어 필터 B의 파라미터 값을 '10'으로 결정할 수 있다.
다만, 인공지능 모델이 학습하는 이미지의 특성 및 파라미터의 연관관계는 상술한 예와 같이 한 가지 특성 및 파라미터의 일대일 관계만으로 단순하게 정의되지는 않을 가능성이 높다. 일반적으로, 프로세서(120)는 학습된 인공지능 모델에 정의된 이미지의 수많은 특성들과 복수 파라미터들 간의 복잡한 연관관계에 기초하여, 입력된 이미지를 처리하기 위한 복수의 필터들에 대한 파라미터를 결정하게 된다.
한편, 도 6은 프로세서(120)가 입력된 이미지에 대한 필터 A(610)의 파라미터를 결정한 결과, 결정된 파라미터를 기초로, 필터 A(610)가 입력된 이미지의 처리를 수행하는 일 예를 설명하기 위한 도면이다.
도 6을 참조하면, 입력된 이미지의 이미지 신호(Iin)가 입력되면 이미지 신호(Iin)는 필터 A(610)가 수행할 수 있는 최대치(αmax) 로 필터링되어 "Ifiltered"가 된다.
한편, 도 6에서 프로세서(120)는 학습된 인공지능 모델(620)을 통해 입력된 이미지에 대한 필터 A(610)를 위한 파라미터 αgain 을 결정한다.
이후, 필터 게인 제어부(630)에 Iin 과 Ifiltered를 연산한 결과인 Idiff (= Iin - Ifiltered)가 입력된 결과, Idiff 와 αgain을 이용하여 I'diff (= αgain /αmax * Idiff)가 얻어질 수 있다.
그리고, I'diff와 Iin을 연산한 결과 필터 A의 필터링이 수행된 출력 이미지 신호(Iout = Iin - I'diff)가 얻어질 수 있다.
도 6의 과정이 병렬적으로 각각의 필터에 대하여 수행될 수 있다. 다만, 이는 하나의 예일 뿐 파라미터 기반의 필터링 제어가 반드시 이에 한정되는 것만은 아니다.
한편, 프로세서(120)는 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대해 순차적으로 필터링을 수행할 수도 있다.
즉, 프로세서(120)가 결정된 파라미터를 기초로 각각의 필터를 제어하는 한편, 입력된 이미지는 프로세서(120)에 의해 제어되는 필터 각각을 순서대로 거치면서, 입력된 이미지에 대한 순차적인 이미지 처리가 각각의 필터별로 수행될 수 있다.
한편, 인공지능 모델은 입력되는 이미지 및 결정된 파라미터를 기초로 추가로 학습될 수도 있다. 즉, 입력되는 이미지 및 결정된 파라미터도 각각 학습 이미지 및 학습 파라미터로 사용될 수 있다.
또한, 인공지능 모델은 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대해 추가로 학습될 수도 있다.
사용자의 콘텐츠 소비 환경은 입력되는 이미지의 평균적인 해상도, 이미지가 입력되는 네트워크 환경 등을 포함할 수 있다.
일 예로, 만약 입력되는 이미지의 평균적인 해상도가 매우 낮은 경우라면, 프로세서(120)는 입력되는 이미지의 저 해상도 특성을 학습한 인공지능 모델을 통해, 입력되는 이미지를 처리하는 선명도 개선 필터의 파라미터를 평균적으로 더욱 높게 결정할 수 있다.
도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 7에 의하면, 전자 장치(100)는 저장부(110), 프로세서(120), 입력부(130), 영상 분석부(140), 신호 처리부(150), 통신부(160), 사용자 입력부(170), 출력부(180) 등을 포함한다.
입력부(130)는 외부 장치(도시되지 않음)로부터 유선 또는 무선의 방식으로 데이터 및 신호를 입력받을 수 있다.
입력부(130)는 외부 장치로부터 이미지 신호 또는 음성 신호를 입력받을 수 있다.
일 예로, 전자 장치(100)가 TV이고, 외부 장치가 셋톱 박스인 경우라면, 입력부(130)는 외부 장치가 방송국(미도시) 등으로부터 수신한 실시간 방송 콘텐츠를 수신하거나, VOD 서비스를 통해 제공되는 콘텐츠를 수신할 수 있다.
이를 위해, 입력부(130)는 HDMI(High-Definition Multimedia Interface) 단자, 컴포넌트 단자, 또는 USB 단자 중 적어도 하나를 포함하여 외부 장치와 연결되거나, 인터넷 등과 같은 네트워크에 연결되기 위한 통신 모듈을 포함하여, 네트워크를 통해 외부 장치와 연결될 수 있다.
입력부(130)는 외부로부터 사용자의 음성을 입력받을 수도 있다. 이를 위해 입력부(130)는 음성을 신호 형태로 변환하기 위한 마이크(도시되지 않음)를 포함할 수도 있다.
영상 분석부(140)는 입력된 이미지의 특성을 분석하기 위한 구성이다. 영상 분석부(140)는 입력된 이미지 신호의 특성을 분석하여 요소별로 수치화할 수 있다.
프로세서(120)는 영상 분석부(140)에서 분석된 이미지 신호의 특성에 기초하여 인공지능 모델을 학습시킬 수 있다. 또한, 프로세서(120)는 영상 분석부(140)에서 분석된 입력된 이미지 신호의 특성 및 인공지능 모델에 기초하여, 입력된 이미지 신호를 처리하기 위한 복수의 필터에 대한 파라미터를 결정할 수도 있다.
신호 처리부(150)는 입력부(130)를 통해 입력된 이미지 및 복수의 필터에 의하여 이미지 처리된 이미지에 대한 신호 처리를 수행할 수 있다. 또한, 신호 처리부(150)는 입력부(130)를 통해 입력된 음성에 대해서도 신호 처리를 수행할 수 있다.
구체적으로, 신호 처리부(130)는 이미지 신호 또는 음성 신호에 대한 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행할 수 있다.
통신부(160)는 전자 장치(100)가 유선 또는 무선의 방식으로 외부 장치(도시되지 않음)와 데이터를 송수신할 수 있게 한다.
일 예로, 통신부(160)는 외부 서버(도시되지 않음) 또는 방송국(도시되지 않음)으로부터 이미지 또는 음성에 대한 데이터를 수신할 수 있다.
또한, 통신부(160)는 전자 장치(100)에서 처리가 완료된 이미지 또는 음성에 대한 데이터를 외부 서버 또는 방송국으로 다시 전송할 수도 있다.
인공지능 모델의 학습이 외부장치(도시되지 않음)에서 이루어지는 경우, 통신부(160)는 학습된 인공지능 모델에 대한 데이터를 외부 장치로부터 수신할 수도 있다. 이때, 프로세서(120)는 수신된 인공지능 모델에 대한 데이터를 저장부(110)에 저장하고, 인공지능 모델을 이용할 수 있다.
통신부(160)는 입력된 이미지에 대한 전자 장치(100)의 화질 개선 기능을 업데이트 하기 위해, 화질 개선에 대한 기술 및 알고리즘에 대한 데이터를 외부 서버로부터 수신할 수 있다. 프로세서(120)는 수신된 기술 및 알고리즘에 기초하여 인공지능 모델을 학습시킬 수 있다.
사용자 입력부(170)는 사용자의 전자 장치(100)에 대한 다양한 명령을 입력받는다.
사용자 입력부(170)는 다양한 원격 제어 신호를 수신할 수 있다. 또한, 사용자 입력부(170)는 사용자가 발화의 형태로 전자 장치(100)를 제어할 수 있도록 사용자의 음성을 수신하는 마이크(도시되지 않음)를 포함할 수 있다.
또한, 사용자 입력부(170)는 입력 패널로 구현될 수도 있다. 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 입력 패널은 출력부(180)의 디스플레이(도시되지 않음)와 일체형으로 구현될 수 있다.
그리고, 원격 제어 신호나 음성 또는 터치 등 사용자의 명령을 입력받은 사용자 입력부(170)가 해당 명령을 프로세서(120)로 전달하면, 프로세서(120)는 그 명령에 대응되는 전자 장치(100)의 기능을 수행할 수 있다.
출력부(180)는 입력된 이미지 또는 입력된 이미지가 복수의 필터를 통해 필 터링된 이미지를 디스플레이하기 위한 디스플레이(미도시), 입력된 음성 및 입력된 음성이 다른 복수의 필터를 통해 필터링된 음성을 출력하는 오디오 출력부(미도시)를 포함할 수 있다.
이 경우, 디스플레이(미도시)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이 등으로 구현되고, 오디오 출력부(미도시)는 스피커(미도시) 또는 외부 출력단자(미도시) 등으로 구현될 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)에 포함된 저장부(110)에는, DNN(Deep Neural Network)에 기반하여 음성 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장되어 있을 수 있다.
이때, DNN의 Layer 구조는 RNN을 기반으로 한 Layer 구조를 포함할 수 있다. 이를 통해, 음성 신호가 시간에 따라 변화하는 데이터라는 점이 인공지능 모델의 학습에 적절히 반영될 수 있다.
또한, 프로세서(120)는 인공지능 모델을 통해, 입력된 음성에 대한 음성 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 음성에 대한 필터링을 수행하여, 입력된 음성에 대한 음성 처리를 수행할 수도 있다.
이때, 복수의 필터는, 입력된 음성에 대한 노이즈 필터, 저대역 필터, 중대역 필터, 고대역 필터 등으로 구현될 수 있다. 다만, 음성의 품질 개선을 위한 필터이면 무엇이든 가능하므로, 복수의 필터가 반드시 이러한 필터들에만 한정되지는 않는다.
이 경우, 인공지능 모델은, 학습 대상인 음성 및 학습 대상인 음성을 타겟 품질의 음성으로 변환하기 위해 학습 대상인 음성에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것일 수 있다.
구체적으로, 인공지능 모델은, 학습 대상인 음성에 대응되는 음성 신호의 특성과, 학습 대상인 음성에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것일 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)가 음성 신호를 처리함에 있어, 인공지능 모델의 학습 대상을 설명하기 위한 도면이다.
도 8을 참조하면, 각 학습 음성의 특성에 맞도록 각각의 필터를 제어하기 위한 적합한 파라미터 값(학습 파라미터)을 확인할 수 있다. 도 8과 같은 학습 대상을 기반으로, 프로세서(120)는 인공지능 모델을 학습시킬 수 있다.
이후, 프로세서(120)는 인공지능 모델을 통해 입력된 음성에 대한 음성 처리에 이용되는 노이즈 필터, 저대역 필터, 중대역 필터, 고대역 필터 등에 대한 파라미터를 결정하고, 결정된 파라미터를 바탕으로 복수의 필터들을 통해 입력된 음성에 대한 필터링을 수행하여, 입력된 음성에 대한 음성 처리를 수행할 수 있다.
도 8에서 프리셋 파라미터는, 입력된 음성의 특성 중 하나 이상의 요소에 따라, 복수의 필터에 대한 파라미터를 종합적으로 제어하기 위한 모드를 나타내는 파라미터이다.
예를 들어, 프리셋 파라미터의 각 값은 입력된 음성이 음악 작품인 경우 음악 작품의 장르에 따라 1: 클래식 모드, 2: 락 모드, 3: 발라드 모드, 4: 힙합 모드 등으로 설정되어, 입력된 음악 작품의 장르에 따라 가장 적합한 음성 처리를 수행하기 위해, 기설정된 복수 필터에 대한 파라미터 값들이 각 모드별로 종합적으로 학습될 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 순서도이다.
이미지 처리 방법에 있어, 먼저 DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델을 학습시킬 수 있다. (S910)
이때, 복수의 필터는 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 등일 수 있다.
복수의 필터에 대한 파라미터는 복수의 필터 각각이 입력된 이미지를 필터링하는 정도를 나타내는 변수일 수 있다. 각 필터에 대하여 적용 가능한 파라미터 값의 폭은, 각 필터의 하드웨어적 성능에 기반하여 정해질 수 있다.
이때, DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델을 학습시킬 수도 있다.
한편, 학습 이미지 및 학습 이미지를 타겟 이미지로 변환하기 위해 학습 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터를 바탕으로 인공지능 모델을 학습시킬 수 있다.
학습 이미지와 학습 이미지의 처리에 사용되는 학습 파라미터에 대한 정보는 인공지능 모델이 입력된 이미지에 대한 파라미터를 결정함에 있어 모방해야 할 정해진 답이라고 할 수 있고, 이러한 데이터를 Ground Truth Data라고 한다. 인공지능 모델의 학습에 Ground Truth Data를 직접적으로 이용함으로써, 인공지능 모델의 학습에 있어 시간과 에너지를 아낄 수 있다는 장점이 있다.
구체적으로, 인공지능 모델이 학습 이미지에 대응되는 이미지 신호의 특성과 학습 이미지에 대한 필터링 시 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 식별하도록 인공지능 모델을 학습시킬 수 있다.
또는, 학습 이미지 및 복수의 필터 각각에 대한 파라미터를 바탕으로 인공지능 모델을 학습시킨 후, 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경을 통해 해당 인공지능 모델을 추가로 학습시킬 수도 있다.
그 후, 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정한다. (S920)
이때, 입력된 이미지에 대응되는 이미지 신호의 특성 및 연관관계에 기초하여, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정할 수도 있다.
그리고, 학습 이미지 및 복수의 필터 각각에 대한 파라미터를 바탕으로 인공지능 모델을 학습시킨 후, 입력되는 이미지 및 결정된 파라미터를 통해 해당 인공지능 모델을 추가로 학습시킬 수도 있다.
다음으로, 결정된 파라미터를 바탕으로 복수의 필터를 통해 입력된 이미지에 대한 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행한다. (S930)
이때, 결정된 파라미터를 바탕으로, 복수의 필터를 통해 입력된 이미지에 대해 순차적으로 필터링을 수행하여, 입력된 이미지에 대한 이미지 처리를 수행할 수도 있다.
도 9에서 설명한 이미지 처리 방법은, 도 2 및 도 7에서 도시 및 설명한 구성을 가지는 전자 장치(100)에서 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 도 9에서 설명한 이미지 처리 방법을 수행하기 위한 프로그램이 설치된 다양한 종류의 전자 장치에서 상술한 바와 같이 복수의 필터에 대한 파라미터를 결정하여 이미지를 처리할 수 있다.
이러한 프로그램은 기록 매체에 저장된 상태로 배포될 수도 있다. 이 경우, 기록 매체가 연결 또는 탑재된 장치에 의해 상술한 이미지 처리 방법이 구현될 수도 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 인공지능 모델이 저장된 저장부; 및
    상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하고, 상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 필터는,
    상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함하는, 전자 장치.
  3. 제1항에 있어서,
    상기 인공지능 모델은,
    이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 것인, 전자 장치.
  4. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 학습된 것인, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 인공지능 모델을 통해, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는, 전자 장치.
  6. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지 및 상기 결정된 파라미터를 통해 추가로 학습되는, 전자 장치.
  7. 제3항에 있어서,
    상기 인공지능 모델은,
    상기 이미지 및 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 학습된 후, 상기 입력되는 이미지에 기초한 사용자의 콘텐츠 소비 환경에 대하여 추가로 학습되는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대해 순차적으로 필터링을 수행하는, 전자 장치.
  9. 제1항에 있어서,
    DNN 가속기;를 더 포함하고,
    상기 인공지능 모델은, 상기 DNN 가속기를 이용하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 학습된 것인, 전자 장치.
  10. 제1항에 있어서,
    상기 복수의 필터 각각이 상기 입력된 이미지를 필터링하는 정도는 상기 파라미터에 의해 결정되는, 전자 장치.
  11. 전자 장치의 이미지 처리 방법에 있어서,
    DNN(Deep Neural Network)에 기반하여, 이미지 처리에 이용되는 복수의 필터에 대한 파라미터를 결정하도록 인공지능 모델을 학습시키는 단계;
    상기 인공지능 모델을 통해, 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는 단계; 및
    상기 결정된 파라미터를 바탕으로 상기 복수의 필터를 통해 상기 입력된 이미지에 대한 필터링을 수행하여, 상기 입력된 이미지에 대한 이미지 처리를 수행하는 단계;를 포함하는, 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 복수의 필터는,
    상기 입력된 이미지에 대한 노이즈 제거(Noise Reduction)를 위한 필터, 선명도 개선(Sharpeness Enhancement)을 위한 필터, 명암비 개선(Contrast Correction)을 위한 필터, 색상 개선을 위한 필터, 명도(Brightness) 조절을 위한 필터 및 모자이크 처리를 수행하기 위한 필터 중 적어도 2 개을 포함하는, 이미지 처리 방법.
  13. 제11항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    이미지 및 상기 이미지를 타겟 이미지로 변환하기 위해 상기 이미지에 대한 필터링 시 요구되는 상기 복수의 필터 각각에 대한 파라미터를 바탕으로 상기 인공지능 모델을 학습시키는, 이미지 처리 방법.
  14. 제13항에 있어서,
    상기 인공지능 모델을 학습시키는 단계는,
    상기 인공지능 모델이 상기 이미지에 대응되는 이미지 신호의 특성과 상기 요구되는 복수의 필터 각각에 대한 파라미터의 연관관계에 대하여 식별하도록 상기 인공지능 모델을 학습시키는, 이미지 처리 방법.
  15. 제14항에 있어서,
    상기 파라미터를 결정하는 단계는,
    상기 인공지능 모델을 통해, 상기 입력된 이미지에 대응되는 이미지 신호의 특성 및 상기 연관관계에 기초하여, 상기 입력된 이미지에 대한 이미지 처리에 이용되는 복수의 필터 각각에 대한 파라미터를 결정하는, 이미지 처리 방법.
PCT/KR2019/002592 2018-03-19 2019-03-06 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체 WO2019182269A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/979,303 US20200401889A1 (en) 2018-03-19 2019-03-06 Electronic device, image processing method of electronic device, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0031348 2018-03-19
KR1020180031348A KR102525159B1 (ko) 2018-03-19 2018-03-19 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Publications (1)

Publication Number Publication Date
WO2019182269A1 true WO2019182269A1 (ko) 2019-09-26

Family

ID=67987331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002592 WO2019182269A1 (ko) 2018-03-19 2019-03-06 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Country Status (3)

Country Link
US (1) US20200401889A1 (ko)
KR (1) KR102525159B1 (ko)
WO (1) WO2019182269A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752011A (zh) * 2019-10-29 2021-05-04 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子装置和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
KR20210062485A (ko) 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210067699A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102303727B1 (ko) * 2020-04-28 2021-09-27 주식회사 딥인스펙션 인공지능 기반의 포인트 클라우드 노이즈 제거 시스템
KR102548993B1 (ko) * 2020-12-02 2023-06-27 주식회사 텔레칩스 다양한 영상 모드를 지원하는 이미지 스케일링 시스템 및 그 방법
KR20220098504A (ko) * 2021-01-04 2022-07-12 오드컨셉 주식회사 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치
US11778305B2 (en) * 2021-06-18 2023-10-03 Qualcomm Incorporated Composite image signal processor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128111A1 (en) * 2011-11-18 2013-05-23 Stmicroelectronics (Canada), Inc. High-quality single-frame superresolution training and reconstruction engine
KR20170000767A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170344881A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Information processing apparatus using multi-layer neural network and method therefor
KR20180013092A (ko) * 2016-07-28 2018-02-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP5361283B2 (ja) * 2008-08-21 2013-12-04 キヤノン株式会社 色処理装置およびその方法
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
US10813595B2 (en) * 2016-12-09 2020-10-27 General Electric Company Fully automated image optimization based on automated organ recognition
US11094029B2 (en) * 2017-04-10 2021-08-17 Intel Corporation Abstraction layers for scalable distributed machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128111A1 (en) * 2011-11-18 2013-05-23 Stmicroelectronics (Canada), Inc. High-quality single-frame superresolution training and reconstruction engine
KR20170000767A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170344881A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Information processing apparatus using multi-layer neural network and method therefor
KR20180013092A (ko) * 2016-07-28 2018-02-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752011A (zh) * 2019-10-29 2021-05-04 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子装置和存储介质
CN112752011B (zh) * 2019-10-29 2022-05-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子装置和存储介质

Also Published As

Publication number Publication date
KR102525159B1 (ko) 2023-04-25
KR20190109820A (ko) 2019-09-27
US20200401889A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
WO2019182269A1 (ko) 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
WO2020105948A1 (en) Image processing apparatus and control method thereof
WO2018117428A1 (en) Method and apparatus for filtering video
WO2020101143A1 (en) Image processing apparatus and method of operating the same
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2019000462A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
WO2021112446A1 (en) Pollution source determination robot cleaner and operating method thereof
WO2020256306A1 (en) Electronic apparatus and controlling method thereof
WO2021261836A1 (en) Image detection apparatus and operation method thereof
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
EP3360322A1 (en) Electronic apparatus and controlling method thereof
WO2021040347A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2020105979A1 (en) Image processing apparatus and control method thereof
WO2020091268A1 (en) Electronic apparatus and method for controlling thereof
WO2020101398A1 (en) Image processing apparatus and method thereof
WO2019190142A1 (en) Method and device for processing image
EP3545685A1 (en) Method and apparatus for filtering video
WO2020050508A1 (en) Image display apparatus and operation method of the same
EP3707678A1 (en) Method and device for processing image
WO2019231068A1 (en) Electronic device and control method thereof
EP3738305A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772531

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19772531

Country of ref document: EP

Kind code of ref document: A1