WO2022163995A1 - 영상 처리 장치 및 그 동작방법 - Google Patents

영상 처리 장치 및 그 동작방법 Download PDF

Info

Publication number
WO2022163995A1
WO2022163995A1 PCT/KR2021/017759 KR2021017759W WO2022163995A1 WO 2022163995 A1 WO2022163995 A1 WO 2022163995A1 KR 2021017759 W KR2021017759 W KR 2021017759W WO 2022163995 A1 WO2022163995 A1 WO 2022163995A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parameter
image quality
update
processing apparatus
Prior art date
Application number
PCT/KR2021/017759
Other languages
English (en)
French (fr)
Inventor
김봉조
최규하
박승호
이상조
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202180091217.6A priority Critical patent/CN116783614A/zh
Priority to EP21923404.4A priority patent/EP4184425A4/en
Priority to US17/573,010 priority patent/US20220245767A1/en
Publication of WO2022163995A1 publication Critical patent/WO2022163995A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • Embodiments relate to an image processing apparatus and an operating method thereof.
  • the present invention relates to an image processing apparatus and an operating method for performing image quality processing of an image based on an image quality parameter for the image.
  • the image processing apparatus performs image quality processing using image quality parameters to improve image quality of an image.
  • image quality parameters there are a rule-based parameter setting method and a deep learning-based parameter setting method as a method of setting the quality parameter.
  • the rule-based parameter setting method may refer to, for example, a method of detecting image characteristics such as a texture, edge, and position or intensity of noise included in an image, and setting a predefined parameter corresponding to the detected image characteristic.
  • the deep learning-based parameter setting method may refer to, for example, a method of extracting a feature of an image using a deep neural network and setting an acquired image quality parameter using the extracted feature.
  • Embodiments may determine a picture quality parameter based on transmission characteristics and image characteristics of an image, perform picture quality processing of an image based on the determined picture quality parameter, and update the picture quality parameter in a direction to improve the picture quality of the image.
  • An image processing apparatus and an operating method thereof may be provided.
  • An image processing apparatus includes a memory storing one or more instructions, and a processor executing the one or more instructions stored in the memory, wherein the processor is configured to: a first image corresponding to the first image among a plurality of clusters stored in the image processing apparatus, including a representative image characteristic and a representative image quality parameter based on the transmission characteristic of the first image and the first image characteristic Search for one cluster, perform image quality processing on the first image based on the first representative image quality parameter of the searched first cluster, and determine the first representative image quality parameter based on the first image quality-processed An updated first update parameter may be obtained, and the plurality of clusters may be updated based on the first update parameter.
  • the processor obtains image features and initial parameters corresponding to each of a plurality of images, and performs image quality processing on each of the plurality of images based on the obtained initial parameters, Based on the image quality-processed image, an update parameter updated with the initial parameter may be obtained, and the plurality of clusters may be generated using transmission characteristics, image characteristics, and update parameters of each of the plurality of images.
  • the processor may acquire an image feature and an initial parameter corresponding to each of the plurality of images by using a parameter neural network.
  • the processor determines an update direction of the initial parameter based on the image quality-processed, applies a preset value to the update direction, and updates the initial parameter, parameters can be obtained.
  • the processor may determine the update direction indicating whether to increase or decrease the value of the initial parameter applied to the image quality-processed image by using a parameter update neural network.
  • the processor is configured to group raw data including an image characteristic and an update parameter of each of the plurality of images based on the transmission characteristics of each of the plurality of images, and group the raw data into the same group.
  • Raw data may be clustered into K clusters, and the representative image feature and the representative image quality parameter for each of the clusters may be determined based on the raw data included in the same cluster.
  • the processor may perform the clustering on the basis that the number of raw data grouped into the same group is equal to or greater than a preset number.
  • the image processing apparatus may further include a communication unit including a communication circuit, and the processor may control the communication unit to receive cluster information including the plurality of clusters from an external server.
  • the processor may control the communication unit to transmit the transmission characteristic of the first image to the external server and receive cluster information corresponding to the transmission characteristic of the first image from the external server.
  • the processor may control the communication unit to transmit cluster information including the plurality of clusters to an external server.
  • a method of operating an image processing apparatus includes extracting a first image feature from a first image, and based on a transmission characteristic of the first image and the first image feature, a representative image feature and a representative searching for a first cluster corresponding to the first image among a plurality of clusters stored in the image processing apparatus including a quality parameter; based on a first representative quality parameter of the searched first cluster, the first performing image quality processing; acquiring a first update parameter obtained by updating the first representative image quality parameter based on the image quality-processed first image; and based on the first update parameter, the plurality of updating the clusters of
  • the image processing apparatus may update a picture quality parameter used for picture quality processing in a direction to improve picture quality based on the picture quality-processed image, so that the image processing apparatus user's latest viewing history Continuous image quality improvement is possible.
  • the image processing apparatus may use an updated image quality parameter in another image processing apparatus through interworking with an external server that collects and manages image quality parameters. Accordingly, even in the case of an image that the user of the image processing apparatus sees for the first time, image quality processing may be performed using the optimized image quality parameter. In addition, by interworking with an external server, it is possible to solve the hardware resource limitation of the image processing apparatus.
  • FIG. 1 is a diagram illustrating an example of an image processing apparatus according to various embodiments of the present disclosure
  • FIG. 2 is a flowchart illustrating an example of a method of operating an image processing apparatus according to various embodiments of the present disclosure
  • FIG. 3 is a diagram illustrating an example of an image processing apparatus according to various embodiments.
  • FIG. 4 is a diagram illustrating an example of a parametric neural network according to various embodiments.
  • FIG. 5 is a diagram illustrating an example of a method for training a parametric neural network according to various embodiments.
  • FIG. 6 is a diagram illustrating an example of a method of determining picture quality parameters according to various embodiments of the present disclosure
  • FIG. 7 is a diagram illustrating an example of a parameter updater according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of a method for training a parameter update network according to various embodiments.
  • FIG. 9 is a diagram illustrating an example of a method of generating cluster information according to various embodiments.
  • FIG. 10 is a flowchart illustrating an example of a method of operating an image processing apparatus according to various embodiments of the present disclosure
  • FIG. 11 is a diagram illustrating an example of an operation in which an image processing apparatus transmits/receives cluster information to and from an external server according to various embodiments of the present disclosure
  • FIG. 12 is a block diagram illustrating an example of a configuration of an image processing apparatus according to various embodiments.
  • FIG. 13 is a block diagram illustrating an example of a configuration of an image processing apparatus according to various embodiments.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c all", or variations thereof.
  • the term “user” may mean a person who controls a system, function, or operation, and may include a developer, an administrator, or an installer.
  • an 'image' or 'picture' may indicate a still image, a moving picture including a plurality of continuous still images (or frames), or a video.
  • FIG. 1 is a diagram illustrating an example of an image processing apparatus according to various embodiments of the present disclosure
  • an image processing apparatus 100 may be an electronic device that receives an image and processes the quality of the received image.
  • the image processing apparatus 100 may include a TV, a mobile phone, a digital camera, a camcorder, a laptop computer, a tablet PC, a desktop, an e-book terminal, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Personal Digital Assistant) Portable Multimedia Player), navigation, MP3 player, wearable device, etc. may be implemented in various forms, but is not limited thereto.
  • the image processing apparatus 100 may display an image on which image quality processing has been performed, including a display, on the display.
  • the image processing apparatus 100 may be a fixed electronic device disposed at a fixed location or a mobile electronic device having a portable form, and may be a digital broadcast receiver capable of receiving digital broadcast.
  • the embodiments may be easily implemented in an image processing apparatus having a large display such as a TV, but is not limited thereto.
  • the image processing apparatus 100 may perform image quality processing on the image 10 received or input from an external device or an external server, and may display the image on which the image quality processing has been performed on a display.
  • the image quality processing may include processing such as noise removal and detail enhancement, but is not limited thereto.
  • the image processing apparatus 100 may include transmission characteristics (eg, input resolution, bit rate, information about an image source, etc.) and image characteristics (eg, included in an image) of the input image 10 .
  • image quality parameters may be determined based on the texture, noise, edge information, etc.).
  • the image processing apparatus 100 may perform image quality processing by using the determined image quality parameter. For example, the image processing apparatus 100 may perform noise removal processing using the first picture quality parameter, and may perform detail enhancement processing using the second picture quality parameter.
  • the image processing apparatus 100 may update the image quality parameter used for image quality processing in a direction in which the image quality is improved based on the image quality-processed image. Also, the image processing apparatus 100 according to an exemplary embodiment may use an updated image quality parameter in another image processing apparatus through interworking with an external server that collects and manages the image quality parameter. Accordingly, even in the case of an image that the viewer of the image processing apparatus 100 sees for the first time, image quality processing may be performed using the optimized image quality parameter.
  • various embodiments of the present disclosure will be described in more detail with reference to the drawings.
  • FIG. 2 is a flowchart illustrating an example of a method of operating an image processing apparatus according to various embodiments of the present disclosure
  • the image processing apparatus 100 may receive an image ( S210 ), and transmission characteristics of the image (eg, input resolution, bit rate, information about an image source, etc.) ) can also be received.
  • transmission characteristics of the image eg, input resolution, bit rate, information about an image source, etc.
  • the image processing apparatus 100 may extract image features of the received image (S220).
  • the image processing apparatus 100 may extract image features of an image by using a feature extraction network including one or more convolutional layers.
  • the feature extraction network may be a neural network trained to receive an image and extract image features for the input image.
  • the image processing apparatus 100 may search for a cluster corresponding to the received image, for example, from pre-stored cluster information, based on transmission characteristics and image characteristics of the image ( S230 ).
  • the pre-stored cluster information may include cluster tables for each transmission characteristic, each cluster table includes a plurality of clusters, and one cluster includes a representative image feature and a representative image quality parameter corresponding to the representative image feature. have.
  • the pre-stored cluster information may include information generated by the image processing apparatus 100 or information received from an external server or an external device.
  • a method for the image processing apparatus 100 to generate cluster information will be described in more detail below with reference to FIG. 9 .
  • the image processing apparatus 100 selects one cluster table from among a plurality of cluster tables based on a transmission characteristic of an image, and selects a plurality of clusters included in the selected cluster table based on the image characteristic. You can choose one of the clusters.
  • the image processing apparatus 100 may perform image quality processing on the received image based on the representative image quality parameter included in the selected cluster ( S240 ).
  • the representative picture quality parameter may include a plurality of picture quality parameters.
  • the representative image quality parameter includes a first image quality parameter applied to the first image quality processing (eg, noise removal processing) and a second image quality parameter applied to the second image quality processing (eg, detail enhancement processing). may be included, but is not limited thereto.
  • the image processing apparatus 100 may update the representative image quality parameter based on the image quality-processed (S250).
  • the image processing apparatus 100 may update the representative image quality parameter by determining an update direction of the representative image quality parameter applied to image quality processing and applying a preset value to the determined update direction.
  • the image processing apparatus 100 may update a plurality of clusters included in the cluster information based on the updated image quality parameter ( S260 ).
  • the image processing apparatus 100 may store the updated image quality parameter, and when the stored image quality parameters reach a preset number, perform clustering to update the plurality of clusters.
  • FIG. 3 is a block diagram illustrating an example of a configuration of an image processing apparatus according to various embodiments of the present disclosure
  • the image processing apparatus 100 includes a picture quality processing unit (eg, including an image processing circuit, 310 ) and a parameter calculation unit (eg, various processing circuits and/or execution units). contains possible program instructions (320), a parameter determiner (eg, contains various processing circuitry and/or executable program instructions, 330) and a parameter update unit (eg, various processing circuitry and/or execution unit) including possible program instructions, 340).
  • a picture quality processing unit eg, including an image processing circuit, 310
  • a parameter calculation unit eg, various processing circuits and/or execution units
  • a parameter determiner eg, contains various processing circuitry and/or executable program instructions, 330
  • a parameter update unit eg, various processing circuitry and/or execution unit including possible program instructions, 340).
  • the parameter calculator 320 may include various processing circuits and/or executable program instructions, and may acquire image characteristics and quality parameters of an image.
  • the parameter calculator 320 may include a parametric neural network, and may extract image features of an image and obtain a quality parameter using the parametric neural network. This will be described in more detail with reference to FIGS. 4 and 5 .
  • FIG. 4 is a diagram illustrating an example of a parametric neural network according to various embodiments.
  • the parameter neural network 410 may include, for example, a deep neural network that receives an image and outputs a quality parameter.
  • the parameter neural network 410 includes a feature extraction network 420 including one or more convolutional layers for extracting features of an image, and a full connected layer 430 that receives image features of an image and outputs a quality parameter. ) may be included.
  • FIG. 5 is a diagram referenced to explain an example of a method for training a parametric neural network according to various embodiments.
  • the training apparatus may generate training data for training a parametric neural network according to an embodiment.
  • the training apparatus may be a separate apparatus different from the image processing apparatus according to an embodiment.
  • the present invention is not limited thereto.
  • the training apparatus may generate a distorted image 520 by distorting the original image 510 that does not include noise or blur.
  • a picture quality parameter set including a plurality of picture quality parameters may be applied to the transformed image 520 .
  • picture quality processing may be performed.
  • the image quality parameter set may include a pair of a noise removal parameter P1 and a detail enhancement parameter P2.
  • the present invention is not limited thereto, and various types of image quality parameters may be included.
  • image quality processing may be performed by applying a plurality of quality parameter sets to the transformed image 520 .
  • the plurality of image quality processing parameter sets may include different combinations of the noise removal parameter P1 and the detail enhancement parameter P2.
  • the training apparatus performs image quality processing by applying the first image quality parameter set to the deformed image 520 , thereby generating a first restored image 541 , and applying a second image quality parameter set to the deformed image 520 .
  • the second restored image 542 may be generated.
  • image quality processing by applying each of the third to N-th image quality parameter sets to the image transformed in the same manner, third to N-th reconstructed images may be generated.
  • An image closest to the original image 510 may be determined from among the first to Nth image quality processed images through the subjective image quality evaluation 550 of a plurality of image quality evaluators. For example, a reconstructed image having the highest subjective quality score among the first to Nth reconstructed images 541 , 542 , ... may be determined.
  • the training apparatus may determine the parameter sets P11 and P21 applied to the determined reconstructed image as the optimal parameter set for the first transformed image Image 1 obtained by transforming the original image.
  • the training apparatus may obtain second to N-th modified images obtained by modifying the second to N-th original images, and determine optimal parameter sets for each of the second to N-th modified images. .
  • the first to Nth modified images and optimal parameter sets for each of the first to Nth modified images may be stored as the training data 560 .
  • the training data 560 may include a plurality of data sets, and one data set may include a modified image and an optimal parameter set for the modified image.
  • the training device generates training data, but the training device may receive training data generated by an external device.
  • the training apparatus may train the parametric neural network 410 according to an embodiment by using the training data 560 .
  • the parametric neural network 410 may include one or more layers, and the training apparatus may determine weights included in each of the layers.
  • the training device inputs the first transformed image Image 1 to the parameter neural network 410, and the difference between the output parameter set and the optimal parameter sets P11 and P21 for the first transformed image decreases. We can update the weights of the layers in the direction.
  • the training apparatus inputs each of the second to Nth transformed images to the parameter neural network 410, and the difference between the output parameter set and the optimal parameter set for each of the second to Nth transformed images decreases. By updating the weights of the layers in the direction, the parametric neural network 410 can be trained.
  • the present invention is not limited thereto.
  • the trained parameter neural network 410 may output an initial parameter set most optimized for image quality processing of the corresponding image.
  • the parameter determiner 330 may include various processing circuits and/or executable program instructions, and the image quality to be set in the image quality processing unit based on the image transmission characteristics, image characteristics, and initial parameter set. parameters can be determined.
  • the picture quality parameters may include a first picture quality parameter related to noise removal and a second picture quality parameter related to detail enhancement, but is not limited thereto.
  • FIG. 6 is a diagram illustrating an example of a method of determining picture quality parameters according to various embodiments of the present disclosure
  • the parameter determiner 330 may determine picture quality parameters based on whether cluster information 610 including representative image features and representative picture quality parameters has been previously stored. For example, before clustering is performed or when cluster information received from an external device is not stored, the parameter determiner 330 sets the initial parameter set received from the parameter calculator 320 to the image quality processor 310 . It can be determined by the quality parameters to be
  • the parameter determiner 330 transmits characteristics and image characteristics. Based on , image quality parameters to be set in the image quality processing unit 310 may be determined.
  • the cluster information 610 may include a cluster table corresponding to each of the transmission characteristics, and one cluster table may include a plurality of clusters.
  • one cluster includes a representative image feature and a representative image quality parameter corresponding to the representative image feature.
  • the parameter determiner 330 may select a cluster table corresponding to a transmission characteristic of an image from among a plurality of cluster tables, and search for a cluster including a representative image feature most similar to the image feature in the selected cluster table. Accordingly, the parameter determiner 330 may determine the representative image quality parameter included in the searched cluster as the image quality parameters of the image quality processor 310 .
  • the image quality processing unit 310 may include various processing circuits, and may include a noise removing unit 313 and a detail improving unit 315 .
  • the present invention is not limited thereto, and the image quality processing unit 310 may include components that perform various image quality processing.
  • the noise removal unit 313 may include various processing circuits and/or executable program instructions. Based on the first image quality parameter P1 determined by the parameter determination unit 330 , the noise removal processing of the image may be performed.
  • the detail improving unit 315 may include various processing circuits and/or executable program instructions, and based on the second image quality parameter P2 determined by the parameter determining unit 330 , the detail improvement of an image from which noise is removed processing can be performed.
  • the image 350 on which image quality has been processed may be input to the parameter updater 340 .
  • the parameter updater 340 may include various processing circuits and/or executable program instructions, and updates the quality parameters determined by the parameter determiner 330 based on the image 350 on which the image quality has been processed. can do.
  • FIG. 7 is a diagram illustrating an example of a configuration of a parameter updater according to various embodiments of the present disclosure.
  • the parameter updater 340 may include a parameter update network 710 and a parameter update calculator 720 .
  • the parameter update network 710 may include various circuits and/or executable program instructions, may receive an image quality-processed reconstructed image, and may output an update direction of image quality parameters.
  • the update direction output from the parameter update network 710 is a direction for increasing or decreasing the value of the first picture quality parameter and the second picture quality parameter It may include a direction to increase or decrease the value of .
  • FIG. 8 is a diagram illustrating an example of a method for training a parameter update network according to various embodiments.
  • the training apparatus may generate training data 860 for training the parameter update network according to an embodiment.
  • the training apparatus may be a separate apparatus different from the image processing apparatus according to an embodiment, but is not limited thereto.
  • the training apparatus may generate the transformed image 820 by transforming the original image 810 that does not include noise or blur.
  • the training apparatus may perform image quality processing by applying the image quality parameter set 830 including a plurality of image quality parameters to the transformed image 820 , and may generate an image quality processed image 840 .
  • the training apparatus may generate a plurality of quality-processed images by applying a quality parameter set to each of the plurality of transformed images or by applying a plurality of quality parameter sets to one transformed image.
  • the plurality of image quality processed images may include first to Nth image quality processed images.
  • the training apparatus may generate a first image quality processed image on which image quality processing is performed based on the first image quality parameter set.
  • the training apparatus performs noise removal on the deformed image by using a first image quality parameter P11 related to noise removal included in the first image quality parameter set, and uses a second image quality parameter P21 related to detail enhancement, By performing the enhancement processing, the first image quality-processed image Image 1 may be generated.
  • the training apparatus increases or decreases the value of the first image quality parameter P11 related to noise removal and increases or decreases the value of the second image quality parameter P21 related to detail enhancement in the first image quality processing image Images can be obtained as a result of performing image quality processing with combinations of .
  • the training apparatus may determine the optimized increase/decrease direction of the values of the parameters P11 and P21 applied to the image quality processing of the first reconstructed image Image 1 by comparing the resulting images.
  • the training apparatus increases the value of the first image quality parameter P11 and increases the value of the second image quality parameter P21 related to detail enhancement to perform image quality processing with the updated image quality parameters, a first result A second result image obtained by performing image quality processing with image quality parameters in which the first image quality parameter P11 is increased and the second image quality parameter P21 related to detail enhancement is decreased, and the value of the first image quality parameter P11 Decrease the value of the first image quality parameter P11 and the third result image obtained by performing image quality processing with the image quality parameters for which the value of the second image quality parameter P21 is increased and the value of the second image quality parameter P21 is decreased, and the second image quality parameter P21 A fourth resultant image may be generated by performing image quality processing with image quality parameters with reduced values of .
  • An image closest to the original image 810 may be determined from among the first to fourth result images through subjective image quality evaluation by a plurality of image quality evaluators.
  • the training apparatus may determine a result image having the highest subjective quality score among the first to fourth result images.
  • the subjective quality score of the second result image among the first to fourth result images may be the highest.
  • the training apparatus changes the direction of increase/decrease of the values of the first and second image quality parameters P11 and P21 applied to the determined result image (the second result image) to the optimal update direction for the first reconstructed image (Image 1). can decide
  • the training apparatus may determine the direction in which the value of the first image quality parameter P11 increases and the direction in which the value of the second image quality parameter P21 decreases as the optimal update direction.
  • the training apparatus may determine an optimal update direction for each of the second to Nth reconstructed images in the same or similar manner.
  • the training apparatus may determine an increase/decrease direction of the values of the first image quality parameter and the second image quality parameter in a direction of minimizing or reducing the difference between the first restored image Image 1 and the original image 810 . Also, the training apparatus may determine the update direction of the image quality parameters in a direction that minimizes a difference from the original image 810 for each of the second to Nth image quality processing images.
  • the first to Nth image quality-processed images and optimal update directions for each of the first to Nth image quality-processed images may be stored as the training data 860 .
  • the training data 860 includes a plurality of data sets, and one data set may include an image quality-processed image and an optimal parameter update direction for the image quality-processed image. .
  • the training apparatus may use the training data 860 to train the parameter update network 710 according to an embodiment.
  • the parameter update network 710 may include one or more layers, and the training apparatus may determine weights included in each of the layers.
  • the training device inputs the first image quality processed image Image 1 to the parameter update network 710, and the output parameter update direction is optimized for the first image quality processed image (eg, the first image quality parameter P11) ) may be an increasing direction, and the second image quality parameter P21 may be a decreasing direction), and the weights of the layers may be updated.
  • the training apparatus inputs each of the second to Nth image quality processed images to the parameter update network 710, and updates the weights of the layers so that a parameter update direction optimized for each of the second to Nth image quality processed images is output. By doing so, it is possible to train the parameter update network 710 .
  • the present invention is not limited thereto.
  • the parameter update network 710 may output an optimized update direction of image quality parameters applied to the image.
  • the parameter update calculation unit 720 increases or decreases a preset value in the update direction output from the parameter update network 710 .
  • the quality parameters may be updated.
  • the parameter determination unit 330 may include various processing circuits and/or executable program instructions, and may include an updated picture quality parameter received from the parameter update unit 340 .
  • Clustering may be performed based on the cluster information to generate cluster information.
  • a method for the parameter determiner 330 to generate cluster information by performing clustering will be described in detail with reference to FIG. 9 .
  • FIG. 9 is a diagram illustrating an example of a method of generating cluster information according to various embodiments.
  • the parameter determiner 330 may receive and store the updated quality parameters from the parameter updater 340 .
  • the parameter determiner 330 may store the updated quality parameters for each transmission characteristic of the image.
  • the parameter determiner 330 includes a first row data table 911 corresponding to the first transmission characteristic and a second row data table 912 corresponding to the second transmission characteristic. ,... , may include an N-th row data table 919 corresponding to the N-th transmission characteristic.
  • the parameter determiner 330 determines a row including the updated image quality parameter and the image characteristic of the first image. Data may be stored in the first row data table 911 . In this case, the image characteristic of the first image may be received from the parameter calculator 320 as described above with reference to FIG. 3 .
  • the parameter determiner 330 may perform clustering to generate cluster information. For example, when N pieces of raw data are stored in the first raw data table 911 corresponding to the first transmission characteristic, the parameter determiner 330 performs clustering of the N pieces of data to include K clusters. A first cluster table 921 may be generated. The parameter determiner 330 may classify N image features included in the N raw data into K groups, and determine a representative image feature based on the image features included in the same group. Also, a representative picture quality parameter may be determined based on the updated picture quality parameters included in the same group.
  • Each of the K groups corresponds to one cluster, and the first cluster table 921 may include K clusters. Also, one cluster may include a representative image feature and a representative image quality parameter.
  • the second cluster table 922 may be generated by performing clustering.
  • the N-th cluster table 929 may be generated by performing clustering.
  • the present invention is not limited thereto.
  • the parameter determiner 330 may store the generated cluster table and delete the row data stored in the row data table.
  • the parameter determiner 330 continuously receives the updated parameters, stores them in the raw data table, and when the number of raw data is equal to or greater than the preset number, performs clustering again to update the existing cluster table. have.
  • the parameter determiner 330 may determine parameters of the image quality processing unit to perform image quality processing on the image based on the transmission characteristics of the image, the image characteristics, and the updated cluster information. have.
  • the image processing apparatus 100 may continuously update the image quality parameters in a direction in which the image quality is improved, based on the viewing history.
  • FIG. 10 is a flowchart illustrating an example of an operating method of an image processing apparatus according to various embodiments of the present disclosure
  • the image processing apparatus 100 may receive an image ( S1010 ). Also, the image processing apparatus 100 may receive characteristics of an image together.
  • the characteristics of the image may include transmission characteristics of the image, and the transmission characteristics of the image may include resolution, bitrate, source information, and the like of the image.
  • the present invention is not limited thereto.
  • the image processing apparatus 100 may obtain an image characteristic and an initial parameter set for the received image (S1020).
  • the image processing apparatus 100 may obtain an image feature and an initial parameter set for an image by using a parameter neural network.
  • the parameter neural network may be a network trained to receive an image and output an initial parameter set most optimized for image quality processing of the input image. Since the parametric neural network according to an embodiment has been described in detail with reference to FIGS. 4 and 5 , a detailed description thereof will be omitted.
  • the image processing apparatus 100 checks whether pre-stored cluster information exists (S1030), and when the cluster information does not exist (No in operation S1030), the initial parameter set obtained in operation 1020 (S1020) is used. Thus, image quality processing may be performed (S1040).
  • the image quality processing may include, for example, image noise removal processing, image detail improvement processing, and the like.
  • the image processing apparatus 100 performs noise removal processing on the image based on the first image quality parameter included in the initial parameter set obtained in operation 1020 , and the image from which noise is removed based on the second image quality parameter of detail improvement processing can be performed.
  • the present invention is not limited thereto, and the image processing apparatus 100 according to an exemplary embodiment may perform detail enhancement processing first and then noise removal processing.
  • the image processing apparatus 100 searches for a cluster corresponding to the image based on the transmission characteristics and the image characteristics acquired in operation S1020. Can be (S1050).
  • the image processing apparatus 100 may select a cluster table from cluster information according to a transmission characteristic, and may select any one of a plurality of clusters included in the selected cluster table based on the image characteristic.
  • each of the plurality of clusters may include a representative image feature and a representative image quality parameter, and the image processing apparatus 100 selects the image feature obtained in step 1020 ( S1020 ) from among the plurality of clusters included in the selected cluster table. It is possible to select a cluster including the representative image feature most similar to .
  • the image processing apparatus 100 may perform image quality processing by using the representative image quality parameter included in the selected cluster (S1060).
  • the image processing apparatus 100 may obtain an update parameter based on the image on which image quality processing has been performed ( S1070 ).
  • the image processing apparatus 100 may determine an update direction of image quality parameters by using a parameter update network.
  • the parameter update network may be a network that receives a quality-processed image and outputs an update direction of a quality parameter applied to the image. Since the parameter update network according to an embodiment has been described in detail with reference to FIGS. 7 and 8 , a detailed description thereof will be omitted.
  • the image processing apparatus 100 may update the image quality parameters by increasing or decreasing a preset value in the update direction.
  • the image processing apparatus 100 may store the updated image quality parameters for each transmission characteristic of an image. For example, the image processing apparatus 100 may generate a first raw data table corresponding to the first transmission characteristic, a second raw data table corresponding to the second transmission characteristic, and an N-th row data table corresponding to the N-th transmission characteristic. may include
  • the image processing apparatus 100 may store raw data including an image characteristic and an updated picture quality parameter in a raw data table based on the transmission characteristic of the image ( S1080 ). For example, when the updated image quality parameter is the image quality parameter for the first image having the first transmission characteristic, raw data including the updated image quality parameter and the image characteristic of the first image may be stored in the first raw data table. have. When the updated image quality parameter is a parameter for the second image having the N-th transmission characteristic, raw data including the updated image quality parameter and the image characteristic of the second image may be stored in the N-th raw data table.
  • the image processing apparatus 100 determines whether the number of raw data stored in the raw data table is a preset number ( S1090 ), and when the number of raw data is a preset (eg, designated) number, clustering is performed, and the raw data It can be deleted (S1095).
  • the image processing apparatus 100 may perform clustering to generate or update a first cluster table including K clusters.
  • the image processing apparatus 100 may classify N image features included in N raw data into K groups according to a preset criterion, and determine representative image features based on image features included in the same group. . Also, a representative picture quality parameter may be determined based on update parameters included in the same group.
  • Each of the K groups may correspond to one cluster, and the first cluster table may include K clusters. Also, one cluster may include a representative image feature and a representative image quality parameter.
  • N pieces of row data stored in the first row data table may be deleted.
  • the image processing apparatus 100 may generate or update the second to Nth cluster tables by performing clustering on the raw data table corresponding to each of the second to Nth transmission characteristics in the same manner.
  • FIG. 11 is a diagram illustrating an example of an operation in which an image processing apparatus transmits/receives cluster information to and from an external server according to various embodiments of the present disclosure
  • the image processing apparatus may transmit cluster information to the external server 1100 ( 1110 ).
  • the image processing apparatus 100 may perform clustering based on the update parameters and transmit (upload) the cluster information to the external server 1100 when cluster information is obtained.
  • the image processing apparatus 100 may transmit the updated cluster information to the external server 1100 periodically or when cluster information is updated.
  • the external server 1100 may transmit/receive cluster information to and from a plurality of image processing apparatuses using at least one communication network.
  • the external server 1100 may store and manage cluster information received from a plurality of image processing apparatuses as a database.
  • the external server 1100 may update the existing cluster information stored in the database based on the cluster information received from the plurality of image processing apparatuses.
  • the image processing apparatus 100 may receive (download) cluster information from the external server 1100 ( 1120 ).
  • cluster information not stored in the image processing apparatus 100 is stored in the external server 1100 , the image processing apparatus 100 requests the cluster information, and the external server 1100 requests the The cluster information may be transmitted to the image processing apparatus 100 .
  • the image processing apparatus 100 In a state in which only the first to third cluster tables corresponding to each of the first to third transmission characteristics are stored in the image processing apparatus 100 , the image processing apparatus 100 An image having a fourth transmission characteristic may be input. In this case, the image processing apparatus 100 may request cluster information corresponding to the fourth transmission characteristic from the external server 1100 .
  • the external server 1100 may search the database for cluster information (eg, the fourth cluster table) corresponding to the fourth transmission characteristic and transmit the fourth cluster table to the image processing apparatus 100 . have.
  • cluster information eg, the fourth cluster table
  • the image processing apparatus 100 may determine an image quality parameter of an image having a fourth transmission characteristic based on the fourth cluster table received from the external server 1100 and perform image quality processing using the determined image quality parameter. have.
  • the image processing apparatus 100 may perform image quality processing even on an image without a viewing history by using an optimized image quality parameter.
  • the image processing apparatus 100 downloads and uses necessary cluster information from an external server without storing all cluster information, thereby solving the problem of hardware resource limitations of the image processing apparatus.
  • FIG. 12 is a block diagram illustrating an example of a configuration of an image processing apparatus according to various embodiments.
  • the image processing apparatus 100 includes an image receiving unit (eg, including an image receiving circuit, 110), a processor (eg, including a processing circuit, 120); It may include a memory 130 and a display 140 .
  • an image receiving unit eg, including an image receiving circuit, 110
  • a processor eg, including a processing circuit, 120
  • It may include a memory 130 and a display 140 .
  • the image receiver 110 may include various circuits, and may include a communication interface, an input/output interface, and the like.
  • the communication interface may transmit/receive data or signals to and from an external device or server.
  • the communication interface may include a Wi-Fi module, a Bluetooth module, an infrared communication module and a wireless communication module, a LAN module, an Ethernet module, a wired communication module, and the like.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using the Wi-Fi method and the Bluetooth method, respectively.
  • various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted/received after communication connection using this.
  • the wireless communication module is Zigbee (zigbee), 3 rd Generation (3G), 3 rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4 th Generation (4G), 5G (5 th Generation) and the like, and may include at least one communication chip that performs communication according to various wireless communication standards.
  • the input/output interface receives video (eg, moving picture, etc.), audio (eg, voice, music, etc.), and additional information (eg, EPG, etc.) from the outside of the image processing apparatus 100 .
  • Input/output interfaces are HDMI (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port , D-SUB (D-subminiature), DVI (Digital Visual Interface), component jack (component jack), may include any one of the PC port (PC port).
  • the image receiver 110 may receive one or more images.
  • the image receiving unit 110 may also receive transmission characteristics (eg, input resolution, bit rate, information on the image source, etc.) of the image.
  • the processor 120 may include various processing circuits, control the overall operation of the image processing apparatus 100 and a signal flow between durable components of the image processing apparatus 100 , and transmit data. processing function.
  • the processor 120 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. Also, the processor 120 may include a plurality of processors. For example, the processor 120 may be implemented as a main processor (not shown) and a sub processor (not shown) operating in a sleep mode.
  • the processor 120 may include, for example, at least one of a central processing unit (CPU), a dedicated processor, a graphic processing unit (GPU), and a video processing unit (VPU). According to an embodiment, it may be implemented in the form of a system on chip (SoC) in which at least one of a CPU, a dedicated processor, a GPU, and/or a VPU is integrated.
  • SoC system on chip
  • the memory 130 may store various data, programs, or applications for driving and controlling the image processing apparatus 100 .
  • the program stored in the memory 130 may include one or more instructions.
  • a program (one or more instructions) or an application stored in the memory 130 may be executed by the processor 120 .
  • the processor 120 may include at least one of the image quality processor 310 , the parameter calculator 320 , the parameter determiner 330 , and the parameter updater 340 of FIG. 3 .
  • the processor 120 may obtain an image characteristic and an initial parameter set for the received image.
  • the processor 120 may obtain an image feature and an initial parameter set for an image by using the parameter neural network.
  • the processor 120 may check whether there is pre-stored cluster information, and if there is no cluster information, the processor 120 may perform image quality processing using an initial parameter set.
  • the image quality processing may include image noise removal processing, image detail improvement processing, and the like.
  • the processor 120 may search for a cluster corresponding to the image based on the transmission characteristics and image characteristics of the image. For example, the processor 120 may select a cluster table from cluster information according to transmission characteristics.
  • the cluster table may include a plurality of clusters, and each of the plurality of clusters may include a representative image feature and a representative image quality parameter.
  • the processor 120 may select a cluster including a representative image feature most similar to an image feature from among the plurality of clusters, and perform image quality processing using a representative image quality parameter included in the selected cluster.
  • the processor 120 may obtain an update parameter based on the image on which image quality processing has been performed. For example, the processor 110 may determine the update direction of the picture quality parameters by using the parameter update network.
  • the processor 120 may update the image quality parameters by increasing or decreasing a preset value in the update direction.
  • the processor 120 may store the updated picture quality parameters for each transmission characteristic of an image.
  • the processor 120 may perform clustering by using the updated picture quality parameter. For example, when a preset number of updated picture quality parameters are stored, the processor 120 may perform clustering to generate or update cluster information.
  • the processor 120 may improve the image quality by performing image quality processing on the image by using the image quality parameter included in the updated cluster information.
  • the display 140 converts an image signal, a data signal, an OSD signal, a control signal, etc. processed by the processor 120 to generate a driving signal.
  • the display 130 may be implemented as a PDP, LCD, OLED, flexible display, etc., and may also be implemented as a three-dimensional display (3D display). Also, the display 140 may be configured as a touch screen and used as an input device in addition to an output device.
  • the display 140 may display an image on which image quality processing has been performed using the image quality parameter.
  • FIG. 13 is a block diagram illustrating an example of a configuration of an image processing apparatus according to various embodiments.
  • the image processing apparatus 1300 of FIG. 13 may be an example of the image processing apparatus 100 described with reference to FIGS. 1 to 12 .
  • an image processing apparatus 1300 includes a tuner unit 1340 , a processor (eg, including a processing circuit, 1310 ), a display unit 1320 , and a communication unit (eg, including communication circuitry, 1350 , sensing unit (eg, including sensing circuitry, 1330 ), input/output unit (eg, including input/output circuitry, 1370 ), video processing unit (eg, including video processing circuitry) , 1380 ), an audio processing unit (eg, including an audio processing circuit, 1385 ), an audio output unit (eg, including an audio output circuit, 1360 ), a memory 1390 , and a power supply unit 1395 .
  • a tuner unit 1340 eg, including a processing circuit, 1310
  • a display unit 1320 e.g, a display unit 1320
  • a communication unit eg, including communication circuitry, 1350 , sensing unit (eg, including sensing circuitry, 1330 ), input/output unit (eg,
  • the communication unit 1350 of FIG. 13 is a configuration corresponding to the communication interface included in the image receiving unit 110 of FIG. 12
  • the input/output unit 1370 of FIG. 13 is an input/output included in the image receiving unit 110 of FIG. 12 .
  • the configuration corresponds to the interface, the processor 1310 of FIG. 13 , the processor 120 of FIG. 12 , the memory 1390 of FIG. 13 , the memory 130 of FIG. 12 , and the display unit 1320 of FIG. 13 . It has a configuration corresponding to the display 140 of FIG. 12 . Accordingly, the same contents as those described above will be omitted.
  • the tuner unit 1340 is to receive a broadcast signal received by wire or wirelessly from among many radio wave components through amplification, mixing, resonance, etc. in the broadcast receiving device 100. You can select by tuning only the frequency of the channel you want to use.
  • the broadcast signal includes audio, video, and additional information (eg, Electronic Program Guide (EPG)).
  • EPG Electronic Program Guide
  • the tuner unit 1340 may receive broadcast signals from various sources, such as terrestrial broadcast, cable broadcast, satellite broadcast, and Internet broadcast.
  • the tuner unit 1340 may receive a broadcast signal from a source such as analog broadcast or digital broadcast.
  • the sensing unit 1330 may include various sensing circuits, and may detect a user's voice, a user's image, or a user's interaction, for example, a microphone 1331 , a camera unit 1332 , and a light receiving unit ( 1333) may be included.
  • the microphone 1331 receives the user's utterance voice.
  • the microphone 1331 may convert the received voice into an electrical signal and output it to the processor 1310 .
  • the user's voice may include, for example, a voice corresponding to a menu or function of the image processing apparatus 1300 .
  • the camera unit 1332 may receive an image (eg, a continuous frame) corresponding to a user's motion including a gesture in a camera recognition range.
  • the processor 1310 may select a menu displayed on the image processing apparatus 1300 by using the received motion recognition result or perform a control corresponding to the motion recognition result.
  • the light receiving unit 1333 receives an optical signal (including a control signal) received from an external control device through a light window (not shown) of the bezel of the display unit 1320 .
  • the light receiver 1333 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device.
  • a control signal may be extracted from the received optical signal under the control of the processor 1310 .
  • the processor 1310 may include various processing circuits, and performs a function of controlling the overall operation of the image processing apparatus 1300 and a signal flow between internal components of the image processing apparatus 1300 , and processing data. do.
  • the processor 1310 may execute an operating system (OS) and various applications stored in the memory 1390 when there is a user input or a preset stored condition is satisfied.
  • OS operating system
  • the processor 1310 stores a signal or data input from the outside of the image processing apparatus 1300 , or a RAM used as a storage area corresponding to various operations performed in the image processing apparatus 1300 , an image processing apparatus A ROM in which a control program for controlling the 1300 is stored may be included.
  • the video processing unit 1380 may include various video processing circuits, and processes the video data received by the image processing apparatus 1300 .
  • the video processing unit 1380 may perform various image processing, such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like, on video data.
  • the audio processing unit 1385 may include various processing circuits, and performs processing on audio data.
  • the audio processing unit 1385 may perform various processes such as decoding, amplification, and noise filtering on audio data. Meanwhile, the audio processing unit 1385 may include a plurality of audio processing modules to process audio corresponding to a plurality of contents.
  • the audio output unit 1360 may include various audio output circuits, and outputs audio included in the broadcast signal received through the tuner unit 1340 under the control of the processor 1310 .
  • the audio output unit 1360 may output audio (eg, voice, sound) input through the communication unit 1350 or the input/output unit 1370 .
  • the audio output unit 1360 may output audio stored in the memory 1390 under the control of the processor 1310 .
  • the audio output unit 1360 may include at least one of a speaker, a headphone output terminal, and a Sony/Philips Digital Interface (S/PDIF) output terminal.
  • S/PDIF Sony/Philips Digital Interface
  • the power supply unit 1395 supplies power input from an external power source to the internal components of the image processing apparatus 1300 under the control of the processor 1310 . Also, the power supply unit 1395 may supply power output from one or more batteries (not shown) positioned inside the image processing apparatus 1300 to internal components under the control of the processor 1810 .
  • the memory 1390 may store various data, programs, or applications for driving and controlling the image processing apparatus 1300 under the control of the processor 1310 .
  • the memory 1390 includes a broadcast reception module, a channel control module, a volume control module, a communication control module, a voice recognition module, a motion recognition module, a light reception module, a display control module, an audio control module, an external input control module, and a power source (not shown). It may include a control module, a power control module of an external device connected wirelessly (eg, Bluetooth), a voice database (DB), or a motion database (DB).
  • DB voice database
  • DB motion database
  • Modules and databases (not shown) of the memory 1390 include a broadcast reception control function, a channel control function, a volume control function, a communication control function, a voice recognition function, a motion recognition function, and a light reception control function in the image processing device 1300 .
  • a display control function, an audio control function, an external input control function, a power control function, or a power control function of an external device connected wirelessly (eg, Bluetooth) it may be implemented in the form of software.
  • the processor 1810 may perform respective functions using these software stored in the memory 1890 .
  • FIGS. 12 and 13 are block diagrams for an exemplary embodiment.
  • Each component of the block diagram may be integrated, added, or omitted according to the specifications of the image processing apparatuses 100 and 1300 that are actually implemented. That is, two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed in each block is for describing the embodiments, and the specific operation or device does not limit the scope of the present invention.
  • the method of operating an image processing apparatus may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the method of operating the image processing apparatus according to the disclosed embodiments may be provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • the computer program product may include a product (eg, a downloadable app) in the form of a S/W program distributed electronically through a manufacturer of an image processing device or an electronic market.
  • a product eg, a downloadable app
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
  • the computer program product in a system including a server and a client device, may include a storage medium of a server or a storage medium of a client device.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S/W program itself transmitted from the server to the client device or the third device, or transmitted from the third device to the client device.
  • one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • Two or more of a server, a client device, and a third device may execute a computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

개시된 실시예는 영상 처리 장치에 관한 것으로, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 제1 영상으로부터 제1 영상 특징을 추출하고, 제1 영상의 전송 특성 및 제1 영상 특징에 기초하여, 대표 영상 특징 및 대표 화질 파라미터를 포함하고, 영상 처리 장치에 저장된 복수의 클러스터들 중 제1 영상에 대응하는 제1 클러스터를 검색하고, 검색된 제1 클러스터의 제1 대표 화질 파라미터에 기초하여, 제1 영상의 화질 처리를 수행하고, 화질 처리된 제1 영상에 기초하여, 제1 대표 화질 파라미터를 업데이트한 제1 업데이트 파라미터를 획득하고, 제1 업데이트 파라미터에 기초하여, 복수의 클러스터들을 업데이트하는 영상 처리 장치가 개시된다.

Description

영상 처리 장치 및 그 동작방법
실시예들은 영상 처리 장치 및 그 동작방법에 관한 것이다. 예를 들어, 영상에 대한 화질 파라미터에 기초하여, 영상의 화질 처리를 수행하는, 영상 처리 장치 및 그 동작방법에 관한 것이다.
영상 처리 장치는 영상의 화질 개선을 위하여, 화질 파라미터를 이용하여, 영상의 화질 처리를 수행한다. 이때, 화질 파라미터를 설정하는 방법으로 룰 기반 파라미터 설정 방법과 딥 러닝 기반 파라미터 설정 방법이 있다.
룰 기반 파라미터 설정 방법은 예를 들어, 영상에 포함된 텍스쳐, 엣지, 노이즈의 위치나 세기 등의 영상의 특징을 검출하고, 검출된 영상 특징에 해당하는 기 정의된 파라미터를 설정하는 방법을 의미할 수 있다.
또한, 딥 러닝 기반 파라미터 설정 방법은 예를 들어, 딥 뉴럴 네트워크를 이용하여, 영상의 특징을 추출하고, 추출된 특징을 이용하여, 획득된 화질 파라미터를 설정하는 방법을 의미할 수 있다.
실시예들은, 영상의 전송 특성 및 영상 특징에 기초하여, 화질 파라미터를 결정하고, 결정된 화질 파라미터에 기초하여, 영상의 화질 처리를 수행하며, 영상의 화질이 좋아지는 방향으로 화질 파라미터를 업데이트할 수 있는 영상 처리 장치 및 그 동작방법을 제공할 수 있다.
개시의 일 실시예에 따른 영상 처리 장치는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 제1 영상으로부터 제1 영상 특징을 추출하고, 상기 제1 영상의 전송 특성 및 상기 제1 영상 특징에 기초하여, 대표 영상 특징 및 대표 화질 파라미터를 포함하고, 상기 영상 처리 장치에 저장된 복수의 클러스터들 중 상기 제1 영상에 대응하는 제1 클러스터를 검색하고, 상기 검색된 제1 클러스터의 제1 대표 화질 파라미터에 기초하여, 상기 제1 영상의 화질 처리를 수행하고, 상기 화질 처리된 제1 영상에 기초하여, 상기 제1 대표 화질 파라미터를 업데이트한 제1 업데이트 파라미터를 획득하고, 상기 제1 업데이트 파라미터에 기초하여, 상기 복수의 클러스터들을 업데이트 할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하고, 획득된 초기 파라미터에 기초하여, 상기 복수의 영상들 각각의 화질 처리를 수행하며, 상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터를 업데이트한 업데이트 파라미터를 획득하고, 상기 복수의 영상들 각각의 전송 특성, 영상 특징 및 업데이트 파라미터를 이용하여, 상기 복수의 클러스터들을 생성할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 파라미터 뉴럴 네트워크를 이용하여, 상기 복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터의 업데이트 방향을 결정하고, 상기 업데이트 방향으로 기 설정된 값을 적용하여, 상기 초기 파라미터를 업데이트하여, 상기 업데이트 파라미터를 획득할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 파라미터 업데이트 뉴럴 네트워크를 이용하여, 상기 화질 처리된 영상에 적용된 상기 초기 파라미터의 값을 증가시킬지 감소시킬지를 나타내는 상기 업데이트 방향을 결정할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 상기 복수의 영상들 각각의 전송 특성에 기초하여, 상기 복수의 영상들 각각의 영상 특징 및 업데이트 파라미터를 포함하는 로우 데이터들을 그룹핑하고, 동일한 그룹으로 그룹핑된 로우 데이터들을 K개의 클러스터들로 클러스터링하고, 동일한 클러스터에 포함되는 로우 데이터들에 기초하여, 상기 클러스터들 각각에 대한 상기 대표 영상 특징 및 상기 대표 화질 파라미터를 결정할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 상기 동일한 그룹으로 그룹핑된 로우 데이터들의 개수가 기 설정된 개수 이상인 것에 기초하여, 상기 클러스터링을 수행할 수 있다.
개시의 일 실시예에 따른 영상 처리 장치는, 통신 회로를 포함하는 통신부를 더 포함하고, 상기 프로세서는, 상기 복수의 클러스터들을 포함하는 클러스터 정보를 외부 서버로부터 수신하도록 상기 통신부를 제어할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 상기 제1 영상의 전송 특성을 상기 외부 서버로 전송하고, 상기 외부 서버로부터 상기 제1 영상의 전송 특성에 대응하는 클러스터 정보를 수신하도록 상기 통신부를 제어할 수 있다.
개시의 일 실시예에 따른 상기 프로세서는, 상기 복수의 클러스터들을 포함하는 클러스터 정보를 외부 서버로 전송하도록 상기 통신부를 제어할 수 있다.
개시의 일 실시예에 따른 영상 처리 장치의 동작 방법은, 제1 영상으로부터 제1 영상 특징을 추출하는 단계, 상기 제1 영상의 전송 특성 및 상기 제1 영상 특징에 기초하여, 대표 영상 특징 및 대표 화질 파라미터를 포함하고, 상기 영상 처리 장치에 저장된 복수의 클러스터들 중 상기 제1 영상에 대응하는 제1 클러스터를 검색하는 단계, 상기 검색된 제1 클러스터의 제1 대표 화질 파라미터에 기초하여, 상기 제1 영상의 화질 처리를 수행하는 단계, 상기 화질 처리된 제1 영상에 기초하여, 상기 제1 대표 화질 파라미터를 업데이트한 제1 업데이트 파라미터를 획득하는 단계, 및 상기 제1 업데이트 파라미터에 기초하여, 상기 복수의 클러스터들을 업데이트 하는 단계를 포함할 수 있다.
개시의 일 실시예에 따른 영상 처리 장치는 화질 처리된 영상에 기초하여, 화질 처리에 이용되는 화질 파라미터를 영상의 화질이 더 좋아지는 방향으로 업데이트할 수 있어, 영상 처리 장치 사용자의 최신 시청 이력에 기반한 지속적인 화질 개선이 가능하다.
개시의 일 실시예에 따른 영상 처리 장치는 화질 파라미터를 수집하고 관리하는 외부 서버와의 연동을 통해, 다른 영상 처리 장치에서 업데이트된 화질 파라미터를 이용할 수 있다. 이에 따라, 영상 처리 장치의 사용자가 처음 보는 영상인 경우에도, 최적화된 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다. 또한, 외부 서버와의 연동을 통해, 영상 처리 장치의 하드웨어 리소스 제약을 해결할 수 있다.
본 개시의 특정 실시예들의 상기 및 다른 측면들, 특징들 및 이점들은 첨부된 도면과 함께 설명되는 다음의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1은 다양한 실시예들에 따른 영상 처리 장치의 일 예를 나타내는 도면이다.
도 2는 다양한 실시예들에 따른 영상 처리 장치의 동작 방법의 일 예를 나타내는 흐름도이다.
도 3은 다양한 실시예들에 따른 영상 처리 장치의 일 예를 나타내는 도면이다.
도 4는 다양한 실시예에들 따른 파라미터 뉴럴 네트워크의 일 예를 나타내는 도면이다.
도 5는 다양한 실시예들에 따른 파라미터 뉴럴 네트워크의 훈련 방법의 일 예를 나타내는 도면이다.
도 6은 다양한 실시예들에 따른 화질 파라미터들을 결정하는 방법의 일 예를 나타내는 도면이다.
도 7은 다양한 실시예들에 따른 파라미터 업데이트부의 일 예를 나타내는 도면이다.
도 8은 다양한 실시예들에 따른 파라미터 업데이트 네트워크의 훈련방법의 일 예를 나타내는 도면이다.
도 9는 다양한 실시예들에 따른 클러스터 정보를 생성하는 방법의 일 예를 나타내는 도면이다.
도 10은 다양한 실시예들에 따른 영상 처리 장치의 동작 방법의 일 예를 나타내는 흐름도이다.
도 11은 다양한 실시예들에 따른 영상 처리 장치가 외부 서버와 클러스터 정보를 송수신하는 동작의 일 예를 나타내는 도면이다.
도 12는 다양한 실시예들에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 13은 다양한 실시예들에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 더 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에 기술된 기능들을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략될 수 있으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미할 수 있으며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
또한, 본 개시의 다양한 실시예들에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)을 포함하는 동영상, 또는 비디오를 나타낼 수 있다.
도 1은 다양한 실시예들에 따른 영상 처리 장치의 일 예를 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 영상을 수신하여, 수신한 영상의 화질을 처리하는 전자 장치일 수 있다. 예를 들어, 영상 처리 장치(100)는, TV, 휴대폰, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있지만, 이에 제한되지 않는다. 또한, 영상 처리 장치(100)는 디스플레이를 포함하여, 화질 처리가 수행된 영상을 디스플레이에 표시할 수 있다. 또한, 영상 처리 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 예를 들어, 실시예들은 TV와 같이 디스플레이가 대형인 영상 처리 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따른 영상 처리 장치(100)는 외부 장치 또는 외부 서버로부터 수신되거나 입력된 영상(10)의 화질 처리를 수행하여, 화질 처리가 수행된 영상을 디스플레이에 표시할 수 있다. 이때, 영상의 화질 처리는, 노이즈 제거, 디테일 향상 등의 처리를 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른 영상 처리 장치(100)는 입력된 영상(10)의 전송 특성(예를 들어, 입력 해상도, 비트 레이트, 영상 소스에 대한 정보 등) 및 영상 특징(예를 들어, 영상에 포함된 텍스쳐, 노이즈, 엣지 등에 대한 정보)에 기초하여, 화질 파라미터를 결정할 수 있다. 영상 처리 장치(100)는 결정된 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다. 예를 들어, 영상 처리 장치(100)는 제1 화질 파라미터를 이용하여, 노이즈 제거 처리를 수행할 수 있으며, 제2 화질 파라미터를 이용하여, 디테일 향상 처리를 수행할 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 화질 처리된 영상에 기초하여, 화질 처리에 이용되는 화질 파라미터를 영상의 화질이 더 좋아지는 방향으로 업데이트할 수 있다. 또한, 일 실시예에 따른 영상 처리 장치(100)는 화질 파라미터를 수집하고 관리하는 외부 서버와의 연동을 통해, 다른 영상 처리 장치에서 업데이트된 화질 파라미터를 이용할 수 있다. 이에 따라, 영상 처리 장치(100)의 시청자가 처음 보는 영상인 경우에도, 최적화된 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다. 이하, 도면들을 참조하여 본 개시의 다양한 실시예들을 보다 구체적으로 설명하기로 한다.
도 2는 다양한 실시예들에 따른 영상 처리 장치의 동작 방법의 일 예를 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 영상을 수신할 수 있으며(S210), 영상에 대한 전송 특성(예를 들어, 입력 해상도, 비트 레이트, 영상 소스에 대한 정보 등)도 함께 수신할 수 있다.
영상 처리 장치(100)는 수신한 영상에 대한 영상 특징을 추출할 수 있다(S220). 예를 들어, 영상 처리 장치(100)는 하나 이상의 컨볼루션 레이어들을 포함하는 특징 추출 네트워크를 이용하여, 영상에 대한 영상 특징을 추출할 수 있다. 특징 추출 네트워크는 영상을 입력 받아, 입력된 영상에 대한 영상 특징을 추출하도록 훈련된 뉴럴 네트워크일 수 있다.
영상 처리 장치(100)는 영상의 전송 특성 및 영상 특징에 기초하여, 예를 들어, 기 저장된 클러스터 정보에서, 수신한 영상에 대응하는 클러스터를 검색할 수 있다(S230). 이때, 기 저장된 클러스터 정보는 전송 특성 별 클러스터 테이블들을 포함할 수 있으며, 각 클러스터 테이블은 복수의 클러스터들을 포함하고, 하나의 클러스터는 대표 영상 특징과 대표 영상 특징에 대응하는 대표 화질 파라미터를 포함할 수 있다.
한편, 기 저장된 클러스터 정보는, 영상 처리 장치(100)가 생성한 정보를 포함할 수 있으며, 또는 외부 서버나 외부 장치로부터 수신한 정보일 수 있다. 영상 처리 장치(100)가 클러스터 정보를 생성하는 방법에 대해서는 도 9를 참조하여 이하에서 더 자세히 설명하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 영상의 전송 특성에 기초하여, 복수의 클러스터 테이블들 중 하나의 클러스터 테이블을 선택하고, 영상 특징에 기초하여, 선택된 클러스터 테이블에 포함된 복수의 클러스터들 중 하나의 클러스터를 선택할 수 있다.
영상 처리 장치(100)는 선택된 클러스터에 포함된 대표 화질 파라미터에 기초하여, 수신한 영상의 화질 처리를 수행할 수 있다(S240). 이때, 대표 화질 파라미터는 복수의 화질 파라미터들을 포함할 수 있다. 예를 들어, 대표 화질 파라미터는 제1 화질 처리(예를 들어, 노이즈 제거 처리)에 적용되는 제1 화질 파라미터와 제2 화질 처리(예를 들어, 디테일 개선 처리)에 적용되는 제2 화질 파라미터를 포함할 수 있으나, 이에 한정되지 않는다.
영상 처리 장치(100)는 화질 처리된 영상에 기초하여, 대표 화질 파라미터를 업데이트할 수 있다(S250).
예를 들어, 영상 처리 장치(100)는 화질 처리에 적용된 대표 화질 파라미터의 업데이트 방향을 결정하고, 결정된 업데이트 방향으로 기 설정된 값을 적용함으로써, 대표 화질 파라미터를 업데이트할 수 있다.
영상 처리 장치(100)는 업데이트된 화질 파라미터에 기초하여, 클러스터 정보에 포함된 복수의 클러스터들을 업데이트할 수 있다(S260).
예를 들어, 영상 처리 장치(100)는 업데이트된 화질 파라미터를 저장하고, 저장된 화질 파라미터들이 기 설정된 개수가 되면, 클러스터링을 수행하여, 복수의 클러스터들을 업데이트할 수 있다.
도 3은 다양한 실시예들에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 화질 처리부(예를 들어, 영상 처리 회로를 포함함, 310), 파라미터 계산부(예를 들어, 다양한 처리 회로 및/또는 실행가능한 프로그램 인스트럭션들을 포함함, 320), 파라미터 결정부(예를 들어, 다양한 처리 회로 및/또는 실행가능한 프로그램 인스트럭션들을 포함함, 330) 및 파라미터 업데이트부(예를 들어, 다양한 처리 회로 및/또는 실행가능한 프로그램 인스트럭션들을 포함함, 340)를 포함할 수 있다.
파라미터 계산부(320)는 다양한 처리 회로 및/또는 실행가능한 프로그램 인스트럭션들을 포함할 수 있으며, 영상의 영상 특징 및 화질 파라미터를 획득할 수 있다. 예를 들어, 파라미터 계산부(320)는 파라미터 뉴럴 네트워크를 포함할 수 있으며, 파라미터 뉴럴 네트워크를 이용하여, 영상의 영상 특징을 추출하고, 화질 파라미터를 획득할 수 있다. 이에 대해서는 도 4 및 도 5를 참조하여 더 자세히 설명하기로 한다.
도 4는 다양한 실시예들에 따른 파라미터 뉴럴 네트워크의 일 예를 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 파라미터 뉴럴 네트워크(410)는 예를 들어, 영상을 입력 받아, 화질 파라미터를 출력하는 딥 뉴럴 네트워크를 포함할 수 있다. 예를 들어, 파라미터 뉴럴 네트워크(410)는 영상의 특징을 추출하는 하나 이상의 컨볼루션 레이어들을 포함하는 특징 추출 네트워크(420) 및 영상의 영상 특징을 입력 받아, 화질 파라미터를 출력하는 Full connected layer(430)를 포함할 수 있다.
도 5는 다양한 실시예들에 따른 파라미터 뉴럴 네트워크의 훈련 방법의 일 예를 설명하기 위해 참조되는 도면이다.
도 5를 참조하면, 훈련 장치는 일 실시예에 따른 파라미터 뉴럴 네트워크를 훈련시키기 위한 훈련 데이터를 생성할 수 있다. 이때, 훈련 장치는 일 실시예에 따른 영상 처리 장치와 다른 별도의 장치일 수 있다. 다만, 이에 한정되지 않는다.
예를 들어, 훈련 장치는 노이즈나 블러(blur)를 포함하지 않는 원본 영상(510)을 변형시켜(distort) 변형된 영상(520, distorted image)을 생성할 수 있다. 변형된 영상(520)에 복수의 화질 파라미터들을 포함하는 화질 파라미터 셋을 적용함으로써, 화질 처리가 수행될 수 있다. 예를 들어, 화질 파라미터 셋은 노이즈 제거 파라미터(P1)와 디테일 향상 파라미터(P2)의 쌍을 포함할 수 있다. 다만, 이에 한정되지 않으며, 다양한 종류의 화질 파라미터들이 포함될 수 있다.
도 5에 도시된 바와 같이, 변형된 영상(520)에는, 복수의 화질 파라미터 셋들이 적용되어 화질 처리가 수행될 수 있다. 이때, 복수의 화질 처리 파라미터 셋들은 노이즈 제거 파라미터(P1)와 디테일 향상 파라미터(P2)의 서로 다른 조합들을 포함할 수 있다.
훈련 장치는 변형된 영상(520)에 제1 화질 파라미터 셋을 적용하여 화질 처리를 수행함으로써, 제1 복원 이미지(541)를 생성하고, 변형된 영상(520)에 제2 화질 파라미터 셋을 적용하여, 화질 처리를 수행함으로써, 제2 복원 이미지(542)를 생성할 수 있다. 동일한 방식으로 변형된 영상에 제3 내지 제N 화질 파라미터 셋들 각각을 적용하여 화질 처리를 수행함으로써, 제3 내지 제N 복원 이미지들을 생성할 수 있다.
다수의 화질 평가자들의 주관적 화질 평가(550)를 통하여, 제1 내지 제 N 화질 처리 이미지들 중 원본 영상(510)과 가장 가까운 영상을 결정할 수 있다. 예를 들어, 제1 내지 제N 복원 이미지들(541, 542, …) 중 주관적 화질 점수가 가장 높은 복원 이미지를 결정할 수 있다. 예를 들어, 훈련 장치는 결정된 복원 이미지에 적용된 파라미터 셋(P11, P21)을 원본 영상을 변형함으로써 획득한 제1 변형 이미지(Image 1)에 대한 최적의 파라미터 셋으로 결정할 수 있다.
훈련 장치는 동일 또는 유사한 방식으로, 제2 내지 제 N 원본 영상들을 변형한 제2 내지 제 N 변형 이미지들을 획득하고, 제2 내지 제 N 변형 이미지들 각각에 대하여, 최적의 파라미터 셋들을 결정할 수 있다.
제1 내지 제 N 변형 이미지들과 제1 내지 제 N 변형 이미지들 각각에 대한 최적의 파라미터 셋들은 훈련 데이터(560)로 저장될 수 있다. 예를 들어, 훈련 데이터(560)는 도 5에 도시된 바와 같이, 복수의 데이터 셋들을 포함하며, 하나의 데이터 셋은 변형 이미지와 변형 이미지에 대한 최적의 파라미터 셋을 포함할 수 있다.
한편, 상기에서는 훈련 장치가 훈련 데이터를 생성하는 것으로 설명하였으나, 훈련 장치는 외부 장치에 의해 생성된 훈련 데이터를 수신할 수도 있다.
훈련 장치는 훈련 데이터(560)를 이용하여, 일 실시예에 따른 파라미터 뉴럴 네트워크(410)를 훈련시킬 수 있다. 예를 들어, 일 실시예에 따른 파라미터 뉴럴 네트워크(410)는 하나 이상의 레이어들을 포함할 수 있으며, 훈련 장치는 레이어들 각각에 포함되는 가중치들을 결정할 수 있다. 훈련 장치는 제1 변형 이미지(Image 1)를 파라미터 뉴럴 네트워크(410)에 입력하여, 출력되는 파라미터 셋과 제1 변형 이미지(Image)에 대한 최적의 파라미터 셋(P11, P21)의 차이가 감소하는 방향으로 레이어들의 가중치들을 갱신할 수 있다. 또한, 훈련 장치는 제2 내지 제N 변형 이미지들 각각을 파라미터 뉴럴 네트워크(410)에 입력하고, 출력되는 파라미터 셋과 제2 내지 제N 변형 이미지들 각각에 대한 최적의 파라미터 셋의 차이가 감소하는 방향으로 레이어들의 가중치들을 갱신함으로써, 파라미터 뉴럴 네트워크(410)를 훈련시킬 수 있다. 다만, 이에 한정되지 않는다.
이에 따라, 훈련이 완료된 파라미터 뉴럴 네트워크(410)는 영상이 입력되면, 해당 영상의 화질 처리에 가장 최적화된 초기 파라미터 셋을 출력할 수 있다.
다시 도 3을 참조하면, 파라미터 결정부(330)는 다양한 처리 회로 및/또는 실행가능한 프로그램 인스트럭션들을 포함할 수 있으며, 영상의 전송 특성, 영상 특징, 초기 파라미터 셋에 기초하여, 화질 처리부에 설정할 화질 파라미터들을 결정할 수 있다. 이때, 화질 파라미터들은 노이즈 제거와 관련된 제1 화질 파라미터 및 디테일 향상과 관련된 제2 화질 파라미터를 포함할 수 있으나, 이에 한정되지 않는다.
파라미터 결정부(330)가 화질 파라미터들을 결정하는 방법에 대해서는 도 6을 참조하여 이하에서 더 자세히 설명하기로 한다.
도 6은 다양한 실시예들에 따른 화질 파라미터들을 결정하는 방법의 일 예를 나타내는 도면이다.
도 6을 참조하면, 파라미터 결정부(330)는 대표 영상 특징 및 대표 화질 파라미터로 구성되는 클러스터 정보(610)가 기 저장되었는 지 여부에 기초하여, 화질 파라미터들을 결정할 수 있다. 예를 들어, 클러스터링이 수행되기 이전이거나 외부 장치로부터 수신한 클러스터 정보가 저장되지 않은 경우, 파라미터 결정부(330)는 파라미터 계산부(320)로부터 수신한 초기 파라미터 셋을 화질 처리부(310)에 설정될 화질 파라미터들로 결정할 수 있다.
반면에, 도 6에 도시된 바와 같이, 클러스터링으로 생성된 클러스터 정보(610)가 저장되거나, 외부 장치로부터 수신한 클러스터 정보(610)가 저장된 경우, 파라미터 결정부(330)는 전송 특성 및 영상 특징에 기초하여, 화질 처리부(310)에 설정될 화질 파라미터들을 결정할 수 있다. 예를 들어, 클러스터 정보(610)는 전송 특성들 각각에 대응하는 클러스터 테이블을 포함할 수 있으며, 하나의 클러스터 테이블은 복수의 클러스터들을 포함할 수 있다. 또한, 하나의 클러스터는 대표 영상 특징과 대표 영상 특징에 대응하는 대표 화질 파라미터를 포함한다.
파라미터 결정부(330)는 복수의 클러스터 테이블들 중, 영상의 전송 특성에 대응하는 클러스터 테이블을 선택하고, 선택된 클러스터 테이블 내에서, 영상 특징과 가장 유사한 대표 영상 특징을 포함하는 클러스터를 검색할 수 있다. 이에 따라, 파라미터 결정부(330)는 검색된 클러스터에 포함된 대표 화질 파라미터를 화질 처리부(310)의 화질 파라미터들로 결정할 수 있다.
다시 도 3을 참조하면, 일 실시예에 따른 화질 처리부(310)는 다양한 처리 회로를 포함할 수 있으며, 노이즈 제거부(313)와 디테일 개선부(315)를 포함할 수 있다. 다만, 이에 한정되지 않으며, 화질 처리부(310)는 다양한 화질 처리를 하는 구성들을 포함할 수 있다.
노이즈 제거부(313)는 다양한 처리 회로 및/또는 실행 가능한 프로그램 인스트럭션들을 포함할 수 있으며, 파라미터 결정부(330)에서 결정된 제1 화질 파라미터(P1)에 기초하여, 영상의 노이즈 제거 처리를 수행할 수 있다.
디테일 개선부(315)는 다양한 처리 회로 및/또는 실행 가능한 프로그램 인스트럭션들을 포함할 수 있으며, 파라미터 결정부(330)에서 결정된 제2 화질 파라미터(P2)에 기초하여, 노이즈가 제거된 영상의 디테일 개선 처리를 수행할 수 있다.
화질 처리가 수행된 영상(350)은 파라미터 업데이트부(340)로 입력될 수 있다. 파라미터 업데이트부(340)는 다양한 처리 회로 및/또는 실행 가능한 프로그램 인스트럭션들을 포함할 수 있으며, 화질 처리가 수행된 영상(350)에 기초하여, 파라미터 결정부(330)에서 결정한 화질 파라미터들의 업데이트를 수행할 수 있다.
파라미터 업데이트부(340)가 화질 파라미터들의 업데이트를 수행하는 동작에 대해서는 도 7 및 도 8을 참조하여 이하에서 더 자세히 설명하기로 한다.
도 7은다양한 실시예들에 따른 파라미터 업데이트부의 구성의 일 예를 나타내는 도면이다.
도 7을 참조하면, 일 실시예에 다른 파라미터 업데이트부(340)는 파라미터 업데이트 네트워크(710) 및 파라미터 업데이트 계산부(720)를 포함할 수 있다.
파라미터 업데이트 네트워크(710)는 다양한 회로 및/또는 실행 가능한 프로그램 인스트럭션들을 포함할 수 있으며, 화질 처리된 복원 영상을 입력 받아, 화질 파라미터들의 업데이트 방향을 출력할 수 있다. 예를 들어, 화질 파라미터들이 제1 화질 파라미터 및 제2 화질 파라미터를 포함하는 경우, 파라미터 업데이트 네트워크(710)에서 출력되는 업데이트 방향은 제1 화질 파라미터의 값을 증가 또는 감소시키는 방향 및 제2 화질 파라미터의 값을 증가 또는 감소시키는 방향을 포함할 수 있다.
도 8은 다양한 실시예들에 따른 파라미터 업데이트 네트워크의 훈련 방법의 일 예를 나타내는 도면이다.
도 8을 참조하면, 훈련 장치는 일 실시예에 따른 파라미터 업데이트 네트워크를 훈련시키기 위한 훈련 데이터(860)를 생성할 수 있다. 이때, 훈련 장치는 일 실시예에 따른 영상 처리 장치와 다른 별도의 장치일 수 있으나, 이에 한정되지 않는다.
예를 들어, 훈련 장치는 노이즈나 블러(blur)를 포함하지 않는 원본 영상(810)을 변형시켜 변형된 영상(820)을 생성할 수 있다. 훈련 장치는 변형된 영상(820)에 복수의 화질 파라미터들을 포함하는 화질 파라미터 셋(830)을 적용함으로써, 화질 처리가 수행될 수 있으며, 화질 처리 이미지(840)가 생성될 수 있다. 훈련 장치는 복수의 변형된 영상들 각각에 화질 파라미터 셋을 적용하거나, 하나의 변형된 영상에 복수의 화질 파라미터 셋들을 적용함으로써, 복수의 화질 처리 이미지들이 생성될 수 있다. 예를 들어, 복수의 화질 처리 이미지들은 제1 내지 제N 화질 처리 이미지들을 포함할 수 있다.
훈련 장치는 제1 화질 파라미터 셋에 기초하여 화질 처리가 수행된 제1 화질 처리 이미지를 생성할 수 있다. 훈련 장치는 변형 이미지에 제1 화질 파라미터 셋에 포함된 노이즈 제거와 관련된 제1 화질 파라미터(P11)를 이용하여 노이즈 제거를 수행하고, 디테일 향상과 관련된 제2 화질 파라미터(P21)를 이용하여, 디테일 향상 처리를 수행함으로써, 제1 화질 처리 이미지(Image 1)를 생성할 수 있다.
훈련 장치는 제1 화질 처리 이미지에서 노이즈 제거와 관련된 제1 화질 파라미터(P11)의 값을 증가시키거나 감소시키는 방향, 디테일 향상과 관련된 제2 화질 파라미터(P21)의 값을 증가시키거나 감소시키는 방향의 조합들로 화질 처리를 수행한 결과 이미지들을 획득할 수 있다. 훈련 장치는 결과 이미지들을 비교함으로써, 제1 복원 이미지(Image 1)의 화질 처리에 적용된 파라미터들(P11, P21)의 값들의 최적화된 증/감 방향을 결정할 수 있다.
예를 들어, 훈련 장치는 제1 화질 파라미터(P11)의 값을 증가시키고, 디테일 향상과 관련된 제2 화질 파라미터(P21)의 값을 증가시켜 업데이트된 화질 파라미터들로 화질 처리를 수행한 제1 결과 이미지, 제1 화질 파라미터(P11)를 증가시키고, 디테일 향상과 관련된 제2 화질 파라미터(P21)를 감소시킨 화질 파라미터들로 화질 처리를 수행한 제2 결과 이미지, 제1 화질 파라미터(P11)의 값을 감소시키고, 제2 화질 파라미터(P21)의 값을 증가시킨 화질 파라미터들로 화질 처리를 수행한 제3 결과 이미지 및 제1 화질 파라미터(P11)의 값을 감소시키고, 제2 화질 파라미터(P21)의 값을 감소시킨 화질 파라미터들로 화질 처리를 수행한 제4 결과 이미지를 생성할 수 있다.
다수의 화질 평가자들의 주관적 화질 평가를 통하여, 제1 내지 제4 결과 이미지들 중 원본 영상(810)과 가장 가까운 영상을 결정할 수 있다. 예를 들어, 훈련 장치는 제1 내지 제4 결과 이미지들 중 주관적 화질 점수가 가장 높은 결과 이미지를 결정할 수 있다. 예를 들어, 제1 내지 제4 결과 이미지들 중 제2 결과 이미지의 주관적 화질 점수가 가장 높을 수 있다. 훈련 장치는 결정된 결과 이미지(제2 결과 이미지)에 적용된 제1 및 제2 화질 파라미터들(P11, P21)의 값의 증/감 방향을 제1 복원 이미지(Image 1)에 대한 최적의 업데이트 방향으로 결정할 수 있다. 예를 들어, 훈련 장치는 제1 화질 파라미터(P11)의 값은 증가하는 방향, 제2 화질 파라미터(P21)의 값은 감소하는 방항을 최적의 업데이트 방향으로 결정할 수 있다.
훈련 장치는 동일 또는 유사한 방식으로 제2 내지 제N 복원 이미지들 각각에 대하여, 최적의 업데이트 방향을 결정할 수 있다.
훈련 장치는 제1 복원이미지(Image 1)와 원본 영상(810)의 차이를 최소화거나 감소시키는 방향으로 제1 화질 파라미터 및 제2 화질 파라미터의 값들의 증/감 방향을 결정할 수 있다. 또한, 훈련 장치는 제2 내지 제N 화질 처리 이미지들 각각에 대하여, 원본 영상(810)과의 차이를 최소화하는 방향으로 화질 파라미터들의 업데이트 방향을 결정할 수 있다.
제1 내지 제N 화질 처리 이미지들과 제1 내지 제N 화질 처리 이미지들 각각에 대한 최적의 업데이트 방향들은 훈련 데이터(860)로 저장될 수 있다. 예를 들어, 훈련 데이터(860)는 도 8에 도시된 바와 같이, 복수의 데이터 셋들을 포함하며, 하나의 데이터 셋은 화질 처리 이미지와 화질 처리 이미지에 대한 최적의 파라미터 업데이트 방향을 포함할 수 있다.
훈련 장치는 훈련 데이터(860)를 이용하여, 일 실시예에 따른 파라미터 업데이트 네트워크(710)를 훈련시킬 수 있다. 예를 들어, 일 실시예에 따른 파라미터 업데이트 네트워크(710)는 하나 이상의 레이어들을 포함할 수 있으며, 훈련 장치는 레이어들 각각에 포함되는 가중치들을 결정할 수 있다. 훈련 장치는 제1 화질 처리 이미지(Image 1)를 파라미터 업데이트 네트워크(710)에 입력하여, 출력되는 파라미터 업데이트 방향이 제1 화질 처리 이미지에 최적화된 업데이트 방향(예를 들어, 제1 화질 파라미터(P11)는 증가하는 방향, 제2 화질 파라미터(P21)는 감소하는 방향)이 되도록 레이어들의 가중치들을 갱신할 수 있다. 또한, 훈련 장치는 제2 내지 제N 화질 처리 이미지들 각각을 파라미터 업데이트 네트워크(710)에 입력하고, 제2 내지 제N 화질 처리 이미지들 각각에 최적화된 파라미터 업데이트 방향이 출력되도록 레이어들의 가중치들을 갱신함으로써, 파라미터 업데이트 네트워크(710)를 훈련시킬 수 있다. 다만, 이에 한정되지 않는다.
이에 따라, 훈련이 완료된 파라미터 업데이트 네트워크(710)는 화질 처리된 영상이 입력되면, 해당 영상에 적용된 화질 파라미터들의 최적화된 업데이트 방향을 출력할 수 있다.
다시 도 7을 참조하면, 파라미터 업데이트 네트워크(710)에서 파라미터 업데이트 방향이 출력되면, 파라미터 업데이트 계산부(720)는 파라미터 업데이트 네트워크(710)에서 출력된 업데이트 방향으로 기 설정된 값을 증가시키거나 감소시켜, 화질 파라미터들을 업데이트할 수 있다.
다시, 도 3을 참조하면, 일 실시예에 따른 파라미터 결정부(330)는 다양한 처리 회로 및/또는 실행 가능한 프로그램 인스트럭션들을 포함할 수 있으며, 파라미터 업데이트부(340)로부터 수신한 업데이트된 화질 파라미터에 기초하여 클러스터링을 수행하여, 클러스터 정보를 생성할 수 있다.
파라미터 결정부(330)가 클러스터링을 수행하여 클러스터 정보를 생성하는 방법에 대해서는 도 9를 참조하여 자세히 설명하기로 한다.
도 9는 다양한 실시예들에 따른 클러스터 정보를 생성하는 방법의 일 예를 나타내는 도면이다.
일 실시예에 따른 파라미터 결정부(330)는 파라미터 업데이트부(340)로부터 업데이트된 화질 파라미터들을 수신하여, 저장할 수 있다. 이때, 파라미터 결정부(330)는 업데이트된 화질 파라미터들을 영상의 전송 특성 별로 저장할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 파라미터 결정부(330)는 제1 전송 특성에 대응하는 제1 로우 데이터 테이블(911), 제2 전송 특성에 대응하는 제2 로우 데이터 테이블(912),… ,제N 전송 특성에 대응하는 제N 로우 데이터 테이블(919)을 포함할 수 있다.
파라미터 결정부(330)는 파라미터 업데이트부(340)로부터 수신한 업데이트 화질 파라미터가 제1 전송 특성을 가지는 제1 영상에 대한 화질 파라미터인 경우, 업데이트 화질 파라미터와 제1 영상의 영상 특징을 포함하는 로우 데이터를 제1 로우 데이터 테이블(911)에 저장할 수 있다. 이때, 제1 영상의 영상 특징은 도 3에서 전술한 바와 같이, 파라미터 계산부(320)로부터 수신될 수 있다.
파라미터 결정부(330)는 제1 로우 데이터 테이블(911)에 저장된 로우 데이터의 개수가 기 설정된 개수 이상인 경우, 클러스터링을 수행하여, 클러스터 정보를 생성할 수 있다. 예를 들어, 파라미터 결정부(330)는 제1 전송 특성에 대응하는 제1 로우 데이터 테이블(911)에 N개의 로우 데이터가 저장되면, N개의 로우 데이터의 클러스터링을 수행하여, K개의 클러스터를 포함하는 제1 클러스터 테이블(921)을 생성할 수 있다. 파라미터 결정부(330)는 N개의 로우 데이터에 포함되는 N개의 영상 특징들을 K개의 그룹으로 분류하고, 동일한 그룹에 포함되는 영상 특징들에 기초하여, 대표 영상 특징을 결정할 수 있다. 또한, 동일한 그룹에 포함되는 업데이트 화질 파라미터들에 기초하여, 대표 화질 파라미터를 결정할 수 있다.
K개의 그룹들 각각은 하나의 클러스터에 해당하며, 제1 클러스터 테이블(921)은 K개의 클러스터들을 포함할 수 있다. 또한, 하나의 클러스터는 대표 영상 특징과 대표 화질 파라미터를 포함할 수 있다.
동일한 방식으로, 제2 전송 특성에 대응하는 제2 로우 데이터 테이블(912)에 저장된 로우 데이터의 개수가 기 설정된 개수 이상인 경우, 클러스터링을 수행하여, 제2 클러스터 테이블(922)을 생성할 수 있다. 또한, 제N 전송 특성에 대응하는 제N 로우 데이터 테이블(919)에 저장된 로우 데이터의 개수가 기 설정된 개수 이상인 경우, 클러스터링을 수행하여, 제N 클러스터 테이블(929)을 생성할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 파라미터 결정부(330)는 클러스터링이 완료되면, 생성된 클러스터 테이블을 저장하고, 로우 데이터 테이블에 저장된 로우 데이터들을 삭제할 수 있다. 또한, 파라미터 결정부(330)는 계속해서 업데이트된 파라미터들을 수신하여, 로우 데이터 테이블에 저장하고, 로우 데이터의 개수가 기 설정된 개수 이상인 경우, 다시 클러스터링을 수행하여, 기존의 클러스터 테이블을 업데이트할 수 있다.
업데이트된 클러스터 테이블들을 포함하는 클러스터 정보가 저장되면, 파라미터 결정부(330)는 영상의 전송 특성, 영상 특징 및 업데이트된 클러스터 정보에 기초하여, 영상의 화질 처리를 수행할 화질 처리부의 파라미터들을 결정할 수 있다.
이에 따라, 일 실시예에 따른 영상 처리 장치(100)는 시청 이력에 기반하여, 지속적으로 영상의 화질이 좋아지는 방향으로 화질 파라미터들을 업데이트할 수 있다.
도 10은 다양한 실시예들에 따른 영상 처리 장치의 동작방법의 일 예를 나타내는 흐름도이다.
도 10을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 영상을 수신할 수 있다(S1010). 또한, 영상 처리 장치(100)는 영상에 대한 특성을 함께 수신할 수 있다. 예를 들어, 영상의 특성은 영상의 전송 특성을 포함할 수 있으며, 영상의 전송 특성은 영상의 해상도, 비트레이트, 소스 정보 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
영상 처리 장치(100)는 수신한 영상에 대한 영상 특징 및 초기 파라미터 셋을 획득할 수 있다(S1020).
예를 들어, 영상 처리 장치(100)는 파라미터 뉴럴 네트워크를 이용하여, 영상에 대한 영상 특징 및 초기 파라미터 셋을 획득할 수 있다. 이때, 일 실시예에 따른 파라미터 뉴럴 네트워크는 영상을 입력 받고, 입력된 영상의 화질 처리에 가장 최적화된 초기 파라미터 셋을 출력하도록 훈련된 네트워크일 수 있다. 일 실시예에 따른 파라미터 뉴럴 네트워크는 도 4 및 도 5를 참조하여 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
영상 처리 장치(100)는 기 저장된 클러스터 정보가 존재하는 지 확인하여(S1030), 클러스터 정보가 존재하지 않는 경우(S1030 동작에서 “아니오”), 1020 단계(S1020)에서 획득한 초기 파라미터 셋을 이용하여, 화질 처리를 수행할 수 있다(S1040).
일 실시예에 따른 화질 처리는, 예를 들어, 영상의 노이즈 제거 처리, 영상의 디테일 개선 처리 등을 포함할 수 있다. 이때, 영상 처리 장치(100)는 1020 단계에서 획득한 초기 파라미터 셋에 포함된 제1 화질 파라미터에 기초하여, 영상의 노이즈 제거 처리를 수행하고, 제2 화질 파라미터에 기초하여, 노이즈가 제거된 영상의 디테일 개선 처리를 수행할 수 있다. 다만, 이에 한정되지 않으며, 일 실시예에 따른 영상 처리 장치(100)는 디테일 개선 처리를 먼저 하고, 노이즈 제거 처리를 수행할 수도 있다.
반면에, 클러스터 정보가 존재하는 경우(S1030 동작에서 “예”), 영상 처리 장치(100)는 전송 특성 및 1020 단계(S1020)에서 획득된 영상 특징에 기초하여, 영상에 대응하는 클러스터를 검색할 수 있다(S1050). 예를 들어, 영상 처리 장치(100)는 전송 특성에 따라, 클러스터 정보에서 클러스터 테이블을 선택하고, 영상 특징에 기초하여, 선택된 클러스터 테이블에 포함된 복수의 클러스터들 중 어느 하나를 선택할 수 있다. 이때, 복수의 클러스터들 각각은 대표 영상 특징과 대표 화질 파라미터를 포함할 수 있으며, 영상 처리 장치(100)는 선택된 클러스터 테이블에 포함된 복수의 클러스터들 중, 1020 단계(S1020)에서 획득한 영상 특징과 가장 유사한 대표 영상 특징을 포함하는 클러스터를 선택할 수 있다.
영상 처리 장치(100)는 선택된 클러스터에 포함되는 대표 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다(S1060).
영상 처리 장치(100)는 화질 처리가 수행된 영상에 기초하여, 업데이트 파라미터를 획득할 수 있다(S1070).
예를 들어, 영상 처리 장치(100)는 파라미터 업데이트 네트워크를 이용하여, 화질 파라미터들의 업데이트 방향을 결정할 수 있다. 파라미터 업데이트 네트워크는 화질 처리된 영상을 입력 받아, 영상에 적용된 화질 파라미터의 업데이트 방향을 출력하는 네트워크일 수 있다. 일 실시예에 따른 파라미터 업데이트 네트워크에 대해서는 도 7 및 도 8을 참조하여 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
예를 들어, 제1 화질 파라미터 및 제2 화질 파라미터가 적용된 화질 처리 영상을 파라미터 업데이트 네트워크에 입력하면, 제1 화질 파라미터를 증가시켜야 할지 또는 감소시켜야 할지, 제2 화질 파라미터를 증가시켜야 할지 또는 감소시켜야 할지에 대한 업데이트 방향이 출력될 수 있다.
화질 파라미터들의 업데이트 방향이 획득되면, 영상 처리 장치(100)는 업데이트 방향으로 기 설정된 값을 증가시키거나 감소시켜, 화질 파라미터들을 업데이트할 수 있다.
영상 처리 장치(100)는 업데이트된 화질 파라미터들을 영상의 전송 특성 별로 저장할 수 있다. 예를 들어, 영상 처리 장치(100)는 제1 전송 특성에 대응하는 제1 로우 데이터 테이블, 제2 전송 특성에 대응하는 제2 로우 데이터 테이블, 제N 전송 특성에 대응하는 제N 로우 데이터 테이블을 포함할 수 있다.
영상 처리 장치(100)는 영상의 전송 특징에 기초하여, 영상 특징 및 업데이트된 화질 파라미터를 포함하는 로우 데이터를 로우 데이터 테이블에 저장할 수 있다(S1080). 예를 들어, 업데이트된 화질 파라미터가 제1 전송 특성을 가지는 제1 영상에 대한 화질 파라미터인 경우, 업데이트된 화질 파라미터와 제1 영상의 영상 특징을 포함하는 로우 데이터를 제1 로우 데이터 테이블에 저장할 수 있다. 업데이트된 화질 파라미터가 제N 전송 특성을 가지는 제2 영상에 대한 파라미터인 경우, 업데이트된 화질 파라미터와 제2 영상의 영상 특징을 포함하는 로우 데이터를 제N 로우 데이터 테이블에 저장할 수 있다.
영상 처리 장치(100)는 로우 데이터 테이블에 저장된 로우 데이터가 기 설정된 개수인지를 판단하고(S1090), 로우 데이터가 기 설정된(예를 들어, 지정된) 개수인 경우, 클러스터링을 수행하고, 로우 데이터를 삭제할 수 있다(S1095).
예를 들어, 영상 처리 장치(100)는 제1 로우 데이터 테이블에 N개의 로우 데이터가 저장되면, 클러스터링을 수행하여, K개의 클러스터들을 포함하는 제1 클러스터 테이블을 생성하거나 업데이트할 수 있다.
영상 처리 장치(100)는 N개의 로우 데이터에 포함되는 N개의 영상 특징을 기 설정된 기준에 따라 K개의 그룹으로 분류하고, 동일한 그룹에 포함되는 영상 특징들에 기초하여, 대표 영상 특징을 결정할 수 있다. 또한, 동일한 그룹에 포함되는 업데이트 파라미터들에 기초하여, 대표 화질 파라미터를 결정할 수 있다. K개의 그룹들 각각은 하나의 클러스터에 해당하며, 제1 클러스터 테이블은 K개의 클러스터들을 포함할 수 있다. 또한, 하나의 클러스터는 대표 영상 특징과 대표 화질 파라미터를 포함할 수 있다.
제1 로우 데이터 테이블에 대한 클러스터링이 완료되어, 제1 클러스터 테이블이 생성되면, 제1 로우 데이터 테이블에 저장되어 있던 N개의 로우 데이터들을 삭제할 수 있다.
영상 처리 장치(100)는 동일한 방식으로 제2 내지 제N 전송 특성들 각각에 대응하는 로우 데이터 테이블에 대한 클러스터링을 수행하여, 제2 내지 제N 클러스터 테이블을 생성하거나 업데이트할 수 있다.
도 11은 다양한 실시예들에 따른 영상 처리 장치가 외부 서버와 클러스터 정보를 송수신하는 동작의 일예를 나타내는 도면이다.
도 11을 참조하면, 일 실시예에 따른 영상 처리 장치는 외부 서버(1100)로 클러스터 정보를 전송할 수 있다(1110). 예를 들어, 영상 처리 장치(100)는 업데이트 파라미터들에 기초하여, 클러스터링을 수행하고, 클러스터 정보를 획득하면, 클러스터 정보를 외부 서버(1100)로 전송(업로드)할 수 있다. 또한, 영상 처리 장치(100)는 주기적으로 또는 클러스터 정보가 업데이트되면, 업데이트된 클러스터 정보를 외부 서버(1100)로 전송할 수 있다.
일 실시예에 따른 외부 서버(1100)는 적어도 하나의 통신 네트워크를 이용하여, 복수의 영상 처리 장치들과 클러스터 정보를 송수신할 수 있다. 외부 서버(1100)는 복수의 영상 처리 장치들로부터 수신한 클러스터 정보를 데이터 베이스로 저장하고, 관리할 수 있다.
또한, 외부 서버(1100)는 복수의 영상 처리 장치들로부터 수신한 클러스터 정보에 기초하여, 데이터 베이스에 저장된 기존의 클러스터 정보를 업데이트할 수 있다.
또한, 영상 처리 장치(100)는 외부 서버(1100)로부터 클러스터 정보를 수신(다운로드)할 수 있다(1120). 일 실시예에 따른 영상 처리 장치(100)에 저장되어 있지 않은 클러스터 정보가 외부 서버(1100)에 저장되어 있는 경우, 영상 처리 장치(100)는 클러스터 정보를 요청하고, 외부 서버(1100)는 요청된 클러스터 정보를 영상 처리 장치(100)로 전송할 수 있다.
예를 들어, 도 11에 도시된 바와 같이, 제1 내지 제3 전송 특성들 각각에 대응하는 제1 내지 제3 클러스터 테이블들만 영상 처리 장치(100)에 저장된 상태에서, 영상 처리 장치(100)에 제4 전송 특성을 가지는 영상이 입력될 수 있다. 이때, 영상 처리 장치(100)는 외부 서버(1100)로 제4 전송 특성에 대응하는 클러스터 정보를 요청할 수 있다.
이에 대응하여, 외부 서버(1100)는 데이터 베이스에서 제4 전송 특성에 대응하는 클러스터 정보(예를 들어, 제4 클러스터 테이블)를 검색하여, 제4 클러스터 테이블을 영상 처리 장치(100)로 전송할 수 있다.
영상 처리 장치(100)는 외부 서버(1100)로부터 수신한 제4 클러스터 테이블에 기초하여, 제4 전송 특성을 가지는 영상의 화질 파라미터를 결정하고, 결정된 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다.
이에 따라, 일 실시예에 따른 영상 처리 장치(100)는 시청 이력이 없는 영상에 대해서도 최적화된 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다. 또한, 영상 처리 장치(100)는 모든 클러스터 정보를 저장할 필요 없이, 필요한 클러스터 정보를 외부 서버로부터 다운로드하여 이용함으로써, 영상 처리 장치의 하드웨어 리소스 제약의 문제점을 해결할 수 있다.
도 12는 다양한 실시예들에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 12를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 영상 수신부(예를 들어, 영상 수신 회로를 포함함, 110), 프로세서(예를 들어, 처리 회로를 포함함, 120), 메모리(130), 및 디스플레이(140)를 포함할 수 있다.
일 실시예에 따른 영상 수신부(110)는 다양한 회로를 포함할 수 있으며, 통신 인터페이스, 입출력 인터페이스 등을 포함할 수 있다. 예를 들어, 통신 인터페이스는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신 인터페이스는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
입출력 인터페이스는, 영상 처리 장치(100)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
일 실시예에 따른 영상 수신부(110)는 하나 이상의 영상들을 수신할 수 있다. 이때, 영상 수신부(110)는 영상에 대한 전송 특성(예를 들어, 입력 해상도, 비트 레이트, 영상 소스에 대한 정보 등)을 함께 수신할 수 있다.
일 실시예에 따른 프로세서(120)는 다양한 처리 회로를 포함할 수 있으며, 영상 처리 장치(100)의 전반적인 동작 및 영상 처리 장치(100)의 내구 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
또한, 프로세서(120)는, 예를 들어, CPU(Cetral Processing Unit), 전용 프로세서, GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 실시예에 따라, CPU, 전용 프로세서, GPU 및/또는 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다.
일 실시예에 따른 메모리(130)는 영상 처리 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 도 3의 화질 처리부(310), 파라미터 계산부(320), 파라미터 결정부(330) 및 파라미터 업데이트부(340) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 수신한 영상에 대한 영상 특징 및 초기 파라미터 셋을 획득할 수 있다. 프로세서(120)는 파라미터 뉴럴 네트워크를 이용하여, 영상에 대한 영상 특징 및 초기 파라미터 셋을 획득할 수 있다. 프로세서(120)는 기 저장된 클러스터 정보가 존재하는 지를 확인하여, 클러스터 정보가 존재하지 않는 경우, 초기 파라미터 셋을 이용하여, 화질 처리를 수행할 수 있다. 이때, 화질 처리는 영상의 노이즈 제거 처리, 영상의 디테일 개선 처리 등을 포함할 수 있다.
반면에 클러스터 정보가 존재하는 경우, 프로세서(120)는 영상의 전송 특성 및 영상 특징에 기초하여, 영상에 대응하는 클러스터를 검색할 수 있다. 예를 들어, 프로세서(120)는 전송 특성에 따라 클러스터 정보에서 클러스터 테이블을 선택할 수 있다. 클러스터 테이블은 복수의 클러스터들을 포함하고, 복수의 클러스터들 각각은 대표 영상 특징과 대표 화질 파라미터를 포함할 수 있다. 프로세서(120)는 복수의 클러스터들 중 영상 특징과 가장 유사한 대표 영상 특징을 포함하는 클러스터를 선택하고, 선택된 클러스터에 포함된 대표 화질 파라미터를 이용하여, 화질 처리를 수행할 수 있다.
프로세서(120)는 화질 처리가 수행된 영상에 기초하여, 업데이트 파라미터를 획득할 수 있다. 예를 들어, 프로세서(110)는 파라미터 업데이트 네트워크를 이용하여, 화질 파라미터들의 업데이트 방향을 결정할 수 있다.
프로세서(120)는 화질 파라미터들의 업데이트 방향이 획득되면, 업데이트 방향으로 기 설정된 값을 증가시키거나 감소시켜, 화질 파라미터들을 업데이트할 수 있다. 프로세서(120)는 업데이트된 화질 파라미터들을 영상의 전송 특성 별로 저장할 수 있다. 프로세서(120)는 업데이트된 화질 파라미터를 이용하여, 클러스터링을 수행할 수 있다. 예를 들어, 프로세서(120)는 업데이트된 화질 파라미터가 기 설정된 개수만큼 저장되면, 클러스터링을 수행하여, 클러스터 정보를 생성하거나 업데이트할 수 있다.
프로세서(120)는 업데이트된 클러스터 정보에 포함된 화질 파라미터를 이용하여, 영상의 화질 처리를 수행함으로써, 영상의 화질이 개선될 수 있다.
일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 화질 파라미터를 이용하여 화질 처리가 수행된 영상을 표시할 수 있다.
도 13은 다양한 실시예들에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 13을 참조하면, 도 13의 영상 처리 장치(1300)는 도 1 내지 도 12를 참조하여 설명한 영상 처리 장치(100)의 일 예일 수 있다.
도 13을 참조하면, 일 실시예에 따른 영상 처리 장치(1300)는, 튜너부(1340), 프로세서(예를 들어, 처리 회로 포함, 1310), 디스플레이부(1320), 통신부(예를 들어, 통신 회로 포함, 1350), 감지부(예를 들어, 감지 회로 포함, 1330), 입/출력부(예를 들어, 입/출력 회로 포함, 1370), 비디오 처리부(예를 들어, 비디오 처리 회로 포함, 1380), 오디오 처리부(예를 들어, 오디오 처리 회로 포함, 1385), 오디오 출력부(예를 들어, 오디오 출력 회로 포함. 1360), 메모리(1390), 전원부(1395)를 포함할 수 있다.
도 13의 통신부(1350)는 도 12의 영상 수신부(110)에 포함되는 통신 인터페이스에 대응하는 구성이고, 도 13의 입/출력부(1370)는 도 12의 영상 수신부(110)에 포함되는 입출력 인터페이스에 대응하는 구성이며, 도 13의 프로세서(1310)는, 도 12의 프로세서(120)에 도 13의 메모리(1390)는 도 12의 메모리(130)에, 도 13의 디스플레이부(1320)는 도 12의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.
일 실시예에 따른 튜너부(1340)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1340)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1340)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1330)는 다양한 감지 회로를 포함할 수 있으며, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지할 수 있으며, 예를 들어, 마이크(1331), 카메라부(1332) 및 광 수신부(1333)를 포함할 수 있다.
마이크(1331)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1331)는 수신된 음성을 전기 신호로 변환하여 프로세서(1310)로 출력할 수 있다. 사용자 음성은 예를 들어, 영상 처리 장치(1300)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1332)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1310)는 수신된 모션의 인식 결과를 이용하여 영상 처리 장치(1300)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1333)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1320)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1333)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1310)의 제어에 의해 제어 신호가 추출될 수 있다.
프로세서(1310)는 다양한 처리 회로를 포함할 수 있으며, 영상 처리 장치(1300)의 전반적인 동작 및 영상 처리 장치(1300)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1310)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1390)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1310)는 영상 처리 장치(1300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 영상 처리 장치(1300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 영상 처리 장치(1300)의 제어를 위한 제어 프로그램이 저장된 롬(ROM)을 포함할 수 있다.
비디오 처리부(1380)는 다양한 비디오 처리 회로를 포함할 수 있으며, 영상 처리 장치(1300)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1380)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(1385)는 다양한 처리 회로를 포함할 수 있으며, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1385)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1385)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1360)는 다양한 오디오 출력 회로를 포함할 수 있으며, 프로세서(1310)의 제어에 의해 튜너부(1340)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1360)는 통신부(1350) 또는 입/출력부(1370)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1360)는 프로세서(1310)의 제어에 의해 메모리(1390)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1360)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1395)는 프로세서(1310)의 제어에 의해 영상 처리 장치(1300) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1395)는 프로세서(1810)의 제어에 의해 영상 처리 장치(1300) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1390)는 프로세서(1310)의 제어에 의해 영상 처리 장치(1300)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1390)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1390)의 도시되지 아니한 모듈들 및 데이터 베이스는 영상 처리 장치(1300)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1890)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 12 및 도 13에 도시된 영상 처리 장치(100, 1300)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상 처리 장치(100, 1300)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 영상 처리 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 영상 처리 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 영상 처리 장치의 제조사 또는 전자 마켓을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치를 포함하는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
본 개시는 다양한 실시예들을 참조하여, 예시되고 설명되었지만, 다양한 실시예들은 제한적인 것이 아니라, 예시적인 것을 의도하는 것으로 이해될 것이다. 또한, 본 발명의 권리범위는 본 개시의 실시예들에 한정되는 것은 아니고, 본 발명의 기본 개념에 기초하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다. 여기에 설명된 임의의 실시예들은, 여기에 설명된 임의의 다른 실시예들과 함께 사용될 수 있음이, 또한 이해될 것이다.

Claims (15)

  1. 영상 처리 장치에 있어서,
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션들을 실행함으로써,
    제1 영상으로부터 제1 영상 특징을 추출하고,
    상기 제1 영상의 전송 특성 및 상기 제1 영상 특징에 기초하여, 대표 영상 특징 및 대표 화질 파라미터를 포함하고, 상기 영상 처리 장치에 저장된 복수의 클러스터들 중 상기 제1 영상에 대응하는 제1 클러스터를 검색하고,
    상기 검색된 제1 클러스터의 제1 대표 화질 파라미터에 기초하여, 상기 제1 영상의 화질 처리를 수행하고,
    상기 화질 처리된 제1 영상에 기초하여, 상기 제1 대표 화질 파라미터를 업데이트한 제1 업데이트 파라미터를 획득하고,
    상기 제1 업데이트 파라미터에 기초하여, 상기 복수의 클러스터들을 업데이트 하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하고,
    획득된 초기 파라미터에 기초하여, 상기 복수의 영상들 각각의 화질 처리를 수행하며, 상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터를 업데이트한 업데이트 파라미터를 획득하고,
    상기 복수의 영상들 각각의 전송 특성, 영상 특징 및 업데이트 파라미터를 이용하여, 상기 복수의 클러스터들을 생성하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    파라미터 뉴럴 네트워크를 이용하여, 상기 복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하는, 영상 처리 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터의 업데이트 방향을 결정하고,
    상기 업데이트 방향으로 지정된 값을 적용하여, 상기 초기 파라미터를 업데이트하여, 상기 업데이트 파라미터를 획득하는, 영상 처리 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    파라미터 업데이트 뉴럴 네트워크를 이용하여, 상기 화질 처리된 영상에 적용된 상기 초기 파라미터의 값을 증가시킬지 감소시킬지를 나타내는 상기 업데이트 방향을 결정하는, 영상 처리 장치.
  6. 제2항에 있어서,
    상기 프로세서는
    상기 복수의 영상들 각각의 전송 특성에 기초하여, 상기 복수의 영상들 각각의 영상 특징 및 업데이트 파라미터를 포함하는 로우 데이터들을 그룹핑하고,
    동일한 그룹으로 그룹핑된 로우 데이터들을 K개의 클러스터들로 클러스터링하고,
    동일한 클러스터에 포함되는 로우 데이터들에 기초하여, 상기 클러스터들 각각에 대한 상기 대표 영상 특징 및 상기 대표 화질 파라미터를 결정하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 동일한 그룹으로 그룹핑된 로우 데이터들의 개수가 지정된 개수 이상인 것에 기초하여, 상기 클러스터링을 수행하는, 영상 처리 장치.
  8. 제1항에 있어서,
    상기 영상 처리 장치는,
    통신 회로를 포함하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 복수의 클러스터들을 포함하는 클러스터 정보를 외부 서버로부터 수신하도록 상기 통신부를 제어하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 영상의 전송 특성을 상기 외부 서버로 전송하고, 상기 외부 서버로부터 상기 제1 영상의 전송 특성에 대응하는 클러스터 정보를 수신하도록 상기 통신부를 제어하는, 영상 처리 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 복수의 클러스터들을 포함하는 클러스터 정보를 외부 서버로 전송하도록 상기 통신부를 제어하는, 영상 처리 장치.
  11. 영상 처리 장치의 동작방법에 있어서,
    제1 영상으로부터 제1 영상 특징을 추출하는 단계;
    상기 제1 영상의 전송 특성 및 상기 제1 영상 특징에 기초하여, 대표 영상 특징 및 대표 화질 파라미터를 포함하고, 상기 영상 처리 장치에 저장된 복수의 클러스터들 중 상기 제1 영상에 대응하는 제1 클러스터를 검색하는 단계;
    상기 검색된 제1 클러스터의 제1 대표 화질 파라미터에 기초하여, 상기 제1 영상의 화질 처리를 수행하는 단계;
    상기 화질 처리된 제1 영상에 기초하여, 상기 제1 대표 화질 파라미터를 업데이트한 제1 업데이트 파라미터를 획득하는 단계; 및
    상기 제1 업데이트 파라미터에 기초하여, 상기 복수의 클러스터들을 업데이트 하는 단계를 포함하는 영상 처리 장치의 동작방법.
  12. 제11항에 있어서,
    상기 동작방법은,
    복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하는 단계;
    획득된 초기 파라미터에 기초하여, 상기 복수의 영상들 각각의 화질 처리를 수행하는 단계;
    상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터을 업데이트한 업데이트 파라미터를 획득하는 단계; 및
    상기 복수의 영상들 각각의 전송 특성, 영상 특징 및 업데이트 파라미터를 이용하여, 상기 복수의 클러스터들을 생성하는 단계를 더 포함하는, 영상 처리 장치의 동작방법.
  13. 제12항에 있어서,
    상기 복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하는 단계는,
    파라미터 뉴럴 네트워크를 이용하여, 상기 복수의 영상들 각각에 대응하는 영상 특징 및 초기 파라미터를 획득하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  14. 제12항에 있어서,
    상기 화질 처리된 영상들에 기초하여, 상기 초기 파라미터를 업데이트한 업데이트 파라미터를 획득하는 단계는,
    상기 화질 처리된 영상에 기초하여, 상기 초기 파라미터의 업데이트 방향을 결정하는 단계; 및
    상기 업데이트 방향으로 지정된 값을 적용하여, 상기 초기 파라미터를 업데이트하여, 상기 업데이트 파라미터를 획득하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  15. 컴퓨터에 의해 실행될 때, 제11항의 방법에 대응하는 동작들을 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/017759 2021-01-27 2021-11-29 영상 처리 장치 및 그 동작방법 WO2022163995A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180091217.6A CN116783614A (zh) 2021-01-27 2021-11-29 图像处理装置及其操作方法
EP21923404.4A EP4184425A4 (en) 2021-01-27 2021-11-29 IMAGE PROCESSING APPARATUS AND ITS OPERATING METHOD
US17/573,010 US20220245767A1 (en) 2021-01-27 2022-01-11 Image processing apparatus and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0011803 2021-01-27
KR1020210011803A KR20220108610A (ko) 2021-01-27 2021-01-27 영상 처리 장치 및 그 동작방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/573,010 Continuation US20220245767A1 (en) 2021-01-27 2022-01-11 Image processing apparatus and operation method thereof

Publications (1)

Publication Number Publication Date
WO2022163995A1 true WO2022163995A1 (ko) 2022-08-04

Family

ID=82654771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017759 WO2022163995A1 (ko) 2021-01-27 2021-11-29 영상 처리 장치 및 그 동작방법

Country Status (2)

Country Link
KR (1) KR20220108610A (ko)
WO (1) WO2022163995A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030339A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR20190048196A (ko) * 2017-10-30 2019-05-09 에스케이텔레콤 주식회사 화질 측정 기반 영상 처리방법 및 그 장치
KR20200026759A (ko) * 2018-09-03 2020-03-11 주식회사 카카오 영상 컨텐츠를 처리하는 장치, 방법, 및 컴퓨터 프로그램
KR20200045740A (ko) * 2018-10-23 2020-05-06 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
KR20200073078A (ko) * 2018-12-13 2020-06-23 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030339A (ko) * 2017-09-14 2019-03-22 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR20190048196A (ko) * 2017-10-30 2019-05-09 에스케이텔레콤 주식회사 화질 측정 기반 영상 처리방법 및 그 장치
KR20200026759A (ko) * 2018-09-03 2020-03-11 주식회사 카카오 영상 컨텐츠를 처리하는 장치, 방법, 및 컴퓨터 프로그램
KR20200045740A (ko) * 2018-10-23 2020-05-06 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
KR20200073078A (ko) * 2018-12-13 2020-06-23 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법

Also Published As

Publication number Publication date
KR20220108610A (ko) 2022-08-03

Similar Documents

Publication Publication Date Title
WO2020101143A1 (en) Image processing apparatus and method of operating the same
WO2020145596A1 (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
WO2019054791A1 (ko) 컨텐트를 실행하는 방법 및 장치
WO2018155859A1 (en) Image display device and operating method of the same
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2016129840A1 (en) Display apparatus and information providing method thereof
WO2020105979A1 (en) Image processing apparatus and control method thereof
WO2019231138A1 (en) Image display apparatus and operating method of the same
WO2021118225A1 (en) Display device and operating method thereof
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2019135553A1 (en) Electronic device, control method thereof, and computer readable recording medium
WO2020050508A1 (en) Image display apparatus and operation method of the same
WO2021251632A1 (en) Display device for generating multimedia content, and operation method of the display device
WO2017146518A1 (en) Server, image display apparatus, and method of operating the image display apparatus
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2020171657A1 (en) Display device and image display method of the same
WO2022163995A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020122554A1 (en) Display apparatus and method of controlling the same
WO2020060071A1 (en) Electronic apparatus and control method thereof
WO2019198951A1 (ko) 전자 장치 및 그 동작 방법
WO2018016760A1 (ko) 전자 장치 및 그의 제어 방법
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2023195661A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2020184856A1 (ko) 방송 수신 장치 및 그 동작방법
WO2023033295A1 (ko) 디스플레이 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923404

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021923404

Country of ref document: EP

Effective date: 20230214

WWE Wipo information: entry into national phase

Ref document number: 202180091217.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE