WO2022145769A1 - Method and apparatus for calculating image quality through image classification - Google Patents

Method and apparatus for calculating image quality through image classification Download PDF

Info

Publication number
WO2022145769A1
WO2022145769A1 PCT/KR2021/018219 KR2021018219W WO2022145769A1 WO 2022145769 A1 WO2022145769 A1 WO 2022145769A1 KR 2021018219 W KR2021018219 W KR 2021018219W WO 2022145769 A1 WO2022145769 A1 WO 2022145769A1
Authority
WO
WIPO (PCT)
Prior art keywords
quality index
image
label
neural network
query image
Prior art date
Application number
PCT/KR2021/018219
Other languages
French (fr)
Korean (ko)
Inventor
송철환
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Publication of WO2022145769A1 publication Critical patent/WO2022145769A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present invention relates to a method and apparatus for calculating image quality through image classification, and more particularly, to a method and apparatus for calculating an image quality index by adjusting a weight of an image quality operation based on a label for an image.
  • the image filtering technology may use the quality index for each image, but the conventional technology for calculating the quality index has a limitation that the quality determined by the computer and the user may be different depending on the type of image. For example, the computer determines that the quality of the general photo and the pictorial photo is the same, but the user may recognize that the pictorial photo is of higher quality than the general photo.
  • An object of the present invention is to solve the above-mentioned problem, and to calculate the quality index of an image by varying the weight according to the type of the image.
  • the present invention for achieving this object is a step A of receiving at least one query image from a user terminal, a step B of generating a feature vector by applying a first neural network model to the query image, and the query based on the feature vector. It is characterized in that it comprises a step C of identifying a label of the image and calculating a first quality index, and a step D of calculating a third quality index of the query image using the label and the first quality index.
  • the present invention provides a query image input module that receives at least one query image from a user terminal, generates a feature vector by applying a first neural network model to the query image, and identifies a label of the query image based on the feature vector and an image analysis module for calculating a first quality index, and a quality index calculation module for calculating a third quality index of the query image using the label and the first quality index.
  • the present invention as described above, it is possible to calculate the quality index of the image by changing the weight according to the type of the image. Through this, the gap between the image quality judged by the computer and the image quality judged by humans can be narrowed.
  • FIG. 1 is a block diagram showing the configuration of an image quality calculating device according to an embodiment of the present invention
  • FIG. 2 is a flowchart for explaining an image quality calculation method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process of learning a neural network model for image quality calculation according to an embodiment of the present invention.
  • each of the components may be implemented as a hardware processor, the above components may be integrated into one hardware processor, or the above components may be combined with each other and implemented as a plurality of hardware processors.
  • FIG. 1 is a diagram for explaining the configuration of an image quality calculating apparatus according to an embodiment of the present invention.
  • the image quality calculating device 10 may receive at least one query image and calculate a quality index for the query image.
  • the image quality calculating device 10 may analyze the query image to identify a label corresponding to the query image, and calculate a quality index by changing a weight according to the identified label.
  • the image quality calculation device 10 may include a query image input module 100 , an image analysis module 200 , and a quality index calculation module 300 .
  • the image quality calculation device 10 may process operations of the query image input module 100 , the image analysis module 200 , and the quality index calculation module 300 through at least one processor.
  • the query image input module 100 may receive at least one query image from the user terminal.
  • the image analysis module 200 may identify a label corresponding to the received query image. Specifically, the image analysis module 200 may classify the query image by extracting a feature vector from the query image and identifying a label of the query image based on the feature vector.
  • the first neural network model will be used.
  • the first neural network model is trained based on machine learning.
  • the first neural network model according to an embodiment of the present invention will be based on a convolutional neural network (CNN).
  • Convolutional neural networks are a class of multilayer perceptrons designed to use minimal preprocessing.
  • a convolutional neural network consists of one or several convolutional layers and general artificial neural network layers on top of it, and additionally utilizes weights and pooling layers. Thanks to this structure, the convolutional neural network can fully utilize the input data of the two-dimensional structure.
  • the image analysis module 200 may include an encoder 230 and a decoder 260 as the first neural network model based on CNN is used.
  • the encoder 230 may generate a feature vector representing detailed features in the received query image, and the decoder 260 may reconstruct data from the feature vector using a deconvolution layer.
  • the encoder 230 of the image analysis module 200 includes a convolution layer, an activation function layer (Relu layer), a dropout layer, and a max pooling layer (Max- It can be created by combining pooling layers).
  • the encoder 230 may use a conventional method such as a Scale Invariant Feature Transform (SIFT) algorithm to extract a feature vector of the received query image.
  • SIFT Scale Invariant Feature Transform
  • the decoder 260 may be generated by combining an upsampling layer, a deconvolution layer, a sigmoid layer, and a dropout layer.
  • the decoder 260 may identify a label corresponding to the query image based on the feature vector corresponding to the query image, and further calculate a first quality index of the query image.
  • the decoder 260 may normalize the feature vector by applying a softmax function to the feature vector of the query image.
  • the softmax function is a function that provides normalization of the output value so that it can classify the output value used in the artificial neural network.
  • the decoder 260 may apply a softmax function to classify the label of the query image based on the feature vector.
  • the decoder 260 may identify a label corresponding to the query image using a result of applying the softmax function to the feature vector.
  • a label according to an embodiment of the present invention may include a portrait pictorial, an object (animal/landscape) pictorial, a cover photo, a portrait interview photo, a general photo, a general photo + text, a captured photo, a low-quality photo, and the like. Labels may be further added or deleted according to the administrator's settings.
  • the decoder 260 when an interview picture for Mr. A is input as a query image, the decoder 260 generates a feature vector for the query image and applies the softmax function to ⁇ (personal picture, 13%), (object ( Animal/Landscape) pictorial, 2%), (Cover photo, 7%), (person interview photo, 54%), (Normal photo, 17%), (Normal photo+text, 3%), (Capture photo, 3 %), (low quality photo, 1%) ⁇ .
  • the decoder 260 will select the label with the highest probability as the label corresponding to the query image.
  • the decoder 260 may further calculate the first quality index of the query image based on the feature vector.
  • the quality index is a value indicating the degree of quality of the query image, and the decoder 260 according to an embodiment of the present invention will use a conventional method in calculating the first quality index.
  • the quality index calculation module 300 may calculate a final quality index (third quality index) based on the label corresponding to the query image identified by the image analysis module 200 and the first quality index.
  • the quality index calculation module 300 may calculate the third quality index by using the first quality index and the second quality index according to the label of the query image.
  • the quality index calculation module 300 may vary the second quality index according to the label of the query image.
  • the quality index calculation module 300 according to an embodiment of the present invention may select a second quality index within the range by varying the range of the second quality index according to the priority of a table preset by the user.
  • the range of the second quality index of the person picture is (4, 5)
  • the range of the second quality index of the object (animal/landscape) picture is (3.7, 4.7)
  • the range of the second quality index of the cover picture is (3.5)
  • the range of the second quality index of interview photos is (3, 4)
  • the range of the second quality index of general photos is (2.5, 3.5)
  • the range of the second quality index of general photos + text is ( 2, 3)
  • the range of the second quality index of the captured photo may be set to (1, 2)
  • the range of the second quality index of the low-quality photo may be set to (0, 1).
  • the second quality index corresponding to each label according to an embodiment of the present invention will be selected by the second neural network model within a preset range as described above.
  • the second neural network model may precede learning with a training data set to select a second quality index.
  • the learning process of the second neural network model will be described in detail below.
  • the quality index calculation module 300 is a third quality index (final quality index) based on the first quality index of the query image calculated in the first neural network model for the query image and the second quality index calculated in the second neural network model can create
  • the image analysis module 200 and the quality index calculation module 300 may be trained through the following process.
  • the image analysis module 200 and the quality index calculation module 300 may be learned through supervised learning.
  • supervised learning a model is trained in a state in which a label (correct answer) for training data is given.
  • the image analysis module 200 may receive a training data set from the user terminal.
  • the training data set will include a training image, a first label (type of image) of the training image, and a fourth quality index of the training image.
  • the training data may have the form (training image, first label, fourth quality index).
  • the image analysis module 200 may generate a feature vector for the training image through the first neural network model, and identify a second label corresponding to the training data based on this.
  • the image analysis module 200 may compare with the first label for the training image included in the training data set to determine whether the second label is correctly identified.
  • the image analysis module 200 will train the first neural network model by giving a positive feedback to the first neural network model if the first label and the second label are the same, and a negative feedback if not the same.
  • the quality index calculation module 300 may calculate the final quality index (the fifth quality index) for the training data by using the second neural network model.
  • the quality index calculation module 300 may calculate a fifth quality index for the training image through the feature vector and the second label generated by the image analysis module 200 through the training data set.
  • the quality index calculation module 300 may calculate a loss (loss) based on the fifth quality index for the training image and the fourth quality index included in the training data set.
  • the quality index calculation module 300 may train the second neural network model by adjusting a parameter for selecting the second quality index for each label of the second neural network model based on the loss value.
  • the image analysis module 200 and the quality index calculation module 300 may more accurately calculate the third quality index for the query image.
  • FIG. 2 is a flowchart illustrating an image quality calculation method according to an embodiment of the present invention.
  • an image quality calculation method will be described with reference to FIG. 2 .
  • a detailed embodiment overlapping with the image quality calculation apparatus described above may be omitted.
  • the image quality calculating device may receive at least one query image from the user terminal ( S110 ).
  • the electronic device may analyze the received query image to identify a label corresponding to the query image, and calculate a quality index by varying a weight according to the label.
  • the electronic device may use the first neural network model to analyze the query image to identify a label corresponding to the query image, and use the second neural network model to calculate a quality index by changing a weight according to the label.
  • the electronic device may extract a feature vector of the received query image (S120).
  • the electronic device may use a conventional method such as a Scale Invariant Feature Transform (SIFT) algorithm to extract a feature vector of a query image.
  • SIFT Scale Invariant Feature Transform
  • the electronic device may identify a label corresponding to the query image based on the feature vector ( S130 ).
  • the electronic device may identify a label corresponding to the query image by normalizing the feature vector by applying a Softmax function to the feature vector.
  • the electronic device may select a label having the highest probability among the result values of the softmax function for the feature vector as a label corresponding to the query image.
  • the label according to an embodiment of the present invention may include a person picture, an object (animal/landscape) picture, a cover picture, a person interview picture, a general picture, a general picture + text, a captured picture, a low quality picture, etc. It may be added or deleted according to the setting of .
  • the electronic device may further calculate the first quality index of the feature vector of the query image extracted in step 120 ( S135 ).
  • the quality index is a value indicating the degree of quality of the query image, and the electronic device will use a conventional method in calculating the first quality index.
  • the electronic device may calculate a final quality index (third quality index) based on the label of the query image obtained in steps 130 and 135 and the first quality index ( S140 ).
  • the electronic device may calculate the third quality index by using the first quality index and the second quality index according to the label of the query image.
  • the electronic device may vary the second quality index according to the label of the query image.
  • the electronic device according to an embodiment of the present invention may select a second quality index within the range by varying the range of the second quality index according to the priority of a label preset by the user.
  • the quality index of an image generated through the image quality calculation method according to an embodiment of the present invention may be applied to services such as image filtering and ranking.
  • the electronic device may learn the neural network model through supervised learning, and referring to FIG. 3 , the electronic device may receive a training data set from the user terminal ( S210 ).
  • the training data set will include a training image, a first label (type of image) of the training image, and a fourth quality index of the training image.
  • the training data may have the form (training image, first label, fourth quality index).
  • the electronic device may generate a feature vector for the training image through the first neural network model, and identify a second label corresponding to the training data based on this ( S220 ).
  • the electronic device may determine whether the second label is correctly identified by comparing the second label with the first label for the training image included in the training data set ( S230 ).
  • the electronic device will train the first neural network model by giving a positive feedback to the first neural network model if the first label and the second label are the same, and a negative feedback to the first neural network model if they are not identical ( S240 ).
  • the electronic device may calculate a final quality index (fifth quality index) for the training data using the second neural network model ( S250 ).
  • the electronic device may calculate a fifth quality index for the training image based on the feature vector and the second label generated by the image analysis module 200 through the training data set.
  • the electronic device may calculate a loss (loss) based on the fifth quality index for the training image and the fourth quality index included in the training data set ( S260 ).
  • the electronic device may train the second neural network model by adjusting a parameter for selecting the second quality index for each label of the second neural network model based on the loss value ( S270 ).
  • the electronic device may more accurately calculate the third quality index for the query image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to a method and apparatus for calculating an image quality index and one objective of the present invention is to calculate a quality index of an image by varying the weight according to the type of image. To this end, the present invention comprises: step A of receiving at least one query image from a user terminal; step B of generating a feature vector by applying a first neural network model to the query image; step C of identifying a label of the query image on the basis of the feature vector and calculating a first quality index; and step D of calculating a third quality index of the query image by using the label and the first quality index.

Description

이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치Image quality calculation method and apparatus through image classification
본 발명은 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치에 관한 것으로, 보다 자세하게는 이미지에 대한 레이블을 기반으로 이미지 퀄리티 연산의 가중치를 조절함으로써 이미지 퀄리티 지수를 연산하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for calculating image quality through image classification, and more particularly, to a method and apparatus for calculating an image quality index by adjusting a weight of an image quality operation based on a label for an image.
이미지, 비디오 등 멀티미디어 서비스의 수요가 증가하고 휴대용 멀티미디어 기기가 보편적으로 보급되면서 방대한 양의 멀티미디어 데이터의 처리 및 분석 기술에 대한 필요성이 커지고 있다. 그 중 이미지 필터링 기술은 이미지 처리 및 분석 기술에 있어서 중요한 역할을 한다.As the demand for multimedia services such as images and video increases and portable multimedia devices are universally distributed, the need for processing and analysis technologies for vast amounts of multimedia data is growing. Among them, image filtering technology plays an important role in image processing and analysis technology.
이미지 필터링 기술은 이미지 각각에 대한 퀄리티 지수를 이용할 수 있는데, 종래의 퀄리티 지수를 연산하는 기술은 이미지의 종류에 따라 컴퓨터와 사용자가 판단하는 퀄리티가 다를 수 있다는 한계가 있다. 예를 들어, 컴퓨터는 일반 사진과 화보 사진의 퀄리티가 동일하다고 판단하였으나 사용자는 일반 사진보다 화보 사진이 퀄리티가 더 높다고 인식할 수 있다.The image filtering technology may use the quality index for each image, but the conventional technology for calculating the quality index has a limitation that the quality determined by the computer and the user may be different depending on the type of image. For example, the computer determines that the quality of the general photo and the pictorial photo is the same, but the user may recognize that the pictorial photo is of higher quality than the general photo.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 이미지의 종류에 따라 가중치를 달리하여 이미지의 퀄리티 지수를 연산하는 것을 일 목적으로 한다.An object of the present invention is to solve the above-mentioned problem, and to calculate the quality index of an image by varying the weight according to the type of the image.
이러한 목적을 달성하기 위한 본 발명은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 A 단계, 상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하는 B 단계, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 C 단계, 및 상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 D 단계를 포함하는 것을 일 특징으로 한다.The present invention for achieving this object is a step A of receiving at least one query image from a user terminal, a step B of generating a feature vector by applying a first neural network model to the query image, and the query based on the feature vector. It is characterized in that it comprises a step C of identifying a label of the image and calculating a first quality index, and a step D of calculating a third quality index of the query image using the label and the first quality index.
또한 본 발명은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 쿼리 이미지 입력 모듈, 상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하고, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 이미지 분석 모듈, 및 상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 퀄리티 지수 연산 모듈을 포함하는 것을 일 특징으로 한다.In addition, the present invention provides a query image input module that receives at least one query image from a user terminal, generates a feature vector by applying a first neural network model to the query image, and identifies a label of the query image based on the feature vector and an image analysis module for calculating a first quality index, and a quality index calculation module for calculating a third quality index of the query image using the label and the first quality index.
전술한 바와 같은 본 발명에 의하면, 이미지의 종류에 따라 가중치를 달리하여 이미지의 퀄리티 지수를 연산할 수 있다. 이를 통해 컴퓨터가 판단하는 이미지의 퀄리티와 사람이 판단하는 이미지의 퀄리티의 간극을 좁힐 수 있다.According to the present invention as described above, it is possible to calculate the quality index of the image by changing the weight according to the type of the image. Through this, the gap between the image quality judged by the computer and the image quality judged by humans can be narrowed.
도 1은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 구성을 나타낸 구성도,1 is a block diagram showing the configuration of an image quality calculating device according to an embodiment of the present invention;
도 2는 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 방법을 설명하기 위한 순서도,2 is a flowchart for explaining an image quality calculation method according to an embodiment of the present invention;
도 3은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산을 위한 신경망 모델을 학습하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of learning a neural network model for image quality calculation according to an embodiment of the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.The above-described objects, features and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.In the drawings, the same reference numerals are used to indicate the same or similar elements, and all combinations described in the specification and claims may be combined in any manner. And unless otherwise provided, it is to be understood that references to the singular may include one or more, and references to the singular may also include plural expressions.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.The terminology used herein is for the purpose of describing specific exemplary embodiments only and is not intended to be limiting. As used herein, singular expressions may also be intended to include plural meanings unless the sentence clearly indicates otherwise. The term “and/or,” “and/or” includes any and all combinations of the items listed therewith. The terms "comprises", "comprising", "comprising", "comprising", "having", "having", etc. have an implicit meaning, so that these terms refer to their described features, integers, It specifies steps, operations, elements, and/or components and does not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof. The steps, processes, and acts of the methods described herein should not be construed as necessarily performing their performance in such a specific order as discussed or exemplified, unless specifically determined to be an order of performance thereof. . It should also be understood that additional or alternative steps may be used.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.In addition, each of the components may be implemented as a hardware processor, the above components may be integrated into one hardware processor, or the above components may be combined with each other and implemented as a plurality of hardware processors.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 구성을 설명하기 위한 도면이다.1 is a diagram for explaining the configuration of an image quality calculating apparatus according to an embodiment of the present invention.
도 1을 참조하면, 이미지 퀄리티 연산 장치(10)는 적어도 하나의 쿼리 이미지를 수신하여, 쿼리 이미지에 대한 퀄리티 지수를 연산할 수 있다. 이미지 퀄리티 연산 장치(10)는 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하고, 식별된 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산할 수 있다.Referring to FIG. 1 , the image quality calculating device 10 may receive at least one query image and calculate a quality index for the query image. The image quality calculating device 10 may analyze the query image to identify a label corresponding to the query image, and calculate a quality index by changing a weight according to the identified label.
이미지 퀄리티 연산 장치(10)는 쿼리 이미지 입력 모듈(100), 이미지 분석 모듈(200), 그리고 퀄리티 지수 연산 모듈(300)을 포함할 수 있다. 이미지 퀄리티 연산 장치(10)는 적어도 하나의 프로세서를 통해 쿼리 이미지 입력 모듈(100), 이미지 분석 모듈(200), 그리고 퀄리티 지수 연산 모듈(300)의 동작을 처리할 수 있다.The image quality calculation device 10 may include a query image input module 100 , an image analysis module 200 , and a quality index calculation module 300 . The image quality calculation device 10 may process operations of the query image input module 100 , the image analysis module 200 , and the quality index calculation module 300 through at least one processor.
쿼리 이미지 입력 모듈(100)은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신할 수 있다.The query image input module 100 may receive at least one query image from the user terminal.
이미지 분석 모듈(200)은 수신한 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 구체적으로, 이미지 분석 모듈(200)은 쿼리 이미지에서 특징 벡터를 추출하고, 특징 벡터를 기반으로 쿼리 이미지의 레이블을 식별하여 쿼리 이미지를 분류할 수 있다.The image analysis module 200 may identify a label corresponding to the received query image. Specifically, the image analysis module 200 may classify the query image by extracting a feature vector from the query image and identifying a label of the query image based on the feature vector.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200)에서 쿼리 이미지에 대응하는 레이블을 식별하기 위하여, 제1 신경망 모델을 이용할 것이다. 제1 신경망 모델은 머신 러닝을 기반으로 학습된 것이다.In order to identify a label corresponding to a query image in the image analysis module 200 according to an embodiment of the present invention, the first neural network model will be used. The first neural network model is trained based on machine learning.
본 발명의 일 실시 예에 의한 제1 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 할 것이다. 합성곱 신경망은 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러 개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다.The first neural network model according to an embodiment of the present invention will be based on a convolutional neural network (CNN). Convolutional neural networks are a class of multilayer perceptrons designed to use minimal preprocessing. A convolutional neural network consists of one or several convolutional layers and general artificial neural network layers on top of it, and additionally utilizes weights and pooling layers. Thanks to this structure, the convolutional neural network can fully utilize the input data of the two-dimensional structure.
이미지 분석 모듈(200)은 CNN을 기반으로 하는 제1 신경망 모델을 사용함에 따라, 인코더(230) 및 디코더(260)를 포함할 수 있다. 인코더(230)는 수신한 쿼리 이미지에서 세부 특징을 나타내는 특징 벡터를 생성하고, 디코더(260)는 역합성곱 계층(deconvolution layer)을 이용하여 특징 벡터로부터 데이터를 복원시킬 수 있다.The image analysis module 200 may include an encoder 230 and a decoder 260 as the first neural network model based on CNN is used. The encoder 230 may generate a feature vector representing detailed features in the received query image, and the decoder 260 may reconstruct data from the feature vector using a deconvolution layer.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200)의 인코더(230)는 합성곱 계층(convolution layer), 활성화 함수 계층(Relu layer), 드롭아웃 계층(Dropout layer)와 맥스풀링 계층(Max-pooling layer)을 조합하여 생성될 수 있다.The encoder 230 of the image analysis module 200 according to an embodiment of the present invention includes a convolution layer, an activation function layer (Relu layer), a dropout layer, and a max pooling layer (Max- It can be created by combining pooling layers).
인코더(230)는 수신한 쿼리 이미지의 특징 벡터를 추출하기 위하여, SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 종래의 방법을 사용할 수 있다.The encoder 230 may use a conventional method such as a Scale Invariant Feature Transform (SIFT) algorithm to extract a feature vector of the received query image.
디코더(260)는 업샘플링 계층(Upsampling layer), 역합성곱 계층(Deconvolution layer), 시그모이드 계층(Sigmoid layer), 드롭아웃 계층(Dropout layer)을 조합하여 생성될 수 있다.The decoder 260 may be generated by combining an upsampling layer, a deconvolution layer, a sigmoid layer, and a dropout layer.
디코더(260)는 쿼리 이미지에 대응되는 특징 벡터를 기반으로 쿼리 이미지에 대응하는 레이블을 식별하고, 나아가 쿼리 이미지의 제1 퀄리티 지수를 연산할 수 있다.The decoder 260 may identify a label corresponding to the query image based on the feature vector corresponding to the query image, and further calculate a first quality index of the query image.
디코더(260)는 쿼리 이미지의 특징 벡터에 소프트맥스(Softmax) 함수를 적용하여 특징 벡터를 정규화 할 수 있다. 소프트맥스 함수는 인공 신경망에서 사용되는 출력 값으로 클래스 분류를 할 수 있게 출력 값에 대한 정규화를 제공하는 함수이다. 디코더(260)는 특징 벡터를 기반으로 쿼리 이미지의 레이블을 분류하기 위해 소프트맥스 함수를 적용할 수 있다.The decoder 260 may normalize the feature vector by applying a softmax function to the feature vector of the query image. The softmax function is a function that provides normalization of the output value so that it can classify the output value used in the artificial neural network. The decoder 260 may apply a softmax function to classify the label of the query image based on the feature vector.
디코더(260)는 특징 벡터에 소프트맥스 함수를 적용한 결과를 이용하여 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 본 발명의 일 실시 예에 의한 레이블은, 인물 화보, 사물(동물/풍경) 화보, 표지 사진, 인물 인터뷰 사진, 일반 사진, 일반 사진+텍스트, 캡쳐 사진, 저품질 사진 등을 포함할 수 있다. 레이블은 관리자의 설정에 따라 더 추가될 수도, 삭제될 수도 있다.The decoder 260 may identify a label corresponding to the query image using a result of applying the softmax function to the feature vector. A label according to an embodiment of the present invention may include a portrait pictorial, an object (animal/landscape) pictorial, a cover photo, a portrait interview photo, a general photo, a general photo + text, a captured photo, a low-quality photo, and the like. Labels may be further added or deleted according to the administrator's settings.
예를 들어 A씨에 대한 인터뷰 사진이 쿼리 이미지로 입력되는 경우, 디코더(260)는 쿼리 이미지에 대한 특징 벡터를 생성한 후 소프트맥스 함수를 적용하여 {(인물 화보, 13%), (사물(동물/풍경) 화보, 2%), (표지 사진, 7%), (인물 인터뷰 사진, 54%), (일반 사진, 17%), (일반 사진+텍스트, 3%), (캡쳐 사진, 3%), (저품질 사진, 1%)}와 같은 결과 값을 생성할 수 있다.For example, when an interview picture for Mr. A is input as a query image, the decoder 260 generates a feature vector for the query image and applies the softmax function to {(personal picture, 13%), (object ( Animal/Landscape) pictorial, 2%), (Cover photo, 7%), (person interview photo, 54%), (Normal photo, 17%), (Normal photo+text, 3%), (Capture photo, 3 %), (low quality photo, 1%)}.
디코더(260)는 가장 높은 확률을 갖는 레이블을 쿼리 이미지에 대응하는 레이블로 선택할 것이다.The decoder 260 will select the label with the highest probability as the label corresponding to the query image.
또한, 디코더(260)는 특징 벡터를 기반으로 쿼리 이미지의 제1 퀄리티 지수를 더 연산할 수 있다. 퀄리티 지수는 쿼리 이미지의 품질의 정도를 나타낸 값으로, 본 발명의 일 실시 예에 의한 디코더(260)는 제1 퀄리티 지수를 연산함에 있어서 종래의 방법을 사용할 것이다.Also, the decoder 260 may further calculate the first quality index of the query image based on the feature vector. The quality index is a value indicating the degree of quality of the query image, and the decoder 260 according to an embodiment of the present invention will use a conventional method in calculating the first quality index.
퀄리티 지수 연산 모듈(300)은 이미지 분석 모듈(200)에서 식별된 쿼리 이미지에 대응하는 레이블 및 제1 퀄리티 지수를 기반으로 최종 퀄리티 지수(제3 퀄리티 지수)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따른 제2 퀄리티 지수를 이용하여 제3 퀄리티 지수를 연산할 수 있다.The quality index calculation module 300 may calculate a final quality index (third quality index) based on the label corresponding to the query image identified by the image analysis module 200 and the first quality index. The quality index calculation module 300 may calculate the third quality index by using the first quality index and the second quality index according to the label of the query image.
퀄리티 지수 연산 모듈(300)은 쿼리 이미지의 레이블에 따라 제2 퀄리티 지수를 달리할 수 있다. 본 발명의 일 실시 예에 의한 퀄리티 지수 연산 모듈(300)은 사용자로부터 기 설정된 테이블의 우선순위에 따라 제2 퀄리티 지수의 범위를 달리하여 해당 범위 내에서 제2 퀄리티 지수를 선택할 수 있다.The quality index calculation module 300 may vary the second quality index according to the label of the query image. The quality index calculation module 300 according to an embodiment of the present invention may select a second quality index within the range by varying the range of the second quality index according to the priority of a table preset by the user.
예를 들어, 사용자가 그룹에 대한 우선순위를 인물 화보>= 사물(동물/풍경) 화보>표지 사진>=인물 인터뷰 사진>일반 사진>일반 사진+텍스트>캡쳐 사진>저품질 사진으로 설정하면, 이 경우 인물 화보의 제2 퀄리티 지수의 범위는 (4, 5), 사물(동물/풍경) 화보의 제2 퀄리티 지수의 범위는 (3.7, 4.7), 표지 사진의 제2 퀄리티 지수의 범위는 (3.5, 4), 인물 인터뷰 사진의 제2 퀄리티 지수의 범위는 (3, 4), 일반 사진의 제2 퀄리티 지수의 범위는 (2.5, 3.5), 일반 사진+텍스트의 제2 퀄리티 지수의 범위는 (2, 3), 캡쳐 사진의 제2 퀄리티 지수의 범위는 (1, 2), 저품질 사진의 제2 퀄리티 지수의 범위는 (0, 1)로 설정될 수 있다.For example, if the user sets the priority for the group to portrait photo>= object (animal/landscape) photo> cover photo>= person interview photo> general photo> normal photo + text> captured photo> low-quality photo, this In this case, the range of the second quality index of the person picture is (4, 5), the range of the second quality index of the object (animal/landscape) picture is (3.7, 4.7), and the range of the second quality index of the cover picture is (3.5) , 4), the range of the second quality index of interview photos is (3, 4), the range of the second quality index of general photos is (2.5, 3.5), and the range of the second quality index of general photos + text is ( 2, 3), the range of the second quality index of the captured photo may be set to (1, 2), and the range of the second quality index of the low-quality photo may be set to (0, 1).
본 발명의 일 실시 예에 의한 각 레이블에 대응하는 제2 퀄리티 지수는 상술한 바와 같이 기 설정된 범위 내에서 제2 신경망 모델에 의해 선택될 것이다. 제2 신경망 모델은 제2 퀄리티 지수를 선택하기 위하여 학습 데이터 세트로 학습을 선행할 수 있다. 제2 신경망 모델의 학습 과정은 이하에서 자세하게 설명한다.The second quality index corresponding to each label according to an embodiment of the present invention will be selected by the second neural network model within a preset range as described above. The second neural network model may precede learning with a training data set to select a second quality index. The learning process of the second neural network model will be described in detail below.
퀄리티 지수 연산 모듈(300)은 쿼리 이미지에 대해 제1 신경망 모델에서 연산된 쿼리 이미지의 제1 퀄리티 지수와 제2 신경망 모델에서 연산된 제2 퀄리티 지수를 기반으로 제3 퀄리티 지수(최종 퀄리티 지수)를 생성할 수 있다.The quality index calculation module 300 is a third quality index (final quality index) based on the first quality index of the query image calculated in the first neural network model for the query image and the second quality index calculated in the second neural network model can create
퀄리티 지수 연산 모듈(300)은 제1 퀄리티 지수와 제2 퀄리티 지수를 더하여 제3 퀄리티 지수를 생성할 수 있다. 예를 들어 쿼리 이미지의 제1 퀄리티 지수가 0.8이고, 쿼리 이미지의 레이블이 인물 화보이고, 이에 따른 제2 퀄리티 지수가 4인 경우, 퀄리티 지수 연산 모듈(300)은 제3 퀄리티 지수를 0.8(제1 퀄리티 지수)+4(제2 퀄리티 지수)=4.8과 같이 연산할 수 있다.The quality index calculation module 300 may generate a third quality index by adding the first quality index and the second quality index. For example, when the first quality index of the query image is 0.8, the label of the query image is a portrait of a person, and the second quality index is 4, the quality index calculation module 300 sets the third quality index to 0.8 ( 1 quality index) + 4 (second quality index) = 4.8.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 이하와 같은 과정을 통해 트레이닝 될 수 있다.The image analysis module 200 and the quality index calculation module 300 according to an embodiment of the present invention may be trained through the following process.
이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 지도 학습을 통해 학습될 수 있다. 지도 학습(Supervised Learning)은 학습 데이터에 대한 레이블(label, 정답)이 주어진 상태에서 모델을 학습시키는 것이다.The image analysis module 200 and the quality index calculation module 300 may be learned through supervised learning. In supervised learning, a model is trained in a state in which a label (correct answer) for training data is given.
이미지 분석 모듈(200)은 사용자 단말로부터 학습 데이터 세트를 수신할 수 있다. 학습 데이터 세트는 학습 이미지, 학습 이미지의 제1 레이블(이미지의 종류), 그리고 학습 이미지의 제4 퀄리티 지수를 포함할 것이다. 예를 들어 학습 데이터는 (학습 이미지, 제1 레이블, 제4 퀄리티 지수)의 형태를 가질 수 있다.The image analysis module 200 may receive a training data set from the user terminal. The training data set will include a training image, a first label (type of image) of the training image, and a fourth quality index of the training image. For example, the training data may have the form (training image, first label, fourth quality index).
이미지 분석 모듈(200)은 제1 신경망 모델을 통해 학습 이미지에 대한 특징 벡터를 생성하고, 이를 기반으로 학습 데이터에 대응하는 제2 레이블을 식별할 수 있다.The image analysis module 200 may generate a feature vector for the training image through the first neural network model, and identify a second label corresponding to the training data based on this.
이미지 분석 모듈(200)은 제2 레이블이 정확하게 식별되었는 지를 판단하기 위해 학습 데이터 세트에 포함된 학습 이미지에 대한 제1 레이블과 비교할 수 있다. 이미지 분석 모듈(200)은 제1 레이블과 제2 레이블이 동일하면 제1 신경망 모델에 긍정적인 피드백을, 동일하지 않으면 부정적인 피드백을 주어 제1 신경망 모델을 학습시킬 것이다.The image analysis module 200 may compare with the first label for the training image included in the training data set to determine whether the second label is correctly identified. The image analysis module 200 will train the first neural network model by giving a positive feedback to the first neural network model if the first label and the second label are the same, and a negative feedback if not the same.
퀄리티 지수 연산 모듈(300)은 제2 신경망 모델을 이용하여 학습 데이터에 대한 최종 퀄리티 지수(제5 퀄리티 지수)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 이미지 분석 모듈(200)이 학습 데이터 세트를 통해 생성한 특징 벡터와 제2 레이블을 통해 학습 이미지에 대한 제5 퀄리티 지수를 연산할 수 있다.The quality index calculation module 300 may calculate the final quality index (the fifth quality index) for the training data by using the second neural network model. The quality index calculation module 300 may calculate a fifth quality index for the training image through the feature vector and the second label generated by the image analysis module 200 through the training data set.
퀄리티 지수 연산 모듈(300)은 학습 이미지에 대한 제5 퀄리티 지수와 학습 데이터 세트에 포함된 제4 퀄리티 지수를 기반으로 손실(로스, loss)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 손실 값을 기반으로 제2 신경망 모델의 레이블 별 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정하여 제2 신경망 모델을 학습시킬 수 있다. The quality index calculation module 300 may calculate a loss (loss) based on the fifth quality index for the training image and the fourth quality index included in the training data set. The quality index calculation module 300 may train the second neural network model by adjusting a parameter for selecting the second quality index for each label of the second neural network model based on the loss value.
이러한 과정을 통해 본 발명의 일 실시 예에 의한 이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 쿼리 이미지에 대한 제3 퀄리티 지수를 보다 정확하게 연산할 수 있을 것이다.Through this process, the image analysis module 200 and the quality index calculation module 300 according to an embodiment of the present invention may more accurately calculate the third quality index for the query image.
도 2는 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 방법을 나타낸 순서도이다. 이하에서는 도 2를 참조하여 이미지 퀄리티 연산 방법을 설명한다. 이미지 퀄리티 연산 방법에 대한 설명에 있어서, 앞서 설명한 이미지 퀄리티 연산 장치와 중복되는 세부 실시 예는 생략될 수 있다.2 is a flowchart illustrating an image quality calculation method according to an embodiment of the present invention. Hereinafter, an image quality calculation method will be described with reference to FIG. 2 . In the description of the image quality calculation method, a detailed embodiment overlapping with the image quality calculation apparatus described above may be omitted.
이미지 퀄리티 연산 장치(이하, 전자 장치)는 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신(S110)할 수 있다. 전자 장치는 수신한 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하고, 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산할 수 있다. 전자 장치는 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하기 위하여 제1 신경망 모델을 사용하고, 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산하기 위하여 제2 신경망 모델을 사용할 수 있다. The image quality calculating device (hereinafter, the electronic device) may receive at least one query image from the user terminal ( S110 ). The electronic device may analyze the received query image to identify a label corresponding to the query image, and calculate a quality index by varying a weight according to the label. The electronic device may use the first neural network model to analyze the query image to identify a label corresponding to the query image, and use the second neural network model to calculate a quality index by changing a weight according to the label.
전자 장치는 수신한 쿼리 이미지의 특징 벡터를 추출(S120)할 수 있다. 전자 장치는 쿼리 이미지의 특징 벡터를 추출하기 위하여 SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 종래의 방법을 사용할 수 있다. The electronic device may extract a feature vector of the received query image (S120). The electronic device may use a conventional method such as a Scale Invariant Feature Transform (SIFT) algorithm to extract a feature vector of a query image.
전자 장치는 특징 벡터를 기반으로 쿼리 이미지에 대응하는 레이블을 식별(S130)할 수 있다. 전자 장치는 특징 벡터에 소프트맥스(Softmax) 함수를 적용하여 특징 벡터를 정규화하여 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 전자 장치는 특징 벡터에 대한 소프트맥스 함수의 결과 값 중 가장 높은 확률을 갖는 레이블을 쿼리 이미지에 대응하는 레이블로 선택할 것이다.The electronic device may identify a label corresponding to the query image based on the feature vector ( S130 ). The electronic device may identify a label corresponding to the query image by normalizing the feature vector by applying a Softmax function to the feature vector. The electronic device may select a label having the highest probability among the result values of the softmax function for the feature vector as a label corresponding to the query image.
본 발명의 일 실시 예에 의한 레이블은 인물 화보, 사물(동물/풍경) 화보, 표지 사진, 인물 인터뷰 사진, 일반 사진, 일반 사진+텍스트, 캡쳐 사진, 저품질 사진 등을 포함할 수 있으며, 이는 관리자의 설정에 따라 추가될 수도 삭제될 수도 있다.The label according to an embodiment of the present invention may include a person picture, an object (animal/landscape) picture, a cover picture, a person interview picture, a general picture, a general picture + text, a captured picture, a low quality picture, etc. It may be added or deleted according to the setting of .
전자 장치는 단계 120에서 추출한 쿼리 이미지의 특징 벡터의 제1 퀄리티 지수를 더 연산(S135)할 수 있다. 퀄리티 지수는 쿼리 이미지의 품질의 정도를 나타낸 값으로, 전자 장치는 제1 퀄리티 지수를 연산함에 있어서 종래의 방법을 사용할 것이다.The electronic device may further calculate the first quality index of the feature vector of the query image extracted in step 120 ( S135 ). The quality index is a value indicating the degree of quality of the query image, and the electronic device will use a conventional method in calculating the first quality index.
전자 장치는 단계 130 및 단계 135에서 얻어진 쿼리 이미지의 레이블과 제1 퀄리티 지수를 기반으로 최종 퀄리티 지수(제3 퀄리티 지수)를 연산(S140)할 수 있다. 전자 장치는 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따른 제2 퀄리티 지수를 이용하여 제3 퀄리티 지수를 연산할 수 있다.The electronic device may calculate a final quality index (third quality index) based on the label of the query image obtained in steps 130 and 135 and the first quality index ( S140 ). The electronic device may calculate the third quality index by using the first quality index and the second quality index according to the label of the query image.
전자 장치는 쿼리 이미지의 레이블에 따라 제2 퀄리티 지수를 달리할 수 있다. 본 발명의 일 실시 예에 의한 전자 장치는 사용자로부터 기 설정된 레이블의 우선순위에 따라 제2 퀄리티 지수의 범위를 달리하여, 해당 범위 내에서 제2 퀄리티 지수를 선택할 수 있다.The electronic device may vary the second quality index according to the label of the query image. The electronic device according to an embodiment of the present invention may select a second quality index within the range by varying the range of the second quality index according to the priority of a label preset by the user.
전자 장치는 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따라 선택된 제2 퀄리티 지수를 더하여 제3 퀄리티 지수를 연산할 수 있다. 예를 들어 쿼리 이미지의 제1 퀄리티 지수가 0.8이고, 쿼리 이미지의 레이블이 인물 화보이고 이에 따른 제2 퀄리티 지수가 4인 경우, 전자 장치는 제3 퀄리티 지수를 0.8(제1 퀄리티 지수)+4(제2 퀄리티 지수)=4.8과 같이 연산할 수 있다.The electronic device may calculate the third quality index by adding the first quality index to the second quality index selected according to the label of the query image. For example, if the first quality index of the query image is 0.8, the label of the query image is a portrait of a person, and the second quality index is 4, the electronic device sets the third quality index to 0.8 (first quality index) + 4 (Second quality index) = 4.8.
본 발명의 일 실시 예에 의한 이미티 퀄리티 연산 방법을 통해 생성된 이미지의 퀄리티 지수는 이미지의 필터링, 랭킹 등의 서비스에 적용될 수 있다.The quality index of an image generated through the image quality calculation method according to an embodiment of the present invention may be applied to services such as image filtering and ranking.
도 3은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 신경망 모델의 학습 과정을 나타낸 순서도이다. 전자 장치는 지도 학습을 통해 신경망 모델을 학습할 수 있으며, 도 3을 참조하면 전자 장치는 사용자 단말로부터 학습 데이터 세트를 수신(S210)할 수 있다. 학습 데이터 세트는 학습 이미지, 학습 이미지의 제1 레이블(이미지의 종류), 그리고 학습 이미지의 제4 퀄리티 지수를 포함할 것이다. 예를 들어 학습 데이터는 (학습 이미지, 제1 레이블, 제4 퀄리티 지수)의 형태를 가질 수 있다.3 is a flowchart illustrating a learning process of a neural network model of an image quality calculating apparatus according to an embodiment of the present invention. The electronic device may learn the neural network model through supervised learning, and referring to FIG. 3 , the electronic device may receive a training data set from the user terminal ( S210 ). The training data set will include a training image, a first label (type of image) of the training image, and a fourth quality index of the training image. For example, the training data may have the form (training image, first label, fourth quality index).
전자 장치는 제1 신경망 모델을 통해 학습 이미지에 대한 특징 벡터를 생성하고, 이를 기반으로 학습 데이터에 대응하는 제2 레이블을 식별(S220)할 수 있다.The electronic device may generate a feature vector for the training image through the first neural network model, and identify a second label corresponding to the training data based on this ( S220 ).
전자 장치는 제2 레이블을 학습 데이터 세트에 포함된 학습 이미지에 대한 제1 레이블과 비교하여 제2 레이블이 정확하게 식별되었는 지를 판단(S230)할 수 있다. 전자 장치는 제1 레이블과 제2 레이블이 동일하면 제1 신경망 모델에 긍정적인 피드백을, 동일하지 않으면 부정적인 피드백을 주어 제1 신경망 모델을 학습(S240)시킬 것이다.The electronic device may determine whether the second label is correctly identified by comparing the second label with the first label for the training image included in the training data set ( S230 ). The electronic device will train the first neural network model by giving a positive feedback to the first neural network model if the first label and the second label are the same, and a negative feedback to the first neural network model if they are not identical ( S240 ).
전자 장치는 제2 신경망 모델을 이용하여 학습 데이터에 대한 최종 퀄리티 지수(제5 퀄리티 지수)를 연산(S250)할 수 있다. 전자 장치는 이미지 분석 모듈(200)이 학습 데이터 세트를 통해 생성한 특징 벡터와 제2 레이블을 통해 학습 이미지에 대한 제5 퀄리티 지수를 연산할 수 있다.The electronic device may calculate a final quality index (fifth quality index) for the training data using the second neural network model ( S250 ). The electronic device may calculate a fifth quality index for the training image based on the feature vector and the second label generated by the image analysis module 200 through the training data set.
전자 장치는 학습 이미지에 대한 제5 퀄리티 지수와 학습 데이터 세트에 포함된 제4 퀄리티 지수를 기반으로 손실(로스, loss)를 연산(S260)할 수 있다. The electronic device may calculate a loss (loss) based on the fifth quality index for the training image and the fourth quality index included in the training data set ( S260 ).
전자 장치는 손실 값을 기반으로 제2 신경망 모델의 레이블 별 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정(S270)하여 제2 신경망 모델을 학습시킬 수 있다. The electronic device may train the second neural network model by adjusting a parameter for selecting the second quality index for each label of the second neural network model based on the loss value ( S270 ).
이러한 과정을 통해 본 발명의 일 실시 예에 의한 전자 장치는 쿼리 이미지에 대한 제3 퀄리티 지수를 보다 정확하게 연산할 수 있을 것이다.Through this process, the electronic device according to an embodiment of the present invention may more accurately calculate the third quality index for the query image.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples to easily explain the technical content of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims (7)

  1. 전자 장치가 이미지 퀄리티 지수를 연산하는 방법에 있어서,A method for an electronic device to calculate an image quality index, the method comprising:
    사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 A 단계;A step of receiving at least one query image from the user terminal;
    상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하는 B 단계;Step B of generating a feature vector by applying a first neural network model to the query image;
    상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 C 단계: 및Step C of identifying a label of the query image based on the feature vector and calculating a first quality index: And
    상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 D 단계를 포함하는 이미지 퀄리티 지수 연산 방법.and D of calculating a third quality index of the query image by using the label and the first quality index.
  2. 제1항에 있어서, 상기 C 단계는,The method of claim 1, wherein the C step,
    상기 특징 벡터에 소프트맥스 함수를 적용하여 정규화 하는 단계;normalizing the feature vector by applying a softmax function;
    상기 정규화 결과 값에서 가장 높은 확률을 갖는 레이블을 상기 쿼리 이미지에 대응하는 레이블로 선택하는 단계를 더 포함하는 이미지 퀄리티 지수 연산 방법.Image quality index calculation method further comprising the step of selecting a label having the highest probability in the normalization result value as a label corresponding to the query image.
  3. 제1항에 있어서, 상기 D 단계에 있어서,According to claim 1, In step D,
    상기 레이블과 제1 퀄리티 지수에 제2 신경망 모델을 적용하여 제3 퀄리티 지수를 연산하는 이미지 퀄리티 지수 연산 방법.An image quality index calculation method for calculating a third quality index by applying a second neural network model to the label and the first quality index.
  4. 제3항에 있어서, 4. The method of claim 3,
    제1 퀄리티 지수와 상기 레이블에 따른 제2 퀄리티 지수를 덧셈 연산하여 제3 퀄리티 지수를 연산하되,A third quality index is calculated by adding the first quality index and the second quality index according to the label,
    상기 제2 퀄리티 지수는 기 설정된 레이블의 우선순위에 따라 범위를 달리하며, 제2 신경망 모델에 의해 상기 범위 내의 값이 선택되는 이미지 퀄리티 지수 연산 방법.The second quality index has a different range according to the priority of a preset label, and a value within the range is selected by a second neural network model.
  5. 제1항에 있어서,The method of claim 1,
    제1 신경망 모델은 딥 러닝 기반의 합성곱 신경망을 기반으로 학습되며,The first neural network model is trained based on a deep learning-based convolutional neural network,
    학습 이미지, 상기 학습 이미지의 제1 레이블 및 제4 퀄리티 지수를 포함하는 학습 데이터 세트를 수신하는 단계;receiving a training data set comprising a training image, a first label of the training image, and a fourth quality index;
    상기 학습 이미지에 제1 신경망 모델을 적용하여 상기 학습 이미지에 대한 특징 벡터를 생성하는 단계;generating a feature vector for the training image by applying a first neural network model to the training image;
    상기 학습 이미지에 대한 특징 벡터를 기반으로 상기 학습 이미지에 따른 제2 레이블을 식별하는 단계;identifying a second label according to the training image based on a feature vector for the training image;
    제1 레이블 및 제2 레이블을 비교하여, 그 결과에 따라 제1 신경망 모델에 피드백을 전송하는 단계를 포함하는 이미지 퀄리티 지수 연산 방법.Comparing a first label and a second label, the image quality index calculation method comprising the step of transmitting a feedback to the first neural network model according to the result.
  6. 제5항에 있어서,6. The method of claim 5,
    제2 신경망 모델은,The second neural network model is
    상기 학습 이미지에 대한 특징 벡터 및 제2 레이블을 기반으로 상기 학습 이미지에 대한 제5 퀄리티 지수(최종 퀄리티 지수)를 연산하는 단계;calculating a fifth quality index (final quality index) for the training image based on the feature vector and the second label for the training image;
    제4 퀄리티 지수와 제5 퀄리티 지수를 기반으로 손실 값을 연산하는 단계;calculating a loss value based on the fourth quality index and the fifth quality index;
    상기 손실 값을 기반으로 제2 신경망 모델의 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정하는 단계를 포함하는 이미지 퀄리티 지수 연산 방법.and adjusting a parameter for selecting a second quality index of a second neural network model based on the loss value.
  7. 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 쿼리 이미지 입력 모듈;a query image input module for receiving at least one query image from the user terminal;
    상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하고, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 이미지 분석 모듈: 및An image analysis module that generates a feature vector by applying a first neural network model to the query image, identifies a label of the query image based on the feature vector, and calculates a first quality index: And
    상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 퀄리티 지수 연산 모듈을 포함하는 이미지 퀄리티 지수 연산 장치.and a quality index calculation module for calculating a third quality index of the query image by using the label and the first quality index.
PCT/KR2021/018219 2021-01-04 2021-12-03 Method and apparatus for calculating image quality through image classification WO2022145769A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0000283 2021-01-04
KR1020210000283A KR20220098504A (en) 2021-01-04 2021-01-04 Method and device for calculating image quality used image classification

Publications (1)

Publication Number Publication Date
WO2022145769A1 true WO2022145769A1 (en) 2022-07-07

Family

ID=82260490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018219 WO2022145769A1 (en) 2021-01-04 2021-12-03 Method and apparatus for calculating image quality through image classification

Country Status (2)

Country Link
KR (1) KR20220098504A (en)
WO (1) WO2022145769A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170079852A (en) * 2015-12-31 2017-07-10 네이버 주식회사 Method and system for optimization of image encode quality
KR20190019822A (en) * 2017-08-18 2019-02-27 삼성전자주식회사 System and method for semantic segmentation of images
US20200401889A1 (en) * 2018-03-19 2020-12-24 Samsung Electronics Co., Ltd. Electronic device, image processing method of electronic device, and computer-readable medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170079852A (en) * 2015-12-31 2017-07-10 네이버 주식회사 Method and system for optimization of image encode quality
KR20190019822A (en) * 2017-08-18 2019-02-27 삼성전자주식회사 System and method for semantic segmentation of images
US20200401889A1 (en) * 2018-03-19 2020-12-24 Samsung Electronics Co., Ltd. Electronic device, image processing method of electronic device, and computer-readable medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DODGE SAMUEL; KARAM LINA: "Understanding how image quality affects deep neural networks", 2016 EIGHTH INTERNATIONAL CONFERENCE ON QUALITY OF MULTIMEDIA EXPERIENCE (QOMEX), 6 June 2016 (2016-06-06), pages 1 - 6, XP032916292, DOI: 10.1109/QoMEX.2016.7498955 *
GUAN JINGWEI; CHAM WAI-KUEN: "Distortion based image quality index", 2016 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA), ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION, 13 December 2016 (2016-12-13), pages 1 - 4, XP033044870, DOI: 10.1109/APSIPA.2016.7820899 *

Also Published As

Publication number Publication date
KR20220098504A (en) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2018217019A1 (en) Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded
WO2017213398A1 (en) Learning model for salient facial region detection
WO2020145691A1 (en) Image optimization method and system based on artificial intelligence
WO2022260386A1 (en) Method and apparatus for composing background and face by using deep learning network
WO2020222391A1 (en) System and method for invertible wavelet layer for neural networks
WO2022145769A1 (en) Method and apparatus for calculating image quality through image classification
CN116758379B (en) Image processing method, device, equipment and storage medium
WO2021101052A1 (en) Weakly supervised learning-based action frame detection method and device, using background frame suppression
CN111507396A (en) Method and device for relieving error classification of neural network on unknown samples
WO2023158068A1 (en) Learning system and method for improving object detection rate
WO2021071258A1 (en) Mobile security image learning device and method based on artificial intelligence
WO2022108275A1 (en) Method and device for generating virtual face by using artificial intelligence
WO2020101121A1 (en) Deep learning-based image analysis method, system, and portable terminal
WO2022145787A1 (en) Method and device for multi-label classification based on mask
WO2022131720A1 (en) Device and method for generating building image
WO2022092672A1 (en) Method for adding prediction results as training data using ai prediction model
WO2011007970A1 (en) Method and apparatus for processing image
WO2022260392A1 (en) Method and system for generating image processing artificial neural network model operating in terminal
CN113191376A (en) Image processing method, image processing device, electronic equipment and readable storage medium
WO2020213757A1 (en) Word similarity determination method
WO2023214633A1 (en) Method and device for improving image quality on basis of super-resolution neural network
WO2022114324A1 (en) Apparatus and method for generating video on basis of natural language
WO2022145788A1 (en) Redundant image detection method and apparatus
WO2022182163A1 (en) Method and device for automatically providing data processing, artificial intelligence model generation, and performance enhancement
WO2020175729A1 (en) Apparatus and method for detecting facial feature point by using gaussian feature point map and regression scheme

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915567

Country of ref document: EP

Kind code of ref document: A1