KR20220098504A - 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치 - Google Patents

이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치 Download PDF

Info

Publication number
KR20220098504A
KR20220098504A KR1020210000283A KR20210000283A KR20220098504A KR 20220098504 A KR20220098504 A KR 20220098504A KR 1020210000283 A KR1020210000283 A KR 1020210000283A KR 20210000283 A KR20210000283 A KR 20210000283A KR 20220098504 A KR20220098504 A KR 20220098504A
Authority
KR
South Korea
Prior art keywords
quality index
image
label
neural network
query image
Prior art date
Application number
KR1020210000283A
Other languages
English (en)
Inventor
송철환
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020210000283A priority Critical patent/KR20220098504A/ko
Priority to PCT/KR2021/018219 priority patent/WO2022145769A1/ko
Publication of KR20220098504A publication Critical patent/KR20220098504A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 이미지 퀄리티 지수 연산 방법 및 장치에 관한 것으로, 이미지의 종류에 따라 가중치를 달리하여 이미지의 퀄리티 지수를 연산하는 것을 일 목적으로 한다. 이러한 목적을 달성하기 위한 본 발명은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 A 단계, 상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하는 B 단계, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 C 단계, 및 상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 D 단계를 포함하는 것을 특징으로 한다.

Description

이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치{METHOD AND DEVICE FOR CALCULATING IMAGE QUALITY USED IMAGE CLASSIFICATION}
본 발명은 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치에 관한 것으로, 보다 자세하게는 이미지에 대한 레이블을 기반으로 이미지 퀄리티 연산의 가중치를 조절함으로써 이미지 퀄리티 지수를 연산하는 방법 및 장치에 관한 것이다.
이미지, 비디오 등 멀티미디어 서비스의 수요가 증가하고 휴대용 멀티미디어 기기가 보편적으로 보급되면서 방대한 양의 멀티미디어 데이터의 처리 및 분석 기술에 대한 필요성이 커지고 있다. 그 중 이미지 필터링 기술은 이미지 처리 및 분석 기술에 있어서 중요한 역할을 한다.
이미지 필터링 기술은 이미지 각각에 대한 퀄리티 지수를 이용할 수 있는데, 종래의 퀄리티 지수를 연산하는 기술은 이미지의 종류에 따라 컴퓨터와 사용자가 판단하는 퀄리티가 다를 수 있다는 한계가 있다. 예를 들어, 컴퓨터는 일반 사진과 화보 사진의 퀄리티가 동일하다고 판단하였으나 사용자는 일반 사진보다 화보 사진이 퀄리티가 더 높다고 인식할 수 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 이미지의 종류에 따라 가중치를 달리하여 이미지의 퀄리티 지수를 연산하는 것을 일 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 A 단계, 상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하는 B 단계, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 C 단계, 및 상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 D 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 쿼리 이미지 입력 모듈, 상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하고, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 이미지 분석 모듈, 및 상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 퀄리티 지수 연산 모듈을 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 이미지의 종류에 따라 가중치를 달리하여 이미지의 퀄리티 지수를 연산할 수 있다. 이를 통해 컴퓨터가 판단하는 이미지의 퀄리티와 사람이 판단하는 이미지의 퀄리티의 간극을 좁힐 수 있다.
도 1은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 구성을 나타낸 구성도,
도 2는 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 방법을 설명하기 위한 순서도,
도 3은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산을 위한 신경망 모델을 학습하는 과정을 설명하기 위한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 퀄리티 연산 장치(10)는 적어도 하나의 쿼리 이미지를 수신하여, 쿼리 이미지에 대한 퀄리티 지수를 연산할 수 있다. 이미지 퀄리티 연산 장치(10)는 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하고, 식별된 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산할 수 있다.
이미지 퀄리티 연산 장치(10)는 쿼리 이미지 입력 모듈(100), 이미지 분석 모듈(200), 그리고 퀄리티 지수 연산 모듈(300)을 포함할 수 있다. 이미지 퀄리티 연산 장치(10)는 적어도 하나의 프로세서를 통해 쿼리 이미지 입력 모듈(100), 이미지 분석 모듈(200), 그리고 퀄리티 지수 연산 모듈(300)의 동작을 처리할 수 있다.
쿼리 이미지 입력 모듈(100)은 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신할 수 있다.
이미지 분석 모듈(200)은 수신한 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 구체적으로, 이미지 분석 모듈(200)은 쿼리 이미지에서 특징 벡터를 추출하고, 특징 벡터를 기반으로 쿼리 이미지의 레이블을 식별하여 쿼리 이미지를 분류할 수 있다.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200)에서 쿼리 이미지에 대응하는 레이블을 식별하기 위하여, 제1 신경망 모델을 이용할 것이다. 제1 신경망 모델은 머신 러닝을 기반으로 학습된 것이다.
본 발명의 일 실시 예에 의한 제1 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 할 것이다. 합성곱 신경망은 최소한의 전처리를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러 개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다.
이미지 분석 모듈(200)은 CNN을 기반으로 하는 제1 신경망 모델을 사용함에 따라, 인코더(230) 및 디코더(260)를 포함할 수 있다. 인코더(230)는 수신한 쿼리 이미지에서 세부 특징을 나타내는 특징 벡터를 생성하고, 디코더(260)는 역합성곱 계층(deconvolution layer)을 이용하여 특징 벡터로부터 데이터를 복원시킬 수 있다.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200)의 인코더(230)는 합성곱 계층(convolution layer), 활성화 함수 계층(Relu layer), 드롭아웃 계층(Dropout layer)와 맥스풀링 계층(Max-pooling layer)을 조합하여 생성될 수 있다.
인코더(230)는 수신한 쿼리 이미지의 특징 벡터를 추출하기 위하여, SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 종래의 방법을 사용할 수 있다.
디코더(260)는 업샘플링 계층(Upsampling layer), 역합성곱 계층(Deconvolution layer), 시그모이드 계층(Sigmoid layer), 드롭아웃 계층(Dropout layer)을 조합하여 생성될 수 있다.
디코더(260)는 쿼리 이미지에 대응되는 특징 벡터를 기반으로 쿼리 이미지에 대응하는 레이블을 식별하고, 나아가 쿼리 이미지의 제1 퀄리티 지수를 연산할 수 있다.
디코더(260)는 쿼리 이미지의 특징 벡터에 소프트맥스(Softmax) 함수를 적용하여 특징 벡터를 정규화 할 수 있다. 소프트맥스 함수는 인공 신경망에서 사용되는 출력 값으로 클래스 분류를 할 수 있게 출력 값에 대한 정규화를 제공하는 함수이다. 디코더(260)는 특징 벡터를 기반으로 쿼리 이미지의 레이블을 분류하기 위해 소프트맥스 함수를 적용할 수 있다.
디코더(260)는 특징 벡터에 소프트맥스 함수를 적용한 결과를 이용하여 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 본 발명의 일 실시 예에 의한 레이블은, 인물 화보, 사물(동물/풍경) 화보, 표지 사진, 인물 인터뷰 사진, 일반 사진, 일반 사진+텍스트, 캡쳐 사진, 저품질 사진 등을 포함할 수 있다. 레이블은 관리자의 설정에 따라 더 추가될 수도, 삭제될 수도 있다.
예를 들어 A씨에 대한 인터뷰 사진이 쿼리 이미지로 입력되는 경우, 디코더(260)는 쿼리 이미지에 대한 특징 벡터를 생성한 후 소프트맥스 함수를 적용하여 {(인물 화보, 13%), (사물(동물/풍경) 화보, 2%), (표지 사진, 7%), (인물 인터뷰 사진, 54%), (일반 사진, 17%), (일반 사진+텍스트, 3%), (캡쳐 사진, 3%), (저품질 사진, 1%)}와 같은 결과 값을 생성할 수 있다.
디코더(260)는 가장 높은 확률을 갖는 레이블을 쿼리 이미지에 대응하는 레이블로 선택할 것이다.
또한, 디코더(260)는 특징 벡터를 기반으로 쿼리 이미지의 제1 퀄리티 지수를 더 연산할 수 있다. 퀄리티 지수는 쿼리 이미지의 품질의 정도를 나타낸 값으로, 본 발명의 일 실시 예에 의한 디코더(260)는 제1 퀄리티 지수를 연산함에 있어서 종래의 방법을 사용할 것이다.
퀄리티 지수 연산 모듈(300)은 이미지 분석 모듈(200)에서 식별된 쿼리 이미지에 대응하는 레이블 및 제1 퀄리티 지수를 기반으로 최종 퀄리티 지수(제3 퀄리티 지수)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따른 제2 퀄리티 지수를 이용하여 제3 퀄리티 지수를 연산할 수 있다.
퀄리티 지수 연산 모듈(300)은 쿼리 이미지의 레이블에 따라 제2 퀄리티 지수를 달리할 수 있다. 본 발명의 일 실시 예에 의한 퀄리티 지수 연산 모듈(300)은 사용자로부터 기 설정된 테이블의 우선순위에 따라 제2 퀄리티 지수의 범위를 달리하여 해당 범위 내에서 제2 퀄리티 지수를 선택할 수 있다.
예를 들어, 사용자가 그룹에 대한 우선순위를 인물 화보>= 사물(동물/풍경) 화보>표지 사진>=인물 인터뷰 사진>일반 사진>일반 사진+텍스트>캡쳐 사진>저품질 사진으로 설정하면, 이 경우 인물 화보의 제2 퀄리티 지수의 범위는 (4, 5), 사물(동물/풍경) 화보의 제2 퀄리티 지수의 범위는 (3.7, 4.7), 표지 사진의 제2 퀄리티 지수의 범위는 (3.5, 4), 인물 인터뷰 사진의 제2 퀄리티 지수의 범위는 (3, 4), 일반 사진의 제2 퀄리티 지수의 범위는 (2.5, 3.5), 일반 사진+텍스트의 제2 퀄리티 지수의 범위는 (2, 3), 캡쳐 사진의 제2 퀄리티 지수의 범위는 (1, 2), 저품질 사진의 제2 퀄리티 지수의 범위는 (0, 1)로 설정될 수 있다.
본 발명의 일 실시 예에 의한 각 레이블에 대응하는 제2 퀄리티 지수는 상술한 바와 같이 기 설정된 범위 내에서 제2 신경망 모델에 의해 선택될 것이다. 제2 신경망 모델은 제2 퀄리티 지수를 선택하기 위하여 학습 데이터 세트로 학습을 선행할 수 있다. 제2 신경망 모델의 학습 과정은 이하에서 자세하게 설명한다.
퀄리티 지수 연산 모듈(300)은 쿼리 이미지에 대해 제1 신경망 모델에서 연산된 쿼리 이미지의 제1 퀄리티 지수와 제2 신경망 모델에서 연산된 제2 퀄리티 지수를 기반으로 제3 퀄리티 지수(최종 퀄리티 지수)를 생성할 수 있다.
퀄리티 지수 연산 모듈(300)은 제1 퀄리티 지수와 제2 퀄리티 지수를 더하여 제3 퀄리티 지수를 생성할 수 있다. 예를 들어 쿼리 이미지의 제1 퀄리티 지수가 0.8이고, 쿼리 이미지의 레이블이 인물 화보이고, 이에 따른 제2 퀄리티 지수가 4인 경우, 퀄리티 지수 연산 모듈(300)은 제3 퀄리티 지수를 0.8(제1 퀄리티 지수)+4(제2 퀄리티 지수)=4.8과 같이 연산할 수 있다.
본 발명의 일 실시 예에 의한 이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 이하와 같은 과정을 통해 트레이닝 될 수 있다.
이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 지도 학습을 통해 학습될 수 있다. 지도 학습(Supervised Learning)은 학습 데이터에 대한 레이블(label, 정답)이 주어진 상태에서 모델을 학습시키는 것이다.
이미지 분석 모듈(200)은 사용자 단말로부터 학습 데이터 세트를 수신할 수 있다. 학습 데이터 세트는 학습 이미지, 학습 이미지의 제1 레이블(이미지의 종류), 그리고 학습 이미지의 제4 퀄리티 지수를 포함할 것이다. 예를 들어 학습 데이터는 (학습 이미지, 제1 레이블, 제4 퀄리티 지수)의 형태를 가질 수 있다.
이미지 분석 모듈(200)은 제1 신경망 모델을 통해 학습 이미지에 대한 특징 벡터를 생성하고, 이를 기반으로 학습 데이터에 대응하는 제2 레이블을 식별할 수 있다.
이미지 분석 모듈(200)은 제2 레이블이 정확하게 식별되었는 지를 판단하기 위해 학습 데이터 세트에 포함된 학습 이미지에 대한 제1 레이블과 비교할 수 있다. 이미지 분석 모듈(200)은 제1 레이블과 제2 레이블이 동일하면 제1 신경망 모델에 긍정적인 피드백을, 동일하지 않으면 부정적인 피드백을 주어 제1 신경망 모델을 학습시킬 것이다.
퀄리티 지수 연산 모듈(300)은 제2 신경망 모델을 이용하여 학습 데이터에 대한 최종 퀄리티 지수(제5 퀄리티 지수)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 이미지 분석 모듈(200)이 학습 데이터 세트를 통해 생성한 특징 벡터와 제2 레이블을 통해 학습 이미지에 대한 제5 퀄리티 지수를 연산할 수 있다.
퀄리티 지수 연산 모듈(300)은 학습 이미지에 대한 제5 퀄리티 지수와 학습 데이터 세트에 포함된 제4 퀄리티 지수를 기반으로 손실(로스, loss)를 연산할 수 있다. 퀄리티 지수 연산 모듈(300)은 손실 값을 기반으로 제2 신경망 모델의 레이블 별 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정하여 제2 신경망 모델을 학습시킬 수 있다.
이러한 과정을 통해 본 발명의 일 실시 예에 의한 이미지 분석 모듈(200) 및 퀄리티 지수 연산 모듈(300)은 쿼리 이미지에 대한 제3 퀄리티 지수를 보다 정확하게 연산할 수 있을 것이다.
도 2는 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 방법을 나타낸 순서도이다. 이하에서는 도 2를 참조하여 이미지 퀄리티 연산 방법을 설명한다. 이미지 퀄리티 연산 방법에 대한 설명에 있어서, 앞서 설명한 이미지 퀄리티 연산 장치와 중복되는 세부 실시 예는 생략될 수 있다.
이미지 퀄리티 연산 장치(이하, 전자 장치)는 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신(S110)할 수 있다. 전자 장치는 수신한 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하고, 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산할 수 있다. 전자 장치는 쿼리 이미지를 분석하여 쿼리 이미지에 대응하는 레이블을 식별하기 위하여 제1 신경망 모델을 사용하고, 레이블에 따라 가중치를 달리하여 퀄리티 지수를 연산하기 위하여 제2 신경망 모델을 사용할 수 있다.
전자 장치는 수신한 쿼리 이미지의 특징 벡터를 추출(S120)할 수 있다. 전자 장치는 쿼리 이미지의 특징 벡터를 추출하기 위하여 SIFT(Scale Invariant Feature Transform) 알고리즘과 같은 종래의 방법을 사용할 수 있다.
전자 장치는 특징 벡터를 기반으로 쿼리 이미지에 대응하는 레이블을 식별(S130)할 수 있다. 전자 장치는 특징 벡터에 소프트맥스(Softmax) 함수를 적용하여 특징 벡터를 정규화하여 쿼리 이미지에 대응하는 레이블을 식별할 수 있다. 전자 장치는 특징 벡터에 대한 소프트맥스 함수의 결과 값 중 가장 높은 확률을 갖는 레이블을 쿼리 이미지에 대응하는 레이블로 선택할 것이다.
본 발명의 일 실시 예에 의한 레이블은 인물 화보, 사물(동물/풍경) 화보, 표지 사진, 인물 인터뷰 사진, 일반 사진, 일반 사진+텍스트, 캡쳐 사진, 저품질 사진 등을 포함할 수 있으며, 이는 관리자의 설정에 따라 추가될 수도 삭제될 수도 있다.
전자 장치는 단계 120에서 추출한 쿼리 이미지의 특징 벡터의 제1 퀄리티 지수를 더 연산(S135)할 수 있다. 퀄리티 지수는 쿼리 이미지의 품질의 정도를 나타낸 값으로, 전자 장치는 제1 퀄리티 지수를 연산함에 있어서 종래의 방법을 사용할 것이다.
전자 장치는 단계 130 및 단계 135에서 얻어진 쿼리 이미지의 레이블과 제1 퀄리티 지수를 기반으로 최종 퀄리티 지수(제3 퀄리티 지수)를 연산(S140)할 수 있다. 전자 장치는 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따른 제2 퀄리티 지수를 이용하여 제3 퀄리티 지수를 연산할 수 있다.
전자 장치는 쿼리 이미지의 레이블에 따라 제2 퀄리티 지수를 달리할 수 있다. 본 발명의 일 실시 예에 의한 전자 장치는 사용자로부터 기 설정된 레이블의 우선순위에 따라 제2 퀄리티 지수의 범위를 달리하여, 해당 범위 내에서 제2 퀄리티 지수를 선택할 수 있다.
전자 장치는 제1 퀄리티 지수와 쿼리 이미지의 레이블에 따라 선택된 제2 퀄리티 지수를 더하여 제3 퀄리티 지수를 연산할 수 있다. 예를 들어 쿼리 이미지의 제1 퀄리티 지수가 0.8이고, 쿼리 이미지의 레이블이 인물 화보이고 이에 따른 제2 퀄리티 지수가 4인 경우, 전자 장치는 제3 퀄리티 지수를 0.8(제1 퀄리티 지수)+4(제2 퀄리티 지수)=4.8과 같이 연산할 수 있다.
본 발명의 일 실시 예에 의한 이미티 퀄리티 연산 방법을 통해 생성된 이미지의 퀄리티 지수는 이미지의 필터링, 랭킹 등의 서비스에 적용될 수 있다.
도 3은 본 발명의 일 실시 예에 의한 이미지 퀄리티 연산 장치의 신경망 모델의 학습 과정을 나타낸 순서도이다. 전자 장치는 지도 학습을 통해 신경망 모델을 학습할 수 있으며, 도 3을 참조하면 전자 장치는 사용자 단말로부터 학습 데이터 세트를 수신(S210)할 수 있다. 학습 데이터 세트는 학습 이미지, 학습 이미지의 제1 레이블(이미지의 종류), 그리고 학습 이미지의 제4 퀄리티 지수를 포함할 것이다. 예를 들어 학습 데이터는 (학습 이미지, 제1 레이블, 제4 퀄리티 지수)의 형태를 가질 수 있다.
전자 장치는 제1 신경망 모델을 통해 학습 이미지에 대한 특징 벡터를 생성하고, 이를 기반으로 학습 데이터에 대응하는 제2 레이블을 식별(S220)할 수 있다.
전자 장치는 제2 레이블을 학습 데이터 세트에 포함된 학습 이미지에 대한 제1 레이블과 비교하여 제2 레이블이 정확하게 식별되었는 지를 판단(S230)할 수 있다. 전자 장치는 제1 레이블과 제2 레이블이 동일하면 제1 신경망 모델에 긍정적인 피드백을, 동일하지 않으면 부정적인 피드백을 주어 제1 신경망 모델을 학습(S240)시킬 것이다.
전자 장치는 제2 신경망 모델을 이용하여 학습 데이터에 대한 최종 퀄리티 지수(제5 퀄리티 지수)를 연산(S250)할 수 있다. 전자 장치는 이미지 분석 모듈(200)이 학습 데이터 세트를 통해 생성한 특징 벡터와 제2 레이블을 통해 학습 이미지에 대한 제5 퀄리티 지수를 연산할 수 있다.
전자 장치는 학습 이미지에 대한 제5 퀄리티 지수와 학습 데이터 세트에 포함된 제4 퀄리티 지수를 기반으로 손실(로스, loss)를 연산(S260)할 수 있다.
전자 장치는 손실 값을 기반으로 제2 신경망 모델의 레이블 별 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정(S270)하여 제2 신경망 모델을 학습시킬 수 있다.
이러한 과정을 통해 본 발명의 일 실시 예에 의한 전자 장치는 쿼리 이미지에 대한 제3 퀄리티 지수를 보다 정확하게 연산할 수 있을 것이다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (7)

  1. 전자 장치가 이미지 퀄리티 지수를 연산하는 방법에 있어서,
    사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 A 단계;
    상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하는 B 단계;
    상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 C 단계: 및
    상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 D 단계를 포함하는 이미지 퀄리티 지수 연산 방법.
  2. 제1항에 있어서, 상기 C 단계는,
    상기 특징 벡터에 소프트맥스 함수를 적용하여 정규화 하는 단계;
    상기 정규화 결과 값에서 가장 높은 확률을 갖는 레이블을 상기 쿼리 이미지에 대응하는 레이블로 선택하는 단계를 더 포함하는 이미지 퀄리티 지수 연산 방법.
  3. 제1항에 있어서, 상기 D 단계에 있어서,
    상기 레이블과 제1 퀄리티 지수에 제2 신경망 모델을 적용하여 제3 퀄리티 지수를 연산하는 이미지 퀄리티 지수 연산 방법.
  4. 제3항에 있어서,
    제1 퀄리티 지수와 상기 레이블에 따른 제2 퀄리티 지수를 덧셈 연산하여 제3 퀄리티 지수를 연산하되,
    상기 제2 퀄리티 지수는 기 설정된 레이블의 우선순위에 따라 범위를 달리하며, 제2 신경망 모델에 의해 상기 범위 내의 값이 선택되는 이미지 퀄리티 지수 연산 방법.
  5. 제1항에 있어서,
    제1 신경망 모델은 딥 러닝 기반의 합성곱 신경망을 기반으로 학습되며,
    학습 이미지, 상기 학습 이미지의 제1 레이블 및 제4 퀄리티 지수를 포함하는 학습 데이터 세트를 수신하는 단계;
    상기 학습 이미지에 제1 신경망 모델을 적용하여 상기 학습 이미지에 대한 특징 벡터를 생성하는 단계;
    상기 학습 이미지에 대한 특징 벡터를 기반으로 상기 학습 이미지에 따른 제2 레이블을 식별하는 단계;
    제1 레이블 및 제2 레이블을 비교하여, 그 결과에 따라 제1 신경망 모델에 피드백을 전송하는 단계를 포함하는 이미지 퀄리티 지수 연산 방법.
  6. 제5항에 있어서,
    제2 신경망 모델은,
    상기 학습 이미지에 대한 특징 벡터 및 제2 레이블을 기반으로 상기 학습 이미지에 대한 제5 퀄리티 지수(최종 퀄리티 지수)를 연산하는 단계;
    제4 퀄리티 지수와 제5 퀄리티 지수를 기반으로 손실 값을 연산하는 단계;
    상기 손실 값을 기반으로 제2 신경망 모델의 제2 퀄리티 지수를 선택하기 위한 파라미터를 조정하는 단계를 포함하는 이미지 퀄리티 지수 연산 방법.
  7. 사용자 단말로부터 적어도 하나의 쿼리 이미지를 수신하는 쿼리 이미지 입력 모듈;
    상기 쿼리 이미지에 제1 신경망 모델을 적용하여 특징 벡터를 생성하고, 상기 특징 벡터를 기반으로 상기 쿼리 이미지의 레이블을 식별하고 제1 퀄리티 지수를 연산하는 이미지 분석 모듈: 및
    상기 레이블 및 제1 퀄리티 지수를 이용하여 상기 쿼리 이미지의 제3 퀄리티 지수를 연산하는 퀄리티 지수 연산 모듈을 포함하는 이미지 퀄리티 지수 연산 장치.
KR1020210000283A 2021-01-04 2021-01-04 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치 KR20220098504A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210000283A KR20220098504A (ko) 2021-01-04 2021-01-04 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치
PCT/KR2021/018219 WO2022145769A1 (ko) 2021-01-04 2021-12-03 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210000283A KR20220098504A (ko) 2021-01-04 2021-01-04 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220098504A true KR20220098504A (ko) 2022-07-12

Family

ID=82260490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210000283A KR20220098504A (ko) 2021-01-04 2021-01-04 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20220098504A (ko)
WO (1) WO2022145769A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101832418B1 (ko) * 2015-12-31 2018-02-26 네이버 주식회사 이미지 압축 품질을 최적화 하기 위한 방법 및 시스템
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
KR102525159B1 (ko) * 2018-03-19 2023-04-25 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Also Published As

Publication number Publication date
WO2022145769A1 (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
US20220180199A1 (en) Neural network model compression method and apparatus, storage medium, and chip
Ma et al. dipIQ: Blind image quality assessment by learning-to-rank discriminable image pairs
Ma et al. End-to-end blind image quality assessment using deep neural networks
Wang et al. Beyond frame-level CNN: saliency-aware 3-D CNN with LSTM for video action recognition
CN110163258B (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
CN110223292B (zh) 图像评估方法、装置及计算机可读存储介质
Decherchi et al. Circular-ELM for the reduced-reference assessment of perceived image quality
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN108280451B (zh) 语义分割及网络训练方法和装置、设备、介质
Dong et al. Multi-level photo quality assessment with multi-view features
JP2010504593A (ja) 分類手法を用いて画像からドミナントカラーを抽出する方法
CN113434716B (zh) 一种跨模态信息检索方法和装置
WO2016142285A1 (en) Method and apparatus for image search using sparsifying analysis operators
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
Gastaldo et al. Machine learning solutions for objective visual quality assessment
CN112614110A (zh) 评估图像质量的方法、装置及终端设备
CN114299304A (zh) 一种图像处理方法及相关设备
CN113792659A (zh) 文档识别方法、装置及电子设备
CN115795355B (zh) 一种分类模型训练方法、装置及设备
CN111507396A (zh) 缓解神经网络对未知类样本产生错误分类的方法及装置
EP3166021A1 (en) Method and apparatus for image search using sparsifying analysis and synthesis operators
KR20220098504A (ko) 이미지 분류를 통한 이미지 퀄리티 연산 방법 및 장치
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
Mahmoodpour et al. A learning based contrast specific no reference image quality assessment algorithm

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application