KR20190076288A - 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents

중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20190076288A
KR20190076288A KR1020170177967A KR20170177967A KR20190076288A KR 20190076288 A KR20190076288 A KR 20190076288A KR 1020170177967 A KR1020170177967 A KR 1020170177967A KR 20170177967 A KR20170177967 A KR 20170177967A KR 20190076288 A KR20190076288 A KR 20190076288A
Authority
KR
South Korea
Prior art keywords
image
information
importance map
image information
quality evaluation
Prior art date
Application number
KR1020170177967A
Other languages
English (en)
Other versions
KR102284096B1 (ko
Inventor
장민혜
진승오
강동구
김명준
배영민
신기영
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020170177967A priority Critical patent/KR102284096B1/ko
Publication of KR20190076288A publication Critical patent/KR20190076288A/ko
Application granted granted Critical
Publication of KR102284096B1 publication Critical patent/KR102284096B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

중요도 맵을 이용한 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 주관적 화질 평가 시스템은, 영상 획득부, 영상 정보 산출부, 중요도 맵 산출부, 정보 통합부, 및 화질 평가부를 포함한다. 영상 획득부는 테스트 영상을 획득하고, 영상 정보 산출부는 기계학습을 이용하여 테스트 영상에 대한 미리 설정된 영상 정보를 획득하고, 중요도 맵 산출부는 기계학습을 이용하여 테스트 영상에 대한 중요도 맵을 획득하고, 정보 통합부는 중요도 맵을 이용하여 영상 정보에 가중치를 부여하며, 화질 평가부는 가중치가 부여된 영상 정보를 이용하여 테스트 영상의 화질 평가 결과를 산출한다. 이와 같은 구성에 의하면, 기계 학습을 이용하여 영상 정보 및 중요도 맵을 획득함으로써, 참고 영상이 없이 테스트 영상만으로도 영상의 화질 평가가 가능하게 된다.

Description

중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {SYSTEM AND METHOD FOR ESTIMATING SUBJECT IMAGE QUALITY USING VISUAL SALIENCY AND A RECORDING MEDIUM HAVING COMPUTER READABLE PROGRAM FOR EXECUTING THE METHOD}
본 발명은 품질 평가 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 영상의 화질을 평가하기 위한 시스템, 및 방법에 관한 것이다.
일반적으로 화질 평가를 위해 테스트 영상(T)과 참고 영상(R)이 필요하며, 정해진 계산 모델을 통해 테스트 영상의 화질 점수를 구한다. 화질 평가시 정확도를 높이기 위해 중요도 맵(Visual saliency)을 반영하여 두 영상 간 지각 차이 정도 및 화질 점수를 도출할 수 있으며, 중요도 맵을 반영하는 방법은 크게 두 가지로 나뉜다.
첫 번째 방법은 미리 두 영상 간 지각 차이를 계산한 후, 중요도 맵에 따라 지각 차이 값을 변형하여 화질 점수를 구한다(도 1). 두 번째 방법은 먼저 중요도 맵을 구하여 중요 영역(salient region; S)과 배경 영역(background region; B)을 나눈 뒤, 영역별로 지각 차이를 각각 계산하여 화질 점수를 구한다 (도 2). 도 1 및 도 2는 화질 평가를 위해 중요도 맵을 반영하는 방법의 예들이 개략적으로 도시된 도면이다.
이와 같이, 종래 화질 평가는 테스트 영상과 참고 영상의 비교로 이루어지므로 화질 평가를 위해서는 왜곡이 없고 아주 깨끗한 참고 영상이 꼭 필요하다는 문제점이 있다.
또한, 종래에는 화질 평가 과정에서 두 영상 간 지각 차이나 영상 특징을 획득하기 위해 변환(예를 들어 Discrete wavelet transform, discrete cosine transform)을 하거나 영상 정보를 직접 모델링한다. 그러나 왜곡(distortion)의 종류에 따라 사용되는 모델이나 평가 지표의 성능이 달라지는 문제점이 있다.
또한, 화질 평가에서 중요도 맵은 주로 자극에 기반한 바텀업(Bottom-up) 방식의 모델이 이용되고 있는데, 아직까지 해당 방식의 특징 추출 및 중요도 맵 계산 과정에 대한 이해가 불완전하며, 의미 있는(semantic) 정보나 물체가 없는 영상에 대해서만 잘 동작한다는 문제가 있다.
KR 101717399 B1
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 참고 영상이 없이 테스트 영상만으로도 영상의 화질 평가가 가능하며, 왜곡의 종류 및 정도와 무관한 화질 정보와 탑다운(top-down) 큐(cue)와 바텀업 큐를 모두 포함할 수 있는 중요도 맵을 획득할 수 있는 화질 평가 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 주관적 화질 평가 시스템은, 영상 획득부, 영상 정보 산출부, 중요도 맵 산출부, 정보 통합부, 및 화질 평가부를 포함한다.
영상 획득부는 테스트 영상을 획득하고, 영상 정보 산출부는 기계학습을 이용하여 테스트 영상에 대한 미리 설정된 영상 정보를 획득하고, 중요도 맵 산출부는 기계학습을 이용하여 테스트 영상에 대한 중요도 맵을 획득하고, 정보 통합부는 중요도 맵을 이용하여 영상 정보에 가중치를 부여하며, 화질 평가부는 가중치가 부여된 영상 정보를 이용하여 테스트 영상의 화질 평가 결과를 산출한다.
이와 같은 구성에 의하면, 기계 학습을 이용하여 영상 정보 및 중요도 맵을 획득함으로써, 참고 영상이 없이 테스트 영상만으로도 영상의 화질 평가가 가능하게 된다.
이때, 기계학습은 심층 신경망 기반 학습일 수 있다. 이와 같은 구성에 의하면, 심층 신경망을 이용하여 왜곡의 종류 및 정도와 무관하게 이용할 수 있는 영상 정보를 추출할 수 있게 된다.
또한, 중요도 맵 산출을 위한 심층 신경망 기반 학습은 영상과 영상에 대한 시선 추적 데이터를 이용하여 학습될 수 있다. 이와 같은 구성에 의하면, top-down cue와 bottom-up cue를 모두 포함할 수 있는 높은 성능의 중요도 맵을 획득할 수 있다.
또한, 영상 정보 산출을 위한 심층 신경망 기반 학습은 영상 정보가 표시된 영상과 대응하는 영상 정보를 이용하여 학습될 수 있으며, 화질 평가를 위한 신경망 기반 학습은 주관적 화질 평가 결과가 부여된 영상과 대응하는 화질 평가 결과를 이용하여 학습될 수 있다.
또한, 정보 통합부는 영상 정보의 크기를 중요도 맵의 크기와 일치시킬 수 있다. 이와 같은 구성에 의하면, 심층 신경망을 기반하여 각각 산출된 영상 정보와 중요도 맵의 크기가 일치하지 않는 경우에도 영상 정보의 크기를 중요도 맵과 일치시킴으로써, 화질 평가가 가능하게 된다.
이때, 정보 통합부는 영상 정보를 미리 설정된 복수의 패치로 분리하고, 분리된 패치에서 대표값을 산출하며, 산출된 대표값을 결합할 수 있다.
또한, 정보 통합부는 미리 설정된 중요도 맵의 신뢰도에 따라 영상 정보에 서로 다른 가중치를 부여할 수 있다. 이와 같은 구성에 의하면, 산출된 중요도 맵의 성능에 따라 영상 정보의 중요도를 위치별로 다르게 하여 분석이 가능하며, 영상 정보에 따라서 중요도 맵을 반영하는 정도를 다르게 할 수 있다.
본 발명에 의하면, 기계 학습을 이용하여 영상 정보 및 중요도 맵을 획득함으로써, 참고 영상이 없이 테스트 영상만으로도 영상의 화질 평가가 가능하게 된다.
또한, 심층 신경망을 이용하여 왜곡의 종류 및 정도와 무관하게 이용할 수 있는 영상 정보를 추출할 수 있다.
또한, top-down cue와 bottom-up cue를 모두 포함할 수 있는 높은 성능의 중요도 맵을 획득할 수 있다.
또한, 심층 신경망을 기반하여 각각 산출된 영상 정보와 중요도 맵의 크기가 일치하지 않는 경우에도 영상 정보의 크기를 중요도 맵과 일치시킴으로써, 화질 평가가 가능하게 된다.
또한, 산출된 중요도 맵의 성능에 따라 영상 정보의 중요도를 위치별로 다르게 하여 분석이 가능하며, 영상 정보에 따라서 중요도 맵을 반영하는 정도를 다르게 할 수 있다.
도 1 및 도 2는 화질 평가를 위해 중요도 맵을 반영하는 방법의 예들이 개략적으로 도시된 도면이다.
도 3은 본 발명의 일 실시예에 따른 주관적 화질 평가 시스템의 개략적인 블록도.
도 4는 테스트 영상과 심층 신경망을 이용해 획득한 영상 정보의 개념을 도시한 도면.
도 5는 영상 정보를 겹치는 패치로 나누어 최대값을 뽑는 방식으로 Resizing하는 방법의 예를 도시한 도면.
도 6은 영상 정보와 중요도 맵의 통합 예를 도시한 도면.
도 7은 영상 정보 종류에 따라 서로 다른 가중치가 적용되는 예가 도시된 도면.
도 8은 테스트 영상 일부에 대해서만 화질을 평가하는 경우의 예가 도시된 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 3은 본 발명의 일 실시예에 따른 주관적 화질 평가 시스템의 개략적인 블록도이다. 도 3에서 주관적 화질 평가 시스템(100)은, 영상 획득부(110), 영상 정보 산출부(120), 중요도 맵 산출부(130), 정보 통합부(140), 및 화질 평가부(150)를 포함한다.
도 3에서 영상 획득부(110)는 영상 획득 장치, 영상 정보 산출부(120)는 심층 신경망 기반 영상 정보 획득부, 중요도 맵 산출부(130)는 심층 신경망 기반 중요도 맵 획득부, 화질 평가부(150)는 주관적 화질 평가 결과 도출부로 각각 구현되어 있다.
도 3에서 주관적 화질 평가 시스템(100)의 각 구성 요소들은 하드웨어만으로 구현될 수도 있겠지만, 하드웨어 및 하드웨어상에서 동작하는 소프트웨어로 함께 구현되는 것이 일반적일 것이다.
영상 획득부(110)는 테스트 영상을 획득한다. 주관적 화질 평가를 위한 테스트 영상을 획득하는 것이다. 이때, 테스트 영상은 저장 장치에 저장된 정지 영상, 또는 실시간 촬영되고 있는 동영상에서 획득한 정지 영상을 포함한다.
영상 정보 산출부(120)는 기계학습을 이용하여 테스트 영상에 대한 미리 설정된 영상 정보를 획득한다. 화질 평가에 필요한 영상 정보를 획득하는 것으로서, 그 종류는 영상의 색상, 밝기, 대조, 엣지 정보 등 다양하다.
이때, 기계학습은 심층 신경망 기반 학습일 수 있다. 영상 정보 산출부(120) 뿐만 아니라, 중요도 맵 산출부(130), 화질 평가부(150)에서도 심층 신경망 기반 학습을 이용할 수 있으며, 이때, 사용되는 심층 신경망의 종류는 한정되지 않고 다양한 구조의 신경망으로 형성될 수 있다.
영상 정보 산출을 위한 심층 신경망 기반 학습은 영상 정보가 표시된 영상과 대응하는 영상 정보를 이용하여 학습될 수 있다. 이를 위해, 심층 신경망을 학습시키기 위해 사용되는 데이터 셋은 해당 정보에 대해 직·간접적으로 표시(labeling)되어 있어야 한다.
예를 들어, 화질 평가 결과(점수 또는 등급)가 표시된 데이터 셋, 또는 주관적 영상 정보(예를 들어 밝음/밝지 않음)가 표시된 데이터 셋, 또는 영상의 분류(물체의 종류)가 표시된 데이터 셋 등이 학습에 이용될 수 있다. 또는 전이 학습(transfer learning)을 통해 심층 신경망을 학습시킬 수도 있다.
획득된 영상 정보는 테스트 영상의 크기와 동일하거나 작은 크기일 수 있으며, 작은 크기일 경우 획득된 영상 정보의 한 픽셀은 테스트 영상에서 해당 위치의 수~수십 픽셀(>1 픽셀)에 대한 정보를 담고 있다고 생각할 수 있다 (도 4). 도 4는 테스트 영상과 심층 신경망을 이용해 획득한 영상 정보의 개념을 도시한 도면이다.
중요도 맵 산출부(130)는 기계학습을 이용하여 테스트 영상에 대한 중요도 맵을 획득한다. 심층 신경망을 기반으로 영상의 현저한 부분(Salient region)을 예측할 수 있는 중요도 맵을 획득하는 것이다.
중요도 맵 산출을 위한 심층 신경망 기반 학습은 영상과 영상에 대한 시선 추적 데이터를 이용하여 학습될 수 있으며, 보다 구체적으로 심층 신경망은 시선 추적 데이터가 표시(labeling)된 영상과 해당 데이터를 이용하여 학습될 수 있다.
정보 통합부(140)는 중요도 맵을 이용하여 영상 정보에 가중치를 부여한다. 이를 통해, 심층 신경망 기반 영상 정보 획득부(120)에서 획득된 영상 정보와 심층 신경망 기반 중요도 맵 산출부(130)에서 획득된 중요도 맵을 통합한다.
이때, 정보 통합부(140)는 영상 정보의 크기를 중요도 맵의 크기와 일치시킬 수 있다. 통합 전 영상 정보의 크기와 중요도 맵의 크기가 동일하지 않을 경우 Resizing 방법을 이용해서 동일한 크기로 맞추어 주는 것이다. 마찬가지로, 통합 전 획득된 중요도 맵은 테스트 영상의 크기와 동일하거나 동일하지 않을 수 있으며, 동일하지 않을 경우 Resizing 방법을 이용해 원하는 크기로 변경할 수 있다.
이를 위해, 정보 통합부(140)는 영상 정보 또는 중요도 맵을 미리 설정된 복수의 패치로 분리하고, 분리된 패치에서 대표값을 산출하며, 산출된 대표값을 결합할 수 있다. 보다 구체적으로, 영상 정보의 크기를 줄여야 할 경우, 정보를 겹치거나 겹치지 않는 패치로 나누어 각 패치에서 최대값/평균값을 대푯값으로 뽑는 방식으로 크기를 조정할 수 있다(도 5). 도 5는 영상 정보를 겹치는 패치로 나누어 최대값을 뽑는 방식으로 Resizing하는 방법의 예를 도시한 도면이다.
영상 정보와 중요도 맵의 크기가 동일해지면 두 정보를 element-wise product 형태로 통합한다. 이때, 정보 통합부(140)는 중요도 맵의 신뢰도에 따라 영상 정보에 서로 다른 가중치를 부여할 수 있다.
즉, 중요도 맵의 신뢰도에 따라 영상 정보에 더욱 가중치를 줄 수 있다(도 6). 도 6은 영상 정보와 중요도 맵의 통합 예를 도시한 도면이다. 도 6에서 영상 정보와 중요도 맵의 곱 이후 가중치(w)가 부여된 영상 정보값이 합해지는 것을 확인할 수 있다.
이 가중치는 영상 정보의 종류에 따라 서로 다를 수 있으며(도 7). 또한, 가중치는 학습을 통해 최적화할 수 있다. 도 7은 영상 정보 종류에 따라 서로 다른 가중치가 적용되는 예가 도시된 도면이다.
테스트 영상의 일부에 대해서만 화질을 평가할 경우 영상 정보는 해당 영역에 대해서만 추출할 수 있으며, 중요도 맵은 전체 영상에 대해서 구한 다음 해당 영역의 중요도 맵만 취하여 정보를 통합 한다(도 8).
도 8은 테스트 영상 일부에 대해서만 화질을 평가하는 경우의 예가 도시된 도면이다. 도 8에서 영상 정보 분할시 이용된 위치 정보를 이용하여 전체 영상에 대해 산출된 중요도 맵을 보정한 이후 분할된 영상으로부터 산출된 영상 정보와 통합하는 예가 도시되어 있다.
화질 평가부(150)는 가중치가 부여된 영상 정보를 이용하여 테스트 영상의 화질 평가 결과를 산출한다. 통합된 정보를 이용하여 주관적 화질 평가 결과를 도출하는 것이다.
이때, 화질 평가를 위한 신경망 기반 학습은 주관적 화질 평가 결과가 부여된 영상과 대응하는 화질 평가 결과를 이용하여 학습될 수 있다. 통합된 정보는 특징(feature) 벡터가 되어 다양한 머신 러닝 기법에 적용되고, 이를 통해 주관적 화질 점수 또는 등급 형태의 결과를 도출하게 된다.
화질 평가 결과를 도출하기 위해 사용되는 머신 러닝 기법에는 Linear regression, Logistic regression, Discriminant analysis, Support vector machine, Neural network, Decision tree, Random forest, Clustering, Naive Bayesian classifier, Adaboost, Ensemble of classifiers 이 있을 수 있다.
정리하면, 본 발명은 정지 영상에 대한 주관적인 화질 평가를 위하여, 화질 평가를 할 영상을 획득하는 부분과, 획득된 영상에 대한 중요도 맵을 획득하는 부분과, 획득된 영상에 대한 화질 정보를 획득하는 부분과, 획득된 중요도 맵을 이용하여 영상 정보에 가중치를 부여하는 정보 통합 부분과, 통합된 정보를 이용하여 주관적 화질 평가 결과를 도출하는 부분을 포함하는 시스템에 관한 것이다.
중요도 맵 획득부와 화질 정보 획득부는 심층신경망의 형태로 구성된다. 중요도 맵 획득부는 영상과 해당 영상에 대한 시선 추적 데이터를 이용하여 학습되고, 화질 정보 획득부는 화질 또는 영상 정보가 표시(labeling)되어 있는 영상과 해당 정보를 이용하여 학습되며, 주관적 화질 평가 결과 도출부는 주관적 화질 평가 결과가 주어진 영상과 해당 결과를 이용하여 학습된다.
본 발명은 참고 영상이 필요하던 종래 기술과 달리 평가가 필요한 테스트 영상만을 이용하여 주관적 화질 평가가 가능한 시스템이다. 테스트 영상만으로 중요도 맵과 화질 정보를 추출하여 화질 평가가 가능하다.
중요도 맵과 화질 정보를 구하기 위해 직접 모델링한 (Hand-crafted) 특징을 이용하던 종래 기술과 달리, 심층 신경망을 이용하여 왜곡의 종류 및 정도와 무관하게 이용할 수 있는 중요도 맵과 특징을 추출한다.
또한, 종래에는 참고 영상과 테스트 영상 간의 지각 차이 값이 있어야만 화질 점수를 도출할 수 있었지만 본 발명에서는 테스트 영상 자체의 정보를 획득함으로써 화질 평가를 수행할 수 있다.
특히, 정보 통합부에서 중요도 맵의 성능에 따라 영상 정보의 중요도를 위치별로 다르게 하여 분석이 가능하며, 영상 정보에 따라서 중요도 맵을 반영하는 정도를 다르게 할 수 있다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되며, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.
100: 주관적 화질 평가 시스템
110: 영상 획득부
120: 영상 정보 산출부
130: 중요도 맵 산출부
140: 정보 통합부
150: 화질 평가부

Claims (17)

  1. 테스트 영상을 획득하는 영상 획득부;
    기계학습을 이용하여 상기 테스트 영상에 대한 미리 설정된 영상 정보를 획득하는 영상 정보 산출부;
    기계학습을 이용하여 상기 테스트 영상에 대한 중요도 맵을 획득하는 중요도 맵 산출부;
    상기 중요도 맵을 이용하여 상기 영상 정보에 가중치를 부여하는 정보 통합부; 및
    상기 가중치가 부여된 영상 정보를 이용하여 상기 테스트 영상의 화질 평가 결과를 산출하는 화질 평가부를 포함하는 것을 특징으로 하는 주관적 화질 평가 시스템.
  2. 청구항 1에 있어서,
    상기 기계학습은 심층 신경망 기반 학습인 것을 특징으로 하는 주관적 화질 평가 시스템.
  3. 청구항 2에 있어서,
    상기 중요도 맵 산출을 위한 신경망 기반 학습은 영상과 상기 영상에 대한 시선 추적 데이터를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 시스템.
  4. 청구항 3에 있어서,
    상기 영상 정보 산출을 위한 신경망 기반 학습은 영상 정보가 표시된 영상과 대응하는 영상 정보를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 시스템.
  5. 청구항 4에 있어서,
    상기 화질 평가를 위한 신경망 기반 학습은 주관적 화질 평가 결과가 부여된 영상과 대응하는 화질 평가 결과를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 시스템.
  6. 청구항 5에 있어서,
    상기 정보 통합부는 상기 영상 정보의 크기를 상기 중요도 맵의 크기와 일치시키는 것을 특징으로 하는 주관적 화질 평가 시스템.
  7. 청구항 6에 있어서,
    상기 정보 통합부는 상기 영상 정보를 미리 설정된 복수의 패치로 분리하고, 상기 분리된 패치에서 대표값을 산출하며, 상기 산출된 대표값을 결합하는 것을 특징으로 하는 주관적 화질 평가 시스템.
  8. 청구항 7에 있어서,
    상기 정보 통합부는 상기 중요도 맵의 신뢰도에 따라 상기 영상 정보에 서로 다른 가중치를 부여하는 것을 특징으로 하는 주관적 화질 평가 시스템.
  9. 주관적 화질 평가 시스템의 화질 평가 방법으로서,
    테스트 영상을 획득하는 영상 획득 단계;
    기계학습을 이용하여 상기 테스트 영상에 대한 미리 설정된 영상 정보를 획득하는 영상 정보 산출 단계;
    기계학습을 이용하여 상기 테스트 영상에 대한 중요도 맵을 획득하는 중요도 맵 산출 단계;
    상기 중요도 맵을 이용하여 상기 영상 정보에 가중치를 부여하는 정보 통합 단계; 및
    상기 가중치가 부여된 영상 정보를 이용하여 상기 테스트 영상의 화질 평가 결과를 산출하는 화질 평가 단계를 포함하는 것을 특징으로 하는 주관적 화질 평가 방법.
  10. 청구항 9에 있어서,
    상기 기계학습은 심층 신경망 기반 학습인 것을 특징으로 하는 주관적 화질 평가 방법.
  11. 청구항 10에 있어서,
    상기 중요도 맵 산출을 위한 신경망 기반 학습은 영상과 상기 영상에 대한 시선 추적 데이터를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 방법.
  12. 청구항 3에 있어서,
    상기 영상 정보 산출을 위한 신경망 기반 학습은 영상 정보가 표시된 영상과 대응하는 영상 정보를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 방법.
  13. 청구항 12에 있어서,
    상기 화질 평가를 위한 신경망 기반 학습은 주관적 화질 평가 결과가 부여된 영상과 대응하는 화질 평가 결과를 이용하여 학습되는 것을 특징으로 하는 주관적 화질 평가 방법.
  14. 청구항 13에 있어서,
    상기 정보 통합 단계는 상기 영상 정보의 크기를 상기 중요도 맵의 크기와 일치시키는 것을 특징으로 하는 주관적 화질 평가 방법.
  15. 청구항 14에 있어서,
    상기 정보 통합 단계는 상기 영상 정보를 미리 설정된 복수의 패치로 분리하고, 상기 분리된 패치에서 대표값을 산출하며, 상기 산출된 대표값을 결합하는 것을 특징으로 하는 주관적 화질 평가 방법.
  16. 청구항 7에 있어서,
    상기 정보 통합 단계는 상기 중요도 맵의 신뢰도에 따라 상기 영상 정보에 서로 다른 가중치를 부여하는 것을 특징으로 하는 주관적 화질 평가 방법.
  17. 청구항 9 내지 청구항 16 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.

KR1020170177967A 2017-12-22 2017-12-22 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 KR102284096B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170177967A KR102284096B1 (ko) 2017-12-22 2017-12-22 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170177967A KR102284096B1 (ko) 2017-12-22 2017-12-22 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20190076288A true KR20190076288A (ko) 2019-07-02
KR102284096B1 KR102284096B1 (ko) 2021-07-29

Family

ID=67258445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170177967A KR102284096B1 (ko) 2017-12-22 2017-12-22 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR102284096B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127386A (zh) * 2019-07-08 2020-05-08 杭州电子科技大学 一种基于深度学习的图像质量评价方法
KR102295652B1 (ko) 2020-07-30 2021-08-30 국방과학연구소 딥러닝 기반 비디오 품질 측정 장치 및 방법
CN113486821A (zh) * 2021-07-12 2021-10-08 西安电子科技大学 基于时域金字塔的无参考视频质量评价方法
US20210398265A1 (en) * 2020-06-23 2021-12-23 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
WO2022025423A1 (en) * 2020-07-29 2022-02-03 Samsung Electronics Co., Ltd. Video quality assessing method and apparatus
KR102418000B1 (ko) * 2022-03-15 2022-07-07 광주과학기술원 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법 및 이를 이용한 장치
WO2022250388A1 (ko) * 2021-05-25 2022-12-01 삼성전자 주식회사 비디오 품질을 평가하는 전자 장치 및 그 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023163494A1 (ko) * 2022-02-23 2023-08-31 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717399B1 (ko) 2016-01-29 2017-03-17 연세대학교 산학협력단 주관적 화질 점수 자동 측정 시스템 및 방법과 이에 관한 기록 매체
KR20170140655A (ko) * 2016-06-13 2017-12-21 인하대학교 산학협력단 강건한 휴먼 컴퓨터 상호작용을 위한 capomdp를 이용한 눈 추적 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717399B1 (ko) 2016-01-29 2017-03-17 연세대학교 산학협력단 주관적 화질 점수 자동 측정 시스템 및 방법과 이에 관한 기록 매체
KR20170140655A (ko) * 2016-06-13 2017-12-21 인하대학교 산학협력단 강건한 휴먼 컴퓨터 상호작용을 위한 capomdp를 이용한 눈 추적 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Weilong Hou, et al. "Saliency-guided deep framework for image quality assessment." IEEE MultiMedia 22.2 (2014): 46-55.2014.12.31.* *
Zhengxue Cheng, et al. "A pre-saliency map based blind image quality assessment via convolutional neural networks." 2017 IEEE International Symposium on Multimedia (ISM). IEEE, 2017.12.13.* *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127386A (zh) * 2019-07-08 2020-05-08 杭州电子科技大学 一种基于深度学习的图像质量评价方法
CN111127386B (zh) * 2019-07-08 2023-04-18 杭州电子科技大学 一种基于深度学习的图像质量评价方法
US20210398265A1 (en) * 2020-06-23 2021-12-23 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
WO2021261830A1 (en) * 2020-06-23 2021-12-30 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
US11928793B2 (en) 2020-06-23 2024-03-12 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
WO2022025423A1 (en) * 2020-07-29 2022-02-03 Samsung Electronics Co., Ltd. Video quality assessing method and apparatus
KR102295652B1 (ko) 2020-07-30 2021-08-30 국방과학연구소 딥러닝 기반 비디오 품질 측정 장치 및 방법
WO2022250388A1 (ko) * 2021-05-25 2022-12-01 삼성전자 주식회사 비디오 품질을 평가하는 전자 장치 및 그 동작 방법
CN113486821A (zh) * 2021-07-12 2021-10-08 西安电子科技大学 基于时域金字塔的无参考视频质量评价方法
CN113486821B (zh) * 2021-07-12 2023-07-04 西安电子科技大学 基于时域金字塔的无参考视频质量评价方法
KR102418000B1 (ko) * 2022-03-15 2022-07-07 광주과학기술원 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR102284096B1 (ko) 2021-07-29

Similar Documents

Publication Publication Date Title
KR102284096B1 (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
US9501715B2 (en) Method for detecting salient region of stereoscopic image
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
Berbar Three robust features extraction approaches for facial gender classification
US20130202159A1 (en) Apparatus for real-time face recognition
CN105678778B (zh) 一种图像匹配方法和装置
CN110427972B (zh) 证件视频特征提取方法、装置、计算机设备和存储介质
US20190197204A1 (en) Age modelling method
Alaei et al. Image quality assessment based on regions of interest
CN111291605A (zh) 人流分析系统及人流分析方法
CN112528939A (zh) 一种人脸图像的质量评价方法及装置
CN108108658A (zh) 生物特征识别方法
Yao et al. Expose noise level inconsistency incorporating the inhomogeneity scoring strategy
US20150169945A1 (en) Facial analysis by synthesis and biometric matching
Ferreira et al. A method to compute saliency regions in 3D video based on fusion of feature maps
WO2021047453A1 (zh) 图像质量确定方法、装置及设备
GB2572435A (en) Manipulating a face in an image
CN106611417B (zh) 将视觉元素分类为前景或背景的方法及装置
Nugroho et al. Negative content filtering for video application
Karamizadeh et al. Race classification using gaussian-based weight K-nn algorithm for face recognition.
Viacheslav et al. Low-level features for inpainting quality assessment
Manjula et al. Face detection identification and tracking by PRDIT algorithm using image database for crime investigation
Ellahi et al. A machine-learning framework to predict TMO preference based on image and visual attention features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant