KR101279705B1 - 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법 - Google Patents

영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법 Download PDF

Info

Publication number
KR101279705B1
KR101279705B1 KR1020110140362A KR20110140362A KR101279705B1 KR 101279705 B1 KR101279705 B1 KR 101279705B1 KR 1020110140362 A KR1020110140362 A KR 1020110140362A KR 20110140362 A KR20110140362 A KR 20110140362A KR 101279705 B1 KR101279705 B1 KR 101279705B1
Authority
KR
South Korea
Prior art keywords
dct
blocks
blur
image frame
block
Prior art date
Application number
KR1020110140362A
Other languages
English (en)
Inventor
이상훈
오태근
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110140362A priority Critical patent/KR101279705B1/ko
Application granted granted Critical
Publication of KR101279705B1 publication Critical patent/KR101279705B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법이 개시된다. 개시된 영상 프레임의 화질 측정 장치는 동영상을 구성하며 다수의 블록으로 구획되는 영상 프레임에 대한 화질을 평가하는 장치로서, 상기 다수의 블록 각각에 대한 블러(blur)의 정도(degree)를 산출하는 블러 산출부; 상기 다수의 블록 각각에 대한 질감의 정도(degree)를 산출하는 질감 산출부; 및 상기 다수의 블록 각각에 대한 질감의 정도를 상기 다수의 블록 각각에 대한 블러의 정도에 반영하여 상기 영상 프레임에 대한 화질 점수를 산출하는 화질 산출부를 포함한다.

Description

영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법{Method for measuring blur in image frame, Apparatus and method for estimating image quality of image frame using the same}
본 발명의 실시예들은 영상 프레임 내의 블러 측정 방법과 이를 이용한 영상 프레임의 화질을 평가하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 원본 이미지(레퍼런스 이미지)를 사용하지 않으며, 이미지 프레임의 장면 특성에 따라 시각적 특성을 고려하여 차등적으로 영상 프레임의 화질을 평가하는 장치 및 방법과 이에 이용되는 블러의 측정 방법에 관한 것이다.
제한된 네트워크 자원을 통해 전달되는 영상 정보에는 왜곡이 필연적으로 발생한다. 따라서, 네트워크에 많은 부하를 주지 않으면서도 영상의 서비스 품질(QoS)를 보장하기 위해서는 사용자들이 체감하게 되는 영상의 화질을 정확하게 측정하여야 한다.
영상의 화질을 측정하는 가장 이상적인 방법은 영상을 확인한 다수의 사용자(평가자)에게 직접 영상의 화질에 대한 의견을 묻는 주관적 화질 평가 방법이다.
그러나, 주관적 화질 평가 방법은 평가 대상인 영상이 동일하다 하더라도 평가 조건이 달라지면 평가 결과가 변할 수 있으므로, 다수의 평가 결과의 통계 값을 사용하여야 하는바, 화질 평가에 필요한 시간적/재정적 부담이 크다는 문제점이 있었다. 또한, 주관적 화질 평가 방법은 인간 시각을 잘 반영한 결과를 얻을 수 있지만, 평가자의 성향에 따라 평가 결과가 달라질 수 있다는 문제점 또한 있었다.
따라서, 주관적 화질 평가 방법에 따른 평가 결과와 유사한 결과를 얻을 수 있는 자동화된 동영상 화질 측정 기법 (Video Quality Assessment)들이 필요하며, 이에 대해 다양한 연구가 이루어져 왔다.
객관적 화질 평가 방법은 수학적 계산에 의해 영상의 화질 수준을 도출해내는 방식으로서, 평가 대상인 영상이 동일하다면, 평가자나 평가 조건에 관계없이 일정한 평가 결과를 도출할 수 있다는 장점이 있다.
보다 상세하게, 객관적 화질 평가 방법 중 하나인 전참조(FR: Full-Reference) 기법은 원본 영상(레퍼런스 영상)과 평가 영상을 비교하여 평가 영상의 화질을 평가한다. 그러나, 많은 응용 환경에서, 원본 영상을 직접 이용하기는 어렵다는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 원본 이미지(레퍼런스 이미지)를 사용하지 않으며, 이미지 프레임의 장면 특성에 따라 시각적 특성을 고려하여 차등적으로 영상 프레임의 화질을 평가하는 장치 및 방법과 이에 이용되는 블러의 측정 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 동영상을 구성하며 다수의 블록으로 구획되는 영상 프레임에 대한 화질을 평가하는 장치에 있어서, 상기 다수의 블록 각각에 대한 블러(blur)의 정도(degree)를 산출하는 블러 산출부; 상기 다수의 블록 각각에 대한 질감의 정도(degree)를 산출하는 질감 산출부; 및 상기 다수의 블록 각각에 대한 질감의 정도를 상기 다수의 블록 각각에 대한 블러의 정도에 반영하여 상기 영상 프레임에 대한 화질 점수를 산출하는 화질 산출부를 포함하는 영상 프레임의 화질 측정 장치가 제공된다.
상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역을 포함하고, 상기 다수의 블록 중 2 이상의 제1 블록은 상기 제1 영역에 포함되며, 상기 블러 산출부는 상기 2 이상의 제1 블록으로 구획된 상기 제1 영역을 이산 여현 변환(DCT)하고, 상기 2 이상의 제1 블록에 대해 추정된 움직임의 방향을 고려하여 상기 이산 여현 변환된 2 이상의 제1 블록(2 이상의 제1 DCT 블록) 내에 기준선(2 이상의 기준선)을 각각 설정하며, 상기 2 이상의 기준선 각각과 상기 2 이상의 제1 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 상기 2 이상의 제1 블록 각각에 대한 블러의 정도를 산출할 수 있다.
상기 블러 산출부는 상기 2 이상의 제1 DCT 블록 중 (a, b)번째 제1 DCT 블록 내의 소정의 기준 위치에서 시작되어 상기 (a, b)번째 제1 DCT 블록과 대응되는 (a, b)번째 제1 블록의 움직임 방향과 수직하는 방향으로 연장되도록 상기 (a, b)번째 제1 DCT 블록 내의 기준선을 설정할 수 있다.
상기 (a, b)번째 제1 DCT 블록 내의 기준 위치는 상기 (a, b)번째 제1 DCT 블록 내의 최상단의 최좌측에 위치하는 DCT 성분의 위치와 대응될 수 있다.
상기 블러 산출부는 상기 (a, b)번째 제1 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고, 상기 하나 이상의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제1 DCT 성분과 상기 기준선 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제2 DCT 성분과 상기 기준선사이의 제2 거리로 나눈 값을 상기 (a, b)번째 제1 블록의 블러의 정도로 산출할 수 있다.
상기 영상 프레임은 객체의 움직임이 존재하지 않는 제2 영역을 포함하고, 상기 다수의 블록 중 2 이상의 제2 블록은 상기 제2 영역에 포함되며, 상기 블러 산출부는 상기 2 이상의 제2 블록으로 구획된 상기 제2 영역을 이산 여현 변환(DCT)하고, 상기 이산 여현 변환된 2 이상의 제2 블록(2 이상의 제2 DCT 블록) 중 (a, b)번째 제2 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고, 상기 하나 이상의 DCT 성분 중 소정의 기준 위치로부터의 거리가 가장 먼 제1 DCT 성분과 상기 기준 위치 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준 위치로부터 거리가 가장 먼 제2 DCT 성분과 상기 기준 위치 사이의 제2 거리로 나눈 값을 상기 (a, b)번째 제2 DCT 블록과 대응되는 (a, b)번째 제2 블록의 블러의 정도로 산출할 수 있다.
상기 질감 산출부는 상기 다수의 블록을 이산 여현 변환(DCT)하고, 상기 이산 여현 변환된 다수의 블록(DCT 블록) 내의 복수의 DCT 성분의 DCT 계수의 분포를 이용하여 상기 질감의 정도를 산출할 수 있다.
상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역을 포함하고, 상기 다수의 블록 중 2 이상의 제1 블록은 상기 제1 영역에 포함되며, 상기 2 이상의 제1 블록을 이산 여현 변환한 2 이상의 제1 블록(2 이상의 제1 DCT 블록) 내의 상기 DCT 계수의 분포는 상기 2 이상의 제1 블록에 대해 추정된 움직임 방향과 수직한 방향으로의 분포일 수 있다.
상기 질감의 정도는 상기 DCT 계수의 분포의 첨도(Kurtosis)와 반비례할 수 있다.
상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역 및 객체의 움직임이 존재하지 않는 제2 영역을 포함하고, 상기 질감 산출부는 상기 DCT 계수의 분포의 첨도와 비례하는 첨도 특성 가중치를 상기 다수의 블록 각각에 대해 설정하고, 상기 화질 산출부는 상기 다수의 블록에 대한 상기 블러의 정도와 상기 다수의 블록에 대한 상기 첨도 특성 가중치를 각각 곱한 후 합산한 값을 이용하여 상기 영상 프레임에 대한 화질 점수를 산출할 수 있다.
상기 영상 프레임은 상대적으로 움직임이 구별되는 객체를 포함하는 영역인 관심 영역 및 상기 영상 프레임 내에서 상기 관심 영역을 제외한 나머지 영역인 배경 영역을 포함하고, 상기 제1 영역은 상기 관심 영역 및 상기 배경 영역 중 어느 하나이고, 상기 제2 영역은 상기 관심 영역 및 상기 배경 영역 중 나머지 하나이며, 상기 화질 산출부는 아래의 수학식에 기초하여 상기 영상 프레임에 대한 화질 점수를 산출할 수 있다.
Figure 112011102397413-pat00001
여기서, Q는 상기 화질 점수, Bn은 상기 블러의 정도,
Figure 112011102397413-pat00002
는 상기 관심 영역에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00003
는 상기 관심 영역에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합,
Figure 112011102397413-pat00004
는 상기 배경 영역에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00005
는 상기 배경 영역에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합, w n은 상기 첨도 특성 가중치, f n은 상기 배경 영역에 속하는 블록들과 상기 관심 영역 사이의 거리와 비례하는 가중치, w t는 상기 영상 프레임을 획득 시의 영상 획득 장치의 속도를 반영하기 위한 가중치,
Figure 112011102397413-pat00006
는 집합에 속하는 원소의 개수를 각각 의미함.
상기 화질 산출부는 상기 영상 프레임의 전체 영역에 움직임이 존재하는 경우, 아래의 수학식에 기초하여 상기 영상 프레임에 대한 화질 점수를 산출할 수 있다.
Figure 112011102397413-pat00007
여기서, Q는 상기 화질 점수, Bn은 상기 블러의 정도,
Figure 112011102397413-pat00008
는 상기 영상 프레임에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00009
는 상기 영상 프레임에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합, w n은 상기 첨도 특성 가중치, w t는 상기 영상 프레임을 획득 시의 영상 획득 장치의 속도를 반영하기 위한 가중치,
Figure 112011102397413-pat00010
는 집합에 속하는 원소의 개수를 각각 의미함.
상기 화질 산출부는 상기 영상 프레임이 상기 제1 영역의 존재 비율, 상기 제2 영역의 존재 비율, 상기 관심 영역의 존재 비율 및 상기 배경 영역의 존재 비율 중에서 적어도 하나에 기초하여 정의되는 2 이상의 장면 특성 각각에 해당될 확률을 산출하고, 아래의 수학식에 기초하여 상기 영상 프레임에 대한 최종 화질 점수를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
Figure 112011102397413-pat00011
여기서, Qt는 상기 최종 화질 점수, c는 상기 장면 특성의 인덱스, m은 상기 장면 특성의 개수, w c는 c번째 상기 장면 특성에 해당될 확률, Qc는 c번째 상기 화질 점수를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 동영상을 구성하며 다수의 블록으로 구획되는 영상 프레임에 대한 화질을 평가하는 방법에 있어서, 상기 다수의 블록 각각에 대한 블러(blur)의 정도(degree)를 산출하는 단계; 상기 다수의 블록 각각에 대한 질감의 정도(degree)를 산출하는 단계; 및 상기 다수의 블록 각각에 대한 질감의 정도를 상기 다수의 블록 각각에 대한 블러의 정도에 반영하여 상기 영상 프레임에 대한 화질 점수를 산출하는 단계를 포함하는 영상 프레임의 화질 측정 방법이 제공된다.
또한, 본 발명의 또 다른 실시예에 따르면, 다수의 블록으로 구획되는 영상 프레임 내의 적어도 일부의 영역을 이산 여현 변환(DCT)하는 단계; 상기 다수의 블록에 대해 추정된 움직임의 방향을 고려하여 상기 이산 여현 변환된 다수의 블록(다수의 DCT 블록) 내에 기준선(다수의 기준선)을 각각 설정하는 단계; 및 상기 다수의 기준선 각각과 상기 다수의 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 상기 다수의 블록 각각에 대한 모션 블러의 정도(degree)를 산출하는 단계를 포함하는 영상 프레임 내의 블러 측정 방법이 제공된다.
또한, 본 발명의 또 다른 실시예에 따르면, 다수의 블록으로 구획되는 영상 프레임 내의 적어도 일부의 영역을 이산 여현 변환(DCT)하는 단계; 상기 이산 여현 변환된 다수의 블록(다수의 DCT 블록) 중 (a, b)번째 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하는 단계; 및 상기 하나 이상의 DCT 성분 중 소정의 기준 위치로부터의 거리가 가장 먼 DCT 성분과 상기 기준 위치 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준 위치로부터 거리가 가장 먼 DCT 성분과 상기 기준 위치 사이의 제2 거리로 나눈 값을 상기 (a, b)번째 DCT 블록과 대응되는 (a, b)번째 블록의 블러의 정도로 산출하는 단계를 포함하는 영상 프레임 내의 블러 측정 방법이 제공된다.
본 발명에 따르면, 원본 이미지(레퍼런스 이미지)를 사용하지 않으며, 이미지 프레임의 장면 특성에 따라 시각적 특성을 고려하여 차등적으로 영상 프레임의 화질을 평가할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임의 화질 측정 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 프레임의 화질 측정 방법의 전체적인 흐름을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 특성의 일례들을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 기준선 설정의 개념을 설명하기 위한 도면이다.
도 5는 2차원 DCT 공간에서 각 성분의 공간 주파수의 일례를 도시한 도면이다.
도 6은 움직임이 발생하기 전의 특정 블록의 DCT 계수 및 가로 방향으로의 움직임이 발생한 후의 특정 블록의 DCT 계수의 일례를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 프레임의 화질 측정 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 프레임 화질 측정 장치(100)는 블러 산출부(110), 질감 산출부(120) 및 화질 산출부(130)를 포함할 수 있다.
그리고, 도 2는 본 발명의 일 실시예에 따른 영상 프레임의 화질 측정 방법의 전체적인 흐름을 도시한 순서도이다.
이하, 도 1 및 도 2를 참조하여, 영상 프레임의 화질 측정 장치(100)의 구성 요소 별 기능 및 영상 프레임 화질 측정 방법의 각 단계에서 수행되는 과정을 상세히 설명하기로 한다.
먼저, 단계(S210)에서 블러 산출부(110)는 동영상을 구성하는 영상 프레임 내에서 발생하는 블러(blur)의 정도(degree)를 산출한다. 보다 상세하게, 영상 프레임은 다수의 블록으로 구획되고, 블러 산출부(110)는 다수의 블록 각각에 대해 블러의 정도를 산출한다.
본 발명의 일 실시예에 따르면, 영상 프레임은 객체의 움직임이 존재하는 영역(이하, "제1 영역"이라고 함) 및 객체의 움직임이 존재하지 않는 영역(이하, "제2 영역"이라고 함) 중에서 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 영상 프레임은 상대적으로 움직임이 구별되는 객체를 포함하는 영역인 관심 영역 및 영상 프레임 내에서 관심 영역을 제외한 나머지 영역인 배경 영역을 포함할 수 있다. 이 경우, 관심 영역에 속하는 블록에 움직임이 존재할 수도 있고, 배경 영역에 속하는 블록에 움직임이 존재할 수도 있다. 다시 말해, 관심 영역은 제1 영역일 수도 있고 제2 영역일 수도 있으며, 마찬가지로 배경 영역 역시 제1 영역일 수도 있고 제2 영역일 수도 있다. 일례로, 관심 영역에 움직임이 존재하고 배경 영역에 움직임이 존재하지 않는 경우, 관심 영역이 제1 영역이 되고, 배경 영역이 제2 영역이 된다. 다른 일례로, 관심 영역에 움직임이 존재하지 않고 배경 영역에 움직임이 존재하는 경우, 관심 영역이 제2 영역이 되고 배경 영역이 제1 영역이 된다.
그리고, 본 발명의 일 실시예에 따르면, 영상 프레임은 제1 영역의 존재 비율, 제2 영역의 존재 비율, 관심 영역의 존재 비율 및 배경 영역의 존재 비율 중에서 적어도 하나에 기초하여 정의되는 2 이상의 장면 특성 중 적어도 하나에 해당될 수 있다.
도 3에서는 장면 특성의 일례들을 도시한 도면이다. 장면 특성 1(Scene 1)은 카메라가 고정되어 있는 경우의 영상 프레임이고, 장면 특성 2(Scene 2)와 3(Scene 3)은 카메라가 움직이며, 수평 혹은 수직 방향의 움직임과 카메라의 줌-인/아웃의 경우를 포함하는 영상 프레임이다. 특히, 장면 특성 2는 카메라가 특정 객체를 쫓아 움직이는 경우이며, 장면 특성 3은 특정 객체를 쫓지 않고 카메라가 움직이는 경우이다. 그리고, 도 3에서 타원으로 표시된 부분이 관심 영역이고 그 이외의 부분이 배경 영역이다.
블러 산출부(110)는 제1 영역에 포함되는 블록(이하, "제1 블록"이라고 함)과 제2 영역에 포함되는 블록(이하, "제2 블록"이라고 함)에 대해 서로 다른 방식에 따라 블러를 측정할 수 있다. 각각의 블러 측정 방법을 보다 상세하게 설명하면 아래와 같다.
블러를 측정하고자 하는 블록이 제1 블록인 경우 블러 산출부(110)의 동작(즉, 모션 블러를 산출하기 위한 블러 산출부(110)의 동작)을 설명하면 다음과 같다.
우선, 블러 산출부(110)는 2 이상의 제1 블록으로 구획된 제1 영역을 이산 여현 변환(DCT)하고, 2 이상의 제1 블록에 대해 추정된 움직임의 방향을 고려하여 이산 여현 변환된 2 이상의 제1 블록(이하, "제1 DCT 블록"이라고 함) 내에 기준선을 각각 설정한다.
보다 상세하게, 블러 산출부(110)는 2 이상의 제1 DCT 블록 중 (a, b)번째 제1 DCT 블록 내의 소정의 기준 위치에서 시작되어 (a, b)번째 제1 DCT 블록과 대응되는 (a, b)번째 제1 블록의 움직임 방향과 수직하는 방향으로 연장되도록 (a, b)번째 제1 DCT 블록 내의 기준선을 설정할 수 있다. 이 경우, (a, b)번째 제1 DCT 블록 내의 기준 위치는 (a, b)번째 제1 DCT 블록 내의 최상단의 최좌측에 위치하는 DCT 성분의 위치와 대응될 수 있다.
이와 같이 기준선을 설정하는 것은 제1 블록의 움직임 방향에 따라 DCT 계수가 감쇄하는 DC 성분의 순서와 정도가 달라지기 특성에 기인하는 것이다.
일례로, 도 4의 (a)에 도시된 바와 같이 (a, b)번째 제1 블록의 움직임 방향이 가로 방향으로 추정되는 경우, 블러 산출부(110)는 (a, b)번째 제1 DCT 블록의 최상단의 최좌측에 위치하는 DCT 성분의 위치에서 시작하여 (a, b)번째 블록의 움직임 방향과 수직한 방향(즉, 세로 방향)으로 연장하여 기준선을 설정할 수 있다.
다른 일례로, 도 4의 (b)에 도시된 바와 같이 (a, b)번째 제1 블록의 움직임 방향이 좌측 하단에서 우측 상단으로의 대각선 방향으로 추정되는 경우, 블러 산출부(110)는 (a, b)번째 제1 DCT 블록의 최상단의 최좌측에 위치하는 DCT 성분의 위치에서 시작하여 (a, b)번째 블록의 움직임 방향과 수직한 방향(즉, 좌측 상단에서 우측 하단으로의 대각선 방향)으로 연장하여 기준선을 설정할 수 있다.
계속하여, 블러 산출부(110)는 2 이상의 기준선 각각과 2 이상의 제1 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 2 이상의 제1 블록 각각에 대한 블러의 정도를 산출한다.
보다 상세하게, 블러 산출부(110)는 (a, b)번째 제1 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고, 하나 이상의 DCT 성분 중 기준선까지의 거리가 가장 먼 제1 DCT 성분과 기준선 사이의 제1 거리를 복수의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제2 DCT 성분과 기준선사이의 제2 거리로 나눈 값을 (a, b)번째 제1 블록의 블러의 정도로 산출할 수 있다.
여기서, DCT 계수의 값과 기 설정된 문턱값의 비교는 기준선으로부터 멀리 떨어진 위치에서부터 수행될 수 있다. 이는 특정 블록에서 모션 블러가 발생하는 경우, 기준선에서 먼 방향에서부터 신호가 0으로 감쇄한다는 사실에 기인한 것이다.
본 발명의 일 실시예에 따르면, 블러 산출부(110)는 아래의 수학식 1에 따라 2 이상의 제1 블록 각각에 대한 블러(모션 블러)를 측정할 수 있다.
Figure 112011102397413-pat00012
Figure 112011102397413-pat00013
Figure 112011102397413-pat00014
여기서,
Figure 112011102397413-pat00015
는 (a, b)번째 제1 블록에 대해 산출된 블러의 정도,
Figure 112011102397413-pat00016
는 (a, b)번째 제1 DCT 블록 내의 (q, r)번째 DCT 성분에 대해 산출된 블러의 정도,
Figure 112011102397413-pat00017
는 (a, b)번째 제1 DCT 블록 내의 (q, r)번째 DCT 성분의 DCT 계수,
Figure 112011102397413-pat00018
는 기 설정된 문턱값,
Figure 112011102397413-pat00019
는 (a, b)번째 제1 DCT 블록 내의 (q, r)번째 DCT 성분과 기준선 사이의 거리,
Figure 112011102397413-pat00020
는 (a, b)번째 제1 DCT 블록 내의 모든 DCT 성분 중 기준선으로부터의 거리가 가정 먼 DCT 성분과 기준선 사이의 거리,
Figure 112011102397413-pat00021
는 (a, b)번째 제1 블록의 움직임 방향을 각각 의미한다.
정리하면, 블러 산출부(110)는 2 이상의 제1 블록으로 구획된 제1 영역을 이산 여현 변환(DCT)하고, 2 이상의 제1 블록에 대해 추정된 움직임의 방향을 고려하여 이산 여현 변환된 2 이상의 제1 블록(2 이상의 제1 DCT 블록) 내에 기준선(2 이상의 기준선)을 각각 설정하며, 2 이상의 기준선 각각과 2 이상의 제1 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 2 이상의 제1 블록 각각에 대한 블러의 정도를 산출할 수 있다.
그리고, 블러를 측정하고자 하는 블록이 제2 블록인 경우 블러 산출부(110)의 동작(즉, 공간적 블러를 산출하기 위한 블러 산출부(110)의 동작)을 설명하면 다음과 같다.
우선, 블러 산출부(110)는 2 이상의 제2 블록으로 구획된 제2 영역을 이산 여현 변환(DCT)하고, 이산 여현 변환된 2 이상의 제2 블록(2 이상의 제2 DCT 블록) 중 (a, b)번째 제2 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택한다.
계속하여, 블러 산출부(110)는 선택된 하나 이상의 DCT 성분 중 소정의 기준 위치로부터의 거리가 가장 먼 제1 DCT 성분과 기준 위치 사이의 제1 거리를 복수의 DCT 성분 중 상기 기준 위치로부터 거리가 가장 먼 제2 DCT 성분과 기준 위치 사이의 제2 거리로 나눈 값을 (a, b)번째 제2 DCT 블록과 대응되는 (a, b)번째 제2 블록의 블러의 정도로 산출할 수 있다.
본 발명의 일 실시예에 따르면, 블러 산출부(110)는 아래의 수학식 2에 따라 2 이상의 제2 블록 각각에 대한 블러(공간적 블러)를 측정할 수 있다.
Figure 112011102397413-pat00022
Figure 112011102397413-pat00023

여기서,
Figure 112011102397413-pat00024
는 (a, b)번째 제2 블록에 대해 산출된 블러의 정도,
Figure 112011102397413-pat00025
는 (a, b)번째 블록의 2차원 DCT 공간에서 각 성분의 공간 주파수, N은 제2 블록(제2 DCT 블록)의 한변의 길이를 각각 의미한다.
도 5에서는 2차원 DCT 공간에서 각 성분의 공간 주파수의 일례를 도시하고 있다.
다음으로, 단계(S220)에서 질감 산출부(120)는 다수의 블록 각각에 대한 질감의 정도(degree)를 산출한다.
상기의 단계(S210)에서 산출된 다수의 블록 각각에 대한 블러의 정도를 단순히 평균하여 화질을 평가하는 경우, 실제적으로 사용자가 인식하는 영상의 화질과는 다른 평가 결과가 나오게 되므로, 단계(S210)에서는 영상의 질감적 특성을 블러의 정도에 반영하여 사용자가 인식하는 화질에 대한 평가와 유사한 평가 결과를 획득한다.
본 발명의 일 실시예에 따르면, 질감 산출부(120)는 다수의 블록을 이산 여현 변환(DCT)하고, 이산 여현 변환된 다수의 블록(DCT 블록) 내의 복수의 DCT 성분의 DCT 계수의 분포를 이용하여 질감의 정도를 산출할 수 있다.
여기서, 질감의 정도는 DCT 계수의 분포의 첨도(Kurtosis)와 반비례하도록 설정될 수 있다.
첨도는 분포의 뾰족함의 정도를 나타내는 통계적 수치로서, 분포가 몰려있어 뾰족한 형상을 가질수록 첨도는 높을 값을 가지게 된다. 그리고, 복잡한 질감을 가지거나 객체 간의 경계 부분에서는 고주파 성분이 증가하므로 DCT 계수의 분포의 첨도는 낮은 값을 가지고, 영상이 밋밋한 경우 DCT 계수의 분포의 첨도는 높은 값을 가지게 된다.
한편, 움직임에 의해 모션 블러가 발생하는 경우, 종래의 첨도 수식을 이용하여 측정된 첨도는 질감의 특성을 정확하게 반영하지 못한다. 따라서, 본 발명의 일 실시예에 따르면, 객체의 움직임이 존재하는 제1 영역에 포함된 2 이상의 제1 블록의 경우, 질감 산출부(120)는 2 이상의 제1 블록에 대해 추정된 움직임 방향과 수직한 방향으로 2 이상의 제1 블록을 이산 여현 변환한 2 이상의 제1 DCT 블록 내의 DCT 계수의 분포를 측정할 수 있다.
도 6에서는 움직임이 발생하기 전의 특정 블록의 DCT 계수(도 6의 (a)) 및 가로 방향(수평 방향)으로의 움직임이 발생한 후의 특정 블록의 DCT 계수(도 6의 (b))의 일례를 도시하고 있다. 도 6을 참조하면, 모션 블러에 의해 움직임 방향에서는 신호의 감쇄가 발생하므로, 모션 블러에 의한 영향을 최소화할 수 있도록 움직임에 수직한 방향에서 1차원 첨도를 도출하여 질감의 특성을 나타내는 통계적 수치로 사용할 수 있다.
계속하여, 단계(S230)에서 화질 산출부(130)는 다수의 블록 각각에 대한 질감의 정도를 다수의 블록 각각에 대한 블러의 정도에 반영하여 영상 프레임에 대한 화질 점수를 산출한다.
보다 상세하게, 영상 프레임이 객체의 움직임이 존재하는 제1 영역 및 객체의 움직임이 존재하지 않는 제2 영역을 포함하는 경우, 질감 산출부(120)는 DCT 계수의 분포의 첨도와 비례하는 첨도 특성 가중치를 다수의 블록 각각에 대해 설정하고, 화질 산출부(130)는 다수의 블록에 대한 블러의 정도와 다수의 블록에 대한 첨도 특성 가중치를 각각 곱한 후 합산한 값을 이용하여 영상 프레임에 대한 화질 점수를 산출할 수 있다.
본 발명의 일 실시예에 따르면, 영상 프레임이 관심 영역 및 배경 영역을 포함하고, 제1 영역이 관심 영역 및 상기 배경 영역 중 어느 하나이고, 제2 영역이 관심 영역 및 배경 영역 중 나머지 하나인 경우(즉, 영상 프레임이 앞서 도 3에서 설명한 장면 특성 1 및 장면 특성 2에 해당되는 경우), 화질 산출부(130)는 아래의 수학식 3에 기초하여 영상 프레임에 대한 화질 점수를 산출할 수 있다.
Figure 112011102397413-pat00026
여기서, Q는 산출된 화질 점수, Bn은 다수의 블록 각각에 대한 블러의 정도,
Figure 112011102397413-pat00027
는 관심 영역에 포함되는 블록들 중에서 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00028
는 관심 영역에 포함되는 블록들 중 첨도가 기준 첨도값보다 높은 블록의 집합,
Figure 112011102397413-pat00029
는 배경 영역에 포함되는 블록들 중에서 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00030
는 배경 영역에 포함되는 블록들 중 첨도가 기준 첨도값보다 높은 블록의 집합, w n은 첨도 특성 가중치, f n은 배경 영역에 속하는 블록들과 관심 영역 사이의 거리와 비례하는 가중치(즉, 관심 영역과 배경 영역이 화질의 인식에 미치는 영향을 반영하기 위한 상대적 중요도), w t는 영상 프레임을 획득 시의 영상 획득 장치의 속도를 반영하기 위한 가중치(즉, 영상 획득 장치의 속도에 따라 변화하는 영상에 대한 집중도를 반영하기 위한 가중치),
Figure 112011102397413-pat00031
는 집합에 속하는 원소의 개를 각각 의미한다.
또한, 본 발명의 다른 실시예에 따르면, 영상 프레임의 전체 영역에 움직임이 존재하는 경우(즉, 영상 프레임이 앞서 도 3에서 설명한 장면 특성 3에 해당되는 경우), 화질 산출부(130)는 아래의 수학식 4에 기초하여 영상 프레임에 대한 화질 점수를 산출할 수 있다.
Figure 112011102397413-pat00032
여기서,
Figure 112011102397413-pat00033
는 영상 프레임에 포함되는 블록들 중에서 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
Figure 112011102397413-pat00034
는 영상 프레임에 포함되는 블록들 중 첨도가 기준 첨도값보다 높은 블록의 집합을 각각 의미한다.
한편, 복잡한 동영상의 경우, 각 영상 프레임이 2 이상의 장면 특성 중에서 어느 장면 특성을 가지는 지를 정확하게 분류하기 어려운 경우가 많다. 따라서, 본 발명의 일 실시예에 따르면, 화질 산출부(130)는 영상 프레임에 대한 통계적 수치에 기초하여 영상 프레임이 2 이상의 장면 특성 각각에 해당될 확률을 산출하고, 해당 확률을 이용하여 영상 프레임에 대한 최종 화질 점수를 산출할 수 있다.
본 발명의 일 실시예에 따르면, 화질 산출부(130)는 아래의 수학식 5에 기초하여 영상 프레임에 대한 최종 화질 점수를 산출할 수 있다.
Figure 112011102397413-pat00035
여기서, Qt는 최종 화질 점수, c는 장면 특성의 인덱스, m은 장면 특성의 개수, w c는 c번째 장면 특성에 해당될 확률, Qc는 c번째 화질 점수를 각각 의미한다.
그리고, 화질 산출부(130)는 각 영역들로부터의 움직임 벡터를 DCT 계수로 변환하고, 이에 대한 왜도(Skewness) 및 첨도(Kurtosis)와 같은 통계적 수치들을 이용하여 영상 프레임이 2 이상의 장면 특성 각각에 해당될 확률을 산출할 수 있다. 일례로서, 화질 산출부(130)는 SVM(Support Vector Machine)과 같은 기계 학습 알고리즘을 사용하여 영상 프레임이 2 이상의 장면 특성 각각에 해당될 확률을 산출할 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 동영상을 구성하며 다수의 블록으로 구획되는 영상 프레임에 대한 화질을 평가하는 장치에 있어서,
    상기 다수의 블록 각각에 대한 블러(blur)의 정도(degree)를 산출하는 블러 산출부; 및
    상기 다수의 블록 각각에 대한 질감의 정도(degree)를 산출하는 질감 산출부;
    상기 다수의 블록 각각에 대한 질감의 정도를 상기 다수의 블록 각각에 대한 블러의 정도에 반영하여 상기 영상 프레임에 대한 화질 점수를 산출하는 화질 산출부
    를 포함하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  2. 제1항에 있어서,
    상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역을 포함하고,
    상기 블러 산출부는
    상기 제1 영역을 이산 여현 변환(DCT)하고,
    상기 다수의 블록 중 상기 제1 영역에 포함된 2 이상의 블록(2 이상의 제1 블록)에 대해 추정된 움직임의 방향을 고려하여 상기 이산 여현 변환을 통해 변환된 2 이상의 제1 블록(2 이상의 제1 DCT 블록) 내에 기준선(2 이상의 기준선)을 각각 설정하며,
    상기 2 이상의 기준선 각각과 상기 2 이상의 제1 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 상기 2 이상의 제1 블록 각각에 대한 블러의 정도를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  3. 제2항에 있어서,
    상기 블러 산출부는
    상기 2 이상의 제1 DCT 블록 중 (a, b)번째 제1 DCT 블록 내의 소정의 기준 위치에서 시작되어 상기 (a, b)번째 제1 DCT 블록과 대응되는 (a, b)번째 제1 블록의 움직임 방향과 수직하는 방향으로 연장되도록 상기 (a, b)번째 제1 DCT 블록 내의 기준선을 설정하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  4. 제3항에 있어서,
    상기 (a, b)번째 제1 DCT 블록 내의 기준 위치는 상기 (a, b)번째 제1 DCT 블록 내의 최상단의 최좌측에 위치하는 DCT 성분의 위치와 대응되는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  5. 제3항에 있어서,
    상기 블러 산출부는
    상기 (a, b)번째 제1 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고,
    상기 하나 이상의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제1 DCT 성분과 상기 기준선 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제2 DCT 성분과 상기 기준선사이의 제2 거리로 나눈 값을 상기 (a, b)번째 제1 블록의 블러의 정도로 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  6. 제1항에 있어서,
    상기 영상 프레임은 객체의 움직임이 존재하지 않는 제2 영역을 포함하고,
    상기 블러 산출부는
    상기 제2 영역을 이산 여현 변환(DCT)하고,
    상기 다수의 블록 중 상기 제2 영역에 포함된 2 이상의 블록(2 이상의 제2 블록)이 상기 이산 여현 변환(DCT)을 통해 변환되고, 상기 이산 여현 변환된 2 이상의 제2 블록(2 이상의 제2 DCT 블록) 중 (a, b)번째 제2 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고,
    상기 하나 이상의 DCT 성분 중 소정의 기준 위치로부터의 거리가 가장 먼 제1 DCT 성분과 상기 기준 위치 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준 위치로부터 거리가 가장 먼 제2 DCT 성분과 상기 기준 위치 사이의 제2 거리로 나눈 값을 상기 (a, b)번째 제2 DCT 블록과 대응되는 (a, b)번째 제2 블록의 블러의 정도로 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  7. 제1항에 있어서,
    상기 질감 산출부는
    상기 다수의 블록을 이산 여현 변환(DCT)하고, 상기 이산 여현 변환된 다수의 블록(DCT 블록) 내의 복수의 DCT 성분의 DCT 계수의 분포를 이용하여 상기 질감의 정도를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  8. 제7항에 있어서,
    상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역을 포함하고,
    상기 다수의 블록 중 상기 제1 영역에 포함되는 2 이상의 블록(2 이상의 제1 블록)을 이산 여현 변환한 2 이상의 제1 블록(2 이상의 제1 DCT 블록) 내의 상기 DCT 계수의 분포는 상기 2 이상의 제1 블록에 대해 추정된 움직임 방향과 수직한 방향으로의 분포인 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  9. 제7항에 있어서,
    상기 질감의 정도는 상기 DCT 계수의 분포의 첨도(Kurtosis)와 반비례하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  10. 제9항에 있어서,
    상기 영상 프레임은 객체의 움직임이 존재하는 제1 영역 및 객체의 움직임이 존재하지 않는 제2 영역을 포함하고,
    상기 질감 산출부는 상기 DCT 계수의 분포의 첨도와 비례하는 첨도 특성 가중치를 상기 다수의 블록 각각에 대해 설정하고,
    상기 화질 산출부는 상기 다수의 블록에 대한 상기 블러의 정도와 상기 다수의 블록에 대한 상기 첨도 특성 가중치를 각각 곱한 후 합산한 값을 이용하여 상기 영상 프레임에 대한 화질 점수를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.
  11. 제10항에 있어서,
    상기 영상 프레임은 상대적으로 움직임이 구별되는 객체를 포함하는 영역인 관심 영역 및 상기 영상 프레임 내에서 상기 관심 영역을 제외한 나머지 영역인 배경 영역을 포함하고,
    상기 제1 영역은 상기 관심 영역 및 상기 배경 영역 중 어느 하나이고, 상기 제2 영역은 상기 관심 영역 및 상기 배경 영역 중 나머지 하나이며,
    상기 화질 산출부는 아래의 수학식에 기초하여 상기 영상 프레임에 대한 화질 점수를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치

    Figure 112011102397413-pat00036


    여기서, Q는 상기 화질 점수, Bn은 상기 블러의 정도,
    Figure 112011102397413-pat00037
    는 상기 관심 영역에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
    Figure 112011102397413-pat00038
    는 상기 관심 영역에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합,
    Figure 112011102397413-pat00039
    는 상기 배경 영역에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
    Figure 112011102397413-pat00040
    는 상기 배경 영역에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합, w n은 상기 첨도 특성 가중치, f n은 상기 배경 영역에 속하는 블록들과 상기 관심 영역 사이의 거리와 비례하는 가중치, w t는 상기 영상 프레임을 획득 시의 영상 획득 장치의 속도를 반영하기 위한 가중치,
    Figure 112011102397413-pat00041
    는 집합에 속하는 원소의 개수를 각각 의미함.
  12. 제10항에 있어서,
    상기 화질 산출부는 상기 영상 프레임의 전체 영역에 움직임이 존재하는 경우, 아래의 수학식에 기초하여 상기 영상 프레임에 대한 화질 점수를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치

    Figure 112011102397413-pat00042


    여기서, Q는 상기 화질 점수, Bn은 상기 블러의 정도,
    Figure 112011102397413-pat00043
    는 상기 영상 프레임에 포함되는 블록들 중에서 상기 첨도가 기 설정된 기준 첨도값보다 낮은 블록의 집합,
    Figure 112011102397413-pat00044
    는 상기 영상 프레임에 포함되는 블록들 중 상기 첨도가 상기 기준 첨도값보다 높은 블록의 집합, w n은 상기 첨도 특성 가중치, w t는 상기 영상 프레임을 획득 시의 영상 획득 장치의 속도를 반영하기 위한 가중치,
    Figure 112011102397413-pat00045
    는 집합에 속하는 원소의 개수를 각각 의미함.
  13. 제11항 또는 제12항에 있어서,
    상기 화질 산출부는
    상기 영상 프레임이 상기 제1 영역의 존재 비율, 상기 제2 영역의 존재 비율, 상기 관심 영역의 존재 비율 및 상기 배경 영역의 존재 비율 중에서 적어도 하나에 기초하여 정의되는 2 이상의 장면 특성 각각에 해당될 확률을 산출하고,
    아래의 수학식에 기초하여 상기 영상 프레임에 대한 최종 화질 점수를 산출하는 것을 특징으로 하는 영상 프레임의 화질 측정 장치.

    Figure 112011102397413-pat00046


    여기서, Qt는 상기 최종 화질 점수, c는 상기 장면 특성의 인덱스, m은 상기 장면 특성의 개수, w c는 c번째 상기 장면 특성에 해당될 확률, Qc는 c번째 상기 화질 점수를 각각 의미함.
  14. 동영상을 구성하며 다수의 블록으로 구획되는 영상 프레임에 대한 화질을 평가하는 방법에 있어서,
    상기 다수의 블록 각각에 대한 블러(blur)의 정도(degree)를 산출하는 단계;
    상기 다수의 블록 각각에 대한 질감의 정도(degree)를 산출하는 단계; 및
    상기 다수의 블록 각각에 대한 질감의 정도를 상기 다수의 블록 각각에 대한 블러의 정도에 반영하여 상기 영상 프레임에 대한 화질 점수를 산출하는 단계
    를 포함하는 것을 특징으로 하는 영상 프레임의 화질 측정 방법.
  15. 다수의 블록으로 구획되는 영상 프레임 내의 적어도 일부의 영역을 이산 여현 변환(DCT)하는 단계;
    상기 다수의 블록에 대해 추정된 움직임의 방향을 고려하여 상기 이산 여현 변환된 다수의 블록(다수의 DCT 블록) 내에 기준선(다수의 기준선)을 각각 설정하는 단계; 및
    상기 다수의 기준선 각각과 상기 다수의 DCT 블록 내의 복수의 DCT 성분 간의 거리를 이용하여 상기 다수의 블록 각각에 대한 모션 블러의 정도(degree)를 산출하는 단계를 포함하는 것을 특징으로 하는 영상 프레임 내의 블러 측정 방법.
  16. 제15항에 있어서,
    상기 다수의 기준선을 각각 설정하는 단계는
    상기 다수의 DCT 블록 중 (a, b)번째 DCT 블록 내의 소정의 기준 위치에서 시작되어 상기 (a, b)번째 DCT 블록과 대응되는 (a, b)번째 블록의 움직임의 방향과 수직하는 방향으로 연장되도록 상기 (a, b)번째 DCT 블록 내의 기준선을 설정하는 것을 특징으로 하는 영상 프레임 내의 블러 측정 방법.
  17. 제16항에 있어서,
    상기 다수의 블록 각각에 대한 모션 블러의 정도를 산출하는 단계는
    상기 (a, b)번째 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하고,
    상기 하나 이상의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제1 DCT 성분으로부터 상기 기준선까지의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준선까지의 거리가 가장 먼 제2 DCT 성분으로부터 상기 기준선까지의 제2 거리로 나눈 값을 상기 (a, b)번째 블록의 모션 블러의 정도로 산출하는 것을 특징으로 하는 영상 프레임 내의 블러 측정 방법.
  18. 다수의 블록으로 구획되는 영상 프레임 내의 적어도 일부의 영역을 이산 여현 변환(DCT)하는 단계;
    상기 이산 여현 변환된 다수의 블록(다수의 DCT 블록) 중 (a, b)번째 DCT 블록 내의 복수의 DCT 성분 중에서 DCT 계수의 값이 기 설정된 문턱값보다 큰 하나 이상의 DCT 성분을 선택하는 단계; 및
    상기 하나 이상의 DCT 성분 중 소정의 기준 위치로부터의 거리가 가장 먼 DCT 성분과 상기 기준 위치 사이의 제1 거리를 상기 복수의 DCT 성분 중 상기 기준 위치로부터 거리가 가장 먼 DCT 성분과 상기 기준 위치 사이의 제2 거리로 나눈 값을 상기 (a, b)번째 DCT 블록과 대응되는 (a, b)번째 블록의 블러의 정도로 산출하는 단계를 포함하는 것을 특징으로 하는 영상 프레임 내의 블러 측정 방법.
KR1020110140362A 2011-12-22 2011-12-22 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법 KR101279705B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110140362A KR101279705B1 (ko) 2011-12-22 2011-12-22 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110140362A KR101279705B1 (ko) 2011-12-22 2011-12-22 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101279705B1 true KR101279705B1 (ko) 2013-06-27

Family

ID=48867819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110140362A KR101279705B1 (ko) 2011-12-22 2011-12-22 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101279705B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210398265A1 (en) * 2020-06-23 2021-12-23 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
US11227394B2 (en) 2016-10-13 2022-01-18 Kyungpook National University Industry-Academic Cooperation Foundation Method for setting edge blur for edge modeling
WO2022250388A1 (ko) * 2021-05-25 2022-12-01 삼성전자 주식회사 비디오 품질을 평가하는 전자 장치 및 그 동작 방법
KR20230142021A (ko) 2022-03-30 2023-10-11 주식회사 이노와이어리스 비 참조 영상 기반의 영상 품질 평가 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012782A (ko) * 2002-06-14 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템
JP2005109732A (ja) 2003-09-29 2005-04-21 Casio Comput Co Ltd 画質評価値算出方法及び画質評価値算出装置
JP2009260941A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
KR20100126397A (ko) * 2008-03-21 2010-12-01 니폰덴신뎅와 가부시키가이샤 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012782A (ko) * 2002-06-14 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템
JP2005109732A (ja) 2003-09-29 2005-04-21 Casio Comput Co Ltd 画質評価値算出方法及び画質評価値算出装置
JP2009260941A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
KR20100126397A (ko) * 2008-03-21 2010-12-01 니폰덴신뎅와 가부시키가이샤 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227394B2 (en) 2016-10-13 2022-01-18 Kyungpook National University Industry-Academic Cooperation Foundation Method for setting edge blur for edge modeling
US20210398265A1 (en) * 2020-06-23 2021-12-23 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
WO2021261830A1 (en) * 2020-06-23 2021-12-30 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
EP4088452A4 (en) * 2020-06-23 2023-11-22 Samsung Electronics Co., Ltd. VIDEO QUALITY EVALUATION METHOD AND APPARATUS
US11928793B2 (en) 2020-06-23 2024-03-12 Samsung Electronics Co., Ltd. Video quality assessment method and apparatus
WO2022250388A1 (ko) * 2021-05-25 2022-12-01 삼성전자 주식회사 비디오 품질을 평가하는 전자 장치 및 그 동작 방법
KR20230142021A (ko) 2022-03-30 2023-10-11 주식회사 이노와이어리스 비 참조 영상 기반의 영상 품질 평가 방법
JP7457854B2 (ja) 2022-03-30 2024-03-28 イノワイアレス カンパニー、リミテッド 非参照映像基盤の映像品質評価方法

Similar Documents

Publication Publication Date Title
US9799118B2 (en) Image processing apparatus, imaging apparatus and distance correction method
Vu et al. ViS 3: An algorithm for video quality assessment via analysis of spatial and spatiotemporal slices
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
JP6292122B2 (ja) オブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法
RU2721175C2 (ru) Способ и устройство для определения карты глубины для изображения
RU2603529C2 (ru) Уменьшение шума в последовательностях изображений
KR20050012751A (ko) 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
KR101279705B1 (ko) 영상 프레임 내의 블러 측정 방법과 이를 이용하여 영상 프레임의 화질 측정 장치 및 방법
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
US20130177260A1 (en) Image processing apparatus, imaging apparatus, and image processing method
KR101855980B1 (ko) 홀 채우기 방법 및 장치
JP5530399B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2010134700A (ja) 画像評価装置および画像評価方法
Yan et al. No-reference image blur assessment based on gradient profile sharpness
JP6642570B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
Bong et al. An efficient and training-free blind image blur assessment in the spatial domain
JP6583923B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
JP6402088B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
JP2014130427A (ja) 画質推定装置、画質推定方法および画質推定プログラム
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
Tsai et al. Foveation-based image quality assessment
US9686449B1 (en) Methods and systems for detection of blur artifact in digital video due to high quantization
KR101150871B1 (ko) 수평 변이 및 수평 변이에 기초한 스테레오 영상의 피로도 계산 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160620

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170620

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180618

Year of fee payment: 6