KR101570602B1 - 이미지 선명도 측정 장치 및 방법 - Google Patents

이미지 선명도 측정 장치 및 방법 Download PDF

Info

Publication number
KR101570602B1
KR101570602B1 KR1020140014914A KR20140014914A KR101570602B1 KR 101570602 B1 KR101570602 B1 KR 101570602B1 KR 1020140014914 A KR1020140014914 A KR 1020140014914A KR 20140014914 A KR20140014914 A KR 20140014914A KR 101570602 B1 KR101570602 B1 KR 101570602B1
Authority
KR
South Korea
Prior art keywords
directional
feature information
sharpness
image
derived
Prior art date
Application number
KR1020140014914A
Other languages
English (en)
Other versions
KR20150094079A (ko
Inventor
이상훈
오태근
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140014914A priority Critical patent/KR101570602B1/ko
Publication of KR20150094079A publication Critical patent/KR20150094079A/ko
Application granted granted Critical
Publication of KR101570602B1 publication Critical patent/KR101570602B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

이미지의 선명도를 정확하고 용이하게 측정하기 위해서 DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 제1 특징 정보 추출부, DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 제2 특징 정보 추출부 및 제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 이미지 선명도 평가부를 포함하는 이미지 선명도 측정 장치를 제공한다.

Description

이미지 선명도 측정 장치 및 방법{Apparatus and Method for Estimating Sharpness in Images}
본 발명은 이미지 선명도 측정 장치 및 방법에 관한 것이다.
종래에는 이미지의 선명도를 측정하기 위해 다양한 기법들이 제안되었다.
최근에 연구되는 이미지의 선명도 측정 기법은 분석 방법에 따라 크게 2가지로 분류할 수 있다.
공간 상에서 경계(edge)의 퍼짐 정도를 측정하여 선명도를 추정하는 이미지 경계 기반 기법(edge-based methods)과 주파수 분포를 측정하여 선명도를 추정하는 주파수 기반 기법 (spectral-based methods)이 있다.
이미지 경계 기반 기법은 공간 상에 존재하는 일부 경계의 퍼짐 정도를 모델링 하여 경계의 모델 파라미터를 추정하여 선명도를 측정했다.
구체적으로, 초기에는 선명도를 측정하기 위해 가우시안 함수 (gaussian function)로 모델링된 경계의 2차 도함수 (second derivative)를 이용하여 경계의 퍼짐 강도를 도출 했다.
반면, 최근의 연구들은 모델링 없이 경계의 폭에 기반하여 영상의 선명도를 도출했다.
그 외에도, 경계의 폭에 기반하여 선명도를 측정하는 방법이 있으며 이 방법은 경계가 흐려지면 폭이 넓어지는 현상에 기반하여 경계 폭의 평균을 통해 영상의 선명도를 도출하였다.
또한, 지각할 수 있는 흐려짐에 기반하여 영상의 선명도를 측정하는 JNBM 방식이 있으며 이산 코사인 변환 (discrete cosine transform; DCT) 또는 이산 푸리에 변환(discrete fourier transform; DFT)와 같은 주파수 도메인 (spectral domain)을 이용하여 선명도를 측정하는 방식이 있다.
그 밖에도, 영상의 모든 8x8 블록에서 논제로 이산 코사인 변환 계수의 히스토그램에 기반하여 흐려짐을 측정하는 방식과 이산 푸리에 변환 계수의 통계를 이용하여 전체 이미지의 흐려짐을 측정하는 방식 및 이산 코사인 변환 계수의 통계를 이용하여 블록의 흐려짐을 추정하는 방식이 있다.
JNBM과 같은 경계 기반 기법은 경계 픽셀을 기준으로 로컬 맥시멈(local maximum)과 미니멈(minimum) 사이의 경계 넓이를 이용하여 영상의 선명도를 측정하는 방식은 가우시안 블러가 가해질 때 경계 폭이 증가하면서 선명도의 감소를 측정하는 방식이다.
상기와 같은 경계 기반 기법들은 특정 방향 (주로 수평)에서의 경계 넓이를 측정하기 때문에 움직임의 방향에 따라 블러를 인지하지 못할 수 있는 문제점이 있으며 움직임이 수직 방향인 경우, 수평 방향에서는 경계에 블러가 발생하지 않기 때문에 경계 폭이 작은 선명한 영상으로 판정되는 문제점이 있다.
반대로, 움직임이 수평 방향인 경우 수평 방향에서 경계에 강한 블러가 가해지므로 경계가 인지되지 않거나 경계 폭이 매우 큰 값으로 나타난다.
따라서, 기존의 경계 기반 기법으로는 움직임 블러에 의한 선명도를 정확하게 측정하기 어려운 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 이미지의 주파수의 방향성 및 주파수 대역에 따른 주파수 분포 특징 추출 및 이를 이용한 이미지 선명도 측정 기법 및 장치를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시예에 따르면, DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 제1 특징 정보 추출부, DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 제2 특징 정보 추출부; 및 제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 이미지 선명도 평가부를 포함하는 이미지 선명도 측정 장치를 제공한다.
또한, 상기 각도별 방향성 선명도는 s(φn)는 하기의 식에 의해 획득될 수 있다.
Figure 112014012796116-pat00001
에 의해 구해지며, DE(φn)는 DFT 계수의 방향성 에너지, DV(φn)는 방향성 분산을 나타내는 값이다.
또한, 상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 평균 F1을 포함하되, 상기 F1 은 하기의 식에 의해 도출된다.
Figure 112014012796116-pat00002
φn은 이미지 스펙트럼의 방향성 특출하기 위한 n 번째의 방향, s(φn)는 방향성 선명도, N dr 은 방향의 개수이며 는 평균 방향성 선명도이다.
또한, 상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 분산 계수 F2을 포함하는 것을 특징으로 하되, 상기 F2 는 하기의 식에 의해서 도출된다.
Figure 112014012796116-pat00003
Figure 112014012796116-pat00004
이고 ,
Figure 112014012796116-pat00005
은 s(φn)의 분산이고,
Figure 112014012796116-pat00006
은 s(φn)의 평균값이다.
또한, 상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 최소값 F3을 포함한다.
또한, 상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4을 포함하되, F4는 하기의 식에 의해 도출된다.
Figure 112014012796116-pat00007
여기서, 는 n 번째 타원체의 면적이고, N el 스펙트럼의 윤곽선의 개수를 나타내며, c와 d는 각 각 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선의 장축과 단축이다.
또한, 상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5 인 것을 특징으로 하되, F5 는 하기의 식에 의해 도출된다.
N el 스펙트럼의 윤곽선의 개수, en은 타원
Figure 112014012796116-pat00008
체의 이심률 이고,
Figure 112014012796116-pat00009
는 타원체의 평균이심률이다.
또한, 상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선의 방향성 분산 F6 인 것을 특징으로 하되, F6 은 하기의 식에 의해 도출된다.
여기서, N el 스펙트럼의 윤곽선의 개수이고,
Figure 112014012796116-pat00010
는 타원체의 평균 방향을 나타낸다.
상기한 목적을 달성하기 위하여 본 발명의 다른 일 실시예에 따르면, DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 제1 특징 정보 추출단계, DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 제2 특징 정보 추출단계 및 제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 이미지 선명도 평가단계를 포함하는 이미지 선명도 측정 방법을 제공한다.
본 발명은 움직임 블러의 특성에 기반하므로 기존 선명도 측정 기법들보다 카메라 흔들림 이미지의 선명도를 정확하고 용이하게 측정할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이미지의 선명도 측정 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 스펙트럼의 방향성 특징을 추출하기 위한 각 방향의 일례들을 도시한 도면이다.
도 3은 본 발명의 다른 일 실시예에 따른 주파수 대역 별 타원체의 일례들을 도시한 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 타원체 파라메터의 일례들을 도시한 도면이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 이미지 선명도 측정 방법의 순서를 나타낸 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 선명도를 측정하려는 이미지에 대해 DFT 변환을 수행한 후 스펙트럼에 따른 에너지 분포를 이용하여 이미지 선명도를 측정한다. DFT 변환된 이미지 스펙트럼에서 방향성 및 형태 특징을 추출하고, 이를 추출된 특징 및 선명도 예측 모델을 이용하여 이미지 선명도를 측정하는 것으로, 방향성 특징 (directional feature)은 이미지가 카메라 흔들림에 의해 영향을 받을 때 스펙트럼의 방향에 따른 구조 (orientation structure)의 변화를 탐지하기 위해 정의된다.
도 1은 본 발명의 일 실시예에 따른 이미지의 선명도 측정 장치이다.
또한, 도 2는 본 발명의 일 실시예에 따른 이미지 스펙트럼의 방향성 특징을 추출하기 위한 각 방향의 일례들을 도시한 도면이다. 도 1 및 도 2를 참조하여, 본 발명을 상세히 설명한다.
도 1을 참조하면, 본 발명인 이미지 선명도 측정 장치(100)는 제1 특징 정보 추출부(10), 제2 특징 정보 추출부(20), 선명도 평가부(30)를 포함할 수 있다.
제1 특징 정보 추출부(10)는 DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 수단이다.
제1 특징 정보 추출부(10)는 카메라 흔들림에 의한 인지적인 흐름인블러(blur)을 정량화하기 위해, 하기의 수학식 4의 방향성 선명도에 기반하여 3개의 방향성 특징인 각도별 방향성 선명도들의 평균 F1, 각도별 방향성 선명도들의 분산 계수 F2, 방향성 선명도들의 최소값 F3를 도출할 수 있다.
그 중 각도별 방향성 선명도들의 평균 F1은 각기 다른 각도에서 측정된 방향성 선명도들의 평균에 해당하는 값으로 하기의 수학식 1에 의해 도출될 수 있다.
Figure 112014012796116-pat00011
φn은 도 2에 도시된 바와 같이 이미지 스펙트럼의 방향성 특출하기 위한 n 번째의 방향을 의미한다.
또한, s(φn)는 방향성 선명도, N dr 은 방향의 개수이며
Figure 112014012796116-pat00012
는 평균 방향성 선명도이다.
반면, 평균 방향성 선명도를 구하기 위해 각각의 방향성 선명도 s(φn)를 도출해야 한다.
방향성 선명도 s(φn)는 방향성 에너지의 평균 DE(φn) 와 분산 DV(φn)의 곱으로 하기의 수학식 2와 같이 표현한다.
Figure 112014012796116-pat00013
또한, 여기서 방향성 에너지의 평균 DE(φn)는 하기의 수학식 3과 같이 표현할 수 있다.
Figure 112014012796116-pat00014
여기서,
Figure 112014012796116-pat00015
는 방향 φn에서 이미지의 DFT 계수, B(u,v) 는 이미지의 (u, v) 번째 DFT 계수를 나타내고, N은 DFT 블록의 크기,
Figure 112014012796116-pat00016
은 n번째 방향을 나타낸다.
더 나아가, 방향성 에너지 분산 DV(φn) 은 하기의 수학식 4에 의해 도출될 수 있다.
Figure 112014012796116-pat00017
여기서,
Figure 112014012796116-pat00018
은 정규화된 주파수를 나타
내고, sgn(ㆍ)은 sign 함수이다.
또한, 각 방향 φn 에서 정규화된 파워 스펙트럼의 확률질량함수(probability mass function)이고,
Figure 112014012796116-pat00019
Figure 112014012796116-pat00020
은 각 방향 φn에서 파워 스펙트럼의 1차 중심 적률(central moment)이다.
결과적으로, 각도별 방향성 선명도들의 평균 F1은 수학식 1에 의해 도출될 수 있으며, 수학식 1을 도출하기 위해 방향성 선명도, 방향성 에너지의 평균 및 방향성 에너지 분산은 수학식 2, 수학식 3 및 수학식 4에 의해 각각 도출할 수 있다.
또한, 방향성 특징정보를 추출하기 위해 각도별 방향성 선명도들의 분산 계수 F2를 구할 수 있으며, F2는 하기의 수학식 5에 의해 도출될 수 있다.
Figure 112014012796116-pat00021
Figure 112014012796116-pat00022
은 s(φn)의 분산이고,
Figure 112014012796116-pat00023
은 s(φn)의 평균값이다.
더 나아가, 방향성 특징 정보는 방향성 선명도들의 최소값 F3이며, 하기의 수학식 6과 같이 표현된다.
Figure 112014012796116-pat00024
N dr 은 방향의 개수이며, n은 이미지 스펙트럼의 방향성 특출하기 위한 방향의 순서를 나타낸다.
따라서 제1 특징 정보 추출부(10)는 상기의 수학식 들에 의해 도출된 각도별 방향성 선명도들의 평균 F1, 각도별 방향성 선명도들의 분산 계수 F2, 방향성 선명도들의 최소값 F3을 통해 카메라의 흔들림에 대한 방향적 변화를 정량화할 수 있다.
제2 특징 정보 추출부(20)는 DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 수단이다.
형태적 특징 정보를 추출하기 위해 하기의 내용을 전제로 한다.
형태적 특징 정보를 DFT 도메인에서 이미지 스펙트럼의 스펙트럼 윤곽선 (spectral contour)을 타원체를 이용하여 모델링할 수 있다.
또한, 도 3은 본 발명의 일 실시예에 따른 주파수 대역 별 타원체
Figure 112014012796116-pat00025
의 일례들을 도시한 도면이고, 도 4은 본 발명의 일 실시예에 따른 타원체 파라메터의 일례들을 도시한 도면이다.
상기의 모델링을 설명하기 위해 도 3 또는 도 4에 도시된 기호 및 파라메터를 참조하여 설명하며, 하기에 수학식에 표현된 는 스펙트럼 윤곽선의 개수이며,n은 스펙트럼 윤곽선의 인덱스이다.
또한, Γn은 n번째 스펙트럼 윤곽선의 밖과 n+1번째 스펙트럼 윤곽선의 안에 포함되는 DFT 스펙트럼의 에너지의 백분율이고, 은 n번째 스펙트럼 윤곽선의 밖과 n+1번째 스펙트럼 윤곽선의 안에 놓이는 DFT 계수의 집합이다.
또한,
Figure 112014012796116-pat00026
은 하기의 수학식 7과 같이 나타낼 수 있다.
Figure 112014012796116-pat00027
여기서, NW와 NH는 이미지의 폭과 높이이다.
Figure 112014012796116-pat00028
는 내림차순으로 정렬된 DFT 계수 B를 나타내고,
Figure 112014012796116-pat00029
는 k번째로 큰 DFT 계수를 나타낸다.
더 나아가, 도 4에 도시된 파라미터를 참조하여 타원체의 모델을 수식으로 표현하면 하기의 수학식 8과 같이 도출할 수 있다.
Figure 112014012796116-pat00030
여기서, c 와 d 는 타원체의 장축과 단축이며 (c≥d), ψ는 타원체의 방향 (orientation)을 나타낸다.
이하, 상기에 제시된 개념 및 도면의 내용을 참조하여 제2 특징 정보 추출부(20)에 관한 설명을 한다.
제2 특징 정보 추출부(20)은 각도별 방향성 선명도들의 평균 F1, 각도별 방향성 선명도들의 분산 계수 F2, 방향성 선명도들의 최소값 F3의 형태적 특징 정보를 추출할 수 있다.
주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4은 수학식 9을 이용하여 도출할 수 있다.
Figure 112014012796116-pat00031
여기서,
Figure 112014012796116-pat00032
는 n 번째 타원체의 면적이고, N el 스펙트럼의 윤곽선의 개수를 나타내며, c와 d는 각 각 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선의 장축과 단축이다.
또한, 형태적 특징 정보 중 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5은 수학식 10을 이용하여 도출할 수 있다.
Figure 112014012796116-pat00033
여기서, N el 스펙트럼의 윤곽선의 개수, en은 타원체의 이심률 이고, μe는 타원체의 평균이심률이다.
여기서 타원체의 이심률 en은 하기의 수학식 11에 제시되었으며,
Figure 112014012796116-pat00034
타원체의 평균이심률 μe는 하기의 수학식 12에 제시되었다.
Figure 112014012796116-pat00035
더 나아가, 주파수 대역별 스펙트럼 윤곽선의 방향성 분산 F6은 수학식 13를 이용하여 도출할 수 있다.
Figure 112014012796116-pat00036
여기서, N el 스펙트럼의 윤곽선의 개수이고, μψ 는 타원체의 평균 방향을 나타낸다. μψ 는 하기의 수학식 14을 이용하여 도출할 수 있다.
[수학식 14]
Figure 112014012796116-pat00037
정리하면, 제2 특징 정보 추출부(20)는 형태적 특징 정보를 추출하기 위해 주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4, 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5, 주파수 대역별 스펙트럼 윤곽선의 이심률 분산 F6의 값을 상기의 식을 통해 도출할 수 있으며 이미지의 형태적 변형에 대해 다양한 방식으로 정량화된 값을 얻을 수 있다.
본 발명에 의해 형태적 변형 값이 정량화 된 값으로 얻어짐에 따라 이미지의 손상 변형의 정도를 용이하게 확인할 수 있다.
이미지 선명도 평가부(30)는 제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 수단이다.
이미지 선명도 평가부(30)는 방향성 특징 정보 및 형태적 특징 정보를 이용하여 이미지의 선명도를 평가할 수 있다.
구체적으로, 선명도를 평가하는 방식은 변형된 이미지로부터 도출된 방향성 특징 정보 및 형태적 특징 정보를 이용하여 이미지 선명도 평가의 기준을 생성하는 방식에 의할 수 있다.
더 나아가, 다수의 이미지로부터 방향성 특징 정보 및 형태적 특징 정보의 정량화된 결과를 점수로 도출함으로써 이미지의 선명도 평가의 기준을 생성할 수 있다.
상기에서 도출된 선명도 평가의 기준을 토대로 선명도를 평가하고자 하는 이미지를 이미지 선명도 측정 장치(100)에 입력시키면 최종적으로 선명도 평가부(30)에서 평가하여 입력된 이미지의 선명도를 결과를 도출할 수 있다.
결과적으로 상기에 의해 도출된 이미 설정된 이미지 선명도 평가 기준에 의해 정량화된 값으로 이미지의 선명도를 평가함으로써 다수의 이미지의 선명도 평가에 있어서 객관성 및 정확성을 높을 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따른 이미지 선명도 측정 방법의 순서를 나타낸 순서도이다.
도 5를 참조하면, 본 발명에 따른 이미지 선명도 측정 방법의 순서를 확인할 수 있다.
우선, 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 제1 특징 정보 추출 단계(S10)를 포함할 수 있다.
제1 특징 정보 추출 단계(S10)는 DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출할 수 있다.
여기서, 제1 특징 정보 추출은 방향성 특징 정보로서 각도별 방향성 선명도들의 평균 F1, 각도별 방향성 선명도들의 분산 계수 F2, 방향성 선명도들의 최소값 F3의 정보들이 포함될 수 있다.
또한, 각도별 방향성 선명도는 각도별 방향성 에너지의 평균 및 방향성 에너지의 분산으로부터 획득될 수 있으며, 상기의 방향성 에너지란 카메라의 흔들림에 의한 이미지의 흐림 현상에 의해 이미지의 방향에 따른 변화 강도를 나타낸다.
다음 단계로, DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 제2 특징 정보 추출 단계(S20)를 포함할 수 있다.
형태적 특징 정보는 주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4, 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5, 주파수 대역별 스펙트럼 윤곽선들의 방향성 분산인 F6 정보가 포함될 수 있다.
마지막으로, 제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 이미지 선명도 평가하는 단계(S30)를 포함할 수 있다.
이미지 선명도 평가하는 단계(S30)는 제1 특징 정보 추출 단계(S10) 및 제2 특징 정보 추출 단계(S20)를 수행하여 도출된 결과인 각도별 방향성 선명도들의 평균 F1, 각도별 방향성 선명도들의 분산 계수 F2, 방향성 선명도들의 최소값 F3, 주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4, 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5, 주파수 대역별 스펙트럼 윤곽선의 방향성 분산 F6 값을 변형된 이미지와 비교하여 평가함으로써, 이미지 선명도 평가 기준을 도출할 수 있다.
한편, 상기 추출된 특징들을 이용하여 이미지의 선명도를 평가 기준을 도출하기 위해 서포트 벡터 리그레션(support vector regression, SVR)을 이용하는 방식이 있다.
서포트 벡터 리그레션은 통계적 학습이론 중의 하나이며 회귀분석에 이용할 수 있는 지도 학습(Supervised learning)의 일종이다.
또한, 서포트 벡터 리그레션을 구현하기 위해 libSVM 패키지를 사용할 수 있다.
서포트 벡터 리그레션을 이용하면 다수의 이미지에서 추출한 특징에 대한 선명도 평가 점수의 기준 또는 수식을 생성할 수 있다.
생성된 기준 또는 수식은 특징의 수치 따른 선명도 평가 점수의 경향을 나타낼 수 있으며, 상기의 선명도 평가 점수의 경향을 토대로 선명도 점수를 평가하기 위한 새로운 이미지가 입력되었을 때 해당 이미지의 특징을 추출하고 앞서 생성한 선명도 평가 기준 또는 수식에 입력하여 특징 수치에 따른 선명도 평가 점수를 도출할 수 있다.
더 나아가, 선명도 평가 기준을 도출하기 위해 이미지와 비교하여 평가단계에서 통계적 분석을 수행하는 등 다양한 방식으로 접근 가능하며, 서로 다른 방식의 이미지의 경우 선명도 평가 기준을 상이하게 설정하는 것도 가능하다.
이와 같이 도출된 이미지 선명도 평가 기준 결과를 통해 이미지 선명도 측정 장치에 입력된 이미지들을 선명도를 용이하게 도출해 낼 수 있다.
본 발명은 방향적 특징 정보 및 형태적 특징 정보를 동시에 적용하여 이미지의 선명도를 평가하므로 움직임이 수직 방향으로 발생시 수평 방향의 이미지의 흐려짐이 인지되지 않거나, 움직임이 수평 방향으로 발생시 수직 방향으로 이미지의 흐려짐이 인지되지 않는 현상을 방지할 수 있다.
결과적으로, 이미지의 흐려짐을 다각도로 평가함으로써 보다 정밀한 이미지의 선명도 평가방식을 제공할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 제1 특징 정보 추출부
20: 제2 특징 정보 추출부
30: 선명도 평가부
100: 이미지 선명도 측정 장치

Claims (9)

  1. DFT 변환된 이미지에서 DFT 계수의 각도별 방향성 에너지 및 상기 방향성 에너지의 분산으로부터 획득되는 각도별 방향성 선명도를 이용하여 방향성 특징 정보들을 추출하는 제1 특징 정보 추출부;
    DFT 변환된 이미지에서 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선들의 형태 정보를 이용하여 형태적 특징 정보를 추출하는 제2 특징 정보 추출부; 및
    제1 특징 정보와 제2 특징 정보를 이용하여 이미지의 선명도를 평가 하는 이미지 선명도 평가부를 포함하되,
    상기 각도별 방향성 선명도는 s(φn)는 하기의 식에 의해 획득되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112015054256361-pat00055

    DE(φn)는 DFT 계수의 방향성 에너지, DV(φn)은 방향성 분산을 나타내는 값이다.
  2. 삭제
  3. 제1항에 있어서,
    상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 평균 F1을 포함하되, 상기 F1 은 하기의 식에 의해 도출되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112014012796116-pat00039

    φn은 이미지 스펙트럼의 방향성 특출하기 위한 n 번째의 방향, s(φn)는 방향성 선명도, N dr 은 방향의 개수이며
    Figure 112014012796116-pat00040
    는 평균 방향성 선명도이다.
  4. 제1항에 있어서,
    상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 분산 계수 F2을 포함하는 것을 특징으로 하되,
    상기 F2 는 하기의 식에 의해서 도출되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112014012796116-pat00041
    이고
    Figure 112014012796116-pat00042
    은 s(φn)의 분산이고,
    Figure 112014012796116-pat00043
    은 s(φn)의 평균값이다.
  5. 제1항에 있어서,
    상기 방향성 특징 정보는 상기 각도별 방향성 선명도들의 최소값 F3을 포함하는 것을 특징으로 하는 이미지 선명도 측정 장치.
  6. 제1항에 있어서,
    상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선들의 면적 증가율 F4을 포함하되,
    F4는 하기의 식에 의해 도출되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112014012796116-pat00044

    여기서,
    Figure 112014012796116-pat00045
    는 n 번째 타원체의 면적이고, N el 스펙트럼의 윤곽선의 개수를 나타내며, c와 d는 각 각 타원 형태를 가지는 주파수 대역별 스펙트럼 윤곽선의 장축과 단축이다.
  7. 제1항에 있어서,
    상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선들의 이심률 분산인 F5 인 것을 특징으로 하되, F5 는 하기의 식에 의해 도출되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112015054256361-pat00046

    N el 스펙트럼의 윤곽선의 개수, en은 타원체의 이심률이고, μe는 타원체의 평균이심률이다.
  8. 제1항에 있어서,
    상기 형태적 특징 정보는 상기 주파수 대역별 스펙트럼 윤곽선의 방향성 분산 F6 인 것을 특징으로 하되, F6 은 하기의 식에 의해 도출되는 것을 특징으로 하는 이미지 선명도 측정 장치.
    Figure 112015054256361-pat00048

    여기서, N el 스펙트럼의 윤곽선의 개수이고, ψ는 타원체의 방향을 나타내며,
    Figure 112015054256361-pat00049

    는 타원체의 평균 방향을 나타낸다.
  9. 삭제
KR1020140014914A 2014-02-10 2014-02-10 이미지 선명도 측정 장치 및 방법 KR101570602B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140014914A KR101570602B1 (ko) 2014-02-10 2014-02-10 이미지 선명도 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014914A KR101570602B1 (ko) 2014-02-10 2014-02-10 이미지 선명도 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150094079A KR20150094079A (ko) 2015-08-19
KR101570602B1 true KR101570602B1 (ko) 2015-11-19

Family

ID=54057644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014914A KR101570602B1 (ko) 2014-02-10 2014-02-10 이미지 선명도 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101570602B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022238724A1 (en) 2021-05-10 2022-11-17 Aimotive Kft. Method, data processing system, computer program product and computer readable medium for determining image sharpness

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102107116B1 (ko) * 2018-07-11 2020-05-06 한국생산기술연구원 금속 3d 프린터의 용융 풀 이미지의 수치화 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346287A (ja) 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
US20140003734A1 (en) 2012-03-26 2014-01-02 Viewdle Inc. Image blur detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346287A (ja) 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
US20140003734A1 (en) 2012-03-26 2014-01-02 Viewdle Inc. Image blur detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:ISPRS
논문2:ISPRS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022238724A1 (en) 2021-05-10 2022-11-17 Aimotive Kft. Method, data processing system, computer program product and computer readable medium for determining image sharpness

Also Published As

Publication number Publication date
KR20150094079A (ko) 2015-08-19

Similar Documents

Publication Publication Date Title
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
Feichtenhofer et al. A perceptual image sharpness metric based on local edge gradient analysis
Saad et al. A DCT statistics-based blind image quality index
US9412024B2 (en) Visual descriptors based video quality assessment using outlier model
Saad et al. Blind quality assessment of videos using a model of natural scene statistics and motion coherency
RU2012152935A (ru) Устройство распознавания жестов, способ распознавания жестов и программа
TW201305920A (zh) 具物體位置偵測功能之裝置及其偵測方法
CN104182983B (zh) 基于角点特征的高速公路监控视频清晰度的检测方法
Cheng et al. A pre-saliency map based blind image quality assessment via convolutional neural networks
CN103841410A (zh) 基于图像特征信息的半参考视频QoE客观评估方法
EP2624170A3 (de) Verfahren zur Erkennung eines vorgegebenen Musters in einem Bilddatensatz
KR101570602B1 (ko) 이미지 선명도 측정 장치 및 방법
JP2008015848A (ja) 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
Zhang et al. An improved watershed algorithm for color image segmentation
JP2015148895A (ja) 物体数分布推定方法
Chen et al. A universal reference-free blurriness measure
JP2016187391A5 (ko)
Hong et al. A no-reference image blurriness metric in the spatial domain
Javaran et al. A noise-immune no-reference metric for estimating blurriness value of an image
CN108205652B (zh) 一种吃饭动作的识别方法和装置
JP5896661B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6786098B2 (ja) 歩容解析装置
Fang et al. Image quality assessment of multi-exposure image fusion for both static and dynamic scenes
JP2014186497A (ja) 画像解析装置、画像解析方法および画像解析プログラム
JPWO2021009904A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee