KR101730886B1 - 적외선 영상 처리 방법 - Google Patents

적외선 영상 처리 방법 Download PDF

Info

Publication number
KR101730886B1
KR101730886B1 KR1020160015462A KR20160015462A KR101730886B1 KR 101730886 B1 KR101730886 B1 KR 101730886B1 KR 1020160015462 A KR1020160015462 A KR 1020160015462A KR 20160015462 A KR20160015462 A KR 20160015462A KR 101730886 B1 KR101730886 B1 KR 101730886B1
Authority
KR
South Korea
Prior art keywords
image
resolution
frequency
image information
low
Prior art date
Application number
KR1020160015462A
Other languages
English (en)
Inventor
송병철
박소연
박진우
김용준
Original Assignee
주식회사 아이닉스
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이닉스, 인하대학교 산학협력단 filed Critical 주식회사 아이닉스
Priority to KR1020160015462A priority Critical patent/KR101730886B1/ko
Application granted granted Critical
Publication of KR101730886B1 publication Critical patent/KR101730886B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 방법은, (a) 입력 영상의 패턴을 검사하여 복잡도를 측정하고, 측정된 복잡도에 따라 스케일 다운할 해상도를 결정하는 단계; (b) 상기 (a) 단계에서 결정된 해상도의 고주파 영상 정보를 추출하는 단계; 및 (c) 상기 입력 영상의 저주파 영상 정보와 결정된 해상도의 고주파 영상 정보를 합성하여, 상기 입력 영상의 선명도가 개선된 영상을 출력하는 단계;를 포함한다.
영상 처리 방법에 따르면, SR 같은 기법을 적용시키기 전에 영상의 지역적 특성에 맞게 적응적으로 전처리를 적용시켜 선명도가 개선된 적외선 영상을 얻어 고가의 적외선 센서로 획득한 영상과 유사한 선명도를 가지는 영상을 제공할 수 있다.

Description

적외선 영상 처리 방법{PROCESSING METHOD FOR INFRARED IMAGE}
본 발명은 적외선 영상 처리 방법에 관한 것으로, 더욱 상세하게는 저가의 적외선 센서를 이용하여 촬영된 영상을 전처리 기법을 사용하여 고가의 적외선 센서를 이용하여 촬영된 영상과 유사한 선명도를 가질 수 있도록 개선할 수 있는 적외선 영상의 처리 방법에 관한 것이다.
최근 대부분의 콘텐츠가 HD급 이상의 해상도를 지원하고, 디스플레이 장치의 해상도도 기본적으로 HD 이상의 해상도를 지원하고 있다. 따라서 고화질·고해상도 영상에 대한 소비자의 수요는 증가하고 있다.
아울러, 적외선(Infra Red, IR) 영상의 경우, 과거에는 주로 군사용으로 많이 사용되었지만 최근 보안에 대한 중요도가 증가하며 민간에서도 수요가 증가하고 있으며 고화질 및 고해상도의 영상의 수요는 지속적으로 증가하고 있다.
그러나 적외선 센서는 경우 VGA급 해상도를 갖는 센서와 HD급 해상도 센서의 가격차이가 크기 때문에 생산 단가가 증가한다. 이를 해결하기 위한 방법으로는 VGA급 적외선 센서로 획득한 영상을 업스케일링(Upscaling) 과정을 통하여 HD급의 해상도로 확대하는 과정이 있는데 일반적인 선형적인 기법을 이용하여 확대 시 영상이 열화되고 HD급 센서로 획득한 영상보다 화질이 떨어지게 된다.
이를 보완하기 위하여 초고해상도(Super-resolution; 이하 SR) 기법을 이용하여 영상 확대 시 화질의 열화를 최소화하여 HD급 영상의 화질과 해상도를 갖도록 할 수 있다. 하지만, 적외선 영상은 일반 영상에 비해 블러(Blur) 정도가 심하기 때문에 일반 자연 영상에서 사용하는 SR 기법을 적외선 영상에 동일하게 적용시킬 경우 기대하는 성능을 내는 것에는 어려움이 있다.
영상의 선명도 개선을 위해 사용되는 대표적인 기법으로 Adaptive unsharp masking 기법(참고문헌 : A. Polesel, G. Ramponi, V. J. Mathews, “Image enhancement via adaptive unsharp masking,” IEEE Trans. Image Process., 2000.)을 사용할 수 있다. Adaptive unsharp masking 기법에서는, 영상의 과도한 개선을 막기 위해 지역적 특성에 따라 대역 별로 이득(gain) 값을 다르게 주어 적응적으로 알고리즘이 적용된다. 그러나 여전히 과도한 개선으로 인해 부자연스러운 부분이 발생하게 된다. Adaptive unsharp masking 기법을 전처리로 사용할 경우, 이후에 수행되는 업스케일링(Upscaling) 시 결함(Artifact)들이 더욱 부각되어 영상이 부자연스럽게 보이는 부분이 많이 발생할 수 있다.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, SR 같은 기법을 적용시키기 전에 영상의 지역적 특성에 맞게 적응적으로 전처리를 적용시켜 선명도가 개선된 적외선 영상을 얻어 고가의 적외선 센서로 획득한 영상과 유사한 선명도를 가지는 영상을 제공하는 것에 그 목적이 있다.
본 발명의 바람직한 일실시예에 따른 영상 처리 방법은, (a) 입력 영상의 패턴을 검사하여 복잡도를 측정하고, 측정된 복잡도에 따라 스케일 다운할 해상도를 결정하는 단계; (b) 상기 (a) 단계에서 결정된 해상도의 고주파 영상 정보를 추출하는 단계; 및 (c) 상기 입력 영상의 저주파 영상 정보와 결정된 해상도의 고주파 영상 정보를 합성하여, 상기 입력 영상의 선명도가 개선된 영상을 출력하는 단계;를 포함한다.
구체적으로 상기 (a) 단계는, 전체 영상 중 미리 정해진 패치 단위의 입력 영상의 에지(edge)의 세기를 측정하고, 측정된 에지의 세기를 이용하여 복잡도를 측정하는 것을 특징으로 한다. 아울러, 본 발명의 영상 처리 방법은, 상기 (a) 단계에서 측정된 복잡도가 일정값 미만이면, 상기 입력 영상을 그대로 출력하는 것이 바람직하다.
또한, 상기 (a) 단계에서 측정된 복잡도에 따라 결정된 해상도가 가장 작은 스케일의 해상도인 D0 라면, 상기 (b) 단계에서 D0 해상도 영상의 고주파 영상 정보의 추출은, 상기 입력 영상을 D0 해상도 영상으로 다운스케일링(Down Scaling)하고, 다운스케일링된 영상의 저주파 영상 정보를 추출하고, 상기 다운스케일링된 영상으로부터 다운스케일링된 영상의 저주파 영상 정보를 차분하는 것에 의해 구현되는 것을 특징으로 한다.
아울러, 상기 (a) 단계에서 측정된 복잡도에 따라 결정된 해상도가 가장 작은 스케일의 해상도 D0가 아닌 DN 이라면, 상기 (b) 단계에서 DN 해상도 영상의 고주파 영상 정보의 추출은, (b-2-1) DN 해상도 영상의 저주파 영상 정보와 DN -1 해상도 영상의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력하는 단계; 및 (b-2-2) 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하고, 추출된 영상 정보를 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상으로부터 차분하여, DN 해상도 영상의 고주파 영상 정보를 추출하는 단계;를 포함하는 것이 바람직하다. 여기서 상기 DN -1 해상도는, 미리 정해진 가장 작은 스케일의 해상도인 D0 로부터 가장 큰 스케일의 DN 까지의 해상도 스케일에서, DN 해상도보다 해상도가 한 단계 작은 해상도 스케일인 것을 특징으로 한다.
또한, 상기 (b-2-1) 단계의 DN 해상도 영상의 저주파 영상 정보는, 제 2 가우시안 필터를 이용하여 출력되는 것이 바람직하다. 아울러, 상기 (b-2-2) 단계에서, 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하는 것은, 제 1 가우시안 필터를 이용하는 것을 특징으로 한다. 여기서 상기 제 1 가우시안 필터와 상기 제 2 가우시안 필터의 시그마값은, 서로 상이한 것을 특징으로 한다. 바람직하게는 상기 제 1 가우시안 필터의 시그마값이 상기 제 2 가우시안 필터의 시그마값보다 작은 것을 특징으로 한다.
아울러, 상기 (b-2-1) 단계는, DN 해상도 영상의 저주파 영상 정보와 DN -1 해상도 영상의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 DN - 1 해상도 영상의 저주파 영상 정보에 해당하는 패치의 DN -1 해상도의 고주파 영상 정보를 선택하고, DN 해상도 영상의 저주파 영상 정보와 선택된 DN -1 해상도의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, 상기 입력 영상의 저주파 영상 정보와 상기 (b) 단계에서 결정된 해상도의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 결정된 해상도의 저주파 영상 정보에 해당하는 패치의 결정된 해상도의 고주파 영상 정보를 선택하고, 상기 입력 영상의 저주파 영상 정보와 선택된 결정된 해상도의 고주파 영상 정보를 합성하여, 상기 입력 영상의 선명도가 개선된 영상을 출력하는 것을 특징으로 한다.
본 발명에 따르면, SR 같은 기법을 적용시키기 전에 영상의 지역적 특성에 맞게 적응적으로 전처리를 적용시켜 선명도가 개선된 적외선 영상을 얻어 고가의 적외선 센서로 획득한 영상과 유사한 선명도를 가지는 영상을 제공할 수 있다.
도 1은 본 발명의 바람직한 일실시예에 따른 적외선 영상 처리 방법의 흐름도.
도 2는 S100 단계의 복잡도 측정 방법의 흐름도.
도 3은 S210 단계의 고주파 추출 과정의 흐름도.
도 4는 S221 단계의 선명도가 향상된 영상 정보를 얻기 위한 정합 과정의 흐름도.
도 5는 S222 단계의 고주파 추출 흐름도.
도 6은 S300 단계의 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 적외선 영상 처리 방법에 대해 상세히 설명하기로 한다.
본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
본 발명의 적외선 영상 처리 방법은, 적외선 영상 처리 시스템을 이용하며, 적외선 영상 처리 시스템은 컴퓨터 등의 CPU와 같은 프로세서에 내장되어 구현될 수 있을 것이다. 즉, 본 발명의 적외선 영상 처리 방법은, 컴퓨터 등의 CPU와 같은 프로세서에 의해 실시될 수 있을 것이다.
먼저, 도 1은 본 발명의 바람직한 일실시예에 따른 적외선 영상 처리 방법의 흐름도를 나타낸다
도 1로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 적외선 영상 처리 방법은, 입력 영상의 패턴을 검사하여 복잡도를 측정하고, 측정된 복잡도에 따라 스케일 다운할 해상도를 결정하는 단계(S100), S100 단계에서 결정된 해상도의 고주파 영상 정보를 추출하는 단계(S200) 및 입력 영상의 저주파 영상 정보와 결정된 해상도의 고주파 영상 정보를 합성하여, 입력 영상의 선명도가 개선된 영상을 출력하는 단계(S300)을 포함한다.
본 발명의 적외선 영상 처리 방법은 개략적으로 다음과 같이 동작한다.
초기 입력 영상이 들어오면 영상 전체에 대해 복잡도를 계산한 후 사전에 정의된 역치(Threshold)값에 따라 서로 다른 스케일(Scale)로 축소된 영상으로부터 고주파 정보를 추출하여 찾은 고주파 정보를 입력 영상과 합하여 선명도가 개선된 적외선 영상을 얻는다. 여기서 주목해야 되는 것은 복잡도에 따라 서로 다른 스케일로 축소된 영상으로부터 고주파 정보를 찾아온다는 것이다. 이렇게 하는 이유는 복잡도가 큰 영역일수록 영상을 큰 배율로 축소할 경우 입력 영상과의 유사성이 떨어져 정합 과정에서 정합 오류(Matching Error)가 발생하기 때문이다. 따라서 복잡도에 따라 다른 스케일로 축소하여 앞선 문제를 해결하였다. 또한 평탄(flat)한 영역이나 Weak Texture 부분의 경우 복잡도가 낮기 때문에, 이러한 영역 대해서는 전처리 과정을 수행하지 않음으로써 연산량을 절약하고 Weak Texture 부분을 보존하고자 하였다.
하기에 이제 각 단계별 동작에 대해 구체적으로 설명하도록 하겠다.
S100 단계
입력 영상은 전체 영상 중 미리 정해진 작은 블록의 영상 단위인 패치(Patch) 단위의 영상으로, 패치 단위의 입력 영상의 에지(edge)의 세기를 측정하고, 측정된 에지의 세기를 이용하여 복잡도를 측정하게 된다.
도 2는 S100 단계의 복잡도 측정 방법의 흐름도이다.
즉, 도 2로부터 알 수 있는 바와 같이, 입력 영상의 복잡도를 측정하기 위해 에지(Edge)의 세기를 측정한 후 사전에 정의된 역치(threshold)에 따라 N을 결정하도록 한다. 이렇게 결정된 N에 따라 서로 다른 DN 스케일에서 고주파 정보를 추출하게 된다. 에지의 세기는 패치 단위로 영상 전체에 대해 하기 [수학식 1]과 같이 산출된다.
Figure 112016013210413-pat00001
S는 Sobel Operator이며 I는 입력 영상이다. pixel(i,j)는 패치의 중심이며, pixel(k,l)은 패치 내의 각 픽셀값이다. 에지 세기를 측정하는 방식은 다양하게 존재하지만 단순히 Sobel을 사용한 이유는 적외선 영상이 디테일이 적고 에지 주변에서 블러(Blur)되어 있다는 점을 고려하였다. 따라서 복잡한 알고리즘을 통해 에지의 세기를 측정하지 않더라도 충분히 복잡도별로 분류할 수 있었다.
이렇게 측정된 에지의 세기를 가지고 [수학식 2]와 같이 각 구간별 역치값으로 분류한다.
Figure 112016013210413-pat00002
Figure 112016013210413-pat00003
이며, [수학식 2]를 이용하여 각 구간별 서로 다른 DN 스케일로부터 고주파 정보를 추출하도록 정의한다. 즉 N=0일 경우, 입력 영상 대비 1/2 스케일에서, N=1일 경우 2/3 스케일에서, N=2일 경우 3/4 스케일에서 고주파 정보를 추출하고, 마지막으로 N=3일 경우 4/5 스케일에서 고주파 정보를 추출하도록 정의한다.
또한, 에지의 세기가 T0보다 작을 경우에는 평탄(flat)한 영역이라고 판단하고 전처리 과정을 수행하지 않는다. 즉, 측정된 복잡도가 일정값 미만이면, 상기 입력 영상을 그대로 출력하게 된다. 이유는 적외선 영상이 단순하지만 Weak Texture와 같은 부분이 약간 존재하는데 이러한 영역이 영상 전체에 대해 전처리를 수행할 경우 효과가 크지 않고 오히려 부정적인 영향을 주기 때문이다. 따라서 실험적으로 측정한 역치값 미만에서는 전처리 과정을 생략하였다. 복잡도에 따라 서로 다른 스케일에서 고주파 정보를 추출해 오기 때문에 영상의 선명도를 향상시키는 것은 물론이고 정합 과정에서의 매칭 에러로 인한 영상의 부자연스러움을 최소화할 수 있다.
하기 [표 1]은 에지의 세기(e)에 따른 해상도 스케일의 적용 예시를 나타낸다.
에지의 세기(e) 적용 스케일
e<0.25 전처리 적용하지 않음
0.25<e<0.27 1/2 스케일
0.27<e<0.6 2/3 스케일
0.6<e<0.9 3/4 스케일
e>0.9 4/5 스케일
S200 단계
고주파 추출 과정인 S200 단계에서는, 영상의 자기유사성(Freedman et al., “Image and Video Upscaling from Local Self-Examples”, ACM T. Graphics , 2011.)을 이용하여 자기 자신의 축소된 영상으로부터 고주파 정보를 찾게 된다. 하지만, 자기유사성을 이용한 방법은 입력 영상을 축소하여 선명한 영상을 얻을 수 있지만 입력 영상과의 유사성이 축소가 클수록 떨어지게 된다. 그렇다고 영상을 충분히 축소하지 않을 경우, 정합 성능은 향상되지만 영상의 선명도는 떨어지기 때문에 전처리 결과에서 선명도 개선 효과를 확인하기 어렵다.
이와 같은 문제를 해결하기 위하여 본 발명에서는 최대 M개의 스텝, 예를 들면 4개의 스텝(1/2, 2/3, 3/4, 4/5 스케일)에 걸쳐서 전처리 과정을 수행하는 멀티 스케일(Multi-scale)방식을 사용한다. 즉, [수학식 2]를 통해 분류된 정보를 가지고 N을 결정하고, DN 스케일까지 DN -1 스케일 정보를 DN 스케일에 합성하여 선명도가 향상된 영상을 얻고, 여기서 고주파를 추출하여 원본 영상과 정합하여 합성해주게 된다. 즉, (N+1) 스텝을 걸쳐 진행한다. 각 스텝은 다음과 같이 진행된다.
구체적으로 S200 단계는, S100 단계에서 측정된 복잡도에 따라 결정된 해상도가 가장 작은 스케일의 해상도인 D0 라면, D0 해상도 영상의 고주파 영상 정보를 추출하는 단계(S210)를 포함한다. 즉, D0는 입력 영상 대비 1/2 스케일의 해상도가 될 것이다.
하기에 S210 단계에 대해 상세히 설명하기로 한다.
S210 단계
도 3은 S210 단계의 고주파 추출 과정의 흐름도이다.
도 3으로부터 알 수 있는 바와 같이, S210 단계에 해당하는 N=0으로 결정된 1 스텝의 경우, 단순히 도 3과 [수학식 3] 내지 [수학식 5] 같이 고주파 정보를 추출한다.
Figure 112016013210413-pat00004
Figure 112016013210413-pat00005
Figure 112016013210413-pat00006
[수학식 3]의 LRDN은 입력 영상 XIR을 DN 스케일 만큼 다운스케일링(Down Scaling) 시킨 영상, 즉 도 3에서는 1/2 스케일로 다운된 영상이다. 본 발명에서는, LRDN의 고주파 정보를 추출하기 위해 [수학식 4]와 같이 가우시안 로우패스필터(Gaussian LPF)를 통과시켜 저주파 정보 LRDN,LF를 추출하고, 최종적으로 [수학식 5]처럼 LRDN와 LRDN,LF의 차분을 통해 고주파 정보 LRDN,HF을 추출하게 된다.
즉, S210 단계는, 입력 영상을 D0 해상도 영상으로 다운스케일링(Down Scaling)하고, 다운스케일링된 영상의 저주파 영상 정보를 추출하고, 다운스케일링된 영상으로부터 다운스케일링된 영상의 저주파 영상 정보를 차분하는 것에 의해 구현될 수 있다. 이때 다운스케일링된 영상의 저주파 영상 정보를 추출은 제 1 가우시안 필터(LPF1)를 이용하는 것을 특징으로 한다.
아울러, S200 단계는, S100 단계에서 측정된 복잡도에 따라 결정된 해상도가 DN 이라면, DN 해상도 영상의 고주파 영상 정보를 추출하는 단계(S220)를 더 포함할 수 있다. 예를 들면, S220 단계에서 DN 해상도는, 입력 영상의 2/3, 3/4, 4/5 스케일의 영상 중 하나일 수 있다.
하기에 S220 단계에 대해 구체적으로 설명하기로 한다.
S220 단계
S220 단계는, DN 해상도 영상의 저주파 영상 정보와 DN-1 해상도 영상의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력하는 단계(S221) 및 S221 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하고, 추출된 영상 정보를 S221 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상으로부터 차분하여, DN 해상도 영상의 고주파 영상 정보를 추출하는 단계(S222)를 포함한다.
DN -1 해상도는, 미리 정해진 가장 작은 스케일의 해상도인 D0 로부터 가장 큰 스케일의 DN 까지의 해상도 스케일에서, DN 해상도보다 해상도가 한 단계 작은 해상도 스케일을 의미한다. 예를 들어, DN 해상도가 입력 영상의 3/4 스케일의 해상도일 경우, DN -1 해상도는 입력 영상의 2/3 스케일의 해상도가 되고, DN -2 해상도는 입력 영상의 1/2 스케일의 해상도가 된다.
아울러, S221 단계의 DN 해상도 영상의 저주파 영상 정보는, 제 2 가우시안 필터(LPF2)를 이용하여 출력되는 것이 바람직하다.
S221 단계는, DN 해상도 영상의 저주파 영상 정보와 DN -1 해상도 영상의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 DN -1 해상도 영상의 저주파 영상 정보에 해당하는 패치의 DN -1 해상도의 고주파 영상 정보를 선택하고, DN 해상도 영상의 저주파 영상 정보와 선택된 DN -1 해상도의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력할 수 있다. 즉, 본 발명의 영상 처리 방법은, 전체 영상을 작은 사이즈의 패치 단위로 입력 영상을 처리한다.
또한, S222 단계에서, S221 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하는 것은, 제 1 가우시안 필터(LPF1)를 이용하는 것을 특징으로 한다. 제 1 가우시안 필터(LPF1)와 제 2 가우시안 필터(LPF2)의 시그마값은, 서로 상이한 것이 바람직하다. 구체적으로 제 1 가우시안 필터(LPF1)의 시그마값이 제 2 가우시안 필터(LPF2)의 시그마값 보다 작은 것을 특징으로 한다.
도 4는, S221 단계의 선명도가 향상된 영상 정보를 얻기 위한 정합 과정의 흐름도를 나타내다. 즉, N>0 인 경우, S221 단계의 설명도이다.
S221 단계에서의 고주파 추출은, 다음의 [수학식 6]과 같이 나타낼 수 있다.
Figure 112016013210413-pat00007
선택된 DN 스케일에서 고주파 정보를 추출하기 전에 이전 DN -1 스케일에서의 고주파 정보를 정합하여 선명도가 향상된 LRDN,enhanced 정보를 얻게 된다. 도 4에서 LRDN,enhanced 정보를 얻기 위한 정합 과정을 소개하고 있다. 도 4와 도 5에서 서로 다른 시그마(σ) 값으로 가우시안 필터를 수행하는 이유는 스케일이 다른 두 영상이 존재하는 주파수 성분의 대역 범위가 다르기 때문이다. 이러한 이유로 추출된 현재 스케일의 저주파 정보 LRDN,LF와 이전 스케일의 저주파 정보 LRDN - 1,LF을 이용하여 패치 단위로 sum of squared differences(SSD)을 이용하여 영상 간의 유사도를 측정하고 이를 정합시킨다.
도 5는 S222 단계의 고주파 추출 흐름도를 나타낸다.
상술한 S221 단계로부터 얻어진 LRDN,enhanced로부터, 도 5와 같이 고주파 정보를 추출하게 된다. 이렇게 복잡도에 따라 서로 다른 DN 스케일에서 고주파 정보를 가지고 옴으로써 정합 과정에서 발생할 수 있는 정합 오류(Matching Error)를 최소화시키게 되어 입력 영상 대비 왜곡이 발생하지 않게 한다는 장점을 지닌다.
S300 단계
S300 단계는, 입력 영상의 저주파 영상 정보와 S200 단계에서 결정된 해상도의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 결정된 해상도의 저주파 영상 정보에 해당하는 패치의 결정된 해상도의 고주파 영상 정보를 선택하고, 입력 영상의 저주파 영상 정보와 선택된 결정된 해상도의 고주파 영상 정보를 합성하여, 입력 영상의 선명도가 개선된 영상을 출력하는 것을 특징으로 한다.
도 6은 S300 단계의 흐름도를 나타낸다.
즉, 도 6은 선택된 N값에 따라 서로 다른 스케일에서 추출된 고주파 정보를 가지고 입력 영상 XIR과의 정합 및 합성 과정을 나타낸다. 정합 과정은 입력 영상 XIR 과 선택된 DN 스케일의 저해상도 영상 LR간에 이루어지는데 두 영상이 존재하는 주파수 성분의 대역 범위가 다르기 때문에, [수학식 4]와 [수학식 6]과 같이 저주파 영상을 추출하여 패치 단위로 sum of squared differences(SSD)을 이용하여 영상 간의 유사도를 측정하고 이를 정합시킨다.
상술한 정합 과정을 통해 현재의 입력 영상의 패치 블록(block)에 대한 저해상도의 저주파 성분과 그에 해당하는 고주파 성분을 찾을 수 있다. 고주파 성분이 복원되어 최종적으로 선명도가 개선된 영상을 합성하기 위한 과정은 패치 단위로 처리되며 [수학식 7]과 같이 표현될 수 있다.
Figure 112016013210413-pat00008
[수학시 7]에서 XIR,enhanced(p)는 최종 출력 영상을 나타내며, 입력 영상의 저주파 성분 패치인 XIR,LF(p)와 그에 정합된 저해상도 영상의 고주파 성분 패치인 LRDN,HF(q)으로 표현할 수 있다. p는 입력 영상의 중심 픽셀을 의미하며, q는 매칭된 저해상도 영상의 중심 픽셀을 의미한다. 이렇게 얻어진 XIR,enhanced(p)을 overlapping하여 최종적인 결과 영상을 얻는다.
정리하자면, 본 발명에서는 패턴 검사에 의해 1/2 스케일로 결정난 경우라면 이전 스케일 정보가 없기 때문에 개선(enhance) 과정 없이 바로 선택된 스케일 정보에 그대로 들어가 도 6과 같이 처리된다. 반면 2/3 스케일로 결정났을 경우에는 2/3 스케일 정보 개선 과정이 추가되게 된다. 즉, 도 5와 같이 추가적인 과정이 필요로 한다. 다시 말해 2/3 스케일 정보를 이전 스케일 정보인 1/2 스케일의 고주파 정보를 합성시켜주어 개선된 2/3 스케일 정보를 얻는다. 마찬가지로 패턴 검사로 3/4 스케일로 결정되었다면 앞선 과정을 반복하여 개선된 2/3 스케일 정보를 얻고 이 정보를 가지고 다시 3/4 스케일 정보를 개선 시킨 후에 고주파 정보를 추출한다. 4/5 스케일로 결정난 경우에도 마찬가지 과정을 거친다.
상술한 바와 같이 본 발명의 특징으로 정리하면 다음과 같다.
(1) 자기유사성을 이용한 디블러 ( Deblur ) 기법
같은 장면을 서로 다른 해상도로 촬영한 동일한 자연 영상에 대하여 부분적으로 에지 등의 영상적 특징이 유사한 자기유사성의 특징이 존재한다. 이러한 자기유사성은 적외선 영상에도 똑같이 적용시킬 수 있다. 또한, 적외선 영상은 전반적으로 고주파 성분이 존재하지 않는 저주파 대역의 영상이라 할 수 있다. 그러나 블러 되어 있는 입력 영상을 축소하면 해상도는 작지만 고주파 성분이 존재하는 선명도가 높은 영상이 생성된다. 따라서 본 발명은 이러한 특징을 이용하여 블러 되어 있는 입력 영상의 선명도를 개선하기 위해 입력 영상을 축소하여 선명도가 높은 영상을 만들고 고주파 성분을 추출하여 입력 영상과 합성하면서 최종적으로 고주파 성분이 복원되어 선명도가 개선된 영상을 출력하고자 한다.
(2) 멀티스케일(Multi-scale) 방식
자기유사성을 이용한 방법은 입력 영상을 보다 더 작은 크기로 축소할수록 더 선명한 영상을 얻을 수 있지만, 입력 영상과의 유사성이 떨어지기 때문에 정합성능이 떨어지게 된다. 반면에, 영상을 충분히 축소해서 이용하지 않으면 정합 성능은 향상되지만 저해상도 영상의 선명도가 다소 떨어지기 때문에 최종 영상에서의 선명도 개선 효과를 확인하기 어렵다.
이와 같은 문제를 해결하기 위하여 본 발명에서는 최대 4 단계에 걸쳐서 디블러 과정을 수행한다. 먼저 1/2 스케일의 경우에는 1/2 스케일의 저해상도 영상을 이용할 뿐, 1/2 스케일의 선명한 영상을 생성하는 과정은 별도로 포함되지 않는다. 다음으로 1/2 스케일과 2/3 스케일로 해상도가 다른 두 개의 저해상도를 생성한 다음, 두 개의 저해상도 영상을 이용하여 2/3 스케일의 선명한 영상을 생성한다. 마찬가지로 2/3과 3/4 스케일로 처리된 영상을 이용하여 3/4 스케일의 선명한 영상을 얻고, 다시 한번 3/4과 4/5 스케일로 처리된 영상을 이용하여 4/5 스케일의 선명한 영상을 얻어 최종적으로 입력 영상과 4/5 스케일의 영상을 이용하여 입력 영상의 해상도를 갖는 선명한 영상을 생성하게 된다.
(3) 영상 복잡도에 따른 적응적(Adaptive)방식
전체 영상에 대해 동일한 스케일로 고주파 성분을 추출하여 합성할 경우 영상의 지역적 특성을 반영하지 못하여 정합 오류가 발생하는 부분이 생기게 된다. 이로 인해 영상이 자연스럽지 못하고 시각적으로 거슬리는 부분이 생기게 된다. 특히 에지나 texture와 같이 복잡도가 높은 영역에서는 정합 오류가 심하게 나타나게 되는데 이는 영상이 과도하게 축소되면서 생기는 문제이다. 따라서 패턴 검사를 통해 복잡도가 계산하여 복잡도가 높은 영역에 대해서는 높은 스케일로 줄인 영상의 고주파를 사용하고 낮은 영역에서는 낮은 스케일로 줄인 영상의 고주파를 사용한다. 즉 복잡도에 따라 서로 다른 스케일의 고주파 정보를 이용하여 정합 성능을 향상시켜 결함(artifact)이 없고 선명도가 향상된 영상을 얻게 된다.
상술한 바와 같이 본 발명에 따르면, SR(Super-resolution) 같은 기법을 적용시키기 전에 영상의 지역적 특성에 맞게 적응적으로 전처리를 적용시켜 선명도가 개선된 적외선 영상을 얻어 고가의 적외선 센서로 획득한 영상과 유사한 선명도를 가지는 영상을 제공할 수 있음을 알 수 있다.

Claims (11)

  1. (a) 입력 영상의 패턴을 검사하여 복잡도를 측정하고, 측정된 복잡도에 따라 스케일 다운할 해상도를 결정하는 단계;
    (b) 상기 (a) 단계에서 결정된 해상도의 고주파 영상 정보를 추출하는 단계; 및
    (c) 상기 입력 영상의 저주파 영상 정보와 결정된 해상도의 고주파 영상 정보를 합성하여, 상기 입력 영상의 선명도가 개선된 영상을 출력하는 단계;를 포함하되,
    상기 (a) 단계는, 전체 영상 중 미리 정해진 패치 단위의 상기 입력 영상의 에지(edge)의 세기를 측정하고, 측정된 에지의 세기를 이용하여 복잡도를 측정하고,
    상기 (a) 단계에서 측정된 복잡도가 일정값 미만이면, 상기 입력 영상을 그대로 출력하고,
    상기 (a) 단계에서 측정된 복잡도에 따라 결정된 해상도가 가장 작은 스케일의 해상도인 D0 라면, 상기 (b) 단계에서 D0 해상도 영상의 고주파 영상 정보의 추출은, 상기 입력 영상을 D0 해상도 영상으로 다운스케일링(Down Scaling)하고, 다운스케일링된 영상의 저주파 영상 정보를 추출하고, 상기 다운스케일링된 영상으로부터 다운스케일링된 영상의 저주파 영상 정보를 차분하는 것에 의해 구현되고,
    상기 (a) 단계에서 측정된 복잡도에 따라 결정된 해상도가 가장 작은 스케일의 해상도 D0가 아닌 DN 이라면, 상기 (b) 단계에서 DN 해상도 영상의 고주파 영상 정보의 추출은, (b-2-1) DN 해상도 영상의 저주파 영상 정보와 DN-1 해상도 영상의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력하는 단계; 및 (b-2-2) 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하고, 추출된 영상 정보를 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상으로부터 차분하여, DN 해상도 영상의 고주파 영상 정보를 추출하는 단계;를 포함하되,
    상기 DN-1 해상도는, 미리 정해진 가장 작은 스케일의 해상도인 D0 로부터 가장 큰 스케일의 DN 까지의 해상도 스케일에서, DN 해상도보다 해상도가 한 단계 작은 해상도 스케일인 것을 특징으로 하는 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 (b-2-1) 단계의 DN 해상도 영상의 저주파 영상 정보는, 제 2 가우시안 필터를 이용하여 출력되는 것을 특징으로 하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 (b-2-2) 단계에서, 상기 (b-2-1) 단계로부터 출력된 DN 해상도 영상의 선명도가 개선된 영상의 저주파 영상 정보를 추출하는 것은, 제 1 가우시안 필터를 이용하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 제 1 가우시안 필터와 상기 제 2 가우시안 필터의 시그마값은, 서로 상이한 것을 특징으로 하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 제 1 가우시안 필터의 시그마값이 상기 제 2 가우시안 필터의 시그마값보다 작은 것을 특징으로 하는 영상 처리 방법.
  10. 제1항에 있어서,
    상기 (b-2-1) 단계는,
    DN 해상도 영상의 저주파 영상 정보와 DN-1 해상도 영상의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 DN-1 해상도 영상의 저주파 영상 정보에 해당하는 패치의 DN-1 해상도의 고주파 영상 정보를 선택하고, DN 해상도 영상의 저주파 영상 정보와 선택된 DN-1 해상도의 고주파 영상 정보를 합성하여, DN 해상도 영상의 선명도가 개선된 영상을 출력하는 것을 특징으로 하는 영상 처리 방법.
  11. 제1항에 있어서,
    상기 (c) 단계는,
    상기 입력 영상의 저주파 영상 정보와 상기 (b) 단계에서 결정된 해상도의 저주파 영상 정보가 정합하는 지를 확인하여, 정합하는 패치의 결정된 해상도의 저주파 영상 정보에 해당하는 패치의 결정된 해상도의 고주파 영상 정보를 선택하고, 상기 입력 영상의 저주파 영상 정보와 선택된 결정된 해상도의 고주파 영상 정보를 합성하여, 상기 입력 영상의 선명도가 개선된 영상을 출력하는 것을 특징으로 하는 영상 처리 방법.
KR1020160015462A 2016-02-11 2016-02-11 적외선 영상 처리 방법 KR101730886B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160015462A KR101730886B1 (ko) 2016-02-11 2016-02-11 적외선 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160015462A KR101730886B1 (ko) 2016-02-11 2016-02-11 적외선 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR101730886B1 true KR101730886B1 (ko) 2017-04-28

Family

ID=58702219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160015462A KR101730886B1 (ko) 2016-02-11 2016-02-11 적외선 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101730886B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581644A (zh) * 2022-05-08 2022-06-03 国科天成科技股份有限公司 高温目标红外图像的成像方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581644A (zh) * 2022-05-08 2022-06-03 国科天成科技股份有限公司 高温目标红外图像的成像方法和装置
CN114581644B (zh) * 2022-05-08 2022-07-29 国科天成科技股份有限公司 高温目标红外图像的成像方法和装置

Similar Documents

Publication Publication Date Title
Nair et al. Color image dehazing using surround filter and dark channel prior
KR101795271B1 (ko) 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
US9002127B2 (en) Image dynamic range compression system, method and program
Li et al. Multifocus image fusion based on redundant wavelet transform
US20050169553A1 (en) Image sharpening by variable contrast stretching
US8483516B2 (en) Super resolution system and method with database-free texture synthesis
US20030228064A1 (en) Multiresolution method of spatially filtering a digital image
JP2014505491A (ja) 医療用画像の非線形分解能の低減
US8965141B2 (en) Image filtering based on structural information
WO2011092696A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
KR20180097342A (ko) 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치
Yang et al. Antialiasing recovery
JP2019016117A (ja) 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム
US20160241884A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation
Tsutsui et al. Halo artifacts reduction method for variational based realtime retinex image enhancement
RU2583725C1 (ru) Способ и система для обработки изображения
KR101730886B1 (ko) 적외선 영상 처리 방법
Kang et al. Simultaneous image enhancement and restoration with non-convex total variation
Trongtirakul et al. Fractional Contrast Stretching for Image Enhancement of Aerial and Satellite Images.
KR101910894B1 (ko) 영상 복원 장치 및 방법
Ru et al. Proposal of multiscale retinex using illumination adjustment for digital images
Hanumantharaju et al. Natural color image enhancement based on modified multiscale retinex algorithm and performance evaluation using wavelet energy
Mosleh et al. Image and video spatial super-resolution via bandlet-based sparsity regularization and structure tensor
Lal et al. A comparative study on CNN based low-light image enhancement
Lee et al. Multi-image high dynamic range algorithm using a hybrid camera

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant