KR101834512B1 - 연속영상 기반의 초해상도 영상복원 장치 및 방법 - Google Patents

연속영상 기반의 초해상도 영상복원 장치 및 방법 Download PDF

Info

Publication number
KR101834512B1
KR101834512B1 KR1020170123966A KR20170123966A KR101834512B1 KR 101834512 B1 KR101834512 B1 KR 101834512B1 KR 1020170123966 A KR1020170123966 A KR 1020170123966A KR 20170123966 A KR20170123966 A KR 20170123966A KR 101834512 B1 KR101834512 B1 KR 101834512B1
Authority
KR
South Korea
Prior art keywords
image
resolution
restoration
current input
result
Prior art date
Application number
KR1020170123966A
Other languages
English (en)
Inventor
최병인
양지현
정우진
조성민
문영식
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020170123966A priority Critical patent/KR101834512B1/ko
Application granted granted Critical
Publication of KR101834512B1 publication Critical patent/KR101834512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

연속영상 기반의 초해상도 영상복원 장치 및 방법이 제공된다. 연속영상 기반의 초해상도 영상복원 장치는, 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하는 단일영상 복원부와, 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과 (이하, '이전 복원영상'이라 함)로부터 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하는 영상 예측부와, 예측영상과 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하는 움직임 영역 검출부와, 단일영상 복원 결과영상, 예측영상, 및 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행하여 현재 입력영상의 초해상도 복원영상을 생성하는 연속영상 복원부를 포함할 수 있다.

Description

연속영상 기반의 초해상도 영상복원 장치 및 방법{Super-resolution image restoration apparatus and method based on consecutive-frame}
본 발명은 연속영상 기반의 초해상도 영상복원 장치 및 방법에 관한 것으로서, 보다 상세하게는, 연속영상 기반의 초해상도 영상복원 과정에서 움직임 영역이 있는 경우 단일영상 복원 결과의 영상이 차지하는 비중을 높이면서 연속영상 기반의 초해상도 영상복원을 수행할 수 있는 연속영상 기반의 초해상도 영상복원 장치 및 방법에 관한 것이다.
기존의 저해상도 영상을 고해상도 영상으로 복원하는 기술은 복원에 사용되는 입력영상의 수 또는 복원 기술에 따라 구분된다.
먼저, 입력영상의 수에 따라서는, 단일영상 초해상도 복원 기술과 연속영상 초해상도 복원 기술로 구분된다.
일반적으로 단일영상 초해상도 영상복원 기술은 연속영상 초해상도 영상복원에 비하여 처리 속도는 빠르지만, 복원에 필요한 정보가 부족하므로 영상 복원의 품질이 낮다.
이에 반해, 연속영상 초해상도 영상복원 기술은 연속적으로 획득된 다수의 영상들로부터 추출된 다양한 특징을 이용하므로 단일영상 초해상도 영상복원 기술에 비하여 복원된 영상의 품질은 우수하나, 알고리즘이 복잡하고 연산량이 많아 실시간 처리가 어렵다.
또한, 복원 기술에 따라서는 보간법을 이용한 기술, 에지 정보를 이용한 기술, 주파수 특성을 이용한 기술, 그리고, 딥러닝과 같은 기계학습을 이용한 기술 등이 있다.
보간법을 이용한 기술은 처리 속도가 빠르지만 가장자리 부분이 흐릿해지는 단점이 있다.
에지 정보를 이용한 기술은 속도도 빠르고 가장자리의 선명도를 유지하면서 영상을 복원할 수 있으나, 에지 방향을 잘못 추정한 경우에는 시각적으로 두드러지는 복원에러를 포함할 수 있는 단점이 있다.
주파수 특성을 이용한 기술은 고주파성분을 이용하여 에지 정보를 이용한 기술과 같이 가장자리의 선명도를 유지하며 영상을 복원할 수 있으나 경계선 부근의 Ringing Artifact가 발생하는 단점이 있다.
마지막으로 예제 기반 또는 딥러닝과 같은 기계학습을 이용한 기술은 복원된 영상의 품질이 가장 우수하지만 처리속도가 매우 느리다.
상술한 바와 같이 기존의 다양한 고해상도 영상 복원 기술들 중 연속영상 초해상도 영상복원 기술은 기존의 보간법을 이용한 디지털 줌 기능이 필요한 분야에 적용될 수 있으며, 보간법 기반의 영상복원 기술에 비해 우수한 품질의 영상을 제공한다. 그러나, 기존의 초해상도 영상복원 기술은, 제한된 리소스와 실시간 처리가 요구되는 전자광학장비에는 복잡한 연산량으로 인해 적용할 수 있는 기술이 제한적이다.
또한, 실시간 처리가 가능한 기존의 단일영상 기반의 초해상도 영상복원 기술은 2배 이상의 고배율로 영상 확대가 필요한 경우에 연속영상 기반의 복원 기술에 비해 성능 저하가 크다.
국내 등록특허 제10-1285810호(2013.07.08. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 기존의 연속영상 기반의 초해상도 영상복원 기술의 단점을 보완하고 실시간 처리가 가능하도록 하기 위해, 기존에 비해 메모리 사용 및 연산량을 최소화하는 연속영상 기반의 초해상도 영상복원 장치 및 방법을 제시하는 데 있다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는, 초해상도 영상복원 시 정적인 영역과 움직임이 발생한 움직임 영역으로 구분하여 영상복원을 함으로써 기존의 움직임 영역의 복원 오류를 최소화할 수 있는 연속영상 기반의 초해상도 영상복원 장치 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 연속영상 기반의 초해상도 영상복원 장치는, 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하는 단일영상 복원부; 상기 카메라의 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과 (이하, '이전 복원영상'이라 함)로부터 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하는 영상 예측부; 상기 예측영상과 상기 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하는 움직임 영역 검출부; 및 상기 단일영상 복원 결과영상, 상기 예측영상, 및 상기 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 연속영상 복원부;를 포함할 수 있다.
상기 영상 예측부는, 연속하는 상기 이전 영상과 현재 입력영상을 비교하여 상기 카메라의 수평방향 이동량 및 수직방향 이동량을 예측하고, 상기 이전 복원영상을 상기 예측된 수평방향 이동량 및 수직방향 이동량만큼 이동시켜 상기 예측영상을 생성할 수 있다.
상기 움직임 영역 검출부는, 지수이동평균 방식을 적용하여 평균차영상을 산출하는 평균차영상 산출부; 및 상기 산출된 평균차영상으로부터 상기 움직이는 물체를 검출하고, 상기 움직이는 물체가 검출된 평균차영상으로부터 상기 움직임 영역을 최종 판단하는 움직임 영역 판단부;를 포함할 수 있다.
상기 평균차영상 산출부는, 다음의 식을 이용하여 상기 평균차영상을 산출할 수 있다.
Figure 112017093785138-pat00001
여기서,
Figure 112017093785138-pat00002
는 상기 현재 입력영상에 대한 평균차영상,
Figure 112017093785138-pat00003
는 상기 예측영상과 상기 단일영상 복원 결과영상의 차영상,
Figure 112017093785138-pat00004
는 상기 지수이동평균의 가중치를 결정하는 파라미터로서 0≤
Figure 112017093785138-pat00005
≤1, 그리고, (x,y)는 각 픽셀의 좌표정보이다.
상기 움직임 영역 판단부는, 상기 산출된 평균차영상의 픽셀 절대값들을 제1기준값을 기준으로 이진화하여 제1이진화 영상을 생성하고, 상기 제1이진화 영상에 대해 제1반지름을 갖는 원형 마스크로 모폴로지 닫힘 연산을 수행하여 초기 움직임 영역들을 검출하고, 상기 산출된 평균차영상의 픽셀 절대값들을 제2기준값을 기준으로 이진화하여 제2이진화 영상을 생성하고, 상기 제2이진화 영상에 대해 제2반지름을 갖는 원형 마스크로 모폴로지 팽창 연산을 수행하여 후보 움직임 영역들을 검출하며, 상기 검출된 후보 움직임 영역들 중 상기 초기 움직임 영역들을 포함한 영역들을 움직이는 물체가 있는 움직임 영역들로서 판단할 수 있다.
상기 연속영상 복원부는, 상기 예측영상과 상기 단일영상 복원 결과영상의 지수이동평균으로 상기 현재 입력영상의 초해상도 복원영상을 생성하되, 상기 움직임 영역의 존재여부에 따라 상기 예측영상과 상기 단일영상 복원 결과영상에 적용할 가중치를 조절하여 상기 현재 입력영상의 초해상도 복원영상을 생성할 수 있다.
상기 연속영상 복원부는, 다음의 식을 이용하여 상기 현재 입력영상의 초해상도 복원영상을 생성할 수 있다.
Figure 112017093785138-pat00006
여기서,
Figure 112017093785138-pat00007
는 t번째 현재 입력영상의 초해상도 복원영상,
Figure 112017093785138-pat00008
는 예측영상,
Figure 112017093785138-pat00009
는 단일영상 복원 결과영상,
Figure 112017093785138-pat00010
는 지수이동평균의 파라미터로서 상기 움직임 영역의 가중치(0≤
Figure 112017093785138-pat00011
≤1)이고, 그리고, (x,y)는 각 픽셀의 좌표정보이다.
상기 연속영상 복원부는, 상기 움직이는 물체가 있는 움직임 영역에 대해서는 상기 단일영상 복원 결과영상의 비중이 상향되고, 상기 움직이는 물체가 없는 영역에 대해서는 연속영상 초해상도 복원결과인 상기 예측영상의 비중이 상향되도록 상기
Figure 112017093785138-pat00012
를 가변 조정할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 연속영상 기반의 초해상도 영상복원 방법은, (A) 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하는 단계; (B) 상기 카메라의 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과 (이하, '이전 복원영상'이라 함)로부터 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하는 단계; (C) 상기 예측영상과 상기 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하는 단계; 및 (D) 상기 단일영상 복원 결과영상, 상기 예측영상, 및 상기 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 단계;를 포함할 수 있다.
상기 (C) 단계는, (C1) 지수이동평균 방식을 적용하여 평균차영상을 산출하는 단계; 및 (C2) 상기 산출된 평균차영상으로부터 상기 움직이는 물체를 검출하고, 상기 움직이는 물체가 검출된 평균차영상으로부터 상기 움직임 영역을 검출하는 단계;를 포함할 수 있다.
상기 (C1) 단계는, 다음의 식을 이용하여 상기 평균차영상을 산출할 수 있다.
Figure 112017093785138-pat00013
상기 (C2) 단계는, 상기 산출된 평균차영상의 픽셀 절대값들을 제1기준값을 기준으로 이진화하여 제1이진화 영상을 생성하고, 상기 제1이진화 영상에 대해 제1반지름을 갖는 원형 마스크로 모폴로지 닫힘 연산을 수행하여 초기 움직임 영역들을 검출하고, 상기 산출된 평균차영상의 픽셀 절대값들을 제2기준값을 기준으로 이진화하여 제2이진화 영상을 생성하고, 상기 제2이진화 영상에 대해 제2반지름을 갖는 원형 마스크로 모폴로지 팽창 연산을 수행하여 후보 움직임 영역들을 검출하며, 상기 검출된 후보 움직임 영역들 중 상기 초기 움직임 영역들을 포함한 영역들을 움직이는 물체가 있는 움직임 영역들로서 검출할 수 있다.
상기 (D) 단계는, 상기 예측영상과 상기 단일영상 복원 결과영상의 지수이동평균으로 상기 현재 입력영상의 초해상도 복원영상을 생성하되, 상기 움직임 영역의 존재여부에 따라 상기 예측영상과 상기 단일영상 복원 결과영상에 적용할 가중치를 조절하여 상기 현재 입력영상의 초해상도 복원영상을 생성할 수 있다.
상기 (D) 단계는, 다음의 식을 이용하여 상기 현재 입력영상의 초해상도 복원영상을 생성할 수 있다.
Figure 112017093785138-pat00014
상기 (D) 단계는, 상기 움직이는 물체가 있는 움직임 영역에 대해서는 상기 단일영상 복원 결과영상의 비중이 상향되고, 상기 움직이는 물체가 없는 영역에 대해서는 연속영상 초해상도 복원결과인 상기 예측영상의 비중이 상향되도록 상기
Figure 112017093785138-pat00015
를 가변 조정할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 연속영상 기반의 초해상도 영상복원을 위한 전자장치는, 메모리; 및 상기 메모리와 연결되는 프로세서;를 포함하며, 상기 프로세서는, 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하고, 상기 카메라의 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과인 이전 복원영상으로부터 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하고, 상기 예측영상과 상기 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하고, 상기 움직임 영역의 존재여부, 상기 예측영상, 및 상기 단일영상 복원 결과영상을 이용하여 연속영상 초해상도 복원 방식을 수행하여 상기 현재 입력영상의 초해상도 복원영상을 생성하고, 상기 생성된 현재 입력영상의 초해상도 복원영상을 상기 메모리에 저장하도록 설정될 수 있다.
본 발명에 따르면, 연속영상 기반의 초해상도 영상복원 기술 적용 시, 메모리 사용 및 복원에 필요한 연상량을 최소화함으로써 실시간 처리가 가능하면서 우수한 품질의 영상을 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 초해상도 영상복원 시 정적인 영역과 움직임 영역을 구분하고, 움직임 영역을 고려하여 가중치를 가변하면서 영상복원을 수행함으로써 움직임 영역의 복원 오류를 최소화할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 연속영상 기반의 초해상도 영상복원장치를 도시한 블록도,
도 2는 본 발명의 실시 예에 따른 움직임 영역 판단부가 평균차영상으로부터 움직임 영역을 검출하는 일련의 동작을 설명하기 위한 예시도,
도 3은 본 발명의 다양한 실시 예에 따른 연속영상 기반의 초해상도 영상복원을 위한 전자장치를 간단히 도시한 블록도,
도 4는 전자장치에 의한 연속영상 기반의 초해상도 영상복원 동작을 도시한 개념도,
도 5는 본 발명의 실시 예에 따른 연속영상 기반의 초해상도 영상복원 방법을 설명하기 위한 흐름도,
도 6 내지 도 8은 본 발명의 실시 예에 따른 연속영상 기반의 영상복원방식과 기존의 방식을 이용한 영상복원결과를 비교한 도면, 그리고,
도 9 및 도 10은 PSNR과 SSIM를 이용하여 기존의 다양한 복원방식과 본 발명에 제안하는 방식을 이용한 복원 영상의 정량적 성능을 비교한 결과를 보여주는 그래프이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU, 프로세서 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명의 실시 예에 의한 연속영상 기반의 초해상도 영상복원장치(100)를 도시한 블록도이다.
먼저, 도 1에 도시된 연속영상 기반의 초해상도 영상복원장치(100)의 각각의 구성은 기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 실시 예에 의한 연속영상 기반의 초해상도 영상복원장치(100)는 카메라(미도시)의 영상센서로부터 획득되는 저해상도의 영상을 연속영상 기반의 방식을 이용하여 고해상도 영상으로 복원할 수 있으며, 영상센서 및 장비의 물리적인 한계로 인한 해상도의 품질 저하를 극복하기 위한 초해상도 영상복원 기술을 제시할 수 있다.
또한, 본 발명의 실시 예에 의한 연속영상 기반의 초해상도 영상복원장치(100)에서 제안하는 초해상도 영상복원 기술은 보간법을 이용한 디지털 줌 기능이 필요한 분야에 적용될 수 있으며, 전자광학장비를 이용한 감시/정찰, 표적자동탐지/추적 등의 분야에서 군용 EO/IR(Electric Optical/Infrared) 카메라와 같은 장비의 관측성능 향상을 위한 핵심기술로서 사용될 수 있다.
이러한 연속영상 기반의 초해상도 영상복원장치(100)는 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.
도 1을 참조하면, 본 발명의 실시 예에 의한 연속영상 기반의 초해상도 영상복원장치(100)는 단일영상 복원부(110), 영상 예측부(120), 움직임 영역 검출부(130) 및 연속영상 복원부(140)를 포함할 수 있다.
단일영상 복원부(110)는 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상, (st)'이라 함)으로 복원할 수 있다.
단일영상 복원 동작은 t번째로 입력되는 현재 입력영상(ft)으로부터 고해상도 영상을 만드는 과정으로서, 기존의 단일영상 초해상도 복원방식을 사용할 수 있다. 예를 들어, 단일영상 복원부(110)는 성능 및 실시간성을 고려하여 Lanczos 보간법을 사용한다.
영상 예측부(120)는 카메라(미도시)의 영상 센서로부터 획득된 이전 영상을 연속영상 기반 초해상도로 복원한 결과인 이전 복원영상(gt-1)으로부터, 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상, pt)'이라 함)를 예측할 수 있다.
카메라는 이동형 방식으로 움직이면서 촬영하거나, 또는 바람이나 진동 등의 외부 요인에 의해 흔들릴 수 있으며, 이로써 흔들림이 발생한 영상이 촬영될 수 있다. 따라서, 영상 예측부(120)는 카메라 이동에 따른 영상의 위치 이동을 예측하고, 위치 이동만큼 보상하여 이전 입력영상과 현재 입력영상의 위치를 맞추는 작업을 한다.
자세히 설명하면, 영상 예측부(120)는 연속으로 촬영된 두 개의 영상, 즉, (t-1)번째 촬영된 이전 입력영상(ft-1)과 t번째 촬영된 현재 입력영상(ft)을 비교하여 카메라 이동을 예측한다. 영상 예측부(120)는 LF 광류추정방법(Lucas-Kanade Optical Flow)을 이용하여 카메라의 수평방향 이동량(
Figure 112017093785138-pat00016
)과 수직방향 이동량(
Figure 112017093785138-pat00017
)을 예측할 수 있다.
그리고, 영상 예측부(120)는 카메라 이동을 보상하기 위해, 이전 복원영상(gt-1)을 예측된 수평방향 이동량 및 수직방향 이동량만큼 이동시켜 예측영상(pt)을 생성할 수 있다. 즉, 영상 예측부(120)의 영상 예측 동작은 이전 복원영상(gt-1)과 현재 입력영상(ft)의 위치를 동일하게 맞추는 작업이다. 이러한 카메라 보상에 의해, 영상 내에서 이동하는 물체는 서로 다른 위치에 있게 되고, 배경은 동일한 위치에 있을 수 있다.
그리고, 연속영상 기반의 초해상도로 영상을 복원하는 경우, 결과영상, 즉, 복원영상은 대체로 실제에 비해 외곽선이 흐린 경향이 있으므로, 영상 예측부(120)는 예측영상(pt)에 대해 블러링을 제거하는 영상선명화를 수행한다. 예측영상(pt)은 움직임 영역 검출부(130)와 연속영상 복원부(140)에서 움직임 영역 검출 및 복원영상을 만드는데 사용된다.
움직임 영역 검출부(130)는 예측영상(pt)과 단일영상 복원 결과영상(st)의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출할 수 있다.
이를 위하여, 움직임 영역 검출부(130)는 감산부(132), 평균차영상 산출부(134) 및 움직임 영역 판단부(136)를 포함한다.
감산부(132)는 예측영상(pt)과 단일영상 복원 결과영상(st)의 해상도 차이를 보여주는 차영상을 생성한다. 위에서도 설명한 것처럼, 예측영상(pt)은 카메라 이동 보상을 통해 현재 입력영상(ft)과 동일한 위치로 이동한 상태이다. 따라서, 두 영상의 차영상에서 배경 부분의 픽셀의 절대값은 0인 반면, 움직이는 물체에 해당하는 픽셀의 절대값은 높게 나타난다.
평균차영상 산출부(134)는 정교하게 움직이는 물체를 검출하기 위해 차영상을 누적하고, 지수이동평균방식을 적용하여 평균차영상을 산출할 수 있다.
평균차영상 산출부(134)는 다음의 [수학식 1]을 이용하여 평균차영상을 산출할 수 있다.
Figure 112017093785138-pat00018
여기서,
Figure 112017093785138-pat00019
는 t번째 입력되는 현재 입력영상(ft)에 대한 평균차영상,
Figure 112017093785138-pat00020
는 예측영상(pt)과 단일영상 복원 결과영상(st)의 차영상,
Figure 112017093785138-pat00021
는 지수이동평균의 가중치를 결정하는 파라미터로서 0≤
Figure 112017093785138-pat00022
≤1, 그리고, (x,y)는 각 픽셀의 좌표정보이다.
움직임 영역 판단부(136)는 평균차영상 산출부(134)에서 산출된 평균차영상(et)으로부터 움직이는 물체를 검출하고, 움직이는 물체가 검출된 평균차영상(et)으로부터 움직임 영역을 최종 선택할 수 있다.
도 2는 본 발명의 실시 예에 따른 움직임 영역 판단부(136)가 평균차영상으로부터 움직임 영역을 검출하는 일련의 동작을 설명하기 위한 예시도이다.
도 2를 참조하면, 움직임 영역 판단부(136)는 평균차영상(et)으로부터 초기 움직임 영역과 후보 움직임 영역을 검출할 수 있다.
먼저, 초기 움직임 영역 검출에 대해 설명한다.
움직임 영역 판단부(136)는 평균차영상(et)의 픽셀 절대값들 각각을 제1기준값을 기준으로 이진화한 뒤 열림연산으로 노이즈를 제거하여, 제1이진화 영상을 생성할 수 있다(도 2의 (a)). 제1기준값은 0보다 크고 1보다 작은 값을 갖는다.
예를 들어, 제1기준값이 0.4인 경우, 움직임 영역 판단부(136)는 픽셀 절대값(즉, 동일한 위치에 해당하는 픽셀들의 해상도차이의 절대값)이 0.4 이하이면 해당 픽셀을 0으로 매핑하고, 0.4 초과이면 해당 픽셀을 1로 매핑하여 이진화할 수 있다. 이는, 픽셀 절대값이 0.4 이하이면 움직임이 없는 것으로 예측할 수 있기 때문이다.
그리고, 움직임 영역 판단부(136)는 제1이진화 영상에 대해 제1반지름을 갖는 원형 마스크로 모폴로지 닫힘 연산을 수행하여 초기 움직임 영역들을 검출할 수 있다(도 2의 (b)). 제1반지름은 일 예로 반지름이 4픽셀인 경우를 들 수 있으나 이에 한정되지 않음은 자명하다.
도 2의 (b)를 참조하면, 모폴로지 닫힘 연산의 수행 결과, 초기 움직임 영역들에는 확실하게 움직이는 물체의 위치가 표시됨을 알 수 있다.
원형 마스크로 모폴로지 닫힘 연산은 현재 픽셀을 중심으로 기준 필터(본 발명의 실시 예의 경우, 원형 마스크 필터)를 적용하여 필터 영역 내의 값을 확인하고, 필터 영역 내 픽셀 중 최소 픽셀값을 현재 픽셀값에 대입하는 연산이다.
다음, 후보 움직임 영역 검출에 대해 설명한다.
움직임 영역 판단부(136)는 평균차영상(et)의 픽셀 절대값들을 제2기준값을 기준으로 이진화한 뒤 열림연산으로 노이즈를 제거하여 제2이진화 영상을 생성할 수 있다(도 2의 (c)). 제2기준값은 0보다 크고 1보다 작은 값을 갖되, 제1기준값보다 작은 값을 가질 수 있으며, 이는 일 예로서 이에 반대될 수도 있음은 물론이다.
예를 들어, 제2기준값이 0.2인 경우, 움직임 영역 판단부(136)는 픽셀 절대값이 0.2 이하이면 해당 픽셀을 0으로 매핑하고, 0.2 초과이면 해당 픽셀을 1로 매핑하여 이진화할 수 있다. 이는, 픽셀 절대값이 0.2 이하이면 움직임이 없는 것으로 예측하기 위함이다.
그리고, 움직임 영역 판단부(136)는 제2이진화 영상에 대해 제2반지름을 갖는 원형 마스크로 모폴로지 팽창 연산을 수행하여 후보 움직임 영역들을 검출할 수 있다(도 2의 (d)). 제2반지름은 일 예로 반지름이 15픽셀인 경우를 들 수 있으나 이에 한정되지 않음은 자명하다.
도 2의 (d)를 참조하면, 모폴로지 팽창 연산의 수행 결과, 후보 움직임 영역에는 움직임이 있는 모든 영역이 표시됨을 알 수 있다.
여기서, 원형 마스크로 모폴로지 팽창 연산은 현재 픽셀을 중심으로 원형 마스크 필터를 적용하여 필터 영역 내의 값을 확인하고, 필터 영역 내 픽셀 중 최대 픽셀값을 현재 픽셀값에 대입하는 연산이다.
상술한 과정에 의해 초기 움직임 영역 및 후보 움직임 영역이 검출되면, 움직임 영역 판단부(136)는 후보 움직임 영역들(도 2의 (d))과 초기 움직임 영역들(도 2의 (b))을 비교하여, 후보 움직임 영역들(도 2의 (d)) 중 초기 움직임 영역들(도 2의 (b))을 포함한 영역들을 움직이는 물체가 있는 움직임 영역(mt)들로서 최종 선택할 수 있다(도 2의 (e)). 즉, 움직임 영역 판단부(136)는 후보 움직임 영역들 중 확실하게 움직이는 물체가 있는 후보 영역을 움직임 영역으로서 판단할 수 있다.
다시 도 1을 참조하면, 연속영상 복원부(140)는 단일영상 복원부(110)에서 현재 입력영상(ft)을 단일영상 기반으로 복원한 결과인 단일영상 복원 결과영상(st), 예측영상 출력부(124)에서 만들어진 예측영상(pt), 움직임 영역 검출부(130)에서 검출된 움직임 영역의 존재여부를 이용하여 현재 입력영상(ft)의 초해상도 복원영상, 즉, 결과영상을 생성하되, 연속영상 기반의 초해상도 복원 방식을 이용하여 현재 입력영상(ft)의 결과영상을 생성할 수 있다.
연속영상 복원부(140)는 예측영상(pt)과 단일영상 복원 결과영상(st)의 지수이동평균으로 현재 입력영상(ft)의 초해상도 복원영상을 생성할 수 있으며, 이 때, 움직임 영역의 가중치를 조절하여 움직이는 물체가 뭉개지는 현상을 제거할 수 있다. 즉, 연속영상 복원부(140)는, 움직임 영역의 존재여부에 따라 예측영상(pt)과 단일영상 복원 결과영상(st)에 적용할 가중치를 조절하여 현재 입력영상(ft)의 초해상도 복원영상을 생성할 수 있다.
연속영상 복원부(140)는, 다음의 [수학식 2]를 이용하여 현재 입력영상(ft)의 초해상도 복원영상을 생성할 수 있다.
Figure 112017093785138-pat00023
여기서,
Figure 112017093785138-pat00024
는 t번째 현재 입력영상의 초해상도 복원영상,
Figure 112017093785138-pat00025
는 예측영상,
Figure 112017093785138-pat00026
는 단일영상 복원 결과영상,
Figure 112017093785138-pat00027
는 지수이동평균의 파라미터로서 움직임 영역에 적용되는 가중치(0≤
Figure 112017093785138-pat00028
≤1)이고,
Figure 112017093785138-pat00029
는 움직임 영역, (x,y)는 각 픽셀의 좌표정보이다.
[수학식 2]를 참조하면, 예측영상(pt)에 적용되는 가중치(1-
Figure 112017093785138-pat00030
)는 단일영상 복원 결과영상(st)에 적용될 가중치, 즉, 지수이동평균의 파라미터(
Figure 112017093785138-pat00031
)에 의해 조정됨을 알 수 있다.
또한, 연속영상 복원부(140)는, 움직이는 물체가 있는 움직임 영역(즉, mt(x,y)=1)에 대해서는, 단일영상 복원 결과영상(st)의 비중이 상향되도록
Figure 112017093785138-pat00032
를 0.3으로 가변 조정할 수 있다.
또한, 연속영상 복원부(140)는, 움직이는 물체가 없는 영역(즉, mt(x,y)=0)에 대해서는 연속영상 초해상도 복원결과인 예측영상(pt)의 비중이 상향되도록
Figure 112017093785138-pat00033
를 0.03으로 가변 조정할 수 있다. 이로써, 본 발명의 실시 예가 연속영상 기반의 초해상도 복원 방식을 적용할지라도, 단일영상 복원 결과영상(st)을 이용함으로써 보다 선명하면서 실시간으로 초해상도 영상 복원을 수행할 수 있다.
또한,
Figure 112017093785138-pat00034
의 값인 0.3 및 0.03은 다수의 실험을 통해 학습된 결과로서, 이는 일 예에 해당하며, 이에 한정되지 않음은 자명하다.
또한, 연속영상 복원부(140) 또는 설계자는,
Figure 112017093785138-pat00035
를 가변 조정하되 예측영상(pt)에 적용되는 가중치(1-
Figure 112017093785138-pat00036
)가 단일영상 복원 결과영상에 적용되는 가중치(
Figure 112017093785138-pat00037
)보다는 크도록 정할 수 있다.
또한, 연속영상 복원부(140) 또는 설계자는 예를 들어, 단일영상 복원 결과영상(st)의 정확도가 예측영상(pt)에 비해 더 높다고 판단되는 경우,
Figure 112017093785138-pat00038
>0.5의 값을 갖도록 하여, 예측영상(pt)에 적용되는 가중치(1-
Figure 112017093785138-pat00039
)가 더 작도록 정할 수도 있다. 이러한 경우, 실제로 단일영상 복원 결과영상(st)에 더 많은 가중치가 할애된다.
도 3은 본 발명의 다양한 실시 예에 따른 연속영상 기반의 초해상도 영상복원을 위한 전자장치(300)를 간단히 도시한 블록도, 그리고, 도 4는 전자장치(300)에 의한 연속영상 기반의 초해상도 영상복원 동작을 도시한 개념도이다.
도 3을 참조하면, 연속영상 기반의 초해상도 영상복원을 위한 전자장치(300)는 메모리(310), 프로세서(320) 및 표시패널(330)을 포함할 수 있다. 도 3의 전자장치(300)는 프로세서(3200에 의해 프로그램 실행이 가능한 컴퓨터와 같은 기기일 수 있다.
메모리(310)에는 전자장치(300)의 동작을 위한 프로그램, 소프트웨어, 운영체제 등이 저장되며, 또한, 도 1 및 도 2를 참조하여 설명한 연속영상 기반의 초해상도 영상복원장치(100)를 위한 다수의 인스트럭션들(또는 이를 포함하는 프로그램)이 저장될 수 있다.
프로세서(320)는 메모리(310) 및 표시패널(330)과 전기적 또는 기능적으로 연결되어, 본 발명의 실시 예에 따른 다양한 동작, 예를 들어, 도 1 및 도 2를 참조하여 설명한 동작을 포함하여 처리 또는 구현할 수 있다.
예를 들어, 프로세서(320)는 메모리(310)에 저장된 인스트럭션들을 포함하는 프로그램을 실행할 수 있다.
프로그램 실행에 의해, 프로세서(320)는, 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상(Input Image t)을 고해상도 영상(이하, '단일영상 복원 결과영상(Single-frame Resolution Image, st)'이라 함)으로 복원할 수 있다.
또한, 프로세서(320)는 카메라의 영상 센서로부터 획득된 이전 입력영상(Input Image t-1)을 초해상도 복원한 결과인 이전 복원영상(Result Image t-1)으로부터, 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상(Estimate Image)'이라 함)를 예측할 수 있다.
또한, 프로세서(320)는 예측영상과 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상(Difference Image)의 누적, 즉, 평균차영상(Average Difference Image)을 이용하여, 움직이는 물체가 있는 움직임 영역(Moving Object Region)을 검출할 수 있다.
또한, 프로세서(320)는 검출된 움직임 영역의 존재여부, 예측영상, 및 단일영상 복원 결과영상을 이용하여 연속영상 초해상도 복원 방식을 수행하여 현재 입력영상의 초해상도 복원영상(Result Image t)을 생성하고, 생성된 현재 입력영상의 초해상도 복원영상을 메모리(310)에 저장하도록 설정될 수 있다.
표시패널(330)은 카메라로부터 입력되는 원본 영상, 프로세서(320)에 의해 복원된 복원영상들을 표시할 수 있다.
도 5는 본 발명의 실시 예에 따른 연속영상 기반의 초해상도 영상복원 방법을 설명하기 위한 흐름도이다.
도 5에 도시된 연속영상 기반의 초해상도 영상복원 방법은 도 1 내지 도 4를 참조하여 설명한 영상복원장치(100) 또는 전자장치(300)에 의해 수행될 수 있으며, 도 1 및 도 2를 참조하여 자세히 설명하였으므로, 구체적인 설명은 생략한다.
도 5를 참조하면, 영상복원장치(100)는 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 t번째 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원할 수 있다(S510).
영상복원장치(100)는 카메라의 영상 센서로부터 획득된 t-1번째 이전 입력영상과 현재 입력영상을 비교하여 카메라 이동량을 예측할 수 있다(S520).
영상복원장치(100)는 t-1번째 이전 입력영상을 초해상도 복원한 결과(이하, '이전 복원영상'이라 함)를 예측된 카메라 이동량만큼 이동시켜, 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측할 수 있다(S530). 이로써, 카메라 이동에 대한 보상이 이루어진다.
영상복원장치(100)는 S530단계에서 생성된 예측영상과 S510단계에서 복원된 단일영상 복원 결과영상의 차영상을 산출하고, 차영상을 누적한 지수이동평균 방식을 적용하여 평균차영상을 산출할 수 있다(S540). S540단계는 [수학식 1]을 이용할 수 있다.
영상복원장치(100)는 산출된 평균차영상으로부터 움직이는 물체를 검출하고, 움직이는 물체가 검출된 평균차영상으로부터 움직임 영역을 검출할 수 있다(S550). S550단계는 도 3을 참조하여 설명하였다.
영상복원장치(100)는 S530단계에서 생성된 예측영상, S510단계에서 복원된 단일영상 복원 결과, 그리고, S550단계에서 검출된 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행함으로써 현재 입력영상의 초해상도 복원영상을 생성할 수 있다(S560). S560단계는 [수학식 2]를 이용할 수 있다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 연속영상 기반의 영상복원방식과 기존의 방식을 이용한 영상복원결과를 비교한 도면이다.
성능 비교는 단일영상 복원방식과 연속영상 복원방식을 사용하였으며, 단일영상 복원방식으로는 Lanczos 보간법과 DCCI(Image zooming using Directional Cubic Convolution Interpolation)를 사용하였고, 연속영상 복원방법으로는 FRMSR과 본 발명에서 제안하는 방법을 사용하였다.
도 6 내지 도 8의 (a) Ground Truth Image는 실제 영상(즉, 정답영상)이고 (b) Input Image는 카메라를 통해 입력되는 영상의 각 축에 대하여 1/4과 1/8로 축소한 영상이다. 이후 각 입력영상을 단일영상 초해상도 복원방법과 연속영상 초해상도 복원방법을 이용하여 복원한 뒤, 정답영상과의 PSNR과 SSIM을 측정하였다.
먼저, 도 6은 입력 영상을 1/4로 축소한 후, 다시 원본 크기의 초해상도로 복원한 결과를 보여주고 있으며, 영상 내에 움직임 영역이 없는 경우이다.
도 6을 참조하면, 기존의 단일영상 복원방식을 이용하여 복원한 영상에 비하여 본 발명에서 제안하는 연속영상 복원방식법(f)을 이용한 경우 더 선명하게 복원되었음을 확인할 수 있다.
도 7은 입력 영상에 움직이는 영역이 존재하는 경우의 복원결과를 보여준다.
도 7을 참조하면, 기존의 연속영상 복원방법인 FRMSR은 움직이는 물체의 이동에 따라 영상이 뭉개지는 단점이 있으나, 본 발명에서 제안하는 방식(f)을 적용하는 경우 움직이는 물체에 대해서도 강건한 초해상도 복원이 가능함을 보여준다.
도 8은 입력 영상을 1/8로 축소한 후 다시 원본 크기로 복원한 결과의 예를 보여준다.
도 8을 참조하면, 주차된 차들의 외곽선이나 우측하단의 건물 벽의 외곽선 부분 그리고 ‘출구’라는 도로 표지부분을 살펴보면, 본 발명에서 제안된 방법(f)으로 복원한 결과가 기존의 복원방법을 이용한 결과에 비해 선명하게 복원된 것을 알 수 있다.
도 9 및 도 10은 PSNR과 SSIM를 이용하여 기존의 다양한 복원방식과 본 발명에 제안하는 방식을 이용한 복원 영상의 정량적 성능을 비교한 결과를 보여주는 그래프이다.
도 9 및 도 10을 참조하면, 복원된 영상의 평균 PSNR과 SSIM은, 모두 본 발명에서 제안된 방식을 이용하여 복원한 영상이 가장 우선한 복원 성능을 보여주는 것을 확인할 수 있다.
한편, 상술한 본 발명에 따른 연속영상 기반의 초해상도 영상복원장치(100)는 움직이는 물체를 고려한 연속영상 초해상도 복원 방식을 제안한다. 제안하는 방식은 기존의 FRMSR(Fast and Robust Multi-Frame Super-Resolution)과 같이 작은 흔들림을 갖는 연속된 영상을 이용해 고해상도 영상을 복원한다.
FRMSR은 다수의 연속 영상에 작은 카메라 흔들림이 있다고 가정한다. 다시 말해서, FRMSR은 동일한 화면을 촬영하되 카메라가 조금씩 흔들리는 상황을 가정하며, 이러한 작은 흔들림 때문에 하나의 고해상도 픽셀이 저해상도에서는 여러 영상에 서브픽셀 단위로 저장이 된다. 따라서, FRMSR은 다수의 연속영상을 정렬한 뒤 중간값으로 결과영상을 만든다.
FRMSR은 가정이 성립하는 경우 초해상도 영상을 올바르게 복원한다. 그러나, 가정이 성립할 때에도 움직이는 물체에 대해서는 영상 복원에 실패하여 예를 들어, 움직이는 자동차는 올바르게 복원하지 못하고 흐릿한 덩어리로 복원한다.
이는, 기존의 FRMSR이 움직이는 물체와 배경을 동일하게 처리하기 때문에 발생한다. 즉, FRMSR은 배경을 기준으로 연속영상을 정렬한다. 따라서 움직이는 물체는 정렬이 안 되며 이는 영상 복원의 실패로 이어진다.
따라서, 기존의 FRMSR과 같이 움직임 영역을 고려하지 않은 경우 발생하는 문제점을 해결하기 위하여, 본 발명에서는 움직이는 물체 또는 움직이는 물체가 존재하는 움직임 영역에 대해 배경과는 다른 방식을 적용하여 FRMSR이 갖는 문제를 해소할 수 있다. 이로써, 본 발명에 의하면, 단일영상 초해상도 복원방법보다 우수한 품질을 제공하면서, 이와 더불어 연속영상 기법을 적용하여도 움직이는 물체에 대해서도 올바른 복원을 수행할 수 있다.
한편 본 발명에 따른 연속영상 기반의 초해상도 영상복원 장치의 연속영상 기반의 초해상도 영상복원 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.
즉, 본 발명에 따른 연속영상 기반의 초해상도 영상복원 장치의 연속영상 기반의 초해상도 영상복원 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있으며, 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에는 하드 디스크와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
따라서, 본 발명은 연속영상 기반의 초해상도 영상복원 장치의 연속영상 기반의 초해상도 영상복원 방법을 구현하기 위하여 상기 연속영상 기반의 초해상도 영상복원 장치를 제어하는 컴퓨터 상에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
100: 영상복원장치 110: 단일영상 복원부
120: 영상 예측부 130: 움직임 영역 검출부
140: 연속영상 복원부 300: 전자장치
310: 메모리 320: 프로세서
330: 표시패널

Claims (16)

  1. 연속영상 기반의 초해상도 영상복원 장치에 있어서,
    단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하는 단일영상 복원부;
    상기 카메라의 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과 (이하, '이전 복원영상'이라 함)로부터 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하는 영상 예측부;
    상기 예측영상과 상기 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하는 움직임 영역 검출부; 및
    상기 단일영상 복원 결과영상, 상기 예측영상, 및 상기 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 연속영상 복원부;를 포함하고,
    상기 움직임 영역 검출부는,
    지수이동평균 방식을 적용하여 평균차영상을 산출하는 평균차영상 산출부; 및
    상기 산출된 평균차영상으로부터 상기 움직이는 물체를 검출하고, 상기 움직이는 물체가 검출된 평균차영상으로부터 상기 움직임 영역을 최종 판단하는 움직임 영역 판단부;를 포함하는 연속영상 기반의 초해상도 영상복원 장치.
  2. 제1항에 있어서,
    상기 영상 예측부는,
    연속하는 상기 이전 영상과 현재 입력영상을 비교하여 상기 카메라의 수평방향 이동량 및 수직방향 이동량을 예측하고, 상기 이전 복원영상을 상기 예측된 수평방향 이동량 및 수직방향 이동량만큼 이동시켜 상기 예측영상을 생성하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 평균차영상 산출부는,
    다음의 식을 이용하여 상기 평균차영상을 산출하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치:
    Figure 112018001176390-pat00040

    여기서,
    Figure 112018001176390-pat00041
    는 상기 현재 입력영상에 대한 평균차영상,
    Figure 112018001176390-pat00042
    는 상기 예측영상과 상기 단일영상 복원 결과영상의 차영상,
    Figure 112018001176390-pat00043
    는 상기 지수이동평균의 가중치를 결정하는 파라미터로서 0≤
    Figure 112018001176390-pat00044
    ≤1, 그리고, (x,y)는 각 픽셀의 좌표정보임.
  5. 제1항에 있어서,
    상기 움직임 영역 판단부는,
    상기 산출된 평균차영상의 픽셀 절대값들을 제1기준값을 기준으로 이진화하여 제1이진화 영상을 생성하고, 상기 제1이진화 영상에 대해 제1반지름을 갖는 원형 마스크로 모폴로지 닫힘 연산을 수행하여 초기 움직임 영역들을 검출하고,
    상기 산출된 평균차영상의 픽셀 절대값들을 제2기준값을 기준으로 이진화하여 제2이진화 영상을 생성하고, 상기 제2이진화 영상에 대해 제2반지름을 갖는 원형 마스크로 모폴로지 팽창 연산을 수행하여 후보 움직임 영역들을 검출하며,
    상기 검출된 후보 움직임 영역들 중 상기 초기 움직임 영역들을 포함한 영역들을 움직이는 물체가 있는 움직임 영역들로서 판단하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치.
  6. 제1항에 있어서,
    상기 연속영상 복원부는,
    상기 예측영상과 상기 단일영상 복원 결과영상의 지수이동평균으로 상기 현재 입력영상의 초해상도 복원영상을 생성하되, 상기 움직임 영역의 존재여부에 따라 상기 예측영상과 상기 단일영상 복원 결과영상에 적용할 가중치를 조절하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치.
  7. 제6항에 있어서,
    상기 연속영상 복원부는,
    다음의 식을 이용하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치:
    Figure 112017093785138-pat00045

    여기서,
    Figure 112017093785138-pat00046
    는 t번째 현재 입력영상의 초해상도 복원영상,
    Figure 112017093785138-pat00047
    는 예측영상,
    Figure 112017093785138-pat00048
    는 단일영상 복원 결과영상,
    Figure 112017093785138-pat00049
    는 지수이동평균의 파라미터로서 상기 움직임 영역의 가중치(0≤
    Figure 112017093785138-pat00050
    ≤1)이고, 그리고, (x,y)는 각 픽셀의 좌표정보임.
  8. 제6항 및 제7항 중 어느 한 항에 있어서,
    상기 연속영상 복원부는,
    상기 움직이는 물체가 있는 움직임 영역에 대해서는 상기 단일영상 복원 결과영상의 비중이 상향되고, 상기 움직이는 물체가 없는 영역에 대해서는 연속영상 초해상도 복원결과인 상기 예측영상의 비중이 상향되도록 상기
    Figure 112017093785138-pat00051
    를 가변 조정하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 장치.
  9. 연속영상 기반의 초해상도 영상복원 방법에 있어서,
    (A) 단일영상 초해상도 복원 방식을 이용하여, 카메라의 영상 센서로부터 획득된 현재 입력영상을 고해상도 영상(이하, '단일영상 복원 결과영상'이라 함)으로 복원하는 단계;
    (B) 상기 카메라의 영상 센서로부터 획득된 이전 영상을 초해상도 복원한 결과 (이하, '이전 복원영상'이라 함)로부터 상기 현재 입력영상이 초해상도로 복원될 결과(이하, '예측영상'이라 함)를 예측하는 단계;
    (C) 상기 예측영상과 상기 단일영상 복원 결과영상의 해상도 차이를 보여주는 차영상을 이용하여, 움직이는 물체가 있는 움직임 영역을 검출하는 단계; 및
    (D) 상기 단일영상 복원 결과영상, 상기 예측영상, 및 상기 움직임 영역의 존재여부를 이용하여 연속영상 초해상도 복원 방식을 수행하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 단계;를 포함하고,
    상기 (C) 단계는,
    (C1) 지수이동평균 방식을 적용하여 평균차영상을 산출하는 단계; 및
    (C2) 상기 산출된 평균차영상으로부터 상기 움직이는 물체를 검출하고, 상기 움직이는 물체가 검출된 평균차영상으로부터 상기 움직임 영역을 검출하는 단계;를 포함하는 연속영상 기반의 초해상도 영상복원 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 (C1) 단계는,
    다음의 식을 이용하여 상기 평균차영상을 산출하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 방법:
    Figure 112018001176390-pat00052

    여기서,
    Figure 112018001176390-pat00053
    는 상기 현재 입력영상에 대한 평균차영상,
    Figure 112018001176390-pat00054
    는 상기 예측영상과 상기 단일영상 복원 결과영상의 차영상,
    Figure 112018001176390-pat00055
    는 상기 지수이동평균의 가중치를 결정하는 파라미터로서 0≤
    Figure 112018001176390-pat00056
    ≤1, 그리고, (x,y)는 각 픽셀의 좌표정보임.
  12. 제9항에 있어서,
    상기 (C2) 단계는,
    상기 산출된 평균차영상의 픽셀 절대값들을 제1기준값을 기준으로 이진화하여 제1이진화 영상을 생성하고, 상기 제1이진화 영상에 대해 제1반지름을 갖는 원형 마스크로 모폴로지 닫힘 연산을 수행하여 초기 움직임 영역들을 검출하고,
    상기 산출된 평균차영상의 픽셀 절대값들을 제2기준값을 기준으로 이진화하여 제2이진화 영상을 생성하고, 상기 제2이진화 영상에 대해 제2반지름을 갖는 원형 마스크로 모폴로지 팽창 연산을 수행하여 후보 움직임 영역들을 검출하며,
    상기 검출된 후보 움직임 영역들 중 상기 초기 움직임 영역들을 포함한 영역들을 움직이는 물체가 있는 움직임 영역들로서 검출하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 방법.
  13. 제9항에 있어서,
    상기 (D) 단계는,
    상기 예측영상과 상기 단일영상 복원 결과영상의 지수이동평균으로 상기 현재 입력영상의 초해상도 복원영상을 생성하되, 상기 움직임 영역의 존재여부에 따라 상기 예측영상과 상기 단일영상 복원 결과영상에 적용할 가중치를 조절하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 방법.
  14. 제13항에 있어서,
    상기 (D) 단계는,
    다음의 식을 이용하여 상기 현재 입력영상의 초해상도 복원영상을 생성하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 방법:
    Figure 112017093785138-pat00057

    여기서,
    Figure 112017093785138-pat00058
    는 t번째 현재 입력영상의 초해상도 복원영상,
    Figure 112017093785138-pat00059
    는 예측영상,
    Figure 112017093785138-pat00060
    는 단일영상 복원 결과영상,
    Figure 112017093785138-pat00061
    는 지수이동평균의 파라미터로서 상기 움직임 영역의 가중치(0≤
    Figure 112017093785138-pat00062
    ≤1)이고, 그리고, (x,y)는 각 픽셀의 좌표정보임.
  15. 제13항 및 제14항 중 어느 한 항에 있어서,
    상기 (D) 단계는,
    상기 움직이는 물체가 있는 움직임 영역에 대해서는 상기 단일영상 복원 결과영상의 비중이 상향되고, 상기 움직이는 물체가 없는 영역에 대해서는 연속영상 초해상도 복원결과인 상기 예측영상의 비중이 상향되도록 상기
    Figure 112017093785138-pat00063
    를 가변 조정하는 것을 특징으로 하는 연속영상 기반의 초해상도 영상복원 방법.
  16. 삭제
KR1020170123966A 2017-09-26 2017-09-26 연속영상 기반의 초해상도 영상복원 장치 및 방법 KR101834512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170123966A KR101834512B1 (ko) 2017-09-26 2017-09-26 연속영상 기반의 초해상도 영상복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170123966A KR101834512B1 (ko) 2017-09-26 2017-09-26 연속영상 기반의 초해상도 영상복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101834512B1 true KR101834512B1 (ko) 2018-03-06

Family

ID=61727516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123966A KR101834512B1 (ko) 2017-09-26 2017-09-26 연속영상 기반의 초해상도 영상복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101834512B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185909B1 (ko) 2020-09-11 2020-12-02 엘아이지넥스원 주식회사 다중 파장 대역 시각적 관심 지도를 이용한 딥러닝 기반 적응적 초해상도 방법
KR102188035B1 (ko) * 2020-06-04 2020-12-07 국방과학연구소 위성영상의 해상도 복원을 위한 학습 방법 및 장치
KR20220031216A (ko) 2020-09-04 2022-03-11 연세대학교 산학협력단 초해상도 기법의 적대적 공격에 강인한 초해상도 이미지 변환 장치 및 방법
KR20220055841A (ko) 2020-10-27 2022-05-04 연세대학교 산학협력단 다중 출력 아키텍처를 통한 점진적 초해상도 영상 변환 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D.Barreto et al., Motion Estimation Techniques in Super-Resolution Image Reconstruction. A Performance Evaluation, Archive Mining & Image Sequence Processing, 17P, January 2005*
D.Zhou et al., Image zooming using directional cubic convolution interpolation, IET Image Processing, 627-634, February 2012*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188035B1 (ko) * 2020-06-04 2020-12-07 국방과학연구소 위성영상의 해상도 복원을 위한 학습 방법 및 장치
KR20220031216A (ko) 2020-09-04 2022-03-11 연세대학교 산학협력단 초해상도 기법의 적대적 공격에 강인한 초해상도 이미지 변환 장치 및 방법
KR102185909B1 (ko) 2020-09-11 2020-12-02 엘아이지넥스원 주식회사 다중 파장 대역 시각적 관심 지도를 이용한 딥러닝 기반 적응적 초해상도 방법
KR20220055841A (ko) 2020-10-27 2022-05-04 연세대학교 산학협력단 다중 출력 아키텍처를 통한 점진적 초해상도 영상 변환 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101834512B1 (ko) 연속영상 기반의 초해상도 영상복원 장치 및 방법
US7925053B2 (en) Motion detection method, motion detection program, storage medium in which motion detection program is stored, and motion detection apparatus
US7418134B2 (en) Method and apparatus for foreground segmentation of video sequences
US8891905B2 (en) Boundary-based high resolution depth mapping
KR101582479B1 (ko) 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
JP5107409B2 (ja) 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法
JP5975598B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012038318A (ja) ターゲット検出方法及び装置
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
KR20090043416A (ko) 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법
KR100965800B1 (ko) 차량 영상 검지 및 속도 산출방법
CN111325667A (zh) 图像处理方法及相关产品
Wang et al. Object counting in video surveillance using multi-scale density map regression
CN111598088A (zh) 目标检测方法、装置、计算机设备及可读存储介质
Kryjak et al. Real-time implementation of foreground object detection from a moving camera using the vibe algorithm
Qin et al. GPU-accelerated video background subtraction using Gabor detector
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
JP2009163498A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
Chowdhury et al. A background subtraction method using color information in the frame averaging process
CN113793276B (zh) 根据模糊严重程度对图片分区域自适应去模糊的方法
CN114550060A (zh) 周界入侵识别方法、系统及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant