KR101347616B1 - 초해상도 영상복원 장치 및 방법 - Google Patents

초해상도 영상복원 장치 및 방법 Download PDF

Info

Publication number
KR101347616B1
KR101347616B1 KR1020110144298A KR20110144298A KR101347616B1 KR 101347616 B1 KR101347616 B1 KR 101347616B1 KR 1020110144298 A KR1020110144298 A KR 1020110144298A KR 20110144298 A KR20110144298 A KR 20110144298A KR 101347616 B1 KR101347616 B1 KR 101347616B1
Authority
KR
South Korea
Prior art keywords
image
resolution
super
object image
vector data
Prior art date
Application number
KR1020110144298A
Other languages
English (en)
Other versions
KR20130075957A (ko
Inventor
윤강준
윤상민
이의철
김치중
Original Assignee
기초과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원 filed Critical 기초과학연구원
Priority to KR1020110144298A priority Critical patent/KR101347616B1/ko
Publication of KR20130075957A publication Critical patent/KR20130075957A/ko
Application granted granted Critical
Publication of KR101347616B1 publication Critical patent/KR101347616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 초해상도 영상복원 장치 및 방법에 관한 것으로서, 본 발명의 초해상도 영상복원 장치는, 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하여 획득하는 부분 영상 분할부; 상기 부분 영상으로부터 상기 객체의 영상을 추출하여 상기 객체 영상을 벡터 데이터로 변환하는 객체 영상 추출부; 상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 트레이닝 모듈; 및 상기 초해상도 객체 영상을 상기 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 영상 합성부를 포함한다. 이에 의해, 입력된 영상에서 배경 영상으로부터 객체 영상을 추출하여 고해상도로 복원하고 복원된 고해상도의 객체형상을 입력 영상의 배경 영상에 합성하여 영상을 복원함으로써, 전체 입력 영상을 고해상도로 복원하기 위해 발생하는 데이터 량을 감소시키는 한편, 복원된 영상에서 배경으로 인해 객체가 왜곡되는 현상을 방지하여 객체를 선명하게 표시함으로써 입력 영상에 포함된 중요 정보를 용이하게 식별할 수 있고 현실감 있는 고해상도 영상을 복원할 수 있다.

Description

초해상도 영상복원 장치 및 방법{APPARATUS AND METHOD OF RECONSTRUCTING SUPER-RESOULTION IMAGE}
본 발명은 초해상도 영상복원 장치 및 방법에 관한 것으로서, 보다 상세하게는 입력된 영상에서 배경 영상으로부터 객체 영상을 추출하여 고해상도로 복원하고 복원된 고해상도의 객체형상을 입력 영상의 배경 영상에 합성하여 영상을 복원함으로써, 전체 입력 영상을 고해상도로 복원하기 위해 발생하는 데이터 량을 감소시키는 한편, 복원된 영상에서 배경으로 인해 객체가 왜곡되는 현상을 방지하여 객체를 선명하게 표시함으로써 입력 영상에 포함된 중요 정보를 용이하게 식별할 수 있고 현실감 있는 고해상도 영상을 복원하는 초해상도 영상복원 장치 및 방법에 관한 것이다.
최근 영상복원기술은 감시카메라 판독, CG을 이용한 영화제작, 모바일 영상전송 및 복원 등에서 핵심기술로서 다양한 콘텐츠 산업에서 고부가가치를 창출하고 있다.
특정 영상으로부터 고해상도 영상을 획득하기 위한 기존의 복원기술은, 미리 다수의 저해상도 영상들을 트레이닝(training)하여 고해상도와 저해상도 간의 쌍을 트레이닝 매트릭스로 저장해 두고, 입력된 저해상도의 영상을 구성하는 각 영상 패치마다 이미 저장되어 있는 패치 쌍을 이용하여 고해상도의 영상을 복원한다.
여기서, 기존의 복원기술은 입력 영상 전체에 대해 단일한 배율의 복원 알고리즘을 반복적으로 적용한다. 이와 같이 입력 영상 전체를 단일 알고리즘으로 복원하는 경우, 배율이 높아질수록 일그러짐이나 흐림 현상 등이 발생하게 된다. 이에, 입력 영상에 포함된 객체와 배경 등에 왜곡이 발생하여 선명하고 현실감 있는 고해상도 영상을 획득하는데 한계가 있다.
또한, 입력 영상의 복원을 위해 영상 내에서 의미 없는 배경부분에 대해서도 다양한 배경으로부터 얻어진 데이터로 트레이닝 과정을 수행해야 하므로 사용 데이터 량이 증가하여 트레이닝 매트릭스의 성능이 약화되는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 입력된 영상에서 배경 영상으로부터 객체 영상을 추출하여 고해상도로 복원하고 복원된 고해상도의 객체형상을 입력 영상의 배경 영상에 합성하여 영상을 복원함으로써, 전체 입력 영상을 고해상도로 복원하기 위해 발생하는 데이터 량을 감소시키는 한편, 복원된 영상에서 배경으로 인해 객체가 왜곡되는 현상을 방지하여 객체를 선명하게 표시함으로써 입력 영상에 포함된 중요 정보를 용이하게 식별할 수 있고 현실감 있는 고해상도 영상을 복원하는 초해상도 영상복원 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
상술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하여 획득하는 부분 영상 분할부; 상기 부분 영상으로부터 상기 객체의 영상을 추출하여 상기 객체 영상을 벡터 데이터로 변환하는 객체 영상 추출부; 상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 트레이닝 모듈; 및 상기 초해상도 객체 영상을 상기 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 영상 합성부를 포함하는 초해상도 영상복원 장치가 제공된다.
여기서, 상기 객체 영상 추출부는, 에이다부스트(Adaboost) 기술, 컬러 세그멘테이션(color segmentation) 기술 중 적어도 어느 하나의 영상 추출 기술을 이용하여 상기 부분 영상에 포함된 객체의 영상을 추출할 수 있다.
그리고, 상기 트레이닝 모듈은, 압축 센싱(Compressive Sensing) 기술을 이용하여 생성된 트레이닝 매트릭스를 상기 벡터 데이터로 변환된 객체 영상에 적용하여 상기 초해상 객체 영상을 생성할 수 있다.
그리고, 상기 트레이닝 매트릭스는 임의의 고해상도 영상
Figure 112011104295210-pat00001
를 각각 r배, s배, t배(r<s<t) 배율로 다운 샘플링하여 얻어진 영상
Figure 112011104295210-pat00002
에 대해서
Figure 112011104295210-pat00003
를 만족하는 특성을 지니도록 트레이닝 된 A 행렬을 포함할 수 있다.
한편, 상기 객체 영상 추출부는, 다음의 [수학식 1]에 따라 상기 객체 영상을 추출할 수 있다.
[수학식 1]
Figure 112011104295210-pat00004
(여기서, P는 이미지의 픽셀에 대응하는 RGB 값이나 그레이(gray) 값을 행벡터 혹은 행렬로 변환하는 오퍼레이터(operator),
Figure 112011104295210-pat00005
은 객체 영역,
Figure 112011104295210-pat00006
는 객체 영상의 벡터 데이터를 뜻함)
여기서, 상기 트레이닝 모듈은,
다음의 [수학식 2]에 따라 상기 초해상 객체 영상을 생성할 수 있다.
[수학식 2]
Figure 112011104295210-pat00007
(여기서,
Figure 112011104295210-pat00008
,
Figure 112011104295210-pat00009
는 초해상도 객체 영상을 뜻함)
상술한 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하는 단계; 상기 부분 영상으로부터 상기 객체의 영상을 추출하는 단계; 추출된 상기 객체 영상을 벡터 데이터로 변환하는 단계; 상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계; 및 상기 초해상도 객체 영상을 상기 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 단계를 포함하는 초해상도 영상복원 방법이 제공된다.
여기서, 상기 부분 영상으로부터 상기 객체의 영상을 추출하는 단계는, 에이다부스트(Adaboost) 기술, 컬러 세그멘테이션(color segmentation) 기술 중 적어도 어느 하나의 영상 추출 기술을 이용하여 상기 객체의 영상을 추출하는 단계를 포함할 수 있다.
그리고, 상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계는, 압축 센싱(Compressive Sensing) 기술을 이용하여 생성된 트레이닝 매트릭스를 상기 벡터 데이터로 변환된 객체 영상에 적용하여 상기 초해상 객체 영상을 생성하는 단계를 포함할 수 있다.
그리고, 상기 트레이닝 매트릭스는 임의의 고해상도 영상
Figure 112011104295210-pat00010
를 각각 r배, s배, t배(r<s<t) 배율로 다운 샘플링하여 얻어진 영상
Figure 112011104295210-pat00011
에 대해서
Figure 112011104295210-pat00012
를 만족하는 특성을 지니도록 트레이닝 된 A 행렬을 포함할 수 있다.
한편, 상기 추출된 상기 객체 영상을 벡터 데이터로 변환하는 단계는, 다음의 [수학식 1]에 따라 상기 객체 영상을 벡터 데이터로 변환하는 단계를 포함할 수 있다.
[수학식 1]
Figure 112011104295210-pat00013
(여기서, P는 이미지의 픽셀에 대응하는 RGB 값이나 그레이(gray) 값을 행벡터 혹은 행렬로 변환하는 오퍼레이터(operator),
Figure 112011104295210-pat00014
은 객체 영역,
Figure 112011104295210-pat00015
는 객체 영상의 벡터 데이터를 뜻함)
여기서, 상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계는, 다음의 [수학식 2]에 따라 상기 초해상 객체 영상을 생성하는 단계를 포함할 수 있다.
[수학식 2]
Figure 112011104295210-pat00016
(여기서,
Figure 112011104295210-pat00017
,
Figure 112011104295210-pat00018
는 초해상도 객체 영상을 뜻함)
상술한 바와 같이 본 발명의 초해상도 영상복원 장치 및 방법은, 입력된 영상에서 배경 영상으로부터 객체 영상을 추출하여 고해상도로 복원하고 복원된 고해상도의 객체형상을 입력 영상의 배경 영상에 합성하여 영상을 복원함으로써, 전체 입력 영상을 고해상도로 복원하기 위해 발생하는 데이터 량을 감소시키는 한편, 복원된 영상에서 배경으로 인해 객체가 왜곡되는 현상을 방지하여 객체를 선명하게 표시함으로써 입력 영상에 포함된 중요 정보를 용이하게 식별할 수 있고 현실감 있는 고해상도 영상을 복원할 수 있다.
도 1은 본 발명의 실시예에 따른 초해상도 영상복원 장치의 제어 블럭도,
도 2는 본 발명의 실시예에 따른 초해상도 영상복원 방법의 흐름도,
도 3은 본 발명의 실시예에 따른 초해상도 영상복원 방법에 따른 영상 복원 상태도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 초해상도 영상복원 장치의 제어 블럭도이다.
도 1에 도시된 바와 같이, 초해상도 영상복원 장치는 복원 대상 영상이 입력되는 영상 입력부(110)와, 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하여 획득하는 부분 영상 분할부(120)와, 부분 영상으로부터 객체 영상을 추출하는 객체 영상 추출부(130)와, 추출된 객체 영상을 트레이닝하여 초해상도 객체 영상을 생성하는 트레이닝 모듈(140) 및 초해상도 객체 영상을 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 영상 합성부(150)를 포함한다.
영상 입력부(110)는 CCTV나 카메라 등의 영상 촬영 장치를 통해 생성된 영상을 입력 받는다. 입력되는 영상은 촬영 대상인 특정 객체(target object)와 그 외의 부분인 배경을 포함할 수 있다.
부분 영상 분할부(120)는 입력 영상(I)에서 특정 객체(target object)를 포함하는 부분 영상을 배경 영상으로부터 분할한다.
객체 영상 추출부(130)는 부분 영상에서 객체영역(
Figure 112013042963080-pat00019
)을 추출한다. 객체 영상을 추출하는 데에는, 영상 내 특정 영역을 분할 및 추출을 위해 사용되는 세그멘테이션(segmentation) 기술 등이 적용될 수 있다. 세그멘테이션(segmentation) 기술로는 Adaboost(Adaptive Boosting)방법을 통한 얼굴 영역 검출 기술과 피부색 기반의 컬러 세그멘테이션(color segmentation) 기술 등을 들 수 있다. 여기서, Adaboost 기술은 다수개의 약한 분류기 (Weak Classifier)를 결합함으로써 정확도가 높은 강한 분류기(Strong Classifier)를 찾는 부스팅(Boosting) 알고리즘 중 대표적인 알고리즘이다. 이러한 Adaboost 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출하여 실시간으로 동작이 가능하다.
객체 영상 추출부(130)는 추출된 객체 영상에 대해 정규화 작업을 수행하여 객체 영상 데이터를 벡터 형태로 변환한다. 즉, 객체의 각 픽셀 위치(pixel position)를 정의구역으로 하여 각 픽셀의 RGB 값이나 그레이(gray) 값으로 구성된 행렬
Figure 112011104295210-pat00020
을 구성한다. 여기서, 행렬
Figure 112011104295210-pat00021
는 다음의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112011104295210-pat00022
여기서 P는 이미지의 픽셀에 대응하는 RGB 값이나 그레이(gray) 값을 행벡터 혹은 행렬로 변환하는 오퍼레이터(operator)로 1 대일 1 대응되는 전단사 함수의 형태를 갖는다.
트레이닝 모듈(140)은 [수학식 1]을 통해 얻어진 객체 영상에 해당되는 행벡터 혹은 행렬
Figure 112011104295210-pat00023
을 사전에 만들어진 트레이닝 매트릭스 A(training matrix A)에 적용하여 초해상도 벡터(super-resolution vector, SR vector)
Figure 112011104295210-pat00024
를 산출한다(
Figure 112011104295210-pat00025
).
이 후, 트레이닝 모듈(140)은 픽셀 위치(pixel position)에
Figure 112011104295210-pat00026
의 성분을 대입하여 초해상도 객체 영상
Figure 112011104295210-pat00027
을 생성한다. 이를 수식으로 나타내면 다음의 [수학식 2]와 같다.
Figure 112011104295210-pat00028
여기서, 트레이닝 매트릭스 A(training matrix A)는 압축 센싱(Compressive Sensing) 기술을 적용하여 생성할 수 있다. 압축 센싱(Compressive Sensing) 기술을 적용하는 경우 트레이닝 매트릭스 A(training matrix A)는 고해상도 영상
Figure 112011104295210-pat00029
를 각각 r배, s배, t배 배율(r<s<t)로 다운 샘플링(down sampling)하여 얻어진 영상들
Figure 112011104295210-pat00030
에 대해서
Figure 112011104295210-pat00031
(이를
Figure 112011104295210-pat00032
라 표기함.)를 만족하는 특성을 지니도록 트레이닝 된 행렬이다.
트레이닝 매트릭스 A(training matrix A)를 만들기 위해서 먼저 다수의 고해상도 영상들
Figure 112011104295210-pat00033
(여기서
Figure 112011104295210-pat00034
는 고해상도 영상
Figure 112011104295210-pat00035
을 오퍼레이터 P에 적용하여(
Figure 112011104295210-pat00036
), 얻어진 행벡터 또는 행렬들이다.)
이에, 벡터
Figure 112011104295210-pat00037
에 대해서 r배, s배, t배 다운 샘플링(down sampling)하여
Figure 112011104295210-pat00038
를 생성한 후, 각각의 영상에 대해서 다음의 [수학식 3]을 만족하도록 트레이닝 매트릭스 A(training matrix A)를 설정한다.
Figure 112011104295210-pat00039
즉, 행렬들의 거리를 측정해주는 norm
Figure 112011104295210-pat00040
에 다음의 [수학식 4]와 같은 최적화 문제(optimization problem)을 통하여 트레이닝 매트릭스 A(training matrix A)를 생성한다.
Figure 112011104295210-pat00041
영상 합성부(150)는 트레이닝 모듈(140)에서 생성된 고해상도 객체 영상
Figure 112011104295210-pat00042
을 입력 영상 I에 병합시켜, 최종적으로 객체 영상이 고해상당도로 복원된 영상을 얻는다.
이러한 구성에 따라, 본 발명의 실시예에 따른 초해상도 영상 복원 장치는 입력 영상에 포함된 객체에 대해 압축 센싱(Compressive Sensing) 기술을 적용하여 생성한 트레이닝 매트릭스 A(training matrix A)를 적용하여 초해상도로 복원하고, 초해상도로 복원된 객체의 영상을 입력 영상의 배경과 합성하여 복원된 영상을 획득하고 있다.
이에 따라, CCTV나 카메라 등을 통하여 얻은 영상에서 특정 객체에 대한 저해상 비율(down scale rate)에 관계없이 초해상도(super resolution, SR) 객체 영상을 복원할 수 있으며, 주어진 영상의 객체부분만을 추출하여 고해상도복원을 하기에 배경으로부터 오는 왜곡을 방지하고 객체 영상의 특징(spatial properties)을 최대한 살리는 장점으로 인하여 기존의 트레이닝 매트릭스를 이용할 때 발생하는 배경으로부터 특정영역의 변형이나 데이터의 확장 등의 문제를 방지할 수 있다.
도 2는 본 발명의 실시예에 따른 초해상도 영상복원 방법의 흐름도이다.
초해상도 영상복원 장치는 영상 입력부(110)를 통해 복원 대상 영상을 입력 받는다(S210).
초해상도 영상복원 장치는 부분 영상 분할부(120)를 통해 입력된 영상으로부터 특정 객체를 포함하는 부분 영상을 배경 영상으로부터 분할한다(S220).
이 후, 객체 영상 추출부(130)에서 부분 영상에 포함된 객체 영상을 추출하고(S230), 추출된 객체 영상을 정규화하여 행벡터 혹은 행렬로 변환한다(S240).
초해상도 영상복원 장치의 트레이닝 모듈(140)은 객체 영상의 행벡터 혹은 행렬에 기 저장된 트레이닝 매트릭스를 적용하여 초해상도 객체 영상으로 복원한다(S240). 여기서, 트레이닝 매트릭스는 압축 센싱(Compressive Sensing) 기술을 적용하여 미리 설정할 수 있다. 압축 센싱(Compressive Sensing) 기술을 적용한 트레이닝 매트릭스를 적용하는 경우 배율의 정도에 관계없이 바로 일그러짐이나 흐려짐 없는 고해상도 영상을 복원할 수 있다.
영상 합성부(150)는 초해상도 객체 영상과 배경 영상을 합성하여 복원영상을 생성한다(S250). 이에 따라, 상대적으로 중요도가 낮은 배경 영상에 비해 객체 영상이 선명하게 복원되어 현실감 있는 고해상도 영상 복원이 가능하다.
도 3은 본 발명의 실시예에 따른 초해상도 영상복원 방법에 따른 영상 복원 상태도로서, 얼굴을 포함하는 영상을 복원하는 과정을 예시한 것이다.
입력된 영상에서 얼굴이 포함된 부분 영상을 분할해 낸다(S310).
부분 영상으로부터 특정 객체인 얼굴을 인식하고(S320), 얼굴 영상을 추출해 낸다(S330). 얼굴 영상을 추출해 내는 데에는 널리 사용되고 있는 세그멘테이션(segmentation) 기술 등 다양한 얼굴 추출 기술이 적용될 수 있다. 여기서, 세그멘테이션(segmentation) 기술의 예로 공지된 Adaboost(Adaptive Boosting)방법을 적용하는 경우, 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출할 수 있다.
추출된 얼굴 영상을 초해상도로 복원한다(S340). 여기서, 얼굴 영상을 복원하는 데에는 압축 센싱(Compressive Sensing) 기술을 적용하여 미리 설정한 트레이닝 매트릭스 A(training matrix A)를 적용할 수 있다.
초해상도로 복원된 얼굴 영상을 입력된 영상과 합성하여 복원영상을 생성한다(S350).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 초해상도 영상복원 장치 및 방법은 영상 내에 의미 있는 객체만을 배율에 관계없이 바로 고해상도 영상으로 복원하여 선명하고 현실감 있는 고해상도 영상을 획득할 수 있도록 함으로써, 감시카메라에서 얼굴을 인식하거나, 의료영상에서의 특이점 검출 및 진단하고, 영화, 모바일 영상 등 다양한 미디어 산업 영역에서 영상을 전송 및 복원하는 데에 이용할 수 있다.
110 : 영상 입력부 120 : 부분 영상 분할부
130 : 객체 영상 추출부 140 : 트레이닝 모듈
150 : 영상 합성부

Claims (12)

  1. 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하여 획득하는 부분 영상 분할부;
    상기 부분 영상으로부터 상기 객체의 영상을 추출하여 상기 객체 영상을 벡터 데이터로 변환하는 객체 영상 추출부;
    상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 트레이닝 모듈; 및
    상기 초해상도 객체 영상을 상기 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 영상 합성부를 포함하되,
    상기 트레이닝 모듈은,
    압축 센싱(Compressive Sensing) 기술을 이용하여 생성된 트레이닝 매트릭스를 상기 벡터 데이터로 변환된 객체 영상에 적용하여 상기 초해상도 객체 영상을 생성하는 것을 특징으로 하는 초해상도 영상복원 장치.
  2. 제1항에 있어서,
    상기 객체 영상 추출부는,
    에이다부스트(Adaboost) 기술, 컬러 세그멘테이션(color segmentation) 기술 중 적어도 어느 하나의 영상 추출 기술을 이용하여 상기 부분 영상에 포함된 객체의 영상을 추출하는 것을 특징으로 하는 초해상도 영상복원 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 트레이닝 매트릭스는 임의의 고해상도 영상
    Figure 112013042963080-pat00043
    를 각각 r배, s배, t배(r<s<t) 배율로 다운 샘플링하여 얻어진 영상
    Figure 112013042963080-pat00044
    에 대해서
    Figure 112013042963080-pat00045
    를 만족하는 특성을 지니도록 트레이닝 된 A 행렬을 포함하는 것을 특징으로 하는 초해상도 영상복원 장치.
  5. 제1항에 있어서,
    상기 객체 영상 추출부는,
    다음의 [수학식 1]에 따라 상기 객체 영상을 추출하는 것을 특징으로 하는 초해상도 영상복원 장치.
    [수학식 1]
    Figure 112011104295210-pat00046

    (여기서, P는 이미지의 픽셀에 대응하는 RGB 값이나 그레이(gray) 값을 행벡터 혹은 행렬로 변환하는 오퍼레이터(operator),
    Figure 112011104295210-pat00047
    은 객체 영역,
    Figure 112011104295210-pat00048
    는 객체 영상의 벡터 데이터를 뜻함)
  6. 제5항에 있어서,
    상기 트레이닝 모듈은,
    다음의 [수학식 2]에 따라 상기 초해상도 객체 영상을 생성하는 것을 특징으로 하는 초해상도 영상복원 장치.
    [수학식 2]
    Figure 112013042963080-pat00049

    (여기서,
    Figure 112013042963080-pat00050
    ,
    Figure 112013042963080-pat00051
    는 초해상도 객체 영상, F-1 는 초해상도 객체영상 생성함수, x=Av는 초해상도 벡터, A는 트레이닝 매트릭스, v는 객체 영상에 해당되는 행렬임.)
  7. 입력 영상에서 대상이 되는 객체를 포함하는 부분 영상을 배경 영상으로부터 분할하는 단계;
    상기 부분 영상으로부터 상기 객체의 영상을 추출하는 단계;
    추출된 상기 객체 영상을 벡터 데이터로 변환하는 단계;
    상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계; 및
    상기 초해상도 객체 영상을 상기 입력 영상의 배경 영상에 합성하여 복원 영상을 생성하는 단계를 포함하되,
    상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계는,
    압축 센싱(Compressive Sensing) 기술을 이용하여 생성된 트레이닝 매트릭스를 상기 벡터 데이터로 변환된 객체 영상에 적용하여 상기 초해상도 객체 영상을 생성하는 단계를 포함하는 초해상도 영상복원 방법.
  8. 제7항에 있어서,
    상기 부분 영상으로부터 상기 객체의 영상을 추출하는 단계는,
    에이다부스트(Adaboost) 기술, 컬러 세그멘테이션(color segmentation) 기술 중 적어도 어느 하나의 영상 추출 기술을 이용하여 상기 객체의 영상을 추출하는 단계를 포함하는 초해상도 영상복원 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 트레이닝 매트릭스는 임의의 고해상도 영상
    Figure 112011104295210-pat00052
    를 각각 r배, s배, t배(r<s<t) 배율로 다운 샘플링하여 얻어진 영상
    Figure 112011104295210-pat00053
    에 대해서
    Figure 112011104295210-pat00054
    를 만족하는 특성을 지니도록 트레이닝 된 A 행렬을 포함하는 것을 특징으로 하는 초해상도 영상복원 방법.
  11. 제7항에 있어서,
    상기 추출된 상기 객체 영상을 벡터 데이터로 변환하는 단계는,
    다음의 [수학식 1]에 따라 상기 객체 영상을 벡터 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 초해상도 영상복원 방법.
    [수학식 1]
    Figure 112011104295210-pat00055

    (여기서, P는 이미지의 픽셀에 대응하는 RGB 값이나 그레이(gray) 값을 행벡터 혹은 행렬로 변환하는 오퍼레이터(operator),
    Figure 112011104295210-pat00056
    은 객체 영역,
    Figure 112011104295210-pat00057
    는 객체 영상의 벡터 데이터를 뜻함)
  12. 제11항에 있어서,
    상기 벡터 데이터로 변환된 객체 영상을 기 설정된 트레이닝 매트릭스를 이용하여 트레이닝하여 초해상도 객체 영상을 생성하는 단계는,
    다음의 [수학식 2]에 따라 상기 초해상도 객체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 초해상도 영상복원 방법.
    [수학식 2]
    Figure 112013042963080-pat00058

    (여기서,
    Figure 112013042963080-pat00059
    ,
    Figure 112013042963080-pat00060
    는 초해상도 객체 영상, F-1 는 초해상도 객체영상 생성함수, x=Av는 초해상도 벡터, A는 트레이닝 매트릭스, v는 객체 영상에 해당되는 행렬임.)
KR1020110144298A 2011-12-28 2011-12-28 초해상도 영상복원 장치 및 방법 KR101347616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110144298A KR101347616B1 (ko) 2011-12-28 2011-12-28 초해상도 영상복원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110144298A KR101347616B1 (ko) 2011-12-28 2011-12-28 초해상도 영상복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130075957A KR20130075957A (ko) 2013-07-08
KR101347616B1 true KR101347616B1 (ko) 2014-01-16

Family

ID=48989654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110144298A KR101347616B1 (ko) 2011-12-28 2011-12-28 초해상도 영상복원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101347616B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101410985B1 (ko) * 2013-11-27 2014-07-04 주식회사 휴먼시스템 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
KR101716111B1 (ko) * 2015-12-04 2017-03-15 충북대학교 산학협력단 이물질 검출 시스템 및 방법
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN112584075B (zh) * 2019-09-28 2022-12-02 安翰科技(武汉)股份有限公司 基于图像分辨率的图像传输方法及系统
CN111415299B (zh) * 2020-03-26 2023-03-28 浙江科技学院 一种高分辨率图像风格迁移方法
KR102337140B1 (ko) 2020-09-17 2021-12-08 성균관대학교산학협력단 영상 복원 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074204A (ko) * 2006-01-07 2007-07-12 삼성전자주식회사 특정 객체를 고해상도로 이미지 처리하는 프린터 드라이버및 이미지 처리 방법
US20080170784A1 (en) 2007-01-12 2008-07-17 Michael Guerzhoy Method And Apparatus For Detecting Objects In An Image
KR20080069084A (ko) * 2007-01-22 2008-07-25 삼성전자주식회사 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법
KR20100036475A (ko) * 2008-09-30 2010-04-08 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074204A (ko) * 2006-01-07 2007-07-12 삼성전자주식회사 특정 객체를 고해상도로 이미지 처리하는 프린터 드라이버및 이미지 처리 방법
US20080170784A1 (en) 2007-01-12 2008-07-17 Michael Guerzhoy Method And Apparatus For Detecting Objects In An Image
KR20080069084A (ko) * 2007-01-22 2008-07-25 삼성전자주식회사 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법
KR20100036475A (ko) * 2008-09-30 2010-04-08 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513033A (zh) * 2015-12-07 2016-04-20 天津大学 一种非局部联合稀疏表示的超分辨率重建方法

Also Published As

Publication number Publication date
KR20130075957A (ko) 2013-07-08

Similar Documents

Publication Publication Date Title
KR101347616B1 (ko) 초해상도 영상복원 장치 및 방법
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
US11276231B2 (en) Semantic deep face models
US8982180B2 (en) Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
EP2676224B1 (en) Image quality assessment
US8472745B2 (en) Image processing method, apparatus, program, and recording medium for the same
US8723959B2 (en) Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
JP2017204673A (ja) 画像処理装置、画像処理方法及びプログラム
JP7419080B2 (ja) コンピュータシステムおよびプログラム
US20170116741A1 (en) Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
Singh et al. Feature based method for human facial emotion detection using optical flow based analysis
JP2021120814A (ja) 学習プログラム、学習方法、及び情報処理装置
US20170091593A1 (en) Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium
Petrovic Multilevel image fusion
CN109063601A (zh) 唇纹检测方法、装置、计算机设备和存储介质
Patel et al. Deepfake video detection using neural networks
Jamil et al. Improved face recognition on video surveillance images using pose correction
Kawai et al. VAE/WGAN-based image representation learning for pose-preserving seamless identity replacement in facial images
KR102395165B1 (ko) X-ray 영상의 예외 프레임 분류 장치 및 방법
KR102570081B1 (ko) 딥러닝 알고리즘을 이용하여 지문중첩영상에서 지문을 분리하는 방법 및 그 장치
Loza et al. Methods for fused image analysis and assessment
Prasad et al. Digital Image Enhancement using Conventional Neural Network
KR102312936B1 (ko) 소나 영상에서 표적식별을 위한 전단변형을 고려한 특징점 추출 방법 및 장치
Tian et al. Resolution enhancement in single depth map and aligned image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161115

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181127

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 7