KR20090078617A - 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템 - Google Patents

주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템 Download PDF

Info

Publication number
KR20090078617A
KR20090078617A KR1020080004536A KR20080004536A KR20090078617A KR 20090078617 A KR20090078617 A KR 20090078617A KR 1020080004536 A KR1020080004536 A KR 1020080004536A KR 20080004536 A KR20080004536 A KR 20080004536A KR 20090078617 A KR20090078617 A KR 20090078617A
Authority
KR
South Korea
Prior art keywords
image
high frequency
frequency component
restoring
estimating
Prior art date
Application number
KR1020080004536A
Other languages
English (en)
Inventor
황원준
박규태
정문식
이동근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080004536A priority Critical patent/KR20090078617A/ko
Priority to US12/216,705 priority patent/US8189948B2/en
Priority to EP08160094A priority patent/EP2081151A3/en
Publication of KR20090078617A publication Critical patent/KR20090078617A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템에 관한 것으로, 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성하고, 상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사하고, 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원한다.
영상 복원, 주파수 대역, 블록, 영상 해상도 개선

Description

주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템{METHOD AND SYSTEM FOR IMAGE RESTORATION BASED ON FREQUENCY BAND IMAGE MODEL}
본 발명은 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템에 관한 것으로, 특히 저해상도의 영상으로부터 고해상도 영상을 복원할 수 있는, 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템에 관한 것이다.
저해상도 영상을 고해상도로 복원하는 기술은, 예를 들어, 보안 영상에 찍힌 사람의 얼굴이 작아서 식별이 불가능할 경우 고해상도로 복원하여 신원을 파악하는 장치, D-TV에서 저해상도로 수신된 방송 영상을 고해상도로 복원하는 장치, 군 위성 촬영 사진을 확대하는 장치 등에 이용되고 있다. 또한, 디지털 카메라에서는, 디지털 카메라에 촬영한 이미지 중 사용자가 원하는 부분을 확대하고자 할 경우에 이와 같은 저해상도의 영상을 고해상도로 복원하는 방식을 사용하고 있다.
고해상도(Super Resolution) 복원 방식은 기본적으로 복수개의 저해상도 영상의 각각의 저해상도 영상 픽셀(Pixel)을 이용하여, 한 장의 고해상도 영상을 복원해 내는 방식을 말한다. 이와 같은 방법은, 고해상도 영상으로의 복원 시에 부족한 픽셀 정보를 복수개의 타 저해상도 영상에서 벌충하는 방식이다. 이러한 고 해상도 방식에는 대표적으로 슐츠 방식(Schultz's Method)이 있으며, 이와 같은 슐츠 방식은 TV 시청 시에 영상의 화질을 개선하여 선명한 화면을 보기 위한 방법으로 사용된다. 기본적으로 저해상도 영상은 이미 알려진 인터폴레이션(Interpolation)방식 (예를 들어 바이-큐빅(bi-cubic) 등)을 이용하여 원하는 크기만큼 확대하고, 확대된 영역에서 부족한 부분은 복수의 저해상도 영상을 기반으로 하여 베이지안 룰(Bayesian Rule)을 이용하여 복원을 수행한다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 보안 카메라가 원거리에서 얼굴 영상을 촬영하여, 촬영된 얼굴 영상을 통한 신원확인이 어려운 경우에도, 저해상도의 얼굴 영상으로부터 고해상도 얼굴 영상을 복원하는 것을 목적으로 한다.
또한, 본 발명은 노이즈에 강하고 입력 영상의 특성 변화에 강인하며, 종래의 방식에서 나타나던 블록들간의 불연속성을 해소하면서 순차적으로 고주파 성분을 추론하여 질 높은 고해상도 영상을 복원하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여 본 발명의 일측에 따른 주파수 기반 영상 모델을 이용한 영상 복원 방법은, 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성하는 단계, 상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사하는 단계, 및 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는, 상기 변환 영상의 저주파 성분을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단 계이다.
본 발명의 또 다른 일측에 따르면, 상기 주파수 대역으로 변환된 원본 영상을, 블록으로 나누어진 확장된 영역으로 복사 시에 발생하는 주파수 왜곡 노이즈를 제거하는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는, 상기 변환 영상의 입력 벡터와 가장 유사한 값을 데이터베이스에서 검색하여 찾아낸 정보에 기초하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계이다.
본 발명의 또 다른 일측에 따르면, 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는, 상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계, 상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계, 및 상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는, 상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계, 상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계, 및 상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계를 포함한다.
또한, 본 발명의 일측에 따른 컴퓨터에서 판독 가능한 기록 매체는, 상기와 같은 방법 중 어느 하나의 방법을 실행하기 위한 프로그램이 기록되어 있다.
또한, 본 발명의 일측에 따른 주파수 기반 영상 모델을 이용한 영상 복원 시스템은, 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성하는 영상 변환부, 상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사하는 영상 복사부, 및 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 영상 복원부를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 영상 복원부는 상기 변환 영상의 저주파 성분을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원한다.
본 발명의 또 다른 일측에 따르면, 상기 주파수 대역으로 변환된 원본 영상 을, 블록으로 나누어진 확장된 영역으로 복사 시에 발생하는 주파수 왜곡 노이즈를 제거하는 노이즈 제거부를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 영상 복원부는 상기 변환 영상의 입력 벡터와 가장 유사한 값을 데이터베이스에서 검색하여 찾아낸 정보에 기초하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원한다.
본 발명의 또 다른 일측에 따르면, 상기 영상 복원부는 상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고, 상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고, 상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원한다.
본 발명의 또 다른 일측에 따르면, 상기 영상 복원부는 기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원한다.
본 발명의 또 다른 일측에 따르면, 상기 영상 복원부는 상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고, 상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고, 상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성 분을 추정하여 복원한다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 주파수 기반 영상 모델을 이용한 영상 복원 방법을 도시한 개념도이다. 도 1은 영상을 주파수 대역으로 전환하여, 순차적으로 복원하는 과정을 설명하고 있다.
즉, 본 발명의 일례에 따른 영상 복원 방법은, 도 1에 도시된 바와 같이, 영상 자체를 블록(Block)으로 나누지 않고, DCT(Discrete Cosine Transform) 혹은 푸리에 트랜스폼(Fourier Transform) 등을 이용하여, 영상을 주파수 대역으로 변환한 후에 주파수 대역을 블록으로 나누어 복원한다. 이때, 입력 영상을 저주파 성분으로 가정하고 나머지 고주파 성분을 순차적으로 복원하게 된다.
도 1을 참조하여 보다 상세하게 설명하면, 입력 영상(101)을 주파수 대역으로 변환(102)한 후, 주파수 대역을 확대(103, 104) 한다. 이후, 기준 블록으로부터 수평 측으로의 주파수 대역 추정(105, 106) 및 수직 측으로의 주파수 대역 추정(107, 108)을 실시하여 보다 원본 영상에 가까운 영상(109, 110)을 얻는다.
이후, 상기 수평 측으로의 주파수 대역 추정 및 수직 측으로의 주파수 대역의 추정에 기초하여, 기분 블록으로부터 대각선 방향 측으로의 주파수 대역 추 정(111, 112)을 실행한다. 최종적으로 나머지 블록들의 주파수 대역 추정(113, 114)을 통하여 최종 추정 영상을 생성하여 복원이 완료된다.
도 2는 본 발명의 일례에 따른 영상 복원 시스템의 구성도이다. 도 2를 참조하여 본 발명의 일례에 따른 영상 복원 시스템의 구성을 설명한다.
도 2에 도시된 바와 같이, 본 발명의 일례에 따른 영상 복원 시스템(200)은 영상 변환부(210), 영상 복사부(220), 노이즈 제거부(230), 및 영상 복원부(240)를 포함하여 구성된다.
영상 변환부(210)는 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성한다.
영상 복사부(220)는 상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사한다.
노이즈 제거부(230)는 상기 주파수 대역으로 변환된 원본 영상을, 블록으로 나누어진 확장된 영역으로 복사 시에 발생하는 주파수 왜곡 노이즈를 제거한다.
영상 복원부(240)는 상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원한다.
상기 영상 복원부(240)는 상기 변환 영상의 저주파 성분을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원할 수 있다.
이때, 상기 영상 복원부(240)는 상기 변환 영상의 입력 벡터와 가장 유사한 값을 데이터베이스에서 검색하여 찾아낸 정보에 기초하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원할 수 있다.
또한, 상기 영상 복원부(240)는 상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고, 상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하며, 상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원할 수 있다.
또한, 상기 영상 복원부(240)는, 기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원할 수 있다. 이와 같은 과정을 통하여, 기준 블록의 이웃 블록 및 대각선에 위치하는 블록뿐만 아니라, 영상의 보다 넓은 나머지 부분의 블록을 추정하여 복원해낼 수 있다.
도 3은 본 발명의 일례에 따른 주파수 기반 영상 모델을 이용한 영상 복원 방법을 설명한 흐름도이다. 도 3을 참조하여 본 발명의 일례에 따른 주파수 기반 영상 모델을 이용한 영상 복원 방법을 설명한다.
도 3에 도시된 바와 같이, 원본 영상이 입력되면(S310), 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성한다(S320).
이때, 원본 영상은 저해상도 영상(Low-Resolution image)이며, 영상의 크기 및 확대 비율을 알면, 기 생성된 얼굴 모델을 선택할 수 있으며, 상기 원본 영상의 주파수 대역 변환은 DCT(Discrete Cosine Transform) 혹은 푸리에 트랜스폼(Fourier Transform) 등을 통하여, 공간 영역(Spatial Domain)에 있는 저해상도 영상이 주파수 영역(Frequency Domain)으로의 변환이 이루어진다.
이후, 상기 주파수 대역을 확대한다(S325). 즉, 확대 비율에 맞추어 제로 매트릭스(Zero Matrix)를 생성하고, 상기 주파수 대역으로 변환된 값을 복사하게 된다. 예를 들어, 도 6에 도시된 본 발명의 일례에서와 같이, 4배 확대(610)를 목표로 하고 입력 영상이 32 x 24 인 경우, 그 4배에 해당하는 128 x 96 제로 매트릭스(Zero Matrix)를 생성하게 된다. 이후, 상기 생성된 저주파수 영역을 32 x 24 제로 매트릭스의 저주파수 위치(620)에 복사하게 된다.
이때, 저주파 성분만 값이 있고 나머지 부분에서는 값이 없기 때문에 노이즈가 발생할 수 있다. 따라서, 상기와 같은 주파수 영역에서의 영상 확대 시에 발생하는 노이즈를 제거하기 위한 전처리 과정을 실행하게 된다(S330).
즉, 도 7에 도시된 바와 같이 주파수 영역에서의 영상 확대(710) 시에 발생하는 노이즈를 제거(720)하게 된다.
저주파 성분을 확대된 영역에 바로 복사할 경우, 도 8에 도시된 전처리를 하지 않은 영상(830)에서와 같은 노이즈가 발생하기 때문에, 본 발명의 일실시예에서는 학습용 얼굴 데이터를 이용하여 이러한 노이즈를 제거하는 트랜스포매이션 매트릭스(Transformation Matrix)를 생성한다.
도 8에 도시된 바와 같이, 저해상도 영상 정보만으로 확대된 영상(830)과 원본 영상에서 입력 영상과 동일한 저주파수 성분만 추출한 영상의 경우, 영상 특성 이 서로 다른 것을 알 수 있다.
이러한 특성 변화를 저해상도 입력 영상의 경우 x로 표기하고 원본 영상에서 저주파수 성분만 뽑아낸 것을 y로 표기하면 도 8에 도시된 그래프와 같이 분포된다. 즉, 저해상도 입력 영상의 분산을 X 매트릭스(Matrix)로 나타내고 노이즈가 없는 원본 영상의 저해상도 부분을 Y 매트릭스(Matrix)로 표기하면 그 트랜스포매이션 매트릭스(Transformation Matrix)는 'SVD'를 이용하여 다음의 수학식 1에서와 같이 표기할 수 있다.
Figure 112008003402933-PAT00001
상기 수식을 이용해서 트랜스포매이션 매트릭스를 생성하게 되면, 새로운 입력이 들어오는 경우 그 노이즈를 제거한 그 출력 값을, 다음의 수학식 2를 이용하여 생성할 수 있다.
Figure 112008003402933-PAT00002
도 8에 도시된 바와 같이, 전처리 과정 후의 영상(860)은 전처리 과정 없이 생성된 영상(830)에 비해 눈 영역에 격자 모양의 노이즈가 제거된 것을 확인할 수 있다.
이후, 제1 주파수 대역 추정 및 제2 주파수 대역 추정을 거쳐 영상을 복원해 낼 수 있다(S340, S350).
도 4는 본 발명의 일례에 따른 제1 주파수 대역 추정 방법을 설명한 흐름도이다. 도 4를 참조하여 본 발명의 일례에 따른 제1 주파수 대역 추정 방법을 설명한다.
노이즈의 제거 이후에는, 도 9에 도시된 바와 같이 기준 블록(911)으로부터 수평 측(912)으로의 주파수 대역 추정을 실시하고(S410), 도 10에 도시된 바와 같이 기분 블록(1011)으로부터 수직 측(1012)으로의 주파수 대역 추정을 실시하며(S420), 이후 상기 수평 및 수직 측으로의 주파수 대역을 추정한 결과(1111)를 이용하여 기준 블록(911, 1011)으로부터 대각선 측(1112)으로의 주파수 대역을 추정하게 된다(S430).
이와 같은 주파수 대역을 통한 추정에 따른 영상(920, 1020, 1120) 간의 차이를 확인할 수 있으며, 특히 상기 영상(920, 1020, 1120)의 눈 분위를 확대한 영 상(930, 1030, 1130)에서 보다 확실한 차이를 확인할 수 있다.
상기와 같은 추정 방법을 보다 상세히 설명하면 다음과 같다.
저주파 입력을 이용하여 주변에 있는 고주파 성분을 추정하는 방법은, 입력 벡터와 가장 유사한 값을 트레이닝 데이터베이스(Training DB)에서 검색하고, 검색된 페어 셋(Pair Set)을 이용하여 고주파(High Frequency) 정보를 복원하게 된다. 즉, 도 12에 도시된 바와 같이, 얼굴 모델의 저해상도 부분과 그에 해당하는 주변 주파수 정보를 한 페어(Pair)로 두고 얼굴 모델을 구성하게 된다. 이때, 입력이 들어오게 되면 그 입력과 가장 유사한 페어 셋(Pair Set)을 트레이닝 데이터베이스(Training DB)에서 검색하고, 검색된 셋(Set)에서 고주파 성분을 복사하여 작업이 종료된다.
도 12에 도시된 바와 같이, 복원된 b00을 이용하여 b01과 b10을 트레이닝 데이터베이스(Training DB)에서 복원하는 과정으로 하기의 수학식 3을 이용하여 x00값을 추출한다. 이때, U00는 원본 영상의 b00 영역만을 이용해서 PCA를 수행한 결과이다. 즉, b00의 기저 벡터를 생성한 후, 그 계수값을 출력으로 얻어내는 과정이다. 이러한 기저 벡터 투영 과정은 현단계에서는 크게 역할을 하지 않지만, b00, b01, b10을 합친 b000110을 이용하여 도 17에 도시된 B11을 추론하는 과정에서는, 각 값들을 선형적으로 더한 계수값에 의해 출력하기 때문에 더 좋은 성능을 유추할 수 있다.
Figure 112008003402933-PAT00003
얼굴 모델은 트레이닝 셋(Training Set)의 U00 투영 계수값과, 주변 고 주파수(High Frequency) 값 b01, 또는 b10으로 페어 셋(Pair Set)이 구성되고, b01을 유추하는 모델인 F00은 다음의 수학식 4와 같다.
Figure 112008003402933-PAT00004
얼굴 모델과 입력값의 유사도 비교는 L1, L2 디스턴스(Distance) 등을 이용하여서 가장 근사도가 높은 값을 유추하게 된다. 이러한 과정은 도 13에 도시되어 있다.
도 13은 b01(1320), b10(1330)을 유추(추정)한 이후, b11(1340)을 추정하는 과정을 도식화하고 있다. 도 13에 도시된 바와 같이, b11(1340)의 경우 이미 유추된 b01(1320), b10(1330)을 사용해서 그 값을 추정한다. 즉, 추정된 b01(1320) 및 b10(1330) 값을 활용하여 효과적으로 b11(1340)의 고주파수(High Frequency) 값을 유추한다. b000110를 b00, b01, b10으로 이루어진 벡터로 가정하면, 상기와 같이 수행된 기저 벡터 투영 및 얼굴 모델 의 구성 시에, 개별 주파수 밴드(Frequency Band)가 아닌 3개 밴드(band)의 합인 b000110을 활용하여 시스템을 구성할 수 있으며, 이에 대한 수식은 수학식 5에 도시된 바와 같다. 다만, 참고적으로, 당해 명세서 상에서 유추와 추정은 동일하거나 유사한 의미로 사용될 수도 있다.
Figure 112008003402933-PAT00005
Figure 112008003402933-PAT00006
Figure 112008003402933-PAT00007
이 경우에 계수는 b00, b01, b10과 가장 잘 조화할 수 있는 값으로서 얼굴 모델을 구성하게 되고, 그 최종 결과 값을 채택하게 된다.
도 5는 본 발명의 일례에 따른 제2 주파수 대역 추정 방법을 설명한 흐름도이다. 도 5를 참조하여 본 발명의 일례에 따른 제2 주파수 대역 추정 방법을 설명한다.
도 14에 도시된 바와 같이 4개의 블록으로 구성된 기준 블록(1411)들로부터 수평 측(1412)으로의 주파수 대역 추정을 실시하고(S510), 도 15에 도시된 바와 같이 4개의 블록으로 구성된 기준 블록(1411)들로부터 수직 측(1512)으로의 주파수 대역 추정을 실시하며(S520), 이후 상기 수평 및 수직 측으로의 주파수 대역을 추정한 결과(1611)를 이용하여 기준 블록(1411, 1511)으로부터 대각선 측(1612)으로의 주파수 대역을 추정하게 된다(S530).
도 4에서의 제1 주파수 대역 추정 방법에 의하여, 도 17에 도시된 바와 같은 추출된 정보 B00(1710)으로 정합 이후에, 상기 제1 주파수 대역 추정 방법과 동일하게, 나머지 영역(1720, 1730)의 고주파수 밴드(High Frequency Band)를 추론하게 된다. 또한, 유추된 B01(1720) 및 B10(1730) 값을 활용하여 효과적으로 B11(1740)의 고주파수(High Frequency) 값을 유추할 수 있다.
본 발명의 일례에 따른 제2 주파수 대역 추정 방법은, 본 발명의 일례에 따른 제1 주파수 대역 추정 방법과 동일하나, 기저 벡터 및 얼굴 모델만을 달리한 추정 방법이다.
상기와 같은 제2 주파수 대역 추정 방법은, 다음의 수학식 6에 의하여 이루어진다.
Figure 112008003402933-PAT00008
도 18은 본 발명에 따른 주파수 기반 영상 모델을 이용한 영상 복원의 일례를 도시한 도면이다.
도 18에 도시된 일례에서는, 표정이 없으며 눈을 뜨고 있는 영상 모델을 사용했으므로, 웃는 얼굴의 경우에는 웃지 않는 영상으로 매핑을 하게 되며, 눈을 감은 얼굴 영상은 눈을 뜬 얼굴 영상으로 매핑이 되었다.
즉, 얼굴 모델이 정면, 무표정, 또는 눈을 뜬 상태라면, 입력으로 들어오는 영상의 얼굴(1810)이 마스크를 쓰거나, 눈을 감는 상태인 경우에도, 원본 영상(1830)과 가장 유사한 얼굴 특징을 복사하여 복원(1820)이 가능하다. 따라서, 보안 카메라가 원거리에서 얼굴 영상을 촬영하여, 촬영된 얼굴 영상을 통한 신원확인이 어려운 경우에도, 단 한 장의 영상만으로도 저해상도의 얼굴 영상을 고해상도로 복원할 수 있다.
또한, 본 발명에 따르면 양눈 좌표만 이용하여 정규화를 수행하기 때문에 노이즈에 강하고, 입력 영상을 저해상도로부터 보정하기 때문에 영상 특성 변화에 강 인하며, 단계적으로 주파수 밴드를 복원하므로 종래의 방식에서 나타나던 블록들 간의 불연속성을 해소할 수 있다.
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 이동 단말 또는 기지국의 동작의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우, 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 주파수 기반 영상 모델을 이용한 영상 복원 방법을 도시한 개념도이다.
도 2는 본 발명의 일례에 따른 영상 복원 시스템의 구성도이다.
도 3은 본 발명의 일례에 따른 주파수 기반 영상 모델을 이용한 영상 복원 방법을 설명한 흐름도이다.
도 4는 본 발명의 일례에 따른 제1 주파수 대역 추정 방법을 설명한 흐름도이다.
도 5는 본 발명의 일례에 따른 제2 주파수 대역 추정 방법을 설명한 흐름도이다.
도 6 내지 도 8은 본 발명의 일례에 따른 본 발명의 일례에 따른 주파수 기반 영상 모델을 이용한 영상 복원 방법을 설명하기 위한 도면이다.
도 9 내지 도 13은 본 발명의 일례에 따른 제1 주파수 대역 추정 방법을 설명하기 위한 도면이다.
도 14 내지 도 17은 본 발명의 일례에 따른 제2 주파수 대역 추정 방법을 설명하기 위한 도면이다.
도 18은 본 발명에 따른 주파수 기반 영상 모델을 이용한 영상 복원의 일례를 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
200: 영상 복원 시스템
210: 영상 변환부
220: 영상 복사부
230: 노이즈 제거부
240: 영상 복원부

Claims (15)

  1. 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성하는 단계;
    상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사하는 단계; 및
    상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계
    를 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  2. 제1항에 있어서,
    상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는,
    상기 변환 영상의 저주파 성분을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계
    인 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  3. 제1항에 있어서,
    상기 주파수 대역으로 변환된 원본 영상을, 블록으로 나누어진 확장된 영역으로 복사 시에 발생하는 주파수 왜곡 노이즈를 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  4. 제1항에 있어서,
    상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는,
    상기 변환 영상의 입력 벡터와 가장 유사한 값을 데이터베이스에서 검색하여 찾아낸 정보에 기초하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계
    인 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  5. 제1항에 있어서,
    상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는,
    상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계;
    상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계; 및
    상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분 을 추정하여 복원하는 단계
    를 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  6. 제1항에 있어서,
    기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  7. 제6항에 있어서,
    상기 기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 단계는,
    상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계;
    상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계; 및
    상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하 여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 단계
    를 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  9. 원본 영상을 주파수 대역으로 변환하여 변환 영상을 생성하는 영상 변환부;
    상기 변환 영상을, 상기 원본 영상이 확장되어 블록으로 나누어진 영역 중에서 어느 하나의 영역에 복사하는 영상 복사부; 및
    상기 어느 하나의 영역에 복사된 변환 영상을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 영상 복원부
    를 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  10. 제9항에 있어서,
    상기 영상 복원부는,
    상기 변환 영상의 저주파 성분을 이용하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  11. 제9항에 있어서,
    상기 주파수 대역으로 변환된 원본 영상을, 블록으로 나누어진 확장된 영역으로 복사 시에 발생하는 주파수 왜곡 노이즈를 제거하는 노이즈 제거부
    를 더 포함하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  12. 제9항에 있어서,
    상기 영상 복원부는,
    상기 변환 영상의 입력 벡터와 가장 유사한 값을 데이터베이스에서 검색하여 찾아낸 정보에 기초하여, 상기 어느 하나의 영역을 제외한 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  13. 제9항에 있어서,
    상기 영상 복원부는,
    상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고,
    상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분 을 추정하여 복원하고,
    상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  14. 제9항에 있어서,
    상기 영상 복원부는,
    기저 벡터 또는 얼굴 모델 중에서 적어도 어느 하나를 달리하여, 상기 복원된 블록 영역을 이용하여 나머지 블록 영역의 고주파 성분을 추정하여 복원하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
  15. 제14항에 있어서,
    상기 영상 복원부는,
    상기 변환 영상을 기준으로 수평 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고,
    상기 변환 영상을 기준으로 수직 방향에 위치하는 블록 영역의 고주파 성분을 추정하여 복원하고,
    상기 수평방향 및 수직방향에 위치하는 블록 영역의 고주파 성분을 이용하여, 상기 변환 영상을 기준으로 대각선 방향에 위치하는 블록 영역의 고주파 성분 을 추정하여 복원하는 것을 특징으로 하는 주파수 기반 영상 모델을 이용한 영상 복원 시스템.
KR1020080004536A 2008-01-15 2008-01-15 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템 KR20090078617A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080004536A KR20090078617A (ko) 2008-01-15 2008-01-15 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템
US12/216,705 US8189948B2 (en) 2008-01-15 2008-07-09 Method and system for image restoration using frequency-based image model
EP08160094A EP2081151A3 (en) 2008-01-15 2008-07-10 Method and system for image restoration using frequency-based image model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080004536A KR20090078617A (ko) 2008-01-15 2008-01-15 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20090078617A true KR20090078617A (ko) 2009-07-20

Family

ID=40532532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080004536A KR20090078617A (ko) 2008-01-15 2008-01-15 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템

Country Status (3)

Country Link
US (1) US8189948B2 (ko)
EP (1) EP2081151A3 (ko)
KR (1) KR20090078617A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522474B1 (ko) * 2013-12-20 2015-05-21 한국항공우주연구원 영상 해상도 개선 방법 및 영상 해상도 개선 장치
WO2017065509A3 (ko) * 2015-10-13 2017-06-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371260A1 (en) * 2014-06-19 2015-12-24 Elwha Llc Systems and methods for providing purchase options to consumers
CN108320267A (zh) * 2018-02-05 2018-07-24 电子科技大学 用于人脸图像的超分辨率处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757974A (en) * 1996-04-15 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy System and method for data compression
US6611618B1 (en) * 1997-11-13 2003-08-26 Schepens Eye Research Institute, Inc. Wide-band image enhancement
JPH11191153A (ja) * 1997-12-26 1999-07-13 Ricoh Co Ltd ウェーブレット変換係数の符号化方法
US7190840B2 (en) * 2002-01-07 2007-03-13 Hewlett-Packard Development Company, L.P. Transform coefficient compression using multiple scans
EP1349113A3 (en) * 2002-03-20 2006-01-11 Ricoh Company Image processor and image processing method
US8280180B2 (en) * 2007-12-04 2012-10-02 Hewlett-Packard Development Company, L.P. Method and system for image restoration in the spatial domain

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522474B1 (ko) * 2013-12-20 2015-05-21 한국항공우주연구원 영상 해상도 개선 방법 및 영상 해상도 개선 장치
WO2017065509A3 (ko) * 2015-10-13 2017-06-29 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10701356B2 (en) 2015-10-13 2020-06-30 Lg Electronic Inc. Image decoding method and apparatus by deriving a frequency component based on filtering in image coding system

Also Published As

Publication number Publication date
EP2081151A2 (en) 2009-07-22
US20090180705A1 (en) 2009-07-16
US8189948B2 (en) 2012-05-29
EP2081151A3 (en) 2009-10-14

Similar Documents

Publication Publication Date Title
Xie et al. Joint super resolution and denoising from a single depth image
Zhang et al. Non-local kernel regression for image and video restoration
Bhatnagar et al. A new robust reference watermarking scheme based on DWT-SVD
Kwon et al. Efficient learning of image super-resolution and compression artifact removal with semi-local Gaussian processes
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
KR100948385B1 (ko) 프레임 해상도 향상 방법 및 장치
US20140072242A1 (en) Method for increasing image resolution
Chang et al. Single image super resolution using joint regularization
KR101829287B1 (ko) 비부표본 윤곽선 변환의 적외선 영상 초고해상도 방법 및 장치
Liang et al. Improved non-local iterative back-projection method for image super-resolution
Mhala et al. Contrast enhancement of progressive visual secret sharing (pvss) scheme for gray-scale and color images using super-resolution
Makwana et al. Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior
Vishnukumar et al. Single image super-resolution based on compressive sensing and improved TV minimization sparse recovery
KR20090078617A (ko) 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템
Ying et al. Learning wavelet coefficients for face super-resolution
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
Wang et al. Super resolution reconstruction via multiple frames joint learning
Nakashika et al. High-frequency restoration using deep belief nets for super-resolution
Rohit et al. A robust face hallucination technique based on adaptive learning method
JP2009169932A (ja) 周波数基盤の映像モデルを用いた映像復元方法およびシステム
CN106204445A (zh) 基于结构张量全变差的图像视频超分辨率方法
Aguena et al. Generalization of iterative restoration techniques for super-resolution
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
Hamdan et al. Example‐based face image super‐resolution taking into consideration correspondence of facial parts
CN115908144B (zh) 基于随机小波注意力的图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid