KR102132690B1 - 초고해상도 영상 복원 시스템 - Google Patents

초고해상도 영상 복원 시스템 Download PDF

Info

Publication number
KR102132690B1
KR102132690B1 KR1020190011587A KR20190011587A KR102132690B1 KR 102132690 B1 KR102132690 B1 KR 102132690B1 KR 1020190011587 A KR1020190011587 A KR 1020190011587A KR 20190011587 A KR20190011587 A KR 20190011587A KR 102132690 B1 KR102132690 B1 KR 102132690B1
Authority
KR
South Korea
Prior art keywords
face recognition
resolution image
ultra
high resolution
image reconstruction
Prior art date
Application number
KR1020190011587A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190011587A priority Critical patent/KR102132690B1/ko
Application granted granted Critical
Publication of KR102132690B1 publication Critical patent/KR102132690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

초고해상도 영상 복원 시스템은 입력 영상에 복수의 고해상도 영상 복원 알고리즘과 복수의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 정확도를 비교하여 가장 복원 성능이 좋은 고해상도 영상 복원 알고리즘과 얼굴 인식 패턴 기술을 선택하며, 모니터링 시스템에 적용 시 고해상도 복원 영상이 원본 입력 영상과 유사하며, 고해상도의 얼굴 인식 정확도가 원본 영상의 얼굴 인식 정확도에 더 가깝게 되는 효과가 있다.

Description

초고해상도 영상 복원 시스템{System for Reconstructing Image Super Resolution}
본 발명은 영상 복원 시스템에 관한 것으로서, 특히 입력 영상에 복수의 고해상도 영상 복원 알고리즘과 복수의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 정확도를 비교하여 가장 복원 성능이 좋은 고해상도 영상 복원 알고리즘과 얼굴 인식 패턴 기술을 선택하는 초고해상도 영상 복원 시스템에 관한 것이다.
시각적 감시 시스템은 공공 보안 감시의 최신 패러다임이며, 차량, 복도, 교통 신호등에 배치된 다양한 카메라를 통해 캡쳐된 시각 데이터를 사용한다.
시각적 감시 시스템은 카메라로부터 멀리 떨어진 객체에 대한 해상도가 낮아지며, 이로 인하여 저해상도 객체의 인식 정확도가 떨어지는 문제점이 있다.
초고해상도(Super Resolution, SR) 방법은 낮은 해상도의 영상 화질을 향상시켜 높은 해상도의 영상 화질로 만드는 것으로 꾸준히 연구되어온 영상 복원 분야 중 하나이다.
초고해상도 영상 복원 방법은 크게 하나 또는 여러 장의 저해상도 영상을 사용하여 하나의 고해상도 영상을 만드는 것이다. 대부분의 방법들은 고해상도 영상에서 저해상도 영상이 얻어지는 과정을 모델링하여 수식으로 표현한 후 이를 풀어서 복원한다. 적은 개수의 화소들로 많은 화소를 채워야 하므로 불충분한 결정 밖에 내리지 못하여 정확한 답을 구할 수 없는 문제점이 있다.
다양한 SR 방법은 크게 보간 기반 방법, 다중 프레임 기반 방법, 예제 기반 방법으로 크게 3가지 범주로 나눌 수 있다.
초고해상도 영상 복원 방법은 Bicubic 보간법으로 계산의 복잡도가 낮다는 이점이 있으나 흐림 현상이 나타나는 문제점이 있다.
복원 기반 초고해상도 영상 복원 방법은 복원 과정에서 발생하는 오차를 반복법을 이용하여 최소화하는 장점이 있으나 에지를 따라 재기(Jaggy) 형태의 변형이 일어날 수 있다.
학습 기반 초고해상도 영상 복원 방법은 사전에 저해상도 영상과 고해상도 영상을 학습한 후 이를 이용하여 고해상도 영상으로 복원하는 방법이다. 그러나 이러나 방법도 많은 양의 학습 데이터를 필요로 하는 단점이 있다.
한국 등록특허번호 제10-1427854호
이와 같은 문제점을 해결하기 위하여, 본 발명은 입력 영상에 복수의 고해상도 영상 복원 알고리즘과 복수의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 정확도를 비교하여 가장 복원 성능이 좋은 고해상도 영상 복원 알고리즘과 얼굴 인식 패턴 기술을 선택하는 초고해상도 영상 복원 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 초고해상도 영상 복원 시스템은,
일정 크기의 입력 영상을 입력받는 입력부;
상기 입력된 입력 영상을 각각 다른 크기로 다운 샘플링을 수행하는 다운 샘플링부;
각각 다른 사이즈로 샘플링된 영상 데이터에 희소 코딩 기반 방법(Sparse Coding Based Method)과, 딥 러닝 기반 방법(Deep Learning Based Method)을 포함한 복수개의 고해상도 영상 복원 알고리즘을 각각 적용하여 영상을 복원하는 초고해상도 영상복원부;
상기 초고해상도 영상복원부에서 복원된 영상들에 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 결과 정보를 복수개 생성하는 얼굴 인식부; 및
상기 복수의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 가진 상기 복수의 고해상도 영상 복원 알고리즘 중 하나의 영상 복원 알고리즘을 선택하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 초고해상도 영상 복원 시스템은,
일정 크기의 입력 영상을 입력받는 입력부;
상기 입력된 입력 영상을 각각 다른 크기로 다운 샘플링을 수행하는 다운 샘플링부;
Traditional Sparse Coding(TSC) 기반의 초고해상도 영상 복원 방법, Semi Couple Dictionary Learning(SCDL) 기반의 초고해상도 영상 복원 방법, Couple Dictionary Learning(CDL) 기반의 초고해상도 영상 복원 방법을 구비한 희소 코딩 기반 방법(Sparse Coding Based Method)과, 고해상도 콘볼루션 뉴럴 네트워크(Super Resolutiion CNN)(SRCNN) 기반의 초고해상도 영상 복원 방법과, Very Deep Convolutional Network(VDSR) 기반의 초고해상도 영상 복원 방법을 구비한 딥 러닝 기반 방법(Deep Learning Based Method)의 고해상도 영상 복원 알고리즘을 상기 각각 다른 사이즈로 샘플링된 영상 데이터에 각각 적용하여 영상을 복원하는 초고해상도 영상복원부;
상기 초고해상도 영상복원부에서 복원된 영상들에 얼굴 국부 이진 패턴(Local Binary Pattern, LBP) 또는 비주얼 기하학적 그룹(Visual Geometry Group, VGG)의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 결과 정보를 생성하는 얼굴 인식부; 및
상기 12개의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 가진 상기 고해상도 영상 복원 알고리즘 중 하나의 영상 복원 알고리즘과 상기 얼굴 인식 패턴 기술을 선택하는 제어부를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 6개의 고해상도 영상 복원 알고리즘과, 2개의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 정확도가 가장 좋은 고해상도 영상 복원 알고리즘과 얼굴 인식 패턴 기술을 찾아내어 고해상도 복원 영상을 생성할 수 있는 효과가 있다.
본 발명은 모니터링 시스템에 적용 시 고해상도 복원 영상이 원본 입력 영상과 유사하며, 고해상도의 얼굴 인식 정확도가 원본 영상의 얼굴 인식 정확도에 더 가깝게 되는 효과가 있다.
도 1은 본 발명의 실시예에 따른 초고해상도 영상 복원 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 입력 영상을 다운 샘플링하는 모습을 개념적으로 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 6개의 고해상도 영상 복원 알고리즘과, 2개의 얼굴 인식 패턴 기술을 적용하는 모습을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 입력 영상의 크기에 따른 얼굴 인식 결과 정보의 일례를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 VDSR의 얼굴 인식 정확도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 다른 크기의 입력 영상과 업스케일링 계수를 적용하는 개념을 나타낸 도면이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 10 × 10, 15 × 15, 20 × 20 크기에 6개의 고해상도 영상 복원 알고리즘과 2개의 얼굴 인식 패턴 기술을 각각 적용한 후 얼굴 인식 정확도를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 초고해상도 영상 복원 시스템의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 초고해상도 영상 복원 시스템(100)은 입력부(110), 다운 샘플링부(120), 초고해상도 영상복원부(130), 저장부(140), 얼굴 인식부(150), 제어부(160) 및 디스플레이부(170)를 포함한다.
초고해상도 영상 복원 시스템(100)은 6개의 초고해상도 복원 기술과, 2개의 얼굴 인식 패턴 기술을 통해 12개의 얼굴 인식 기술을 제공하고, 이 중 가장 복원 성능이 높은 영상 복원 기술을 선택하여 영상을 복원한다(도 3).
도 2에 도시된 바와 같이, 입력부(110)는 100 × 100 크기의 입력 영상을 입력받으며, 다운 샘플링부(120)는 입력된 입력 영상을 10 × 10, 15 × 15, 20 × 20, 30 × 30, 40 × 40, 60 × 60, 80 × 80과 같이 각각 다른 크기로 샘플링한다.
초고해상도 영상복원부(130)는 영상 복원 알고리즘으로 하기의 6개의 초고해상도 영상 복원 방법을 적용할 수 있다.
종래의 고해상도 영상 복원 방법은 희소 코딩 기반 방법(Sparse Coding Based Method)과, 딥 러닝 기반 방법(Deep Learning Based Method)으로 나눌 수 있다.
희소 코딩 기반 방법은 Traditional Sparse Coding(이하, 'TSC'라 칭함) 기반의 초고해상도 영상 복원 방법, Semi Couple Dictionary Learning(이하, 'SCDL'라 칭함) 기반의 초고해상도 영상 복원 방법, Couple Dictionary Learning(이하, 'CDL'라 칭함) 기반의 초고해상도 영상 복원 방법을 포함한다.
딥 러닝 기반 방법은 CNN(Convolution Neural Networks)을 사용하여 해당 LR 및 HR 이미지를 대응하는 관계를 매핑하여 평가함으로써 초고해상도 성능을 예상할 수 있다.
딥 러닝 기반 방법은 고해상도 콘볼루션 뉴럴 네트워크(Super Resolutiion CNN, 이하 'SRCNN'라 칭함) 기반의 초고해상도 영상 복원 방법(SRCNN)과, Very Deep Convolutional Network(이하 'VDSR'라 칭함) 기반의 초고해상도 영상 복원 방법(VDSR)을 포함한다.
전술한 Bicubic 보간법, TSC, SCDL, CDL, SRCNN, VDSR은 종래의 고해상도 영상 복원 알고리즘으로 상세한 설명을 생략하기로 한다.
초고해상도 영상복원부(130)는 10 × 10, 15 × 15, 20 × 20, 30 × 30, 40 × 40, 60 × 60, 80 × 80의 각각 다른 사이즈로 샘플링된 영상 데이터를 Bicubic, TSC, SCDL, CDL, SRCNN, VDSR의 고해상도 영상 복원 알고리즘을 각각 적용하여 복원한 결과 영상을 저장부(140)에 저장한다.
얼굴 인식부(150)는 각각 다른 사이즈로 샘플링된 영상 데이터에 6개의 고해상도 영상 복원 알고리즘을 적용한 후, 2개의 얼굴 인식 패턴 기술을 적용하여 얼굴 영상의 특징을 추출하고, 얼굴 인식 결과 정보를 생성한다.
얼굴 인식 패턴 기술은 얼굴 국부 이진 패턴(Local Binary Pattern, 이하 'LBP'라 칭함)과 비주얼 기하학적 그룹(Visual Geometry Group, 이하 'VGG'라 칭함)을 포함한다.
얼굴 인식 패턴 기술은 국부 이진 패턴(Local Binary Pattern, LBP) 또는 VGG 얼굴 인식을 통해 얼굴 영상 내의 각 화소와 상기 각 화소에 이웃하는 주변 화소들의 관계를 이용하여 얼굴 특징 정보를 추출한다. 여기서, 얼굴 특징 정보는 입력 영상에 나타난 얼굴 구성요소의 윤곽 또는 영역에 관한 특징 디스크립터를 포함할 수 있다.
LBP 얼굴 인식은 픽셀의 이웃을 임계화하여 영상의 각 픽셀의 라벨을 형성한다.
VGG 얼굴 인식은 CNN 아키텍처를 기반으로 하고, 네트워크를 콘볼루션(Convolutional), 풀(Pool) 및 완전히 연결된 레이어로 구성된다.
VGG 얼굴 네트워크는 3×3개의 콘볼루션 레이어와 2×2개의 풀링 레이어 및 3개의 완전 연결된 레이어로 구성된 딥 아키텍처를 갖고 있다.
전술한 LBP, VGG는 종래의 얼굴 인식 패턴 알고리즘으로 상세한 설명을 생략하기로 한다.
도 3에 도시된 바와 같이, 제어부(160)는 6개의 고해상도 영상 복원 알고리즘과, 2개의 얼굴 인식 패턴 기술을 적용하여 12개의 얼굴 인식 결과 정보를 생성할 수 있다.
제어부(160)는 얼굴 인식부(150)를 통해 생성된 얼굴 인식 결과 정보를 디스플레이부(170)를 통해 출력할 수 있다.
도 4를 참조하면, 얼굴 인식 결과 정보는 얼굴 해상도가 40 × 40인 경우, 얼굴 인식 정확도가 높아지며, 얼굴 해상도가 10 × 10인 경우, 얼굴 인식 정확도가 떨어짐을 알 수 있다.
제어부(160)는 Bicubic, TSC, SCDL, CDL, SRCNN, VDSR의 고해상도 영상 복원 알고리즘의 얼굴 인식 정확도를 판단하기 위하여 크기를 20 × 20로 조정한 후, 업스케일링 계수를 3으로 설정하고, 얼굴 인식부(150)를 통해 출력된 얼굴 인식 결과를 비교한다. 도 3와 같이, 입력 영상과 비교하여 6개의 고해상도 영상 복원의 결과에 대해 영상의 전체적인 품질이 개선되었음을 알 수 있다.
각각 다른 고해상도 영상 복원 알고리즘이 적용된 얼굴 인식 결과는 도 22와 같이 보여진다.
도 5에 도시된 바와 같이, 특히, VDSR의 고해상도 영상 복원 알고리즘은 다른 영상 복원 알고리즘에 비하여 얼굴 인식 정확도가 가장 높으며, 지속적으로 우수한 성능을 보임을 알 수 있다.
VDSR의 고해상도 영상 복원 알고리즘은 2개의 얼굴 인식 결과(LBP, VGG)에 대하여 Bicubic 영상 복원 알고리즘에 비해 8.75%, 7.5%의 얼굴 인식 정확도로 성능을 향상시킨다.
VDSR의 고해상도 영상 복원 알고리즘과 2개의 얼굴 인식 패턴 기술을 적용하는 경우, 원본 입력 영상과 얼굴 인식 정확도가 거의 유사하다는 것을 알 수 있다.
도 6에 도시된 바와 같이, 제어부(160)는 입력된 입력 영상을 10 × 10, 15 × 15, 20 × 20으로 각각 다르게 서브 샘플링하고, 2배, 3배, 4배로 각각 업스케일링 계수를 설정한 후, 초고해상도 영상복원부(130)와 얼굴 인식부(150)를 통해 LBP, VGG의 얼굴 인식 패턴 알고리즘을 적용하도록 제어한다.
20 × 20 크기의 저해상도 영상에 대한 고해상도 인식 결과는 최상의 시각적 품질을 가지게 됨을 파악할 수 있다.
도 7의 (a)는 Bicubic에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이고, 도 7의 (b)는 CDL에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이고, 도 7의 (c)는 TSC에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이고, 도 7의 (d)는 SRCNN에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이고, 도 7의 (e)는 SCDL에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이고, 도 7의 (f)는 VDSR에 의한 10 × 10의 얼굴 인식 결과를 나타낸 것이다.
도 8의 (a)는 Bicubic에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이고, 도 8의 (b)는 CDL에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이고, 도 8의 (c)는 TSC에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이고, 도 8의 (d)는 SRCNN에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이고, 도 8의 (e)는 SCDL에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이고, 도 8의 (f)는 VDSR에 의한 15 × 15의 얼굴 인식 결과를 나타낸 것이다.
제어부(160)는 초고해상도 영상복원부(130) 및 얼굴 인식부(150)를 통해 10 × 10, 15 × 15 크기의 저해상도 영상으로부터 고해상도 영상의 얼굴 인식 정확도를 디스플레이부(170)를 통해 출력한다.
고해상도 영상의 얼굴 인식 정확도는 저해상도 영상의 얼굴 인식 정확도보다 낮다는 것을 보여준다.
다시 말해, 해상도가 너무 낮은 경우, 초고해상도 영상 복원의 품질을 향상시키지 못한다.
10 × 10, 15 × 15 크기의 저해상도 영상은 포함된 영상 정보가 너무 적기 때문에 영상 복원 품질이 나빠질 수 밖에 없다.
도 9의 (a)는 Bicubic에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이고, 도 9의 (b)는 CDL에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이고, 도 9의 (c)는 TSC에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이고, 도 9의 (d)는 SRCNN에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이고, 도 9의 (e)는 SCDL에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이고, 도 9의 (f)는 VDSR에 의한 20 × 20의 얼굴 인식 결과를 나타낸 것이다.
제어부(160)는 초고해상도 영상복원부(130) 및 얼굴 인식부(150)를 통해 20 × 20 크기의 저해상도 영상으로부터 고해상도 영상의 얼굴 인식 정확도를 디스플레이부(170)를 통해 출력한다.
고해상도 영상의 정확도는 Bicubic 보간법과 희소 코딩 기반 방법(Sparse Coding Based Method)에 대한 얼굴 인식 정확도보다 낮다.
고해상도 영상의 정확도는 딥 러닝 기반 방법의 저해상도 영상의 정확도보다낮다.
또한, 업스케일링 계수가 3일 때, 얼굴 인식 정확도의 향상은 딥 러닝 기반 방법이 안정적이라는 것을 알 수 있다.
딥 러닝 기반 방법은 얼굴 인식 정확도를 효과적이고 견고하게 향상시킬 수 있다.
초고해상도 영상 복원 시스템(100)은 6개의 고해상도 영상 복원 알고리즘과, 2개의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 정확도가 가장 좋은 고해상도 영상 복원 알고리즘과 얼굴 인식 패턴 기술, 입력 영상 크기, 업스케일링 계수를 찾아내어 고해상도 복원 영상을 생성한다.
따라서, 모니터링 시스템에 전술한 고해상도 영상 복원 알고리즘, 얼굴 인식 패턴 기술을 적용하면, 고해상도 복원 영상이 원본 입력 영상과 유사하며, 고해상도의 얼굴 인식 정확도가 원본 영상의 얼굴 인식 정확도에 더 가깝게 된다.
본 발명은 얼굴 인식 정확도를 향상시키기 위해서 6개의 고해상도 영상 복원 알고리즘 중 하나의 SR 방법을 사용하여 얼굴 인식 정확도를 높일 수 있다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 복원 시스템
110: 입력부
120: 다운 샘플링부
130: 초고해상도 영상복원부
140: 저장부
150: 얼굴 인식부
160: 제어부
170: 디스플레이부

Claims (5)

  1. 일정 크기의 입력 영상을 입력받는 입력부;
    상기 입력된 입력 영상을 각각 다른 크기로 다운 샘플링을 수행하는 다운 샘플링부;
    각각 다른 사이즈로 샘플링된 영상 데이터에 희소 코딩 기반 방법(Sparse Coding Based Method)과, 딥 러닝 기반 방법(Deep Learning Based Method)을 포함한 복수개의 고해상도 영상 복원 알고리즘을 각각 적용하여 영상을 복원하는 초고해상도 영상복원부;
    상기 초고해상도 영상복원부에서 복원된 영상들에 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 결과 정보를 복수개 생성하는 얼굴 인식부; 및
    상기 복수의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 가진 상기 복수의 고해상도 영상 복원 알고리즘 중 하나의 영상 복원 알고리즘을 선택하는 제어부를 포함하며,
    상기 제어부는 상기 입력된 입력 영상을 10 × 10, 15 × 15, 20 × 20으로 각각 다르게 서브 샘플링하고, 2배, 3배, 4배로 각각 업스케일링 계수를 설정한 후, 상기 초고해상도 영상복원부와 상기 얼굴 인식부를 통해 얼굴 인식 결과 정보를 복수개 생성하며, 상기 복수의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 기초로 상기 업스케일링 계수와, 상기 입력 영상의 서브 샘플링의 크기를 선택하는 것을 특징으로 하는 초고해상도 영상 복원 시스템.
  2. 제1항에 있어서,
    상기 희소 코딩 기반 방법은 Traditional Sparse Coding(TSC) 기반의 초고해상도 영상 복원 방법, Semi Couple Dictionary Learning(SCDL) 기반의 초고해상도 영상 복원 방법, Couple Dictionary Learning(CDL) 기반의 초고해상도 영상 복원 방법을 포함하고,
    상기 딥 러닝 기반 방법은 고해상도 콘볼루션 뉴럴 네트워크(Super Resolutiion CNN)(SRCNN) 기반의 초고해상도 영상 복원 방법과, Very Deep Convolutional Network(VDSR) 기반의 초고해상도 영상 복원 방법을 포함하며,
    상기 초고해상도 영상복원부는 Bicubic 보간법, TSC, SCDL, CDL, SRCNN, VDSR 중 하나의 초고해상도 영상 복원 방법을 적용하는 것을 특징으로 하는 초고해상도 영상 복원 시스템.
  3. 제1항에 있어서,
    상기 얼굴 인식 패턴 기술은 얼굴 국부 이진 패턴(Local Binary Pattern, LBP)과 비주얼 기하학적 그룹(Visual Geometry Group, VGG)을 포함하고,
    상기 제어부는 상기 복수의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 판단한 후, 상기 고해상도 영상 복원 알고리즘 중 하나의 영상 복원 알고리즘을 선택하고, 상기 얼굴 인식 패턴 기술인 VGG 또는 LBP를 선택하는 것을 특징으로 하는 초고해상도 영상 복원 시스템.
  4. 일정 크기의 입력 영상을 입력받는 입력부;
    상기 입력된 입력 영상을 각각 다른 크기로 다운 샘플링을 수행하는 다운 샘플링부;
    Traditional Sparse Coding(TSC) 기반의 초고해상도 영상 복원 방법, Semi Couple Dictionary Learning(SCDL) 기반의 초고해상도 영상 복원 방법, Couple Dictionary Learning(CDL) 기반의 초고해상도 영상 복원 방법을 구비한 희소 코딩 기반 방법(Sparse Coding Based Method)과, 고해상도 콘볼루션 뉴럴 네트워크(Super Resolutiion CNN)(SRCNN) 기반의 초고해상도 영상 복원 방법과, Very Deep Convolutional Network(VDSR) 기반의 초고해상도 영상 복원 방법을 구비한 딥 러닝 기반 방법(Deep Learning Based Method)의 고해상도 영상 복원 알고리즘을 상기 각각 다른 사이즈로 샘플링된 영상 데이터에 각각 적용하여 영상을 복원하는 초고해상도 영상복원부;
    상기 초고해상도 영상복원부에서 복원된 영상들에 얼굴 국부 이진 패턴(Local Binary Pattern, LBP) 또는 비주얼 기하학적 그룹(Visual Geometry Group, VGG)의 얼굴 인식 패턴 기술을 적용하여 얼굴 인식 결과 정보를 생성하는 얼굴 인식부; 및
    12개의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 가진 상기 고해상도 영상 복원 알고리즘 중 하나의 영상 복원 알고리즘과 상기 얼굴 인식 패턴 기술을 선택하는 제어부를 포함하며,
    상기 제어부는 상기 입력된 입력 영상을 10 × 10, 15 × 15, 20 × 20으로 각각 다르게 서브 샘플링하고, 2배, 3배, 4배로 각각 업스케일링 계수를 설정한 후, 상기 초고해상도 영상복원부와 상기 얼굴 인식부를 통해 얼굴 인식 결과 정보를 복수개 생성하며, 상기 복수의 얼굴 인식 결과 정보를 비교하여 가장 높은 얼굴 인식 정확도를 기초로 상기 업스케일링 계수와, 상기 입력 영상의 서브 샘플링의 크기를 선택하는 것을 특징으로 하는 초고해상도 영상 복원 시스템.
  5. 삭제
KR1020190011587A 2019-01-30 2019-01-30 초고해상도 영상 복원 시스템 KR102132690B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011587A KR102132690B1 (ko) 2019-01-30 2019-01-30 초고해상도 영상 복원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011587A KR102132690B1 (ko) 2019-01-30 2019-01-30 초고해상도 영상 복원 시스템

Publications (1)

Publication Number Publication Date
KR102132690B1 true KR102132690B1 (ko) 2020-07-13

Family

ID=71570704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011587A KR102132690B1 (ko) 2019-01-30 2019-01-30 초고해상도 영상 복원 시스템

Country Status (1)

Country Link
KR (1) KR102132690B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021492A (ko) * 2020-08-14 2022-02-22 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
WO2022191474A1 (ko) * 2021-03-09 2022-09-15 삼성전자 주식회사 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
WO2022231061A1 (ko) * 2021-04-29 2022-11-03 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117291A (ja) * 2003-10-07 2005-04-28 Mitsubishi Electric Corp 画素補間回路及び画素補間方法
KR101427854B1 (ko) 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117291A (ja) * 2003-10-07 2005-04-28 Mitsubishi Electric Corp 画素補間回路及び画素補間方法
KR101427854B1 (ko) 2012-09-24 2014-08-07 재단법인대구경북과학기술원 단일 영상의 초고해상도 영상 복원 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Meghana Dinesh Kumar ET AL:"A Comparative Study of CNN, BoVW and LBP for Classification of Histopathological Images", CS_Computer Vision and Pattern Recognition, 27 Sept. 2017(2017.09.27.) 1부.* *
권오설, "희소표현법과 딥러닝을 이용한 초고해상도 기반의 얼굴 인식", 멀티미디어학회논문지 제21권 제2호, pages 173-180, Feb. 2018(2018.02.28.) 1부.* *
박규로 외 1명, "인식기반 초해상도 영상복원", 한국정보과학회 2009 한국컴퓨터종합학술대회 논문집 제36권 제1호(A), pages 279-283, June 2009(2009.06.30.) 1부.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021492A (ko) * 2020-08-14 2022-02-22 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
KR102478813B1 (ko) * 2020-08-14 2022-12-19 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
WO2022191474A1 (ko) * 2021-03-09 2022-09-15 삼성전자 주식회사 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
WO2022231061A1 (ko) * 2021-04-29 2022-11-03 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20220148470A (ko) * 2021-04-29 2022-11-07 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102593489B1 (ko) 2021-04-29 2023-10-24 주식회사 딥브레인에이아이 기계 학습을 이용한 데이터 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치

Similar Documents

Publication Publication Date Title
KR102132690B1 (ko) 초고해상도 영상 복원 시스템
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
Yan et al. SRGAT: Single image super-resolution with graph attention network
KR102236788B1 (ko) 이미지 복원 방법 및 장치
CN110490796B (zh) 一种高低频成分融合的人脸超分辨率处理方法及系统
Yang et al. Long-distance object recognition with image super resolution: A comparative study
Liu et al. End-to-end trainable video super-resolution based on a new mechanism for implicit motion estimation and compensation
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Liu et al. Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection
Tu et al. Optical flow for video super-resolution: A survey
Weng et al. Boosting event stream super-resolution with a recurrent neural network
CN112884657A (zh) 一种人脸超分辨率重建方法及系统
Liu et al. A densely connected face super-resolution network based on attention mechanism
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
Shaw et al. Hdr reconstruction from bracketed exposures and events
Chen et al. Guided dual networks for single image super-resolution
Pandey et al. DeepInterpolation: fusion of multiple interpolations and CNN to obtain super‐resolution
Zhao et al. End‐to‐End Retinex‐Based Illumination Attention Low‐Light Enhancement Network for Autonomous Driving at Night
Yuan et al. Unsupervised real image super-resolution via knowledge distillation network
Vigil et al. DETECTION OF CLOUD SHADOWS USING DEEP CNN UTILISING SPATIAL AND SPECTRAL FEATURES OF LANDSAT IMAGERY
Liu et al. A novel convolutional neural network architecture for image super-resolution based on channels combination
Dixit et al. A Review of Single Image Super Resolution Techniques using Convolutional Neural Networks
Marnerides et al. Spectrally consistent UNet for high fidelity image transformations
Aadil et al. Improving super resolution methods via incremental residual learning
Chen et al. Modeling thermal infrared image degradation and real-world super-resolution under background thermal noise and streak interference

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant