KR20180061496A - 초해상화 방법 - Google Patents

초해상화 방법 Download PDF

Info

Publication number
KR20180061496A
KR20180061496A KR1020160159989A KR20160159989A KR20180061496A KR 20180061496 A KR20180061496 A KR 20180061496A KR 1020160159989 A KR1020160159989 A KR 1020160159989A KR 20160159989 A KR20160159989 A KR 20160159989A KR 20180061496 A KR20180061496 A KR 20180061496A
Authority
KR
South Korea
Prior art keywords
patch
resolution image
sub
patches
transformation matrix
Prior art date
Application number
KR1020160159989A
Other languages
English (en)
Other versions
KR102552589B1 (ko
Inventor
김준섭
유승완
하우석
김문철
최재석
Original Assignee
주식회사 실리콘웍스
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘웍스, 한국과학기술원 filed Critical 주식회사 실리콘웍스
Priority to KR1020160159989A priority Critical patent/KR102552589B1/ko
Publication of KR20180061496A publication Critical patent/KR20180061496A/ko
Application granted granted Critical
Publication of KR102552589B1 publication Critical patent/KR102552589B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 입력되는 저해상도 영상에서 중간영상없이 바로 고해상도 영상을 생성하는 기술을 제공하며, 저해상도 영상 속 서브패치의 국지적 정보를 활용하여 하나의 패치에 대해 다중의 선형 매핑을 적용시키고, 이때 생성된 영상 후보패치들에 하나의 전역 변환행렬을 적용시켜 고품질의 고해상도 영상 패치를 생성하는 기술을 제공한다.

Description

초해상화 방법{SUPER RESOLUTION IMAGING METHOD}
본 발명은 영상 처리 기술에 관한 것이다.
저해상도 영상을 고해상도 영상으로 변환함에 있어, 종래 기법은 보간법을 활용하여 중간 영상을 생성하고, 선형 매핑을 사용하여 중간 영상을 고해상도 영상으로 변환하였다. 이러한 종래 기법에서, 보간된 중간 영상의 패치 수는 저해상도 영상의 패치 수보다 많아졌으므로, 고해상도 영상의 생성에 소요되는 시간이 길었다.
한편, 종래 기법에서, 중간 영상의 패치를 변환한 고해상도 영상의 패치를 결합시켜 하나의 영상을 생성할 때, 겹침(overlapping)이 필연적으로 생기게 된다. 겹쳐지는 패치들을 평균하여 고해상도 영상을 생성하면 화질은 좋아지지만 추가적인 메모리와 연산이 필요하게 된다.
이러한 배경에서, 본 발명의 목적은, 저해상도 영상을 고해상도 영상으로 변환하는 시간을 단축시키는 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법에 있어서, 전역 변환행렬을 저장하고, 영상 카테고리별로 서브패치 변환행렬을 저장하는 단계, 상기 저해상도 영상의 패치(저해상도 영상 패치)에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정하고, 결정된 상기 영상 카테고리에 따라 상기 복수의 서브패치 각각에 대응되는 상기 서브패치 변환행렬을 선택하는 단계, 상기 전역 변환행렬 및 선택된 상기 서브패치 변환행렬을 상기 저해상도 영상 패치에 적용시켜 고해상도 영상 패치를 생성하는 단계 및 상기 고해상도 영상 패치를 이용하여 상기 고해상도 영상을 생성하는 단계를 포함하는 초해상화 방법를 제공한다.
다른 측면에서, 본 발명은, 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법에 있어서, 테스트 고해상도 영상을 테스트 저해상도 영상으로 변환하는 단계, 상기 테스트 고해상도 영상에서 복수의 고해상도 영상 패치를 추출하고 상기 테스트 저해상도 영상에서 복수의 저해상도 영상 패치를 추출하는 단계, 각각의 저해상도 영상 패치별로 상기 저해상도 영상 패치에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정하는 단계, 상기 영상 카테고리별로 상기 저해상도 영상 패치를 상기 고해상도 영상 패치로 변환하는 서브패치 변환행렬을 학습시키는 단계, 각각의 저해상도 영상 패치별로 상기 복수의 서브패치 각각에 대한 상기 서브패치 변환행렬을 적용시켜 복수의 고해상도 영상 후보패치를 생성하고, 상기 복수의 고해상도 영상 후보패치를 상기 고해상도 영상 패치로 변환하는 전역 변환행렬을 학습시키는 단계 및 상기 저해상도 영상의 패치에 포함된 복수의 서브패치 각각에 대한 상기 영상 카테고리를 결정하고, 상기 영상 카테고리별로 학습된 상기 서브패치 변환행렬 및 상기 전역 변환행렬을 이용하여 상기 저해상도 영상을 상기 고해상도 영상으로 변환하는 단계를 포함하는 초해상화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 저해상도 영상을 빠른 시간 내에 고해상도 영상으로 변환할 수 있다. 그리고, 본 발명에 의하면, 보다 적은 저장 공간을 이용하여 저해상도 영상을 고해상도 영상으로 변환할 수 있다.
도 1은 실시예들이 적용될 수 있는 표시장치의 구성도이다.
도 2는 일 실시예에 따른 초해상화 방법의 흐름도이다.
도 3은 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제1예시 도면이다.
도 4는 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제2예시 도면이다.
도 5는 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제3예시 도면이다.
도 6은 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제4예시 도면이다.
도 7은 일 실시예에 따라 특징 벡터를 생성하고 서브패치의 영상 카테고리를 결정하는 것을 나타내는 도면이다.
도 8은 일 실시예에 따라 7 x 7의 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 나타내는 도면이다.
도 9는 다른 실시예에 따른 초해상화 방법의 흐름도이다.
도 10은 다른 실시예에 따른 초해상화 방법에서 서브패치 변환행렬의 학습과정을 나타내는 예시 도면이다.
도 11은 다른 실시예에 따른 초해상화 방법에서 전역 변환행렬의 학습과정을 나타내는 예시 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 실시예들이 적용될 수 있는 표시장치의 구성도이다.
도 1을 참조하면, 표시장치(100)는 영상처리장치(110), 데이터구동회로(120), 게이트구동회로(130), 타이밍컨트롤러(140), 표시패널(150) 등을 포함할 수 있다.
표시패널(150)에는 다수의 데이터라인(DL) 및 다수의 게이트라인(GL)이 배치되고, 다수의 픽셀(P: Pixel)이 배치될 수 있다.
게이트구동회로(130)는 턴온전압 혹은 턴오프전압의 게이트구동신호를 게이트라인(GL)으로 공급할 수 있다. 턴온전압의 게이트구동신호가 픽셀(P)로 공급되면 해당 픽셀(P)은 데이터라인(DL)과 연결된다. 그리고, 턴오프전압의 게이트구동신호가 픽셀(P)로 공급되면 해당 픽셀(P)과 데이터라인(DL)의 연결은 해제된다.
데이터구동회로(120)는 데이터라인(DL)으로 데이터전압을 공급한다. 데이터라인(DL)으로 공급된 데이터전압은 게이트구동신호에 따라 픽셀(P)로 공급되게 된다.
타이밍컨트롤러(140)는 게이트구동회로(130) 및 데이터구동회로(120)로 제어신호를 공급할 수 있다. 예를 들어, 타이밍컨트롤러(140)는 스캔이 시작되도록 하는 게이트제어신호(GCS)를 게이트구동회로(120)로 전송할 수 있다. 그리고, 타이밍컨트롤러(140)는 영상데이터(RGB)를 데이터구동회로(120)로 출력할 수 있다. 또한, 타이밍컨트롤러(140)는 데이터구동회로(120)가 각 픽셀(P)로 데이터전압을 공급하도록 제어하는 데이터제어신호(DCS)를 전송할 수 있다.
영상처리장치(110)는 영상데이터(RGB)를 생성하여 타이밍컨트롤러(140)로 전송할 수 있다. 영상처리장치(110)는 저해상도 영상을 고해상도 영상으로 변환하여 영상데이터(RGB)를 생성할 수 있다.
도 2는 일 실시예에 따른 초해상화 방법의 흐름도이다.
도 2를 참조하면, 영상처리장치는 전역 변환행렬(MR: Matrix for global Regression)을 저장하고, 영상 카테고리별로 서브패치 변환행렬(MS: Matrix for Sub-patch conversion)을 저장할 수 있다(S200). 전역 변환행렬(MR) 및 서브패치 변환행렬(MS)은 훈련에 의해 학습될 수 있다. 전역 변환행렬(MR) 및 서브패치 변환행렬(MS)의 생성과 관련된 실시예는 후술한다.
영상처리장치는 저해상도 영상을 구성하는 패치(저해상도 영상 패치(LRP: Low Resolution Patch) 단위로 영상을 변환할 수 있다.
영상처리장치는 저해상도 영상 패치(LRP)에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정할 수 있다(S202). 그리고, 영상처리장치는 결정된 영상 카테고리에 따라 복수의 서브패치 각각에 대응되는 서브패치 변환행렬을 선택할 수 있다(S204).
그리고, 영상처리장치는 미리 저장되어 있는 전역 변환행렬와 영상 카테고리에 따라 결정된 서브패치 변환행렬을 저해상도 영상 패치에 적용시켜 고해상도 영상 패치(SRP: Super Resolution Patch)를 생성한다(S206).
그리고, 영상처리장치는 고해상도 영상 패치(SRP)를 이용하여 고해상도 영상을 생성한다(S208).
도 3은 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제1예시 도면이다.
영상처리장치는 패치 단위로 영상을 변환할 수 있다. 여기서, 패치는 픽셀(P)을 포함하는 부분 영상으로서, 적어도 하나 이상의 픽셀(P)을 포함할 수 있다.
도 3을 참조하면, 영상처리장치는 저해상도 영상(LR)을 구성하거나 저해상도 영상(LR)을 확장한 영상을 구성하는 저해상도 패치들(LRPa, LRPb, LRPc)을 선택하여 변환할 수 있다.
예를 들어, 영상처리장치는 5 x 5 픽셀크기를 가지는 제1저해상도 패치(LRPa)를 변환하여 제1고해상도 패치(HRPa)를 생성하고, 제2저해상도 패치(LRPb)를 변환하여 제2고해상도 패치(HRPb)를 생성하며, 제3저해상도 패치(LRPc)를 변환하여 제3고해상도 패치(HRPc)를 생성할 수 있다.
저해상도 패치들(LRPa, LRPb, LRPc)은 일부가 중첩되도록 선택될 수 있다. 예를 들어, 제1저해상도 패치(LRPa)와 제2저해상도 패치(LRPb)는 20개의 픽셀(P)이 상호 중첩되도록 선택될 수 있다. 이때, 생성되는 고해상도 패치들(HRPa, HRPb, HRPc)은 상호 중첩되지 않을 수 있다. 영상처리장치는 저해상도 패치들(LRPa, LRPb, LRPc)을 서로 다른 위치의 고해상도 패치들(HRPa, HRPb, HRPc)로 변환할 수 있다. 이러한 실시예에 의하면, 종래 기술에서 패치들을 겹침을 처리하기 위한 연산 과정이 필요없게 되어 메모리가 줄어들고 변환 속도가 빨라질 수 있다.
도 4는 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제2예시 도면이다.
도 4를 참조하면, 영상처리장치는 저해상도 영상(LR)의 각 픽셀(P)별로 저해상도 영상 패치(LRP)를 선택하고, 선택된 저해상도 영상 패치(LRP)를 고해상도 영상 패치(HRP)로 변환할 수 있다. 이렇게 픽셀(P)별로 저해상도 영상 패치(LRP)를 선택하여 변환하게 되면, 고해상도 영상 패치(HRP)가 저해상도 영상(LR)의 픽셀(P)과 1대1로 대응되기 때문에, 모든 픽셀(P)에 대해 중첩없이 영상을 변환할 수 있게 된다.
영상처리장치는 동시에 복수의 저해상도 영상 패치(LRP)를 선택하여 변환할 수 있고, 픽셀(P)을 옮겨가면서 순차적으로 저해상도 영상 패치(LRP)를 선택하여 변환할 수 있다.
예를 들어, 영상처리장치는 중심에 위치하는 중심픽셀(CP)의 주변으로 일정한 크기의 저해상도 영상 패치(LRP)를 선택하여 변환할 수 있다. 이때, 영상처리장치는 중심픽셀(CP)을 가로방향과 세로방향으로 순차적으로 이동시키면서 저해상도 영상 패치(LRP)를 선택할 수 있다.
중심픽셀(CP)이 저해상도 영상(LR)의 외곽에 위치하는 경우, 저해상도 영상 패치(LRP)는 가상의 확장된 픽셀(VP)을 더 포함할 수 있다. 가상의 확장된 픽셀(VP)은 저해상도 영상(LR)의 최외곽 픽셀과 동일하게 형성되거나 최외곽 픽셀에서 변형되어 형성될 수 있다.
도 5는 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제3예시 도면이다.
도 5를 참조하면, 저해상도 영상 패치(LRP)에는 복수의 서브패치(SPa, SPb, ..., SPn)가 포함될 수 있다. 영상처리장치는 서브패치(SPa, SPb, ..., SPn)별로 고해상도 영상 후보패치(HRPCa, HRPCa, ..., HRPCn)를 생성하여 고해상도 영상 패치(HRP)를 형성할 수 있다.
저해상도 영상 패치(LRP)는 N x M(N 및 M은 2 이상의 자연수) 픽셀크기를 가질 수 있다. 도 5의 예시에서, N은 7이고, M은 7이다.
서브패치(SPa, SPb, ..., SPn)는 P x Q(P는 N보다 작은 자연수, Q는 M보다 작은 자연수) 픽셀크기를 가지며, 복수의 서브패치(SPa, SPb, ..., SPn)는 일부 영역이 중첩되도록 선택될 수 있다. 예를 들어, 서브패치(SPa, SPb, ..., SPn)는 저해상도 영상 패치(LRP)의 내부에서 선택되는데, 인접한 서브패치(SP)가 가로방향의 한 줄 혹은 세로방향의 한 줄을 제외하고 나머지 영역에서 중첩될 수 있다. 이러한 방식으로 서브패치(SPa, SPb, ..., SPn)가 선택되면, 저해상도 영상 패치(LRP)에서 (N-P+1) x (M-Q+1) 개의 서브패치(SPa, SPb, ..., SPn)가 형성될 수 있다.
영상처리장치는 복수의 서브패치(SPa, SPb, ..., SPn) 각각에 대응되는 서브패치 변환행렬(MS1, MS2, ..., MSn)을 결정하고, 결정된 서브패치 변환행렬(MS1, MS2, ..., MSn)을 저해상도 영상 패치(LRP)에 적용시켜 복수의 고해상도 영상 후보패치(HRPCa, HRPCa, ..., HRPCn)를 생성할 수 있다. 여기서, 서브패치 변환행렬(MS1, MS2, ..., MSn)을 저해상도 영상 패치(LRP)에 적용시킨다는 것은 저해상도 영상 패치(LRP)를 선형 매핑시키는 것일 수 있다. 구체적인 예로서, 영상처리장치는 저해상도 영상 패치(LRP)의 각 픽셀 값을 벡터로 형성하고 벡터에 서브패치 변환행렬(MS1, MS2, ..., MSn)을 곱하여, 고해상도 영상 후보패치(HRPCa, HRPCa, ..., HRPCn)를 생성할 수 있다.
그리고, 영상처리장치는 고해상도 영상 후보패치(HRPCa, HRPCa, ..., HRPCn)에 전역 변환행렬(MR)을 적용시켜 고해상도 영상 패치(HRP)를 생성시킬 수 있다. 구체적인 예로서, 영상처리장치는 복수의 고해상도 영상 후보패치(HRPCa, HRPCa, ..., HRPCn)에 해당되는 벡터들을 결합시키고 전역 변환행렬(MR)을 곱하여, 고해상도 영상 패치(HRP)를 생성할 수 있다.
도 6은 일 실시예에 따라 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 설명하기 위한 제4예시 도면이다.
도 5에 도시된 예시와 달리, 영상처리장치는 패치 변환행렬(MP: Matrix for Patch conversion)을 먼저 생성한 후에 저해상도 영상 패치(LRP)를 고해상도 영상 패치(HRP)로 변환할 수 있다.
영상처리장치는 복수의 서브패치(SPa, SPb, ..., SPn) 각각에 대응되는 서브패치 변환행렬(MS1, MS2, ..., MSn)을 결정하고, 전역 변환행렬(MR)에 복수의 서브패치 변환행렬(MS1, MS2, ..., MSn)을 결합시킨 변환행렬을 연산시켜 패치 변환행렬(MP)를 생성할 수 있다.
그리고, 패치 변환행렬(MP)을 저해상도 영상 패치(LRP)에 적용시켜 고해상도 영상 패치(HRP)를 생성할 수 있다.
한편, 영상처리장치는 서브패치(SP)의 영상 카테고리를 분류하고 영상 카테고리별로 서브패치 변환행렬을 다르게 결정할 수 있다. 영상 카테고리는 서브패치의 영상 에지(edge) 방향 정보, 에지 강도 정보, 텍스처 정보, 밝기 정보, 1차 이상의 미분값 정보, 컬러 정보, 객체 또는 물체 종류 정보, 주파수 정보 등의 정보에 따라 결정될 수 있다.
구체적인 예로서, 영상처리장치는 복수의 서브패치 각각에 대한 특징 벡터를 생성하고, 특징 벡터에 따라 복수의 서브패치 각각의 영상 카테고리를 결정할 수 있다.
도 7은 일 실시예에 따라 특징 벡터를 생성하고 서브패치의 영상 카테고리를 결정하는 것을 나타내는 도면이다.
도 7을 참조하면, 영상처리장치는 필터를 이용하여 서브패치(SP)에서 특징 벡터를 추출할 수 있다. 예를 들면, 영상처리장치는 서브패치(SP)에 h1 = [1, -1] 혹은 h2 = [1, -1]^(-1)로 구성되는 필터를 적용시켜 특징 벡터를 추출할 수 있다.
구체적인 예로서, 영상처리장치는 서브패치(SP)에 h1, h2로 구성되는 필터를 적용시켜 제1특징 벡터(CVa)를 생성할 수 있다. 그리고, 영상처리장치는 차원축소행렬(PCA: Principal Component Analysis)에 제1특징 벡터(CVa)를 곱하여 제2특징 벡터(CVb)를 생성할 수 있다.
영상처리장치는 이와 같은 방법으로 다수의 서브패치-다수의 저해상도 영상에서 선택한 다수의 서브패치-에서 다수의 특징 벡터를 추출하고, 추출된 특징 벡터를 복수의 영상 카테고리로 군집화시켜 클래스 벡터들을 생성할 수 있다. 그리고, 특정 서브패치에 대해 특징 벡터가 추출되면, 추출된 특징 벡터와 근접도가 클래스 벡터에 부여된 클래스 번호를 해당 서브패치의 영상 카테고리로 결정할 수 있다.
영상처리장치는 k-means 군집화 기법을 이용하여 다수의 서브패치에서 추출된 특징 벡터들을 군집화할 수 있다. 그리고, 영상처리장치는 k-means 군집화 기법의 근접도 계산 방식에 따라 서브패치의 특징 벡터가 속하는 영상 카테고리를 결정할 수 있다.
도 8은 일 실시예에 따라 7 x 7의 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 것을 나타내는 도면이다.
도 8을 참조하면, 영상처리장치는 저해상도 영상 패치(LRP)에 포함된 복수의 서브패치의 영상 카테고리를 결정한다(S802). 7 x 7로 구성되는 저해상도 영상 패치(LRP)에서 3 x 3으로 구성되는 서브패치를 선택하면, 서브패치는 (7 - 3 + 1) x (7 - 3 + 1) = 25개가 생성된다. 이러한 25개의 서브패치는 특징 벡터에 따라 각각 영상 카테고리(k1, k2, ..., k25)가 결정된다.
그리고, 영상처리장치는 결정된 영상 카테고리(k1, k2, ..., k25)에 따라 서브패치 변환행렬을 선택할 수 있다(S804). 이때, 영상처리장치는 서브패치의 저해상도 영상 패치 내 위치를 고려하여 서브패치 변환행렬을 선택할 수 있다(S804). 예를 들어, 영상처리장치는 저해상도 영상 패치 내 위치 및 영상 카테고리에 따라 각 서브패치에 해당되는 서브패치 변환행렬(MS)을 선택할 수 있다. 영상처리장치는 동일한 영상 카테고리라고 하더라도 좌상단에 위치하는 서브패치와 우하단에 위치하는 서브패치에 대해 서로 다른 서브패치 변환행렬(MS)을 선택할 수 있다. 이러한 과정은 서브패치의 국지적 정보를 분석하여 각 서브패치를 분류하는 것으로 이해할 수 있다.
이를 위해 영상처리장치는 저해상도 영상 패치 내 위치 및 영상 카테고리별로 서브패치 변환행렬(MS)을 저장할 수 있다.
영상처리장치는 서브패치별로 선택된 서브패치 변환행렬(MS)을 결합시키고, 전역 변환행렬(MR)과 연산하여 패치 변환행렬(MP)을 생성할 수 있다(S806).
그리고, 영상처리장치는 저해상도 영상 패치(LRP)를 벡터화하고(S808), 그 벡터를 패치 변환행렬(MP)와 연산하여 고해상도 영상 벡터(HRV)를 생성할 수 있다(S810).
그리고, 영상처리장치는 고해상도 영상 벡터(HRV)를 매트릭스 형태로 변환하여 고해상도 영상 패치(HRP)를 생성할 수 있다.
한편, 변환에 사용되는 전역 변환행렬 및 영상 카테고리별 서브패치 변환행렬은 학습에 의해 생성될 수 있다.
도 9는 다른 실시예에 따른 초해상화 방법의 흐름도이다.
도 9를 참조하면, 학습장치는 테스트 고해상도 영상을 테스트 저해상도 영상으로 변환할 수 있다(S902). 학습장치는 테스트 고해상도 영상에서 일부 픽셀을 제거하거나 작은 패치들을 평균하여 하나의 픽셀을 구성하는 방식 등으로 테스트 고해상도 영상을 테스트 저해상도 영상으로 변환할 수 있다.
학습장치는 테스트 고해상도 영상에서 복수의 고해상도 영상 패치를 추출하고 테스트 저해상도 영상에서 복수의 저해상도 영상 패치를 추출할 수 있다(S904). 학습장치는 테스트 고해상도 영상에서 복수의 고해상도 영상 패치를 추출할 때, 상호 중첩되지 않도록 고해상도 영상 패치를 추출할 수 있다. 그리고, 학습장치는 고해상도 영상 패치에 대응되는 저해상도 영상 패치를 테스트 저해상도 영상에서 추출하되, 인접한 저해상도 영상 패치는 일부 영역이 중첩되도록 추출할 수 있다.
학습장치는 각각의 저해상도 영상 패치별로 저해상도 영상 패치에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정할 수 있다(S906). 여기서, 영상 카테고리는 다수의 서브패치를 이용한 k-means 군집화 기법으로 생성될 수 있다.
그리고, 학습장치는 영상 카테고리별로 저해상도 영상 패치를 고해상도 영상 패치로 변환하는 서브패치 변환행렬을 학습시킬 수 있다(S908). 이때, 학습장치는 저해상도 영상 패치 내 위치 및 영상 카테고리별로 서브패치 변환행렬을 학습시킬 수 있다.
학습장치는 각각의 저해상도 영상 패치별로 복수의 서브패치 각각에 대한 서브패치 변환행렬을 적용시켜 복수의 고해상도 영상 후보패치를 생성할 수 있다(S910). 그리고, 학습장치는 복수의 고해상도 영상 후보패치를 고해상도 영상 패치로 변환하는 전역 변환행렬을 학습시킬 수 있다(S912).
그리고, 영상처리장치는 입력되는 저해상도 영상의 패치에 포함된 복수의 서브패치 각각에 대한 영상 카테고리를 결정하고, 영상 카테고리별로 학습된 서브패치 변환행렬 및 전역 변환행렬을 이용하여 저해상도 영상을 고해상도 영상으로 변환할 수 있다.
여기서, 학습장치 및 영상처리장치는 동일한 장치일 수도 있고, 별개의 장치일 수도 있다. 또한, 각 단계는 서로 다른 장치에 의해 수행될 수도 있다.
도 10은 다른 실시예에 따른 초해상화 방법에서 서브패치 변환행렬의 학습과정을 나타내는 예시 도면이다.
도 10을 참조하면, 학습장치는 테스트 고해상도 영상과 테스트 저해상도 영상을 준비하고, 테스트 고해상도 영상에서 복수의 고해상도 영상 패치를 추출하고 테스트 저해상도 영상에서 복수의 저해상도 영상 패치를 추출하여 훈련 쌍을 형성할 수 있다(S1002).
그리고, 학습장치는 저해상도 영상 패치별로 저해상도 영상 패치에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정할 수 있다(S1004). 이때, 학습장치는 영상 카테고리별로 서브패치 변환행렬을 생성할 수도 있고, 도 10에 도시된 것과 같이 영상 패치 내 위치 및 영상 카테고리별로 서브패치 변환행렬을 생성하고 학습시킬 수 있다. 학습장치는 각 위치별로 서브패치들을 군집화함으로써 영상 카테고리를 분류할 수 있다.
그리고, 학습장치는 각 그룹-영상 패치 내 위치 및 영상 카테고리별로 그룹핑된 그룹-별로 저해상도 영상 패치와 고해상도 영상 패치를 선형 매핑 계산법(예, kernel ridge regresssion 등)에 적용시켜 서브패치 변환행렬(MS)를 계산할 수 있다(S1006).
하나의 위치에서 영상 카테고리별 서브패치 변환행렬(MS)에 대한 계산이 완료되면, 학습장치는 다른 위치에 대해서 순차적으로 영상 카테고리별 서브패치 변환행렬(MS)을 계산할 수 있다(S1008).
학습장치는 서브패치 변환행렬(MS)을 계산한 후에 전역 변환행렬을 계산할 수 있다.
도 11은 다른 실시예에 따른 초해상화 방법에서 전역 변환행렬의 학습과정을 나타내는 예시 도면이다.
도 11을 참조하면, 학습장치는 각각의 저해상도 영상 패치별로 복수의 서브패치 각각에 대한 서브패치 변환행렬(MS)을 적용시켜 복수의 고해상도 영상 후보패치를 생성할 수 있다(S1102).
그리고, 학습장치는 고해상도 영상 후보패치와 고해상도 영상 패치를 선형 매핑 계산법(예, kernel ridge regresssion 등)에 적용시켜 전역 변환행렬(MR)을 계산할 수 있다(S1104).
한편, 전술한 실시예에서 고해상도 영상 패치가 2 x 2인 실시예를 중심으로 설명하였으나, 고해상도 영상 패치는 3 x 3, 4 x 4 등 다양한 크기로 확장이 가능하다. 바람직하게는 저해상도 영상 패치의 픽셀 크기(개수)가 고해상도 영상 패치의 픽셀 크기(개수)보다 큰 것이 바람직하다.
또한, 전술한 실시예에서, 선형 매핑에 의해 저해상도 영상을 고해상도 영상으로 변환하는 것을 설명하였으나 실시예에 따라서는 비선형 매핑에 의해 저해상도 영상을 고해상도 영상으로 변환할 수도 있다.
또한, 전술한 실시예에서, 저해상도 영상 패치가 사각형인 실시예를 중심으로 설명하였으나, 저해상도 영상 패치는 다른 형태의 다각형 모양-예를 들어, 육각형 모양-을 가질 수 있다. 이때, 고해상도 영상 패치는 같거나 작은 다각형 모양을 가지는 것이 바람직하다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 저해상도 영상을 빠른 시간 내에 고해상도 영상으로 변환할 수 있다. 그리고, 본 실시예에 의하면, 보다 적은 저장 공간을 이용하여 저해상도 영상을 고해상도 영상으로 변환할 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법에 있어서,
    전역 변환행렬을 저장하고, 영상 카테고리별로 서브패치 변환행렬을 저장하는 단계;
    상기 저해상도 영상의 패치(저해상도 영상 패치)에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정하고, 결정된 상기 영상 카테고리에 따라 상기 복수의 서브패치 각각에 대응되는 상기 서브패치 변환행렬을 선택하는 단계;
    상기 전역 변환행렬 및 선택된 상기 서브패치 변환행렬을 상기 저해상도 영상 패치에 적용시켜 고해상도 영상 패치를 생성하는 단계; 및
    상기 고해상도 영상 패치를 이용하여 상기 고해상도 영상을 생성하는 단계
    를 포함하는 초해상화 방법.
  2. 제1항에 있어서,
    상기 저해상도 영상의 각 픽셀별로 상기 저해상도 영상 패치가 선택되고 상기 고해상도 영상 패치로 변환되는 초해상화 방법.
  3. 제1항에 있어서,
    상기 저해상도 영상 패치는 N x M(N 및 M은 2 이상의 자연수) 픽셀크기를 가지고, 상기 서브패치는 P x Q(P는 상기 N보다 작은 자연수, Q는 상기 M보다 작은 자연수) 픽셀크기를 가지며, 상기 복수의 서브패치는 일부 영역이 중첩되도록 선택되어 상기 저해상도 영상 패치에서 (N-P+1) x (M-Q+1) 개의 상기 서브패치가 형성되는 초해상화 방법.
  4. 제1항에 있어서,
    상기 고해상도 영상 패치를 생성하는 단계에서,
    상기 복수의 서브패치 각각의 상기 서브패치 변환행렬을 상기 저해상도 영상 패치에 적용시켜 복수의 고해상도 영상 후보패치를 생성하고, 상기 복수의 고해상도 영상 후보패치에 상기 전역 변환행렬을 적용시켜 상기 고해상도 영상 패치를 생성하는 초해상화 방법.
  5. 제1항에 있어서,
    상기 고해상도 영상 패치를 생성하는 단계에서,
    상기 전역 변환행렬에 상기 복수의 서브패치 각각의 상기 서브패치 변환행렬을 결합시킨 변환행렬을 연산하여 생성되는 패치 변환행렬을 상기 저해상도 영상 패치에 적용시켜 상기 고해상도 영상 패치를 생성하는 초해상화 방법.
  6. 제1항에 있어서,
    상기 서브패치 변환행렬을 선택하는 단계에서,
    상기 복수의 서브패치 각각에 대한 특징 벡터를 생성하고, 상기 특징 벡터에 따라 상기 복수의 서브패치 각각의 영상 카테고리를 결정하는 초해상화 방법.
  7. 제1항에 있어서,
    상기 서브패치 변환행렬을 선택하는 단계에서,
    상기 서브패치의 영상 에지(edge) 방향 정보, 에지 강도 정보, 텍스처 정보, 밝기 정보, 1차 이상의 미분값 정보, 컬러 정보, 객체 또는 물체 종류 정보, 주파수 정보 중 적어도 하나 이상의 정보를 이용하여 상기 복수의 서브패치 각각의 영상 카테고리를 결정하는 초해상화 방법.
  8. 제1항에 있어서,
    상기 서브패치 변환행렬을 저장하는 단계에서,
    상기 서브패치 변환행렬은 상기 영상 카테고리 및 상기 서브패치의 상기 저해상도 영상 패치 내 위치에 따라 다르게 저장되며,
    상기 서브패치 변환행렬을 선택하는 단계에서,
    상기 영상 카테고리 및 상기 서브패치의 상기 저해상도 영상 패치 내 위치에 따라 상기 복수의 서브패치 각각에 대응되는 상기 서브패치 변환행렬을 선택하는 초해상화 방법.
  9. 제1항에 있어서,
    상기 전역 변환행렬 및 상기 서브패치 변환행렬은 테스트 고해상도 영상 및 테스트 저해상도 영상을 이용하여 학습되어 결정되는 초해상화 방법.
  10. 저해상도 영상을 고해상도 영상으로 변환하는 초해상화 방법에 있어서,
    테스트 고해상도 영상을 테스트 저해상도 영상으로 변환하는 단계;
    상기 테스트 고해상도 영상에서 복수의 고해상도 영상 패치를 추출하고 상기 테스트 저해상도 영상에서 복수의 저해상도 영상 패치를 추출하는 단계;
    각각의 저해상도 영상 패치별로 상기 저해상도 영상 패치에 포함되는 복수의 서브패치 각각에 대한 영상 카테고리를 결정하는 단계;
    상기 영상 카테고리별로 상기 저해상도 영상 패치를 상기 고해상도 영상 패치로 변환하는 서브패치 변환행렬을 학습시키는 단계;
    각각의 저해상도 영상 패치별로 상기 복수의 서브패치 각각에 대한 상기 서브패치 변환행렬을 적용시켜 복수의 고해상도 영상 후보패치를 생성하고, 상기 복수의 고해상도 영상 후보패치를 상기 고해상도 영상 패치로 변환하는 전역 변환행렬을 학습시키는 단계; 및
    상기 저해상도 영상의 패치에 포함된 복수의 서브패치 각각에 대한 상기 영상 카테고리를 결정하고, 상기 영상 카테고리별로 학습된 상기 서브패치 변환행렬 및 상기 전역 변환행렬을 이용하여 상기 저해상도 영상을 상기 고해상도 영상으로 변환하는 단계
    를 포함하는 초해상화 방법.
  11. 제10항에 있어서,
    상기 서브패치 변환행렬을 학습시키는 단계에서,
    상기 저해상도 영상 패치 내 위치 및 상기 영상 카테고리별로 상기 서브패치 변환행렬을 학습시키는 초해상화 방법.
  12. 제10항에 있어서,
    상기 영상 카테고리는 다수의 서브패치를 이용한 k-means 군집화 기법으로 생성되는 초해상화 방법.
KR1020160159989A 2016-11-29 2016-11-29 초해상화 방법 KR102552589B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160159989A KR102552589B1 (ko) 2016-11-29 2016-11-29 초해상화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160159989A KR102552589B1 (ko) 2016-11-29 2016-11-29 초해상화 방법

Publications (2)

Publication Number Publication Date
KR20180061496A true KR20180061496A (ko) 2018-06-08
KR102552589B1 KR102552589B1 (ko) 2023-07-10

Family

ID=62600293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160159989A KR102552589B1 (ko) 2016-11-29 2016-11-29 초해상화 방법

Country Status (1)

Country Link
KR (1) KR102552589B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041694A (ko) 2019-10-07 2021-04-16 한국항공대학교산학협력단 영상의 업샘플링 방법 및 장치
KR20230161124A (ko) 2022-05-18 2023-11-27 국민대학교산학협력단 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090050929A (ko) * 2007-11-16 2009-05-20 경희대학교 산학협력단 변환 영역에서 영상 이미지의 크기를 변환하는 방법 및 그장치
KR20130126551A (ko) * 2012-05-10 2013-11-20 톰슨 라이센싱 저해상도 입력 데이터 구조의 초해상도 버전을 생성하기 위한 방법 및 장치
KR20160038554A (ko) * 2014-09-30 2016-04-07 한국전자통신연구원 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법
KR20160112577A (ko) * 2015-03-20 2016-09-28 한국전자통신연구원 융합형 3dtv 화질 개선 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090050929A (ko) * 2007-11-16 2009-05-20 경희대학교 산학협력단 변환 영역에서 영상 이미지의 크기를 변환하는 방법 및 그장치
KR20130126551A (ko) * 2012-05-10 2013-11-20 톰슨 라이센싱 저해상도 입력 데이터 구조의 초해상도 버전을 생성하기 위한 방법 및 장치
KR20160038554A (ko) * 2014-09-30 2016-04-07 한국전자통신연구원 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법
KR20160112577A (ko) * 2015-03-20 2016-09-28 한국전자통신연구원 융합형 3dtv 화질 개선 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210041694A (ko) 2019-10-07 2021-04-16 한국항공대학교산학협력단 영상의 업샘플링 방법 및 장치
KR20210098398A (ko) 2019-10-07 2021-08-10 한국항공대학교산학협력단 영상의 업샘플링 방법 및 장치
KR20230161124A (ko) 2022-05-18 2023-11-27 국민대학교산학협력단 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법

Also Published As

Publication number Publication date
KR102552589B1 (ko) 2023-07-10

Similar Documents

Publication Publication Date Title
CN109472270B (zh) 图像风格转换方法、装置及设备
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4196845B2 (ja) 画像処理装置
KR102326165B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
JP6347958B2 (ja) データ処理装置及びこれを有するディスプレイシステム
US11961203B2 (en) Image processing device and operation method therefor
CN112771578B (zh) 使用细分缩放和深度上缩放的图像生成
CN110992265A (zh) 图像处理方法及模型、模型的训练方法及电子设备
US11967040B2 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
US11068736B2 (en) Method and apparatus for detecting target objects in images
CN101471063A (zh) 色度信号生成装置
KR102552589B1 (ko) 초해상화 방법
JP5526251B1 (ja) 色変換方法、階調値補正装置、コンピュータプログラム及び表示装置
JP3833993B2 (ja) カラー文書画像を二値化する方法及び装置
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
KR102092205B1 (ko) 초해상화, 역톤매핑 및 동시 초해상화-역톤매핑 처리된 다중 출력 이미지를 생성하는 이미지 처리 방법 및 장치
US10664961B2 (en) Inverse tone mapping method
US20100149148A1 (en) Display device and method of driving the same
KR20180016565A (ko) 수치 화상 변환 방법, 장치, 저장 매체 및 기기
JP2021111388A (ja) ニューラル・ネットワーク・アーキテクチャ・サーチ・システム及び方法
CN112200719A (zh) 图像处理方法、电子设备及可读存储介质
US20220309612A1 (en) Image processing apparatus, image processing method, and storage medium
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
KR20230013989A (ko) 이미지 처리 장치, 이의 동작 방법 및, 이를 포함하는 이미지 처리 시스템
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant