KR20140028516A - 학습방식의 부화소기반 영상축소방법 - Google Patents

학습방식의 부화소기반 영상축소방법 Download PDF

Info

Publication number
KR20140028516A
KR20140028516A KR1020120094968A KR20120094968A KR20140028516A KR 20140028516 A KR20140028516 A KR 20140028516A KR 1020120094968 A KR1020120094968 A KR 1020120094968A KR 20120094968 A KR20120094968 A KR 20120094968A KR 20140028516 A KR20140028516 A KR 20140028516A
Authority
KR
South Korea
Prior art keywords
block
image
hrl
cluster
subpixel
Prior art date
Application number
KR1020120094968A
Other languages
English (en)
Inventor
송병철
남연오
김상연
오형석
Original Assignee
주식회사 실리콘웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘웍스 filed Critical 주식회사 실리콘웍스
Priority to KR1020120094968A priority Critical patent/KR20140028516A/ko
Publication of KR20140028516A publication Critical patent/KR20140028516A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 본 발명이 해결하고자 하는 기술적 과제는, 고해상도 영상의 다양한 패턴을 최적의 저해상도 영상으로 축소하는 과정에서 사용되는 최적의 필터의 계수를 설정하여 이를 룩업 테이블로 저장하고, 실제의 고해상도 입력영상을 저해상도 축소영상으로 변환하는 과정에서 상기 룩업 테이블을 참조하게 함으로써, 영상축소 과정에서 발생하는 고주파 성분의 손실 및 색번짐을 최소로 하는 학습방식의 부화소기반 영상축소방법을 개시한다. 상기 학습방식의 부화소기반 영상축소방법은, 학습과정 및 축소영상 생성과정을 포함한다.

Description

학습방식의 부화소기반 영상축소방법 {Method for sub-pixel based image down-sampling with learning style}
본 발명은 영상축소방법에 관한 것으로, 특히 영상축소 과정에서 원본영상에 포함된 고주파 성분의 손실을 최소화하는 학습방식의 부화소기반 영상축소방법에 관한 것이다.
최근 인터넷의 발달과 고해상도 카메라의 등장으로 영화나 사진 등 FHD(Full High Density)급 이상의 컨텐츠 등이 많이 유포되고 있다. 또한, 스마트폰의 사용이 생활화 됨에 따라 스마트폰에서 보는 영상에 대한 관심이 더욱 증가하고 있다. FHD급 이상의 컨텐츠를 PC 모니터 혹은 스마트폰을 이용하여 시청할 경우 컨텐츠가 제공하는 해상도보다 모니터의 해상도가 낮기 때문에 영상을 축소한 상태로 보게 된다.
일반적인 보간법(interpoaltion)을 이용하여 영상을 축소하면 흐림(blur) 현상과 재깅 아티펙트(jagging artifact) 등 고주파성분의 손실로 인해 선명도가 떨어지게 된다. 원본영상에 포함된 고주파 성분을 복원하는 방법에는 기본적으로 라플라시안기법과 언 샵 마스킹 기법 등이 널리 알려져 있다. 이런 기법들은 영상에 고주파 대역 필터를 통과하여 고주파성분을 추출한 다음 복원영상에 더해주는 방법으로 비교적 간단하게 적용 할 수 있고 흐림현상이 제거되어 선명도는 개선되지만, 재깅 아티펙트 혹은 링일 아티펙트(ringing artifact)가 발생하거나, 잡음이 증폭되는 등의 문제가 발생할 수 있다. 이런 현상을 해결하기 위하여 경계선의 방향성을 측정한 후 적절하게 필터링(예를들면, 가중치평균)하여 아티펙트(artifact)를 줄이는 방법이나 잡음 증폭을 줄이기 위하여 영상의 특성에 따라 선명도 개선의 강도를 달리해 주는 등의 방법이 개발되었지만, 고주파성분을 더해주는 방법만으로는 이러한 문제를 완벽하게 해결할 수 없다.
이러한 현상을 극복하기 위해 소위 SPR(sub-pixelrendering)기법을 이용하여 낮은 해상도에서도 픽셀구조를 이용하여 시각적으로 고해상도의 효과를 얻어내는 방법들이 개발되었다. SPR의 주요 응용분야는 소형 디스플레이에서의 영상축소이다. 예를들면, 주파수 도메인에서 물리적인 실험을 바탕으로 통계오류를 정의하고, 이 통계를 최소화하여 필터계수를 만들어 내거나, HVS(human visual system)를 바타탕으로 색차 앨리어싱(aliasing)을 억제하는 알고리즘을 제안하는 등 최근 SPR에 대한 연구가 활발하다.
도 1은 화소기반으로 영상을 1/3로 축소하는 종래의 방법을 나타낸다.
도 1의 상부에는 원본영상인 고해상도 영상을 나타내고, 하부에는 축소영상인 저해상도 영상을 나타낸다. 하나의 화소(pixel)는 R(Red), G(Green), B(Blue)로 구분되는 3개의 부화소(sub-pixel)로 이루어진다. 화소기반의 영상축소방법은, 연속된 3개의 고해상도의 화소들 중 하나를 저해상도의 화소로 선택한다. 도 1을 참조하면, 첫 번째 저해상도 영상의 화소(B3j, G3j, R3j)는 고해상도 영상의 가장 좌측에 배치된 부화소인 B 성분(B3j), G 성분(G3j) 및 R 성분(R3j)을 저해상도 영상의 하나의 화소로 선택한다. 두 번째 저해상도 영상의 화소(B(3j+1), G(3j+1), R(3j+1))는 가장 좌측에 배치된 3개의 부화소로부터 2개의 화소를 건너 뛴 4번째 화소에 속하는 3개의 부화소(B(3j+1), G(3j+1), R(3j+1))가 된다.
도 2는 부화소기반으로 영상을 1/3로 축소하는 종래의 방법을 나타낸다.
도 2의 상부에는 원본영상인 고해상도 영상을 나타내고, 하부에는 축소영상인 저해상도 영상을 나타낸다. 도 2를 참조하면, 부화소기반의 영상축소방법은, 축소영상의 첫 번째 화소를 구성하는 3개의 부화소는 고해상도 영상의 3개의 연속된 화소에 속한 9개의 부화소 중에서 선택된다. 즉, 축소 영상의 첫 번째 화소의 R 성분 부화소(R3j)는 고해상도 영상의 첫 번째 화소에서 선택하고, G 성분 부화소는 고해상도 영상의 두 번째 화소(G3j+1)에서 선택하고, 마지막으로 B 성분 부화소는 고해상도 영상의 3 번째 화소(B3j+2)에서 선택한다. 축소 영상의 두 번째 화소(B(3j+1), G(3j+1)+1, R(3j+1)+2)도 동일한 방식으로 선택한다.
상기의 설명을 요약하면, 화소기반의 영상축소방법은 고해상도 영상으로부터 화소단위로 선택하는데 반해, 부화소기반의 영상축소방법은 고해상도 영상으로부터 부화소단위로 선택한다는 점에서 차이가 있다.
MMDE(Min Max Directional Error) 방식은 SPR 법을 응용한 기법으로, 사람의 눈은 영상의 부자연스러운 곳 중 그 정도가 큰 경우에 민감하게 반응한다는 사실을 기반하는 것으로, 그 정도가 큰 부분의 방향을 찾아 필터링을 수행하여 부자연스러운 곳을 감소시키는 방식이다.
상기에 설명한 방식은 영상을 축소하는데 나름대로의 의미를 가지고 있지만, 영상을 축소하는 과정에서 발생하는 고주파 성분의 손실뿐만 아니라 색번짐 현상을 차단하지 못한다는 단점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 고해상도 영상의 다양한 패턴을 최적의 저해상도 영상으로 축소하는 과정에서 사용되는 최적의 필터의 계수를 설정하여 이를 룩업 테이블로 저장하고, 실제의 고해상도 입력영상을 저해상도 축소영상으로 변환하는 과정에서 상기 룩업 테이블을 참조하게 함으로써, 영상축소 과정에서 발생하는 고주파 성분의 손실 및 색번짐을 최소로 하는 학습방식의 부화소기반 영상축소방법을 제공하는 것에 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 학습방식의 부화소기반 영상축소방법은, 학습과정 및 축소영상 생성과정을 포함한다. 상기 학습과정은 고화질의 학습용 저해상도영상(이하 저해상도영상) 및 상기 저해상도영상의 화질을 떨어뜨린 학습용 저화질의 고해상도영상(이하 고해상도영상)에 포함되는 부화소들의 영상성분 중 적어도 하나의 영상성분을 블록단위로 추출하고, 추출된 블록단위 별 패턴들을 이용하여 상기 저해상동영상을 축소하여 상기 고해상도영상을 생성하는 과정에서의 웨이트 계수를 설정하여 룩업 테이블을 생성한다. 상기 축소영상 생성과정은 영상축소의 대상이 되는 입력영상에 포함된 영상성분 중 상기 학습과정에서 추출한 영상성분과 동일한 영상성분을 블록단위로 추출하여 2차원으로 배열하고, 상기 룩업 테이블에 저장된 웨이트 계수 중 일정한 기준과 매칭되는 웨이트 계수를 이용하여, 추출되어 배열된 상기 영상성분의 블록단위 별로 부화소 필터링을 수행하여 출력영상을 생성한다.
본 발명에 따른 학습방식의 부화소기반 영상축소방법은, 영상축소 과정에서 발생하는 고주파 성분의 손실 및 색번짐을 최소한으로 하는 장점이 있다.
도 1은 화소기반으로 영상을 1/3로 축소하는 종래의 방법을 나타낸다.
도 2는 부화소기반으로 영상을 1/3로 축소하는 종래의 방법을 나타낸다.
도 3은 본 발명에 따른 학습방식의 부화소기반 영상축소방법을 나타낸다.
도 4는 PE된 저해상도영상의 블록 및 이에 대응되는 고해상도영상의 블록을 나타낸다.
도 5는 3 x 3 라플라시안 연산자의 예이다.
도 6는 클러스터의 예이다.
도 7은 클러스터별 룩업 테이블의 예이다.
도 8은 서브-픽셀 필터링 과정을 나타낸다.
도 9는 축소블록의 오버랩핑 처리 과정을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명은 임의의 영상을 축소할 때 고주파 성분의 손실 및 색번짐 현상을 최소한으로 할 수 있는 조건을 미리 학습하여 저장한 후, 저장된 결과를 실제의 축소하고 싶은 영상에 대한 축소 작업에 반영하도록 하는 것이다.
학습과정을 위해, 미리 고화질의 학습용 저해상도영상(LR, 이하 저해상도영상)을 준비하고, 저해상도영상(LR)의 화질을 떨어뜨린 저화질의 학습용 고해상도영상(HR, 이하 고해상도영상)을 임의로 생성하고, 고해상도영상(HR)을 저해상도영상(LR)으로 축소하는 학습과정에서 최적의 축소조건을 학습한 후 이를 룩업 테이블로 저장하고, 실제의 축소영상 생성과정에서는 상기 학습과정에서 생성된 룩업 테이블을 참조(loop-up)하여 고주파성분의 손실 및 색번짐 현상이 최소한으로 된 축소영상을 생성하도록 하는 것이다.
도 3은 본 발명에 따른 학습방식의 부화소기반 영상축소방법을 나타낸다.
도 3을 참조하면, 학습방식의 부화소기반 영상축소방법(300)은 크게 학습과정(310) 및 축소영상 생성과정(350)으로 구분할 수 있다.
학습과정(310)은 고해상도영상(LR) 및 고해상도영상(LR)의 화질을 떨어뜨린 저해상도영상(HR) 쌍(학습용 영상 쌍)에 포함되는 부화소들의 Y성분을 블록단위로 추출하고, 추출된 블록단위 별 패턴들을 이용하여 저해상도영상(HR)을 축소하여 고해상도영상(LR)을 생성하는 과정에서의 필터계수(Weight coefficient)를 설정하여 룩업 테이블을 생성한다.
축소영상 생성과정(350)은 영상축소의 대상이 되는 입력영상(Input block)으로부터 Y성분을 추출하여 2차원으로 배열시키고, 룩업 테이블에 저장된 웨이트 계수 중 일정한 기준과 매칭되는 필터계수를 이용하여, 추출되어 배열된 Y성분의 블록단위 별로 부화소 필터링을 수행하여 부화소기반 축소영상을 생성한다.
먼저 학습과정(310)에 대해 설명한다.
학습과정(310)은 PE(Pre-Emphasis) 및 HR-LR 블록추출단계(311), HR 라플라시안 및 정규화단계(312), HRL 기준 클러스터링 단계(313), 클러스터별 필터계수 생성단계(314) 및 HRL-Weight 룩업 테이블 생성단계(315)를 구비한다.
PE(Pre-Emphasis) 및 HR-LR 블록추출단계(311)는, 미리 준비한 충분한 수의 저해상도영상(LR) 및 고해상도영상(HR) 쌍(학습용 영상 쌍)들 중에서 패턴이 유사한 LR-HR 블록 쌍을 추출한다. 여기서 LR 블록은 저해상도영상(LR) 중에서 구분한 블록을 의미하고, HR 블록은 고해상도영상(HR) 중에서 구분한 블록을 의미한다.
본 발명에서는 부화소의 Y성분에 따라 패턴을 추출한다.
여기서 저해상도영상(LR)과 고해상도영상(LR) 사이의 선명도의 차이가 클 수록, 합성과정(350)에서 생성되는 출력영상(Output block)의 선명도가 향상될 것이므로, 본 발명에서는 저해상도영상(LR)의 선명도를 향상시킨 후 학습과정을 수행하도록 한다. 이를 위해서, 본 발명에서는, HR-LR 블록추출 이전에, 저해상도영상(LR)에 PE(Pre-Emphasis) 방법을 적용하여 저해상도영상(LR)의 선명도를 향상시킬 것을 제안한다.
도 4는 PE된 저해상도영상의 블록 및 이에 대응되는 고해상도영상의 블록을 나타낸다.
도 4를 참조하면, 좌측의 PE된 M x N 크기의 저해상도영상블록(이하 LR 블록)은 저해상도영상(LR) 중에서M=N=3인 총 9개의 부화소(붉은 사각형 내)를 포함하며, 좌측의 LR 블록에 대응되는 우측의 αM x αN 크기의 고해상도영상블록(이하 HR 블록)은 고화질영상(HR) 중에서 스케일 팩터(scale factor)인 α=2인 총 36개의 부화소(붉은 사각형 내)를 포함한다.
HR 라플라시안 및 정규화단계(312)는 영상축소를 위해서 HR 블록을 중심으로 색인(indexing)이 이루어진다. HR 블록의 고주파 에너지 및 에지(edge)의 특징을 충분히 반영한 패턴을 추출하기 위하여, HR 블록에 라플라시안 연산자를 적용하여 HR 라플라시안(이하 HRL 블록)을 생성한다.
도 5는 3 x 3크기의 라플라시안 연산자의 예이다.
도 5를 참조하면, 본 발명에 따른 HR 라플라시안 추출단계(312)에서는 3ㅧ3 라플라시안 연산자를 사용하여 본 발명을 검증하였다.
또한 밝기 수준에 덜 민감한 패턴을 수집하기 위하여 수집된 블록단위의 모든 HR 라플라시안(HRL)들에 대해 정규화(normalization) 작업을 수행하여 정규화된 복수 개의 정규화된 HRL 블록들(LRLn)을 생성하며, 블록단위의 HR 라플라시안(HRL)의 평균 및 표준편차를 각각 μ 및 σ라 할 때, 모든 HR 라플라시안 블록들(HRL) 내의 화소들(HRL(k,l))에 대한 정규화 된 HRL 블록(HRLn(k,l))은, 수학식 1과 같이 정의할 수 있다.
Figure pat00001
여기서 k 및 l은 HR 라플라시안 블록(HRL)의 2차원 좌표를 의미하며, 정규화 된 HRL 블록(HRLn(k,l))은 블록의 분류 기준 즉 색인 기준으로 활용된다.
HRL 기준 클러스터링 단계(313)에서는, 정규화된 HRL 블록(HRLn), 정규화된 HRL 블록(HRLn)과 일정한 관련이 있는 HR 블록과 LR 블록의 쌍들을 하나의 그룹으로 선정하여, 복수 개의 정규화된 클러스터 그룹을 생성한다.
먼저 클러스터의 개수를 복수 개의 정규화된 HRL 블록(HRLn)을 소정의 기준에 따라 구분하여 결정한다. 즉, 복수 개의 정규화된 HRL 블록(HRLn)에 대하여 L1-norm 이나 L2-norm과 같은 거리측정(distance measure) 알고리즘을 적용하여 서로 중복되지 않도록 클러스터를 결정한다.
각각의 클러스터에는 하나의 정규화된 HRL 블록, HR 블록과 LR 블록의 쌍(HR-LR 쌍)들 중에서 정규화된 HRL 블록과 SSE(Sum of Square Error) 결과가 미리 선정한 기준값 이하의 값을 가지는 블록 쌍들을 포함시킨다.
도 6은 클러스터의 예이다.
도 6을 참조하면, 각각의 클러스터에는 하나의 정규화된 HRL 블록(HRLn)과 복수 개의 HR 블록(HR)-LR 블록(LR)의 쌍들을 포함하고 있다. 각 클러스터의 가장 좌측에 있는 블록이 정규화된 HRL 블록(HRLn)이고, 이어지는 블록의 표시 H는 HR 블록을 의미하며, L은 LR 블록을 의미한다.
본 발명에서는 각각의 클러스터에 포함된 모든 블록들의 평균치를 계산하여 해당 클러스터에 대응되는 값으로 저장할 것을 제안한다.
클러스터별 필터계수 생성단계(314)는 복수 개의 클러스터들 각각에 포함된HR 블록 및 LR 블록 쌍들 중에서, 해당 클러스터를 대표하는 필터계수를 계산한다. 먼저 필터 계수를 생성하기 위해 새로운 매개변수 X와 Y를 수학식 2 및 수학식 3과 같은 행렬로 정의한다.
Figure pat00002
Figure pat00003
여기서, (i, j)는 X와 Y의 행렬값의 위치를 나타내는 변수이다. 수학식 2에 표시된 행렬 X는
Figure pat00004
의 크기를 가지고, 수학식 3에 표시된 행렬 Y는
Figure pat00005
의 크기를 가진다. HR1D 및 LR1D는 클러스터링 된 2차원 블록을 1-D 방향으로 늘인 행렬을 나타낸다.
가우스-조단 소거법(Gauss Jordan Elemination)을 이용하여 X의 역행렬을 생성하고, X의 역행렬을 수학식 3의 양변에 곱해주면 수학식 4와 같은 형태의 수학식이 생성된다.
Figure pat00006
수학식 4에 행렬 HR1D를 곱해주면, 수학식 5와 같이 최종적으로 출력하고자 하는 출력블록(HR1D(i))을 구할 수 있다.
Figure pat00007
이하에서는 수학식 4에 표시된 YX-1 행렬을 필터계수(W)로 표시한다.
1-D형태의 수학식 5를 2-D형태로 표시하면 수학식 6과 같다.
Figure pat00008
수학식 6을 이용하여 각 클러스터별 LR-HR블록들은 수학식 7과 같은 관계를 이룬다.
Figure pat00009
여기서 r은 r번째 클러스터를 의미한다.
필터계수(W)에 대해서는 후술한다.
HRL-Weight 룩업 테이블 생성단계(315)는, 상기의 단계에서 얻어진 필터계수(W)가 영상 합성 시 이용될 정보로HRL-Weight 룩업 테이블에 저장된다.
도 7은 클러스터 별 룩업 테이블의 예이다.
도 7을 참조하면, 복수 개의 클러스터는 복수 개의 필터계수를 포함한다는 것을 알 수 있다. K번째 클러스터의 출력블록(i, j)에서의 필터계수(Wi,j)는 수학식 8과 같은 구성의 복수 개의 필터계수를 저장하고 있다.
Figure pat00010
필터계수(Wr,i,j)의 크기가 HR 학습영상의 클록크기인 αMㅧαN 이므로, 각각의 필터계수(W)는 총
Figure pat00011
개의 필터계수를 담고 있다.
본 발명에서는 상술한 바와 같은 학습과정을 거쳐 고해상도 영상의 다양한 패턴을 최적의 저해상도 영상으로 축소하는 과정에서 사용되는 최적의 필터의 계수를 미리 학습한 후 이를 클러스터 별 룩업 테이블로 저장하였다.
이어서, 축소영상 생성과정(350)에 대하여 설명한다.
축소영상 생성과정(350)에서는 학습과정(310)에서 생성된 클러스터 별 룩업 테이블을 참조함으로써, 영상축소 과정에서 발생하는 고주파 성분의 손실 및 색번짐을 최소로하며, Y성분 변환 및 블록 추출 단계(351), 라플라시안 및 정규화 단계(352), 정합단계(353) 및 부화소 별 2D-FIR 필터링 단계(354)를 구비한다.
Y성분 변환 및 블록 추출 단계(351)는 입력영상(Input block)의 각각의 부화소에 대한 Y 성분을 추출하고, 각 부화소의 Y성분을 2차원으로 배열한 후, 학습 과정의 HR 블록과 동일한 크기인 αMㅧαN의 크기로 Y성분 블록을 추출한다.
라플라시안 및 정규화 단계(352)에서는, 추출된 Y성분 블록에 대해 학습과정에서 사용한 것과 동일한 라플라시안 연산자 적용 및 정규화과정을 수행하여, 정규화된 HRL 블록(HRLn')을 생성한다.
정합단계(353)에서는, 정규화된 HRL 블록(HRLn')과 클러스터 별 룩업 테이블 저장된 색인 블록을 비교하여, 가장 유사한 블록패턴을 가지는 클러스터를 찾는다. 비교하는 과정은 SAD(Sum of Absolute Difference)를 사용해서 블록 간 거리를 측정하여, 거리가 가장 가까운 클러스터를 선택한다. 정규화된 HRL 블록(HRLn')과 클러스터 별 룩업 테이블 저장된 블록패턴과의 거리는 수학식 9와 같이 표시할 수 있다.
Figure pat00012
여기서 Sr은 r번째 클러스터에 담긴 색인 블록을 의미하며, dk는 r번째 클러스터에 담긴 색인 블록과 정규화된 HRL 블록(HRLn')과의 SAD 값을 의미한다.
부화소 별 2D-FIR 필터링 단계(354)에서는 정합단계(353)에서 선택된 클러스터에 저장되어 있는 필터계수를 이용하여 입력되는 HR 블록(Input block)에 대해 부화소 별 2D-FIR 필터링을 수행하여 출력블록(Output block)을 생성한다.
입력되는 HR 블록(HR, Input block)과 출력블록(LR, Output block)과의 관계는 수학식 10 내지 수학식 12와 같이 표시할 수 있다.
Figure pat00013
Figure pat00014
Figure pat00015
여기서, LR 및 HR에 각각 연결되는 아래첨자들 R, G 및 B는 각각 R성분, G성분 및 B성분을 의미한다.
도 8은 부화소 필터링 과정을 나타낸다.
수학식 10 내지 수학식 12와 도 8을 참조하면, R성분과 B성분에 대한 필터계수는 G성분에 의해 결정된 필터계수와 동일한 것을 사용하되, G성분을 기준으로 각각 좌우 하나의 화소씩 이동된 블록으로 합성한다.
본 발명을 효과적으로 사용하기 위해서는, 축소될 입력영상을 구성하는 블록들의 분산이 일정한 기준이하로 낮은 경우에는 부화소 별 2D-FIR 필터링 단계(354)를 수행하지 않고, 입력영상을 축소영상으로 처리하는 것이 바람직하다.
부화소 별 2D-FIR 필터링 단계(354)에서 생성되거나 부화소 별 2D-FIR 필터링 단계(354)를 수행하지 않은 상태로 결정된 부화소기반 축소영상이 서로 겹치는 경우에는 겹치는 부분의 평균값을 최종 축소영상으로 결정할 것을 제안한다.
도 9는 축소블록의 오버랩핑 처리 과정을 나타낸다.
도 9를 참조하면, 블록1과 블록2가 중첩되는 부분(Overlapped block)은 평균값으로 최종 축소영상으로 결정한다.
상기에서는 부화소의 Y성분을 중심으로 설명하였으나, Y성분은 R, G 및 B 각각의 부화소의 정보를 충분히 가지고 있으므로, Y 성분으로 정합을 수행하는 경우 단 한 번의 정합 결과를 3개의 부화소에 적용할 수 있다. 그러나, 필요에 따라서, 이를 R, G 및 B 성분 별로 구분하여 상기의 연산을 수행하는 것도 가능하다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
310: 학습과정
311: PE(Pre-Emphasis) 및 HR-LR 블록추출단계
312: HR 라플라시안 및 정규화단계
313: HRL 기준 클러스터링 단계
314: 클러스터별 필터계수 생성단계
315: HRL-Weight 룩업 테이블 생성단계
350: 축소영상 생성과정
351: Y성분 변환 및 블록 추출 단계
352: 라플라시안 및 정규화 단계
353: 정합단계
354: 부화소 별 2D-FIR 필터링 단계

Claims (12)

  1. 고화질의 학습용 저해상도영상(이하 저해상도영상) 및 상기 저해상도영상의 화질을 떨어뜨린 학습용 저화질의 고해상도영상(이하 고해상도영상)에 포함되는 부화소들의 영상성분 중 적어도 하나의 영상성분을 블록단위로 추출하고, 추출된 블록단위 별 패턴들을 이용하여 상기 저해상동영상을 축소하여 상기 고해상도영상을 생성하는 과정에서의 웨이트 계수를 설정하여 룩업 테이블을 생성하는 학습과정; 및
    영상축소의 대상이 되는 입력영상에 포함된 영상성분 중 상기 학습과정에서 추출한 영상성분과 동일한 영상성분을 블록단위로 추출하여 2차원으로 배열하고, 상기 룩업 테이블에 저장된 웨이트 계수 중 일정한 기준과 매칭되는 웨이트 계수를 이용하여, 추출되어 배열된 상기 영상성분의 블록단위 별로 부화소 필터링을 수행하여 출력영상을 생성하는 축소영상 생성과정;을 포함하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  2. 제1항에 있어서,
    상기 영상성분은 Y성분인 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  3. 제2항에 있어서, 상기 학습과정은,
    미리 준비한 복수 개의 저해상도영상 및 고해상도영상 쌍들 중에서 패턴이 유사한 LR-HR 블록 쌍을 추출하는 PE(Pre-Emphasis) 및 HR-LR 블록추출단계;
    추출된 HR 블록에 라플라시안 연산자를 적용하여 HR 라플라시안 블록을 생성하고, 상기 HR 라플라시안 블록을 정규화하여 정규화된 HRL 블록을 생성하는 HR 라플라시안 및 정규화단계;
    상기 정규화된 HRL 블록, 상기 정규화된 HRL 블록(HRLn)과 일정한 관련이 있는 HR 블록과 LR 블록의 쌍들을 하나의 그룹으로 선정하여, 복수 개의 정규화된 클러스터 그룹을 생성하는 HRL 기준 클러스터링 단계;
    복수 개의 클러스터들 각각에 포함된 HR 블록 및 LR 블록 쌍들 중에서, 해당 클러스터를 대표하는 필터계수를 계산하는 클러스터별 필터계수 생성단계; 및
    상기 필터계수가 영상 합성 시 이용될 정보로 HRL-Weight 룩업 테이블에 저장하는 HRL-Weight 룩업 테이블 생성단계;를 포함하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  4. 제3항에 있어서, 상기 라플라시안 추출단계에서 수집된 모든 HR 라플라시안 블록들 내의 화소들(HRL(k,l))에 대한 정규화 값(HRLn(k,l))은,
    Figure pat00016

    의 관계를 만족하며,
    여기서, μ는 해당 HR 라플라시안 블록의 평균, σ는 해당 HR 라플라시안 블록의 표준편차이고, k 및 l은 상기 HR 라플라시안 블록의 2차원 좌표인 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  5. 제4항에 있어서, 상기 HRL 기준 클러스터링 단계에서는,
    클러스터의 개수를 복수 개의 상기 정규화된 HRL 블록을 소정의 기준에 따라 구분하여 결정하며,
    각 클러스터에는 하나의 정규화된 HRL 블록과 상기 HR 블록과 LR 블록의 쌍들 중에서 상기 정규화된 HRL 블록과 SSE(Sum of Square Error) 결과가 미리 선정한 기준값 이하의 값을 가지는 블록 쌍들을 포함시키며,
    각 클러스터에 포함된 모든 블록들의 평균치를 계산하여 해당 클러스터에 대응되는 값으로 저장하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  6. 제5항에 있어서, 상기 소정의 기준은,
    L1-norm 이나 L2-norm의 거리측정(distance measure) 알고리즘으로 결정되는 것을 특징으로 하는 부화소기반 영상축소방법.
  7. 제6항에 있어서, 상기 클러스터별 필터계수 생성단계에서는,
    행렬
    Figure pat00017
    의 역행렬(X-1) 및 행렬
    Figure pat00018
    의 곱으로 정의되는 상기 필터계수를 생성하며,
    여기서, 상기 HR1D 및 상기 LR1D는 클러스터링 된 2차원 블록을 1-D 방향으로 늘인 행렬이고,
    상기 필터계수는 아래의 수학식
    Figure pat00019

    을 만족하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  8. 제7항에 있어서, 상기 축소영상 생성과정은,
    상기 입력영상의 각각의 부화소에 대한 Y 성분을 추출하고, 각 부화소의 Y성분을 2차원으로 배열한 후, 상기 학습 과정의 HR 블록과 동일한 크기로 Y성분 블록을 추출하는 Y성분 변환 및 블록 추출 단계;
    추출된 Y성분 블록에 대해 상기 학습과정에서 사용한 것과 동일한 라플라시안 연산자 적용 및 정규화과정을 수행하여, 정규화된 HRL 블록을 생성하는 라플라시안 및 정규화 단계;
    상기 정규화된 HRL 블록과 상기 클러스터 별 룩업 테이블 저장된 색인 블록을 비교하여, 가장 유사한 블록패턴을 가지는 클러스터를 찾는 정합단계; 및
    상기 정합단계에서 선택된 클러스터에 저장되어 있는 필터계수를 이용하여 입력되는 입력영상에 대해 부화소 별 2D-FIR 필터링을 수행하여 출력블록을 생성하는 부화소 별 2D-FIR 필터링 단계;를 포함하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  9. 제8항에 있어서, 상기 정합단계에서는,
    SAD(Sum of Absolute Difference)를 사용해서 블록 간 거리를 측정하여, 거리가 가장 가까운 클러스터를 선택하며, 상기 정규화된 HRL 블록(HRLn')과 클러스터 별 룩업 테이블 저장된 블록패턴과의 거리는 수학식
    Figure pat00020

    과 같이 표시하고, 여기서 Sr은 r번째 클러스터에 담긴 색인 블록을 의미하며, dk는 r번째 클러스터에 담긴 색인 블록과 정규화된 HRL 블록(HRLn')과의 SAD 값을 의미하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  10. 제9항에 있어서, 상기 부화소 별 2D-FIR 필터링 단계에서는,
    3개의 영상성분인 R성분, G성분 및 B성분에 대해, 아래의 3개의 수학식
    Figure pat00021
    ,
    Figure pat00022
    ,
    Figure pat00023

    을 수행하여 얻으며,
    여기서 LR 및 HR에 각각 연결되는 아래첨자들 R, G 및 B는 각각 R성분, G성분 및 B성분을 의미하며, M 및 N은 블록을 구성하는 부화소의 가로 및 세로의 개수이고, 스케일 팩터 α는 자연수인 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  11. 제10항에 있어서,
    축소될 입력영상을 구성하는 블록들의 분산이 일정한 기준이하로 낮은 경우에는 상기 부화소 필터링단계를 수행하지 않고, 상기 입력영상을 축소영상으로 처리하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
  12. 제11항에 있어서,
    상기 부화소 별 2D-FIR 필터링 단계에서 생성되거나 상기 부화소 필터링단계를 수행하지 않은 상태로 결정된 상기 부화소기반 축소영상이 서로 겹치는 경우에는 겹치는 부분의 평균값을 최종 축소영상으로 결정하는 것을 특징으로 하는 학습방식의 부화소기반 영상축소방법.
KR1020120094968A 2012-08-29 2012-08-29 학습방식의 부화소기반 영상축소방법 KR20140028516A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120094968A KR20140028516A (ko) 2012-08-29 2012-08-29 학습방식의 부화소기반 영상축소방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120094968A KR20140028516A (ko) 2012-08-29 2012-08-29 학습방식의 부화소기반 영상축소방법

Publications (1)

Publication Number Publication Date
KR20140028516A true KR20140028516A (ko) 2014-03-10

Family

ID=50641920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120094968A KR20140028516A (ko) 2012-08-29 2012-08-29 학습방식의 부화소기반 영상축소방법

Country Status (1)

Country Link
KR (1) KR20140028516A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029515A1 (zh) * 2014-08-27 2016-03-03 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的显示方法及设备
WO2018080204A1 (ko) * 2016-10-26 2018-05-03 삼성전자 주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
CN111199523A (zh) * 2019-12-24 2020-05-26 深圳供电局有限公司 电力设备识别方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029515A1 (zh) * 2014-08-27 2016-03-03 深圳市华星光电技术有限公司 一种基于缩减像素采样处理的显示方法及设备
WO2018080204A1 (ko) * 2016-10-26 2018-05-03 삼성전자 주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
US11257186B2 (en) 2016-10-26 2022-02-22 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US10963989B2 (en) 2018-04-11 2021-03-30 Electronics And Telecommunications Research Institute Apparatus and method of generating stitched image based on look-up table
CN111199523A (zh) * 2019-12-24 2020-05-26 深圳供电局有限公司 电力设备识别方法、装置、计算机设备和存储介质
CN111199523B (zh) * 2019-12-24 2023-08-25 深圳供电局有限公司 电力设备识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Sandić-Stanković et al. DIBR synthesized image quality assessment based on morphological wavelets
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN105678700B (zh) 基于预测梯度的图像插值方法及系统
US20180322614A1 (en) Method and apparatus for processing image
CN111489346B (zh) 一种全参考图像质量评价方法及系统
CN106780417A (zh) 一种光照不均图像的增强方法及系统
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
KR20110032157A (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN110517304B (zh) 生成深度图的方法、装置、电子设备和存储介质
KR20170033395A (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체, 및 프로그램
CN107610093B (zh) 基于相似性特征融合的全参考型图像质量评价方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
CN103268596A (zh) 一种降低图像噪声和使颜色接近标准的方法
WO2019090580A1 (en) System and method for image dynamic range adjusting
KR20140028516A (ko) 학습방식의 부화소기반 영상축소방법
CN114708157A (zh) 图像压缩方法、电子设备和计算机可读存储介质
CN107318023B (zh) 图像帧的压缩方法及装置
US20160284056A1 (en) Image processing apparatus and method
CN113793249B (zh) Pentile图像转换RGB图像的方法及相关设备
KR102470242B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
Tajima et al. Chromatic interpolation based on anisotropy-scale-mixture statistics
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
Tang et al. Zoned mapping network from sdr video to hdr video
You et al. CNN-Based Local Tone Mapping in the Perceptual Quantization Domain
CN111031301A (zh) 一种色域空间调整的方法、存储设备及显示终端

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination