KR101651741B1 - 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법 - Google Patents

영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101651741B1
KR101651741B1 KR1020140131780A KR20140131780A KR101651741B1 KR 101651741 B1 KR101651741 B1 KR 101651741B1 KR 1020140131780 A KR1020140131780 A KR 1020140131780A KR 20140131780 A KR20140131780 A KR 20140131780A KR 101651741 B1 KR101651741 B1 KR 101651741B1
Authority
KR
South Korea
Prior art keywords
image
low
enhancement layer
resolution
frequency
Prior art date
Application number
KR1020140131780A
Other languages
English (en)
Other versions
KR20160038554A (ko
Inventor
이대열
정세윤
조숙희
김휘용
임성창
김종호
최진수
김종옥
최지훈
전재희
Original Assignee
한국전자통신연구원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 고려대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020140131780A priority Critical patent/KR101651741B1/ko
Publication of KR20160038554A publication Critical patent/KR20160038554A/ko
Application granted granted Critical
Publication of KR101651741B1 publication Critical patent/KR101651741B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법이 개시된다.
고해상도 영상 생성 방법은 저해상도 입력 영상을 보간한 확대 영상, 상기 입력 영상의 저주파수 영상 및 상기 저주파수 영상보다 높은 주파수들로 구성된 상기 입력 영상의 고주파수 영상을 이용하여 향상 계층의 고주파수 영상을 생성하는 단계; 상기 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 단계; 선명화한 향상 계층의 고주파수 영상과 상기 저주파수 영상을 융합하여 고해상도 출력 영상을 생성하는 단계를 포함할 수 있다.

Description

영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법{HIGH RESOLUTION IMAGE GENERATION APPARATUS AND METHOD FOR EACH REGION OF THE SHARPENED IMAGE}
본 발명은 고해상도 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 저해상도 영상을 변환하여 생성한 고해상도 영상의 화질을 향상시키는 장치 및 방법에 관한 것이다.
HD(High Definition) 해상도의 영상 콘텐츠가 증가함에 따라 사용자는 고해상도, 고화질의 영상에 익숙해지고 있다. 따라서, 기존에 촬영된 저해상도, 저화질 영상을 이용하여 고해상도 영상을 생성하는 기술이 개발되고 있다.
저해상도, 저화질로 촬영된 영상을 이용하여 고해상도 영상을 생성하는 경우, 생성된 고해상도 영상의 선명도가 감소할 수 있다. 따라서, 생성한 고해상도 영상의 선명도를 증가시키는 선명화 과정이 수행되고 있다. 이때, 고해상도 영상에는 선명도의 증가에 따른 화질 열화가 큰 영역과 선명도의 증가에 따른 화질 열화가 적은 영역이 포함될 수 있다.
그러나, 종래의 고해상도 영상 생성 방법은 생성된 고해상도 영상의 모든 영역을 동일하게 선명화하고 있으므로, 선명화에 따른 고해상도 영상의 화질 열화가 발생할 수 있었다.
따라서, 저해상도 영상을 이용하여 생성한 고해상도 영상의 선명도를 증가 시키면서 고해상도 영상의 화질을 향상 시킬 수 있는 방법이 요청되고 있다.
본 발명은 저해상도 영상을 변환하여 생성한 고해상도 영상의 화질을 향상시키는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 고해상도 영상 생성 방법은 저해상도 입력 영상을 보간한 확대 영상, 상기 입력 영상의 저주파수 영상 및 상기 저주파수 영상보다 높은 주파수들로 구성된 상기 입력 영상의 고주파수 영상을 이용하여 향상 계층의 고주파수 영상을 생성하는 단계; 상기 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 단계; 선명화한 향상 계층의 고주파수 영상과 상기 확대 영상을 융합하여 고해상도 출력 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 향상 계층의 고주파수 영상을 영역별로 서로 다른 선명화 계수로 선명화함으로써, 고해상도 영상의 화질을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 고해상도 영상 생성 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 도 1의 향상 계층 영상 생성부를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 도 1의 선명화부를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 향상 계층의 고주파수 영상 생성 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 고해상도 영상 생성 방법을 도시한 플로우차트이다.
도 6는 본 발명의 일실시예에 따른 고해상도 영상 생성 방법의 향상 계층의 고주파수 영상 생성 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 고해상도 영상 생성 방법의 선명화 과정을 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 고해상도 영상 생성 방법은 고해상도 영상 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 고해상도 영상 생성 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 고해상도 영상 생성 장치(100)는 향상 계층 영상 생성부(110), 선명화부(120), 출력 영상 생성부(130) 및 배경 투사부(140)를 포함할 수 있다.
향상 계층 영상 생성부(110)는 입력 영상을 보간한 확대 영상, 입력 영상의 저주파수 영상 및 입력 영상의 고주파수 영상을 이용하여 향상 계층(enhancement layer)의 고주파수 영상을 생성할 수 있다. 이때, 입력 영상은 저해상도 영상일 수 있다. 또한, 입력 영상의 고주파수 영상은 입력 영상의 저주파수 영상보다 높은 주파수들로 구성된 영상일 수 있다. 그리고, 입력 영상의 저주파수 영상은 입력 영상에서 임계값보다 낮은 주파수들로 구성된 영상일 수 있다.
구체적으로 향상 계층 영상 생성부(110)는 입력 영상을 저주파수 영상과 고주파수 영상으로 분할하고, 입력 영상을 보간(interpolation)하여 확대 영상을 생성할 수 있다. 그리고, 향상 계층 영상 생성부(110)는 저주파수 영상의 패치 중에서 확대 영상의 패치와 유사도가 가장 높은 유사 패치를 검색할 수 있다. 다음으로, 향상 계층 영상 생성부(110)는 검색된 유사 패치에 대응하는 고주파수 영상의 패치를 향상 계층의 고주파수 영상으로 복사 및 매핑(mapping)하여 향상 계층의 고주파수 영상을 생성할 수 있다.
향상 계층 영상 생성부(110)의 상세 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.
선명화부(120)는 향상 계층 영상 생성부(110)가 생성한 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화할 수 있다.
이때, 선명화부(120)는 향상 계층의 고주파수 영상의 곡률 차이(difference curvature)를 이용하여 향상 계층의 고주파수 영상의 영역을 분할할 수 있다. 그리고, 선명화부(120)는 분할된 향상 계층의 고주파수 영상의 영역 별로 서로 다른 선명화 계수로 부스팅(boosting)하여 선명화할 수 있다.
선명화부(120)의 상세 구성 및 동작은 이하 도 3을 참조하여 상세히 설명한다.
출력 영상 생성부(130)는 선명화부(120)가 선명화한 향상 계층의 고주파수 영상과 확대 영상을 융합하여 입력 영상보다 해상도가 높은 출력 영상을 생성할 수 있다.
배경 투사부(140)는 출력 영상 생성부(130)가 생성한 출력 영상을 입력 영상으로 배경 투사할 수 있다.
먼저, 배경 투사부(140)는 출력 영상의 향상 계층의 영상을 11x11 안티-앨리어스 필터링할 수 있다. 이때, 출력 영상의 향상 계층의 영상은 향상 계층의 저주파수 영상인 확대 영상 및 향상 계층의 고주파수 영상을 포함할 수 있다.
다음으로, 배경 투사부(140)는 필터링된 향상 계층의 영상을 보간하여 저해상도 입력 영상의 크기로 투영할 수 있다. 이때, 배경 투사부(140)는 향상 계층 영상 생성부(110)가 확대 영상을 생성하기 위하여 이용한 보간 방법을 이용하여 상기 향상 계층의 영상을 보간할 수 있다.
그 다음으로, 배경 투사부(140)는 투영된 영상과 출력 영상 생성부(130)가 생성한 출력 영상 간의 차분 영상을 생성할 수 있다.
다음으로, 배경 투사부(140)는 상기 차분 영상을 출력 영상의 향상 계층의 영상으로 투영할 수 있다. 이때, 배경 투사부(140)는 향상 계층 영상 생성부(110)가 확대 영상을 생성하기 위하여 이용한 보간 방법을 이용하여 차분 영상을 상기 향상 계층의 영상으로 투영할 수 있다.
그 다음으로, 배경 투사부(140)는 향상 계층의 영상으로 투영된 영상을 3x3 가우시안 필터링할 수 있다.
마지막으로, 배경 투사부(140)는 가우시안 필터링된 영상을 입력 영상에 더하여 고해상도인 출력 영상을 저해상도인 입력 영상으로 배경 투사할 수 있다.
또한, 배경 투사부(140)는 상기 과정을 복수의 계층의 영상들에 반복하여 적용함으로써, 출력 영상의 해상도를 높일 수 있다.
도 2는 본 발명의 일실시예에 따른 도 1의 향상 계층 영상 생성부를 나타내는 도면이다.
도 2를 참고하면, 본 발명의 일실시예에 따른 향상 계층 영상 생성부(110)는 입력 영상 분할부(210), 확대 영상 생성부(220), 유사 패치 검색부(230), 및 향상 계층 영상 생성부(240)를 포함할 수 있다.
입력 영상 분할부(210)는 저해상도인 입력 영상을 임계값보다 주파수가 낮은 저주파수 영상 및 임계값보다 주파수가 높은 고주파수 영상으로 분할할 수 있다.
이때, 입력 영상 분할부(210)는 가우시안 필터, 또는 스케일링을 이용하여 입력 영상을 저주파수 영상과 고주파수 영상으로 분할할 수 있다.
예를 들어, 입력 영상 분할부(210)는 입력 영상에 가우시안 필터를 적용하여 저주파수 영상을 생성할 수 있다. 또한, 입력 영상 분할부(210)는 입력 영상을 1.25 배의 다운-스케일링(down-scaling) 이후 업-스케일링(up-scaling)하여 저주파수 영상을 생성할 수 있다. 이때, 입력 영상 분할부(210)는 입력 영상과 저주파수 영상 간의 차이를 기초로 고주파수 영상을 생성할 수 있다.
확대 영상 생성부(220)는 입력 영상을 선형 보간(interpolation)하여 확대 영상을 생성할 수 있다. 이때, 확대 영상 생성부(220)는 자기 유사성에 기반하여 고해상도 영상을 복원하는 선형 보간 방법을 사용하여 입력 영상을 선형 보간할 수 있다.
또한, 확대 영상 생성부(220)는 선형 보간 커널, 및 컨볼루션 커널 중 적어도 하나를 사용하여 입력 영상에 선행 보간 방법을 사용하여 수 있다. 이때, 선형 보간 커널은 입력 영상을 업-스케일링 및 다운-스케일링할 수 있다. 또한, 컨볼루션 커널은 입력 영상을 3x3 가우시안 필터링 혹은 11x11 안티-앨리어스(anti-alias) 필터링할 수 있다.
유사 패치 검색부(230)는 입력 영상 분할부(210)가 분할한 저주파수 영상의 패치 중에서 확대 영상 생성부(220)가 생성한 확대 영상의 패치와 가장 유사도가 높은 유사 패치를 검색할 수 있다. 이때, 패치는 영상에 포함된 픽셀들 중에서 특정 크기를 가지는 픽셀들의 집합일 수 있다. 예를 들어, 패치는 5x5 픽셀 사이즈를 가지는 집합일 수 있다.
그리고, 유사 패치 검색부(230)는 입력 영상 분할부(210)가 분할한 저주파수 영상의 패치의 MSE(Mean square error) 값을 기준으로 확대 영상 생성부(220)가 생성한 확대 영상의 패치 중에서 가장 유사한 패치를 검색할 수 있다.
향상 계층 영상 생성부(240)는 입력 영상 분할부(210)가 분할한 고주파수 영상의 패치 중에서 유사 패치 검색부(230)가 검색한 유사 패치에 대응하는 대응 패치를 이용하여 향상 계층의 고주파수 영상을 생성할 수 있다.
이때, 향상 계층 영상 생성부(240)는 유사 패치 검색부(230)가 검색한 유사 패치에 대응하는 저해상도의 고주파수 영상을 향상 계층의 저주파수 영상인 확대 영상에 복사 및 매핑시켜 향상 계층의 고주파수 영상을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 도 1의 선명화부를 나타내는 도면이다.
도 3을 참고하면, 본 발명의 일실시예에 따른 선명화부(120)는 향상 영상 분할부(310) 및 선명화부(320)를 포함할 수 있다.
향상 영상 분할부(310)는 향상 계층의 고주파수 영상의 곡률 차이(difference curvature)를 기초로 향상 계층의 고주파수 영상을 복수의 영역으로 분할할 수 있다.
예를 들어, 향상 영상 분할부(310)는 수학식 1을 이용하여 향상 계층의 고주파수 영상을 분할할 수 있다.
Figure 112014093656985-pat00001
이때,
Figure 112014093656985-pat00002
는 향상 계층의 고주파수 영상의 수평 방향으로의 1차 미분 값이고,
Figure 112014093656985-pat00003
는 향상 계층의 고주파수 영상의 수직 방향으로의 1차 미분 값일 수 있다. 또한,
Figure 112014093656985-pat00004
는 향상 계층의 고주파수 영상의 수평 방향으로의 2차 미분 값이고,
Figure 112014093656985-pat00005
는 향상 계층의 고주파수 영상의 수직 방향으로의 2차 미분 값일 수 있다. 그리고,
Figure 112014093656985-pat00006
는 수평 및 수직 방향으로의 2차 미분 값일 수 있다.
따라서,
Figure 112014093656985-pat00007
은 편향치 방향으로의 2차 미분 값이고,
Figure 112014093656985-pat00008
은 편향치 수직 방향으로의 2차 미분 값일 수 있다.
이때, 향상 영상 분할부(310)는 향상 계층의 고주파수 영상에서
Figure 112014093656985-pat00009
과
Figure 112014093656985-pat00010
이 모두 임계값 보다 큰 픽셀을 텍스쳐 영역으로 판별하여 분할할 수 있다. 또한, 향상 영상 분할부(310)는 향상 계층의 고주파수 영상에서
Figure 112014093656985-pat00011
이 임계값 보다 크고
Figure 112014093656985-pat00012
이 임계값 보다 작은 픽셀을 엣지 영역으로 판별하여 분할할 수 있다. 그리고, 향상 영상 분할부(310)는 향상 계층의 고주파수 영상에서
Figure 112014093656985-pat00013
이 임계값 보다 작은 픽셀을 플랫 영역으로 판별하여 분할할 수 있다.
이때, 텍스쳐 영역, 엣지 영역 및 플랫 영역은 화소 단위로 분할된 영역이지만, 화소 단위로 분할된 영상을 선명화하는 경우, 자연스럽지 않게 선명화될 가능성이 있다. 따라서, 향상 영상 분할부(310)는 텍스쳐 영역, 엣지 영역 및 플랫 영역을 침식 및 팽창하여 선명화부(320)가 선명화할 영역들을 생성할 수도 있다.
선명화부(320)는 향상 영상 분할부(310)가 분할한 향상 계층의 고주파수 영상의 영역 별로 서로 다른 선명화 계수를 적용하여 선명화할 수 있다.
이때, 향상 영상 분할부(310)가 분할한 향상 계층의 고주파수 영상의 영역들 각각에 최적화된 선명화 계수는 주관적 화질 평가에 기초하여 결정될 수 있다.
주관적 화질 평가 방법은 모든 영역에 일정한 선명화 계수를 적용한 원본 영상과 서로 다른 선명화 계수를 적용한 비교 영상들을 사용자가 비교하며 향상 영상 분할부(310)가 분할한 향상 계층의 고주파수 영상의 영역들 별로 사용자가 화질의 열화를 감지한 비교 영상에 적용한 선명화 계수를 식별하여 평가할 수 있다. 이때, 비교 영상은 적용한 선명화 계수의 값이 적은 비교 영상부터 선명화 계수의 값이 큰 비교 영상의 순서로 사용자에게 제공할 수 있다.
주관적 화질 평가 방법에 따르면, 텍스쳐 영역, 엣지 영역, 플랫 영역의 순서로 사용자가 화질 열화를 감지한 선명화 계수의 값이 클 수 있다. 즉, 텍스쳐 영역은 선명화 계수가 높아도 화질의 열화가 적으며, 플랫 영역은 선명화 계수의 증가에 따른 화질의 열화가 심할 수 있다.
따라서, 선명화부(320)는 플랫 영역에는 엣지 영역 또는 텍스쳐 영역에 적용할 선명화 계수보다 낮은 선명화 계수를 적용하여 선명화할 수 있다.
또한, 텍스쳐 영역은 높은 선명화 계수를 적용할 경우, 주관화질이 향상될 수도 있다. 따라서, 선명화부(320)는 텍스쳐 영역에 플랫 영역 및 엣지 영역에 적용할 선명화 계수보다 높은 선명화 계수를 적용하여 선명화할 수 있다.
도 4는 본 발명의 일실시예에 따른 향상 계층의 고주파수 영상 생성 과정을 도시한 도면이다.
입력 영상 분할부(210)는 저해상도인 입력 영상(410)을 저주파수 영상(420) 및 고주파수 영상(430)으로 분할할 수 있다. 이때, 입력 영상 분할부(210)는 입력 영상(410)에 가우시안 필터, 또는 스케일링을 이용하여 저주파수 영상(420)을 생성할 수 있다. 또한, 입력 영상 분할부(210)는 입력 영상(410)과 저주파수 영상(420) 간의 차이를 기초로 고주파수 영상(430)을 생성할 수 있다.
다음으로, 확대 영상 생성부(220)는 입력 영상(410)을 선형 보간하여 확대 영상(440)을 생성할 수 있다. 이때, 확대 영상(440)은 향상 계층의 저주파수 영상일 수 있다. 또한, 확대 영상 생성부(220)는 확대 영상(440)을 패치 단위로 분할할 수 있다.
그 다음으로 유사 패치 검색부(230)는 저주파수 영상(420)의 패치 중에서 확대 영상(440)의 패치(441)와 가장 유사도가 높은 유사 패치(421)를 검색할 수 있다.
다음으로 향상 계층 영상 생성부(240)는 고주파수 영상(430)의 패치 중에서 유사 패치(421)에 대응하는 대응 패치(431)를 이용하여 향상 계층의 고주파수 영상(450)을 생성할 수 있다. 구체적으로, 향상 계층 영상 생성부(240)는 대응 패치(431)을 복사하여 확대 영상(440)의 패치(441)의 위치에 매핑함으로써, 향상 계층의 고주파 영상(450)의 패치(451)를 생성할 수 있다. 그리고, 향상 계층 영상 생성부(240)는 패치(451)들을 결합하여 향상 계층의 고주파 영상(450)은 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 고해상도 영상 생성 방법을 도시한 플로우차트이다.
단계(510)에서 향상 계층 영상 생성부(110)는 입력 영상을 보간한 확대 영상, 입력 영상의 저주파수 영상 및 입력 영상의 고주파수 영상을 이용하여 향상 계층(enhancement layer) 영상을 생성할 수 있다. 구체적으로 향상 계층 영상 생성부(110)는 입력 영상을 저주파수 영상과 고주파수 영상으로 분할하고, 입력 영상을 보간(interpolation)하여 확대 영상을 생성할 수 있다. 그리고, 향상 계층 영상 생성부(110)는 저주파수 영상의 패치 중에서 확대 영상의 패치와 유사도가 가장 높은 유사 패치를 검색할 수 있다. 다음으로, 향상 계층 영상 생성부(110)는 검색된 유사 패치에 대응하는 고주파수 영상의 패치를 향상 계층의 고주파수 영상으로 복사 및 매핑(mapping)하여 향상 계층의 고주파수 영상을 생성할 수 있다.
단계(520)에서 선명화부(120)는 단계(510)에서 생성한 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화할 수 있다. 이때, 선명화부(120)는 향상 계층의 고주파수 영상의 곡률 차이(difference curvature)를 이용하여 향상 계층의 고주파수 영상의 영역을 분할할 수 있다. 그리고, 선명화부(120)는 분할된 향상 계층의 고주파수 영상의 영역 별로 서로 다른 선명화 계수로 부스팅(boosting)하여 선명화할 수 있다.
단계(530)에서 출력 영상 생성부(130)는 단계(520)에서 선명화한 향상 계층의 고주파수 영상과 단계(510)에서 분할한 입력 영상의 저주파수 영상을 융합하여 입력 영상보다 해상도가 높은 출력 영상을 생성할 수 있다.
단계(540)에서 배경 투사부(140)는 단계(530)에서 생성한 출력 영상을 입력 영상으로 배경 투사할 수 있다.
먼저, 배경 투사부(140)는 출력 영상의 향상 계층의 영상을 11x11 안티-앨리어스 필터링할 수 있다. 다음으로, 배경 투사부(140)는 필터링된 향상 계층의 영상을 보간하여 입력 영상의 크기로 투영할 수 있다. 그 다음으로, 배경 투사부(140)는 투영된 영상과 출력 영상 생성부(130)가 생성한 출력 영상 간의 차분 영상을 생성할 수 있다. 다음으로, 배경 투사부(140)는 상기 차분 영상을 출력 영상의 향상 계층의 영상으로 투영할 수 있다. 그 다음으로, 배경 투사부(140)는 향상 계층의 영상으로 투영된 영상을 3x3 가우시안 필터링할 수 있다. 마지막으로, 배경 투사부(140)는 가우시안 필터링된 영상을 입력 영상에 더하여 고해상도인 출력 영상을 저해상도인 입력 영상으로 배경 투사할 수 있다.
도 6는 본 발명의 일실시예에 따른 고해상도 영상 생성 방법의 향상 계층의 고주파수 영상 생성 과정을 나타내는 도면이다. 도 6에 포함된 단계(610) 내지 단계(640)는 도 5의 단계(510)에 포함될 수 있다.
단계(610)에서 입력 영상 분할부(210)는 저해상도인 입력 영상을 임계값보다 주파수가 낮은 저주파수 영상 및 임계값보다 주파수가 높은 고주파수 영상으로 분할할 수 있다. 이때, 입력 영상 분할부(210)는 가우시안 필터, 또는 스케일링을 이용하여 입력 영상을 저주파수 영상과 고주파수 영상으로 분할할 수 있다.
단계(620)에서 확대 영상 생성부(220)는 입력 영상을 선형 보간(interpolation)하여 확대 영상을 생성할 수 있다. 이때, 확대 영상 생성부(220)는 자기 유사성에 기반하여 고해상도 영상을 복원하는 선형 보간 방법을 사용하여 입력 영상을 선형 보간할 수 있다.
단계(630)에서 유사 패치 검색부(230)는 단계(610)에서 분할한 저주파수 영상의 패치 중에서 단계(620)에서 생성한 확대 영상의 패치와 가장 유사도가 높은 유사 패치를 검색할 수 있다.
단계(640)에서 향상 계층 영상 생성부(240)는 단계(610)에서 분할한 고주파수 영상의 패치 중에서 단계(630)에서 검색한 유사 패치에 대응하는 대응 패치를 이용하여 향상 계층의 고주파수 영상을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따른 고해상도 영상 생성 방법의 선명화 과정을 나타내는 도면이다. 도 7에 포함된 단계(710) 내지 단계(720)는 도 5의 단계(520)에 포함될 수 있다.
단계(710)에서 향상 영상 분할부(310)는 향상 계층의 고주파수 영상의 곡률 차이를 기초로 향상 계층의 고주파수 영상을 복수의 영역으로 분할할 수 있다. 예를 들어, 향상 영상 분할부(310)는 향상 계층의 고주파수 영상을 텍스쳐 영역, 엣지 영역 및 플랫 영역으로 분할할 수 있다.
단계(720)에서 선명화부(320)는 단계(710)에서 분할한 향상 계층의 고주파수 영상의 영역 별로 서로 다른 선명화 계수를 적용하여 선명화할 수 있다. 이때, 선명화부(320)는 플랫 영역에는 엣지 영역 또는 텍스쳐 영역에 적용할 선명화 계수보다 낮은 선명화 계수를 적용하여 선명화할 수 있다.
또한, 텍스쳐 영역은 높은 선명화 계수를 적용할 경우, 주관화질이 향상될 수도 있다. 따라서, 선명화부(320)는 텍스쳐 영역에 플랫 영역 및 엣지 영역에 적용할 선명화 계수보다 높은 선명화 계수를 적용하여 선명화할 수 있다.
본 발명은 향상 계층의 고주파수 영상을 영역별로 서로 다른 선명화 계수로 선명화함으로써, 고해상도 영상의 화질을 향상시킬 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 고해상도 영상 생성 장치
110: 향상 계층 영상 생성부
120: 선명화부
130: 출력 영상 생성부
140: 배경 투사부

Claims (10)

  1. 저해상도 입력 영상을 보간한 확대 영상, 상기 입력 영상의 저주파수 영상 및 상기 저주파수 영상보다 높은 주파수들로 구성된 상기 입력 영상의 고주파수 영상을 이용하여 향상 계층의 고주파수 영상을 생성하는 단계;
    상기 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 단계; 및
    선명화한 향상 계층의 고주파수 영상과 상기 저주파수 영상을 융합하여 고해상도 출력 영상을 생성하는 단계
    를 포함하고,
    상기 선명화하는 단계는,
    향상 계층의 고주파수 영상을 텍스쳐 영역, 엣지 영역 및 플랫 영역으로 분할하며, 텍스쳐 영역, 엣지 영역 및 플랫 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 고해상도 영상 생성 방법.
  2. 제1항에 있어서,
    상기 고주파수 영상을 생성하는 단계는,
    상기 저해상도 입력 영상을 저주파수 영상과 고주파수 영상으로 분할하는 단계;
    상기 저해상도 입력 영상을 보간(interpolation)하여 확대 영상을 생성하는 단계;
    상기 저주파수 영상의 패치 중에서 상기 확대 영상의 패치와 유사도가 가장 높은 유사 패치를 검색하는 단계; 및
    검색된 유사 패치에 대응하는 상기 고주파수 영상의 패치를 향상 계층의 고주파수 영상으로 복사 및 매핑(mapping)하여 향상 계층의 고주파수 영상을 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  3. 제2항에 있어서,
    상기 영상으로 분할하는 단계는,
    상기 저해상도 입력 영상에 가우시안 필터를 적용하여 상기 저주파수 영상을 생성하는 단계;
    상기 저해상도 입력 영상을 다운 스케일링(down-scaling)한 후, 업 스케일링(up-scaling)하여 저주파수 영상을 생성하는 단계; 및
    상기 저해상도 입력 영상과 상기 저주파수 영상 간의 차이를 기초로 상기 고주파수 영상을 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  4. 제2항에 있어서,
    상기 확대 영상을 생성하는 단계는
    자기 유사성에 기반하여 고해상도 영상을 복원하는 선형 보간(interpolation) 방법으로 상기 저해상도 입력 영상을 보간하여 확대 영상을 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  5. 제2항에 있어서,
    상기 확대 영상을 생성하는 단계는
    선형 보간 커널 및 컨볼루션 커널 중 적어도 하나로 상기 저해상도 입력 영상을 보간하여 확대 영상을 생성하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  6. 제1항에 있어서,
    상기 선명화하는 단계는,
    상기 향상 계층의 고주파수 영상의 곡률 차이(difference curvature)를 기초로 향상 계층의 고주파수 영상을 복수의 영역으로 분할하는 단계; 및
    분할된 향상 계층의 고주파수 영상의 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 단계
    를 포함하는 고해상도 영상 생성 방법.
  7. 제6항에 있어서,
    상기 서로 다른 선명화 계수를 적용하여 선명화하는 단계는
    상기 고주파수 영상의 영역 중 플랫 영역에는 엣지 영역 또는 텍스쳐 영역에 적용할 선명화 계수보다 낮은 선명화 계수를 적용하여 선명화하는 고해상도 영상 생성 방법.
  8. 제1항에 있어서,
    상기 고해상도 출력 영상의 향상 계층의 영상을 안티-앨리어스 필터링하는 단계
    필터링된 향상 계층의 영상을 보간하여 입력 영상의 크기로 투영하는 단계
    투영된 영상과 상기 고해상도 출력 영상 간의 차분 영상을 생성하는 단계
    상기 차분 영상을 상기 고해상도 출력 영상의 향상 계층의 영상으로 투영하는 단계
    상기 고해상도 출력 영상의 향상 계층의 영상으로 투영된 영상을 가우시안 필터링하는 단계
    가우시안 필터링된 영상을 상기 저해상도 입력 영상에 더하여 고해상도인 출력 영상을 저해상도인 입력 영상으로 배경 투사하는 단계
    를 더 포함하는 고해상도 영상 생성 방법.
  9. 저해상도 입력 영상을 보간한 확대 영상, 상기 입력 영상의 저주파수 영상 및 상기 저주파수 영상보다 높은 주파수들로 구성된 상기 입력 영상의 고주파수 영상을 이용하여 향상 계층의 고주파수 영상을 생성하는 향상 계층 영상 생성부;
    상기 향상 계층의 고주파수 영상에 포함된 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 선명화부; 및
    선명화한 향상 계층의 고주파수 영상과 상기 저주파수 영상을 융합하여 고해상도 출력 영상을 생성하는 출력 영상 생성부
    를 포함하고,
    상기 선명화부는,
    향상 계층의 고주파수 영상을 텍스쳐 영역, 엣지 영역 및 플랫 영역으로 분할하며, 텍스쳐 영역, 엣지 영역 및 플랫 영역 별로 서로 다른 선명화 계수를 적용하여 선명화하는 고해상도 영상 생성 장치.
  10. 제9항에 있어서,
    상기 향상 계층 영상 생성부는,
    상기 저해상도 입력 영상을 저주파수 영상과 고주파수 영상으로 분할하는 입력 영상 분할부;
    상기 저해상도 입력 영상을 보간(interpolation)하여 확대 영상을 생성하는 확대 영상 생성부;
    상기 저주파수 영상의 패치 중에서 상기 확대 영상의 패치와 유사도가 가장 높은 유사 패치를 검색하는 유사 패치 검색부; 및
    검색된 유사 패치에 대응하는 상기 고주파수 영상의 패치를 향상 계층의 고주파수 영상으로 복사 및 매핑(mapping)하여 향상 계층의 고주파수 영상을 생성하는 향상 계층 영상 생성부
    를 포함하는 고해상도 영상 생성 장치.
KR1020140131780A 2014-09-30 2014-09-30 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법 KR101651741B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140131780A KR101651741B1 (ko) 2014-09-30 2014-09-30 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140131780A KR101651741B1 (ko) 2014-09-30 2014-09-30 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160038554A KR20160038554A (ko) 2016-04-07
KR101651741B1 true KR101651741B1 (ko) 2016-08-26

Family

ID=55789713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140131780A KR101651741B1 (ko) 2014-09-30 2014-09-30 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101651741B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108093A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 전자 장치 및 그 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552589B1 (ko) * 2016-11-29 2023-07-10 주식회사 엘엑스세미콘 초해상화 방법
KR102530752B1 (ko) 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
US11109005B2 (en) * 2019-04-18 2021-08-31 Christie Digital Systems Usa, Inc. Device, system and method for enhancing one or more of high contrast regions and text regions in projected images
KR102624027B1 (ko) 2019-10-17 2024-01-11 삼성전자주식회사 영상 처리 장치 및 방법
KR20220028891A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 전자장치 및 그 제어방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104747A1 (en) 2012-01-12 2013-07-18 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590765B1 (ko) * 2009-07-21 2016-02-19 삼성전자주식회사 다중 대역 합성 필터를 이용한 고해상도 영상 획득 장치 및 방법
KR20110026942A (ko) * 2009-09-09 2011-03-16 부경대학교 산학협력단 저해상도 영상의 손실 정보 추정 방법과 고해상도 영상 변환 방법
EP2662824A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104747A1 (en) 2012-01-12 2013-07-18 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108093A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20160038554A (ko) 2016-04-07

Similar Documents

Publication Publication Date Title
KR101651741B1 (ko) 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법
Guo et al. Progressive image inpainting with full-resolution residual network
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US10339643B2 (en) Algorithm and device for image processing
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
Le Meur et al. Hierarchical super-resolution-based inpainting
Hacohen et al. Deblurring by example using dense correspondence
JP4776705B2 (ja) 画像処理装置および方法
US20110081094A1 (en) Image resolution enhancement
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
WO2011092696A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
JP5159844B2 (ja) 画像処理装置
EP2908285A1 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
KR20150093993A (ko) 초해상도 영상 복원 방법 및 장치
US9767533B2 (en) Image resolution enhancement based on data from related images
CN103748613A (zh) 用于图像去噪、压缩和插值的各向异性梯度正则化
Zhao et al. Single depth image super-resolution with multiple residual dictionary learning and refinement
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
Chen et al. Blind restoration for nonuniform aerial images using nonlocal Retinex model and shearlet-based higher-order regularization
Kang et al. Self-learning-based low-quality single image super-resolution
He et al. Joint motion deblurring and superresolution from single blurry image
KR20160063792A (ko) 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
Chen et al. A structure-preserving image restoration method with high-level ensemble constraints
Shah et al. A technique to preserve edge information in single image super resolution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 4