KR20070119879A - 영상의 해상도 변환 방법 및 그 장치 - Google Patents

영상의 해상도 변환 방법 및 그 장치 Download PDF

Info

Publication number
KR20070119879A
KR20070119879A KR1020060054375A KR20060054375A KR20070119879A KR 20070119879 A KR20070119879 A KR 20070119879A KR 1020060054375 A KR1020060054375 A KR 1020060054375A KR 20060054375 A KR20060054375 A KR 20060054375A KR 20070119879 A KR20070119879 A KR 20070119879A
Authority
KR
South Korea
Prior art keywords
edge
resolution image
image frame
motion
point spread
Prior art date
Application number
KR1020060054375A
Other languages
English (en)
Inventor
한승훈
양승준
박래홍
김준용
Original Assignee
삼성전자주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서강대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020060054375A priority Critical patent/KR20070119879A/ko
Priority to US11/760,806 priority patent/US20070291170A1/en
Publication of KR20070119879A publication Critical patent/KR20070119879A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 영상의 해상도 변환 방법에 관한 것으로, 특히 POCS 방법을 기반으로 한 영상의 해상도 변환 방법에 관한 것이다. 본 발명은 입력된 저해상도 영상 프레임에서 에지 영역 및 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하고, 그 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하며, 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 초기 보간하고, 입력된 저해상도 영상 프레임과 초기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성한 후, 그 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 초기 보간된 고해상도 영상 프레임의 갱신을 수행함으로써 에지를 보존하면서 해상도를 향상시킬 수 있다.
POCS, 방향성, 함수, 포인트, 점, 확산

Description

영상의 해상도 변환 방법 및 그 장치{A method for obtaining super-resolution image from low-resolution image and the apparatus therefor}
도 1은 종래의 POCS 기반의 영상의 해상도 변환 장치를 도시한 도면이다.
도 2는 도 1의 POCS 재구성부를 설명하기 위하여 도시한 도면이다.
도 3은 본 발명에 따른 영상의 해상도 변환 장치를 도시한 도면이다.
도 4는 본 발명에 따른 에지의 방향 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 에지의 방향을 설명하기 위하여 도시한 도면이다.
도 6은 등방향의 가우시안 함수를 설명하기 위하여 도시한 도면이다.
도 7은 에지의 방향에 따른 1차원 가우시안 함수의 형태를 설명하기 위하여 도시한 도면이다.
도 8은 본 발명에 따른 영상의 해상도 변환 방법을 설명하기 위하여 도시한 흐름도이다.
본 발명은 해상도 변환 방법 및 그 장치에 관한 것으로, 특히 POCS(projection onto convex set) 방법을 기반으로 한 해상도 변환 방법 및 그 장치에 관한 것이다.
POCS는 각각의 영상 프레임에 대해서 컨벡스 집합(convex set)을 만들고 이를 이용하여 화질이 향상된 영상을 얻는 방법이다.
도 1은 종래의 POCS 기반의 영상의 해상도 변환 장치를 도시한 도면이다.
도 1을 참조하여 종래의 POCS 기반의 해상도 변환 장치(100)의 동작을 기술하면 다음과 같다.
저해상도 영상 프레임
Figure 112006042299398-PAT00001
가 입력되면 초기 보간부(110)는 이를 고해상도의 영상 프레임
Figure 112006042299398-PAT00002
로 초기 보간 하고, 움직임 추정부(120)는 그 초기 보간된 고해상도 영상 프레임
Figure 112006042299398-PAT00003
의 움직임을 추정하여 움직임 벡터
Figure 112006042299398-PAT00004
를 생성한다. 최종적으로 POCS 재구성부(130)는 저해상도 영상 프레임
Figure 112006042299398-PAT00005
, 초기 보간된 고해상도의 영상 프레임
Figure 112006042299398-PAT00006
, 움직임 벡터
Figure 112006042299398-PAT00007
및 포인트 스프레드 함수(point spread function)
Figure 112006042299398-PAT00008
를 이용하여 초고해상도 영상 프레임
Figure 112006042299398-PAT00009
를 출력한다.
도 2는 도 1의 POCS 재구성부를 설명하기 위하여 도시한 도면이다.
레지듀얼 계산부(residual calculation)(132)는 레지듀얼 값(residual term) 을 계산하여 출력한다. 이를 보다 구체적으로 설명하면 다음과 같다.
먼저, 레지듀얼 계산부(132)는 움직임 벡터를 이용하여 저해상도 영상 프레임과 고해상도 영상 프레임의 움직임의 차이를 보정한 후, 수학식 1의 연산을 수행하여 레지듀얼 값
Figure 112006042299398-PAT00010
를 생성한다.
[수학식 1]
Figure 112006042299398-PAT00011
여기서
Figure 112006042299398-PAT00012
는 저해상도 영상 프레임의 화소의 좌표이고,
Figure 112006042299398-PAT00013
는 고해상도 영상 프레임의 화소의 좌표이다. 또한
Figure 112006042299398-PAT00014
는 k번째 저해상도 영상 프레임이고
Figure 112006042299398-PAT00015
는 시간
Figure 112006042299398-PAT00016
일 때의 고해상도 영상 프레임이며
Figure 112006042299398-PAT00017
는 움직임 정보와 블러링(blurring) 및 다운 샘플링 과정을 반영한 포인트 스프레드 함수이다.
다음으로 레지듀얼 계산부(132)는 컨벡스 집합
Figure 112006042299398-PAT00018
을 생성하는데, 이는 수학식 2와 같이 표현된다.
[수학식 2]
Figure 112006042299398-PAT00019
여기서
Figure 112006042299398-PAT00020
는 컨벡스 집합을 만들 때의 임계치이며, 컨벡스 집합
Figure 112006042299398-PAT00021
이란 수학식 1에 표시된 것과 같이 레지듀얼 값
Figure 112006042299398-PAT00022
가 임계치
Figure 112006042299398-PAT00023
보다 작거나 같다는 조건을 만족하는 고해상도 영상 프레임
Figure 112006042299398-PAT00024
의 집합을 말한다. ,
, 프로젝션부(projection)(134)는 초고해상도 영상 프레임
Figure 112006042299398-PAT00025
를 출력하고, 갱신부(iteration)(136)는 컨벡스 집합의 조건을 만족하지 않는 경우 즉, 수학식 3에서와 같이 레지듀얼 값
Figure 112006042299398-PAT00026
이 소정의 임계치
Figure 112006042299398-PAT00027
보다 크거나, 소정의 임계치
Figure 112006042299398-PAT00028
Figure 112006042299398-PAT00029
보다 작은 경우에는 고해상도 영상 프레임
Figure 112006042299398-PAT00030
을 갱신한다.
만일 컨벡스 집합의 조건을 만족하는 경우 즉,레지듀얼 값
Figure 112006042299398-PAT00031
이 소정의 임계치
Figure 112006042299398-PAT00032
보다 작거나 같은 경우에는, 고해상도 영상 프레임
Figure 112006042299398-PAT00033
가 갱신되지 않고 바로 프로젝션부(134)를 통하여 초고해상도 영상 프레임
Figure 112006042299398-PAT00034
이 출력된다.
[수학식 3]
Figure 112006042299398-PAT00035
수학식 3에서, 분모 부분의 수식은 가중치의 합이 1이 되도록 정규화하는 과정을 나타내며
Figure 112006042299398-PAT00036
,
Figure 112006042299398-PAT00037
는 이와 같은 정규화 과정에서의 마스크의 크기를 나타낸다. 즉, 5 X 5 마스크의 경우라면
Figure 112006042299398-PAT00038
,
Figure 112006042299398-PAT00039
가 된다.
이와 같은 종래의 POCS 방법 기반의 해상도 변환 방법은 해상도 변환 과정에서 등방향의 포인트 스프레드 함수를 이용하기 때문에 고주파 성분들을 잘 반영하지 못하여 화질의 열화가 발생하는 문제점이 있었다.
본 발명의 목적은 에지를 검출하여 에지의 방향에 따라 적합한 포인트 스프레드 함수를 적용함으로써 에지를 보존하면서 해상도를 향상시키는 해상도 변환 방법 및 그 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 특징은 영상의 해상도 변환 방법에 있어서, 입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 단계; 상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 단계; 상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 단계;상기 입력된 저해상도 영상 프레임과 상기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 단계; 및 상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 단계를 포함하는 것이다.
바람직하게는 상기 영상의 해상도 변환 방법은 상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 단계; 상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 단계; 및 상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 단계를 더 포함한다.
바람직하게는 상기 에지 영역은 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정되는 것을 특징으로 한다.
바람직하게는 상기 에지 방향 정보는 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성되는 것을 특징으로 한다.
바람직하게는 상기 에지 방향 정보는 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수를 생성하는 단계는 상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 단계를 더 포함한다.
바람직하게는 상기 방향성 포인트 스프레드 함수를 생성하는 단계는 상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 단계를 더 포함한다.
바람직하게는 상기 보간하는 단계는 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 한다.
바람직하게는 상기 레지듀얼 값은 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값인 것을 특징으로 한다.
바람직하게는 상기 갱신을 수행하는 단계는 상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 한다.
본 발명의 다른 특징은 영상의 해상도 변환 장치에 있어서, 입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 에지 검출부; 상기 생성된 에지 맵 및 에지 방향 정보에 기 초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 방향성 함수 생성부; 상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 보간부; 상기 입력된 저해상도 영상 프레임과 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 레지듀얼 계산부; 및 상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 갱신부를 포함하는 것이다.
바람직하게는 상기 영상의 해상도 변환 장치는 상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 움직임 추정부; 상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 움직임 아웃라이어 검출부를 더 포함하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 영역을 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 방향 정보를 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 방향 정보를 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수 생성부는 상기 비에지 영역 의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수 생성부는 상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 것을 특징으로 한다.
바람직하게는 상기 보간부는 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 한다.
바람직하게는 상기 레지듀얼 계산부는 상기 레지듀얼 값을 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값으로 하는 것을 특징으로 한다.
바람직하게는 상기 갱신부는 상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 한다.
바람직하게는 상기 갱신부는 상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 것을 특징으로 한다.
이하 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 3은 본 발명에 따른 영상의 해상도 변환 장치를 도시한 도면이다.
본 발명에 따른 해상도 변환 장치(300)는 초기 보간부(310), 움직임 추정부(320), 움직임 아웃라이어 검출부(330), 에지 검출부 (340), 방향성 함수 생성 부(350) 및 POCS 재구성부(360)를 포함한다.
초기 보간부(310)는 입력된 저해상도 영상 프레임
Figure 112006042299398-PAT00040
을 고해상도 영상 프레임
Figure 112006042299398-PAT00041
로 초기 보간한다. 이와 같은 초기 보간을 수행하는 방법으로는 바이리니어 보간(bilinear interplation) 방법, 바이큐빅 보간(bicubic interpolation) 방법 등이 있다. 다만 이는 종래의 기술로서, 당업자에게 자명한 기술인바 이에 대한 설명은 생략하기로 한다.
움직임 추정부(320)는 시간
Figure 112006042299398-PAT00042
일 때의 k번째 초기 보간된 고해상도 영상 프레임
Figure 112006042299398-PAT00043
의 움직임을 추정하여 움직임 벡터
Figure 112006042299398-PAT00044
를 예측한다. 움직임 추정 방법으로는 블록 단위의 움직임 예측 방법과 화소 단위의 움직임 추정 방법, 강건한 화소 단위의 움직임 추정 방법(robust optical flow algorithm)이 있다. 블록 단위의 움직임 추정 방법은 움직임 예측 오차와 블록 왜곡 등이 발생하는 문제점이 있어 본 발명은 화소 단위의 움직임 추정 방법 및 강건한 화소 단위의 움직임 추정 방법을 이용한다.
이때, 강건한 화소 단위의 움직임 추정 방법은 움직임 이상치를 이용하여 움직임 벡터를 예측한다. 움직임 이상치에는 자료 보존의 제한 조건에 대한 이상치와 공간 일관성 제한에 대한 이상치가 있다. 일반적으로 자료 보존의 제한 조건에 대한 이상치는 움직임이 큰 영역을 이상치로 검출하며, 공간 일관성 제한 조건에 대한 이상치는 영상 프레임의 에지 부분이나 화소값이 급격히 변하는 영역을 이상치 로 검출한다.
자료 보존의 제한 조건에 대한 이상치(outlier) 맵
Figure 112006042299398-PAT00045
는 수학식 4로 표현된다.
[수학식 4]
Figure 112006042299398-PAT00046
또한 공간 일관성 제한 조건에 대한 이상치 맵
Figure 112006042299398-PAT00047
는 수학식 5로 표현된다.
[수학식 5]
Figure 112006042299398-PAT00048
여기서
Figure 112006042299398-PAT00049
와
Figure 112006042299398-PAT00050
는 각각 자료 보존의 제한 조건에 대한 목적함수
Figure 112006042299398-PAT00051
와 공간 일관성 제한 조건에 대한 목적함수
Figure 112006042299398-PAT00052
에 대한 이상치의 임계치를 나타낸다. 공간 일관성 제한 조건에서 얻어지는 이상치 맵은 조명 변화와 같은 밝기 변화 (intensity variation)가 발생하는 영상 프레임의 경우에서 밝기 변화에 대한 정보를 제공해 줄 수 있다.
여기서 블록 단위의 움직임 추정 방법, 화소 단위의 움직임 추정 방법 및 강 건한 화소 단위의 움직임 추정 방법은 종래의 기술로서, 당업자에게 자명한 기술인바 이에 대한 구체적인 설명은 생략하기로 한다.
움직임 아웃라이어 검출부(330)는 움직임 추정부에서 추정된 움직임 정보에 기초하여 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵
Figure 112006042299398-PAT00053
를 생성한다.
이때 움직임 아웃라이어 검출부(330)에서 얻어지는 움직임 아웃라이어 맵
Figure 112006042299398-PAT00054
는 수학식 6으로 표현된다.
[수학식 6]
Figure 112006042299398-PAT00055
이때
Figure 112006042299398-PAT00056
는 수평 방향과 수직 방향에 대한 다운 샘플링 과정을 의미한다.
에지 검출부(340)는 입력된 저해상도 영상 프레임
Figure 112006042299398-PAT00057
로부터 에지를 검출하여 에지 맵
Figure 112006042299398-PAT00058
를 생성하고, 에지의 방향을 검출하여 에지 의 방향 정보
Figure 112006042299398-PAT00059
를 생성한다.
먼저 에지 맵 생성 과정을 설명하면 다음과 같다. 에지 검출부(340)는 저해상도 영상 프레임에서 수평, 수직 방향에 대한 그래디언트(gradient)의 크기가 소정의 임계치
Figure 112006042299398-PAT00060
보다 큰 경우에는 이를 에지 영역으로 정의하고, 그 외의 경우에 는 비에지 영역으로 정의한다.
[수학식 7]
Figure 112006042299398-PAT00061
이때
Figure 112006042299398-PAT00062
인 경우는 에지 영역을 의미하며,
Figure 112006042299398-PAT00063
인 경우는 비에지 영역을 의미한다.
도 4는 본 발명에 따른 에지의 방향 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 4에서와 같이 삼각형의 가로변을 수평 방향의 저해상도 영상 프레임 y의 변화율 값인
Figure 112006042299398-PAT00064
라 하고 세로변을 수직 방향의 저해상도 영상 프레임 y의 변화율인
Figure 112006042299398-PAT00065
라 할 때 삼각형의 빗변의 길이는
Figure 112006042299398-PAT00066
가 된다. 이와 같은 삼각형에서 빗변과 가로변 사이의 끼인각
Figure 112006042299398-PAT00067
가 에지의 방향이 되는데 이는 수학식 8과 같이 계산된다. 즉, 에지 검출부(340)는 수학식 8의 연산을 수행하여 에지 방향 정보
Figure 112006042299398-PAT00068
를 생성한다.
[수학식 8]
Figure 112006042299398-PAT00069
도 5는 본 발명에 따른 에지의 방향을 설명하기 위하여 도시한 도면으로, 본 발명에서 에지 검출부(340)는 에지의 방향을 수평(0도)(502), 수직(90도)(504), 대각선(45도)(506), 반대각선(135도)(508)의 4가지 방향으로 근사화시킨다. 다만, 에지 방향 정보는 이와 같은 4가지 방향으로 한정되지 않고, 구현예에 따라서 다양한 방향을 더 포함할 수 있다.
방향성 함수 생성부(350)는 생성된 에지 맵 및 에지 방향에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성한다.
이를 보다 구체적으로 설명하면, 방향성 함수 생성부(350)는
Figure 112006042299398-PAT00070
인 화소, 즉 비에지 영역내의 화소에 대해서는 수학식 9와 같은 등방향의 가우시안 함수를 생성한다.
[수학식 9]
Figure 112006042299398-PAT00071
도 6은 등방향의 가우시안 함수를 설명하기 위하여 도시한 도면이다.
도 6에서 602는 등방향의 가우시안 함수를 위에서 바라보았을 때의 그래프를 도시한 것으로, 중심으로부터 같은 거리에 위치하는 점들을 연결하면 602와 같이 원형으로 연결된 그래프의 형태가 된다. 604는 등방향의 가우시안 함수를 옆에서 바라본 형태로 중심에서 멀어질수록 함수 값이 작아지는 형태의 그래프를 가진다. 이와 같이 비에지 영역내의 화소에 대해서는 방향성을 고려하지 않고 동일한 형태의 가우시안 함수를 생성하게 된다.
또한 방향성 함수 생성부(350)는
Figure 112006042299398-PAT00072
인 화소, 즉 에지 영역내의 화소에 대해서 에지 방향 정보에 따라 수학식 10과 같은 1차원 가우시안 함수를 생성한다.
[수학식 10]
Figure 112006042299398-PAT00073
이때
Figure 112006042299398-PAT00074
는 중심이 되는 화소로부터의 거리를 의미한다. 즉, 중심이 되는 화소에서의
Figure 112006042299398-PAT00075
값은 0이 되고, 중심으로부터 1픽셀만큼 떨어진 화소의 경우에는
Figure 112006042299398-PAT00076
값이 1이 된다.
1차원 가우시안 함수가 중심으로부터 멀어질수록 함수값이 작아지는 형태이므로, 중심으로부터 멀어질수록 각 화소에 적용되는 가중치는 점점 줄어들게 된다.
도 7은 에지의 방향에 따른 1차원 가우시안 함수의 형태를 설명하기 위하여 도시한 도면이다.
도 7을 참조하면, 빗금쳐진 부분이 중심이 되는 화소가 되고 이를 중심으로 각각의 방향에 따라 1차원 가우시안 함수의 형태가 결정된다. 즉, 수평 방향의 경우에는 702와 같이 수평 방향으로 결정된 가우시안 함수의 형태, 수직 방향의 경우에는 704와 같이 수직 방향으로 결정된 가우시안 함수의 형태, 대각선 방향의 경우에는 706과 같이 대각선 방향으로 결정된 가우시안 함수의 형태, 반대각선 방향의 경우에는 708과 같이 반대각선 방향으로 결정된 가우시안 함수의 형태를 가지게 된다.
이를 정리하면 방향성 함수 생성부(350)는 비에지 영역내의 화소에 대해서는 등방향의 가우시안 함수를 생성하고, 에지 영역내의 화소에 대해서는 1차원 가우시안 함수를 생성하도록 정의되는 방향성 포인트 스프레드 함수
Figure 112006042299398-PAT00077
를 생성하는데 이는 수학식 11과 같이 표현된다.
[수학식 11]
Figure 112006042299398-PAT00078
POCS 재구성부(360)는 저해상도 영상 프레임
Figure 112006042299398-PAT00079
, 초기 보간된 고 해상도 영상 프레임
Figure 112006042299398-PAT00080
, 움직임 벡터
Figure 112006042299398-PAT00081
, 아웃라이어 맵
Figure 112006042299398-PAT00082
및 방향성 포인트 스프레드 함수
Figure 112006042299398-PAT00083
를 이용하여 영상의 해상도를 향상한다.
즉, POCS 재구성부(360)는 수학식 1에 수학식 11을 대입하여 수학식 12와 같이 레지듀얼 값을 계산하고, 수학식 2와 같이 컨벡스 집합
Figure 112006042299398-PAT00084
을 생성한다.
[수학식 12]
Figure 112006042299398-PAT00085
최종적으로 초고해상도 영상 프레임
Figure 112006042299398-PAT00086
는 수학식 11을 수학식 3에 대입하여 수학식 13과 같이 얻어진다.
[수학식 13]
Figure 112006042299398-PAT00087
POCS 재구성부의 동작 및 구성에 대해서는 종래 기술에서 기술하였는바 구체적인 설명은 생략하기로 한다. 다만, 종래 기술과는 달리 본 발명에서는 움직임 아웃라이어 검출부(330)에서 생성된 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 해상도 변환 과정에서 배제시켜 잘못된 보상을 줄인다. 즉, 도 2의 갱신부(136)는 움직임 예측 오차가 큰 화소들에 대해서는 수학식 13의 갱신 과정을 수행하지 않아 해상도를 향상시키지 않는 것이다.
도 8은 본 발명에 따른 영상의 해상도 변환 방법을 설명하기 위하여 도시한 흐름도이다.
802 단계에서는, 입력된 저해상도 영상 프레임
Figure 112006042299398-PAT00088
을 고해상도 영상 프레임
Figure 112006042299398-PAT00089
으로 초기 보간한다.
804 단계에서는, 초기 보간된 고해상도 영상 프레임
Figure 112006042299398-PAT00090
의 움직임 을 추정하여 움직임 벡터
Figure 112006042299398-PAT00091
를 예측한다.
806 단계에서는, 추정된 움직임 정보에 기초하여 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵
Figure 112006042299398-PAT00092
을 생성한다.
808 단계에서는, 입력된 저해상도 영상으로부터 에지를 검출하고 그 에지의 방향을 검출한 후 에지 맵
Figure 112006042299398-PAT00093
및 에지 방향 정보
Figure 112006042299398-PAT00094
를 생성한다.
810 단계에서는, 생성된 에지 맵
Figure 112006042299398-PAT00095
및 에지 방향정보
Figure 112006042299398-PAT00096
에 기초하여 방향성 포인트 스프레드 함수를 생성한다.
812 단계에서는 움직임 벡터
Figure 112006042299398-PAT00097
를 이용하여 저해상도 영상 프레임
Figure 112006042299398-PAT00098
와 초기 보간된 고해상도 영상 프레임
Figure 112006042299398-PAT00099
의 움직임의 차이를 보정한다.
814 단계에서는, 움직임이 보정된 각각의 저해상도 영상 프레임
Figure 112006042299398-PAT00100
와 고해상도 영상 프레임
Figure 112006042299398-PAT00101
및 방향성 포인트 스프레드 함수
Figure 112006042299398-PAT00102
를 이용하여 레지듀얼 값을 생성한다.
816 단계에서는, 컨벡스 집합
Figure 112006042299398-PAT00103
을 생성한다.
818 단계에서는, 컨벡스 집합
Figure 112006042299398-PAT00104
의 조건 만족 여부 및 움직임 아웃라이어 맵
Figure 112006042299398-PAT00105
에 기초하여 초기 보간된 고해상도 영상 프레임
Figure 112006042299398-PAT00106
의 갱신을 수행한다.
보다 구체적으로 말하면, 컨벡스 집합
Figure 112006042299398-PAT00107
의 조건을 만족하지 못하는 경우 즉, 수학식 13에서와 같이 레지듀얼 값
Figure 112006042299398-PAT00108
이 소정의 임계치
Figure 112006042299398-PAT00109
보다 크거나, 소정의 임계치
Figure 112006042299398-PAT00110
Figure 112006042299398-PAT00111
보다 작은 경우에는 고해상도 영상 프레임
Figure 112006042299398-PAT00112
을 갱신한다. 다만, 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 고해상도 영상 프레임
Figure 112006042299398-PAT00113
를 갱신하지 않는다.
820단계에서는, 갱신을 수행하여 컨벡스 집합
Figure 112006042299398-PAT00114
의 조건을 만족하게 되면 초고해상도 영상 프레임
Figure 112006042299398-PAT00115
를 출력한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한 다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명은 에지를 검출하여 에지의 방향에 따라 적합한 포인트 스프레드 함수를 적용함으로써, 에지를 보존하면서 해상도를 향상시키는 효과가 있다.

Claims (22)

  1. 영상의 해상도 변환 방법에 있어서,
    입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 단계;
    상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 단계;
    상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 단계;
    상기 입력된 저해상도 영상 프레임과 상기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 단계; 및
    상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 해상도 변환 방법.
  2. 제1항에 있어서,
    상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 단계;
    상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출
    하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 단계; 및
    상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
  3. 제1항에 있어서,
    상기 에지 영역은 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정되는 것을 특징으로 하는 해상도 변환 방법.
  4. 제1항에 있어서,
    상기 에지 방향 정보는 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성되는 것을 특징으로 하는 해상도 변환 방법.
  5. 제1항 또는 제4항에 있어서
    상기 에지 방향 정보는 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 하는 해상도 변환 방법.
  6. 제1항에 있어서
    상기 방향성 포인트 스프레드 함수를 생성하는 단계는
    상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
  7. 제1항에 있어서,
    상기 방향성 포인트 스프레드 함수를 생성하는 단계는
    상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
  8. 제1항에 있어서,
    상기 보간하는 단계는
    바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 하는 해상도 변환 방법.
  9. 제1항에 있어서,
    상기 레지듀얼 값은
    상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값인 것을 특징으로 하는 해상도 변환 방법.
  10. 제1항에 있어서,
    상기 갱신을 수행하는 단계는
    상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 하는 해상도 변환 방법.
  11. 영상의 해상도 변환 장치에 있어서,
    입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 에지 검출부;
    상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 방향성 함수 생성부;
    상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 보간부;
    상기 입력된 저해상도 영상 프레임과 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 레지듀얼 계산부; 및
    상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 갱신부를 포함하는 것을 특징으로 하는 해상도 변환 장치.
  12. 제11항에 있어서,
    상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측 하는 움직임 추정부;
    상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출
    하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 움직임 아웃라이어 검출부를 더 포함하는 것을 특징으로 하는 해상도 변환 장치.
  13. 제11항에 있어서,
    상기 에지 검출부는
    상기 에지 영역을 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정하는 것을 특징으로 하는 해상도 변환 장치.
  14. 제11항에 있어서,
    상기 에지 검출부는
    상기 에지 방향 정보를 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성하는 것을 특징으로 하는 해상도 변환 장치.
  15. 제11항 또는 제15항에 있어서
    상기 에지 검출부는
    상기 에지 방향 정보를 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 하는 해상도 변환 장치.
  16. 제11항에 있어서
    상기 방향성 포인트 스프레드 함수 생성부는
    상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 것을 특징으로 하는 해상도 변환 장치.
  17. 제11항에 있어서,
    상기 방향성 포인트 스프레드 함수 생성부는
    상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 것을 특징으로 하는 해상도 변환 장치.
  18. 제11항에 있어서,
    상기 보간부는
    바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 하는 해상도 변환 장치.
  19. 제11항에 있어서,
    상기 레지듀얼 계산부는
    상기 레지듀얼 값을 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값으로 하는 것을 특징으로 하는 해상도 변환 장치.
  20. 제11항에 있어서,
    상기 갱신부는
    상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 하는 해상도 변환 장치.
  21. 제11항에 있어서
    상기 갱신부는
    상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 것을 특징으로 하는 해상도 변환 장치.
  22. 제1항 내지 제10항 중 어느 한 항의 해상도 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020060054375A 2006-06-16 2006-06-16 영상의 해상도 변환 방법 및 그 장치 KR20070119879A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060054375A KR20070119879A (ko) 2006-06-16 2006-06-16 영상의 해상도 변환 방법 및 그 장치
US11/760,806 US20070291170A1 (en) 2006-06-16 2007-06-11 Image resolution conversion method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060054375A KR20070119879A (ko) 2006-06-16 2006-06-16 영상의 해상도 변환 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20070119879A true KR20070119879A (ko) 2007-12-21

Family

ID=38861158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060054375A KR20070119879A (ko) 2006-06-16 2006-06-16 영상의 해상도 변환 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20070291170A1 (ko)
KR (1) KR20070119879A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
KR20110093532A (ko) * 2010-02-12 2011-08-18 삼성전자주식회사 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법
KR101106613B1 (ko) * 2010-03-24 2012-01-20 전자부품연구원 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법
US8150197B2 (en) 2009-01-20 2012-04-03 Samsung Electronics Co., Ltd. Apparatus and method of obtaining high-resolution image
US9084580B2 (en) 2012-03-02 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for generating ultrasonic image
US9179092B2 (en) 2009-09-22 2015-11-03 Samsung Electronics Co., Ltd. System and method producing high definition video from low definition video
KR20170024367A (ko) 2015-08-25 2017-03-07 (주)다우기술 가변적인 입력 폼을 가지는 어플리케이션을 생성하는 방법 및 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
JP4874904B2 (ja) * 2007-09-13 2012-02-15 株式会社東芝 画像処理装置及びその方法
US20100260435A1 (en) * 2007-12-21 2010-10-14 Orlick Christopher J Edge Directed Image Processing
US8380011B2 (en) * 2008-09-30 2013-02-19 Microsoft Corporation Fast directional image interpolator with difference projection
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
US8457437B2 (en) * 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
CN103033803B (zh) * 2012-10-30 2014-11-12 国家卫星气象中心 气象卫星光学遥感器二维点扩散函数处理方法
CN103136734B (zh) * 2013-02-27 2016-01-13 北京工业大学 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
CN104063875B (zh) * 2014-07-10 2017-07-28 深圳市华星光电技术有限公司 增强视频图像光滑度及清晰度的超分辨率重构方法
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN107292819A (zh) * 2017-05-10 2017-10-24 重庆邮电大学 一种基于边缘细节保护的红外图像超分辨率重建方法
CN108932697B (zh) 2017-05-26 2020-01-17 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN109903221B (zh) * 2018-04-04 2023-08-22 华为技术有限公司 图像超分方法及装置
CN110555818B (zh) * 2019-09-09 2022-02-18 中国科学院遥感与数字地球研究所 一种卫星图像序列云区修补方法和装置
CN112767427A (zh) * 2021-01-19 2021-05-07 西安邮电大学 一种补偿边缘信息的低分辨率图像识别算法
CN116416530B (zh) * 2023-03-08 2023-11-03 自然资源部国土卫星遥感应用中心 一种新增建设图斑影像核实的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1638340B1 (en) * 2003-06-23 2013-08-07 Sony Corporation Image processing method and device, and program
JP3837575B2 (ja) * 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150197B2 (en) 2009-01-20 2012-04-03 Samsung Electronics Co., Ltd. Apparatus and method of obtaining high-resolution image
US9179092B2 (en) 2009-09-22 2015-11-03 Samsung Electronics Co., Ltd. System and method producing high definition video from low definition video
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
KR20110093532A (ko) * 2010-02-12 2011-08-18 삼성전자주식회사 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법
KR101106613B1 (ko) * 2010-03-24 2012-01-20 전자부품연구원 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법
US9084580B2 (en) 2012-03-02 2015-07-21 Samsung Electronics Co., Ltd. Apparatus and method for generating ultrasonic image
KR20170024367A (ko) 2015-08-25 2017-03-07 (주)다우기술 가변적인 입력 폼을 가지는 어플리케이션을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
US20070291170A1 (en) 2007-12-20

Similar Documents

Publication Publication Date Title
KR20070119879A (ko) 영상의 해상도 변환 방법 및 그 장치
US8958484B2 (en) Enhanced image and video super-resolution processing
JP4631966B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5861949B2 (ja) オプティカルフローの決定のためのデジタル処理方法およびシステム
Takeda et al. Super-resolution without explicit subpixel motion estimation
Purkait et al. Super resolution image reconstruction through Bregman iteration using morphologic regularization
US8768069B2 (en) Image enhancement apparatus and method
JP2738325B2 (ja) 動き補償フレーム間予測装置
US8150197B2 (en) Apparatus and method of obtaining high-resolution image
US20090079876A1 (en) Image processing apparatus, method, and program
KR101756841B1 (ko) 블록 기반 영상의 해상도 변환 방법 및 장치
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6056766B2 (ja) 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム
JP2021184594A (ja) ビデオフレームの補間装置及び方法
US8213736B2 (en) Image processing device and image processing method
WO2011018878A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラム
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
CN116452638B (zh) 位姿估计模型的训练方法、装置、设备和存储介质
Li et al. Guided iterative back-projection scheme for single-image super-resolution
JP2018033080A (ja) 画像処理装置、画像処理方法およびプログラム
CN103618904B (zh) 基于像素的运动估计方法及装置
JP2000354244A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP6059899B2 (ja) フレーム補間装置及びプログラム
JP5829894B2 (ja) 演算装置およびホログラムページデータ再生プログラム
US20090324115A1 (en) Converting the frame rate of video streams

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid