KR20070119879A - 영상의 해상도 변환 방법 및 그 장치 - Google Patents
영상의 해상도 변환 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20070119879A KR20070119879A KR1020060054375A KR20060054375A KR20070119879A KR 20070119879 A KR20070119879 A KR 20070119879A KR 1020060054375 A KR1020060054375 A KR 1020060054375A KR 20060054375 A KR20060054375 A KR 20060054375A KR 20070119879 A KR20070119879 A KR 20070119879A
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- resolution image
- image frame
- motion
- point spread
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000593 degrading effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
본 발명은 영상의 해상도 변환 방법에 관한 것으로, 특히 POCS 방법을 기반으로 한 영상의 해상도 변환 방법에 관한 것이다. 본 발명은 입력된 저해상도 영상 프레임에서 에지 영역 및 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하고, 그 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하며, 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 초기 보간하고, 입력된 저해상도 영상 프레임과 초기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성한 후, 그 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 초기 보간된 고해상도 영상 프레임의 갱신을 수행함으로써 에지를 보존하면서 해상도를 향상시킬 수 있다.
POCS, 방향성, 함수, 포인트, 점, 확산
Description
도 1은 종래의 POCS 기반의 영상의 해상도 변환 장치를 도시한 도면이다.
도 2는 도 1의 POCS 재구성부를 설명하기 위하여 도시한 도면이다.
도 3은 본 발명에 따른 영상의 해상도 변환 장치를 도시한 도면이다.
도 4는 본 발명에 따른 에지의 방향 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 에지의 방향을 설명하기 위하여 도시한 도면이다.
도 6은 등방향의 가우시안 함수를 설명하기 위하여 도시한 도면이다.
도 7은 에지의 방향에 따른 1차원 가우시안 함수의 형태를 설명하기 위하여 도시한 도면이다.
도 8은 본 발명에 따른 영상의 해상도 변환 방법을 설명하기 위하여 도시한 흐름도이다.
본 발명은 해상도 변환 방법 및 그 장치에 관한 것으로, 특히 POCS(projection onto convex set) 방법을 기반으로 한 해상도 변환 방법 및 그 장치에 관한 것이다.
POCS는 각각의 영상 프레임에 대해서 컨벡스 집합(convex set)을 만들고 이를 이용하여 화질이 향상된 영상을 얻는 방법이다.
도 1은 종래의 POCS 기반의 영상의 해상도 변환 장치를 도시한 도면이다.
도 1을 참조하여 종래의 POCS 기반의 해상도 변환 장치(100)의 동작을 기술하면 다음과 같다.
저해상도 영상 프레임 가 입력되면 초기 보간부(110)는 이를 고해상도의 영상 프레임 로 초기 보간 하고, 움직임 추정부(120)는 그 초기 보간된 고해상도 영상 프레임 의 움직임을 추정하여 움직임 벡터 를 생성한다. 최종적으로 POCS 재구성부(130)는 저해상도 영상 프레임 , 초기 보간된 고해상도의 영상 프레임 , 움직임 벡터 및 포인트 스프레드 함수(point spread function) 를 이용하여 초고해상도 영상 프레임 를 출력한다.
도 2는 도 1의 POCS 재구성부를 설명하기 위하여 도시한 도면이다.
레지듀얼 계산부(residual calculation)(132)는 레지듀얼 값(residual term) 을 계산하여 출력한다. 이를 보다 구체적으로 설명하면 다음과 같다.
먼저, 레지듀얼 계산부(132)는 움직임 벡터를 이용하여 저해상도 영상 프레임과 고해상도 영상 프레임의 움직임의 차이를 보정한 후, 수학식 1의 연산을 수행하여 레지듀얼 값 를 생성한다.
[수학식 1]
여기서 는 저해상도 영상 프레임의 화소의 좌표이고, 는 고해상도 영상 프레임의 화소의 좌표이다. 또한 는 k번째 저해상도 영상 프레임이고 는 시간 일 때의 고해상도 영상 프레임이며 는 움직임 정보와 블러링(blurring) 및 다운 샘플링 과정을 반영한 포인트 스프레드 함수이다.
[수학식 2]
여기서 는 컨벡스 집합을 만들 때의 임계치이며, 컨벡스 집합이란 수학식 1에 표시된 것과 같이 레지듀얼 값 가 임계치 보다 작거나 같다는 조건을 만족하는 고해상도 영상 프레임 의 집합을 말한다. ,
, 프로젝션부(projection)(134)는 초고해상도 영상 프레임 를 출력하고, 갱신부(iteration)(136)는 컨벡스 집합의 조건을 만족하지 않는 경우 즉, 수학식 3에서와 같이 레지듀얼 값 이 소정의 임계치 보다 크거나, 소정의 임계치 보다 작은 경우에는 고해상도 영상 프레임 을 갱신한다.
만일 컨벡스 집합의 조건을 만족하는 경우 즉,레지듀얼 값 이 소정의 임계치 보다 작거나 같은 경우에는, 고해상도 영상 프레임 가 갱신되지 않고 바로 프로젝션부(134)를 통하여 초고해상도 영상 프레임 이 출력된다.
[수학식 3]
수학식 3에서, 분모 부분의 수식은 가중치의 합이 1이 되도록 정규화하는 과정을 나타내며 , 는 이와 같은 정규화 과정에서의 마스크의 크기를 나타낸다. 즉, 5 X 5 마스크의 경우라면 , 가 된다.
이와 같은 종래의 POCS 방법 기반의 해상도 변환 방법은 해상도 변환 과정에서 등방향의 포인트 스프레드 함수를 이용하기 때문에 고주파 성분들을 잘 반영하지 못하여 화질의 열화가 발생하는 문제점이 있었다.
본 발명의 목적은 에지를 검출하여 에지의 방향에 따라 적합한 포인트 스프레드 함수를 적용함으로써 에지를 보존하면서 해상도를 향상시키는 해상도 변환 방법 및 그 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 특징은 영상의 해상도 변환 방법에 있어서, 입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 단계; 상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 단계; 상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 단계;상기 입력된 저해상도 영상 프레임과 상기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 단계; 및 상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 단계를 포함하는 것이다.
바람직하게는 상기 영상의 해상도 변환 방법은 상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 단계; 상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 단계; 및 상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 단계를 더 포함한다.
바람직하게는 상기 에지 영역은 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정되는 것을 특징으로 한다.
바람직하게는 상기 에지 방향 정보는 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성되는 것을 특징으로 한다.
바람직하게는 상기 에지 방향 정보는 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수를 생성하는 단계는 상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 단계를 더 포함한다.
바람직하게는 상기 방향성 포인트 스프레드 함수를 생성하는 단계는 상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 단계를 더 포함한다.
바람직하게는 상기 보간하는 단계는 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 한다.
바람직하게는 상기 레지듀얼 값은 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값인 것을 특징으로 한다.
바람직하게는 상기 갱신을 수행하는 단계는 상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 한다.
본 발명의 다른 특징은 영상의 해상도 변환 장치에 있어서, 입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 에지 검출부; 상기 생성된 에지 맵 및 에지 방향 정보에 기 초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 방향성 함수 생성부; 상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 보간부; 상기 입력된 저해상도 영상 프레임과 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 레지듀얼 계산부; 및 상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 갱신부를 포함하는 것이다.
바람직하게는 상기 영상의 해상도 변환 장치는 상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 움직임 추정부; 상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 움직임 아웃라이어 검출부를 더 포함하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 영역을 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 방향 정보를 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성하는 것을 특징으로 한다.
바람직하게는 상기 에지 검출부는 상기 에지 방향 정보를 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수 생성부는 상기 비에지 영역 의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 것을 특징으로 한다.
바람직하게는 상기 방향성 포인트 스프레드 함수 생성부는 상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 것을 특징으로 한다.
바람직하게는 상기 보간부는 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 한다.
바람직하게는 상기 레지듀얼 계산부는 상기 레지듀얼 값을 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값으로 하는 것을 특징으로 한다.
바람직하게는 상기 갱신부는 상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 한다.
바람직하게는 상기 갱신부는 상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 것을 특징으로 한다.
이하 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 3은 본 발명에 따른 영상의 해상도 변환 장치를 도시한 도면이다.
본 발명에 따른 해상도 변환 장치(300)는 초기 보간부(310), 움직임 추정부(320), 움직임 아웃라이어 검출부(330), 에지 검출부 (340), 방향성 함수 생성 부(350) 및 POCS 재구성부(360)를 포함한다.
초기 보간부(310)는 입력된 저해상도 영상 프레임을 고해상도 영상 프레임 로 초기 보간한다. 이와 같은 초기 보간을 수행하는 방법으로는 바이리니어 보간(bilinear interplation) 방법, 바이큐빅 보간(bicubic interpolation) 방법 등이 있다. 다만 이는 종래의 기술로서, 당업자에게 자명한 기술인바 이에 대한 설명은 생략하기로 한다.
움직임 추정부(320)는 시간 일 때의 k번째 초기 보간된 고해상도 영상 프레임 의 움직임을 추정하여 움직임 벡터 를 예측한다. 움직임 추정 방법으로는 블록 단위의 움직임 예측 방법과 화소 단위의 움직임 추정 방법, 강건한 화소 단위의 움직임 추정 방법(robust optical flow algorithm)이 있다. 블록 단위의 움직임 추정 방법은 움직임 예측 오차와 블록 왜곡 등이 발생하는 문제점이 있어 본 발명은 화소 단위의 움직임 추정 방법 및 강건한 화소 단위의 움직임 추정 방법을 이용한다.
이때, 강건한 화소 단위의 움직임 추정 방법은 움직임 이상치를 이용하여 움직임 벡터를 예측한다. 움직임 이상치에는 자료 보존의 제한 조건에 대한 이상치와 공간 일관성 제한에 대한 이상치가 있다. 일반적으로 자료 보존의 제한 조건에 대한 이상치는 움직임이 큰 영역을 이상치로 검출하며, 공간 일관성 제한 조건에 대한 이상치는 영상 프레임의 에지 부분이나 화소값이 급격히 변하는 영역을 이상치 로 검출한다.
[수학식 4]
[수학식 5]
여기서 와 는 각각 자료 보존의 제한 조건에 대한 목적함수 와 공간 일관성 제한 조건에 대한 목적함수 에 대한 이상치의 임계치를 나타낸다. 공간 일관성 제한 조건에서 얻어지는 이상치 맵은 조명 변화와 같은 밝기 변화 (intensity variation)가 발생하는 영상 프레임의 경우에서 밝기 변화에 대한 정보를 제공해 줄 수 있다.
여기서 블록 단위의 움직임 추정 방법, 화소 단위의 움직임 추정 방법 및 강 건한 화소 단위의 움직임 추정 방법은 종래의 기술로서, 당업자에게 자명한 기술인바 이에 대한 구체적인 설명은 생략하기로 한다.
[수학식 6]
먼저 에지 맵 생성 과정을 설명하면 다음과 같다. 에지 검출부(340)는 저해상도 영상 프레임에서 수평, 수직 방향에 대한 그래디언트(gradient)의 크기가 소정의 임계치 보다 큰 경우에는 이를 에지 영역으로 정의하고, 그 외의 경우에 는 비에지 영역으로 정의한다.
[수학식 7]
도 4는 본 발명에 따른 에지의 방향 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 4에서와 같이 삼각형의 가로변을 수평 방향의 저해상도 영상 프레임 y의 변화율 값인 라 하고 세로변을 수직 방향의 저해상도 영상 프레임 y의 변화율인라 할 때 삼각형의 빗변의 길이는 가 된다. 이와 같은 삼각형에서 빗변과 가로변 사이의 끼인각 가 에지의 방향이 되는데 이는 수학식 8과 같이 계산된다. 즉, 에지 검출부(340)는 수학식 8의 연산을 수행하여 에지 방향 정보 를 생성한다.
[수학식 8]
도 5는 본 발명에 따른 에지의 방향을 설명하기 위하여 도시한 도면으로, 본 발명에서 에지 검출부(340)는 에지의 방향을 수평(0도)(502), 수직(90도)(504), 대각선(45도)(506), 반대각선(135도)(508)의 4가지 방향으로 근사화시킨다. 다만, 에지 방향 정보는 이와 같은 4가지 방향으로 한정되지 않고, 구현예에 따라서 다양한 방향을 더 포함할 수 있다.
방향성 함수 생성부(350)는 생성된 에지 맵 및 에지 방향에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성한다.
[수학식 9]
도 6은 등방향의 가우시안 함수를 설명하기 위하여 도시한 도면이다.
도 6에서 602는 등방향의 가우시안 함수를 위에서 바라보았을 때의 그래프를 도시한 것으로, 중심으로부터 같은 거리에 위치하는 점들을 연결하면 602와 같이 원형으로 연결된 그래프의 형태가 된다. 604는 등방향의 가우시안 함수를 옆에서 바라본 형태로 중심에서 멀어질수록 함수 값이 작아지는 형태의 그래프를 가진다. 이와 같이 비에지 영역내의 화소에 대해서는 방향성을 고려하지 않고 동일한 형태의 가우시안 함수를 생성하게 된다.
[수학식 10]
1차원 가우시안 함수가 중심으로부터 멀어질수록 함수값이 작아지는 형태이므로, 중심으로부터 멀어질수록 각 화소에 적용되는 가중치는 점점 줄어들게 된다.
도 7은 에지의 방향에 따른 1차원 가우시안 함수의 형태를 설명하기 위하여 도시한 도면이다.
도 7을 참조하면, 빗금쳐진 부분이 중심이 되는 화소가 되고 이를 중심으로 각각의 방향에 따라 1차원 가우시안 함수의 형태가 결정된다. 즉, 수평 방향의 경우에는 702와 같이 수평 방향으로 결정된 가우시안 함수의 형태, 수직 방향의 경우에는 704와 같이 수직 방향으로 결정된 가우시안 함수의 형태, 대각선 방향의 경우에는 706과 같이 대각선 방향으로 결정된 가우시안 함수의 형태, 반대각선 방향의 경우에는 708과 같이 반대각선 방향으로 결정된 가우시안 함수의 형태를 가지게 된다.
이를 정리하면 방향성 함수 생성부(350)는 비에지 영역내의 화소에 대해서는 등방향의 가우시안 함수를 생성하고, 에지 영역내의 화소에 대해서는 1차원 가우시안 함수를 생성하도록 정의되는 방향성 포인트 스프레드 함수 를 생성하는데 이는 수학식 11과 같이 표현된다.
[수학식 11]
POCS 재구성부(360)는 저해상도 영상 프레임 , 초기 보간된 고 해상도 영상 프레임 , 움직임 벡터 , 아웃라이어 맵 및 방향성 포인트 스프레드 함수 를 이용하여 영상의 해상도를 향상한다.
[수학식 12]
[수학식 13]
POCS 재구성부의 동작 및 구성에 대해서는 종래 기술에서 기술하였는바 구체적인 설명은 생략하기로 한다. 다만, 종래 기술과는 달리 본 발명에서는 움직임 아웃라이어 검출부(330)에서 생성된 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 해상도 변환 과정에서 배제시켜 잘못된 보상을 줄인다. 즉, 도 2의 갱신부(136)는 움직임 예측 오차가 큰 화소들에 대해서는 수학식 13의 갱신 과정을 수행하지 않아 해상도를 향상시키지 않는 것이다.
도 8은 본 발명에 따른 영상의 해상도 변환 방법을 설명하기 위하여 도시한 흐름도이다.
보다 구체적으로 말하면, 컨벡스 집합 의 조건을 만족하지 못하는 경우 즉, 수학식 13에서와 같이 레지듀얼 값 이 소정의 임계치 보다 크거나, 소정의 임계치 보다 작은 경우에는 고해상도 영상 프레임 을 갱신한다. 다만, 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 고해상도 영상 프레임를 갱신하지 않는다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한 다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명은 에지를 검출하여 에지의 방향에 따라 적합한 포인트 스프레드 함수를 적용함으로써, 에지를 보존하면서 해상도를 향상시키는 효과가 있다.
Claims (22)
- 영상의 해상도 변환 방법에 있어서,입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 단계;상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 단계;상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 단계;상기 입력된 저해상도 영상 프레임과 상기 보간된 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 단계; 및상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측하는 단계;상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 단계; 및상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 에지 영역은 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정되는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 에지 방향 정보는 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성되는 것을 특징으로 하는 해상도 변환 방법.
- 제1항 또는 제4항에 있어서상기 에지 방향 정보는 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서상기 방향성 포인트 스프레드 함수를 생성하는 단계는상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 방향성 포인트 스프레드 함수를 생성하는 단계는상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 단계를 더 포함하는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 보간하는 단계는바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 레지듀얼 값은상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값인 것을 특징으로 하는 해상도 변환 방법.
- 제1항에 있어서,상기 갱신을 수행하는 단계는상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 하는 해상도 변환 방법.
- 영상의 해상도 변환 장치에 있어서,입력된 저해상도 영상 프레임에서 에지 영역 및 상기 에지 영역의 방향을 검출하여 에지 맵 및 에지 방향 정보를 생성하는 에지 검출부;상기 생성된 에지 맵 및 에지 방향 정보에 기초하여 방향성 포인트 스프레드 함수(point spread function)를 생성하는 방향성 함수 생성부;상기 입력된 저해상도 영상 프레임을 고해상도 영상 프레임으로 보간하는 보간부;상기 입력된 저해상도 영상 프레임과 고해상도 영상 프레임 및 방향성 포인트 스프레드 함수를 이용하여 레지듀얼 값(residual term)을 생성하는 레지듀얼 계산부; 및상기 레지듀얼 값과 소정의 임계치를 비교한 결과에 따라 상기 보간된 고해상도 영상 프레임의 갱신을 수행하는 갱신부를 포함하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 보간된 고해상도 영상 프레임의 움직임을 추정하여 움직임 벡터를 예측 하는 움직임 추정부;상기 움직임 추정을 거친 영상 중에서 움직임 예측 오차가 큰 화소들을 검출하여 움직임 아웃라이어 맵(motion outlier map)을 생성하는 움직임 아웃라이어 검출부를 더 포함하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 에지 검출부는상기 에지 영역을 상기 저해상도 영상 프레임의 수평 및 수직 방향에 대한 그래디언트의 크기가 소정의 임계치보다 큰 영역으로 결정하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 에지 검출부는상기 에지 방향 정보를 저해상도 영상 프레임의 수평 방향의 변화율 및 수직 방향의 변화율을 이용하여 생성하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항 또는 제15항에 있어서상기 에지 검출부는상기 에지 방향 정보를 수평, 수직, 대각선, 반대각선의 4가지 방향으로 근사화시키는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서상기 방향성 포인트 스프레드 함수 생성부는상기 비에지 영역의 화소에 대해서 등방향의 가우시안 함수(gaussian function)를 생성하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 방향성 포인트 스프레드 함수 생성부는상기 에지 영역의 화소에 대해 상기 에지 영역의 방향에 따라 1차원 가우시안 함수를 생성하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 보간부는바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic interpolation) 방법을 이용하여 보간하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 레지듀얼 계산부는상기 레지듀얼 값을 상기 입력된 저해상도 영상 프레임으로부터 상기 보간된 고해상도 영상 프레임과 방향성 포인트 스프레드 함수를 곱한 값을 감산한 값으로 하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서,상기 갱신부는상기 레지듀얼 값의 절대값이 소정의 임계치보다 큰 경우에 갱신을 수행하는 것을 특징으로 하는 해상도 변환 장치.
- 제11항에 있어서상기 갱신부는상기 움직임 아웃라이어 맵에 기초하여 움직임 예측 오차가 큰 화소들에 대해서는 상기 보간된 고해상도 영상 프레임을 갱신하지 않는 것을 특징으로 하는 해상도 변환 장치.
- 제1항 내지 제10항 중 어느 한 항의 해상도 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060054375A KR20070119879A (ko) | 2006-06-16 | 2006-06-16 | 영상의 해상도 변환 방법 및 그 장치 |
US11/760,806 US20070291170A1 (en) | 2006-06-16 | 2007-06-11 | Image resolution conversion method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060054375A KR20070119879A (ko) | 2006-06-16 | 2006-06-16 | 영상의 해상도 변환 방법 및 그 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20070119879A true KR20070119879A (ko) | 2007-12-21 |
Family
ID=38861158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060054375A KR20070119879A (ko) | 2006-06-16 | 2006-06-16 | 영상의 해상도 변환 방법 및 그 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20070291170A1 (ko) |
KR (1) | KR20070119879A (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101027323B1 (ko) * | 2010-01-20 | 2011-04-06 | 고려대학교 산학협력단 | 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 |
KR20110093532A (ko) * | 2010-02-12 | 2011-08-18 | 삼성전자주식회사 | 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 |
KR101106613B1 (ko) * | 2010-03-24 | 2012-01-20 | 전자부품연구원 | 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법 |
US8150197B2 (en) | 2009-01-20 | 2012-04-03 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high-resolution image |
US9084580B2 (en) | 2012-03-02 | 2015-07-21 | Samsung Electronics Co., Ltd. | Apparatus and method for generating ultrasonic image |
US9179092B2 (en) | 2009-09-22 | 2015-11-03 | Samsung Electronics Co., Ltd. | System and method producing high definition video from low definition video |
KR20170024367A (ko) | 2015-08-25 | 2017-03-07 | (주)다우기술 | 가변적인 입력 폼을 가지는 어플리케이션을 생성하는 방법 및 장치 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4461937B2 (ja) * | 2003-09-30 | 2010-05-12 | セイコーエプソン株式会社 | 低解像度の複数の画像に基づく高解像度の画像の生成 |
JP4874904B2 (ja) * | 2007-09-13 | 2012-02-15 | 株式会社東芝 | 画像処理装置及びその方法 |
US20100260435A1 (en) * | 2007-12-21 | 2010-10-14 | Orlick Christopher J | Edge Directed Image Processing |
US8380011B2 (en) * | 2008-09-30 | 2013-02-19 | Microsoft Corporation | Fast directional image interpolator with difference projection |
US8724928B2 (en) | 2009-08-31 | 2014-05-13 | Intellectual Ventures Fund 83 Llc | Using captured high and low resolution images |
US8457437B2 (en) * | 2010-03-23 | 2013-06-04 | Raytheon Company | System and method for enhancing registered images using edge overlays |
US8600167B2 (en) | 2010-05-21 | 2013-12-03 | Hand Held Products, Inc. | System for capturing a document in an image signal |
US9047531B2 (en) | 2010-05-21 | 2015-06-02 | Hand Held Products, Inc. | Interactive user interface for capturing a document in an image signal |
CN103033803B (zh) * | 2012-10-30 | 2014-11-12 | 国家卫星气象中心 | 气象卫星光学遥感器二维点扩散函数处理方法 |
CN103136734B (zh) * | 2013-02-27 | 2016-01-13 | 北京工业大学 | 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法 |
US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
CN104063875B (zh) * | 2014-07-10 | 2017-07-28 | 深圳市华星光电技术有限公司 | 增强视频图像光滑度及清晰度的超分辨率重构方法 |
US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
CN107292819A (zh) * | 2017-05-10 | 2017-10-24 | 重庆邮电大学 | 一种基于边缘细节保护的红外图像超分辨率重建方法 |
CN108932697B (zh) | 2017-05-26 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
CN109903221B (zh) * | 2018-04-04 | 2023-08-22 | 华为技术有限公司 | 图像超分方法及装置 |
CN110555818B (zh) * | 2019-09-09 | 2022-02-18 | 中国科学院遥感与数字地球研究所 | 一种卫星图像序列云区修补方法和装置 |
CN112767427A (zh) * | 2021-01-19 | 2021-05-07 | 西安邮电大学 | 一种补偿边缘信息的低分辨率图像识别算法 |
CN116416530B (zh) * | 2023-03-08 | 2023-11-03 | 自然资源部国土卫星遥感应用中心 | 一种新增建设图斑影像核实的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1638340B1 (en) * | 2003-06-23 | 2013-08-07 | Sony Corporation | Image processing method and device, and program |
JP3837575B2 (ja) * | 2004-10-29 | 2006-10-25 | 国立大学法人東京工業大学 | 超解像処理の高速化方法 |
US7602997B2 (en) * | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
-
2006
- 2006-06-16 KR KR1020060054375A patent/KR20070119879A/ko not_active Application Discontinuation
-
2007
- 2007-06-11 US US11/760,806 patent/US20070291170A1/en not_active Abandoned
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8150197B2 (en) | 2009-01-20 | 2012-04-03 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high-resolution image |
US9179092B2 (en) | 2009-09-22 | 2015-11-03 | Samsung Electronics Co., Ltd. | System and method producing high definition video from low definition video |
KR101027323B1 (ko) * | 2010-01-20 | 2011-04-06 | 고려대학교 산학협력단 | 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법 |
KR20110093532A (ko) * | 2010-02-12 | 2011-08-18 | 삼성전자주식회사 | 그래프 기반 화소 예측을 이용한 영상 부호화/복호화 시스템 및 방법 그리고 깊이 맵 부호화 시스템 및 방법 |
KR101106613B1 (ko) * | 2010-03-24 | 2012-01-20 | 전자부품연구원 | 에지 프로파일을 이용한 영상의 해상도 변환 장치 및 방법 |
US9084580B2 (en) | 2012-03-02 | 2015-07-21 | Samsung Electronics Co., Ltd. | Apparatus and method for generating ultrasonic image |
KR20170024367A (ko) | 2015-08-25 | 2017-03-07 | (주)다우기술 | 가변적인 입력 폼을 가지는 어플리케이션을 생성하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20070291170A1 (en) | 2007-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20070119879A (ko) | 영상의 해상도 변환 방법 및 그 장치 | |
US8958484B2 (en) | Enhanced image and video super-resolution processing | |
JP4631966B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5861949B2 (ja) | オプティカルフローの決定のためのデジタル処理方法およびシステム | |
Takeda et al. | Super-resolution without explicit subpixel motion estimation | |
Purkait et al. | Super resolution image reconstruction through Bregman iteration using morphologic regularization | |
US8768069B2 (en) | Image enhancement apparatus and method | |
JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
US8150197B2 (en) | Apparatus and method of obtaining high-resolution image | |
US20090079876A1 (en) | Image processing apparatus, method, and program | |
KR101756841B1 (ko) | 블록 기반 영상의 해상도 변환 방법 및 장치 | |
JP2009212969A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6056766B2 (ja) | 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム | |
JP2021184594A (ja) | ビデオフレームの補間装置及び方法 | |
US8213736B2 (en) | Image processing device and image processing method | |
WO2011018878A1 (ja) | 画像処理システム、画像処理方法および画像処理用プログラム | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
CN116452638B (zh) | 位姿估计模型的训练方法、装置、设备和存储介质 | |
Li et al. | Guided iterative back-projection scheme for single-image super-resolution | |
JP2018033080A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
JP2000354244A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP6059899B2 (ja) | フレーム補間装置及びプログラム | |
JP5829894B2 (ja) | 演算装置およびホログラムページデータ再生プログラム | |
US20090324115A1 (en) | Converting the frame rate of video streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |