KR101373193B1 - 영상 보간 장치 및 방법 - Google Patents

영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR101373193B1
KR101373193B1 KR1020120071294A KR20120071294A KR101373193B1 KR 101373193 B1 KR101373193 B1 KR 101373193B1 KR 1020120071294 A KR1020120071294 A KR 1020120071294A KR 20120071294 A KR20120071294 A KR 20120071294A KR 101373193 B1 KR101373193 B1 KR 101373193B1
Authority
KR
South Korea
Prior art keywords
block
image
dct
comparison
local
Prior art date
Application number
KR1020120071294A
Other languages
English (en)
Other versions
KR20140003885A (ko
Inventor
김재석
배종현
윤유진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020120071294A priority Critical patent/KR101373193B1/ko
Publication of KR20140003885A publication Critical patent/KR20140003885A/ko
Application granted granted Critical
Publication of KR101373193B1 publication Critical patent/KR101373193B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 보간 장치 및 방법에 관한 것이다. 본 발명에 따르면, 보간 시 수행되는 연산량을 크게 증가시키지 않으면서 보간 이미지의 화질 향상을 도모할 수 있다.

Description

영상 보간 장치 및 방법{APPARATUS AND METHOD FOR INTERPOLATING IMAGE}
본 발명은 영상 보간 장치 및 방법에 관한 것으로, 보다 구체적으로 블록의 DCT 계수를 비교함으로써 이미지의 에지 영역을 보간하는 장치 및 방법에 관한 것이다.
영상 보간 기법은 저화질 영상으로부터 고화질 영상을 얻기 위해, 원 영상의 각 픽셀 좌표를 확대하려는 배율만큼 이동시키고, 픽셀값이 할당되어 있지 않은 좌표에 적절한 값을 부여하는 기법이다. 이와 같이 빈 픽셀에 적절한 값을 부여하기 위해, 선형식(linear function)이나 다항식의 회귀분석(regression analysis), 푸리에급수, Spline, Moving average, Kriging 등이 사용된다. 영상 보간 기법에는 최근린 보간법(Nearest Neighbor Inerpolation), 겹선형(Bilinear Interpolation), Cubic Interpolation, Higher Order Interpolation, B-spline Interpolation 등이 있다.
또한, 영상 보간 시 저화질 영상과 고화질 영상 간의 관계성을 찾는 것이 중요하다. 두 영상 사이의 관계성 중 특히 에지(edge)의 방향을 일치시키는 것이 매우 중요하다. 저화질 영상과 고화질 영상 간에 에지의 방향이 일치하지 않으면, 보간된 영상은 많은 오차 및 아티팩트(artifact)를 포함하게 된다.
종래의 영상 보간 기법은 에지의 방향을 일률적으로 이미지의 북서방향, 즉 좌상측으로 가정하여 이미지를 보간하였다. 이러한 종래의 기법에 따르면, 에지가 북서방향이 아닌 다른 방향, 예컨대 북동방향, 수평 또는 수직방향으로 형성된 경우에는, 가장 단순한 선형보간법보다도 이미지의 화질이 열악하게 되는 문제가 있다.
나아가, 종래의 다른 영상 보간 기법은 보간할 픽셀 영역과 그 주위에 위치한 다수의 픽셀들과의 공분산을 계산하여 에지의 방향을 예측하였다. 하지만, 이러한 보간 기법은 보간을 위한 연산량이 급격하게 증가하여 시스템의 요구성능이 높아지고 처리시간이 길어지는 문제가 있다.
전술한 종래기술의 문제점을 해결하기 위해, 본 발명은 DCT 계수를 비교하여 에지의 방향을 예측하는 영상 보간 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 보간 장치는: 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(Discrete Cosine Transform)를 수행하는 DCT 수행부; 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 보간 방법은: 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계; 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는: 이미지를 수신하는 수신부; 수신된 이미지를 처리하는 이미지 처리부; 이미지 또는 이미지 처리에 사용되는 데이터를 저장하는 저장부; 및 처리된 이미지를 출력하는 출력부를 포함하며, 상기 이미지 처리부는: 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 DCT 수행부; 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 보간 방법은 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수도 있다.
본 발명에 따르면, 연산량을 크게 증가시키지 않으면서 이미지 내 에지의 방향을 정확하게 예측할 수 있다.
또한, 본 발명에 따르면, 저화질 이미지와 고화질 이미지 간에 기하학적 유사성이 유지되어, 종래기술 대비 주관적 화질(subjective quality), PSNR(Peak Signal to Noise Ratio) 및 SSIM(Structural Similarity)이 크게 개선될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따라 보간이 수행될 이미지의 픽셀 영역을 도시한다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 보간이 수행될 이미지의 로컬 블럭 및 비교 블럭을 도시한다.
도 5는 본 발명의 일 실시예에 따라 DCT를 수행하기 전에 로컬 블럭 및 비교 블럭을 확장시킨 도면이다.
도 6은 본 발명의 일 실시예에 따라 4 X 4 픽셀 블록에 대해 DCT를 수행하고 양자화를 수행한 결과를 도시한다.
도 7은 본 발명의 일 실시예에 따른 영상 보간 방법을 설명하는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.
도 10은 본 발명의 일 실시예에 따라 보간된 이미지를 종래의 영상 보간 방법에 의해 보간된 이미지와 비교하는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 장치(10)의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 보간 장치(10)는 DCT 수행부(12), 참조 블럭 선택부(13) 및 보간부(14)를 포함할 수 있다.
상기 영상 보간 장치(10)는 수신된 이미지를 저해상도에서 고해상도로 업스케일링하도록 이미지의 각 픽셀을 보간할 수 있다. 도 2는 저해상도에서 좌표 (i,j), (i,j+1), (i+1, j) 및 (i+1, j+1)를 갖는 네 개의 픽셀을 각각 (2i, 2j), (2i 2j+2), (2i+2, 2j) 및 (2i+2, 2j+2)로 이동시킨 이미지의 로컬 블럭을 도시한다. 도 2에 도시된 바와 같이, 저해상도 이미지의 픽셀들을 고해상도 이미지에 맞게 좌표 이동시키는 경우, 픽셀들 사이에 비어 있는 픽셀이 발생한다. 도 2에서는 좌표 (2i+1, 2j+1)에 해당하는 픽셀이 비어 있는 픽셀에 해당되며, 본 발명은 이미지의 에지 영역에 속하는 상기 비어 있는 픽셀에 적절한 픽셀값을 부여하는 보간 기술을 제안한다.
상기 DCT 수행부(12)는 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(discrete Cosine Transform)를 수행한다. 여기서, 로컬 블럭은 보간이 수행될 이미지의 일 영역으로서, 본 명세서에서는 네 개의 픽셀들로 구성된 2 X 2 사이즈의 픽셀 영역으로 설명된다. 또한, 비교 블럭은 상기 로컬 블럭 주위에 위치한 픽셀들로 구성된 영역으로서, 본 명세서에서는 아홉 개의 픽셀들로 구성된 3 X 3 사이즈의 픽셀 영역으로 설명된다. 하지만, 상기 로컬 블럭 및 비교 블럭의 사이즈는 전술한 바로 제한되지 않으며, 실시예에 따라 다양한 사이즈로 설정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지의 로컬 블럭 및 비교 블럭을 예시적으로 도시한다. 도 3에서 로컬 블럭(20)은 네 개의 픽셀들로 구성된 2 X 2 사이즈의 영역이며, 비교 블럭(21, 22, 23, 24)은 상기 로컬 블럭(20) 주위에 위치한 네 개의 3 X 3 사이즈 픽셀 영역들이다.
본 발명의 일 실시예에 따르면, 상기 비교 블럭(21, 22, 23, 24)은 상기 로컬(20) 블록보다 사이즈가 더 클 수 있다. 하지만, 실시예에 따라 상기 비교 블럭 및 로컬 블럭은 사이즈가 동일할 수 있으며, 나아가 비교 블럭의 사이즈는 로컬 블럭의 사이즈보다 더 작을 수도 있다.
또한, 도 3에서 비교 블럭(21, 22, 23, 24)은 로컬 블럭(20)을 포함하면서 로컬 블럭보다 더 큰 사이즈의 픽셀 영역으로 도시되었으나, 실시예에 따라 비교 블럭은 로컬 블럭을 포함하지 않을 수도 있다.
예를 들어, 도 4를 참조하면, 보간이 수행될 로컬 블럭(300)과 로컬 블럭 주위에 위치한 비교 블럭(301, 304 ... 316)이 도시된다. 도 4의 실시예에서, 비교 블럭은 로컬 블럭(300)을 기준으로 좌상측에 위치한 제 1 비교 블럭(301)에서 시작하여, 우측으로 한 픽셀씩 이동하여 제 2, 제 3 그리고 제 4 비교 블럭(304)까지 형성될 수 있다. 그리고 나서, 제 1 비교 블럭(301)에서 아래로 한 픽셀 이동한 제 5 비교 블럭에서 시작하여, 우측으로 한 픽셀씩 이동하여 제 6, 제 7 그리고 제 8 비교 블럭까지 형성될 수 있다. 이러한 방식으로 비교 블럭을 한 픽셀씩 우측 및 하측으로 이동시키는 경우, 도 4의 6 X 6 픽셀 영역에서는 총 16 개의 3 X 3 비교 블럭을 얻을 수 있다.
실시예에 따라, 본 발명에서 사용되는 로컬 블럭 및 비교 블럭은 그 개수 및 사이즈가 다양하게 설정될 수 있다. 참고로, 도 3에서는 한 개의 로컬 블럭(20)과 네 개의 비교 블럭(21, 22, 23, 24)이 설정되었으며, 도 4에서는 한 개의 로컬 블럭(300)과 16 개의 비교 블럭이 설정되었다.
본 발명의 일 실시예에 따르면, 로컬 블럭 및 비교 블럭은 블럭의 행과 열이 짝수가 되도록 블럭의 사이즈가 변경될 수 있다. 예를 들어, 로컬 블럭 및 비교 블럭은 4 X 4 또는 8 X 8 사이즈를 갖도록 확장될 수 있다. 로컬 블럭 및 비교 블럭이 4 X 4 또는 8 X 8 사이즈로 확장되는 경우, 후술하는 양자화 과정에서 기존에 MPEG 또는 H.264와 같은 영상 처리 기법에 사용되던 4 X 4 또는 8 X 8의 양자화 테이블을 차용하여 사용할 수 있는 장점이 있다.
도 5는 본 발명의 일 실시예에 따라 사이즈를 확장시킨 로컬 블럭 및 비교 블럭을 도시한다.
도 5의 (a)에 도시된 바와 같이, 2 X 2 사이즈를 갖는 로컬 블럭(300)은 전후좌우 각 방향으로 한 픽셀씩 커져 4 X 4의 사이즈를 갖는 블럭(300')으로 확장될 수 있다. 또한, 도 5의 (b)에 도시된 바와 같이, 3 X 3 사이즈를 갖는 비교 블럭(301)은 우측 및 하측 방향으로 한 픽셀씩 커져 4 X 4의 사이즈를 갖는 블럭(301')으로 확장될 수 있다.
도 5의 (b)에서는 비교 블럭(301)이 우측 및 하측 방향으로 확장되는 예를 도시하였으나, 상기 비교 블럭(301)이 확장되는 방향은 상기 방향들로 제한되지 않는다. 예를 들어, 상기 비교 블럭(301)은 좌측 및 하측, 좌측 및 상측, 또는 우측 및 상측 방향으로도 확장될 수 있다.
또한, 도 5에서는 로컬 블럭(300) 및 비교 블럭(301)을 4 X 4 사이즈로 확장시키는 예를 도시하였으나, 경우에 따라 상기 블럭들은 8 X 8 또는 16 X 16 사이즈를 포함한 임의의 다른 사이즈로도 확장될 수 있다.
다시 도 1로 돌아가서, 본 발명의 일 실시예에 따른 영상 보간 장치(10)의 참조 블럭 선택부(13)는 로컬 블럭의 DCT 계수와 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택한다.
본 발명의 일 실시예에 따르면, 상기 참조 블럭 선택부(13)는, 상기 로컬 블럭 및 상기 비교 블럭의 DCT 계수를 양자화 테이블을 참조하여 양자화하는 양자화부; 및 양자화된 DCT 계수를 지그재그 스캐닝(zigzag scanning)하여 얻어진 DCT 계수 스트림들을 비교하는 비교부를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따라 4 X 4 사이즈의 블록에 대해 DCT 및 양자화를 수행한 결과를 도시한다.
도 6을 참조하면, 로컬 블럭 및 비교 블럭은 4 X 4 사이즈로 가지며 블럭을 구성하는 각 픽셀은 도 6의 (a)와 같은 픽셀값을 가질 수 있다. 도 6의 (a)와 같은 블럭에 DCT를 수행하면 도 6의 (b)와 같은 DCT 계수들을 구할 수 있다. 이미지의 일 영역인 픽셀 블럭을 DCT를 통해 공간 영역에서 주파수 영역으로 변환하면, 주파수가 낮은 성분으로 에너지가 집중되며, 도 6의 (b)를 참조하면 블럭의 좌상단에 위치한 DC 성분이 가장 큰 값을 갖는 것을 알 수 있다.
상기 양자화부는 상기 로컬 블럭 및 비교 블럭의 DCT 게수를 양자화하며, 도 6의 (b)에 도시된 DCT 계수들을 양자화하면 도 6의 (c)에 도시된 바와 같은 값을 얻을 수 있다.
상기 비교부는 상기 양자화된 DCT 계수를 지그재그 스캐닝하여(도 6의 (c) 참조) DCT 계수로 구성된 비트 스트림을 획득하며, 로컬 블럭의 DCT 계수 스트림과 비교 블럭의 DCT 계수 스트림을 비교한다.
본 발명의 일 실시예에 따르면, 상기 비교부는 상기 DCT 계수 스트림을 구성하는 DCT 계수들의 절대값의 합을 계산하고, 상기 비교 블럭의 DCT 계수 합산값 중 상기 로컬 블럭의 DCT 계수의 합산값과의 차이가 가장 작은 비교 블럭을 선택한다. 예를 들어, (185 3 1 0 -2 1 1 1 0 0 0 0 0 0 0 0)로 구성된 16 비트의 로컬 블럭 DCT 계수 스트림과 (173 4 2 -1 -2 1 0 0 0 0 0 0 0 0 0 0)으로 구성된 16 비트의 비교 블럭 DCT 계수 스트림을 비교하면, 로컬 블럭의 DCT 계수 각각의 절대값을 합한 값은 194이며 비교 블럭의 DCT 계수 각각의 절대값을 합한 값은 183이며, 두 블럭의 합산값의 차는 11이다. 이러한 비교 과정을 모든 비교 블럭에 대해 수행하여, 합산값의 차가 가장 작은 비교 블럭을 로컬 블럭과 가장 유사한 참조 블럭으로 선택할 수 있다.
전술한 과정을 통해 본 발명은 이미지 내에 포함된 에지의 방향을 정확하게 예측할 수 있다. 본 발명은 로컬 블럭과 그 주위에 위치한 다수의 비교 블럭의 DCT 계수를 비교함으로써, 보간을 위한 연산량을 크게 증가시키지 않으면서 동시에 로컬 블럭과 가장 기하학적으로 가장 유사한 비교 블럭을 검출할 수 있다. 만약 도 4에 도시된 비교 블럭 중 제 4 비교 블럭(304)이 참조 블럭으로 결정되는 경우, 에지의 방향은 북동쪽, 즉 우상측을 향하는 것으로 예측할 수 있다. 만약 제 1 비교 블럭(301)이 참조 블럭으로 결정되는 경우, 에지의 방향은 북서쪽, 즉 좌상측을 향하는 것으로 예측할 수 있다.
다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 보간 장치(10)는 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 에지 영역 판단부(11)를 더 포함할 수 있다.
에지 영역 판단부에 의해 이미지의 일 영역이 에지 영역으로 판별되는 경우, 상기 에지 영역에 속하는 로컬 블럭에 대한 보간은 전술한 DCT 계수를 비교하는 방법을 통해 에지의 방향을 검출하는 과정을 거친다. 하지만, 이미지의 일 영역이 에지 영역이 아닌 일반 영역으로 판별되는 경우에는, 전술한 본 발명의 방법을 적용하지 않을 수 있다. 이미지의 모든 영역에 대해 본 발명과 같은 과정을 적용한다면, 보간된 이미지의 화질이 크게 향상될 수 있겠으나, 보간 시 요구되는 연산량이 급격하게 증가하여 처리 속도가 줄어들 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 상기 DCT 수행부(12)는 에지 영역에 속하는 로컬 블럭 및 비교 블럭에 대해 DCT를 수행할 수 있다.
다시 도 1로 돌아가면, 상기 보간부(14)는 상기 선택된 참조 블럭의 픽셀들의 화소값을 위너 필터(Wiener filter)에 적용시킴으로써 로컬 블럭에 대한 보간을 수행한다. 상기 참조 블럭을 위너 필터에 적용시키는 경우, 상기 참조 블럭을 구성하는 픽셀들 간의 상관관계, 예컨대 픽셀들 간의 공분산(covariance) 값을 통해 로컬 블럭의 비어 있는 픽셀의 값을 예측할 수 있다. 이러한 예측 방법은 참조 블럭을 구성하는 픽셀들과 로컬 블럭을 구성하는 픽셀들이 기하학적으로 유사하다는 전제 하에서 수행되는 것이다.
예를 들어, 도 4에 도시된 로컬 블럭(300)의 중앙에 위치한 미지의 픽셀의 화소값을 계산하기 위해서는, 상기 미지의 픽셀과 그 주변에 위치한 픽셀들 간의 상관관계, 예컨대 공분산 r0, r1, r2, r3 값이 요구된다. 하지만, 미지의 픽셀의 화소값을 알지 못하기 때문에, 본 발명은 상기 로컬 블럭(300)과 가장 유사한 비교 블럭인 참조 블럭을 구성하는 픽셀들 간의 공분산 값이 상기 로컬 블럭의 픽셀들 간의 공분산 값과 동일하다는 가정을 한다. 따라서, 로컬 블럭(300)의 최유사 블럭이 도 4의 제 4 비교 블럭(304)으로 결정된 경우, 제 4 비교 블럭(304)의 픽셀들 간의 공분산 값 r0', r1', r2', r3'을 계산하고, 계산된 공분산 값을 로컬 블럭의 보간식에 대입하여 최종적으로 로컬 블럭의 미지의 화소값을 예측한다.
본 발명의 일 실시예에 따르면, 상기 보간부(14)는 도 2의 (2i+1, 2j+1) 좌표에 위치한 픽셀의 값을 보간하기 위해 4차 선형 예측(fourth-order linear prediction) 기법을 사용할 수 있다. 이 경우, 상기 (2i+1, 2j+1) 좌표의 픽셀값은 다음과 같은 수학식으로부터 계산될 수 있다:
Figure 112012052403922-pat00001
본 발명의 일 실시예에 따르면, 위 수학식에서 보간 계수 벡터인
Figure 112012052403922-pat00002
는 위너 필터 이론을 통해 얻을 수 있다. 이 경우,
Figure 112012052403922-pat00003
는 다음과 같은 수학식으로부터 계산될 수 있다:
Figure 112012052403922-pat00004
여기서, R은 M X M 크기의 윈도우에서 auto covariance 행렬이며,
Figure 112012052403922-pat00005
은 M X M 크기의 윈도우에서 cross covariance 행렬이다. 일 실시예에 따르면, M은 13일 수 있다.
(2i+1, 2j+1) 좌표의 픽셀값은 현재 단계에서는 알 수 없으므로,
Figure 112012052403922-pat00006
을 고해상도의 이미지(도 2의 로컬 블럭)로부터 직접 도출할 수는 없다. 따라서, 본 발명의 일 실시예는 전술한 DCT 계수 비교 과정을 통해 획득한 참조 블럭이, 보간을 수행하고자 하는 로컬 블럭과 기하학적으로 유사함을 전제하여, 상기 참조 블럭으로부터
Figure 112012052403922-pat00007
을 도출한다.
이 경우, R 및
Figure 112012052403922-pat00008
은 다음과 같은 수학식으로부터 계산될 수 있다:
Figure 112012052403922-pat00009
여기서.
Figure 112012052403922-pat00010
는 M2개의 성분을 갖는 중앙 픽셀 벡터(center pixel vector)이며, C는 4 X M2의 데이터 행렬이며, 상기 데이터 행렬의 k번째 컬럼 벡터는 사선 방향을 따르는 yk의 네 개의 근접한 이웃 픽셀들로부터 얻을 수 있다.
최종적으로,
Figure 112012052403922-pat00011
는 다음과 같은 수학식으로부터 얻을 수 있다:
Figure 112012052403922-pat00012
상기
Figure 112012052403922-pat00013
를 수학식 1에 대입하면, 로컬 블럭의 좌표 (2i+1, 2j+1)에 위치하는 픽셀의 값을 계산할 수 있다.
전술한 본 발명의 보간 기법에 따르면, 에지의 방향을 정확하게 예측함으로써 에지 영역에 속하는 픽셀을 보간하기 때문에, 종래에 비해 주관적 화질이 향상되며, 객관적인 화질의 지표인 PSNR 및 SSIM이 더 증가하는 장점을 갖는다.
도 7은 본 발명의 일 실시예에 따른 영상 보간 방법을 설명하는 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 보간 방법은, 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계(S12), 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계(S13), 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계(S14)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 DCT를 수행하는 단계(S12) 전에, 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 단계(S11)를 더 포함할 수 있다.
이미지의 일 영역이 에지 영역으로 판단되는 경우, 상기 DCT를 수행하는 단계(S12)는 상기 에지 영역에 속하는 로컬 블럭 및 비교 블럭에 대해 DCT를 수행하는 단계를 포함할 수 있다.
반대로, 이미지의 일 영역이 에지 영역이 아닌 일반 영역으로 판단되는 경우, 해당 영역에 대해서는 선형 보간을 수행할 수 있다(S15).
본 발명의 일 실시예에 따르면, 상기 선택하는 단계(S13)는, 상기 로컬 블럭 및 상기 비교 블럭의 DCT 계수를 양자화 테이블을 참조하여 양자화하는 단계, 및 상기 양자화된 DCT 계수를 지그재그 스캐닝하여 얻어진 DCT 계수 스트림들을 비교하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 비교하는 단계는, 상기 DCT 계수 스트림을 구성하는 DCT 계수들의 절대값의 합을 계산하는 단계, 및 상기 비교 블럭의 DCT 계수 합산값 중 상기 로컬 블럭의 DCT 계수의 합산값과의 차이가 가장 작은 비교 블럭을 참조 블럭으로 선택하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 보간을 수행하는 단계(S14)는, 상기 참조 블럭의 픽셀들의 화소값을 위너 필터에 적용시키는 단계를 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 장치(80)는 이미지를 수신하는 수신부(81), 수신된 이미지를 처리하는 이미지 처리부(82), 이미지 또는 이미지 처리에 사용되는 데이터를 저장하는 저장부(83), 및 처리된 이미지를 출력하는 출력부(84)를 포함할 수 있다.
상기 이미지 처리부(82)는 전술한 본 발명의 일 실시예에 따른 영상 처리 장치를 포함할 수 있으며, 다시 말해 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 DCT 수행부, 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부, 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 이미지 처리부(82)는 상기 수신된 이미지를 업스케일링하도록 보간할 수 있다. 하지만, 실시예에 따라 본 발명의 이미지 처리부(82)는 업스케일링 외에 다운스케일링과 같은 보간을 수행할 수도 있다.
상기 이미지 처리부(82)는 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 에지 영역 판단부를 더 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법은 이미지를 수신하는 단계(S21), 수신된 이미지를 처리하는 단계(S22), 및 처리된 이미지를 출력하는 단계(S23)를 포함할 수 있다.
상기 이미지를 처리하는 단계(S22)는, 전술한 본 발명의 일 실시예에 따른 영상 처리 과정을 수행할 수 있다. 구체적으로, 상기 이미지를 처리하는 단계(S22)는, 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계, 상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계, 및 상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여 로컬 블럭에 대한 보간을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 상기 DCT를 수행하는 단계 전에, 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 단계를 더 포함할 수 있다.
전술한 본 발명의 일 실시예에 따른 영상 보간 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
도 10은 본 발명의 일 실시예에 따라 보간된 이미지를 종래의 영상 보간 방법에 의해 보간된 이미지와 비교하는 도면이다.
도 10의 (a)는 보간 전의 원본 이미지이며, (b)는 bilinear interpolation 기법에 의해 보간된 이미지이며, (c)는 NEDI(New edge-directed interpolation) 기법에 의해 보간된 이미지이며, (d)는 MEDI(Modified edge-directed interpolation) 기법에 의해 보간된 이미지이며, (e)는 본 발명의 영상 보간 방법에 따라 보간된 이미지이다.
도 10에 도시된 바와 같이, 본 발명에 따라 보간된 이미지는 종래기법에 의해 보간된 이미지보다 에지가 보다 선명하고 끊김없이 표현되어 주관적 화질이 향상되었음을 확인할 수 있다.
나아가, 본 발명의 영상 보간 방법에 따르면, 보간된 이미지의 주관적 화질뿐만 아니라 객관적 화질까지도 향상될 수 있다. 아래의 표 1은 종래의 보간 기법으로 보간된 이미지의 PSNR (dB) 값과 본 발명의 보간 기법으로 보간된 이미지의 PSNR (dB) 값을 나타낸다. 또한, 표 2는 종래의 보간 기법으로 보간된 이미지의 SSIM 값과 본 발명의 보간 기법으로 보간된 이미지의 SSIM 값을 나타낸다.
이미지 Bilinear NEDI MEDI 본 발명
자전거 20.68 23.54 23.30 26.39
이미지 Bilinear NEDI MEDI 본 발명
자전거 0.8995 0.9488 0.9428 0.9790
도 10의 이미지에 대해, 본 발명의 보간 기법이 종래의 보간 기법에 비해 더 높은 PSNR 및 SSIM 값을 제공함을 확인할 수 있다. 여기서, SSIM은 원본 이미지와 보간된 이미지 간의 구조적 유사도를 나타내는 지표로서, SSIM 값이 1이면 두 이미지가 일치한 구조를 갖고 있음을 나타낸다.
이상에서, 보간될 이미지의 픽셀 영역 및 상기 픽셀 영역 주위에 위치한 다수의 픽셀 영역들의 DCT 계수를 비교하여 에지의 방향을 예측하는 영상 보간 장치 및 방법이 설명되었다. 본 발명의 일 실시예에 따른 영상 보간 장치 및 방법은 보간 시 수행되는 연산의 양을 크게 증가시키지 않으면서, 에지의 방향을 정확하게 예측할 수 있어, 보간된 이미지의 주관적 화질 및 객관적 화질 둘 모두를 향상시키는 효과를 얻을 수 있다.
10: 영상 보간 장치 11: 에지 영역 판단부
12: DCT 수행부 13: 참조 블럭 선택부
14: 보간부 20, 300: 로컬 블럭
21, 22, 23, 24, 301, 304, 316: 비교 블럭

Claims (20)

  1. 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 에지 영역 판단부;
    상기 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(Discrete Cosine Transform)를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부;
    를 포함하는 영상 보간 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 DCT 수행부는 상기 에지 영역에 속하는 로컬 블럭 및 비교 블럭에 대해 DCT를 수행하는 영상 보간 장치.
  4. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(Discrete Cosine Transform)를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함하며,
    상기 비교 블럭은 상기 로컬 블럭보다 사이즈가 더 큰 영상 보간 장치.
  5. 제 4 항에 있어서,
    상기 로컬 블럭의 사이즈는 2 X 2이며, 상기 비교 블럭의 사이즈는 3 X 3인 영상 보간 장치.
  6. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(Discrete Cosine Transform)를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함하며,
    상기 참조 블럭 선택부는:
    상기 로컬 블럭 및 상기 비교 블럭의 DCT 계수를 양자화 테이블을 참조하여 양자화하는 양자화부; 및
    양자화된 DCT 계수를 지그재그 스캐닝(zigzag scanning)하여 얻어진 DCT 계수 스트림들을 비교하는 비교부;
    를 포함하는 영상 보간 장치.
  7. 제 6 항에 있어서,
    상기 비교부는, 상기 DCT 계수 스트림을 구성하는 DCT 계수들의 절대값의 합을 계산하고, 상기 비교 블럭의 DCT 계수 합산값 중 상기 로컬 블럭의 DCT 계수의 합산값과의 차이가 가장 작은 비교 블럭을 참조 블럭으로 선택하는 영상 보간 장치.
  8. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT(Discrete Cosine Transform)를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함하며,
    상기 보간부는 상기 참조 블럭의 픽셀들의 화소값을 위너 필터(Wiener filter)에 적용시킴으로써 로컬 블럭의 보간을 수행하는 영상 보간 장치.
  9. 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 단계;
    상기 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계;
    를 포함하는 영상 보간 방법.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 DCT를 수행하는 단계는, 상기 에지 영역에 속하는 로컬 블럭 및 비교 블럭에 대해 DCT를 수행하는 단계를 포함하는 영상 보간 방법.
  12. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계를 포함하며,
    상기 비교 블럭은 상기 로컬 블럭보다 사이즈가 더 큰 영상 보간 방법.
  13. 제 12 항에 있어서,
    상기 로컬 블럭의 사이즈는 2 X 2이며, 상기 비교 블럭의 사이즈는 3 X 3인 영상 보간 방법.
  14. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계를 포함하며,
    상기 선택하는 단계는:
    상기 로컬 블럭 및 상기 비교 블럭의 DCT 계수를 양자화 테이블을 참조하여 양자화하는 단계; 및
    상기 양자화된 DCT 계수를 지그재그 스캐닝하여 얻어진 DCT 계수 스트림들을 비교하는 단계;
    를 포함하는 영상 보간 방법.
  15. 제 14 항에 있어서,
    상기 비교하는 단계는:
    상기 DCT 계수 스트림을 구성하는 DCT 계수들의 절대값의 합을 계산하는 단계; 및
    상기 비교 블럭의 DCT 계수 합산값 중 상기 로컬 블럭의 DCT 계수의 합산값과의 차이가 가장 작은 비교 블럭을 참조 블럭으로 선택하는 단계;
    를 포함하는 영상 보간 방법.
  16. 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계를 포함하며,
    상기 보간을 수행하는 단계는, 상기 참조 블럭의 픽셀들의 화소값을 위너 필터에 적용시키는 단계를 포함하는 영상 보간 방법.
  17. 이미지를 수신하는 수신부;
    수신된 이미지를 처리하는 이미지 처리부;
    이미지 또는 이미지 처리에 사용되는 데이터를 저장하는 저장부; 및
    처리된 이미지를 출력하는 출력부를 포함하며,
    상기 이미지 처리부는:
    상기 이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 에지 영역 판단부;
    상기 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부;
    를 포함하는 영상 처리 장치.
  18. 이미지를 수신하는 수신부;
    수신된 이미지를 처리하는 이미지 처리부;
    이미지 또는 이미지 처리에 사용되는 데이터를 저장하는 저장부; 및
    처리된 이미지를 출력하는 출력부를 포함하며,
    상기 이미지 처리부는:
    이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 DCT 수행부;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 참조 블럭 선택부; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 보간부를 포함하며,
    상기 이미지 처리부는 상기 수신된 이미지를 업스케일링하도록 보간하는 영상 처리 장치.
  19. 삭제
  20. 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 기록 매체는:
    이미지의 일 영역이 에지가 존재하는 에지 영역인지 여부를 판단하는 단계;
    상기 이미지의 로컬 블럭 및 상기 로컬 블럭 주위에 위치한 다수의 비교 블럭에 대해 DCT를 수행하는 단계;
    상기 로컬 블럭의 DCT 계수와 상기 비교 블럭의 DCT 계수를 비교하여, 상기 비교 블럭 중 로컬 블럭의 보간에 참조할 참조 블럭을 선택하는 단계; 및
    상기 참조 블럭의 픽셀들 간의 상관관계를 이용하여, 상기 로컬 블럭에 대한 보간을 수행하는 단계;
    를 포함하는 영상 보간 프로세스를 실행하기 위한 프로그램이 기록된 기록 매체.
KR1020120071294A 2012-06-29 2012-06-29 영상 보간 장치 및 방법 KR101373193B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071294A KR101373193B1 (ko) 2012-06-29 2012-06-29 영상 보간 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071294A KR101373193B1 (ko) 2012-06-29 2012-06-29 영상 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140003885A KR20140003885A (ko) 2014-01-10
KR101373193B1 true KR101373193B1 (ko) 2014-03-12

Family

ID=50140162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071294A KR101373193B1 (ko) 2012-06-29 2012-06-29 영상 보간 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101373193B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073725A (zh) * 2020-09-04 2020-12-11 白华 一种支持任意显示区域局部刷新的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100190039B1 (ko) 1996-05-15 1999-06-01 윤종용 고해상도 영상 확대방법 및 장치
KR20040056479A (ko) * 2002-12-23 2004-07-01 한국전자통신연구원 이산여현변환에 기반하여 압축된 영상으로부터 블록에지를 검출 및 분류하는 방법
WO2009019823A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100190039B1 (ko) 1996-05-15 1999-06-01 윤종용 고해상도 영상 확대방법 및 장치
KR20040056479A (ko) * 2002-12-23 2004-07-01 한국전자통신연구원 이산여현변환에 기반하여 압축된 영상으로부터 블록에지를 검출 및 분류하는 방법
WO2009019823A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:정보과학논문지 *

Also Published As

Publication number Publication date
KR20140003885A (ko) 2014-01-10

Similar Documents

Publication Publication Date Title
TWI646827B (zh) 使用非對稱內插濾波器的內插影像用的方法與裝置
US20240163428A1 (en) Selection of an extended intra prediction mode
US8285068B2 (en) Combined deblocking and denoising filter
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
EP2242276A2 (en) Method and apparatus for determining encoding mode based on temporal and spatial complexity
US20210195199A1 (en) Intra-prediction method for reducing intra-prediction errors and device for same
JP4982471B2 (ja) 信号処理方法、装置およびプログラム
US10432947B2 (en) Method and apparatus for decoding video, and method and apparatus for coding video
US20060078055A1 (en) Signal processing apparatus and signal processing method
US20100026897A1 (en) Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution
US9462220B2 (en) Auto-regressive edge-directed interpolation with backward projection constraint
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20190037217A1 (en) Video encoding method and apparatus, and decoding method and apparatus therefor
US9319688B2 (en) Moving image encoding apparatus
KR101373193B1 (ko) 영상 보간 장치 및 방법
JP2003510932A (ja) フィルタ処理装置及び方法
CN101552922A (zh) 信号处理设备和方法、以及信号处理程序
JP2010278519A (ja) 動きベクトル検出装置
Ousguine et al. A new image interpolation using gradient-orientation and cubic spline interpolation
CN114666583B (zh) 一种基于时空域滤波的视频编码前处理方法
CN112291572B (zh) 一种h.264分数倍运动估计方法与系统
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
KR20200134302A (ko) 이미지 처리 장치 및 방법
KR101493425B1 (ko) 영상 보간 장치, 영상 보간 방법 및 이를 사용한 영상 처리 장치
Eerenberg et al. Block-based detection systems for visual artifact location

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190318

Year of fee payment: 6