KR20080041935A - 영상 보간 방법 및 장치 - Google Patents

영상 보간 방법 및 장치 Download PDF

Info

Publication number
KR20080041935A
KR20080041935A KR1020060110179A KR20060110179A KR20080041935A KR 20080041935 A KR20080041935 A KR 20080041935A KR 1020060110179 A KR1020060110179 A KR 1020060110179A KR 20060110179 A KR20060110179 A KR 20060110179A KR 20080041935 A KR20080041935 A KR 20080041935A
Authority
KR
South Korea
Prior art keywords
interpolation
image
filter coefficient
interpolation filter
candidate
Prior art date
Application number
KR1020060110179A
Other languages
English (en)
Other versions
KR100878536B1 (ko
Inventor
손유미
이배근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060110179A priority Critical patent/KR100878536B1/ko
Publication of KR20080041935A publication Critical patent/KR20080041935A/ko
Application granted granted Critical
Publication of KR100878536B1 publication Critical patent/KR100878536B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 보상시의 예측 오차를 감소시키고 각 서브 픽셀의 보간에 적용되는 보간 필터 계수의 전송량을 줄일 수 있는 영상 보간 방법 및 장치가 개시된다.
본 발명에 따른 영상 보간 방법 및 장치는 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성하고, 후보 보간 영상들과 대응되는 원 영상 프레임의 영역 사이의 오차값에 따라서 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 것을 특징으로 한다.

Description

영상 보간 방법 및 장치{Method and apparatus for interpolating video}
도 1은 영상 보간의 개념을 설명하기 위한 참조도이다.
도 2는 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 영상 부호화 장치의 블록도이다.
도 3은 도 2의 영상 부호화 장치에 입력되는 영상 데이터의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
도 6은 움직임 예측을 설명하기 위한 참고도이다.
도 7은 본 발명에 따른 후보 보간 영상의 생성 과정을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블의 일 예를 나타낸 도면이다.
도 9는 본 발명의 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
도 11은 도 9의 영상 보간 장치에 입력되는 영상 시퀀스를 나타낸 도면이다.
도 12는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 b에 대응되는 보간 필터 계수 그룹들을 나타낸 도면이다.
도 13은 도 12의 보간 필터 계수들을 그 주파수 응답 특성에 따라 유사한 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다.
도 14는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 a에 대응되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.
도 16은 본 발명의 또 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
도 17은 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 복호화 장치의 블록도이다.
도 18은 본 발명에 따른 영상 보간 방법이 적용되는 보간 단위를 설명하기 위한 도면이다.
본 발명은 영상 보간에 관한 것으로, 보다 상세하게는 움직임 보상시의 예측 오차를 감소시키고 각 서브 픽셀의 보간에 적응적으로 적용되는 보간 필터 계수의 전송량을 줄일 수 있는 영상 보간 방법 및 장치에 관한 것이다.
H.264/AVC(Advanced Video Coding)에 따르면, 인터 코딩된 매크로블록의 각 파티션 또는 서브 매크로 블록 파티션은 참조 영상 프레임 내의 동일한 크기의 영역으로부터 예측된다.
움직임 보상 예측을 수행하기 위해서 현재 영상 프레임은 복수 개의 블록들로 분할된다. 분할된 각 블록에 대해서, 현재 블록과 예측 블록 사이의 차이값인 움직임 벡터가 계산되며, 이 움직임 벡터는 휘도 성분에 대해 1/4 샘플의 해상도를 가지며 색차 성분에 대해 1/8 샘플의 해상도를 가진다. 이 때, 서브 샘플 위치의 휘도와 색차 샘플을 참조 픽처 내에 존재하지 않으므로 인접해 있는 코딩된 샘플들을 보간하여 서브 샘플 위치에서의 화소값을 생성하여야 한다.
도 1은 영상 보간의 개념을 설명하기 위한 참조도이다.
도 1을 참조하면, 회색 상자는 원 픽셀(original pixel)을 나타내고, 흰색 상자는 상기 원 픽셀 사이의 서브 픽셀(sub pixel)을 나타낸다. 원 픽셀은 정수 픽셀(integer pixel)을 의미한다. 서브 픽셀들 중 흰색 상자 5, 6, 7, 8은 1/2 픽셀을, 흰색 상자 9는 1/4 픽셀을 나타낸다. 1/2 픽셀들은 수직 방향 또는 수평 방향으로 인접한 정수 픽셀들 또는 1/2 픽셀들을 기초로 얻어진다. 예를 들어, 1/2 픽셀 5는 정수 픽셀 1 및 2를 기초로 얻어지며, 1/2 픽셀 8은 정수 픽셀 3 및 4를 기초로 얻어진다. 1/2 픽셀 6은 정수 픽셀 1 및 3을 기초로 얻어지고, 1/2 픽셀 7은 정수 픽셀 2 및 4를 기초로 얻어진다. 한편, 1/4 픽셀 9는 1/2 픽셀 5 및 8을 기초로 얻어지거나 1/2 픽셀 6 및 7을 기초로 얻어진다. 설명의 편의를 위해 정수 픽셀의 개수를 4 개로 한정하였으나, 보간에 참여하는 픽셀의 범위는 적절히 가감할 수 있다. 가령, 1/2 픽셀 5를 구함에 있어 정수 픽셀 1 및 2 뿐 아니라 수평 방향으로 인접한 정수 픽셀들을 더 참여시킬 수 있다.
특히, H.264/AVC 표준안에 따르면 참조 영상 프레임 내의 1/2 픽셀을 보간하기 위하여, 6-탭 유한 임펄스 응답(6-tap Finite Impulse Response:FIR) 필터와 고정된 보간 필터 계수를 이용한다. 6-탭 FIR 필터를 적용하는 경우, 수평 또는 수직 방향으로 인접한 6개의 정수 픽셀들 값을 이용하여 서브 픽셀의 보간을 수행한다. 그러나, 고정된 보간 필터 계수를 이용하는 경우에는 영상 특성에 따라서 예측 오차가 심화될 수 있다.
이러한 고정된 보간 필터 계수를 이용하는 대신에 영상 특성에 따라 각 서브 픽셀 위치마다 적응적으로 보간 필터 계수를 생성하는 보간 방법이 제안된 바 있다. 그러나, 이러한 적응적인 보간 방식에 의할 경우, 각 서브 픽셀 위치마다 별개의 보간 필터 계수를 생성하여 전송하여야 하기 때문에 전송되는 데이터의 양이 증가하여, 압축효율이 좋지 못한 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 특성에 따라 각 서브 픽셀에 적용할 보간 필터 계수를 적응적으로 적용하는 동시에 전송되는 보간 필터 계수 정보를 줄일 수 있는 영상 보간 방법 및 장치를 제공하는 데에 목적이 있다.
또한, 본 발명은 영상 특성에 따른 적응적인 보간 방식을 통해 움직임 예측 오차를 줄이면서 앨리어싱(aliasing) 효과를 줄일 수 있는 영상 보간 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 보간 방법은 참조 영상 프레임과 현재 영상 프레임 사이에 움직임 예측을 수행하여 상기 현재 영상 프레임의 움직임 벡터를 예측하는 단계; 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 디코딩된 상기 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성하는 단계; 및 상기 움직임 벡터가 가리키는 상기 후보 보간 영상들과 대응되는 원 영상 프레임의 영역 사이의 오차값에 따라서 상기 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 보간 방법은 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 단계; 상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 단계; 상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들을 적용하여 보간함으로써 후보 보간 영상들을 생성하는 단계; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 보간 방법은 입력 영상에 대하여 소정 블록 단위로 움직임 예측을 수행하는 단계; 상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계; 및 상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 영상 보간 장치는 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 소정의 룩업 테이블을 저장하는 저장부; 상기 복수 개의 보간 필터 계수 그룹들을 적용하여 상기 입력 영상을 보간함으로써 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 보간 장치는 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 적응적 보간 수 행부; 상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 룩업 테이블 생성부; 상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 보간을 수행하여 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및 상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 보간 장치는 입력 영상에 대해 소정 블록 단위로 움직임 예측을 수행하는 움직임 예측부; 상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 보간 필터 계수 선택부; 및 상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 보간부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
먼저, 본 발명을 설명함에 있어서 보간 필터 계수란 각 서브 픽셀의 보간을 위해 인접한 정수 픽셀을 이용한 가중합을 구하는 경우, 정수 픽셀에 곱하여지는 가중치를 의미한다. 일 예로, 보간하고자 하는 서브 픽셀을 a, 서브 픽셀 a와 수평 방향으로 인접한 정수 픽셀들을 차례로 A, B, C, D, E, F라고 하면, 6-탭 FIR 필터를 이용하여 a={(A×h1)+(B×h2)+(C×h3)+(D×h4)+(E×h5)+(F×h6)}와 같이 서브 픽셀 a의 보간값을 생성할 수 있다. 본 발명에서는, 각 정수 픽셀 A 내지 F에 곱하여지는 가중치 h1 내지 h6를 보간 필터 계수라고 정의하며, 보간 필터 계수 그룹이란 상기 보간 필터 계수들(h1 내지 h6)와 같이 임의의 서브 픽셀의 보간을 위해 적용되는 한 쌍의 보간 필터 계수들을 의미한다.
도 2는 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 영상 부호화 장치의 블록도이며, 도 3은 도 2의 영상 부호화 장치에 입력되는 영상 데이터의 일 예를 나타낸 도면이다.
도 2를 참조하면, 영상 부호화 장치는 영상 데이터를 부호화하기 위해 부호화 제어부(210), 변환 부호화부(220), 변환 복호화부(230), 메모리부(240), 움직임 보상부(250), 움직임 예측부(260) 및 엔트로피 부호화부(270)를 구비한다.
입력 영상은 도 3과 같이 시간축을 따라서 카메라와 같은 소정의 영상 획득 수단으로부터 입력되는 프레임들 또는 프레임을 소정 크기로 분할하여 얻어진 블록들로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임, 비월 주사 방식에 의해 얻어진 필드 또는 비월 주사 프레임을 포함한다. 이하 설명하는 영상 데이터는 순차 주사 프레임, 비월 주사 프레임, 필드, 블록 구조의 픽처, 및 프레임을 소정 크기로 분할한 파티션 단위를 포함하는 의미이다.
영상 데이터가 입력되면 부호화 제어부(100)는 입력되는 영상의 특성 또는 사용자가 원하는 소정 동작 목적에 따라, 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고 움직임 보상을 수행하지 않을 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 또는 이후 영상으로부터 얻어진 차 영상 데이터(residue)가 변환 부호화부(220)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 변환 부호화부(220)로 입력된다.
변환 부호화부(220)는 입력된 영상 데이터를 변환(transform) 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
한편, 변환 부호화부(220)로 입력되어 부호화된 영상 데이터는 이후 또는 이전에 입력된 영상 데이터의 움직임 보상을 위한 참조 데이터로 사용될 수 있으므로 변환 복호화부(2300)에 의해, 변환 부호화부(220)의 역과정인 역양자화와 역변환 부호화를 거친 후 메모리부(240)에 저장된다. 또한, 변환 복호화부(230)로부터 출력된 데이터가 차 영상 데이터이면 부호화 제어부(210)는 제2 스위치(S2)를 닫아서 변환 복호화부(230)로부터 출력된 차 영상 데이터가 움직임 보상부(250)의 출력과 더해진 다음 메모리부(240)에 저장되도록 한다.
움직임 예측부(260)는 입력된 영상 데이터와 메모리부(240)에 저장된 데이터를 비교하여, 현재 입력된 데이터와 가장 유사한 데이터를 찾은 다음, 입력된 영상 데이터와 비교하여 산출된 움직임 벡터 MV(Motion Vector)를 출력한다. 움직임 벡터는 적어도 하나의 픽처를 참조하여 구해진다. 즉, 움직임 벡터는 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출될 수 있다. 움직임 벡터가 메모리부(240)로 전달되면 메모리부(240)는 해당 데이터를 움직임 보상부(motion compensation)(250)로 출력하며, 움직임 보상부(250)는 입력받은 데이터를 기초로 현재 부호화하는 영상 데이터에 해당하는 움직임 보상값을 만들어 출력한다.
엔트로피 부호화부(270)는 변환 부호화부(220)로부터 출력되는 양자화된 변환 계수들과 움직임 예측부(260)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화 제어부(210)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.
움직임 보상부(250)는 본 발명의 바람직한 실시예에 따른 영상 보간 장치(280)을 구비하고 있다. 영상 보간 장치(280)는 움직임 보상에 필요한 참조 영상 데이터의 해상도를 높이기 위한 보간을 수행한다. 이하, 영상 보간 장치(280)의 구성 및 동작에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 보간 장치를 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 보간 장치(400)는 저장부(410), 후보 보간 영상 생성부(420) 및 선택부(430)를 포함한다.
저장부(410)는 입력 영상 데이터의 정수 픽셀 사이에 위치한 각 서브 픽셀 의 보간에 적용될 복수 개의 보간 필터 계수 그룹들을 구비한 소정의 룩업 테이블을 저장한다. 후술되는 도 13 및 도 14에 도시된 바와 같이, 룩업 테이블은 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 주파수 응답 특성의 유사도에 따라 그룹화하고, 각 그룹의 대표적인 보간 필터 계수 그룹을 테이블화한 것으로 미리 지정된 보간 필터 계수 그룹들을 갖는다.
후보 보간 영상 생성부(420)는 룩업 테이블에 저장된 복수 개의 보간 필터 계수 그룹들을 적용하여 현재 영상 프레임의 움직임 보상시에 이용될 참조 영상 프레임을 보간하여 후보 보간 영상들을 생성한다. 즉, 후보 보간 영상 생성부(420)는 참조 영상 프레임의 각 서브 픽셀에 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들을 적용하여 보간을 수행함으로써 복수 개의 후보 보간 영상을 생성한다.
선택부(430)는 후보 보간 영상 생성부(430)에서 생성된 후보 보간 영상과 현재 영상의 오차값에 기초하여, 복수 개의 보간 필터 계수 그룹들 중에서 현재 영상 과 움직임 벡터가 가리키는 보간된 참조 영상 영역의 차이값이 최소가 되는 보간 필터 계수 그룹을 선택한다.
구체적으로, 후보 보간 영상 생성부(420)가 이전에 디코딩된 참조프레임을 보간하여 후보 보간 영상들을 생성한다. 선택부(430)는 생성된 후보 보간 영상 중에서 상기 움직임 벡터가 가리키는 영역의 데이터를 획득하고, 획득된 후보 보간 영상 영역과 대응되는 현재 영상과의 차이값을 계산하여, 이 차이값이 최소가 되는 후보 보간 영상을 최종적인 보간 영상으로 선택한다. 또한, 선택부(430)는 선택된 최종적인 보간 영상을 생성하기 위해서 각 서브 픽셀에 적용된 보간 필터 계수 그룹들의 인덱스 정보를 출력한다. 이는 각 서브 픽셀에 적용된 보간 필터 계수 그 자체를 전송하는 것이 아니라, 룩업 테이블 상의 인덱스 정보만을 전송함으로써 부호화 효율을 향상시키기 위한 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 단계 510에서 참조 영상 프레임과 현재 영상 프레임 사이에 소정 크기의 블록 단위로 움직임 예측을 수행하여 움직임 벡터를 예측한다. 여기서 참조 영상 프레임은 일반적인 6-탭 FIR 필터를 적용하여 보간된 영상이 이용될 수 있다.
움직임 예측을 설명하기 위한 도 6을 참조하면, 현재 영상 프레임(t)의 소정 크기의 블록에 대하여 대응되는 참조 영상 프레임(t-1)의 소정 크기의 탐색 영역 내에서 현재 영상 프레임(t)의 블록과 가장 유사한 영역을 탐색하는 움지임 예측이 수행되며, 현재 영상 프레임(t)의 블록의 위치와 탐색된 참조 영상 프레임(t-1)의 블록의 위치 차이가 움직임 벡터로 결정된다.
단계 520에서, 소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 인코딩 후 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성한다.
도 7은 본 발명에 따른 후보 보간 영상의 생성 과정을 설명하기 위한 도면이 다. 이하에서는, 정수 픽셀 C3, C4, D3, D4로 구성된 정사각형 영역 내에 위치한 서브 픽셀 a 내지 o를 보간하는 과정을 중심으로 설명한다. 나머지 서브 픽셀들은 상기 서브 픽셀 a 내지 o를 보간하는 과정과 유사하게 보간될 수 있다.
먼저, 정수 픽셀 C1 내지 C6 또는 A3 내지 F3에 1차원 6-탭 FIR 필터를 적용하여 서브 픽셀 a, b, c, d, h, l를 보간한다. 구체적으로, 서브 픽셀 a, b, c에 대해서는 수평 방향의 정수 픽셀 C1 내지 C6에 1차원 6-탭 FIR 필터를 적용하고, 서브 픽셀 d, h, l에 대해서는 수직 방향의 정수 픽셀 A3 내지 F3에 1차원 6-탭 FIR 필터를 적용한다. 나머지 서브 픽셀 e, f, g, i, j, k, m, n 및 o에 대해서는 2차원 6x6-탭 필터를 적용하여 보간을 수행할 수 있다. 특히, 본 발명에 따른 영상 보간 방법은, 각 서브 픽셀의 보간을 위해 적용되는 보간 필터 계수들로서 소정의 룩업 테이블에 미리 구비된 복수 개의 보간 필터 계수 그룹들을 이용한다.
도 8은 본 발명에 따른 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블의 일 예를 나타낸 도면이다.
도 8을 참조하면, 룩업 테이블(Look Up Table:LUT)은 각 서브 픽셀에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비한다. 도 8에서는 6-탭 FIR 필터, 즉 서브 픽셀 주변의 6개의 정수 픽셀을 이용하여 서브 픽셀을 보간하는 경우의 보간 필터 계수 그룹을 나타낸 것이다. 예를 들어, 도 8을 참조하면 서브 픽셀 b에 적용되는 보간 필터 계수 그룹(인덱스:1)은 h00, h01, h02, h03, h04, h05이다. 이 경우, 도 7의 서브 픽셀 b는 인덱스 1로 표시된 보간 필터 계수 그룹을 적용하여 다음의 수학식 1과 같이 계산될 수 있다.
Figure 112006081883514-PAT00001
유사하게, 나머지 서브 픽셀들에 대해서도 룩업 테이블에 미리 구비된 보간 필터 계수 그룹 중 하나를 선택 적용함으로써 각 서브 픽셀의 보간값을 생성한다. 각 서브 픽셀에서의 보간값을 생성함으로써 하나의 후보 보간 영상을 생성한 다음, 다시 룩업 테이블에 존재하는 다른 보간 필터 계수 그룹을 각 서브 픽셀에 적용하여 다른 후보 보간 영상을 생성한다. 이와 같은 방식으로 룩업 테이블에 구비된 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성한다. 한편, 도 7에서는 서브 픽셀 a 및 b의 보간에 이용될 보간 필터 계수 그룹만을 도시하였으나, 룩업 테이블에는 각 서브 픽셀 위치에 대응되는 보간 필터 계수 그룹들이 구비될 수 있다. 또한, 현재 보간하고자 하는 영상의 통계적인 특성이 대칭적이라고 가정하면, 대칭성을 이용하여 상기 서브 픽셀 a 및 b의 결정된 보간 필터 계수 그룹 또는 보간된 서브 픽셀 a 및 b를 이용하여 나머지 서브 픽셀의 보간값을 생성하는 것이 가능하다.
단계 530에서, 상기 단계 510에서 생성된 움직임 벡터가 가리키는 후보 보간 영상들의 영역과 대응되는 원 영상 프레임의 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택한다. 복호화단에 구비된 영상 보간 장치에서 부호화단과 동일한 룩업 테이블을 가지고 있다고 가정하면, 오차값이 최소가 되는 후보 보간 영상을 생성하는데 이용된 보간 필터 계수 그룹의 인덱스 정보만을 복호화단에 전송하면 되기 때문에 전송되는 데이터량을 줄일 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면, 소정의 룩업 테이블에 구비된 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성하며, 후보 보간 영상 중에서 현재 영상과의 차이가 가장 작은 보간 영상을 선택하고, 보간 영상의 생성시에 이용된 정보를 인덱스를 통해 전송함으로써 전체적인 부호화 이득을 향상시킬 수 있다.
도 9는 본 발명의 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이며, 도 10은 본 발명의 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
본 발명의 다른 실시예에 따른 영상 보간 장치 및 방법은 미리 각 서브 픽셀의 보간에 적용할 보간 필터 계수 그룹들을 구비하는 룩업 테이블 대신에, 복수 개의 영상 프레임들로 구성되는 전체 영상 시퀀스에서 초기에 입력된 소정 개수의 입력 영상 프레임에 대한 적응적 보간 결과로부터 각 서브 픽셀에 적용할 보간 필터 계수를 결정한다. 그리고 각 서브 픽셀에서의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 그룹화함으로써 룩업 테이블을 생성한 다음, 초기에 입력된 소정 개수의 입력 영상 프레임을 제외한 나머지 영상 프레임들에 대하여는 전술한 본 발명의 일 실시예와 유사하게 룩업 테이블에 구비된 각 서브 픽셀의 보간 필터 계수 그룹을 적용하여 후보 보간 영상을 생성하고, 원 영상과 보간된 영상으로부터 움직임 보상을 통해 획득된 영상 사이의 차이값이 최소가 되는 보간 영상을 최종적으로 결정한다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 영상 보간 장치(900)는 룩 업 테이블 생성부(910), 후보 보간 영상 생성부(920) 및 선택부(930)를 포함한다.
단계 1010에서, 룩업 테이블 생성부(910)는 입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여, 각 서브 픽셀에 적용되는 보간 필터 계수들을 생성한다.
도 11은 본 발명의 다른 실시예에 따른 영상 보간 장치(900)에 입력되는 영상 시퀀스를 나타낸 도면이다.
도 11을 참조하면, 룩업 테이블 생성부(910)는 전체 입력 영상 시퀀스 중에서 초기에 입력되는 N개의 영상 프레임들을 이용하여 적응적 보간을 수행한다. 즉, 룩업 테이블 생성부(910)는 N개의 영상 프레임들에 대하여 적응적 보간을 수행함으로써 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 결정한 다음, 각 서브 픽셀의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류한다. 여기서, 적응적 보간이란 각 서브 픽셀에 고정된 보간 필터 계수 그룹을 이용하는 대신에 영상 특성을 고려하여 각 서브 픽셀마다 서로 다른 보간 필터 계수 그룹이 적용될 수 있도록 하는 것이다. 일 예로, 적응적 보간 방식은 먼저 일반적인 6-탭 FIR 필터를 이용하여 보간된 참조 영상에 대한 움직임 예측을 수행하여 움직임 벡터를 생성한 다음, 원 영상과 이전에 복호화된 영상을 보간한 영상, 즉 보간된 참조 영상 프레임 중에서 상기 움직임 벡터가 가리키는 참조 영상의 대응 영역의 차이가 최소가 되도록 하는 보간 필터 계수값을 결정하는 것이다. 구체적으로, Sx,y를 (x,y)에 위치한 원 영상의 픽셀값, Px,y를 (x,y)에 위치한 이전에 복호화된 영상의 픽셀값,
Figure 112006081883514-PAT00002
를 원 영상의 x축 성분 값에 움직임 벡터의 x축 성분을 더한 좌표값,
Figure 112006081883514-PAT00003
를 원 영상의 y축 성분 값에 움직임 벡터의 y축 성분을 더한 좌표값을 나타내며,
Figure 112006081883514-PAT00004
를 (i,j)에 위치한 서브 픽셀에 적용할 보간 필터 계수라고 할 때, 각 서브 픽셀에 적용할 보간 필터 계수는 다음의 수학식 2의 에러값(eSP2 )이 최소가 되도록 하는
Figure 112006081883514-PAT00005
를 계산함으로써 결정될 수 있다.
Figure 112006081883514-PAT00006
전술한 바와 같이, N개의 입력 영상 프레임에 대하여 적응적 보간을 수행하여 N개의 입력 영상의 각 서브 픽셀에서의 보간 필터 계수가 결정되면, 보간 필터 계수의 주파수 응답 특성에 따라 각 서브 픽셀의 보간 필터 계수들을 분류하여 그룹화하고, 각 그룹의 보간 필터 계수들을 하나의 대표적인 보간 필터 계수들로 나타냄으로써 룩업 테이블을 생성한다.
도 12는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 b에 대응되는 보간 필터 계수 그룹들을 나타낸 도면이며, 도 13은 도 12의 보간 필터 계수들을 그 주파수 응답 특성에 따라 유사한 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다. 도 12에서 bn은 초기 30개의 영상 프레임 중 n번째 영상 프레임에 대한 적응적 보간 수행 결과 생성된 도 7의 서브 픽셀 b에 적용되는 것으로 결정된 보간 필터 계수들을 나타낸 것이다. 예를 들어, 첫 번째 열의 [-0.00192096, -0.07713862, 0.57844012, 0.57844012, -0.17713862, -0.0019206]은 첫 번째 입력 영상 프레임의 서브 픽셀들 중 도 7의 서브 픽셀 b1에 대한 적응적 보간 결과 결정된 보간 필터 계수 그룹을 나타낸 것이다.
도 13을 참조하면, 30개의 입력 영상 프레임들의 서브 픽셀 b에 적용되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하면 6개의 그룹으로 분류할 수 있다. 따라서, 룩업 테이블 생성부(910)은 유사한 주파수 응답 특성을 갖는 보간 필터 계수 그룹들을 하나의 그룹으로 분류하고, 각각의 그룹을 대표하는 보간 필터 계수 그룹을 결정하여 저장함으로써 각 서브 픽셀에 적용할 보간 필터 계수 그룹들로 구성되는 룩업 테이블을 생성한다. 일 예로, 룩업 테이블 생성부(910)는 각 보간 필터 계수 그룹의 주파수 응답 특성 곡선의 면적을 구하여, 유사한 면적을 갖는 보간 필터 계수 그룹들을 하나의 카테고리로 분류하여 룩업 테이블을 생성할 수 있다. 구체적으로, 도 13에 도시된 바와 같이 i번째 보간 필터 계수 그룹들의 주파수 응답 특성 곡선의 면적(S(i))라고 하면, 룩업 테이블 생성부(910)는 적응적 보간 결과 생성된 i번째 및 j번째 보간 필터 계수 그룹들의 주파수 응답 특성 곡선의 면적 s(i) 및 s(j)가 모두 소정의 임계치(Tn -1, Tn) 사이에 속하는 경우, 즉 Tn-1<S(i)<Tn, Tn -1<S(j)<Tn인 경우 i번째 및 j번째 보간 필터 계수 그룹들을 동일한 카 테고리로 분류한다.
도 14는 입력 영상 시퀀스에 구비된 초기 30개의 영상 프레임들에 대하여 적응적인 보간을 수행하여 결정된 보간 필터 계수 그룹들 중, 도 7의 서브 픽셀 a에 대응되는 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 나타낸 그래프이다.
도 14를 참조하면, 도 13과 유사하게 적응적 보간 결과 생성된 서브 픽셀 a에 적용되는 보간 필터 계수 그룹들도 주파수 응답 특성이 비슷한 것들을 하나의 카테고리로 분류할 수 있음을 알 수 있다.
이와 같이, 룩업 테이블 생성부(910)는 적응적 보간 결과 생성된 각 서브 픽셀의 보간 필터 계수 그룹들을 그 주파수 응답 특성에 따라 분류하여 그룹화한 다음, 각 그룹의 대표값 형태로 보간 필터 계수 그룹을 저장함으로써 룩업 테이블을 생성한다.
다시 도 9 및 도 10을 참조하면, 단계 1030에서 후보 보간 영상 생성부(920)은 룩업 테이블에 보간 필터 계수 그룹들을 이용하여 이전에 디코딩된 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성한다.
단계 1040에서, 선택부(930)는 후보 보간 영상들의 영역과 대응되는 원 영상 프레임의 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택한다. 본 발명의 일 실시예와 마찬가지로 복호화단에 구비된 영상 보간 장치에서 부호화단과 동일한 룩업 테이블을 가지고 있다고 가정하면, 오차값이 최소가 되는 후보 보간 영상을 생성하는데 이용된 보간 필터 계수 그룹의 인덱스 정보만을 복호화단에 전송하면 되기 때문에 전송되는 데이터량을 줄일 수 있다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 보간 장치를 나타낸 블록도이고, 도 16은 본 발명의 또 다른 실시예에 따른 영상 보간 방법을 나타낸 플로우 차트이다.
도 15를 참조하면, 본 발명의 또 다른 실시예에 다른 영상 보간 장치(1500)는 저장부(1510), 보간 필터 계수 선택부(1520) 및 보간부(1530)를 포함한다.
단계 1610에서, 움직임 예측부(미도시)에서 참조 영상 프레임과 현재 영상 프레임 사이에 움직임 예측을 수행하여 움직임 벡터를 생성한다. 영상 보간 장치(1500)가 도 2에 도시된 영상 부호화 장치(200)에 적용되는 경우에는 도 2의 움직임 예측부(260)에서 생성된 움직임 벡터를 이용할 수 있다.
저장부(1510)는 입력 영상 데이터의 정수 픽셀 사이에 위치한 각 서브 픽셀 의 보간에 적용될 복수 개의 보간 필터 계수 그룹들을 구비한 소정의 룩업 테이블을 저장한다. 전술한 바와 같이, 룩업 테이블은 각 서브 픽셀에 적용되는 보간 필터 계수 그룹들을 주파수 응답 특성의 유사도에 따라 그룹화하고, 각 그룹의 대표적인 보간 필터 계수 그룹을 테이블화한 것으로 미리 지정된 보간 필터 계수 그룹들을 갖는다.
단계 1620에서, 보간 필터 계수 선택부(1520)는 현재 영상 프레임의 움직임 벡터 정보를 이용하여 저장부(1510)의 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들 중에서 하나의 보간 필터 계수 그룹을 선택한다. 특히 영상 보간 장치(1500)를 영상 복호화 장치에 적용하는 경우, 보간 필터 계수 선택부(1520)는 영 상 복호화 장치에 의하여 복호화된 움직임 벡터를 이용하여 복수 개의 보간 필터 계수 그룹들 중에서 하나의 보간 필터 계수 그룹을 선택한다. 또한, 본 발명의 또 다른 실시예에 따른 영상 보간 장치(1500)를 영상 부호화 장치에 적용하는 경우, 보간 필터 계수 선택부(1520)는 영상 부호화 장치에 구비된 움직임 예측부(미도시)에서 생성된 움직임 벡터를 이용하여, 움직임 벡터의 크기 및 매크로 블록에 구비된 움직임 벡터의 개수를 기준으로 적용할 보간 필터 계수 그룹을 결정한다.
구체적으로, 보간 필터 계수 선택부(1520)는 현재 영상의 움직임 벡터의 크기에 따라 적용되는 보간 필터 계수 그룹을 결정할 수 있다. 예를 들어 현재 매크로 블록에 구비된 16개의 4x4 블록의 움직임 벡터 MV를 (mvxi,mvyi)(i=0~15의 정수)라고 하면, 현재 매크로 블록에 구비된 16개의 4x4 블록의 움직임 벡터들의 크기의 합(A)는
Figure 112006081883514-PAT00007
이다. 보간 필터 계수 선택부(1520)는 저장부(1510)에 구비된 보간 필터 계수 그룹들을 상기 움직임 벡터의 크기의 합(A)에 따라 분류한 다음, 계산된 움직임 벡터의 크기의 합(A)에 따라 대응되는 보간 필터 계수 그룹을 결정한다. 또한, 보간 필터 계수 선택부(1520)는 하나의 매크로 블록 내에 구비된 움직임 벡터의 개수에 따라 보간 필터 계수 그룹을 선택할 수 있다. 예를 들어, 현재 매크로 블록이 16X16 단위로 움직임 벡터가 생성되어 1개의 움직임 벡터만을 갖는 경우에는 첫 번째 보간 필터 계수 그룹을 선택하고, 현재 매크로 블록이 더 작은 서브 블록으로 분할되어 하나의 매크로 블록 내에 n개의 움직임 벡터를 갖는 경우에는 n 번째 보간 필터 계수 그룹을 선택할 수 있다.
단계 1630에서, 보간부(1530)는 선택된 보간 필터 계수를 이용하여 참조 영상 프레임에 대한 보간을 수행한다.
본 발명의 또 다른 실시예에 의하는 경우에는, 부호화단에서 선택된 보간 필터 계수 그룹을 별도로 복호화단에 전송할 필요가 없으며, 복호화단에서는 부호화단에서 보간 필터 계수 그룹의 선택 과정과 동일하게 비트스트림에 구비된 움직임 벡터 정보를 이용하여 서브 픽셀에 적용할 보간 필터 계수 그룹을 선택할 수 있다.
도 17은 본 발명의 바람직한 실시예에 따른 영상 보간 장치를 구비한 복호화 장치의 블록도이다.
도 17을 참조하면, 복호화 장치는 도 2의 부호화 장치에 의해 부호화된 비트스트림을 수신하여 복호화하기 위한 장치로서, 비트스트림을 디먹싱하는 디먹싱부(1710), 엔트로피 복호화부(1720), 변환 복호화부(1750)를 구비한다. 또한, 코딩 타입 정보를 해석하는 코딩 타입 정보 해석부(1730) 및 움직임벡터를 해석하는 움직임 벡터 해석부(1740)를 구비한다.
비트스트림은 디먹싱부(1710)에 의해 엔트로피 부호화된 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보 등으로 디먹싱된다. 엔트로피 복호화부(1720)는 엔트로피 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 변환 복호화부(1750)는 양자화된 변환 계수들을 변환 복호화한다. 복원된 영상 데이터는 움직임 보상을 위해 메모리부(1760)에 저장된다.
한편, 코딩 타입 정보 해석부(1740)는 코딩 타입을 알아내어 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S30)를 닫는다. 이에 따라, 변환 복호화부(1750)로부터 출력된 데이터에 움직임 보상부(1770)로부터 출력된 움직임 보상값이 더해져서 복원된 영상 데이터가 얻어지게 된다. 움직임 벡터 해석부(1740)는 움직임 벡터 정보로부터 얻은 움직임 벡터가 가리키는 위치를 알려주고, 움직임 보상부(1770)는 움직임 벡터가 가리키는 참조 영상 데이터로부터 움직임 보상값을 생성하여 출력한다.
움직임 보상부(1770)는 영상 보간부(1775)를 구비하고 있다. 영상 보간부775)로서 전술한 본 발명의 실시예들에 따른 영상 보간 장치(400, 900, 1500)들이 이용될 수 있다.
도 18은 본 발명에 따른 영상 보간 방법이 적용되는 보간 단위를 설명하기 위한 도면이다.
전술한 본 발명에 따른 영상 보간 방법은 하나의 프레임 단위뿐만 아니라, 프레임을 분할한 파티션 단위, 파티션을 더 분할한 매크로 블록 단위로 적용될 수 있다. 즉, 룩업 테이블을 하나의 프레임 단위로 설정하거나, 또는 각각의 파티션이 서로 다른 룩업 테이블을 설정하거나, 매크로 블록 단위로 서로 다른 룩업 테이블을 생성할 수도 있다.
본 발명에 따른 영상 보간 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 각 서브 픽셀에 적용되는 보간 필터 계수를 전송하는 대신에 룩업 테이블 상의 인덱스만을 전송함으로써 전송되어야 하는 부가 정보의 양을 줄일 수 있으므로 영상 부호화시에 높은 압축 효율을 제공할 수 있다. 또한, 본 발명은 종래의 고정된 보간 필터 계수들을 갖는 6-탭 필터에 비하여 영상 특성에 따라 적응적인 보간을 수행함으로써 예측 오차를 최소화하고 앨리어싱 효과를 줄일 수 있다.

Claims (23)

  1. 영상 보간 방법에 있어서,
    참조 영상 프레임과 현재 영상 프레임 사이에 움직임 예측을 수행하여 상기 현재 영상 프레임의 움직임 벡터를 예측하는 단계;
    소정의 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 이전에 디코딩된 상기 참조 영상 프레임을 보간함으로써 후보 보간 영상들을 생성하는 단계; 및
    상기 움직임 벡터가 가리키는 상기 후보 보간 영상들과 대응되는 원 영상 프레임의 영역 사이의 오차값에 따라서 상기 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  2. 제 1항에 있어서, 상기 복수 개의 보간 필터 계수 그룹들은
    상기 각 서브 픽셀 위치에서의 보간 필터 계수들을 그 주파수 응답 특성에 따라 분류한 것을 특징으로 하는 영상 보간 방법.
  3. 제 1항에 있어서, 상기 복수 개의 보간 필터 계수 그룹들은
    상기 입력 영상의 프레임 단위, 파티션 단위 및 매크로 블록 단위 중 적어도 하나의 단위별로 구비되는 것을 특징으로 하는 영상 보간 방법.
  4. 제 1항에 있어서, 상기 오차값은
    비트-왜곡율(Rate-Distortion)인 것을 특징으로 하는 영상 보간 방법.
  5. 제 1항에 있어서, 상기 최종적인 보간 영상을 선택하는 단계는
    상기 움직임 벡터가 가리키는 후보 보간 영상들의 영역과 대응되는 원 영상 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택하는 것을 특징으로 하는 영상 보간 방법.
  6. 제 1항에 있어서,
    상기 최종적인 보간 영상을 이용하여 움직임 보상을 수행하여 상기 입력 영상의 부호화된 비트스트림을 생성하는 단계; 및
    상기 선택된 보간 필터 계수 그룹을 나타내는 인덱스 정보를 상기 부호화된 비트스트림의 이미지에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 영상 보간 방법.
  7. 영상 보간 방법에 있어서,
    입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 단계;
    상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그 룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 단계;
    상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 복수 개의 보간 필터 계수 그룹들을 적용하여 보간함으로써 후보 보간 영상들을 생성하는 단계; 및
    상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  8. 제 7항에 있어서, 상기 보간 필터 계수들을 생성하는 단계는
    보간된 참조 영상에 대한 움직임 예측을 수행하여 움직임 벡터를 생성하는 단계; 및
    이전에 복호화된 영상을 보간한 영상 중 상기 움직임 벡터가 가리키는 참조 영상의 대응 영역과 원 영상 영역 사이의 차이가 최소가 되도록 하는 보간 필터 계수를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 보간 방법.
  9. 제 7항에 있어서, 상기 룩업 테이블을 생성하는 단계는
    상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수의 주파수 응답 특성 곡선의 면적을 계산하는 단계; 및
    상기 계산 결과 소정의 범위 내에 속하는 면적값을 갖는 보간 필터 계수들을 그룹화하고 상기 그룹화된 보간 필터 계수들을 나타내는 대표 보간 필터 계수 그룹을 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 보간 방법.
  10. 영상 보간 방법에 있어서,
    입력 영상에 대하여 소정 블록 단위로 움직임 예측을 수행하는 단계;
    상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계; 및
    상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  11. 제 10항에 있어서,
    상기 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계는
    상기 움직임 예측 결과 생성된 상기 블록의 움직임 벡터의 크기에 따라 상기 보간 필터 계수 그룹들 중 하나를 선택하는 것을 특징으로 하는 영상 보간 방법.
  12. 제 10항에 있어서,
    상기 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 단계는
    상기 블록에 구비된 움직임 벡터의 개수를 이용하는 것을 특징으로 하는 영상 보간 방법.
  13. 영상 보간 장치에 있어서,
    입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 적용되는 복수 개의 보간 필터 계수 그룹들을 구비하는 소정의 룩업 테이블을 저장하는 저장부;
    상기 복수 개의 보간 필터 계수 그룹들을 적용하여 상기 입력 영상을 보간함으로써 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및
    상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  14. 제 13항에 있어서, 상기 복수 개의 보간 필터 계수 그룹들은
    상기 각 서브 픽셀 위치에서의 보간 필터 계수들을 그 주파수 응답 특성에 따라 분류한 것을 특징으로 하는 영상 보간 장치.
  15. 제 13항에 있어서, 상기 복수 개의 보간 필터 계수 그룹들은
    상기 입력 영상의 프레임 단위, 파티션 단위 및 매크로 블록 단위 중 적어도 하나의 단위별로 구비되는 것을 특징으로 하는 영상 보간 장치.
  16. 제 13항에 있어서, 상기 오차값은
    비트-왜곡율(Rate-Distortion)인 것을 특징으로 하는 영상 보간 장치.
  17. 제 13항에 있어서, 상기 선택부는
    상기 움직임 벡터가 가리키는 후보 보간 영상들의 영역과 대응되는 원 영상 영역 사이의 오차값을 계산하고 계산된 오차값이 최소가 되는 후보 보간 영상을 선택하는 것을 특징으로 하는 영상 보간 장치.
  18. 영상 보간 장치에 있어서,
    입력 영상 시퀀스에 구비된 소정 개수의 프레임들에 대하여 적응적 보간을 수행하여 상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수들을 생성하는 적응적 보간 수행부;
    상기 생성된 보간 필터 계수들을 그 주파수 응답 특성에 따라서 분류하여 그룹화함으로써 상기 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 구비하는 룩업 테이블을 생성하는 룩업 테이블 생성부;
    상기 입력 영상 시퀀스에 구비된 나머지 프레임들에 대하여 상기 룩업 테이블에 구비된 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들을 적용하여 보간을 수행하여 후보 보간 영상들을 생성하는 후보 보간 영상 생성부; 및
    상기 후보 보간 영상들과 상기 입력 영상의 오차값에 따라서 상기 후보 보간 영상들 중에서 최종적인 보간 영상을 선택하는 선택부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  19. 제 18항에 있어서, 상기 적응적 보간 수행부는
    보간된 참조 영상에 대한 움직임 예측을 수행하여 움직임 벡터를 생성하고, 원 영상 영역과 이전에 부호화된 후 복호화된 영상을 보간한 영상 중에서 상기 움직임 벡터가 가리키는 참조 영상의 대응 영역의 차이가 최소가 되도록 하는 보간 필터 계수를 결정하는 것을 특징으로 하는 영상 보간 장치.
  20. 제 18항에 있어서, 상기 룩업 테이블을 생성부는
    상기 소정 개수의 프레임들의 각 서브 픽셀 위치에 대응되는 보간 필터 계수의 주파수 응답 특성 곡선의 면적을 계산하고, 상기 계산 결과 소정의 범위 내에 속하는 면적값을 갖는 보간 필터 계수들을 그룹화하며 상기 그룹화된 보간 필터 계수들을 나타내는 대표 보간 필터 계수 그룹을 결정하는 것을 특징으로 하는 영상 보간 장치.
  21. 영상 보간 장치에 있어서,
    입력 영상에 대해 소정 블록 단위로 움직임 예측을 수행하는 움직임 예측부;
    상기 움직임 예측 결과 생성된 움직임 벡터를 이용하여 소정의 룩업 테이블에 구비된 상기 입력 영상의 정수 픽셀 사이의 각 서브 픽셀 위치에 대응되는 복수 개의 보간 필터 계수 그룹들 중 하나를 선택하는 보간 필터 계수 선택부; 및
    상기 선택된 보간 필터 계수 그룹을 적용하여 상기 입력 영상을 보간함으로써 보간 영상을 생성하는 보간부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  22. 제 21항에 있어서, 상기 보간 필터 계수 선택부는
    상기 움직임 예측 결과 생성된 상기 블록의 움직임 벡터의 크기에 따라 상기 보간 필터 계수 그룹을 선택하는 것을 특징으로 하는 영상 보간 장치.
  23. 제 21항에 있어서, 상기 보간 필터 계수 선택부는
    상기 블록에 구비된 움직임 벡터의 개수를 이용하는 것을 특징으로 하는 영상 보간 장치.
KR1020060110179A 2006-11-08 2006-11-08 영상 보간 방법 및 장치 KR100878536B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060110179A KR100878536B1 (ko) 2006-11-08 2006-11-08 영상 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060110179A KR100878536B1 (ko) 2006-11-08 2006-11-08 영상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080041935A true KR20080041935A (ko) 2008-05-14
KR100878536B1 KR100878536B1 (ko) 2009-01-13

Family

ID=39648875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060110179A KR100878536B1 (ko) 2006-11-08 2006-11-08 영상 보간 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100878536B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047498A2 (ko) * 2008-10-24 2010-04-29 에스케이텔레콤 주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
WO2010087620A2 (ko) * 2009-01-28 2010-08-05 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2011118946A2 (ko) * 2010-03-21 2011-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20120005991A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 영상 보간 방법 및 장치
KR101106856B1 (ko) * 2008-07-09 2012-01-19 인텔 코포레이션 비디오 인코딩 방법 및 비디오 인코딩 시스템
WO2012115420A2 (ko) * 2011-02-23 2012-08-30 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101073497B1 (ko) 2009-11-17 2011-10-17 한국과학기술원 영상 보정 장치 및 그 방법
KR101994295B1 (ko) * 2012-08-08 2019-06-28 삼성전자주식회사 단말기 및 상기 단말기에서 라이브이미지 생성방법
KR101407832B1 (ko) * 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
KR20050018948A (ko) * 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106856B1 (ko) * 2008-07-09 2012-01-19 인텔 코포레이션 비디오 인코딩 방법 및 비디오 인코딩 시스템
US9609324B2 (en) 2008-10-24 2017-03-28 Sk Telecom Co., Ltd. Image encoding/decoding method and device using coefficients of adaptive interpolation filter
US8897357B2 (en) 2008-10-24 2014-11-25 Sk Telecom Co., Ltd. Image encoding/decoding method and device using coefficients of adaptive interpolation filter
WO2010047498A3 (ko) * 2008-10-24 2010-08-05 에스케이텔레콤 주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
WO2010047498A2 (ko) * 2008-10-24 2010-04-29 에스케이텔레콤 주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US8897360B2 (en) 2009-01-28 2014-11-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
WO2010087620A3 (ko) * 2009-01-28 2010-10-21 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2010087620A2 (ko) * 2009-01-28 2010-08-05 삼성전자 주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2011118946A2 (ko) * 2010-03-21 2011-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
WO2011118946A3 (ko) * 2010-03-21 2011-12-15 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20120005991A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 영상 보간 방법 및 장치
WO2012005558A3 (ko) * 2010-07-09 2012-05-03 삼성전자 주식회사 영상 보간 방법 및 장치
US9317896B2 (en) 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
US11729420B2 (en) 2011-02-23 2023-08-15 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
US9294769B2 (en) 2011-02-23 2016-03-22 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
WO2012115420A3 (ko) * 2011-02-23 2012-12-20 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US9420294B2 (en) 2011-02-23 2016-08-16 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
WO2012115420A2 (ko) * 2011-02-23 2012-08-30 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US9736496B2 (en) 2011-02-23 2017-08-15 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
US10212453B2 (en) 2011-02-23 2019-02-19 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
US10728576B2 (en) 2011-02-23 2020-07-28 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
US11272208B2 (en) 2011-02-23 2022-03-08 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치

Also Published As

Publication number Publication date
KR100878536B1 (ko) 2009-01-13

Similar Documents

Publication Publication Date Title
KR100878536B1 (ko) 영상 보간 방법 및 장치
US20200068215A1 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
KR100714698B1 (ko) 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
KR102132410B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP2924431B2 (ja) 符号化方式
KR100679025B1 (ko) 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
KR101403343B1 (ko) 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
JP5321426B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
RU2434359C2 (ru) Способ кодирования и декодирования масштабируемого видео, устройства для их осуществления, программы для их осуществления и машиночитаемые носители, которые хранят эти программы
KR100472476B1 (ko) 움직임 보상을 위한 보간 방법 및 그 장치
KR100772390B1 (ko) 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
KR20040036943A (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
EP0644697A2 (en) Method for half-pixel motion compensation in image decoding
JPH0870460A (ja) 動き大小に適応する動き補償符号化方法及びその装置
KR20010082934A (ko) 움직임 추정 방법 및 장치
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
KR20040070490A (ko) 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
KR100926752B1 (ko) 동영상 부호화를 위한 미세 움직임 추정 방법 및 장치
KR101691380B1 (ko) 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법
JP6961781B2 (ja) 画像符号化方法及び画像復号化方法
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
JP6795666B2 (ja) 画像符号化方法及び画像復号化方法
JP6980889B2 (ja) 画像符号化方法及び画像復号化方法
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee