KR20020067192A - 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 - Google Patents

프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 Download PDF

Info

Publication number
KR20020067192A
KR20020067192A KR1020010007609A KR20010007609A KR20020067192A KR 20020067192 A KR20020067192 A KR 20020067192A KR 1020010007609 A KR1020010007609 A KR 1020010007609A KR 20010007609 A KR20010007609 A KR 20010007609A KR 20020067192 A KR20020067192 A KR 20020067192A
Authority
KR
South Korea
Prior art keywords
motion vector
frame
interpolated
block
motion
Prior art date
Application number
KR1020010007609A
Other languages
English (en)
Other versions
KR100393063B1 (ko
Inventor
이성희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR10-2001-0007609A priority Critical patent/KR100393063B1/ko
Publication of KR20020067192A publication Critical patent/KR20020067192A/ko
Application granted granted Critical
Publication of KR100393063B1 publication Critical patent/KR100393063B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Abstract

프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 디코딩 방법에 관한 것이다. 본 발명은 부호화된 비트 스트림에서 움직임 정보를 참조하여 영상 신호를 복원하는 과정, 복원된 영상 신호 사이에 보간될 영상신호를 구성하여 프레임 레이트를 변환하는 과정, 상기 과정에서 복원된 영상 신호와 보간된 영상 신호를 선택적으로 출력하는 과정을 포함한다. 본 발명에 의하면, 부호화된 비트 스트림은 그대로 복원시키고, 복원된 영상 사이에 새로운 영상을 보간 시킴으로써 서로 다른 압축 표준안으로 바꾸거나 프레임 레이트가 다른 시스템에서 프로그램을 서로 교환할 수 있도록 하는 비디오 디코더를 제공하는 데 있다.

Description

프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법{Video decoder having frame rate conversion and decoding method}
본 발명은 비디오 디코더에 관한 것으로서, 특히 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 디코딩 방법에 관한 것이다.
일반적으로 일반적으로 PC나 고선명 텔레비전에서는 다양한 신호 규격을 갖는 프로그램들을 서로 교환하기 위해서 프레임 레이트 변환이 필요하다. 지금까지는 압축되지 않은 상태에서 프레임 레이트 변환에 필요한 여러 가지 기법들이 적용되었지만, 영상 데이터의 급격한 증가에 따라 방대한 양의 비디오 신호는 MPEG, H.263과 같은 영상 압축 방식을 적용하여 저장 및 전송되고 있다. 이때 H.263로 압축된 영상 신호에서는 I, P 프레임의 영상 데이터로만 구성이 되어 있고, 이를 MPEG 표준안에 맞추기 위해서는 보간된 프레임에 해당하는 B 프레임을 생성하여 I, B, P 프레임으로 구성될 수 있도록 해야 한다. 이와 같이 압축된 영상신호와 이를 응용하는 영상 시스템에서 프레임 레이트가 다른 경우 이들간의 포맷 변환이 필요하다. 따라서 종래에는 비디오 디코더에서 출력되는 디코딩 프레임으로부터 보간된 프레임을 생성하였다. 그러나 종래의 비디오 디코더에서 출력되는 디코딩 프레임의 레이트 변환 방식에는 다음과 같은 문제점이 있다.
도 1을 참조하면, 영상 분할부(110)는 도 2와 같이 효율적인 움직임 추정을 위해 비디오 디코더(도시안됨)의 프레임 메모리(도시안됨)에서 출력되는 영상을 체인지드/언체인지드(changed/unchanged) 영역으로 구분한다. 그리고 다시 언체인지드 영역은 커버드/언커버드(covered/uncovered)영역, 배경(background),물체(object)로 나눈다.
움직임 추정부(120)는 일반적으로 비디오 코딩에서 사용하는 블록 정합 알고리듬(block matching algorithm)을 이용하여 블록의 움직임 벡터를 생성한다. 기존의 대표적인 블록 정합 알고리듬은 일정 크기의 블록 내의 화소들이 회전 혹은 확대, 축소되지 않고 동일하게 이동만 하였다는 가정하에서 블록당 하나의 움직임 벡터를 찾는 것이다. 현재 프레임(fc)내의 임의의 좌표(xc, yc)에 위치한 N ×N 크기의 기준 블록의 움직임 벡터를 이전 프레임(fp)에서 ±P 화소 만큼의 범위에서 추정한다고 가정하자. 그러면 이전 프레임 내의 탐색 범위(search range)는 (N＋2P)×(N＋2P)가 된다. 따라서 움직임 벡터는 총 (2P＋1)2개의 후보 위치중에서 최대 상관도를 갖는 위치로 결정된다. 이때 현재 프레임에서의 기준 블록과 이전 프레임에서의 후보 블록간의 차이는 수학식 1과 같이 MAD(mean absolute difference)로 계산된다.
여기서 최종적으로 블록의 움직임 벡터는 기준 블록과 후보 블록의 평균 절대값 차이가 가장 작은 값을 갖는 탐색 범위(search range)의 위치(m, n)로 결정된다.
시공간 스무딩부(130)는 움직임 추정부(120)에서 얻어진 부적절한 움직임 벡터를 개선(refinement)시킨다.
움직임보상보간부(140)는 보간하려는 영상의 전후 프레임에 대한 순방향 움직임 벡터를 찾아내고, 이 구해진 움직임 벡터를 이용하여 영상분할부(110)에서 발생하는 영역분류정보에 따라 보간을 수행한다. 이때 순방향 움직임(forward motion)벡터를 이용한 움직임보상보간(motion-compensated interpolation)은 도 3과 같이 보간될 프레임에서 두 개 이상의 움직임 벡터가 할당되는 것에 의해 블록이 겹치는부분(overlap)과 움직임 벡터가 할당되지 않는 빈 부분(hole)을 발생시킨다. 이 겹치는 부분(overlap)과 빈 부분(hole)들은 보간된 영상에 직접적인 영향을 주어 화질을 저하시킨다. 또한 이 겹치는 부분(overlap)과 빈 부분(hole)들은 불규칙한 모양을 갖고 있기 때문에 화소 단위로 처리되어야한다. 따라서 종래에는 이 겹치는 부분(overlap) 및 빈부분(hole)들을 제거하기 위해 도 2와 같이 영상을 분할하는 복잡한 신호 처리 과정 및 이에 따른 복잡한 하드웨어를 구현해야하는 문제점이 있다.
본 발명이 이루고자하는 기술적과제는 부호화된 비트 스트림은 그대로 복원시키고, 복원된 영상 사이에 새로운 영상을 보간 시킴으로써 서로 다른 압축 표준안으로 바꾸거나 프레임 레이트가 다른 시스템에서 프로그램을 서로 교환할 수 있도록 하는 비디오 디코더를 제공하는 데 있다.
본 발명이 이루고자하는 다른 기술적과제는 상기 비디오 디코더에 적용되는 비디오 디코딩 방법을 제공하는 데있다.
상기의 기술적 과제를 해결하기 위하여, 본 발명은 비디오 디코딩 방법에 있어서,
(a) 부호화된 비트 스트림에서 움직임 정보를 참조하여 영상 신호를 복원하는 과정;
(b) 상기 (a) 과정에서 복원된 영상 신호 사이에 보간될 영상신호를 구성하여 프레임 레이트를 변환하는 과정;
(c) 상기 (a) 과정에서 복원된 영상 신호와 상기 (b)과정에서 보간된 영상 신호를 선택적으로 출력하는 과정을 포함하는 비디오 디코딩 방법이다.
상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 프레임 레이트 변환 기능을 갖는 비디오 디코더에 있어서,
부호화된 비트스트림에서 움직임 정보를 참조하여 영상신호를 복원하는 복원 수단;
보간될 프레임을 기준으로 연속적으로 입력되는 부호화된 비트스트림에서 움직임 벡터를 추정하여 보간될 프레임에 할당하고, 보간될 프레임을 기준으로 할당된 움직임 벡터를 추정하는 양방향 움직임 추정수단;
상기 양방향 움직임 추정수단에서 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 벡터 스무딩 부;
상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 상기 움직임 벡터 스무딩 부에서 구해진 움직임 벡터로 보간하는 보간부;
상기 복원 수단에서 복원된 복원된 영상과 상기 보간부에서 보간된 영상을 선택적으로 출력하는 출력부를 포함하는 비디오 디코더이다.
도 1은 종래의 비디오 디코더내에 저장된 프레임으로부터 보간 프레임을 생성하기 위한 프레임 레이트 변환 부분을 보이는 블록도이다.
도 2는 도 1의 영상분할부에서 영상 분할 방법을 설명하기 위한 도면이다.
도 3은 도 1의 움직임보상보간부에서 움직임 보상 보간에의해 복원된 영상을 도시한 것이다.
도 4는 본 발명에 따른 프레임 레이트 변환 기능을 갖는 비디오 디코더의 전체 블록도이다.
도 5는 본 발명에 따른 수신된 움직임 벡터를 이용하여 보간될 프레임에서 움직임 벡터를 초기화하는 개념도이다.
도 6은 본 발명에 따른 초기화된 움직임 벡터를 조정하여 양방향 움직임 벡터를 결정하는 개념도이다.
도 7은 도 4의 시공간스무딩부의 움직임 벡터를 개선하는 개념도이다.
도 8은 도 4의 개선된움직임보상보간부의 움직임 보상형 보간 방법을 설명하는 개념도이다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 4는 본 발명에 따른 프레임 레이트 변환 기능을 갖는 비디오 디코더의 전체 블록도이다.
도 4를 참조하면, 부호화된 비트스트림은 버퍼(410)에서 버퍼링된 후 가변장복호화(420)를 거쳐서 비디오 데이터와 움직임 정보(MV)로 분리되어 복원된다. 비디오 데이터는 역양자화(inverse quantization)부(430)와 역DCT(inverse discrete cosine transform)부(440)를 통해 역 양자화 및 역 직교 변환된다. 이때 역DCT부(440)에서 역직교변환된 비디오 데이터와 움직임 보상부(450)에서 복원된 비디오 데이터는 가산기(460)에서 더해져 프레임 메모리(470)에 프레임 단위로 저장된다.
한편 가변장복호화부(420)에서 구해진 움직임 벡터(MV) 및 매크로 블록 타입에 대한 부가정보는 움직임 보상부(450)에서 기준 영상으로부터 현재 프레임을 보상하여 복원하는 용도로 사용되며, 동시에 프레임 레이트 변환부(480)으로 입력된다.
그리고 프레임 레이트 변환부(480)는 움직임 벡터(MV)를 이용하여 양방향 움직임 벡터를 추정하고, 그리고 부적절한 움직임 벡터를 제거하기 위한 움직임 벡터스무딩부를 거친 후, 움직임 보상을 이용하여 새로운 영상을 보간한다.
최종적으로 비디오 디코더는 프레임 메모리(470)에서 복원된 영상 신호(I 또는 P 프레임)와 프레임 레이트 변환부(480)에서 보간된 영상 신호(B 프레임)를 선택적으로 출력한다.
일반적으로 비디오 디코더에서는 각 프레임을 부호화 방식에 따라 I, P, 그리고 B 프레임으로 규정하였다. I 프레임은 인트라 부호화를 위한 프레임이고, P 프레임은 순방향 예측 부호화를 위한 프레임을 의미한다. 그리고 B 프레임은 쌍방향 예측 부호화를 위한 프레임이다. 여기서 시간적 중복성을 줄이기 위하여 움직임 추정/보상 기법이 적용되어, P 프레임의 복원을 위해서는 I 프레임을 참조 프레임으로 사용하고, B 프레임의 복원을 위해서는 I 혹은 P 프레임이 참조 프레임으로 사용된다. 만약 B 프레임에 해당하는 영상이 전송되지 않았다면 이를 위하여 본 발명에서는 프레임 레이트 변환 기법을 이용하여 보간 시킬 수 있다. 이를 위해 참조 프레임을 이용하여 양방향 예측을 수행해야 하기 때문에 먼저 보간될 B 프레임에서 양방향 움직임 벡터를 추정해야 한다.
프레임 레이트 변환부(480)를 더 상세하게 설명하면, 양방향 움직임 추정부(482)는 가변장복호화부(420)에서 발생하는 현재 프레임과 이전 프레임간의 순방향 움직임 벡터를 이용하여 보간될 프레임에 할당하고, 그 보간될 프레임을 기준으로 양방향 움직임 벡터를 추정한다.
시공간스무딩부(484)는 보간될 프레임에서 추정된 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정한다.
개선된움직임보상보간부(486)는 시공간스무딩부(484)에서 구해진 움직임 벡터를 이용하여 보간될 프레임의 전후 프레임에서 블록의 평균으로 보간될 블록을 형성한다. 이때 개선된움직임보상보간부(486)는 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치로 보간한다.
도 5 및 도 6은 양방향 움직임 벡터를 구하는 개념도이다.
우선, 인접한 두 프레임에서 Fn-1은 (n-1)번째 프레임이고, Fn+1는 (n+1)번째 프레임이며, Fn는 n번째 프레임이다. 또한 Fn-1및 Fn+1은 디코드된 프레임I 또는 P에 해당되며, Fn는 보간된 프레임 B에 해당된다. n번째 프레임(Fn)에서 도 5 및 도 6에서 도시된 바와 같은 움직임 벡터 초기화 단계(도 5)와 움직임 벡터 조정 단계(도 6)를 통해 양방향 움직임 벡터가 구해진다.
도 5를 참조하여 움직임 벡터 초기화 단계를 설명한다.
가변장복호화부(420)에서 얻어진 순방향 움직임 벡터를 보간될 프레임에 초기화 한다. 비디오 인코더(도시안됨)에서는 영상 시퀀스의 부호화 효율과 영상의 화질 향상을 위하여 순방향 움직임 벡터는 비교적 정확하게 구하게 되고, 이렇게 구해진 순방향 움직임 벡터는 부호화되어 전송된다. 비디오 디코더에서는 순방향 움직임 벡터 블록(forward MV block)을 보간될 프레임의 그리드(grid)에 맞추어 초기화 한다. 이때 일정한 간격의 참조 프레임이 존재함에 따라 움직임 벡터의 크기도 이 간격에 따라서 변할 수 있게 되므로, 참조 프레임과 이를 참조하는 보간될프레임간의 거리도 고려되어야 한다. 도 5에서와 같이 보간될 프레임(Fn)이 복원된 프레임 사이의 절반 위치에 존재한다면 순방향 움직임 벡터는 1/2로 스케일되어 초기화(initialzation)된다. 본 발명에서 제시한 움직임 벡터 초기화 단계는 보간될 프레임(Fn)의 블록 그리드(block grid)에 맞춰 인접한 두 프레임간의 양방향 움직임 벡터 블록(bi-directional MV block)을 추정함으로써 기존 방식에서 발생되는 겹치는 부분(overlap)과 빈 부분(hole)의 발생을 막을 수 있다.
이어서 도 6을 참조하여 움직임 벡터 조정 단계를 설명한다.
먼저, 움직임 벡터 초기화 단계에서 구한 초기 움직임 벡터(initial MV)는 초기화 과정에서 순방향 움직임 벡터를 사용하였기 때문에 약간의 변화가 발생한다. 이를 보정하기 위해 움직임 벡터 초기화 단계에서 구한 순방향 움직임 벡터를 초기값으로 하여 작은 탐색 영역(small search range)( ±d)이 새로이 설정된다. 이어서 작은 탐색 영역(small search range)( ±d)에서 다시 BMA를 이용하여 초기에 설정된 움직임 벡터를 보정한 후 양방향 움직임 벡터가 생성된다. 도 6에 도시된 초기 움직임 벡터의 조정 단계를 설명하기 위해 보간될 n번째 프레임(Fn)에서의 임의의 블록(Bti)을 고려한다. 이 블럭(Bti)은 중심이 (x, y)이며, 초기 움직임 벡터(())=(h, v)에 해당된다. 이때 초기 움직임 벡터(())는 임의의 블록(Bti)에 대한 보간될 n번째 프레임(Fn)과 (n+1)번째 프레임(Fn+1)사이의 움직임과 (n-1)번째 프레임(Fn-1)에서 보간될 n번째 프레임((Fn)까지의 움직임을 동시에 나타낸다. 그러면 보간될 n번째 프레임(Fn)상의 임의의 블록(Bti)이 초기 움직임 벡터(())에 의해 이동되면 임의의 블록(Bti)는 (n-1)번째 프레임(Fn-1)의 블록(Bt1)과 (n+1)번째 프레임(Fn+1)의 블록(Bt2)으로 생성된다. 즉, 초기의 블록(Bt1) 및 블록(Bt2)의 중심은 각각 다음과 같이 수학식 2로 나타낼수 있다.
Bt1(xt1, yt1)= (x, y) - (h, v) = (x - h, y - v) -------(1)
Bt2(xt2, yt2)= (x, y) + (h, v) = (x + h, y + v) -------(2)
여기서 임의의 블록(Bti)은 고정된 위치에 존재하고, 블록(Bt1) 및 블록(Bt2)은 각각 초기 위치에서 탐색 영역(±d) 범위내에서 움직이게 된다. 이때 만약 n번째 프레임((Fn)이 (n-1)번째 프레임(Fn-1)과 (n+1)번째 프레임(Fn+1)의 중간에 위치해야한다면 블록(Bt1)과 임의의 블록(Bti)간의 움직임과 임의의 블록(Bti)과 블록(Bt2)간의 움직임은 같아야한다. 이를 위하여 초기 움직임 벡터에 의한 움직임 괘적(motion trajectory)상에서 블록(Bt1)과 블록(Bt2)은 보간될 블록(Bti)의 중심에서 대칭적으로 움직여야한다.
따라서 탐색 영역(±d)을 갖는 경우 가능한 조합의 수는 (2d + 1)2가된다. 여기서 초기 위치에서의 블록(Bt1)과 블록(Bt2)간의 MAD(mean absolute difference)값은 이미 알고 있으므로 최종적으로는 (2d + 1)2-1 의 대응 블록이 생기게 되고 각 대응 위치에서의 MAD값을 구하여 가장 작은 MAD값을 갖는 경우의 움직임 벡터가 최종적인 양방향 움직임 벡터값이 된다. 이때 만약 n번째 프레임(Fn)이 (n-1)번째 프레임(Fn-1)과 (n+1)번째 프레임(Fn+1)의 중간에 위치해야한다면 각 방향으로의 움직임 벡터는 동일한 값을 갖는다.
도 7은 시공간스무딩부(484)의 움직임 벡터를 개선하는 개념도이다.
도 7을 참조하면, 먼저 보간될 프레임에서 현재 블록(current block)은 MV0로 하고, 현재 블록을 둘러싼 주변 블록(candidate MV block)은 MVi, i=1,.....8로 설정하고, 블록의 움직임 벡터는 D(·)로 설정한다. 인접한 8개의 블록의 움직임 벡터들을 사용하여 현재 블록의 움직임 벡터(MV0)에 대한 시공간 스무딩 과정을 수행한다. 이 과정에서 현재 블록의 움직임 벡터가 잘못 찾아진 것이라면 이웃 8개 블록의 움직임 벡터중의 하나로 대치된다. 즉, 그 주변 블록에서 얻어진 움직임 벡터들중에서 가장 작은 MAD(mean absolute difference)를 갖는 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정한다.
도 8은 개선된움직임보상보간부(486)의 움직임 보상형 보간 방법을 설명하는 개념도이다.
최종적으로 개선된움직임보상보간부(486)은 추정된 움직임 벡터를 이용하여 인접한 디코드된 프레임사이에 도 8과 같이 보간된 프레임(Fn)을 구한다. 즉, 디코드된 I, P 프레임간에 보간된 B 프레임을 형성한다. 개선된움직임보상보간부(486)는 양방향으로 구해진 움직임 벡터를 이용하여 수학식 3과 같이 인접한 두 프레임에서의 블록의 평균을 취한 후 보간될 프레임을 구성한다. 그러나 보간될 블록에서 움직임이 불연속적인 경우 블록 효과(blocking artifact)를 유발시킬 수가 있으며, 특히 블록의 가장 자리에서 이러한 현상은 두드러지게 나타난다. 따라서 이러한 블록 효과를 제거하기 위해 보간할 프레임은 원래의 블록 크기에서 가로/세로 방향으로 블록을 확장하며, 그 중첩된 영역에서 서로 다른 가중치(weight)를 두고 보간된다.
여기서 B(p)는 보간될 프레임의 현재 블록이며, D(ㆍ)는 블록의 움직임 벡터이다.
상술한 바와 같이 본 발명에 의하면, 비디오 디코더내에 프레임 레이트 변환 기법을 적용함으로써 전송되는 데이터의 양을 줄일 수 있고, 동시에 보간된 프레임은 기존 압축 방식을 통하여 얻을 수 있는 방식보다 화질면에서 개선시킬 수 있다 특히 보간될 프레임의 그리드에 맞춰 양방향 움직임 추정을 함으로써 기존의 프레임 변환 기법에서 발생되는 겹치는 부분(overlap)과 빈부분(hole)의 문제를 해결할 수 있고, 카메라 모션이 있는 패닝(panning)이나 주밍(zooming) 영상에서 기존 방식보다 더욱 효율적으로 대응하면서 구현이 용이하다. 또한 본 발명에서 제시한 디코더와 상응하는 인코더를 결합시킨다면 H.263 압축방식의 영상을 MPEG 스트림으로 직접 바꿀 수 있는 트랜스 코더(transcoder)의 일부분으로 이용될 수 있다.

Claims (11)

  1. 비디오 디코딩 방법에 있어서,
    (a) 부호화된 비트 스트림에서 움직임 정보를 참조하여 영상 신호를 복원하는 과정;
    (b) 상기 (a) 과정에서 복원된 영상 신호 사이에 보간될 영상신호를 구성하여 프레임 레이트를 변환하는 과정;
    (c) 상기 (a) 과정에서 복원된 영상 신호와 상기 (b)과정에서 보간된 영상 신호를 선택적으로 출력하는 과정을 포함하는 비디오 디코딩 방법.
  2. 제1항에 있어서, 상기 (b)과정의 프레임 레이트 변환은
    (b-1) 상기 부호화된 비트스트림에서 움직임 정보를 이용하여 양방향 움직임 벡터를 추정하는 과정;
    (b-2) 상기 (b-1) 과정에서 화소 오차가 최소인 주변 움직임 벡터를 보간될 현재 블록 위치의 움직임 벡터로 설정하는 과정;
    (b-3) 상기 (b-2) 과정에서 설정된 움직임 벡터로 보간될 화소를 형성하는 과정을 포함하는 비디오 디코딩 방법.
  3. 제2항에 있어서, 상기 (b-1)의 양 방향 움직임 벡터 설정 과정은
    (b-1-1) 보간될 프레임을 기준으로 부호화된 비트스트림에서 구해진 움직임 벡터를 보간될 프레임에 할당하는 과정;
    (b-1-2) 보간될 프레임에서 블록 그리드에 따라 상기 (b-1-1) 과정에서 할당된 움직임 벡터를 조정하는 과정을 포함하는 것을 특징으로 하는 비디오 디코딩 기법
  4. 제3항에 있어서, 상기 (b-1-1)에서 움직임 벡터 검출은
    복원된 프레임과 보간될 프레임간의 거리를 추정하는 과정;
    상기 과정에서 얻어진 거리에 비례하여 부호화된 비트스트림에서 얻어진 움직임 벡터를 보간될 프레임에 선형적으로 할당하는 방법을 포함하는 비디오 디코딩 방법.
  5. 제3항에 있어서, 상기 (b-1-2) 과정은
    보간될 프레임에서, 블록 그리드에 따라 형성된 블록의 중심을 선형적으로 통과하는 이전 프레임과 현재 프레임의 블록중에서 오차가 가장 적은 위치값을 보간될 프레임 블록의 양방향 움직임 벡터로 추정하는 과정임을 특징으로 하는 비디오 디코딩 방법.
  6. 제2항에 있어서, 상기 (b-2) 과정은 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가하고, 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 과정을 포함하는 것을 특징으로 하는 비디오 디코딩 방법
  7. 제2항에 있어서, 상기 (b-2) 과정은
    보간될 프레임을 기준으로 할당된 움직임 벡터를 조정하고,
    현재 블록의 상기 움직임 벡터의 정확성을 평가하고,
    화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 과정을 포함하는 것을 특징으로 하는 비디오 디코딩 방법.
  8. 제2항에 있어서, 상기 (b-3) 과정은 상기 보간될 프레임의 전후 프레임의 상기 과정에서 추정된 움직임 벡터를 적용하여 블록의 평균으로 보간될 블록을 형성하는 것임을 특징으로 하는 비디오 디코딩 방법.
  9. 제2항에 있어서, 상기 (b-3) 과정은 상기 보간될 프레임의 전후 프레임의 상기 과정에서 추정된 움직임 벡터를 적용하여 화소의 평균으로 보간될 화소를 형성하는 것임을 특징으로 하는 비디오 디코딩 방법.
  10. 제2항에 있어서, 상기 (b-3) 과정은 상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 보간하는 과정임을 특징으로 하는 비디오 디코딩 방법.
  11. 프레임 레이트 변환 기능을 갖는 비디오 디코더에 있어서,
    부호화된 비트스트림에서 움직임 정보를 참조하여 영상신호를 복원하는 복원 수단;
    보간될 프레임을 기준으로 연속적으로 입력되는 부호화된 비트스트림에서 움직임 벡터를 추정하여 보간될 프레임에 할당하고, 보간될 프레임을 기준으로 할당된 움직임 벡터를 추정하는 양방향 움직임 추정수단;
    상기 양방향 움직임 추정수단에서 보간될 프레임에서 현재 블록의 움직임 벡터의 정확성을 평가한 후 화소 오차가 최소인 주변 블록의 움직임 벡터를 현재 블록의 움직임 벡터로 설정하는 벡터 스무딩 부;
    상기 보간될 블록을 확장하여 중첩된 영역에서 서로 다른 가중치를 두고 상기 움직임 벡터 스무딩 부에서 구해진 움직임 벡터로 보간하는 보간부;
    상기 복원 수단에서 복원된 복원된 영상과 상기 보간부에서 보간된 영상을 선택적으로 출력하는 출력부를 포함하는 비디오 디코더.
KR10-2001-0007609A 2001-02-15 2001-02-15 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 KR100393063B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0007609A KR100393063B1 (ko) 2001-02-15 2001-02-15 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0007609A KR100393063B1 (ko) 2001-02-15 2001-02-15 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020067192A true KR20020067192A (ko) 2002-08-22
KR100393063B1 KR100393063B1 (ko) 2003-07-31

Family

ID=27694521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0007609A KR100393063B1 (ko) 2001-02-15 2001-02-15 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법

Country Status (1)

Country Link
KR (1) KR100393063B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499144B1 (ko) * 2003-03-06 2005-07-04 삼성전자주식회사 적응적 양방향 움직임 추정 방법을 이용한 내삽 영상의움직임 벡터 생성 방법 및 장치
KR100604394B1 (ko) * 2003-03-28 2006-07-25 가부시끼가이샤 도시바 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템
KR100766085B1 (ko) * 2006-02-28 2007-10-11 삼성전자주식회사 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
KR101106634B1 (ko) * 2010-05-12 2012-01-20 전남대학교산학협력단 움직임 벡터 스무딩 장치 및 방법
KR101524664B1 (ko) * 2014-08-26 2015-06-04 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) * 2015-01-26 2015-07-03 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) * 2015-01-26 2015-07-03 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805622B1 (ko) * 2011-06-08 2017-12-08 삼성전자주식회사 프레임율 제어 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723395A (ja) * 1993-06-23 1995-01-24 Canon Inc 画像処理装置
KR950007497A (ko) * 1993-08-06 1995-03-21 이헌조 영상신호처리기의 영상프레임율 변환 장치
KR960012603B1 (en) * 1993-08-07 1996-09-23 Lg Electronics Inc Apparatus for changing frame-rate in a video signal processing system
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
KR0166927B1 (ko) * 1995-06-15 1999-03-20 구자홍 영상 디코더 회로
KR19990049348A (ko) * 1997-12-12 1999-07-05 구자홍 움직임 벡터를 이용한 프레임 율(frame rate) 변환장치와 방법.
KR100587263B1 (ko) * 1999-03-27 2006-06-08 엘지전자 주식회사 비디오 신호의 프레임 율 변환 방법
KR100386583B1 (ko) * 2000-11-30 2003-06-02 엘지전자 주식회사 영상 변환 부호화 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499144B1 (ko) * 2003-03-06 2005-07-04 삼성전자주식회사 적응적 양방향 움직임 추정 방법을 이용한 내삽 영상의움직임 벡터 생성 방법 및 장치
KR100604394B1 (ko) * 2003-03-28 2006-07-25 가부시끼가이샤 도시바 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
KR100766085B1 (ko) * 2006-02-28 2007-10-11 삼성전자주식회사 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR101106634B1 (ko) * 2010-05-12 2012-01-20 전남대학교산학협력단 움직임 벡터 스무딩 장치 및 방법
KR101524664B1 (ko) * 2014-08-26 2015-06-04 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) * 2015-01-26 2015-07-03 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) * 2015-01-26 2015-07-03 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR100393063B1 (ko) 2003-07-31

Similar Documents

Publication Publication Date Title
JP3393832B2 (ja) 電子ディジタル画像シーケンス再生システムにおける画像データ補間方法
KR100739281B1 (ko) 움직임 추정 방법 및 장치
US5598216A (en) Method and apparatus for encoding/decoding a video signal
US7609763B2 (en) Advanced bi-directional predictive coding of video frames
US5453799A (en) Unified motion estimation architecture
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
JP2801559B2 (ja) 動き大小に適応する動き補償符号化方法及びその装置
JPH1169345A (ja) フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
JPH07162869A (ja) 動画像符号化装置
KR20010043410A (ko) 비디오 프레임 속도를 증가시키기 위한 방법 및 장치
JP2004048552A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP4083266B2 (ja) 動きベクトルの生成方法および装置
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
KR100393063B1 (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
US5790207A (en) Motion compensation method for use in an image encoding system
US7236529B2 (en) Methods and systems for video transcoding in DCT domain with low complexity
WO2010032229A1 (en) Frame rate up conversion method and system
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
US9549184B2 (en) Image prediction method and system
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR100671040B1 (ko) 영상 보간 장치 및 방법
JP4533157B2 (ja) 画像復号方法
JP3289695B2 (ja) 動画符号化方法および装置
KR100294895B1 (ko) 필터를이용한움직임보상동영상압축방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120628

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee