KR100790178B1 - 동영상의 프레임 레이트 변환 방법 - Google Patents

동영상의 프레임 레이트 변환 방법 Download PDF

Info

Publication number
KR100790178B1
KR100790178B1 KR1020060102299A KR20060102299A KR100790178B1 KR 100790178 B1 KR100790178 B1 KR 100790178B1 KR 1020060102299 A KR1020060102299 A KR 1020060102299A KR 20060102299 A KR20060102299 A KR 20060102299A KR 100790178 B1 KR100790178 B1 KR 100790178B1
Authority
KR
South Korea
Prior art keywords
motion vector
frame
current frame
interpolation
interpolated
Prior art date
Application number
KR1020060102299A
Other languages
English (en)
Inventor
임용현
권재훈
오윤제
주영훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060102299A priority Critical patent/KR100790178B1/ko
Priority to US11/897,393 priority patent/US20080095239A1/en
Application granted granted Critical
Publication of KR100790178B1 publication Critical patent/KR100790178B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

본 발명은 동영상의 프레임 레이트 변환 방법에 있어서, 현재 프레임의 모션 벡터를 이용하여 보간 프레임을 위한 기본 보간 모션 벡터를 생성하는 과정과, 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터를 비교하는 과정과, 비교 결과에 따라 상기 기본 보간 모션 벡터를 오프셋시켜 보정하는 과정과, 기본 보간 모션 벡터 또는 보정된 기본 보간 모션 벡터를 이용하여 모션 보상을 수행함으로 보간 프레임을 생성하는 과정을 포함함을 특징으로 한다.
프레임, 레이트, FRC, 모션, 벡터

Description

동영상의 프레임 레이트 변환 방법{METHOD FOR CONVERTING FRAME RATE OF MOVING PICTURER}
도 1은 시간에 따른 일 오브젝트의 움직임의 예시도
도 2는 도 1의 오브젝트에 대응되는 디코딩된 모션 벡터의 예시도
도 3은 일반적인 프레임 레이트 변환을 위한 일 오브젝트의 예측된 모션 벡터의 예시도
도 4는 일반적인 프레임 레이트 변환 동작의 흐름도
도 5 내지 도 7은 본 발명의 일 실시예에 따른 프레임 레이트 변환을 위한 일 오브젝트의 모션 벡터의 예측 방식을 설명하기 위한 모션 벡터의 예시도
도 8은 본 발명의 일 실시예에 따른 프레임 레이트 변환 동작의 흐름도
도 9는 본 발명이 적용되는 프레임 레이트 변환을 위한 관련 장치의 블록 구성도
본 발명은 MPEG-4와 같은 동영상의 영상처리 분야에서, 움직임 추청(motion estimation) 기법을 사용하는 동영상의 프레임 레이트 변환 방법에 관한 것이다.
프레임 레이트 변환(Frame Rate Conversion: RFC)은 초당 출력되는 프레임수를 변환하는 것으로서, 통상 낮은 프레임 레이트로 기 압축된 비디오 시퀀스에 대해 높은 프레임 레이트로 변환시켜주는 기술을 의미한다. 예를 들어, 위성 DMB(Digital Multimedia Broadcasting)와 같이 초당 15 프레임을 랜더링하는 비디오 데이터를 초당 30 프레임 랜더링하도록 변환시켜줄 때 사용한다. 이는 비디오 디코더에서 모션 벡터(motion vector)와 디코딩된 영상 신호를 바탕으로 실행될 수 있다.
종래의 프레임 레이트 변환 기술은 비디오 디코더와 연동하여 이뤄진다. 비디오 디코더에서 디코딩한 모션 벡터를 이용하여 새로 생성해야 할 프레임의 특정 블록의 이미지가 과거 프레임의 어느 부분에서 왔는지에 대한 정보를 얻는다. 디코딩된 모션 벡터 정보를 적절히 수정하여 새로 생성해야 할 이미지에 해당하는 수정된 모션 벡터를 생성하고, 생성된 모션 벡터와 디코딩된 영상 신호를 이용하여, 새로 생성해야 할 이미지를 만든다.
종래 기술에서는 새로 생성해야 할 이미지에 해당하는 수정된 모션 벡터를 생성할 때, 현재 디코딩된 프레임의 모션 벡터만 사용한다. 이때 현재 처리하는 동영상은 낮은 프레임 레이트로 인코딩된 비디오이므로, 현재 프레임의 모션 벡터만 사용하여 새로 생성할 프레임을 만들었을 때에는 프레임과 프레임사이의 시간간격이 상대적으로 커서 영상을 구성하는 여러 오브젝트(object)들의 움직임이 부자연스럽게 보인다. 자연계의 대부분의 오브젝트들은 직선으로 움직이지 않고 완만한 곡선의 움직임을 보인다. 따라서, 단순히 현재 프레임의 모션 벡터만을 사용하여 새로 생성할 프레임을 만들게 되면 비디오 오브젝트들의 움직임은 완만한 곡선의 움직임이 아니라 각 샘플링 시간을 기준으로 각을 이루는 직선의 움직임을 보이게 된다. 오브젝트들의 이런 직선의 움직임은 영상 인코딩 프레임 레이트가 낮아서 프레임과 프레임의 간격이 넓을 경우 발생하며, 사용자의 눈에 많이 거슬리게 된다.
따라서, 본 발명의 목적은 자연계의 오브젝트들의 움직임을 기존보다 더 자연스럽게 재현하도록 할 수 있는 동영상의 프레임 레이트 변환 방법을 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명은 동영상의 프레임 레이트 변환 방법에 있어서, 현재 프레임의 모션 벡터을 이용하여 보간 프레임을 위한 기본 보간 모션 벡터를 생성하는 과정과, 현재 프레임의 모션 벡터와 이전 프레임내의 오브젝트의 모션 벡터를 비교하는 과정과, 상기 비교 결과에 따라 상기 기본 보간 모션 벡터를 오프셋시켜 보정하는 과정과, 상기 기본 보간 모션 벡터 또는 보정된 기본 보간 모션 벡터를 이용하여 모션 보상을 수행함으로 보간 프레임을 생성하는 과정을 포함함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설 명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 시간에 따른 일 오브젝트의 움직임의 예시도이다. 도 1을 참조하면, 실선으로 도시한 것은 압축전의 오브젝트의 움직임 경로이며, 검은 점은 예를 들어 15 FPS(Frame Rate per Second)로 영상 데이터를 캡쳐, 압축한 후 디코딩한 결과 이미지를 보여준다. 도 1에서 T(n)은 현재 프레임이 디코딩된 시간이며, T(n-2)는 바로 이전 프레임이 디코딩된 시간, T(n-4)는 그 이전 프레임이 디코딩된 시간을 나타낸다. 일반 자연계의 오브젝트의 움직임이 통상 도 1에서처럼 완만한 곡선으로 표시되므로 실선의 곡선과 같은 움직임 경로를 보여준다. 도 1에서는 위성 DMB와 같은 응용에서처럼 15 FPS의 낮은 주파수로 영상 캡쳐, 압축한 후 디코딩하면 검은 점으로 도시된 바와 같이, 중간 경로의 고주파 움직임은 무시될 수 있는 가능성이 있음을 보여준다.
도 2는 도 1의 오브젝트에 대응되는 디코딩된 모션 벡터의 예시도이다. 도 2를 참조하면, 비디오 디코더에서 디코딩한 결과 데이터를 보여주는 데, 디코딩 후 결과 영상뿐만 아니라 해당 결과 영상의 블록에 대한 모션 벡터정보도 얻을 수 있다. 프레임 레이트 변환은 위의 두 정보를 이용하여 행해진다. 비디오 디코더에서 얻을 수 있는 프레임의 영상정보와 모션 벡터를 이용하여 예를 들어, 15FPS의 낮은 주파수 영상을 30 FPS의 고주파수 영상으로 변환하여 사용자에게 더 자연스런 영상 을 제공해주게 된다. 도 2에서 도시된 바와 같이 15FPS의 저주파수 영상이므로 프레임과 프레임간의 시간 간격이 넓어서 재생 시 불편함을 느낄 수 있다.
도 3은 일반적인 프레임 레이트 변환을 위한 일 오브젝트의 예측된 모션 벡터의 예시도이다. 도 3에 도시된 바와 같이, 시간 T(n-1), T(n-3)에 보간(interpolation)된 오브젝트의 모션 벡터는 현재 디코딩된 모션 벡터, 각각 T(n), T(n-2) 을 단순히 '나누기 2' 연산을 취하여 얻은 결과이다. 이는 과거 프레임에 있는 오브젝트의 모션벡터를 고려하지 않고 있어서 T(n-2) 시간에 곡선으로 이루어진 완만한 움직임을 보여 주지 못한다. 이 문제는 프레임 레이트 변환 시 단지 현재 프레임내의 오브젝트의 모션 벡터만을 고려하여 T(n-1), T(n-3) 시간의 영상을 복원하기 때문에 발생한다.
도 4는 일반적인 프레임 레이트 변환 동작의 흐름도이다. 도 4를 참조하면, 일반적인 프레임 레이트 변환 동작은 먼저, 비디오 디코더로부터 현재 프레임에 해당하는 모션 벡터를 얻고(30단계), 마찬가지로 디코딩된 현재 프레임의 블록을 메모리로부터 얻어 온다(304단계). 그리고 특정 위치의 모션 벡터(MV)와 디코딩된 영상이 주변 블록과 어느 정도의 상관성을 갖고 있는지를 조사한다(306단계). 이때에는 디코딩된 모션 벡터가 진짜 모션 벡터가 아니라 단지 비교 블록간 SAD(Sum of absolute difference)가 최소인 블록에 해당하는 모션 벡터이므로 주변 블록과 어느 정도 비슷한 지를 검증해주는 부분이 필요하다. 이 검증 정보는 이후에 모션 보상(motion compensation) 시에 사용한다.
그리고 현재 프레임의 모션 벡터를 사용하여 보간되어야 할 프레임의 모션 벡터를 구하는데 기존 알고리즘에서는 '나누기 2' 연산을 취하여 구한다(308단계). 이후 구해진 모션 벡터와 검증 정보, 현재 프레임, 이전 프레임을 이용하여 보간되어야 할 각 픽셀의 모션 보상을 해준다(310단계). 이에 따른 결과로 이전 프레임과 현재 프레임의 중간 프레임에 해당하는 보간된 프레임이 만들어지게 된다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 프레임 레이트 변환을 위한 일 오브젝트의 모션 벡터의 예측 방식을 설명하기 위한 모션 벡터의 예시도로서, 먼저, 도 5에서는 본 발명과 관련된 현재 프레임의 일 오브젝트의 디코딩된 모션 벡터 MV1과 이 모션 벡터 방향의 직선 L_MV1을 도시하고 있으며, 도 6에서는 오브젝트의 위치 보정 상태를 나타내며, 도 7에서는 보간된 프레임에서의 최종 오브젝트의 모션 벡터를 나타낸다.
도 5내지 도 7을 참조하면, 본 발명에서는 현재 프레임(T(n) 시간에서의 프레임)의 모션 벡터와 이전 프레임(T(n-2) 시간에서의 프레임)에서의 모션 벡터의 관계를 고려하여 T(n-1) 시간에서의 보간된 영상을 생성한다. 보다 상세히 설명하면, 도 5에 도시된 바와 같이, 현재 프레임의 일 오브젝트의 모션 벡터 MV1의 길이를 화살표 방향으로 충분히 늘여서 직선을 만들고 그 직선을 L_MV1 이라 하자. 자연계의 대부분의 오브젝트는 부드러운 곡선운동을 하므로, 만약 이전 프레임의 해당 오브젝트의 모션 벡터 MV2가 L_MV1 직선 방향을 기준으로 오른 편을 가리키고 있다면, 해당 오브젝트는 P0 위치에서 L_MV1직선 방향으로 왼편으로 치우친 경로로 움직이다가 T(n) 시간에 해당위치로 오게 된다. 그러므로 오브젝트는 도 6에 도시된 바와 같이, T(n-1) 시간에 기존의 P0 위치에 있는 것 보다는 P1 위치에 있는 게 더 자연스러운 비디오 시퀀스를 만들게 된다. 마찬가지로 만약 MV2가 L_MV1 직선방향의 왼편을 가리키고 있다면, 오브젝트는 P0 위치에서 L_MV1 직선 방향으로 오른편으로 치우친 경로로 움직이다가 T(n) 시간에 해당위치에 오게 된다.
도 6에서 본 바와 같이 오브젝트의 위치를 수정하려면 T(n-1) 시간의 보간된 이미지를 구성하는 블록들의 모션 벡터를 도 7과 같이 수정해야 한다. 도 7처럼 MV1', MV2' 와 같은 기존의 알고리즘에 대해 수정된 모션 벡터를 구하기 위해 하기 수학식 1과 같은 계산을 수행한다.
Figure 112006075851714-pat00001
상기 수학식 1을 참조하면, 현재 프레임내의 오브젝트의 모션 벡터에서 이전 프레임내의 오브젝트의 모션 벡터를 뺀 값이 기 설정된 임계치 벡터보다 크면, 기존 알고리즘에 의해 계산된 보간된 모션 벡터에서 기 설정된 오프셋 벡터를 뺀다. 이 경우는 도 5에서 MV2 가 L_MV1 직선방향의 오른 편을 가리키는 경우로서 오프셋 벡터를 빼는 연산으로 인해 보간된 오브젝트가 L_MV1 직선 방향의 왼쪽으로 이동하 게 하는 효과가 있다. 만약 현재 프레임내의 오브젝트의 모션 벡터가 이전 프레임내의 오브젝트의 모션 벡터를 뺀 값이 기 설정된 임계치 벡터보다 작다면, 기존 알고리즘에 의해 계산된 보간된 모션 벡터에서 기 설정된 오프셋 벡터를 더해준다. 이 경우는 도 5에서 MV2가 L_MV1 직선 방향의 왼편을 가리키는 경우로서 오프셋 벡터를 더하는 연산으로 인해 보간된 오브젝트가 이전 프레임내의 L_MV1 직선 방향의 오른쪽으로 이동하게 하는 효과가 있다. 상기에서 임계치 벡터를 설정하여 둔 것은, MV2가 L_MV1 직선 방향에서 틀어진 각도가 크지 않은 경우는 굳이 기존 알고리즘에 의해 구해진 보간된 모션 벡터를 수정하여도 그 효과가 잘 드러나지 않기 때문에 이의 수정을 행할 필요가 없기 때문이다.
도 8은 본 발명의 일 실시예에 따른 프레임 레이트 변환 동작의 흐름도이다. 도 8을 참조하면, 본 발명에 따른 프레임 레이트 변환 동작은 먼저, 비디오 디코더로부터 현재 프레임에 해당하는 모션 벡터를 얻고(802단계), 마찬가지로 디코딩된 현재 프레임의 블록을 메모리로부터 얻어 온다(803단계). 이와 같이 본 발명에 따른 프레임 레이트 변환 동작을 수행하기 위해서는 이전 프레임에 해당하는 모션 벡터와 기 디코딩된 이전 프레임의 블록을 메모리로부터 얻어 온다. 이후 현재 프레임의 특정 위치의 모션 벡터와 디코딩된 영상이 주변 블록과 어느 정도의 상관성을 갖고 있는지를 조사한다(806단계). 이는 디코딩된 모션 벡터가 진짜 모션 벡터가 아니라 단지 비교 블록간 SAD가 최소인 블록에 해당하는 모션 벡터이므로 주변 블록과 어느 정도 비슷한 지를 검증해주는 부분이 필요하다. 이 검증 정보는 이후 모션 보상시에 사용된다.
그리고 현재 프레임의 모션 벡터를 사용하여 보간 되어야 할 프레임의 모션 벡터를 구하는데 일단 기존 알고리즘처럼 '나누기 2' 연산을 취하여 보간되어야할 프레임의 초기 모션 벡터를 구한다(808단계). 그리고 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 방향성을 고려하여 상기 보간 모션 벡터를 보정해 준다(809단계). 보정해주는 방법은 상기 도 6 및 도 7과 같이 수학식 1을 이용하여 보정하는 방식과 같다. 이후 상기 보정된 보간 모션 벡터와, 검증 정보, 현재 프레임, 이전 프레임을 이용하여 보간되어야 할 각 픽셀의 모션 보상을 해준다(810). 이러한 결과로 이전 프레임과 현재 프레임의 중간 프레임에 해당하는 보정된 보간 프레임이 만들어지게 된다.
도 9는 본 발명이 적용되는 프레임 레이트 변환을 위한 관련 장치의 블록 구성도로서, MPEG-4 또는 H.264 디코더일 수 있다. 도 9를 참조하면, 디코더 장치는 인코더 장치에서 부호화 절차의 역순의 절차를 수행하도록 구성되는데, 먼저, 엔트로피 복호화 모듈(111)은 비디오 코딩 계층(VCL: Video Coding Layer) NAL(Network Abstraction Layer)의 비트스트림을 매크로블록 단위로 엔트로피 디코딩한다. VCL NAL에서 하나의 프레임은 여러 개의 슬라이스로 구분되며, 하나의 슬라이스는 슬라이스(slice) 헤더와 데이터(data) 필드로 이루어지고, 각 슬라이스 데이터는 적어도 하나 이상의 여러 개의 매크로블록으로 이루어질 수 있다.
역양자화 및 역변환 모듈(113)은 엔트로피 디코딩된 데이터를 부호화시에 예를 들어 양자화된 이산 코사인 변환(DCT: Discrete Cosine Transform) 계수를 역양자화하여 복원하며, 또한 부호화시에 이산 코사인 변환된 데이터를 원래의 데이터 로 변환한다. 변환된 데이터는 예측모듈(115)로 제공되며 데이터 버스(100)를 통해 메모리(119)에 저장된다.
예측모듈(115)은 입력된 매크로블록에 대해 인트라 예측 또는 인터 예측 모드에 따라 모션 예측 및 모션 보상을 수행하여 현재 매크로블록에 대한 원본 영상을 복원한다. 복원된 결과는 디블록킹 필터 모듈(117)로 제공되며, 또한 데이터 버스(100)를 통해 메모리(119)에 저장된다.
디블록킹 필터 모듈(117)은 복원 영상에 대하여 각 블록들간의 블록킹 효과를 제거하기 위하여 디블록킹 필터링을 수행하고, 디블록킹 필터링 결과는 후단으로 출력되는 동시에 메모리(119)에 저장된다.
프레임 레이트 변환 모듈(120)은 본 발명의 특징에 따라 프레임 복원된 영상을 이용하여 프레임 레이트를 변환하는 기능을 수행하는데, 도 9에서는 이러한 프레임 레이트 변환 모듈(120)이 디코더 장치 내에 특정 모듈로서 포함되는 것으로 도시되었으나, 이는 하드웨어적으로 디코더 장치의 외부에서 설치되어 디코더 장치와 연동하여 동작하도록 구성할 수도 있다.
상기와 같이 본 발명의 일 실시예에 따른 동영상의 프레임 레이트 변환 동작이 수행될 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 예를 들어, 상기의 설명에서는 기본 보간 모션 벡터를 오프셋시킬 경우에 미리 설정된 크기의 오프셋 벡터를 더하거나 빼는 것으로 설명하였으나, 이외에도 예를 들어 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 차이 정도에 따라 가변 적인 크기의 오프셋 벡터를 더하거나 뺄 수도 있다. 또한 상기의 설명에서는 본 발명이 15 FPS에서 30 FPS로 프레임 변환을 하는 경우에 적용하여 원래의 15 프레임사이에 각각 하나의 보간 프레임을 생성하는 것에 적용되는 것으로 설명하였으나, 이외에도 본 발명은 원래의 프레임사이에 둘 이상의 보간 프레임을 생성하는 것에 적용될 수도 있다.
이외에도 본 발명의 다양한 변형 및 변경이 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
상기한 바와 같이, 본 발명에 따른 동영상의 프레임 레이트 변환 방식은 기존의 프레임 레이트 변환에서 발생했던 부자연스러운 움직임의 오브젝트가 자연스러운 곡선 경로로 운동을 할 수 있도록 변환된다. 자연계의 대부분의 오브젝트의 움직임은 부드러운 곡선 경로를 갖는 완만한 움직임이다. 기존의 알고리즘은 현재 디코딩된 프레임의 모션 벡터만 이용하여 보간된 이미지를 생성하므로 더 이상의 움직임 보정을 해줄 수가 없었다. 이에 비해 본 발명에서는 모션 벡터가 갖고 있는 특성을 이용하여 프레임 레이트 변환 시, 현재 프레임의 모션 벡터뿐만 아니라 이전 프레임의 모션 벡터까지 사용함으로써 오브젝트의 움직임을 부드러운 곡선 경로를 갖게 해줄 수 있다.
이러한 본 발명은 예를 들어 현재 서비스 되고 있는, 초당 15 프레임의 디코 딩된 영상을 보여 주는 위성 DMB에 적용할 경우, 초당 30 프레임의 디코딩된 영상을 보여 주면서도, 기존의 부자연스러운 움직임이 아닌, 원 영상의 움직임을 좀 더 정확히 예측한 비디오 서비스를 제공할 수 있게 된다.

Claims (5)

  1. 동영상의 프레임 레이트 변환 방법에 있어서,
    현재 프레임의 모션 벡터을 이용하여 보간 프레임을 위한 기본 보간 모션 벡터를 생성하는 과정과,
    현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터를 비교하는 과정과,
    상기 비교 결과에 따라 상기 기본 보간 모션 벡터를 오프셋시켜 보정하는 과정과,
    상기 기본 보간 모션 벡터 또는 보정된 기본 보간 모션 벡터를 이용하여 모션 보상을 수행함으로 보간 프레임을 생성하는 과정을 포함함을 특징으로 하는 프레임 레이트 변환 방법.
  2. 동영상의 프레임 레이트 변환 방법에 있어서,
    현재 프레임의 모션 벡터을 이용하여 보간 프레임을 위한 기본 보간 모션 벡터를 생성하는 과정과,
    현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터를 비교하는 과정과,
    상기 비교 결과 그 차이가 미리 설정된 임계치를 벗어날 경우에 상기 기본 보간 모션 벡터를 오프셋시켜 보정하는 과정과,
    상기 기본 보간 모션 벡터 또는 보정된 기본 보간 모션 벡터를 이용하여 모 션 보상을 수행함으로 보간 프레임을 생성하는 과정을 포함함을 특징으로 하는 프레임 레이트 변환 방법.
  3. 제2항에 있어서, 상기 기본 보간 모션 벡터를 오프셋시키는 것은
    상기 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 차이가 미리 설정된 제1 임계치 벡터보다 클 경우에, 상기 기본 보간 모션 벡터에서 미리 설정된 오프셋 벡터를 빼는 것이며,
    상기 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 차이가 미리 설정된 제2 임계치 벡터보다 작을 경우에, 상기 기본 보간 모션 벡터에서 미리 설정된 오프셋 벡터를 더하는 것임을 특징으로 하는 프레임 레이트 변환 방법.
  4. 제1항 또는 제2에 있어서, 상기 기본 보간 모션 벡터를 오프셋시키는 것은 상기 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 차이 정도에 따른 크기로 오프셋시킴을 특징으로 하는 프레임 레이트 변환 방법.
  5. 동영상의 프레임 레이트 변환 방법에 있어서,
    현재 프레임 및 이전 프레임에 해당하는 모션 벡터와 해당 디코딩된 현재 프 레임 및 이전 프레임의 블록을 얻어 오는 과정과,
    상기 현재 프레임의 모션 벡터와 디코딩된 블록과 주변 블록과의 상관성을 조사하여 검증하는 과정과,
    상기 현재 프레임의 모션 벡터를 사용하여 '나누기 2' 연산을 취하여 보간되어야 할 프레임의 초기 보간 모션 벡터를 구하는 과정과,
    상기 현재 프레임의 모션 벡터와 이전 프레임의 모션 벡터의 방향성에 따라 상기 초기 보간 모션 벡터를 하기 수학식 2에 따라 보정하는 과정과,
    상기 보정된 보간 모션 벡터와, 검증 정보, 현재 프레임, 이전 프레임을 이용하여 보간되어야 할 프레임의 각 픽셀의 모션 보상을 함으로써, 보간 프레임을 생성하는 과정을 포함함을 특징으로 하는 프레임 레이트 변환 방법.
    Figure 112006075851714-pat00002
KR1020060102299A 2006-10-20 2006-10-20 동영상의 프레임 레이트 변환 방법 KR100790178B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060102299A KR100790178B1 (ko) 2006-10-20 2006-10-20 동영상의 프레임 레이트 변환 방법
US11/897,393 US20080095239A1 (en) 2006-10-20 2007-08-30 Method for video frame rate conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060102299A KR100790178B1 (ko) 2006-10-20 2006-10-20 동영상의 프레임 레이트 변환 방법

Publications (1)

Publication Number Publication Date
KR100790178B1 true KR100790178B1 (ko) 2008-01-02

Family

ID=39216180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060102299A KR100790178B1 (ko) 2006-10-20 2006-10-20 동영상의 프레임 레이트 변환 방법

Country Status (2)

Country Link
US (1) US20080095239A1 (ko)
KR (1) KR100790178B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431046B1 (ko) 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329770B2 (ja) * 2007-05-08 2013-10-30 日立コンシューマエレクトロニクス株式会社 画像変換装置
US9185339B2 (en) * 2008-10-24 2015-11-10 Hewlett-Packard Development Company, L.P. Method and system for increasing frame-display rate
GB2476753B (en) * 2008-10-24 2013-07-24 Hewlett Packard Development Co Method and system for increasing frame-display rate
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010187116A (ja) * 2009-02-10 2010-08-26 Toshiba Corp 動画処理装置
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
US8995531B2 (en) * 2010-08-02 2015-03-31 Peking University Representative motion flow extraction for effective video classification and retrieval
US9247261B2 (en) * 2011-03-04 2016-01-26 Vixs Systems, Inc. Video decoder with pipeline processing and methods for use therewith
JP2013165488A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
KR20060044356A (ko) * 2004-03-17 2006-05-16 마쯔시다덴기산교 가부시키가이샤 동영상 코딩 장치
KR20060105583A (ko) * 2005-03-31 2006-10-11 가부시끼가이샤 도시바 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020011247A (ko) * 2000-08-01 2002-02-08 구자홍 디지털 텔레비젼의 화질 향상장치 및 방법
KR100457517B1 (ko) * 2002-02-19 2004-11-17 삼성전자주식회사 프레임 레이트 변환장치 및 그 방법
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033851A (ko) * 2001-10-25 2003-05-01 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
KR20060044356A (ko) * 2004-03-17 2006-05-16 마쯔시다덴기산교 가부시키가이샤 동영상 코딩 장치
KR20060105583A (ko) * 2005-03-31 2006-10-11 가부시끼가이샤 도시바 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431046B1 (ko) 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체

Also Published As

Publication number Publication date
US20080095239A1 (en) 2008-04-24

Similar Documents

Publication Publication Date Title
KR100790178B1 (ko) 동영상의 프레임 레이트 변환 방법
KR100957322B1 (ko) 다양한 모션 모델들을 사용하는 인코더 보조 프레임 레이트상향 변환
US8665952B1 (en) Apparatus and method for decoding video encoded using a temporal filter
KR101045199B1 (ko) 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치
JP4334768B2 (ja) 圧縮映像のブリージングアーチファクトを低減する方法および装置
EP1993292B1 (en) Dynamic image encoding method and device and program using the same
TWI452907B (zh) 最佳化之解區塊濾波器
US20050002458A1 (en) Spatial scalable compression
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
JP2004518342A (ja) スケーラブルビデオトランスコーディング方法及び装置
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20050105222A (ko) 비디오 부호화
KR19980017213A (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
KR20030014677A (ko) 비디오 코딩 방법 및 대응하는 인코딩 장치
KR20050085730A (ko) 탄력 저장
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP3738511B2 (ja) 動画像符号化方式
KR20100082700A (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
Vetro et al. True motion vectors for robust video transmission
KR0144295B1 (ko) 오버랩된 움직임 보상장치 및 그 방법
McVeigh et al. Partial closed‐loop versus open‐loop motion estimation for HDTV compression
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
Suh et al. Motion vector recovery for error concealment based on macroblock distortion modeling
JP2001145108A (ja) 画像情報変換装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee