KR0174462B1 - 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 - Google Patents

프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 Download PDF

Info

Publication number
KR0174462B1
KR0174462B1 KR1019950003957A KR19950003957A KR0174462B1 KR 0174462 B1 KR0174462 B1 KR 0174462B1 KR 1019950003957 A KR1019950003957 A KR 1019950003957A KR 19950003957 A KR19950003957 A KR 19950003957A KR 0174462 B1 KR0174462 B1 KR 0174462B1
Authority
KR
South Korea
Prior art keywords
frame
current frame
motion vectors
previous frame
pixel
Prior art date
Application number
KR1019950003957A
Other languages
English (en)
Other versions
KR960033137A (ko
Inventor
정해묵
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950003957A priority Critical patent/KR0174462B1/ko
Publication of KR960033137A publication Critical patent/KR960033137A/ko
Application granted granted Critical
Publication of KR0174462B1 publication Critical patent/KR0174462B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 프레임 데시메이션 기법과 특징점을 이용한 화소단위 움직임 추정 및 보상을 이용하는, 비디오 신호 부호화 및 복호화를 위한 영상처리 시스템에 관한 것으로, 이의 실현을 위해, 본 발명에 채용되는 부호화수단은, 비디오 신호로부터 이전 프레임과 현재 프레임 사이에 존재하는 양의 정수인 N개의 프레임을 스킵하면서 다수의 프레임을 선택하는 수단; 상기 이전 프레임과 현재 프레임간의 변위를 추정하고 상기 이전 프레임을 추정된 변위로 보상하여 화소단위로 예측된 현재 프레임을 제공하는 수단; 상기 현재 프레임으로부터 상기 예측된 현재 프레임을 감산하여 차분신호를 제공하고, 그 차분신호와 추정된 변위를 표시하는 제1세트의 움직임벡터를 부호화하여 부호화된 신호를 제공하는 수단을 포함하고, 또한, 복호화수단은, 부호화된 신호를 복호화하여 상기 차분신호와 제1세트의 움직임벡터를 복원하는 수단; 복원된 제1세트의 움직임벡터에 근거하여, 상기 이전 프레임과 현재 프레임간의 변위를 추정하고, 상기 이전 프레임을 추정된 변위로 보상하여 상기 예측된 현재 프레임을 복원하는 수단; 복원된 상기 예측 현재 프레임을 상기 차분신호에 가산하여 상기 현재 프레임을 복원하는 수단; 상기 이전 프레임과 복원된 상기 현재 프레임간의 N개의 스킵된 프레임을 결정하는 수단을 포함한 것이다.

Description

프레임 데시메이션(decimation)과 화소 단위 움직임 추정을 이용하는 영상 처리 시스템
제1도는 본 발명의 바람직한 실시예에 따른 현재 프레임 예측 블록을 포함한 영상 부호화기의 블록구성도.
제2도는 제1도에 도시된 현재 프레임 예측 블록의 상세한 블록구성도.
제3도는 비유사 특징점에 대한 움직임벡터를 검출하는 방법을 묘사하는 도면.
제4도는 제1도에 도시된 영상 부호화기에 상응하는 본 발명에 따른 영상복호화기의 블록구성도.
* 도면의 주요부분에 대한 부호의 설명
101 : 프레임 데시메이터 100 : 제1프레임 메모리
105 : 영상신호 부호화기 107 : 엔트로피 부호화기
113 : 영상신호 복호화기 124 : 제2프레임 메모리
150 : 현재 프레임 예측 블록 210 : 특징점 선택 블록
212 : 특징점 움직임벡터 검출 블록 214 : 현재 프레임 움직임벡터 검출 블록
216 : 움직임 보상 블록 401 : 프레임 간삽기
407 : 엔트로피 복호화기 413 : 영상신호 복호화기
424 : 프레임 메모리 450 : 현재 프레임 예측 블록
본 발명은 비디오신호를 부호화/복호화하는 영상처리 시스템에 관한 것으로, 특히 프레임 데시메이션(decimation)과 화소 단위 움직임 추정 및 보상 기법을 이용하여 비디오신호를 부호화하고 복호화하는 영상 처리 시스템에 관한 것이다.
이 기술분야에 잘 알려진 바와같이, 이산화된 화상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
한편, 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
보다 상세하게, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
통상적으로, 물체의 화소 변위를 추정하는 데에는 여러가지 접근방법이 있으며, 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록단위의 움직임 추정 방법이고 다른 하나는 화소단위의 움직임 추정방법이다.
한편, 상기한 움직임 추정방법중 블록단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블럭을 결정한 다음, 이로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 그러나, 이와같은 블록 단위 움직임 추정에서는 움직임 보상 과정에서 블록 경계에 블록킹 효과(blocking effect)가 발생할 수 있고, 각 블록내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않게 되므로서 결과적으로 부호화의 효율이 감소한다는 단점이 있다.
다른한편, 화소 단위 움직임 추정 방법을 이용하면, 변위는 각각의 화소 전부에 대해 구할 수 있으므로 화소값을 보다 더 정확히 추정할 수 있고, 또한 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는다. 그러나 이와같은 화소단위 움직임 추정 방법에서는, 움직임벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임벡터를 수신기에 전송하는 것이 실질적으로 불가능하다. 따라서, 화소 단위 움직임 추정방법의 경우 상기 한 바와 같은 점을 고려하여 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임 벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터는 특징점에 대한 움직임벡터로부터 복원될 수 있다. 본 발명은 실질적으로 이와같이 특징점을 이용한 움직임 추정에 관련된다.
한편, 동일인에 귀속된 동일자 특허출원 화소 단위 움직임추정을 이용한 영상신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation)에 개시된, 특징점을 이용한 움직임 추정을 채용하는 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 선택된 각 특징점에 대한 움직임벡터가 결정되는데, 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위가 된다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색 영역에서 찾는데, 이때 탐색 영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.
한편, 쉽게 구현할 수 있는 또다른 하나의 압축 기법으로서는 프레임 데시메이션(decimation) 방법이 있는데, 이 방법은 비디오 영상의 선택된 프레임만 부호화하여 전송하고 그 사이에 남는 프레임들은 스킵(skip)함으로서, 즉, 데시메이션함으로서 전송하고자하는 데이터의 양을 줄인다(예를 들어, Video Codec for Audiovisual Services at p×64kb/s, CCITT 권고안 H.261, CDM XV-R 37-E, International Telegraph and Telecommunication Consultative Committee(CCITT), 1990, 8월 참조).
일반적인 비디오 부호화기의 입력은 주로 30프레임/초(frame/sec)의 비디오 신호이다. 두 개의 부호화된 프레임 사이에 하나, 둘, 세 개의 프레임을 스킵하는 경우 각각의 프레임 레이트는 15,10,7.5 프레임/초가 된다.
그러므로, 상기한 바와같은 부호화기에서 부호화된 신호를 복호화하는 데 있어서, 30프레임/초의 비디오 신호를 복원하기 위해서는 스켑된 프레임을 추정하여야 하므로, 프레임 데시메이션 기법을 이용하여 전송된 원래의 비디오 신호를 복원하는 개선된 시스템이 필요하다.
따라서, 본 발명의 주 목적은 프레임 데시메이션 기법과 특징점을 이용한 화소 단위 움직임 추정 및 보상 기법을 이용하는, 비디오신호 부호화 및 복호화를 위한 영상 처리 시스템을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명은, 비디오 신호를 부호화하여 부호화된 신호를 제공하는 수단과 부호화된 신호를 복호화하여 복원된 비디오 신호를 제공하는 수단을 포함하는 영상 처리 시스템에 있어서, 상기 부호화 수단은; 상기 비디오 신호로부터 이전 프레임과 현재 프레임 사이에 존재하는 양의 정수인 N개의 프레임을 스킵하면서 다수의 프레임을 선택하는 수단; 상기 이전 프레임과 현재 프레임간의 변위를 추정하고 상기 이전 프레임을 추정된 변위로 보상하여 화소 단위로 예측된 현재 프레임을 제공하는 수단; 및 상기 현재 프레임으로부터 상기 예측된 현재 프레임을 감산하여 차분신호를 제공하고, 그 차분신호와 추정된 변위를 표시하는 제1세트의 움직임벡터를 부호화하여 부호화된 신호를 제공하는 수단을 포함하고, 상기 부호화 수단내 상기 추정 수단은; 상기 이전 프레임에 포함된 화소로부터 각각이 물체의 움직임을 대표하는 화소점인 다수의 특징점을 선택하는 수단; 상기 이전 프레임과 현재 프레임을 비교하여 각 특징점에 대한 상기 제1세트의 움직임벡터를 검출하는 수단으로서, 상기 제1세트의 움직임벡터 각각은 상기 이전 프레임의 선택된 특징점중 하나와 상기 현재 프레임의 가장 유사한 화소간의 변위인 비교수단; 상기 제1세트의 움직임벡터와 특징점에 근거하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 구하는 수단; 및 상기 이전 프레임을 상기 제2세트의 움직임벡터로 보상하여 상기 예측된 현재 프레임을 생성하는 수단을 포함하며, 상기 복호화 수단은; 부호화된 신호를 복호화하여 상기 차분신호와 제1세트의 움직임벡터를 복원하는 수단; 복원된 제1세트의 움직임벡터에 근거하여, 상기 이전 프레임과 현재 프레임간의 변위를 추정하고, 상기 이전 프레임을 추정된 변위로 보상하여 상기 예측된 현재 프레임을 복원하는 수단; 복원된 상기 예측 프레임을 상기 차분신호에 가산하여 상기 현재 프레임을 복원하는 수단; 및 상기 이전 프레임과 복원된 상기 현재 프레임간의 N 개의 스킵된 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템을 제공한다.
또한, 복호화 수단내의 상기 추정 수단은, 상기 이전 프레임에 포함된 화소에 근거하여 상기 다수의 특징점을 복원하는 수단; 복원된 상기 제1세트의 움직임벡터와 복원된 상기 특징점에 근거하여 상기 현재 프레임에 포함된 모든 화소에 대한 상기 제2세트의 움직임벡터를 복원하는 수단; 상기 이전 프레임을 복원된 상기 제2세트의 움직임벡터로 보상하여 복원된 상기 예측 현재 프레임을 생성하는 수단으로 구성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도는 본 발명에 따라 프레임 데시메이션 기법과 화소 단위 움직임 추정 및 보상 기법을 이용하는 영상신호 부호화기를 나타낸다.
입력 영상신호는 프레임 데시메이터(101)로 입력된다. 프레임 데시메이터(101)에서는 부호화하고자 하는 프레임들에서 데시메이션 정도를 나타내는 기설정된 프레임 데시메이션비(ratio)에 의거하여 소정수의 프레임을 스킵함으로서 그들 사이에 삽입된 프레임들을 선택하며, 이 선택된 프레임들은 제1프레임 메모리(100)로 입력된다.
예를들어, 기설정된 데시메이션비가 2 또는 3인 경우 각각 프레임 데시메이터(101)는 매 두 개 또는 매 세 개의 프레임중 하나를 선택한다. 제1도에 도시된 바와같이, 제1프레임 메모리(100)에 저장된 선택된 신호는 라인 L10을 통해 현재 프레임 예측 블록(150)에 연결되어 있다.
한편, 현재 프레임 예측 블록(150)에서는, 제1프레임 메모리(100)로부터 제공되는 라인 L10상의 이전 프레임과 라인 L11을 통해 제공되는 현재 프레임신호를 처리한 다음 화소단위로 현재 프레임을 예측하여 라인 L30상에 예측된 현재 프레임 신호와 라인 L20상에 특징점에 대한 일군의 움직임벡터를 생성한다. 이러한 현재 프레임 예측 블록(150)에 대해서는 첨부된 제2도와 제3도를 참조하여 상세히 설명된다.
제1도에 도시된 감산기(102)에서는 라인 L30상의 예측된 현재 프레임신호가 현재 프레임신호로부터 감산되고 그 결과 데이터, 즉, 차분 화소값을 나타내는 에러신호는 영상신호 부호화기(105)로 입력된 다음, 이산 코사인 변환(DCT) 등과 양자화 방법을 이용하여 일련의 양자화된 변환계수로 부호화된다. 그런 다음, 이후에 양자화된 변환계수는 엔트로피 부호화기(107)와 영상신호 복호화기(113)로 연결된다.
또한, 엔트로피 부호화기(107)에서는 영상신호 부호화기(105)로부터의 양자화된 변환계수와 현재 프레임 예측 블록(150)으로부터 라인 L20을 통해 입력된 움직임 벡터는, 런렝쓰(run-length) 부호화와 가변길이 부호화의 결합 등의 방법을 통해 부호화되고 전송된다. 그리고, 영상신호 복호화기(113)에서는 영상신호 부호화기(105)로부터 입력된 양자화된 변환계수들을 역양자화와 역변환을 통해 복원된 차분에러신호로 변환한다.
그런다음, 영상복호화기(113)로부터의 복원된 에러신호와 현재 프레임 예측 블록(150)으로부터의 예측된 현재 프레임신호는 가산기(115)에서 합쳐져서 복원된 현재 프레임신호가 되어 제2프레임 메모리(124)에 이전 프레임으로서 저장된다.
제2도에는 제1도에 도시된 현재 프레임 예측 블록(150)의 상세한 블록구성도가 도시되어 있다. 동도면에 있어서, 제1프레임 메모리(124)로부터 입력되는 라인 L12 상의 이전 프레임신호는 특징점 선택 블록(210), 특징점 움직임벡터 검출 블록(212) 및 움직임 보상 블록(216)으로 입력된다.
한편, 특징점 선택 블록(210)에서는 이전 프레임에 포함된 화소중 다수의 특징점이 선택된다. 여기에서, 각 특징점은 프레임내의 물체의 움직임을 대표할 수 있는 화소로 정의된다. 그리고, 특징점 선택 블록(21)으로 부터의 선택된 특징점은 특징점 움직임벡터 검출 블록(212)과 현재 프레임 움직임벡터 검출 블록(214)으로 입력된다. 그리고, 특징점 움직임벡터 검출 블록(212)에서는 선택된 특징점에 대한 제1일세트의 움직임벡터를 검출한다. 여기에서, 제1세트의 움직임벡터 각각은 이전 프레임의 특징점과 현재 프레임에서 가장 유사한 화소간의 변위이다.
그런다음, 모든 특징점에 대해 움직임벡터를 검출한 후에는 제1세트의 움직임벡터는 라인 L20을 통해 현재 프레임 움직임벡터 검출 블록(214)고 엔트로피 부호화기(107)(제1도에 도시되어 있음)에 입력된다. 현재 프레임 움직임벡터 검출 블록(214)에서는 제1세트의 움직임벡터와 특징점 선택 블록(210)으로부터의 특징점을 이용하여 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 결정한다.
따라서, 제1세트의 움직임벡터를 결정하기 위해서는 우선, 유사 특징점에 대한 움직임벡터를 먼저 결정하는데 각각의 유사 특징점은 이전 프레임의 특징점 각각으로부터 해당 제1군 움직임벡터 각각 만큼 이동한 현재 프레임의 화소점을 나타낸다. 이때, 유사 특징점의 움직임벡터의 크기는 해당 특징점의 움직임벡터와 같고 그 두 움직임벡터의 방향은 반대이다. 그런다음, 모든 유사 특징점에 대한 움직임벡터를 결정한 후에는 현재 프레임의 나머지 화소들인 비유사 특징점에 대한 움직임벡터를 다음과 같이 결정한다.
즉, 제3도에 도시된 바와같이, 다수의 유사 특징점이 현재 프레임 전체에 불규칙적으로 분포해 있다. 여기에서, 별표시된 비유사 특징점에 대한 움직임벡터는 반지름 dr+da의 원의 경계에 포함되는 유사 특징점들의 움직임벡터를 평균함으로서 구해지는데, 이때 da는 가장 가까운 유사 특징점과 별표한 화소위치와의 거리이고, dr은 움직임벡터 계산에 이용되는 다른 유사특징점을 포함하도록 확장된 기설정된 반지름이다. 예를들어, 가장 가까운 유사 특징점이 Y이고 유사 특징점 X 가 dr+da의 경계에 포함된다면, 별표한 화소에 대한 움직임벡터 (MVx, MVy)는 다음과 같이 계산된다.
여기에서,와는 각각 별표된 화소위치로부터 유사 특징점 X 와 Y 까지의 거리이고, (MVx, MVy)X와 (MVx, MVy)Y는 각각 유사 특징점에 대한 움직임 벡터들이다.
제2도를 다시 참조하면, 유사 특징점과 비유사 특징점에 대한 제2세트의 움직임벡터는 움직임 보상 블록(216)으로 제공된다. 움직임 보상 블록(216)에서는 제2세트 움직임벡터 각각을 이용하여 제2프레임 메모리(124)(제1도에 도시됨)로부터 예측된 현재 프레임에 포함될 각각의 화소들을 인출한다.
제4도는 상술한 바와같은 부호화기에 상응하는 본 발명에 따른 복호화기를 나타낸다. 비디오 부호화기로부터 전송된 신호는 엔트로피 복호화기(407)를 통해 입력되는데, 여기에서는 전송된 신호가 라인 L40 상의 제1세트의 움직임벡터와 라인 L42 상의 양자화된 변환계수로 복호화된다. 또한, 움직임벡터는 현재 프레임 예측블럭(450)과 프레임 간삽기(401)에 제공되고, 양자화된 변환계수는 영상신호 복호화기(413)로 입력된다. 여기에서, 영상신호 복호화기(413)는 양자화된 변환계수들을 역양자화와 역변환을 통해 복원된 차분 에러신호로 변환한다.
한편, 현재 프레임 예측 블록(450)은 단지 프레임 메모리(424)에 저장된 이전의 프레임 신호와 엔트로피 복호화기(407)로부터의 제1세트의 움직임벡터에 근거하여 예측된 현재 프레임신호를 제공한다는 점을 제외하고는 제1도에 도시된 비디오 부호화기내의 그것과 실질적으로 거의 동일한 기능을 수행한다.
따라서, 현재 프레임 예측 블록(450)은 실질적으로 제2도와 비슷한 구조를 갖는데, 다만 제2도에 도시된 특징점 움직임벡터 검출 블록(212)과 같은 움직임보상기는 채용되지 않는다. 이것은 제1군의 움직임벡터가 부호화기로부터 전송되어 라인 L40 상에 제공되기 때문이다.
한편, 복호화기의 특징점 선택 블록에서는 부호화기에서와 비슷한 방법으로 복호화기에서 복호화되어 저장된 이전 프레임으로부터 특징점을 복원한다. 또한, 복호화기의 현재 프레임 움직임벡터 검출 블록에서는 현재 프레임에 포함된 모든 화소에 대한 제2군의 움직임벡터가 제1군의 움직임벡터와 특징점을 이용하여 추정한다. 그리고, 복호화기의 움직임 보상 블록에서는 이전 프레임의 화소에 대해 제2세트 움직임벡터 각각만큼 이용하여 예측된 현재 프레임에 포함될 화소를 결정한다.
다른 한편, 영상신호 복호화기(413)로부터의 복원된 에러신호와 현재 프레임 예측 블록(450)으로부터의 라인 L30 상의 예측된 현재 프레임신호는 가산기(415)를 통해 가산된 다음 복원된 현재 프레임신호로서 프레임 메모리(424)에 제공된다. 그런 다음, 이와같이 복원된 프레임이 후술하는 바와같이 프레임 간삽기(401)에 제공되므로서, 프레임 간삽기(401)에서는 엔트로피 복화하기(407)로부터의 제1세트의 움직임벡터를 이용하여 현재 프레임과 이전 프레임간의 N 개의 스킵된 프레임이 복원된다.
즉, 이전 프레임과 현재 프레임 사이의 i 번째 프레임을 복원하기 위해서는 다수의 움직임벡터와 해당하는 수의, i 번째 스킵된 프레임의 화소점이 우선 결정되는데, 이때 다수의 움직임벡터와 해당하는 수의 화소점 각각은 제1군의 움직임벡터 각각에 대응하는 것이고, 작은 i 값은 이전 프레임에 가까운 프레임을 표시하는 것이다.
여기에서, N 개의 스킵된 프레임의 움직임벡터와 화소점들을 결정하는데 있어서 두 프레임 사이의 움직임은 그 사이의 시간차에 비례하는 것으로 가정한다. 이 가정에 기초하여 볼 때, i 번째 스킵된 프레임의 각 화소점은 이전 프레임의 각 특징점을 해당 제1군의 움직임벡터 곱하기 i/(N+1) 만큼 이동시킴으로서 얻어진다. 그리고 난후, 이전 프레임과 i 번째 프레임간의 각각의 움직임벡터는 이전 프레임의 해당 특징점의 움직임벡터에 i/(N+1)을 곱함으로서 구한다. 또한, i 번째 스킵된 프레임의 나머지 화소들에 대한 움직임벡터는 상기한 i 번째 프레임의 다수의 움직임벡터와 화소점을 이용하여 제2도와 제3도를 참조하여 설명된 것과 같은 방법으로 결정한다. 그런다음, i 번째 프레임의 화소값은 i 번째 프레임의 화소에 대한 움직임벡터와 이전 프레임으로부터 쉽게 결정할 수 있다.
상기와 유사한 방법으로, 현재 프레임을 이용하여 i 번째 프레임을 복원할 수도 있다. 이 경우에 있어서, i 번째 스킵된 프레임의 각 화소점은 현재 프레임의 각 특징점을 해당 움직임벡터 곱하기(N+1-i)/(N+1) 만큼 이동함으로서 결정되고, 현재 프레임과 i 번째 스킵된 프레임간의 움직임벡터는 현재 프레임의 해당 움직임벡터에 (N+1-i)/(N+1)을 곱함으로서 계산된다. 여기에서, 스킵된 프레임은 이전 프레임과 현재 프레임중 기간적으로 가까운 프레임을 이용하여 복원하는 것이 유리하다.
이상 설명한 바와같이, 본 발명에 따르면, 스킵된 프레임에 대하여 이전 프레임과 현재 프레임중 시간적으로 가까운 프레임을 이용함으로서 영상신호의 효율적인 복원이 가능하다.

Claims (4)

  1. 비디오 신호를 부호화하여 부호화된 신호를 제공하는 수단과 부호화된 신호를 복호화하여 복원된 비디오 신호를 제공하는 수단을 포함하는 영상 처리 시스템에 있어서, 상기 부호화 수단은; 상기 비디오 신호로부터 이전 프레임과 현재 프레임 사이에 존재하는 양의 정수인 N 개의 프레임을 스킵하면서 다수의 프레임을 선택하는 수단; 상기 이전 프레임과 현재 프레임간의 변위를 추정하고 상기 이전 프레임을 추정된 변위로 보상하여 화소 단위로 예측된 현재 프레임을 제공하는 수단; 및 상기 현재 프레임으로부터 상기 예측된 현재 프레임을 감산하여 차분신호를 제공하고, 그 차분신호와 추정된 변위를 표시하는 제1세트의 움직임벡터를 부호화하여 부호화된 신호를 제공하는 수단을 포함하고, 상기 부호화 수단내 상기 추정 수단은; 상기 이전 프레임에 포함된 화소로부터 각각이 물체의 움직임을 대표하는 화소점인 다수의 특징점을 선택하는 수단; 상기 이전 프레임과 현재 프레임을 비교하여 각 특징점에 대한 상기 제1세트의 움직임벡터를 검출하는 수단으로서, 상기 제1세트의 움직임벡터 각각은 상기 이전 프레임의 선택된 특징점중 하나와 상기 현재 프레임의 가장 유사한 화소간의 변위인 비교수단; 상기 제1세트의 움직임벡터와 특징점에 근거하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 구하는 수단; 및 상기 이전 프레임을 상기 제2세트의 움직임벡터로 보상하여 상기 예측된 현재 프레임을 생성하는 수단을 포함하여, 상기 복호화 수단은; 부호화된 신호를 복호화하여 상기 차분신호와 제1세트의 움직임벡터를 복원하는 수단; 복원된 제1세트의 움직임벡터에 근거하여, 상기 이전 프레임과 현재 프레임 간의 변위를 추정하고, 상기 이전 프레임을 추정된 변위로 보상하여 상기 예측된 현재 프레임을 복원하는 수단; 복원된 상기 예측 현재 프레임을 상기 차분신호에 가산하여 상기 현재 프레임을 복원하는 수단; 및 상기 이전 프레임과 복원된 상기 현재 프레임간의 N개의 스킵된 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템.
  2. 제1항에 있어서, 상기 복호화 수단내의 상기 추정 수단은, 상기 이전 프레임에 포함된 화소에 근거하여 상기 다수의 특징점을 복원하는 수단; 복원된 상기 제1세트의 움직임벡터와 복원된 상기 특징점에 근거하여 상기 현재 프레임에 포함된 모든 화소에 대한 상기 제2세트의 움직임벡터를 복원하는 수단; 상기 이전 프레임을 복원된 상기 제2세트의 움직임벡터로 보상하여 복원된 상기 예측 현재 프레임을 생성하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템.
  3. 제2항에 있어서, 상기 N 개의 스킵된 프레임을 결정하는 수단은, 상기 다수의 움직임벡터와 i 번째 스킵된 프레임의 상응하는 수의 화소점을 결정하는 수단으로서, 상기 i 번째 스킵된 프레임의 상응하는 수의 화소점 각각은 상기 이전 프레임의 상기 특징점 각각을 상기 이전 프레임의 해당 특징점 각각 곱하기 i/(N+1) 만큼 이동함으로서 결정하고, 상기 i 번째 프레임의 상응하는 수의 화소점 각각과 상기 이전 프레임의 각각의 특징점간의 움직임벡터는 상기 제1세트의 움직임벡터 각각에 i/(N+1)을 곱함으로서 결정하는 수단; 상기 i 번째 스킵된 프레임에 포함된 모든 화소에 대한 움직임벡터를 상기 다수의 움직임벡터와 상기 i 번째 스킵된 프레임의 상응하는 수의 화소점을 이용하여 결정하여 상기 i 번째 프레임을 제공하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템.
  4. 제2항에 있어서, 상기 N 개의 스킵된 프레임을 결정하는 수단은, 상기 다수의 움직임벡터와 상기 i 번째 스킵된 프레임의 상응하는 수의 화소점을 결정하는 수단으로서, 상기 i 번째 스킵된 프레임의 상응하는 수의 화소점 각각은 상기 현재 프레임의 특징점 각각을 상기 복원된 현재 프레임의 해당 특징점 각각 곱하기(N+1-i)/(N+1) 만큼 이동함으로서 결정하고, 상기 i 번째 프레임의 상응하는 수의 화소점 각각과 복원된 상기 현재 프레임의 각각의 특징점간의 움직임벡터는 상기 제1세트의 움직임벡터 각각에 (N+1-i)/(N+1)을 곱함으로서 결정하는 수단; 상기 i 번째 스킵된 프레임에 포함된 모든 화소에 대한 움직임벡터를 상기 다수의 움직임벡터와 상기 i 번째 스킵된 프레임의 상응하는 수의 화소점을 이용하여 결정하여 상기 i 번째 프레임을 제공하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템.
KR1019950003957A 1995-02-28 1995-02-28 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 KR0174462B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950003957A KR0174462B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950003957A KR0174462B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템

Publications (2)

Publication Number Publication Date
KR960033137A KR960033137A (ko) 1996-09-17
KR0174462B1 true KR0174462B1 (ko) 1999-03-20

Family

ID=19408913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950003957A KR0174462B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템

Country Status (1)

Country Link
KR (1) KR0174462B1 (ko)

Also Published As

Publication number Publication date
KR960033137A (ko) 1996-09-17

Similar Documents

Publication Publication Date Title
KR0181027B1 (ko) 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5619281A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US5453801A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
KR0171118B1 (ko) 비디오신호 부호화 장치
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
EP0637894B1 (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
US5654761A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5627591A (en) Image processing system using a pixel-by-pixel motion estimation based on feature points
JP3681784B2 (ja) 映像信号符号化装置
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5625417A (en) Image processing system using a feature point-based motion estimation
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR0171152B1 (ko) 초저속 전송을 위한 영상처리 시스템
KR0171122B1 (ko) 움직임 보상오차를 이용한 선택적 부호화장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
KR100200227B1 (ko) 동영상 부호화장치
KR0171153B1 (ko) 움직임 보상오차를 이용한 동영상 부호화 장치
KR0174448B1 (ko) 영역 단위 움직임 벡터를 이용한 움짐임 보상 영상 신호 부호화 장치 및 방법과 움직임 보상 영상 신호 복호화 장치 및 방법
KR100200226B1 (ko) 초저속 전송을 위한 영상처리 장치
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee