KR19990074806A - 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 - Google Patents

격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 Download PDF

Info

Publication number
KR19990074806A
KR19990074806A KR1019980008637A KR19980008637A KR19990074806A KR 19990074806 A KR19990074806 A KR 19990074806A KR 1019980008637 A KR1019980008637 A KR 1019980008637A KR 19980008637 A KR19980008637 A KR 19980008637A KR 19990074806 A KR19990074806 A KR 19990074806A
Authority
KR
South Korea
Prior art keywords
block
padding
texture
field
undefined
Prior art date
Application number
KR1019980008637A
Other languages
English (en)
Other versions
KR100285599B1 (ko
Inventor
이상훈
Original Assignee
전주범
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1019980008637A priority Critical patent/KR100285599B1/ko
Application filed by 전주범, 대우전자 주식회사 filed Critical 전주범
Priority to PCT/KR1998/000122 priority patent/WO1999048298A1/en
Priority to ES08004286T priority patent/ES2380502T3/es
Priority to EP20080004286 priority patent/EP1940177B1/en
Priority to ES08004285T priority patent/ES2380501T3/es
Priority to AU74562/98A priority patent/AU762187B2/en
Priority to EP19980921904 priority patent/EP1076998B1/en
Priority to EP20080004285 priority patent/EP1933567B1/en
Priority to ES98921904T priority patent/ES2380590T3/es
Priority to US09/088,375 priority patent/US6259732B1/en
Priority to CNB981023681A priority patent/CN1159915C/zh
Priority to JP16235598A priority patent/JPH11298901A/ja
Publication of KR19990074806A publication Critical patent/KR19990074806A/ko
Application granted granted Critical
Publication of KR100285599B1 publication Critical patent/KR100285599B1/ko
Priority to AU2003244627A priority patent/AU2003244627B2/en
Priority to US12/131,712 priority patent/USRE41383E1/en
Priority to US12/131,723 priority patent/USRE41951E1/en
Priority to US12/819,209 priority patent/USRE43129E1/en
Priority to US12/819,210 priority patent/USRE43130E1/en
Priority to US12/819,208 priority patent/USRE43061E1/en
Priority to US12/819,207 priority patent/USRE43060E1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Generation (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

본 발명은 하이브리드 부호화 기법을 이용하여 격행 텍스쳐 정보를 부호화할 때, 재구성된 이전 프레임의 텍스쳐 화소값들중 움직임 추정에 필요로하는 정의(define)되지 않은 이전 텍스쳐 화소값들을 효과적으로 패딩할 수 있도록 한 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 기법에 관한 것으로, 이를 위하여 본 발명은, 움직임 추정 및 보상을 위해 복원된 텍스쳐 영상의 경계 블록을 이루는 상부 및 하부 필드 블록내에 존재하는 미정의된 화소값들을 패딩하고, 또한 패딩된 경계 블록에 인접하는 미정의된 인접 블록들을 패딩함으로써, 움직임을 추정하고자하는 현재 상부 필드 블록 및 현재 하부 필드 블록에 대한 효과적인 움직임 추정 및 보상을 실현할 수 있다. 따라서, 본 발명은 격행 영상에 포함되는 격행 텍스쳐 정보에 대해 필드 단위의 고정밀한 움직임 추정을 실현할 수 있어 격행 부호화에서 발생하는 텍스쳐 정보의 부호화 효율을 더욱 증진시킬 수 있는 것이다.

Description

격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및 그 패딩 방법
본 발명은 영상신호를 저전송율로 압축 부호화하는 물체 기반 부호화 기법에서 물체의 내용 정보를 이루는 텍스쳐 정보를 부호화하는 기법에 관한 것으로, 더욱 상세하게는 하이브리드 부호화 기법을 채용하는 격행 텍스쳐 부호화에서 움직임 추정에 필요한 이전 프레임내 텍스쳐 정보를 패딩하는 데 적합한 텍스쳐 패딩 장치 및 그 패딩 방법에 관한 것이다.
일반적으로, 영상 전화, 원격 회의(teleconference) 시스템 및 고선명 텔레비전 시스템 등과 같은 디지탈 텔레비전 시스템에 있어서, 영상 프레임 신호의 영상 라인 신호는 화소값이라 불리는 디지탈 데이터를 포함하므로 각 영상 프레임 신호를 규정하기 위해서는 상당한 양의 디지탈 데이터가 필요하다.
그러나, 통상의 전송 채널에서 이용 가능한 주파수 대역폭은 제한되어 있으므로, 특히 영상 전화, 원격 회의 시스템 등과 같이 저전송률을 필요로하는 영상 신호 부호화기(low bit-rate video signal encoder)에서는 다양한 데이터 압축 기법을 통해 전송되는 데이터의 양을 줄여야 한다.
이러한 저전송률을 실현하기 위한 하나의 기법으로서는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis - synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, "Object - Oriented Analysis - Synthesis Coding Based on Moving Two - Dimentional Objects", Signal Processing : Image Communication 2, pp.409-428(December, 1990)에 개시되어 있다.
상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 형상 및 내용 정보(즉, 화소 밝기 정보) 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 프레임내 텍스쳐 정보(밝기 정보)의 부호화를 위한 움직임 추정 기법에 관련된다.
한편, 연속되는 영상의 경우 시간축상으로 많은 상관성(redundancy)을 포함하는 데, 물체 기반 부호화에서 이용되는 텍스쳐 정보(밝기 정보)도 마찬가지로 연속되는 두 영상의 텍스쳐 정보간에 어느 정도의 상관성을 포함한다. 따라서, 동영상의 텍스쳐 정보를 효과적으로 부호화하기 위해서는 시간축상으로 존재하는 텍스쳐간의 상관성을 최대로 이용할 필요가 있다.
따라서, 영상의 텍스쳐 정보들은 프레임내 또는 프레임간 상관성을 고려한 하이브리드 부호화 기법을 통해 부호화, 즉 현재 프레임과 재구성된 이전 프레임간의 N×N 블록(예를들면, 8×8 또는 16×16 등) 단위의 움직임 추정, 보상을 통해 얻어지는 에러신호(또는 오차신호)를 DCT, 양자화 및 가변 길이 부호화 등의 기법을 적용하여 부호화된다.
다른한편, 프레임을 기반으로하여 물체의 움직임을 추정하는 순행 부호화 기법, 즉 1/30초 단위로 대상 물체에 대한 프레임을 생성하여 움직임 추정 및 보상을 통해 물체의 내용 정보인 텍스쳐를 부호화하는 전형적인 순행 부호화 기법과는 달리, 대상 물체에 대해 필드 단위로 움직임을 추정, 즉 1/60초 필드 단위로 촬상하여 얻은 두 필드(상부 필드 및 하부 필드) 영상을 합성하여 프레임 영상(즉, 격행(Interlace) 영상)을 재구성하고, 이 재구성된 격행 영상의 텍스쳐 정보에 대해 움직임 추정을 통해 부호화하는 경우 보다 미세한 움직임의 추정, 즉 표현이 가능하게 될 것이다. 여기에서, 격행 영상이란 격행 카메라를 통해 각각 촬상한 두 필드 영상(상부 필드 영상 및 하부 필드 영상)을 한 라인씩 순차 배열하여 얻은 영상을 의미한다.
특히, 격행 영상에 포함되는 격행 텍스쳐 정보를 필드 단위(즉, 상부 필드 및 하부 필드)로 분할하여 부호화를 위한 움직임 추정을 수행(격행 부호화 기법)하는 경우 보다 고정밀한 움직임 추정을 실현할 수 있을 것이며, 이러한 고정밀한 움직임 추정을 통해 격행 부호화에서 텍스쳐 정보의 부호화 효율을 더욱 증진시킬 수 있을 것이다. 따라서, 최근 들어서는 이러한 동영상 물체 기반 부호화 기법에 상기한 바와같은 격행 영상 부호화 기법을 도입하려는 연구가 도처에서 진행되고 있다.
그러나, 격행 영상에 포함되는 격행 형상(shape) 정보를 부호화하는 기법에 대해서는 도처에서 그 연구가 활발하게 진행되고 있는 실정이나, 격행 영상에 포함되는 격행 텍스쳐 정보를 필드 단위로 분할하고 이 분할된 필드 단위 텍스쳐 정보에 대해 움직임 추정 및 보상을 통해 부호화하는 격행 텍스쳐 영상 부호화 기법에 대해서는 현재 전혀 알려진 바가 없는 실정이다. 따라서, 격행 영상에 대한 부호화의 효율을 증진시키기 위해서는 격행 형상 정보 뿐만 아니라 격행 텍스쳐 정보에 대한 효율적인 부호화 기법의 출현이 절실한 실정이다.
따라서, 본 발명은 상기한 점에 착안하여 안출한 것으로, 하이브리드 부호화 기법을 이용하여 격행 텍스쳐 정보를 부호화할 때, 재구성된 이전 프레임의 텍스쳐 화소값들중 움직임 추정에 필요로하는 정의(define)되지 않은 이전 텍스쳐 화소값들을 효과적으로 패딩할 수 있는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치를 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 격행 텍스쳐 영상의 부호화를 위한 움직임 추정을 위해 재구성된 이전 프레임내 정의되지 않은 화소값들중 움직임 추정에 필요한 미정의 화소값들을 적응적으로 패딩할 수 있는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 격행 영상에 존재하는 격행 텍스쳐 신호를 포함하는 현재 프레임 신호를 공간축상의 상관도와 시간축상의 상관도를 이용하여 압축 부호화하는 수단, 상기 부호화된 프레임 신호를 부호화전의 원신호로 복원하여 이전 프레임 신호를 발생하는 수단 및 현재 프레임내 N×N 현재 블록과 복원된 이전 프레임내 Q×Q 탐색 영역내 다수의 N×N 후보 블록들간의 블록 매칭을 수행하여 예측 프레임을 생성하는 움직임 추정 및 보상 수단을 구비한 텍스쳐 부호화 시스템에서 움직임 추정을 위한 이전 프레임의 텍스쳐 신호를 패딩하는 장치에 있어서, 상기 텍스쳐 부호화 시스템은, 상기 N×N 현재 블록을 각 M×N의 상부 필드 블록 및 하부 필드 블록으로 분할하고, 이 분할된 각 필드 블록 단위로 움직임 추정 및 보상을 이용하는 텍스쳐 부호화를 수행하며, 상기 패딩 장치는: 복원된 격행 텍스쳐 신호로 된 상기 복원된 이전 프레임내 각 N×N 이전 블록이 정의된 텍스쳐 화소와 미정의된 화소를 갖는 경계 블록인지 정의된 텍스쳐 화소들로 된 내부 블록인지의 여부를 검출하는 경계 블록 검출 블록; 상기 N×N 이전 블록이 경계 블록일 때, 상기 경계 블록을 홀수행 화소들로 된 상부 필드 블록과 짝수행 화소들로 된 하부 필드 블록으로 구분하고, 각 필드 블록별로 존재하는 미정의된 화소값들을 해당 필드 블록내 정의된 화소값들을 이용하여 패딩하며, 상기 구분된 두 필드 블록중 어느 한 필드 블록이 미정의된 화소들로 된 미정의된 필드 블록일 때 다른 정의된 필드 블록내 화소값들을 이용하여 상기 미정의된 필드 블록내 화소값들을 패딩함으로써, 상기 경계 블록에 대응하는 패딩 경계 블록을 생성하는 경계 블록 패딩 블록; 상기 움직임 추정을 위해 기설정되는 탐색 영역을 생성하기 위하여, 상기 생성된 패딩 경계 블록에 인접하는 미정의된 화소들로 된 미정의 인접 블록내 각 화소값들을 상기 생성된 패딩 경계 블록내 화소값들을 이용하여 패딩함으로서, 상기 패딩 경계 블록에 인접하는 패딩 인접 블록을 생성하는 인접 블록 패딩 블록; 상기 검출된 내부 블록, 생성된 패딩 경계 블록 및 생성된 패딩 인접 블록을 이용하여, 상기 복원된 이전 프레임에 대응하는 재구성된 이전 프레임을 구성하는 프레임 재구성 블록; 및 움직임을 추정하고자 하는 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대응하는 Q×Q 탐색 영역을 결정하고, 이 Q×Q 탐색 영역을 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역으로 분할하여 상기 움직임 추정 및 보상 수단에 제공하는 탐색 영역 결정 블록으로 이루어진 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치를 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 격행 영상에 존재하는 격행 텍스쳐 신호를 포함하는 현재 프레임 신호를 공간축상의 상관도와 시간축상의 상관도를 이용하여 압축 부호화하고, 상기 부호화된 프레임 신호를 부호화전의 원신호로 복원하여 이전 프레임 신호를 발생하며, 현재 프레임내 현재 블록과 복원된 이전 프레임내 탐색 영역내 다수의 후보 블록들간의 블록 매칭을 수행하여 예측 프레임을 생성하는 텍스쳐 부호화 시스템에서 움직임 추정을 위해 이전 프레임의 텍스쳐 신호를 패딩하는 방법에 있어서, 상기 텍스쳐 부호화 시스템은, 상기 N×N 현재 블록을 각 M×N의 상부 필드 블록 및 하부 필드 블록으로 분할하고, 이 분할된 각 필드 블록 단위로 움직임 추정 및 보상을 이용하는 텍스쳐 부호화를 수행하며, 상기 패딩 방법은: 복원된 격행 텍스쳐 신호를 포함하는 복원된 이전 프레인내 N×N 이전 블록이 텍스쳐 신호의 경계 부분에 위치하는 경계 블록인지의 여부를 체크하는 제 1 과정; 상기 N×N 이전 블록이 경계 블록일 때, 상기 경계 블록을 홀수행 화소들로 된 상부 필드 블록과 짝수행 화소들로 된 하부 필드 블록으로 구분하고, 각 필드 블록별로 존재하는 미정의된 화소값들을 해당 필드 블록내 정의된 화소값들을 이용하여 1차 패딩하는 제 2 과정; 상기 구분된 두 필드 블록중 어느 한 필드 블록이 미정의된 화소들로 된 미정의된 필드 블록인지의 여부를 체크하고, 체크 결과 어느 한 필드 블록이 미정의된 필드 블록일 때 다른 정의된 필드 블록내 화소값들을 이용하여 상기 미정의된 필드 블록내 화소값들을 2차 패딩하는 제 3 과정; 상기 1차 패딩 또는 2차 패딩을 통해 생성되는 패딩 경계 블록에 인접하는 미정의된 화소들로 된 미정의 인접 블록내 각 화소값들을 상기 생성된 패딩 경계 블록내 화소값들을 이용해 패딩하여 상기 패딩 경계 블록에 인접하는 패딩 인접 블록을 생성함으로써, 움직임 추정 및 보상을 위한 탐색 영역을 형성하는 제 4 과정; 상기 내부 블록, 생성된 패딩 경계 블록 및 생성된 패딩 인접 블록을 이용하여, 상기 복원된 이전 프레임에 대응하며 상기 움직임 추정 및 보상에 이용되는 재구성된 이전 프레임을 구성하는 제 5 과정; 상기 재구성된 이전 프레임내에서 움직임을 추정하고자 하는 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대응하는 기설정된 Q×Q 탐색 영역을 결정하는 제 6 과정; 및 상기 결정된 Q×Q 탐색 영역을 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역으로 분할하고, 이 분할된 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역을 상기 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대한 탐색 영역으로 제공하는 제 7 과정으로 이루어진 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 방법을 제공한다.
도 1은 본 발명에 따른 격행 부호화에서 움직임 추정을 위한 텍스쳐 패딩 장치를 적용하는 데 적합한 전형적인 텍스쳐 부호화 시스템의 블록구성도,
도 2는 본 발명의 바람직한 실시예에 따른 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치의 블록구성도,
도 3은 움직임 추정 및 보상을 위한 이전 프레임의 생성을 위해 필드 단위 블록의 에러신호로 부호화된 신호와 예측 필드 블록을 가산하여 복원된 하나의 프레임 단위 블록을 구성하는 예를 도시한 도면,
도 4는 텍스쳐의 블록이 경계 부분에 위치하는 경계 블록일 때 이를 패딩하는 일예를 도시한 도면,
도 5는 한 프레임내 다수의 물체가 존재할 때 탐색 영역의 생성을 위해 텍스쳐의 경계 블록에 인접하는 미정의된(undefined) 블록들을 패딩하는 일예를 도시한 도면,
도 6은 현재 프레임내 현재 상부 필드 및 현재 하부 필드와 이에 대응하는 재구성된 이전 프레임내 탐색 영역을 분리한 상부 탐색 영역 및 하부 탐색 영역간의 움직임 추정을 설명하기 위해 도시한 도면.
＜도면의 주요부분에 대한 부호의 설명＞
102 : 프레임 분할 블록 104 : 감산기
106 : 텍스쳐 부호화 블록 108 : VLC 블록
110 : 텍스쳐 복원 블록 112 : 가산 블록
114 : 이전 프레임 처리 블록 116 : 움직임 추정 블록
118 : 움직임 보상 블록 202 : 프레임 메모리
204 : 경계 블록 검출 블록 206 : 경계 블록 패딩 블록
208 : 인접 블록 패딩 블록 210 : 프레임 재구성 블록
212 : 탐색 영역 결정 블록
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 1은 본 발명에 따른 격행 부호화에서 움직임 추정을 위한 텍스쳐 패딩 장치를 적용하는 데 적합한 전형적인 텍스쳐 부호화 시스템의 블록구성도를 나타낸다.
동도면에 도시된 바와같이, 텍스쳐 부호화 시스템은 프레임 분할 블록(102), 감산기(104), 텍스쳐 부호화 블록(106), VLC 블록(108), 텍스쳐 복원 블록(110), 가산 블록(112), 이전 프레임 처리 블록(114), 움직임 추정 블록(116) 및 움직임 보상 블록(118)을 포함한다.
도 1을 참조하면, 먼저, 프레임 분할 블록(102)에는 도시 생략된 텍스쳐 검출 수단을 통해 검출된 부호화하고자 하는 현재 격행 프레임에 대한 격행 텍스쳐 정보(즉, 밝기 정보)가 저장되며, 이와같이 저장된 격행 텍스쳐 프레임은 상부 필드와 하부 필드로 분할, 예를들어 현재 블록이 16×16의 매크로 블록이라고 가정할 때 이 16×16의 현재 블록은 홀수행의 화소값들로 구성되는 8×16의 상부 필드 블록과 짝수행의 화소값들로 구성되는 8×16의 하부 필드 블록으로 분할되며, 여기에서 각각 분할되는 각 블록의 상부 필드 블록 및 하부 필드 블록은 라인 L11을 통해 감산기(104) 및 움직임 추정 블록(116)으로 순차 제공된다.
또한, 감산기(104)에서는 라인 L11 을 통해 프레임 분할 블록(102)으로 부터 제공되는 현재 프레임의 텍스쳐 신호(즉, 분할된 상부 필드 블록 및 하부 필드 블록들)와 후에 상세하게 기술되는 움직임 보상 블록(118)으로부터 라인 L16 을 통해 제공되는 현재 프레임의 텍스쳐와 재구성된 이전 프레임의 이전 텍스쳐간의 움직임 추정, 보상을 통해 얻어진 예측 텍스쳐 신호(즉, 예측 프레임 신호)를 감산하며, 그 결과 데이터, 즉 텍스쳐간의 차분화소값을 나타내는 에러신호(또는 오차신호)는 다음단의 텍스쳐 부호화 블록(106)에 제공된다.
다음에, 텍스쳐 부호화 블록(106)에서는 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들을 이용함으로서, 감산기(104)로부터 제공되는 텍스쳐 정보 에러신호를 일련의 양자화된 DCT 변환계수들로 부호화한다. 이때, 도 1에서의 도시는 생략되었으나, 텍스쳐 부호화 블록(106)에서는 DCT를 위한 화소값 패딩, 즉 텍스쳐 경계 부분에 위치하는 경계 블록에서 나타나는 정의되지 않은 화소값들을 패딩하며, 또한 패딩 및 DCT를 통해 얻어진 DCT 변환 계수들에 대한 양자화는 출력측 전송 버퍼로 부터 제공되는 데이타 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.
또한, 텍스쳐 부호화 블록(106)은 그 부호화를 필드 블록 단위로 수행, 예를들어 8×16의 현재 상부 필드 블록에 대한 에러신호가 제공되면, 이를 두 개의 8×8 DCT 블록으로 변환하여 부호화를 수행하고, 현재 상부 필드 블록에 대응하는 8×16의 현재 하부 필드 블록에 대한 에러신호가 제공되면, 두 개의 8×8 DCT 블록으로 변환하여 부호화를 수행하며, 여기에서 발생되는 각 필드 블록(상부 필드 블록 또는 하부 필드 블록)에 대응하는 양자화된 DCT 변환계수들은 라인 L12를 통해 가변 길이 부호화 블럭(108)과 텍스쳐 복원 블럭(110)으로 각각 제공된다.
이때, 가변 길이 부호화 블럭(108)에 제공되는 양자화된 DCT 변환계수들은 라인 L15를 통해 후술되는 움직임 추정 블록(116)으로부터 제공되는 다수의 코드 신호들 및 움직임 벡터 세트들과 함께 가변길이 부호화된 다음 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다. 따라서, 도시 생략된 전송기에서는 텍스쳐 부호화 시스템을 통해 부호화된 텍스쳐 정보와 다른 부호화 처리 경로를 통해 부호화된 형상 정보를 다중화하여 전송 채널로 전송하게 될 것이다.
한편, 텍스쳐 부호화 블럭(106)으로부터 텍스쳐 복원 블럭(110)에 제공되는 라인 L12 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호(즉, 텍스쳐 에러신호)로 변환되어 다음단의 가산 블록(112)에 제공되는 데, 가산 블록(112)에서는 텍스쳐 복원 블록(110)으로부터 제공되는 복원된 프레임 신호(즉, 텍스쳐 에러신호)와 라인 L16 을 통해 후술되는 움직임 보상 블럭(118)으로 부터 제공되는 예측 프레임 신호를 가산하여 재구성된 이전 프레임의 텍스쳐 신호를 생성하며, 이와같이 재구성된 이전 프레임의 텍스쳐 신호는 이전 프레임 처리 블록(114)에 저장되어 움직임 추정 및 보상을 위한 이전 프레임으로써 이용된다.
이때, 일예로서 16×16의 현재 블록(a3)이 텍스쳐의 경계 부분에 위치하는 경계 블록으로써 도 3a에 도시된 바와 같다고 가정할 때, 이 현재 블록을 분할하여 얻은 상부 필드 블록 및 하부 필드 블록의 부호화한 후에 복원하여 재구성하면, 즉 가산 블록(112)에서 출력되는 재구성된 상부 필드 블록(Ta) 및 하부 필드 블록(Ba)은 일예로서 도 3b 및 도 3c에 도시된 바와같은 형태를 갖게 될 것이다. 도 3에서 a31은 블록내 텍스쳐 신호가 존재하는 정의 화소 영역(defined pixel area)을 의미하고, a33은 블록내 텍스쳐 신호가 존재하지 않은 미정의 화소 영역(undefined pixel area)을 의미하며, ta1은 상부 필드 블록내 복원된 정의 화소 영역을 의미하고, ta3은 상부 필드 블록내 복원된 패딩 화소 영역(즉, 이전 프레임의 움직임 추정 및 보상을 위해 패딩된 화소 영역)을 의미하며, ba1은 하부 필드 블록내 복원된 정의 화소 영역을 의미하고, ba3은 하부 필드 블록내 복원된 패딩 화소 영역(즉, 이전 프레임의 움직임 추정 및 보상을 위해 패딩된 화소 영역)을 의미한다.
보다 상세하게, 가산 블록(112)에서는, 재구성된 상부 필드 블록 또는 하부 필드 블록을 생성하여 이전 프레임 처리 블록(114)으로 제공할 때, 이전 프레임내 텍스쳐의 움직임을 추정하고 보상하는 데 이용된 패딩 화소 영역, 즉 복원된 상부 필드 블록(Ta)의 패딩 화소 영역(ta3)에 있는 패딩 화소값들 및 하부 필드 블록(Ba)의 패딩 화소 영역(ba3)에 있는 패딩 화소값들은 버리고 상부 및 하부 필드 블록(Ta, Ba)내 복원된 정의 화소 영역(ta1, ba1)의 화소값들만을 이전 프레임 처리 블록(114)으로 전달한다. 이때, 복원되어 재구성된 각 필드 블록에서 이전의 움직임 추정에 이용된 패딩 화소들을 버리는 것은 이어지는 다음 프레임의 움직임 추정을 위한 패딩 화소값으로 이용할 수 없기 때문이며, 이것은 수신측 복호화 시스템에서의 복원을 가능하게 하기 위해서이다.
따라서, 상술한 바와같은 경로를 통해 부호화 처리되는 매 프레임의 텍스쳐에 대한 바로 이전 프레임의 텍스쳐 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임의 텍스쳐 신호는 움직임 추정, 보상을 위해 라인 L13을 통해 하기에 기술되는 움직임 추정 블록(116) 및 움직임 보상 블록(118)으로 각각 제공된다.
즉, 이전 프레임 처리 블록(114)은, 실질적으로 본 발명에 직접 관련되는 부분인 것으로, 가산 블록(112)으로부터 재구성된 텍스쳐 신호들(즉, 정의된 화소 영역의 텍스쳐 정보)이 제공되면, 움직임 추정 및 보상을 위해 텍스쳐의 경계 부분에 위치하는 경계 블록들(즉, 일예로서 도 3a에 도시된 바와같이, 정의된 화소 영역과 미정의된 화소 영역으로 된 블록)내 미정의된 화소 영역들을 수평 및 수직 방향으로 패딩하고, 또한 움직임 추정에 필요한 탐색 영역의 확보를 위해 텍스쳐의 경계 블록에 인접하는 화소값들이 정의되지 않은 미정의 블록들을 패딩하는 복원된 이전 프레임을 재구성하는 데, 이러한 이전 프레임 처리 블록(114)에서의 구체적인 동작 과정에 대해서는 그 세부적인 블록구성을 보여주는 도 2를 주로 참조하여 하기에 상세하게 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치로써, 실질적으로 도 1의 이전 프레임 처리 블록에 상응하는 블록구성도를 나타낸다.
동도면에 도시된 바와같이, 본 발명의 텍스쳐 패딩 장치는 프레임 메모리(202), 경계 블록 검출 블록(204), 경계 블록 패딩 블록(206), 인접 블록 패딩 블록(208), 프레임 재구성 블록(210) 및 탐색 영역 결정 블록(212)을 포함한다.
도 2를 참조하면, 도 1의 가산 블록(112)으로부터 제공되는 복원된 이전 프레임의 텍스쳐 신호는 프레임 메모리(202)에 저장되는 데, 경계 블록 검출 블록(204)에서는, 예를들면 16×16의 현재 블록이 텍스쳐 신호의 경계 부분에 위치하는 경계 블록(즉, 도 3a에 도시된 바와같이, 텍스쳐 화소값들을 갖는 정의된 화소 영역과 정의되지 않은 화소값들을 갖는 미정의된 화소 영역으로 된 블록)인지 텍스쳐 신호의 내부에 위치하는 내부 블록(즉, 일예로서 도 5에 도시된 바와같이 블록내의 모든 화소값들이 정의된 텍스쳐 화소값들로 된 블록 a7 및 a8)인지의 여부를 판단하며, 여기에서의 판단 결과 현재 블록이 내부 블록일 때 라인 L23을 통해 해당 블록을 후술하는 프레임 재구성 블록(210)으로 바로 전달하고, 판단 결과 현재 블록이 경계 블록일 때 라인 L21을 통해 해당 블록을 경계 블록 패딩 블록(206)으로 전달한다.
다음에, 경계 블록 패딩 블록(206)에서는 16×16의 현재 블록에 있는 정의된 텍스쳐 화소값들을 이용하여 정의되지 않은 화소값들을 패딩, 일예로서 현재 블록이 도 4에 도시된 바와같은 경계 블록이라 가정할 때, 상부 필드 블록을 이루는 각 홀수행(O1 - O8)들내의 각 화소값들을 이용하여 각 홀수행내에 있는 미정의된 화소값들을 패딩, 즉 각 홀수행내에서 미정의된 화소값에 인접하는 경계 부분에 있는 화소값을 해당 홀수행의 미정의된 화소값으로 그대로 확장하여 패딩하고, 또한 하부 필드 블록을 이루는 각 짝수행(e1 - e8)들내의 각 화소값들을 이용하여 각 짝수행내에 있는 미정의된 화소값들을 패딩, 즉 각 짝수행내에서 미정의된 화소값에 인접하는 경계 부분에 있는 화소값을 해당 짝수행의 미정의된 화소값으로 그대로 확장하여 패딩하고, 일예로서 도 4에 도시된 바와같이 세 번째 짝수행(e3)에서와 같이 모든 화소값들이 미정의된 화소값인 미정의 행이 존재하는 경우 이러한 짝수행(e3)내의 미정의된 각 화소값들은 화살표로서 표시된 바와같이 인접하는 짝수행(e2, e4)내 대응하는 두 화소값들을 이용하여 패딩(예를들면, 대응하는 두 화소값의 평균값으로 패딩)한다. 이때, 미정의 행이 필드 블록내의 최상위 또는 최하위에 있는 행인 경우 해당 필드 블록내 인접하는 행내 대응하는 화소들을 미정의 행내 대응하는 화소값으로 그대로 확장하여 패딩한다.
한편, 촬상을 통해 얻어진 두 필드 영상을 한 라인씩 순차 혼합하여 생성되는 격행 영상의 텍스쳐를 부호화할 때, 대상 물체의 움직임이 빠른 경우, 일예로서 도 4에 도시된 바와같이, 한 필드(즉, 하부 필드 블록) 전체에 텍스쳐 화소값이 전혀 존재하지 않는 경우가 발생, 16×16의 블록을 두 필드로 분할했을 때 상부 필드 블록을 이루는 모든 홀수행 또는 하부 필드 블록을 이루는 모든 짝수행의 화소값들이 미정의된 화소값으로 나타날 수 있으며, 이러한 경우는 대상 물체의 움직임이 빠를수록 더욱 두드러지게 나타날 수 있다.
따라서, 경계 블록 패딩 블록(206)에서는 현재 경계 블록내의 두 필드 블록, 즉 상부 필드 블록 또는 하부 필드 블록중의 어느 하나가 미정의된 화소값들로 된 미정의된 필드 블록(예를들면, 상부 필드 블록)으로 존재할 때, 수평 및 수직 방향의 패딩을 통해 모든 정의된 화소값들로 채워진 하부 필드 블록의 화소값들을 이용하여 미정의된 상부 필드 블록의 각 화소값들을 패딩, 즉 하부 필드 블록내 화소값들의 평균값을 산출하고, 상부 필드 블록내 미정의된 모든 화소값들을 산출된 평균 화소값으로 패딩한다.
즉, 경계 블록 패딩 블록(206)에서는 각 필드 블록별로 수평 및 수직 방향의 화소값 패딩을 수행하고, 어느 한 필드 블록이 미정의된 필드 블록일 때 패딩을 통해 정의된 화소값들로 채워진 다른 필드 블록의 화소값들을 이용하여 미정의된 필드 블록을 패딩하며, 이와같은 패딩을 통해 모든 화소값들이 정의된 화소값들로 채워진 패딩된 현재 경계 블록(즉, 모든 화소값들이 텍스쳐 화소값과 패딩 화소값으로 된 패딩 경계 블록)을 인접 블록 패딩 블록(208)으로 전달한다.
또한, 경계 블록 패딩 블록(206)에서는, 상술한 바와같이 어느 한 필드 블록이 미정의된 필드 블록일 때 패딩을 통해 정의된 화소값들로 채워진 다른 필드 블록의 화소값들의 평균값으로 미정의된 필드 블록의 모든 화소값들을 패딩하지 않고, 미정의된 필드 블록내 모든 화소값들을 모두 제로값(0)으로 패딩하도록 설정할 수도 있으며, 이러한 제로 패딩 방법을 사용하더라고 다른 필드 블록내 화소값들의 평균값을 패딩하는 상술한 방법과 거의 유사한 결과를 얻을 수 있을 것이다.
다음에, 인접 블록 패딩 블록(208)에서는 움직임 추정을 위해 필요로하는 탐색 영역의 확보를 위해 패딩 경계 블록에 인접하는 기설정된 영역에 있는 미정의된 경계 인접 블록들을 패딩, 예를들어 현재 프레임의 텍스쳐가 도 5에 도시된 바와같이 세 개의 텍스쳐 영역(A, B, C)을 갖는 프레임이라 가정할 때, 패딩 경계 블록 a1을 이용하여 미정의된 경계 인접 블록 JB1 및 JB2를 패딩, 즉 미정의된 경계 인접 블록 JB1에 맞닿는 패딩 경계 블록(a1)의 좌측 경계 화소값들을 그대로 확장하여 미정의된 경계 인접 블록 JB1의 모든 화소값들을 패딩하고, 미정의된 경계 인접 블록 JB2에 맞닿는 패딩 경계 블록(a1)의 상측 경계 화소값들을 그대로 확장하여 미정의된 경계 인접 블록 JB2의 모든 화소값들을 패딩하는 방식으로 탐색 영역의 형성에 필요로하는 모든 미정의된 경계 인접 블록들을 패딩한다.
또한, 인접 블록 패딩 블록(208)은 패딩 경계 블록에 대각 방향으로 인접하는 미정의된 대각 인접 블록들을 패딩, 예를들어 패딩 경계 블록 a1 및 a2에 대한 대각 인접 블록 M1 및 M2의 모든 화소값들을 기설정된 텍스쳐 화소값의 중간값(예를들어, 텍스쳐 영상이 0 - 256 레벨을 가진다고 가정할 때 128의 중간값)으로 패딩한다.
도 5를 참조하면, a7 및 a8은 모든 화소값들이 정의된 텍스쳐 화소값들로 채워진 내부 블록을 각각 나타내고, a1 - a6, a9 - a14, b1 - b3, c1 - c7은 패딩 경계 블록을 각각 나타내며, JB1 - JB34는 각 패딩 경계 블록의 경계면에 인접하는 경계 인접 블록을 각각 나타내고, M1 - M13은 각 패딩 경계 블록의 대각 방향으로 인접하는 대각 인접 블록을 각각 나타낸다.
한편, 프레임 재구성 블록(210)에서는 라인 L25를 통해 상기한 인접 블록 패딩 블록(208)으로부터 제공되는 패딩 경계 블록(예를들면, 도 5의 a1, a2, a3 등), 패딩된 경계 인접 블록(예를들면, 도 5의 JB1, JB2, JB3 등), 패딩된 대각 인접 블록(예를들면, 도 5의 M1, M2, M3 등)들과 라인 L23을 통해 전술한 경계 블록 검출 블록(204)으로부터 제공되는 내부 블록(예를들면, 도 5의 a7, a8)을 그 순서에 따라 조합하여 패딩 영역을 갖는 하나의 프레임(즉, 텍스쳐 영상 프레임)을 재구성한다.
다른한편, 탐색 영역 결정 블록(212)에서는 도 1에 도시된 움직임 추정 블록(116)으로부터 제공되는 부호화하고자 하는 N×N의 현재 필드 블록, 즉 16×16 현재 블록을 8×16의 상부 및 하부 필드 블록으로 분할한 필드 블록에 의거하여 패딩을 통해 재구성된 이전 프레임에서 탐색 영역(예를들면, 32×32의 탐색 영역)을 결정하며, 이 결정된 탐색 영역을 홀수행과 짝수행의 집합으로 된 상부 탐색 영역 및 하부 탐색 영역으로 분할한다. 즉, 부호화하고자 하는 현재 상부 필드 블록 및 현재 하부 필드 블록으로 된 현재 블록이 도 5에 도시된 내부 블록(a7)이라고 가정할 때, 도 5에서 점선으로 표시된 영역을 현재 블록에 대응하는 탐색 영역(SA)으로 결정하며, 도 1의 움직임 추정 블록(116)에서 움직임을 추정하고자 하는 현재 상부 필드 블록(도 6의 TF) 및 현재 하부 필드 블록(도 6의 BF)에 대응할 수 있도록 결정된 32×32의 탐색 영역(SA)을 일예로서 도 6에 도시된 바와같이, 각 16×32의 상부 탐색 영역(TSA)과 하부 탐색 영역(BSA)으로 분할한다. 이때, 움직임 추정을 위해 제공되는 상부 탐색 영역(TSA) 및 하부 탐색 영역(BSA)은 정의된 텍스트 화소값들과 패딩을 수행하여 얻어진 패딩된 화소값들을 포함한다.
또한, 탐색 영역 결정 블록(212)에서는 움직임 추정을 통해 얻어진 코드 신호 및 추출된 움직임 벡터에 의거하는 움직임 보상시에 도 1에 도시된 움직임 보상 블록(118)으로 예측 프레임(즉, 예측 상부 필드 블록 또는 예측 하부 필드 블록)의 생성을 위한 화소값(즉, 이전 프레임의 텍스쳐 화소값)들을 제공한다.
즉, 상술한 바와같이, 본 발명의 패딩 기법에 따르면, 움직임 추정 및 보상을 위해 복원된 텍스쳐 영상의 경계 부분에 위치하는 경계 블록을 이루는 상부 필드 블록 및 하부 필드 블록내에 존재하는 미정의된 화소값들을 패딩하고, 또한 패딩된 경계 블록에 인접하는 미정의된 인접 블록(경계 인접 블록 및 대각 인접 블록들)들을 패딩함으로써, 움직임을 추정하고자하는 현재 상부 필드 블록 및 현재 하부 필드 블록에 대한 효과적인 움직임 추정 및 보상을 실현할 수 있으며, 또한 수신측의 복호화 시스템에서도 부호화 시스템에서와 동일한 패딩 기법을 적용함으로써 에러 없는 움직임 보상을 실현할 수 있다.
다시 도 1을 참조하면, 움직임 추정 블록(116)에서는, 일예로서 도 6에 도시된 바와같이, 각 8×16의 현재 상부 필드 블록(TF) 및 현재 하부 필드 블록(BF)과 이에 대응하는 각 16×32의 상부 탐색 영역(TSA) 및 하부 탐색 영역(BSA)간의 블록 매칭을 수행하여 움직임을 추정, 현재 상부 필드 블록(또는 현재 하부 필드 블록)과 상부 탐색 영역 및 하부 탐색 영역내 다수의 후보 필드 블록(8×16의 후보 블록)들간의 블록 매칭을 수행하여 그 오차값이 가장 작은 블록을 최적 정합 필드 블록으로 결정하고, 현재 상부 필드 블록(또는 현재 하부 필드 블록)과 결정된 최적 정합 필드 블록간의 변위값을 움직임 벡터로써 추출하며, 이러한 움직임 추정을 통해 얻어지는 영역 구분을 위한 N비트의 코드 신호 및 움직임 벡터 세트들은 라인 L14 및 라인 L15를 통해 예측 프레임(텍스쳐 프레임)을 생성하는 움직임 보상 블록(118) 및 VLC 블록(108)으로 각각 제공된다. 여기에서, N비트의 코드 신호는 현재 상부 필드 블록 또는 현재 하부 필드 블록이 상부 탐색 영역에서 움직임을 추정했는지 혹은 하부 탐색 영역에서 움직임을 추정했는지의 여부를 나타내기 위한 코드 신호인 것으로, 이러한 코드 신호는 수신측 복호화 시스템에서의 움직임 보상시에 이용될 것이다.
즉, 움직임 보상 블록(116)에서는, 현재 상부 필드 블록(TF)과 상부 탐색 영역(TSA) 및 하부 탐색 영역(BSA)간의 움직임 추정 결과, 최적 정합 필드 블록이 하부 탐색 영역(BSA)에 존재하는 경우, 하부 탐색 영역(BSA)에서의 움직임 추정을 의미하는 제 2 코드 신호와 그에 상응하는 움직임 벡터를 추출하여 L14 및 라인 L15를 통해 움직임 보상 블록(118) 및 VLC 블록(108)으로 각각 제공하고, 또한 현재 하부 필드 블록(BF)과 상부 탐색 영역(TSA) 및 하부 탐색 영역(BSA)간의 움직임 추정 결과, 최적 정합 필드 블록이 상부 탐색 영역(TSA)에 존재하는 경우, 상부 탐색 영역(TSA)에서의 움직임 추정을 의미하는 제 1 코드 신호와 그에 상응하는 움직임 벡터를 추출하여 L14 및 라인 L15를 통해 움직임 보상 블록(118) 및 VLC 블록(108)으로 각각 제공한다.
다음에, 움직임 보상 블록(118)에서는 라인 L14를 통해 상기하 움직임 추정 블록(116)으로부터 제공되는 코드 신호 및 움직임 벡터 세트들과 라인 L13을 통해 이전 프레임 처리 블록(114), 보다 상세하게는 도 2의 탐색 영역 결정 블록(212)으로부터 제공되는 재구성된 이전 프레임 신호(이전 프레임 텍스쳐 신호)에 의거하는 움직임 보상을 수행하여 예측 프레임 신호, 즉 예측 상부 필드 블록(또는 예측 하부 필드 블록)을 생성하며, 여기에서 생성된 예측 프레임 신호는 라인 L16을 통해 전술한 감산기(104) 및 가산 블록(112)로 각각 제공된다.
한편, 가변 길이 부호화 블럭(108)에서는 라인 L12를 통해 텍스쳐 부호화 블록(106)으로부터 제공되는 양자화된 DCT 변환계수들, 라인 L15를 통해 움직임 추정 블록(116)으로부터 제공되는 다수의 코드 신호들 및 움직임 벡터 세트들을 가변 길이 부호화하여, 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달한다. 따라서, 도시 생략된 전송기에서는 텍스쳐 부호화 시스템을 통해 부호화된 텍스쳐 정보를, 다른 부호화 처리 경로를 통해 부호화된 형상 정보, 오디오 정보, 텍스트 정보 등과 함께 다중화하여 전송 채널로 전송하게 될 것이다.
이상 설명한 바와같이 본 발명에 따르면, 움직임 추정 및 보상을 위해 복원된 텍스쳐 영상의 경계 블록을 이루는 상부 및 하부 필드 블록내에 존재하는 미정의된 화소값들을 패딩하고, 또한 패딩된 경계 블록에 인접하는 미정의된 인접 블록, 즉 탐색 영역의 설정을 위해 필요로하는 기설정된 영역의 인접 블록들을 패딩함으로써, 움직임을 추정하고자하는 현재 상부 필드 블록 및 현재 하부 필드 블록에 대한 효과적인 움직임 추정 및 보상을 실현할 수 있으며, 또한 수신측의 복호화 시스템에서도 부호화 시스템에서와 동일한 패딩 기법을 적용함으로써 에러 없는 움직임 보상을 실현할 수 있다. 따라서, 본 발명은 격행 영상에 포함되는 격행 텍스쳐 정보에 대해 필드 단위로 움직임 추정을 수행함으로써 고정밀한 움직임 추정을 실현할 수 있어 격행 부호화에서 발생하는 텍스쳐 정보의 부호화 효율을 더욱 증진시킬 수 있다.

Claims (6)

  1. 격행 영상에 존재하는 격행 텍스쳐 신호를 포함하는 현재 프레임 신호를 공간축상의 상관도와 시간축상의 상관도를 이용하여 압축 부호화하는 수단, 상기 부호화된 프레임 신호를 부호화전의 원신호로 복원하여 이전 프레임 신호를 발생하는 수단 및 현재 프레임내 N×N 현재 블록과 복원된 이전 프레임내 Q×Q 탐색 영역내 다수의 N×N 후보 블록들간의 블록 매칭을 수행하여 예측 프레임을 생성하는 움직임 추정 및 보상 수단을 구비한 텍스쳐 부호화 시스템에서 움직임 추정을 위한 이전 프레임의 텍스쳐 신호를 패딩하는 장치에 있어서,
    상기 텍스쳐 부호화 시스템은, 상기 N×N 현재 블록을 각 M×N의 상부 필드 블록 및 하부 필드 블록으로 분할하고, 이 분할된 각 필드 블록 단위로 움직임 추정 및 보상을 이용하는 텍스쳐 부호화를 수행하며,
    상기 패딩 장치는:
    복원된 격행 텍스쳐 신호로 된 상기 복원된 이전 프레임내 각 N×N 이전 블록이 정의된 텍스쳐 화소와 미정의된 화소를 갖는 경계 블록인지 정의된 텍스쳐 화소들로 된 내부 블록인지의 여부를 검출하는 경계 블록 검출 블록;
    상기 N×N 이전 블록이 경계 블록일 때, 상기 경계 블록을 홀수행 화소들로 된 상부 필드 블록과 짝수행 화소들로 된 하부 필드 블록으로 구분하고, 각 필드 블록별로 존재하는 미정의된 화소값들을 해당 필드 블록내 정의된 화소값들을 이용하여 패딩하며, 상기 구분된 두 필드 블록중 어느 한 필드 블록이 미정의된 화소들로 된 미정의된 필드 블록일 때 다른 정의된 필드 블록내 화소값들을 이용하여 상기 미정의된 필드 블록내 화소값들을 패딩함으로써, 상기 경계 블록에 대응하는 패딩 경계 블록을 생성하는 경계 블록 패딩 블록;
    상기 움직임 추정을 위해 기설정되는 탐색 영역을 생성하기 위하여, 상기 생성된 패딩 경계 블록에 인접하는 미정의된 화소들로 된 미정의 인접 블록내 각 화소값들을 상기 생성된 패딩 경계 블록내 화소값들을 이용하여 패딩함으로서, 상기 패딩 경계 블록에 인접하는 패딩 인접 블록을 생성하는 인접 블록 패딩 블록;
    상기 검출된 내부 블록, 생성된 패딩 경계 블록 및 생성된 패딩 인접 블록을 이용하여, 상기 복원된 이전 프레임에 대응하는 재구성된 이전 프레임을 구성하는 프레임 재구성 블록; 및
    움직임을 추정하고자 하는 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대응하는 Q×Q 탐색 영역을 결정하고, 이 Q×Q 탐색 영역을 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역으로 분할하여 상기 움직임 추정 및 보상 수단에 제공하는 탐색 영역 결정 블록으로 이루어진 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치.
  2. 제 1 항에 있어서, 상기 미정의된 필드 블록내 각 화소값들은, 상기 정의된 필드 블록내 화소값들의 평균값으로 각각 패딩되는 것을 특징으로 하는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치.
  3. 제 1 항에 있어서, 상기 미정의된 필드 블록내 각 화소값들은, 제로값으로 각각 패딩되는 것을 특징으로 하는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치.
  4. 격행 영상에 존재하는 격행 텍스쳐 신호를 포함하는 현재 프레임 신호를 공간축상의 상관도와 시간축상의 상관도를 이용하여 압축 부호화하고, 상기 부호화된 프레임 신호를 부호화전의 원신호로 복원하여 이전 프레임 신호를 발생하며, 현재 프레임내 현재 블록과 복원된 이전 프레임내 탐색 영역내 다수의 후보 블록들간의 블록 매칭을 수행하여 예측 프레임을 생성하는 텍스쳐 부호화 시스템에서 움직임 추정을 위해 이전 프레임의 텍스쳐 신호를 패딩하는 방법에 있어서,
    상기 텍스쳐 부호화 시스템은, 상기 N×N 현재 블록을 각 M×N의 상부 필드 블록 및 하부 필드 블록으로 분할하고, 이 분할된 각 필드 블록 단위로 움직임 추정 및 보상을 이용하는 텍스쳐 부호화를 수행하며,
    상기 패딩 방법은:
    복원된 격행 텍스쳐 신호를 포함하는 복원된 이전 프레인내 N×N 이전 블록이 텍스쳐 신호의 경계 부분에 위치하는 경계 블록인지의 여부를 체크하는 제 1 과정;
    상기 N×N 이전 블록이 경계 블록일 때, 상기 경계 블록을 홀수행 화소들로 된 상부 필드 블록과 짝수행 화소들로 된 하부 필드 블록으로 구분하고, 각 필드 블록별로 존재하는 미정의된 화소값들을 해당 필드 블록내 정의된 화소값들을 이용하여 1차 패딩하는 제 2 과정;
    상기 구분된 두 필드 블록중 어느 한 필드 블록이 미정의된 화소들로 된 미정의된 필드 블록인지의 여부를 체크하고, 체크 결과 어느 한 필드 블록이 미정의된 필드 블록일 때 다른 정의된 필드 블록내 화소값들을 이용하여 상기 미정의된 필드 블록내 화소값들을 2차 패딩하는 제 3 과정;
    상기 1차 패딩 또는 2차 패딩을 통해 생성되는 패딩 경계 블록에 인접하는 미정의된 화소들로 된 미정의 인접 블록내 각 화소값들을 상기 생성된 패딩 경계 블록내 화소값들을 이용해 패딩하여 상기 패딩 경계 블록에 인접하는 패딩 인접 블록을 생성함으로써, 움직임 추정 및 보상을 위한 탐색 영역을 형성하는 제 4 과정;
    상기 내부 블록, 생성된 패딩 경계 블록 및 생성된 패딩 인접 블록을 이용하여, 상기 복원된 이전 프레임에 대응하며 상기 움직임 추정 및 보상에 이용되는 재구성된 이전 프레임을 구성하는 제 5 과정;
    상기 재구성된 이전 프레임내에서 움직임을 추정하고자 하는 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대응하는 기설정된 Q×Q 탐색 영역을 결정하는 제 6 과정; 및
    상기 결정된 Q×Q 탐색 영역을 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역으로 분할하고, 이 분할된 각 P×Q의 상부 탐색 영역 및 하부 탐색 영역을 상기 N×N의 현재 상부 필드 블록 또는 현재 하부 필드 블록에 대한 탐색 영역으로 제공하는 제 7 과정으로 이루어진 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 방법.
  5. 제 4 항에 있어서, 상기 미정의된 필드 블록내 각 화소값들은, 상기 정의된 필드 블록내 화소값들의 평균값으로 각각 2차 패딩되는 것을 특징으로 하는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 방법.
  6. 제 4 항에 있어서, 상기 미정의된 필드 블록내 각 화소값들은, 제로값으로 각각 2차 패딩되는 것을 특징으로 하는 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 방법.
KR1019980008637A 1998-03-14 1998-03-14 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 KR100285599B1 (ko)

Priority Applications (19)

Application Number Priority Date Filing Date Title
KR1019980008637A KR100285599B1 (ko) 1998-03-14 1998-03-14 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
ES98921904T ES2380590T3 (es) 1998-03-14 1998-05-15 Procedimiento y aparato para rellenar información de textura entrelazada de macrobloques
ES08004286T ES2380502T3 (es) 1998-03-14 1998-05-15 Aparato para codificar información de textura entrelazada de macrobloques
EP20080004286 EP1940177B1 (en) 1998-03-14 1998-05-15 Apparatus for encoding interlaced macroblock texture information
ES08004285T ES2380501T3 (es) 1998-03-14 1998-05-15 Aparato para codificar información de textura entrelazada de macrobloques
AU74562/98A AU762187B2 (en) 1998-03-14 1998-05-15 Method and apparatus for padding interlaced macroblock texture information
EP19980921904 EP1076998B1 (en) 1998-03-14 1998-05-15 Method and apparatus for padding interlaced macroblock texture information
EP20080004285 EP1933567B1 (en) 1998-03-14 1998-05-15 Apparatus for encoding interlaced macroblock texture information
PCT/KR1998/000122 WO1999048298A1 (en) 1998-03-14 1998-05-15 Method and apparatus for padding interlaced macroblock texture information
US09/088,375 US6259732B1 (en) 1998-03-14 1998-06-02 Method and apparatus for encoding interlaced macroblock texture information
CNB981023681A CN1159915C (zh) 1998-03-14 1998-06-08 编码交错宏块纹理信息的方法和设备
JP16235598A JPH11298901A (ja) 1998-03-14 1998-06-10 インタレーステキスチャー情報符号化方法
AU2003244627A AU2003244627B2 (en) 1998-03-14 2003-09-10 Method and Apparatus for Padding Interlaced Macroblock Texture Information
US12/131,712 USRE41383E1 (en) 1998-03-14 2008-06-02 Method and apparatus for encoding interplaced macroblock texture information
US12/131,723 USRE41951E1 (en) 1998-03-14 2008-06-02 Method and apparatus for encoding interlaced macroblock texture information
US12/819,209 USRE43129E1 (en) 1998-03-14 2010-06-20 Method and apparatus for encoding interlaced macroblock texture information
US12/819,210 USRE43130E1 (en) 1998-03-14 2010-06-20 Method and apparatus for encoding interlaced macroblock texture information
US12/819,208 USRE43061E1 (en) 1998-03-14 2010-06-20 Method and apparatus for encoding interlaced macroblock texture information
US12/819,207 USRE43060E1 (en) 1998-03-14 2010-06-20 Method and apparatus for encoding interlaced macroblock texture information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980008637A KR100285599B1 (ko) 1998-03-14 1998-03-14 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법

Publications (2)

Publication Number Publication Date
KR19990074806A true KR19990074806A (ko) 1999-10-05
KR100285599B1 KR100285599B1 (ko) 2001-04-02

Family

ID=19534803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980008637A KR100285599B1 (ko) 1998-03-14 1998-03-14 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법

Country Status (8)

Country Link
US (7) US6259732B1 (ko)
EP (3) EP1933567B1 (ko)
JP (1) JPH11298901A (ko)
KR (1) KR100285599B1 (ko)
CN (1) CN1159915C (ko)
AU (2) AU762187B2 (ko)
ES (3) ES2380590T3 (ko)
WO (1) WO1999048298A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1216199A (zh) * 1997-01-30 1999-05-05 松下电器产业株式会社 数字图象填补方法、图象处理装置及数据记录媒体
US6952501B2 (en) * 2000-02-24 2005-10-04 Canon Kabushiki Kaisha Image processing apparatus, image encoding apparatus, and image decoding apparatus
US6718066B1 (en) * 2000-08-14 2004-04-06 The Hong Kong University Of Science And Technology Method and apparatus for coding an image object of arbitrary shape
US7197070B1 (en) * 2001-06-04 2007-03-27 Cisco Technology, Inc. Efficient systems and methods for transmitting compressed video data having different resolutions
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US8265163B2 (en) * 2001-12-21 2012-09-11 Motorola Mobility Llc Video shape padding method
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7860326B2 (en) * 2003-09-22 2010-12-28 Kddi Corporation Adaptable shape image encoding apparatus and decoding apparatus
US7480335B2 (en) * 2004-05-21 2009-01-20 Broadcom Corporation Video decoder for decoding macroblock adaptive field/frame coded video data with spatial prediction
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US8520738B2 (en) * 2005-06-03 2013-08-27 Nxp, B.V. Video decoder with hybrid reference texture
CN100466746C (zh) * 2005-07-21 2009-03-04 海信集团有限公司 基于宏块内边缘信息选择分割的方法
KR101536732B1 (ko) 2008-11-05 2015-07-23 삼성전자주식회사 텍스쳐 맵핑을 위한 텍스쳐 데이터 읽기 장치 및 방법
US9787966B2 (en) * 2012-09-04 2017-10-10 Industrial Technology Research Institute Methods and devices for coding interlaced depth data for three-dimensional video content
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
JP6095955B2 (ja) * 2012-11-16 2017-03-15 ルネサスエレクトロニクス株式会社 測定方法、測定装置及び測定プログラム
US10249029B2 (en) 2013-07-30 2019-04-02 Apple Inc. Reconstruction of missing regions of images
US10104397B2 (en) * 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
US10142613B2 (en) * 2015-09-03 2018-11-27 Kabushiki Kaisha Toshiba Image processing apparatus, image processing system, and image processing method
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
EP3975559A1 (en) * 2016-10-04 2022-03-30 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW241416B (ko) * 1992-06-29 1995-02-21 Sony Co Ltd
KR0181052B1 (ko) * 1995-03-31 1999-05-01 배순훈 고화질 영상 시스템의 영역 분할 장치
JP4049280B2 (ja) * 1996-09-24 2008-02-20 株式会社ハイニックスセミコンダクター グレースケール形状情報符号化／復号化装置及び方法
US5987184A (en) * 1996-09-30 1999-11-16 Kweon; Ji-Heon Device for coding/decoding image information
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
EP0921497B1 (en) * 1997-12-02 2004-03-24 Daewoo Electronics Corporation Interlaced binary shape coding apparatus
GB2336058B (en) * 1998-04-02 2002-03-27 Daewoo Electronics Co Ltd Apparatus and method for adaptively coding an image signal

Also Published As

Publication number Publication date
EP1940177A3 (en) 2010-08-11
EP1933567B1 (en) 2012-01-11
AU762187B2 (en) 2003-06-19
ES2380502T3 (es) 2012-05-14
ES2380590T3 (es) 2012-05-16
AU2003244627A1 (en) 2003-10-09
USRE41951E1 (en) 2010-11-23
JPH11298901A (ja) 1999-10-29
EP1076998A1 (en) 2001-02-21
CN1229323A (zh) 1999-09-22
USRE43061E1 (en) 2012-01-03
WO1999048298A1 (en) 1999-09-23
US6259732B1 (en) 2001-07-10
AU2003244627B2 (en) 2005-07-14
USRE43129E1 (en) 2012-01-24
KR100285599B1 (ko) 2001-04-02
EP1940177A2 (en) 2008-07-02
EP1933567A2 (en) 2008-06-18
USRE43130E1 (en) 2012-01-24
USRE43060E1 (en) 2012-01-03
EP1076998B1 (en) 2012-01-11
CN1159915C (zh) 2004-07-28
EP1933567A3 (en) 2010-08-11
EP1940177B1 (en) 2012-01-11
ES2380501T3 (es) 2012-05-14
AU7456298A (en) 1999-10-11
USRE41383E1 (en) 2010-06-22

Similar Documents

Publication Publication Date Title
KR100285599B1 (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
EP0734165B1 (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
Netravali et al. Motion‐compensated television coding: Part I
US5748247A (en) Refinement of block motion vectors to achieve a dense motion field
US8855210B2 (en) Method and apparatus for encoding and decoding multi-view video using image stitching
US6825885B2 (en) Motion information coding and decoding method
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
JPH08242453A (ja) 動きベクトル推定装置
US20040042673A1 (en) Digital image coding/decoding method and data recording medium
KR100775871B1 (ko) 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
KR100281329B1 (ko) 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
EP0924932A2 (en) Apparatus and method of adaptively coding/decoding interlaced shape information
JP2912710B2 (ja) 動画像符号化復号化装置
KR100212559B1 (ko) 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법
KR100393063B1 (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
JP4874578B2 (ja) 画像符号化装置
JP3950211B2 (ja) 動きベクトル符号化装置
KR100737808B1 (ko) 2차원 구조의 다시점 영상 압축 방법
JP2000078572A (ja) オブジェクト符号化装置およびオブジェクト符号化装置のコマ落し制御方法およびプログラムを記録した記憶媒体
JPH08242457A (ja) 動きベクトル検出方法
KR20030010983A (ko) 운동객체기반에서의 움직임 예측 웨이브렛 동영상 압축 및복원장치
KR100212560B1 (ko) 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치
KR100220680B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
KR19990003314A (ko) 개선된 형태 부호화 장치 및 방법
KR100203658B1 (ko) 물체의 윤곽 부호화를 위한 움직임 추정장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20131223

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20141231

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 18