KR20000039731A - 영역분할기반동영상압축부호화방법및장치 - Google Patents

영역분할기반동영상압축부호화방법및장치 Download PDF

Info

Publication number
KR20000039731A
KR20000039731A KR1019980055146A KR19980055146A KR20000039731A KR 20000039731 A KR20000039731 A KR 20000039731A KR 1019980055146 A KR1019980055146 A KR 1019980055146A KR 19980055146 A KR19980055146 A KR 19980055146A KR 20000039731 A KR20000039731 A KR 20000039731A
Authority
KR
South Korea
Prior art keywords
image
region
transform
encoding
background
Prior art date
Application number
KR1019980055146A
Other languages
English (en)
Other versions
KR100327952B1 (ko
Inventor
김성대
김욱중
김휘용
김성민
Original Assignee
안재기
주식회사 세명정보기술
윤덕용
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안재기, 주식회사 세명정보기술, 윤덕용, 한국과학기술원 filed Critical 안재기
Priority to KR1019980055146A priority Critical patent/KR100327952B1/ko
Publication of KR20000039731A publication Critical patent/KR20000039731A/ko
Application granted granted Critical
Publication of KR100327952B1 publication Critical patent/KR100327952B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 카메라 등의 영상 매체를 통하여 입력된 아날로그 동영상 신호를 디지털 동영상 신호로 변환한 후 배경 영역과 물체 영역을 판별하는 영역분할을 행하고 그 결과를 이용하여 배경영역과 물체영역에 대하여 차별적인 압축 부호화를 행하는 동영상 압축 부호화 기술로서 목표물 영역의 정보 손실을 최소화하면서 높은 압축 율을 얻을 수 있는 방법 및 장치를 제안한다.
영역 분할 기반 동영상 압축 부호화기는 현재 영상 프레임 메모리, 배경 영상 프레임 메모리, 이전 물체 영상 메모리를 구비한다. 영역 분할 기반 동영상 압축 부호화기는 또한, 영역 분할 및 부호화 제어기, 변환 부호화기, 변환 복호화기, 엔트로피 부호화기, 비트스트림 작성기를 갖는다. 영역 분할 및 부호화 제어기는 현재 영상 프레임 메모리에 저장된 현재의 영상에 대하여 상기 단위 영역별로 배경 영역인지 물체 영역인지의 영역 분할을 수행하고, 그 결과를 이용해 단위 영역별로 차별적으로 부호화 지시와 움직임 벡터를 생성한다. 변환 부호화기는 영역 분할 및 부호화 제어기로부터 상기 단위 영역별 부호화 지시와 움직임 벡터를 입력받아 그에 따라 단위 영역의 영상 데이터에 대한 차별적인 변환 부호화를 수행한다. 변환 복호화기는 배경 영상 프레임 메모리와 상기 이전 물체 영상 메모리를 갱신(update)하기 위하여, 상기 변환 부호화기로부터 변환 부호화 된 상기 단위 영역의 영상 데이터에 대해 변환 복호화를 수행한다. 엔트로피 부호화기는 변환 부호화기로부터의 변환 부호화 된 데이터와 상기 영역 분할 및 부호화 제어기로부터의 부호화 지시와 움직임 벡터에 대하여 차별적으로 엔트로피 부호화(Entropy Coding)를 수행한다. 비트스트림 작성기는 엔트로피 부호화기로부터의 출력을 일정한 형식에 맞추어 비트스트림으로 출력한다. 본 발명에 따르면, 기존의 압축 부호화 방법에 비하여 중요한 정보를 가지고 있는 물체 영역에 대하여 같은 크기의 데이터 저장 공간을 이용한 경우보다 우수한 화질을 구현할 수 있다.

Description

영역 분할 기반 동영상 압축 부호화 방법 및 장치 (Method and Apparatus for Segmentation-based Video Compression Coding)
본 발명은 무인 감시 시스템이나 영상회의, 영상전화, 영상강의와 같이 배경영상의 변화가 자주 발생하지 않는 비디오 영상 신호의 데이터 압축에 효과적으로 이용될 수 있는 동영상 신호의 압축 부호화 방법에 관한 것으로, 동영상 영역 분할 방법 및 압축 부호화 방법에 관한 것이다.
멀리 떨어져 있는 지역간의 영상 통신이 필수적인 영상회의, 화상전화, 화상강의 등의 분야에서는 통신 선로의 대역폭을 감안하여 비디오 신호의 데이터 압축방법으로 이미 표준화되어 있는 H.26x 계열의 기법들이 많이 이용되고 있고, 비디오 신호의 디지털 형태로의 저장/방송/전송을 위해서는 MPEG(Motion Picture Expert Group)에서 표준화한 기법들인 MPEG-1, MPEG-2 기법이 많이 이용되고 있다. 그리고 비디오 신호를 이용한 무인 감시 시스템에서는 대부분의 경우 아날로그 비디오 신호를 그대로 전송하여 아날로그 비디오 테이프에 저장하는 방식을 이용해 왔으나, 테이프에 영상을 반복 저장함으로써 화질저하 및 테이프교체 등으로 인한 비용 증가 등의 이유로 최근에 들어서는 아날로그 비디오 신호를 디지털 신호로 변환한 후 H.26x계열이나 MPEG계열 혹은 JPEG(Joint Picture Expert Group)계열의 비디오 압축 기법들을 이용하는 감시 시스템들의 사용이 점차 증가되고 있다.
지금까지 비디오 신호의 데이터 압축을 위하여 개발된 많은 동영상 압축 부호화 기법들은 대부분 현재 영상을 일정한 크기의 사각 영역(MB: Macro-block)으로 나누고, 각 영역을 이전 영상과 비교하여 움직임 보상(Motion Compensation)을 수행한 후 움직임 보상된 영상과 현재 영상과의 차이(difference or error)를 압축 부호화 하는 것을 기본으로 한다.
이러한 방법에서는 다음과 같은 결점이 있다.
첫째, 물체의 이동에 의해 가려졌다가 다시 나타난 배경 영역(uncovered background)을 새로 부호화 하여야 한다.
둘째, 영상 부호화기의 특성으로 인하여 입력 영상의 프레임 속도(frame rate)(즉, 현재 영상이 부호화기로 입력되는 속도)가 낮은 경우 인접한 영상(혹은 프레임)에 있는 물체의 움직임이 크게 되어 움직임 예측이 실패할 확률이 높아지게 되며 이로 인하여 비트 발생량이 증가하게 되고 결국 데이터 압축 효율이 떨어지게 된다.
셋째, 부호화 된 영상에 대한 임의접근(random access)을 가능하게 하려면 MPEG계열의 부호화 기법에서 많이 사용하고 있는 것처럼 주기적으로 I-프레임(Intra-frame)을 삽입해야 하는데, I-프레임은 현재 영상과 이전 영상과의 차이를 부호화 하는 것이 아니라 마치 정지 영상의 부호화와 같이 현재 영상(frame)만을 독립적으로 압축 부호화 하는 것이므로 상대적으로 비트 발생량이 증가하게 된다.
넷째, 부호화 할 때 물체 영역과 배경 영역을 구분하지 않으므로 물체가 나타났을 때 경보를 울리는 등의 추가 기능을 구현하려면 별도의 계산 수행이 요구된다.
다섯째, 물체영역과 배경영역을 구분하지 않으므로 상대적으로 중요한 물체 영역은 압축 율을 낮추어 화질을 높이고 덜 중요한 배경영역은 압축 율을 높여서 화질을 떨어뜨리는 등의 중요 영역에 대한 화질 제어를 수행할 수 없다.
본 발명의 목적은 비디오 영상 신호의 효율적인 압축을 위하여 배경 영상과 이전 영상을 이용하여 현재 영상을 압축 부호화 하는 방식을 제공하는 것이다.
본 발명의 다른 목적은 입력 영상을 일정한 크기의 단위 영역들로 구분한 후 각 단위 영역이 배경 영역과 물체 영역 중 어느 영역에 속하는 지를 판별하고 각 영역별로 차별적인 부호화 지시를 생성하는 영역 분할 및 부호화 제어기를 제공하는 것이다.
본 발명의 다른 목적은 영역 분할 된 입력 영상에 대해 각 영역별로 차별적인 압축 부호화를 행함으로써 압축 율을 높이는 것이다.
도1은 영역 분할 기반 동영상 압축 부호화기의 전체 구성과 그 입/출력을 도시한 도면
도2는 도1에 도시한 영역 분할 및 부호화 제어기(SCC)의 세부 구성과 그 입/출력을 도시한 도면
도3은 도1에 도시한 변환 부호화기(TC)의 세부 구성과 그 입/출력을 도시한 도면
도4는 도1에 도시한 변환 복호화기(TD)의 세부 구성과 그 입/출력을 도시한 도면
도5는 도2에 도시한 배경 영역 판별기(BAC)의 배경 영역 판별 절차와 그 출력을 도시한 도면
도6은 도2에 도시한 정상성 분석기(SA)의 정상성 판단 절차와 그 출력을 도시한 도면
본 발명의 구성 및 작용을 설명하기 위해 다음의 두 가지 용어를 정의한다.
1. 매크로 블록(MB; Macro-block): 본 발명에서는 영상을 사전 설정된 일정한 크기의 사각 단위 영역들로 아래의 예와 같이 구분할 때, 이 각각의 단위 영역을 MB(매크로 블록)이라 정의한다. 매크로 블록(MB)의 크기는 가로 세로 각각 16 픽셀이 바람직하며 필요에 따라 다른 크기를 사용할 수도 있다.
2. 매크로 블록 정보(MB_Info; Macro-block Information): 본 발명에서는 현재 영상의 각 매크로 블록(MB)들을 어떻게 부호화 할 것인가에 대한 정보를 매크로 블록 정보(MB_Info)(매크로 블록 정보)라 정의한다. 현재 영상의 각 매크로 블록(MB)들은 각자의 매크로 블록 정보(MB_Info)를 갖게 된다. 매크로 블록 정보(MB_Info)는 구체적으로 움직임 예측(Motion Estimation) 결과로 발생하는 움직임 벡터(Motion Vector)와 매크로 블록(MB) 단위로 차별적인 부호화를 수행하기 위한 부호화 지시(Coding Directive)로 구성된다. 움직임 벡터와 부호화 지시에 대해서는 후술하기로 한다. 본 발명에서 영역분할기와 변환 부호화기와의 통신은 이 매크로 블록 정보(MB_Info)를 통해 이루어진다.
본 발명의 상기 목적은, 현재의 영상을 사전 설정된 단위 영역(MB; Macro-Block)으로 나누고, 각 단위 영역을 저장되어 있던 배경 영상과 저장되어 있던 물체 영상과의 유사성에 따라 차별적으로 압축 부호화하기 위한 영역 분할 기반 동영상 압축 부호화기(SVC Encoder: Segmentation-based Video Compression Encoder)로서,
현재 영상을 저장하기 위한 현재 영상 프레임 메모리(CFM: Current Frame memory)와;
배경 영상을 저장하기 위한 배경 영상 프레임 메모리(BFM: background Frame memory)와;
이전 물체 영상을 저장하기 위한 이전 물체 영상 메모리(POM: Previous Object memory)와;
상기 현재 영상 프레임 메모리에 저장된 현재의 영상에 대하여 상기 단위 영역별로 배경 영역인지 물체 영역인지의 영역 분할을 수행하고, 그 결과를 이용해 단위 영역별로 차별적인 부호화 지시와 움직임 벡터를 생성하는 영역 분할 및 부호화 제어기(SCC: Segmentation and Coding Control)와;
상기 영역 분할 및 부호화 제어기로부터 상기 단위 영역별 부호화 지시와 움직임 벡터를 입력받아 그에 따라 단위 영역의 영상 데이터에 대한 차별적인 변환 부호화를 수행하는 변환 부호화기(TC: Transform Coder)와;
상기 배경 영상 프레임 메모리와 상기 이전 물체 영상 메모리를 갱신(update)하기 위하여, 상기 변환 부호화기로부터 변환 부호화 된 상기 단위 영역의 영상 데이터에 대해 변환 복호화를 수행하는 변환 복호화기(TD: Transform Decoder)와;
상기 변환 부호화기로부터의 변환 부호화 된 데이터와 상기 영역 분할 및 부호화 제어기로부터의 부호화 지시와 움직임 벡터에 대하여 차별적으로 엔트로피 부호화(Entropy Coding)를 수행하기 위한 엔트로피 부호화기(EC: Entropy Coder)와;
상기 엔트로피 부호화기로부터의 출력을 일정한 형식에 맞추어 비트스트림으로 출력하기 위한 비트스트림 작성기(BF: Bitstream Formatter);
을 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기(SVC Encoder: Segmentation-based Video Compression Encoder)에 의해 달성된다.
이하 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1을 참조하면, 본 발명에 따른 영역 분할 기반 동영상 압축 부호화기(SVC Encoder: Segmentation-based Video Compression Encoder; 10)의 전체 구성과 그 입/출력이 도시되어 있다.
동영상 압축 부호화기(SVC; 10)는 입력받은 현재의 영상에 대하여 매크로 블록(MB) 단위로 배경 영역인지 물체 영역인지를 판별하고 각 영역 별로 차별적인 매크로 블록 정보(MB_Info)를 생성하는 영역 분할 및 부호화 제어기(SCC; 20)와; 영상 입력 소스(VS; 50)로부터 입력된 현재 영상 프레임을 저장하는 현재 영상 프레임 메모리(CFM; 12)와; 배경 영상을 저장하기 위한 배경 영상 프레임 메모리(BFM; 14)와; 이전 영상을 저장하기 위한 이전 물체 영상 메모리(POM; 16)와; 현재 영상의 매크로 블록(MB) 데이터에 대하여 상기 매크로 블록 정보(MB_Info)에 따라 차별적인 부호화를 수행하기 위한 변환 부호화기(TC; 30)와; 상기 변환 부호화기(30)로부터의 출력 데이터와 상기 매크로 블록 정보(MB_Info)를 엔트로피 부호화하기 위한 엔트로피 부호화기(EC; 18)와; 상기 엔트로피 부호화기로(18)부터의 출력 데이터를 특정한 형식에 맞추어 비트스트림(bitstream)으로 만드는 비트스트림 작성기(BF; 19)와; 상기 변환 부호화기(30)로부터의 출력 데이터를 복호화 하여 배경 영상 프레임 메모리(BFM; 14)와 이전 물체 영상 메모리(POM; 16)를 갱신(update)하기 위한 변환 복호화기(TD; 40)를 구비한다.
동영상 압축 부호화기(SVC; 10)로의 입력은 영상 프레임 그래버 등의 디지털 영상 입력원(VS: Video Source)으로부터의 현재 영상 데이터이다. 동영상 압축 부호화기(SVC; 10)로부터의 출력은 입력된 현재 영상 데이터에 대한 압축 부호화 된 데이터와 그 데이터를 이용해 현재 영상을 복원하기 위해 필요한 정보를 포함하는 비트스트림(bitstream)이 된다. 상기 출력 비트스트림은 필요에 따라 하드디스크나 마그네틱테이프와 같은 저장 매체(storage media; 54)에 저장될 수도 있고, 네트워크(network; 52)를 통하여 전송될 수도 있다.
계속해서 도 1을 참조하면, 현재 영상 프레임 메모리(CFM, Current Frame memory; 12), 배경 영상 프레임 메모리(BFM, Background Frame memory; 14), 그리고 이전 물체 영상 메모리(POM, Previous Object memory; 16)는 모두 영상 데이터를 저장하는 메모리이다. 현재 영상 프레임 메모리(CFM; 12)는 상기 영상 입력 소스(VS; 50)로부터 입력된 현재 영상 프레임을 저장하는 현재 영상 프레임 메모리이다. 배경 영상 프레임 메모리(BFM; 14)는 현재 영상 데이터가 입력되기 직전까지의 영상 데이터들로부터 추출된 배경 영상을 저장하는 배경 영상 프레임 메모리이다. 이전 물체 영상 메모리(POM; 16)는 현재 영상 데이터 바로 이전의 영상 데이터로부터 추출된 물체 영상을 저장하는 이전 물체 영상 메모리이다.
영역분할 및 부호화 제어기(SCC, Segmentation and Coding Control; 20)는 현재 영상 프레임 메모리(CFM; 12)에 저장되어 있는 현재 영상 데이터의 각 매크로 블록(MB) 데이터가 배경 영상인지 물체 영상인지를 판별하는 영역 분할을 수행한 후, 그 결과를 이용하여 각 매크로 블록(MB) 데이터의 부호화에 필요한 정보인 매크로 블록 정보(MB_Info)를 매크로 블록(MB) 단위로 생성한다. 영역분할 및 부호화 제어기(SCC; 20)의 입력은 현재 영상 프레임 메모리(CFM; 12)에 저장된 현재 영상과, 배경 영상 프레임 메모리(BFM; 14)에 저장된 배경 영상, 그리고 이전 물체 영상 메모리(POM; 16)에 저장된 이전 물체 영상이다. 이 영역분할 및 부호화 제어기(SCC; 20)는 현재 영상을 배경 영상과 물체 영상과 각각 비교하여 매크로 블록(MB) 단위의 영역 분할을 수행한다. 영역분할 및 부호화 제어기(SCC; 20)의 출력은 매크로 블록 정보(MB_Info)이다. 매크로 블록 정보(MB_Info)는 움직임 예측(motion estimation) 결과로 발생하는 움직임 벡터(mv: motion vector)와 매크로 블록(MB) 단위로 차별적인 부호화를 수행하기 위한 부호화 지시(cd: coding directive)로 구성된다.
현재 영상의 각 매크로 블록(MB) 데이터는 상기 부호화 지시에 따라 변환 부호화기(TC, Transform Coder; 30)에서 변환 부호화 되며, 그 결과가 엔트로피 부호화기(EC, Entropy Coder; 18)에서 엔트로피 부호화(entropy coding) 된다. 상기 변환 부호화기(TC; 30)에서 변환 부호화 된 데이터는 또한 상기 부호화 지시에 따라 변환 복호화기(TD, Transform Decoder; 40)에서 복호화 되어 배경 영상 프레임 메모리(BFM; 14)와 이전 물체 영상 메모리(POM; 16)를 갱신(update)하는데 사용된다.
매크로 블록 정보(MB_Info)는 또한 상기 엔트로피 부호화기(EC; 18)에서 엔트로피 부호화 되어 비트스트림 작성기(BF; 19)에 의해 압축 비트스트림에 포함된다. 상기 동작을 수행하는 영역분할 및 부호화 제어기(SCC; 20)의 상세한 내부 구성 및 동작은 뒤에서 도 2 및 도 5, 도 6, 표 5, 표 6, 표 7을 참조하여 설명하기로 한다.
도 1 및 도 2와 아래의 표 1을 참조하여 매크로 블록 정보(MB_Info)에 대하여 설명한다.
매크로 블록 정보(MB_Info)는 앞에서 설명한 바와 같이, 움직임 예측(motion estimation) 결과로 발생하는 움직임 벡터(mv: motion vector)와 매크로 블록(MB) 단위로 차별적인 부호화를 수행하기 위한 부호화 지시(cd: coding directive)로 구성된다.
부호화 지시(cd)는 상기 영역분할 및 부호화 제어기(SCC; 20)에서의 영역 분할(segmentation)의 결과로 생성되며, 변환 부호화기(TC; 30)와 엔트로피 부호화기(EC; 18)를 제어하여 매크로 블록(MB) 단위의 차별적 부호화를 수행하게 하고, 변환 복호화기(TD; 40)를 제어하여 매크로 블록(MB) 단위의 차별적 복호화를 수행하게 한다.
아래의 표 1은 본 발명에 따른 6 가지 종류의 부호화 지시(B_SKIP, B_INTER, B_UPDT, O_SKIP, O_INTER, O_INTRA)에 대한 설명을 정리한 것이다.
부호화 지시(cd: Coding Directive)의 종류와 각각의 의미
부호화 지시 (cd) Bit flag 의 미 움직임 벡터(mv) 이용여부
B_SKIP 1 0 0 0 0 0 입력된 매크로 블록(MB)이 배경 영상의 해당 위치의 매크로 블록(MB)과 거의 차이가 없으니 변환 부호화를 수행하지 말아라. X
B_INTER 0 1 0 0 0 0 입력된 매크로 블록(MB)과 배경 영상의 해당 위치의 매크로 블록(MB)의 차이를 Inter 변환 부호화 하여라. X
O_SKIP 0 0 1 0 0 0 입력된 매크로 블록(MB)이 움직임 예측에 의한 이전 물체 영상과 거의 차이가 없으니 변환 부호화를 수행하지 말고 움직임 벡터만 부호화 하여라. O
B_UPDT 0 0 0 1 0 0 입력된 매크로 블록(MB)은 이전 물체 영상의 해당 위치의 매크로 블록(MB)과 거의 차이가 없으며, 시간적으로 변화가 없는 부분이므로 이후 프레임부터는 배경 영상으로 한다. 따라서 배경 영상을 이전 물체 영상의 해당 위치의 매크로 블록(MB)으로 갱신(update) 하여라. X
O_INTRA 0 0 0 0 1 0 입력된 매크로 블록(MB)을 Intra 변환 부호화 하여라. X
O_INTER 0 0 0 0 0 1 입력된 매크로 블록(MB)과 움직임 예측에 의한 이전 물체 영상과의 차이를 Inter 변환 부호화를 수행하고 움직임 벡터를 부호화 하여라. O
* 상기 표에서 'X'는 움직임 벡터를 무시함을, 'O'는 움직임 벡터를 이용함을 나타낸다.
** 상기 표에서 '해당 위치'라 함은 입력된 매크로 블록(MB)의 현재 영상 프레임 상에서의 위치와 동일한 위치를 지칭한다.
먼저, B_SKIP(Background-referenced Skip)은 비트 플래그(bit flag)로 '100000'을 가지며, 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터가 배경 영상 프레임 메모리(BFM; 14) 상의 동일 위치의 매크로 블록(MB) 데이터와 거의 차이가 없으니 변환 부호화를 수행하지 말라는 지시(directive)이다.
B_INTER(Background-referenced Inter-coding)는 비트 플래그로 '010000'을 가지며, 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터와 배경 영상 프레임 메모리(BFM; 14) 상의 동일 위치의 매크로 블록(MB) 데이터와의 차이 데이터를 Inter 변환 부호화 하라는 지시이다.
O_SKIP(Object-referenced Skip)은 비트 플래그로 '001000'을 가지며, 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터가 움직임 예측에 의한 이전 물체 영상 데이터와 거의 차이가 없으니 변환 부호화를 수행하지 말고 움직임 벡터(mv)만 부호화 하라는 지시이다.
O_INTER(Object-referenced Inter-coding)는 비트 플래그로 '000001'을 가지며, 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터와 움직임 예측에 의한 이전 물체 영상 데이터와의 차이를 Inter 변환 부호화하고 움직임 벡터도 부호화 하라는 지시이다.
O_INTRA(Object-referenced Intra-coding)는 비트 플래그로 '000010'을 가지며, 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터를 Intra 변환 부호화 하라는 지시이다.
B_UPDT(Background Update)는 비트 플래그로 '000100'을 가지며 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB)과 동일 위치를 갖는 이전 물체 영상 메모리(POM; 16)상의 매크로 블록(MB) 데이터를 배경 영상 프레임 메모리(BFM; 14)상의 동일 위치의 매크로 블록(MB)으로 복사함으로써 배경 영상 프레임 메모리(BFM; 14)를 갱신(update)하라는 지시이다. 이 B_UPDT의 의미는 현재 영상 프레임 메모리(CFM; 12)로부터 입력된 현재 영상의 매크로 블록(MB) 데이터가 이전 물체 영상 메모리(POM; 16)상의 동일 위치의 매크로 블록(MB) 데이터와 일정 시간 동안 혹은 일정 개수의 프레임이 경과하는 동안 계속하여 차이가 거의 없었으니, 이후 프레임부터는 상기 이전 물체 영상 메모리(POM; 16)상의 동일 위치의 매크로 블록(MB) 데이터를 배경 영상으로 이용한다는 의미이다.
지금까지의 설명에서 비트 플래그는 도 1에 도시된 장치들 사이에서 부호화 지시(cd)를 주고받는 방법으로 본 발명에서 도입한 것으로, 부호화 지시에 따라 여섯 개의 비트 중 한 비트만이 '1'로 set되고 나머지 비트들은 '0'으로 set된다. 그러나, 본 발명에 따른 장치 구현 시 부호화 지시를 주고받는 방법은 이에 제한되는 것은 아니며, 다른 방법을 도입하여도 무방하다.
상기 표 1을 참조하면 부호화 지시가 B_SKIP, B_INTER, B_UPDT, 또는 O_INTRA인 경우에는 움직임 벡터(mv)가 사용되지 않는데, 논리적으로는 (0,0)의 값을 갖는 움직임 벡터를 사용한다고 생각하여도 무방하다. 따라서, 영역분할 및 부호화 제어기(SCC; 20)에서 부호화 지시로 B_SKIP, B_INTER, B_UPDT, 또는 O_INTRA를 출력하는 경우 영역분할 및 부호화 제어기(SCC; 20)는 움직임 벡터로 (0,0)를 출력하도록 한다.
다시, 도 1을 참조하면, 변환 부호화기(TC; 30)는 상기 영역분할 및 부호화 제어기(SCC; 20)로부터 매크로 블록 정보(MB_Info)를 입력받아, 이 매크로 블록 정보(MB_Info)에 포함된 부호화 지시(cd)에 따라 매크로 블록(MB)별 변환(transform)과 양자화(quantization)를 수행한 후, 그 결과를 엔트로피 부호화기(EC; 18)와 변환 복호화기(TD; 40)로 출력한다.
상기 동작을 수행하는 변환 부호화기(TC; 30)의 내부 구성 및 동작을 도 3과 표 2를 참조하여 설명한다.
부호화 지시에 따른 변환 부호화기(TC; 30)의 내부 스위치(32) 연결 상태
부호화 지시 (cd) Bit flag 스위치(32) 연결
B_INTER 0 1 0 0 0 0 단자 A
O_INTRA 0 0 0 0 1 0 단자 B
O_INTER 0 0 0 0 0 1 단자 C
Otherwise - 0 - - 0 0 Don't care.
표 2는 부호화 지시(cd)에 따른 상기 변환 부호화기(TC; 30)의 내부 스위치(32)의 연결 상태를 보인다. 상기 내부 스위치(32)의 연결 상태에 따라 변환 부호화기(TC; 30)가 수행하는 일의 내용이 달라진다.
도 3과 표 2를 참조하면, 부호화 지시가 B_INTER인 경우는 상기 내부 스위치(32)가 단자 A와 연결되며, O_INTRA인 경우는 단자 B와 연결되고, O_INTER인 경우는 단자 C와 연결된다. 표 2를 참조하면, 상기 B_INTER와 O_INTRA, 그리고 O_INTER를 제외한 나머지 부호화 지시들에 대하여는 내부 스위치(32)의 단자가 A, B, C 중 어디에 연결되어도 상관없는데, 이것은 B_INTER와 O_INTRA, 그리고 O_INTER를 제외한 나머지 부호화 지시들에 대하여는 변환 부호화기(TC; 30) 다음 단의 엔트로피 부호화기(EC; 18)에 의해 변환 부호화기(TC; 30)로부터의 매크로 블록(MB) 데이터(즉, 도 3에서 양자화기(Q; 36)의 출력 양자화 계수들)가 어차피 무시되기 때문이다.
도 3을 참조하여 변환 부호화기(TC; 30)의 내부 스위치(32) 연결 상태에 따른 변환 부호화기(TC; 30)의 동작을 설명한다. 상기 내부 스위치(32)가 단자 A에 연결되면, 현재 영상 프레임 메모리(CFM; 12)로부터의 현재 영상 매크로 블록(MB) 데이터와 배경 영상 프레임 메모리(BFM; 14)상의 동일 위치의 매크로 블록(MB) 데이터와의 차이가 변환기(T; 34)(Transformer; 변환기)로 입력된다. 단자 B에 연결되면 현재 영상 프레임 메모리(CFM; 12)로부터의 현재 영상 매크로 블록(MB) 데이터가 바로 변환기(T; 34)로 입력된다. 단자 C에 연결되면 현재 영상 프레임 메모리(CFM; 12)로부터의 현재 영상 매크로 블록(MB) 데이터와 상기 움직임 보상기(MC; 38)로부터의 움직임 보상된 이전 물체 영상과의 차이(즉, 움직임 예측 오차 데이터)가 변환기(T; 34)로 입력된다. 상기 내부 스위치가 단자 A, B, C에 연결된 경우 각각에 대하여, 상기 내부 스위치의 출력 데이터는 변환기(T; 34)를 거쳐 변환되고 양자화기(Q; 36)를 거쳐 양자화 되어 변환 부호화기(TC; 30) 외부로 출력된다. 상기 변환기(T; 34)는 공간영역(spatial domain)의 영상데이터를 주파수영역(frequency domain)의 영상데이터로 변환해 주기 위한 것으로서, DCT(Discrete Cosine Transform; 이산 여현 변환) 또는 DWT(Discrete Wavelet Transform; 이산 웨이브릿 변환)와 같이 영상의 부호화에 자주 사용되는 데이터 변환을 수행한다.
본 발명에 따른 양자화기(Q; 36)에서 필요한 양자화 테이블의 개수는 모두 3개로 각각 부호화 지시가 B_INTER, O_INTRA, O_INTER인 경우에 사용된다. 부호화 지시가 O_INTRA이거나 O_INTER인 경우는 각각 동영상 부호화에 많이 사용되는 Intra 양자화 테이블과 Inter 양자화 테이블을 사용한다. 부호화 지시가 B_INTER인 경우는 O_INTER인 경우와 같은 양자화 테이블을 사용할 수도 있고 새로운 양자화 테이블을 고안하여 사용할 수도 있다.
다시 도 1을 참조하면, 변환 복호화기(TD; 40)는 상기 변환 부호화기(TC; 30)로부터 변환 부호화 된 매크로 블록(MB) 단위 영상 데이터와 매크로 블록 정보(MB_Info)를 입력받아, 이 매크로 블록 정보(MB_Info)에 포함된 부호화 지시(cd)에 따라 매크로 블록(MB)별 역양자화(inverse quantization)와 역변환(inverse transform)을 수행한 후, 그 결과를 이용해 배경 영상 프레임 메모리(BFM; 14)와 이전 물체 영상 메모리(POM; 16)를 갱신(update)한다.
상기 동작을 수행하는 변환 복호화기(TD; 40)의 내부 구성 및 동작을 도 4와 표 3을 참조하여 설명한다. 변환 복호화기(TD; 40)의 동작은 기본적으로는 상기 변환 부호화기(TC; 30)의 동작의 역과정이며, 상기 변환 부호화기(TC; 30)에서 변환 부호화에 사용되었던 부호화 지시들이 변환 복호화기(TD; 40)에서는 거꾸로 변환 복호화를 위해 사용된다.
아래 표 3은 부호화 지시(cd)에 따른 상기 변환 복호화기(TD; 40)의 내부 스위치(44, 49, 46, 47)의 연결 상태를 보인다.
부호화 지시에 따른 변환 복호화기(TD; 40)의 내부 스위치 연결 상태
부호화 지시 (cd) Bit flag 스위치 연결
스위치#1(44) 스위치#2(49) 스위치#3(46) 스위치#4(47)
B_SKIP 1 0 0 0 0 0 Don't care. 단자 B2 Don't care. 단자 A4
B_INTER 0 1 0 0 0 0 단자 A1 단자 A2 Don't care. 단자B4
O_SKIP 0 0 1 0 0 0 Don't care. Don't care. 단자 B3 단자 E4
B_UPDT 0 0 0 1 0 0 Don't care. Don't care. 단자 C3 단자 F4
O_INTRA 0 0 0 0 1 0 단자 B1 Don't care. Don't care. 단자 C4
O_INTER 0 0 0 0 0 1 단자 C1 Don't care. 단자 A3 단자 D4
내부 스위치(44, 49, 46, 47)의 연결 상태에 따라 변환 복호화기(TD; 40)가 수행하는 일의 내용이 달라진다.
도 4와 표 3을 참조하면, 부호화 지시가 B_SKIP인 경우는, 단자 B2, 단자 A4가 연결되어 배경 영상 프레임 메모리(BFM; 14), 복원된 현재 영상 프레임 메모리(RFM, Reconstructed Frame Memory; 48)의 순으로 데이터가 전송된다.
부호화 지시가 B_INTER인 경우는, 단자 A1, 단자 A2, 단자 B4가 연결되어 역양자화기(Q-1, Inverse Quantizer; 42), 역변환기(T-1, Inverse Transformer; 43)를 거친 데이터와 배경 영상 프레임 메모리(BFM; 14)로부터의 데이터가 더해져, 배경 영상 프레임 메모리(BFM; 14)와 복원된 현재 영상 프레임 메모리(RFM; 42)로 전송된다.
부호화 지시가 O_INTRA인 경우는, 단자 B1, 단자 C4가 연결되어, 역양자화기(Q-1; 42), 역변환기(T-1; 43)를 거친 데이터가 바로 복원된 현재 영상 프레임 메모리(RFM; 42)로 전송된다.
계속하여, 부호화 지시가 O_INTER인 경우는, 단자 C1, 단자 A3, 단자 D4가 연결되어, 역양자화기(Q-1; 42), 역변환기(T-1; 43)를 거친 데이터와 이전 물체 영상 메모리(POM; 16), 움직임 보상기(MC, Motion Compensator; 45)로부터의 데이터가 더해져 복원된 현재 영상 프레임 메모리(RFM; 42)로 전송된다.
부호화 지시가 O_SKIP인 경우는, 단자 B3, 단자 E4가 연결되어, 이전 물체 영상 메모리(POM; 16), 움직임 보상기(MC; 45)로부터의 데이터가 바로 복원된 현재 영상 프레임 메모리(RFM; 42)로 전송된다.
부호화 지시가 B_UPDT인 경우는, 단자 C3, 단자 F4가 연결되어, 이전 물체 영상 메모리(POM; 16), 움직임 보상기(MC; 45)로부터의 데이터가 배경 영상 프레임 메모리(BFM; 14)와 복원된 현재 영상 프레임 메모리(RFM; 42)로 전송된다.
이렇게 복원된 현재 영상 프레임 메모리(RFM; 42)에 저장된 데이터는 이전 물체 영상 메모리(POM; 16)로 전송되어 이를 갱신한다.
다시 도 1을 참조하면, 엔트로피 부호화기(EC; 18)는 상기 변환 부호화기(TC; 30)로부터 변환 부호화 된 매크로 블록(MB) 단위 영상 데이터(구체적으로는 양자화 계수들)와 매크로 블록 정보(MB_Info)를 입력받아 엔트로피 부호화(entropy coding)를 수행하고 그 결과를 비트스트림 작성기(BF; 19)(Bitstream Formatter)로 출력한다.
엔트로피 부호화를 수행할 대상 데이터는 상기 매크로 블록 정보(MB_Info)에 포함된 부호화 지시(cd)에 따라 달라진다. 표 4는 상기 부호화 지시에 따른 상기 엔트로피 부호화기(EC; 18)의 엔트로피 부호화 수행 대상을 보인다.
부호화 지시에 따른 엔트로피 부호화기(EC; 18)의 엔트로피 부호화 대상
부호화 지시 (cd) Bit flag 엔트로피 부호화 수행 대상
부호화 지시 변환 부호화기 (TC; 30) 로부터의 매크로 블록(MB) 데이터 움직임 벡터
B_SKIP 1 0 0 0 0 0 O X X
B_INTER 0 1 0 0 0 0 O O X
O_SKIP 0 0 1 0 0 0 O X O
B_UPDT 0 0 0 1 0 0 O X X
O_INTRA 0 0 0 0 1 0 O O X
O_INTER 0 0 0 0 0 1 O O O
* 상기 표에서 'O'는 해당 데이터에 대하여 엔트로피 부호화를 수행함을, 'X'는 해당 데이터를 무시하고 엔트로피 부호화를 수행하지 않음을 나타낸다.
구체적인 엔트로피 부호화 방법은 엔트로피 부호화 대상 데이터의 특성에 따라 달라질 수 있다. 즉, 부호화 지시를 엔트로피 부호화 하는 방법으로는 허프만 부호화(Huffman coding) 방법이 바람직하며, 매크로 블록(MB) 단위의 영상 데이터(즉 양자화 계수들)를 엔트로피 부호화 하는 방법으로는 지그재그-스캐닝(zigzag- scanning)에 의한 주행길이 부호화(run-length coding)의 결과를 수정된 허프만 부호화(modified-Huffman coding)나 산술 부호화(arithmetic coding)하는 방법이 바람직하고, 움직임 벡터를 부호화 하는 방법으로는 수정된 허프만 부호화(modified-Huffman coding) 방법이나 산술 부호화(arithmetic coding) 방법이 바람직하다. 부호화 지시(cd)는 필요에 따라 엔트로피 부호화하지 않고 고정 길이 부호화(FLC: fixed length coding)를 수행할 수도 있다. 엔트로피 부호화 방법에 대한 자세한 내용은 본 발명이 속한 분야에서 당업자에게 널리 알려진 상태이므로 생략한다.
계속해서 도 1을 참조하면, 비트스트림 작성기(BF; 19)는 상기 엔트로피 부호화기(EC; 18)로부터의 출력을 일정한 형식에 따라 비트스트림 형태로 출력하는 비트스트림 작성기(Bitstream Formatter)이다. 상기 비트스트림의 형식(bitstream syntax)은 본 발명을 사용하고자 하는 용도에 따라 다를 수 있다.
이하 도 2와 표 5, 표 6, 표 7을 참조하여 상기 영역분할 및 부호화 제어기(SCC; 20)의 내부 구성 및 동작을 상세히 설명한다.
도 2를 참조하면, 배경 영역 판별기(BAC; 22)는 현재 영상 프레임 메모리(CFM; 12)와 배경 영상 프레임 메모리(BFM; 14)를 매크로 블록(MB) 단위로 비교하여 세 비트의 정보를 출력하는데, 이 세 비트 중 한 비트만이 '1'로 세팅(set)되고 나머지 비트들은 모두 '0'으로 세팅(set)되어 출력된다. 배경 영역 판별기(BAC; 22)의 출력 세 비트들 중 bit 1은 부호화 지시(cd)의 첫 번째 비트와 연결되어 있으며, bit 2는 부호화 지시의 두 번째 비트와 연결되어 있고, bit 3은 움직임 예측기(ME; 24)와 연결되어 움직임 예측 수행 여부를 지시한다. 표 5는 배경 영역 판별기(BAC; 22)의 출력 비트들의 발생 조건 및 그에 따른 부호화 지시(cd)를 보인다.
배경 영역 판별기(BAC; 22)의 출력 비트의 발생 조건 및 그에 따른 부호화 지시(cd)
출력 비트 발생 조건 부호화 지시
Bit1 Bit2 Bit3
1 0 0 입력된 매크로 블록(MB)이 배경 영상의 해당 위치의 매크로 블록(MB)의 차이가 무시할 만 함. B_SKIP
0 1 0 입력된 매크로 블록(MB)과 배경 영상의 해당 위치의 매크로 블록(MB)의 차이를 변환 부호화 해야 함. B_INTER
0 0 1 입력된 매크로 블록(MB)은 배경 영상과 유사성이 없으므로 이전 물체 영상과 비교해야 함. 알 수 없음
Otherwise 발생할 수 없음. -
현재 영상 프레임 메모리(CFM; 12)로부터 입력받은 현재 영상 매크로 블록(MB)이 표 5에 나타난 발생 조건 중 어디에 해당하는지를 판별하는 구체적인 방법은 구현자가 여러 가지 방법을 고안하여 사용할 수 있다. 이러한 방법 중의 하나 즉, 입력받은 매크로 블록(MB)과 배경 영상 프레임 메모리(BFM; 14)상의 동일 위치의 매크로 블록(MB) 사이의 유사성을 판별하여 표 5의 발생 조건 중 어디에 해당하는 지를 판별하는 한 가지 방법을 도 5에 보인다.
도 5에서 Yerror는 밝기 성분 오차로서 입력받은 현재 영상 매크로 블록(MB)의 각 픽셀의 밝기 값에서 배경 영상 매크로 블록(MB)의 대응하는 위치의 픽셀의 밝기 값을 뺀 값을 나타낸다. Uerror와 Verror는 모두 색차 성분 오차로서 입력받은 현재 영상 매크로 블록(MB)의 각 픽셀의 색차 U-성분과 색차 V-성분 값에서 배경 영상 매크로 블록(MB)의 대응하는 위치의 픽셀의 색차 U-성분과 색차 V-성분 값을 각각 뺀 값을 나타낸다. 일반적으로 색차 성분은 U-성분과 V-성분의 두 가지 성분으로 구성될 수도 있고, Cb-성분과 Cr-성분의 두 가지 성분으로 구성될 수도 있으며, I-성분과 Q-성분의 두 가지 성분으로 구성될 수도 있다. 색차 성분을 구분함에 있어 상기 세 가지 방법 중 어떤 방법을 선택하느냐는 본 발명의 구현 시 필요에 따라 달라질 수 있으며, 본 발명에서는 설명의 편의상 U-성분과 V-성분으로의 구분 방법을 선택하였다.
도 5에서 Ty와 Tyy는 모두 밝기 성분에 대한 문턱값(threshold)이며, Tu와 Tv는 각각 색차 U-성분과 색차 V-성분에 대한 문턱값이다. Ty, Tu, Tv는 모두 무시할 수 있을 정도의 작은 차이(예: 1~7)를 나타내며, Tyy는 무시할 수는 없지만 그리 크지 않은 차이(예: 10~40)를 나타낸다. 또한 Tn1, Tn2, Tn3은 픽셀 개수에 대한 문턱값(threshold)으로서, 하나의 매크로 블록(MB)에 속하는 전체 픽셀 개수의 90~99% 정도의 값으로 선택하는 것이 바람직하다.
도 5에서 조건 1은 밝기 성분 오차가 상기 Tyy보다 작은 픽셀의 개수를 n1이라 할 때, n1이 충분히 큰가(n1이 특정한 문턱치 Tn1보다 큰가)를 검사하기 위한 것이다. 조건 1을 만족하면 현재 영상 프레임 메모리(CFM; 12)로부터의 현재 영상 매크로 블록(MB) 데이터와 배경 영상 프레임 메모리(BFM; 14)로부터의 배경 영상 매크로 블록(MB) 데이터의 밝기 성분의 차이가 그리 크지 않으므로 두 매크로 블록(MB) 데이터의 밝기 성분이 유사한 경우이고, 조건 1을 만족하지 못하면 두 매크로 블록(MB) 데이터의 밝기 성분이 유사하다고 하기에는 밝기 성분의 차이가 큰 경우이다.
계속해서 도 5를 참조하면, 조건 1을 만족하지 못한 경우 현재 영상 매크로 블록(MB) 데이터를 이전 물체 영상 메모리(POM; 16)에 저장되어 있는 이전 물체 영상과 비교하기 위해 출력 비트 플래그로 '001'을 출력하게 된다. 조건 1을 만족하는 경우 조건 2에서 현재 영상 매크로 블록(MB) 데이터와 배경 영상 매크로 블록(MB) 데이터와의 유사성을 더 자세히 검사하게 된다.
도 5에서 조건 2는 색차 성분에 대하여 오차가 작은 픽셀의 개수 n2를 구한 후, n2가 충분히 큰가(즉, n2가 특정한 문턱치 Tn2보다 큰가)를 검사하기 위한 것이다. 조건 2를 만족하면 색차 성분의 오차가 무시해도 될 만큼 작은 경우이고, 조건 2를 만족하지 못하면 색차 성분의 오차를 무시할 수 없는 경우이다. 도 5를 참조하면, 조건 2를 만족하지 못한 경우 현재 영상 매크로 블록(MB) 데이터와 배경 영상 매크로 블록(MB) 데이터와의 차이를 Inter 부호화하기 위해 출력 비트 플래그로 '010'을 출력하게 된다. 조건 2를 만족하는 경우 조건 3에서 현재 영상 매크로 블록(MB) 데이터와 배경 영상 매크로 블록(MB) 데이터와의 유사성을 더더욱 자세히 검사하게 된다.
도 5에서 조건3은 밝기 성분 오차가 Ty(Tyy)보다 작은 픽셀의 개수를 n3라 할 때, n3이 충분히 큰가(즉, n3이 특정 문턱치 Tn3보다 큰가)를 검사하기 위한 것이다. 도 5를 참조하면 조건 3을 만족하는 경우 결국 색차 성분의 오차와 밝기 성분의 오차가 모두 무시할 수 있을 정도로 작은 것이므로 변환 부호화를 수행하지 않기 위해(B_SKIP) 출력 비트 플래그로 '100'을 출력하게 되며, 조건 3을 만족하지 못한 경우 색차 성분의 오차는 무시할 수 있지만 밝기 성분의 오차는 무시할 수 없는 것이므로 현재 영상 매크로 블록(MB) 데이터와 배경 영상 매크로 블록(MB) 데이터와의 차이를 Inter 부호화하기 위해(B_INTER) 출력 비트 플래그로 '010'을 출력하게 된다.
상기 판별 절차는 설명을 위한 것이며, 본 발명은 상기 판별절차에 한정되는 것은 아니다. 이러한 판별절차는 필요에 따라 추가 및 수정이 가능하다.
다시 도 2를 참조하면, 움직임 예측기(ME, Motion Estimator; 24)는 상기 배경 영역 판별기(BAC; 22)로부터의 출력 비트 중 bit 3의 값이 '1'인 경우만 동작 가능(enable) 상태로 된다. 상기 배경 영역 판별기(BAC; 22)로부터의 출력 비트 중 bit 3이 '1'인 경우는 입력된 현재 영상 매크로 블록(MB)이 배경 영역에 속하지 않는다고 판별된 경우이므로, 움직임 예측기(ME; 24)는 입력된 현재 영상 매크로 블록(MB)과 이전 물체 영상 메모리(POM; 16)를 비교하여 움직임 예측(motion estimation)을 수행하고 그 결과에 따라 움직임 예측기(ME; 24) 다음 단의 스위치(23)의 연결 상태를 제어하며 움직임 벡터를 출력한다. 즉, 움직임 예측 오차가 매우 작아서 변환 부호화를 수행할 필요가 없는 경우, 움직임 예측기(ME; 24)는 그 다음 단의 스위치(23)를 제어하여 정상성 분석기(SA; 27)를 동작 가능(enable) 상태로 하고, 움직임 예측 오차가 무시할 만 하지 않은 경우 움직임 예측기(ME; 24)는 그 다음 단의 스위치(23)를 제어하여 Intra/Inter 모드 판별기(IID; 28)를 동작 가능(enable) 상태로 하고 예측 오차 영상 매크로 블록(MB) 데이터를 Intra/Inter 모드 판별기(IID; 28)로 출력한다.
움직임 예측기(ME; 24)에서 움직임을 예측하는 구체적인 방법으로서는 본 발명이 속한 분야에서 일반적으로 많이 사용되는 블록 정합 기법(BMA: Block Matching Algorithm)들 중 적당한 것을 선택하여 사용하거나 새로운 기법을 도입하여 사용할 수 있다. 그러나 본 발명에 사용할 때는 움직임 예측 기법의 탐색 영역(search area)이 일반적인 경우와는 달라져야 한다. 즉, 일반의 경우에는 움직임 예측을 위해 이전 프레임 메모리의 영역 중 입력받은 매크로 블록(MB)의 위치를 중심으로 그 매크로 블록(MB)을 포함하는 특정한 크기의 사각형 영역을 탐색 영역으로 사용하는데, 본 발명에서는 이전 물체 영상 메모리(POM)의 영역 중 입력받은 매크로 블록(MB)의 위치를 중심으로 그 매크로 블록(MB)을 포함하는 특정한 크기의 사각형 영역을 모두 탐색 영역으로 하는 것이 아니라, 그 영역 중에서 물체 영역만을 대상으로 하여 탐색을 수행한다. 따라서 본 발명에 따른 움직임 예측기(ME; 24)는 일반적인 움직임 예측 기능 외에도 이전 프레임에서 물체로 판별되었던 영역의 위치를 저장하는 물체 마스크 메모리(OMM, Object Mask memory; 25)를 더 구비하여야 한다. 물체 마스크 메모리(OMM; 25)는 매크로 블록(MB)별로 물체 영역인지 아닌지를 나타내는 한 비트의 마스크(mask) 정보를 저장하게 된다. 상기 물체 마스크 메모리(OMM; 25)의 매크로 블록(MB)별 마스크의 값은 배경 영역 판별기(BAC; 22)로부터의 출력 비트들 중 세 번째 비트의 값과 동일한 값을 갖도록 하는데, 이것은 표 5에 나타나 있듯이 배경 영역 판별기(BAC; 22)의 세 번째 출력 비트가 '1'이면 입력받은 현재 영상의 매크로 블록(MB)이 물체 영역(cd = O_SKIP, O_INTRA, O_INTER)이나 물체 영역과 본질적으로 동일한 영역(cd = B_UPDT)으로 판별될 것이기 때문이다. 상기 실시예에서는 움직임 예측은 매크로 블록(MB) 단위로 이루어지는 것을 가정하였으나, 필요에 따라 매크로 블록(MB)을 더 나누어(예: 4 등분) 각각의 나뉘어진 영역 별로 움직임을 예측하고 움직임 벡터를 생성할 수도 있다.
지금까지의 본 발명에 대한 설명은 배경 영상 프레임 메모리(BFM; 14)와 이전 물체 영상 메모리(POM; 16) 각각에 배경 영상과 이전 물체 영상이 이미 확보되어 있다는 가정 하에서 이루어졌다. 실제에 있어서는 시간이 경과함에 따라 정상적(stationary)인 영역과 시변적(time-varying)인 영역을 구분하여 정상적인 영역은 배경 영상 프레임 메모리(BFM; 14)로, 또 시변적인 영역은 이전 물체 영상 메모리(POM; 16)로 저장하도록 하여야 한다. 이렇게 정상성을 분석하여 정상적인 영역으로 배경 영상 프레임 메모리(BFM; 14)를 갱신(update)해 나가는 근거는 다음과 같다. 만약 현재 영상 프레임 메모리(CFM; 12)의 특정한 위치의 매크로 블록(MB)이 배경 영상 프레임 메모리(BFM; 14)상의 동일 위치의 매크로 블록(MB)과 유사하지 않아 배경 영역에 속한다고는 할 수 없을 지라도, 충분한 시간 동안 변하지 않고 지속된다면(즉, 새로운 현재 영상들이 계속 입력되어도 똑같은 매크로 블록(MB) 영상이 동일 위치에 계속 나타난다면), 이 매크로 블록(MB)은 배경을 구성하는 물체에 공간적인 변화가 생긴 것, 혹은 새로 나타난 물체가 사라지지 않고 배경으로 계속 남아있는 것이라 할 수 있으므로, 정상성 분석 결과 충분한 시간동안 변하지 않은 매크로 블록(MB)은 배경 영상 프레임 메모리(BFM; 14)에 저장하여 다음 프레임부터는 배경 영상으로 활용하도록 한다. 이와 같은 방법을 사용하면, 첫 입력 영상 프레임 전체(물체영역과 배경영역이 섞여 있을 가능성이 있음)를 배경 영상 프레임 메모리(BFM; 14)에 저장하고(즉, 배경 영상으로 하고), 임의의 값들을 이전 물체 영상 메모리(POM; 16)에 할당하여도 충분한 시간만 경과하면 배경 영상 프레임 메모리(BFM; 14)에는 배경 영상이, 그리고 이전 물체 영상 메모리(POM; 16)에는 물체 영상이 올바로 확보되게 된다. 또한 배경을 구성하는 물체에 공간적인 변화가 있거나 배경 자체가 변화하더라도(scene change) 역시 충분한 시간만 경과하면 배경 영상 프레임 메모리(BFM; 14)에는 배경 영상이, 그리고 이전 물체 영상 메모리(POM; 16)에는 물체 영상이 올바로 확보되게 된다.
본 발명에 따른 영역분할 및 부호화 제어기(SCC; 20)에는 정상성 분석을 위해 정상성 분석기(SA, Stationarity Analyzer; 27)와 연결된 타이머 메모리(TM, Timer memory; 26)를 도 2에 도시 된 바와 같이 구비한다. 정상성 분석기(SA; 27)는 상기 움직임 예측기(ME; 24)로부터 동작 가능(enable) 신호와 움직임 벡터를 입력받아 현재 영상 매크로 블록(MB)의 위치에 해당하는 타이머 메모리의 값을 참조하여 두 비트의 정보를 출력한다. 타이머 메모리(TM; 26)는 매크로 블록(MB)별로 정상성이 유지된 시간, 즉 지속하여 같은 위치에 같은 매크로 블록(MB) 영상이 나타났던 시간을 저장한다.
표 6은 정상성 분석기(SA; 27)의 출력 비트의 발생 조건과 그에 따른 부호화 지시를 보이며, 도 6에는 정상성 판별 절차와 그 출력이 도시되어 있다.
정상성 분석기(SA; 27)의 출력 비트의 발생 조건 및 그에 따른 부호화 지시(cd)
출력 비트 발생 조건 부호화 지시
Bit1 Bit2
1 0 ME로부터 enable 신호를 받음. O_SKIP
0 1 1. ME로부터 enable 신호를 받음.2. 움직임 벡터 값이 (0,0)임.3. '1'과 '2'의 경우가 충분한 시간 동안 지속되어 왔음. B_UPDT
0 0 ME로부터 enable 신호를 받지 못함. 알 수 없음
1 1 발생할 수 없음. -
앞의 움직임 예측기(ME; 24)에 대한 설명에서 언급한 바와 같이 움직임 예측기(ME; 24)는 움직임 예측 오차가 무시할 만 한 경우에만 정상성 분석기(SA; 27)로 동작 가능(enable) 신호를 주게 된다. 도 2 및 도 6과 표 6을 참조하면, 정상성 분석기(SA; 27)가 동작 가능한 신호를 받은 경우, 정상성 분석기(SA; 27)는 먼저 움직임 예측기(ME; 24)로부터 입력받은 움직임 벡터의 값이 (0,0)인지 검사하고, (0,0)가 아닌 경우에는 bit1과 bit2에 '1'과 '0'을 각각 출력(즉, 부호화 지시로 O_SKIP)하고, (0,0)인 경우에는 현재 영상 매크로 블록(MB)의 위치에 해당하는 타이머 메모리(TM; 26)의 해당 위치의 값을 읽어 그 값이 특정 시간 Tt(예: 10초) 이상이면 타이머 메모리(TM; 26)의 해당 위치의 값을 '0'으로 리셋(reset)한 후 bit1과 bit2에 '0'과 '1'을 각각 출력(즉, 부호화 지시로 B_UPDT)하며, 상기 Tt미만이면 bit1과 bit2에 '1'과 '0'을 각각 출력(즉, 부호화 지시로 O_SKIP)한다. 정상성 분석기(SA; 27)가 동작 가능 신호를 받지 못한 경우에는 현재 영상 매크로 블록(MB)의 위치에 해당하는 타이머 메모리(TM; 26)의 값을 '0'으로 리셋(reset)하고 bit1과 bit2 모두에 '0'을 출력한다.
다시 도2를 참조하면, 움직임 예측기(ME; 24)에서의 움직임 예측의 결과, 예측 오차를 무시할 수 없어 변환 부호화를 수행해야 한다고 판단된 경우, 움직임 예측기(ME; 24)는 Intra/Inter 모드 판별기(IID; 28)에 동작 가능(enable) 신호를 주게 된다. Intra/Inter 모드 판별기(IID, Intra/Inter Mode Decision; 28)에서는 아래 표 7에 나타낸 바와 같이, 움직임 예측기(ME; 24)로부터 예측 오차 영상 매크로 블록(MB) 데이터를 입력받고 현재 영상 프레임 메모리(CFM; 12)로부터 현재 영상 매크로 블록(MB) 데이터를 입력받아 각각의 통계적인 특성(예: 분산)을 비교하여 Inter 모드 부호화(즉, 예측 오차 매크로 블록(MB) 데이터를 부호화)할 것인지 아니면 Intra 모드 부호화(즉, 현재 영상 매크로 블록(MB) 데이터를 부호화)할 것인지를 판단하고 그 결과를 두 비트의 정보로서 출력한다.
Intra/Inter 모드 판별기(IID; 28)의 출력 비트의 발생 조건 및 그에 따른 부호화 지시(cd)
출력 비트 발생 조건 부호화 지시
Bit1 Bit2
1 0 1. 움직임 예측기(ME; 24)로부터 enable 신호를 받음.2. Intra/Inter 모드 판별 결과 Intra 부호화를 수행하는 것이 더 유리하다고 판정됨. O_INTRA
0 1 1. 움직임 예측기(ME; 24)로부터 enable 신호를 받음.2. Intra/Inter 모드 판별 결과 Inter 부호화를 수행하는 것이 더 유리하다고 판정됨. O_INTER
0 0 ME로부터 enable 신호를 받지 못함. 알 수 없음
1 1 발생할 수 없음. -
Intra/Inter 모드의 판별을 위한 통계적인 특성으로는 본 발명이 속한 분야에서 많이 사용되는 것으로는 아래의
A=|original-mean|
과 같이 데이터의 평균(mean)과 데이터 각각의 값(original)과의 차이의 절대값들의 합(A)을 사용하거나,
Variance=(original-mean)2
와 같이 분산(Variance)을 사용하는 것이 일반적이다. Intra/Inter 모드 판별의 자세한 방법은 본 발명이 속한 분야의 당업자에게는 널리 알려진 상태이므로 설명을 생략한다.
본 발명에 따르면 윤곽선 부호화를 사용하지 않고 입력 영상을 매크로 블록(MB)들로 구분한 후 각 매크로 블록(MB)별로 영역 분할이 수행되므로 계산량이 적어지고 또 압축율이 높아지며, 매크로 블록(MB) 단위로 압축 부호화를 수행하는 기존 영상 부호화기(예를 들면, MPEG-1, MPEG-2, H.261, H.263)들과의 연동 또한 수월해 진다.
또한 본 발명에 따르면 입력 영상을 배경영역과 목표물 영역의 두 가지 영역으로 분리해 내는 것이 가능하며, 그 효과를 요약하면 다음과 같다. 첫째, 현재 영상 매크로 블록(MB)이 배경 영상 매크로 블록(MB)과 동일한 경우 변환 부호화를 수행하지 않게 되므로 물체의 이동에 의해 가려졌다가 다시 나타난 배경영역(uncovered background)을 새로이 부호화 할 필요가 없게 된다. 둘째, 입력 프레임 속도(frame rate)가 작아 물체의 움직임이 비연속적으로 처리될 수 있는 경우에 움직임 예측 시의 탐색 영역을 넓혀도 탐색 영역 중 물체영역에 해당하는 부분에 대하여만 탐색을 수행하면 되므로 움직임 예측의 속도를 떨어뜨리지 않으면서도 움직임 예측 실패율을 낮출 수 있다. 셋째, 배경 영역과 물체 영역을 구분하여 차별적으로 부호화 하므로 I-프레임 삽입 시 현재 영상 전체를 부호화하지 않고 물체 영역만을 Intra 부호화 함으로써 압축율을 높일 수 있다. 넷째, 배경 영역과 물체 영역을 구분하므로 물체가 나타났을 때 경보를 울리는 등의 추가기능 구현이 용이하다. 다섯째, 배경영역에 대하여는 압축율을 높이고 물체영역에 대하여는 압축율을 낮추는 등의 중요 영역 화질 제어가 용이하다.

Claims (7)

  1. 현재의 영상을 사전 설정된 단위 영역(MB; Macro-Block)으로 나누고, 각 단위 영역을 저장되어 있던 배경 영상과 저장되어 있던 물체 영상과의 유사성에 따라 차별적으로 압축 부호화하기 위한 영역 분할 기반 동영상 압축 부호화기(SVC Encoder: Segmentation-based Video Compression Encoder)로서,
    현재 영상을 저장하기 위한 현재 영상 프레임 메모리(CFM: Current Frame memory)와;
    배경 영상을 저장하기 위한 배경 영상 프레임 메모리(BFM: background Frame memory)와;
    이전 물체 영상을 저장하기 위한 이전 물체 영상 메모리(POM: Previous Object memory)와;
    상기 현재 영상 프레임 메모리에 저장된 현재의 영상에 대하여 상기 단위 영역별로 배경 영역인지 물체 영역인지의 영역 분할을 수행하고, 그 결과를 이용해 단위 영역별로 차별적인 부호화 지시와 움직임 벡터를 생성하는 영역 분할 및 부호화 제어기(SCC: Segmentation and Coding Control)와;
    상기 영역 분할 및 부호화 제어기로부터 상기 단위 영역별 부호화 지시와 움직임 벡터를 입력받아 그에 따라 단위 영역의 영상 데이터에 대한 차별적인 변환 부호화를 수행하는 변환 부호화기(TC: Transform Coder)와;
    상기 배경 영상 프레임 메모리와 상기 이전 물체 영상 메모리를 갱신(update)하기 위하여, 상기 변환 부호화기로부터 변환 부호화 된 상기 단위 영역의 영상 데이터에 대해 변환 복호화를 수행하는 변환 복호화기(TD: Transform Decoder)와;
    상기 변환 부호화기로부터의 변환 부호화 된 데이터와 상기 영역 분할 및 부호화 제어기로부터의 부호화 지시와 움직임 벡터에 대하여 차별적으로 엔트로피 부호화(Entropy Coding)를 수행하기 위한 엔트로피 부호화기(EC: Entropy Coder)와;
    상기 엔트로피 부호화기로부터의 출력을 일정한 형식에 맞추어 비트스트림으로 출력하기 위한 비트스트림 작성기(BF: Bitstream Formatter);
    을 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기(SVC Encoder: Segmentation-based Video Compression Encoder).
  2. 제 1항에 있어서, 상기 영역 분할 및 부호화 제어기(SCC)는,
    현재 영상 프레임 메모리에 저장되어 있는 현재 영상 데이터의 각 단위 영역과 동일 위치의 배경 영상 프레임 메모리에 저장되어 있는 각 단위 영역과의 유사성을 판단하여 각 단위 영역별로 배경 영상을 참조하여 부호화 할 것인지 아니면 다른 방식으로 부호화 할 것인지를 결정하기 위한 배경 영역 판별기(BAC: Background Area Classifier)와;
    상기 배경 영역 판별기에서 배경 영상을 참조하여 부호화하지 않고 다른 방식으로 부호화하기로 결정된 각 단위 영역에 대하여 움직임 예측을 수행하고 움직임 벡터를 출력하기 위한 움직임 예측기(ME: Motion Estimator)와;
    단위 영역에 대하여 Intra 모드로 부호화를 수행할 것인지 아니면 Inter 모드 부호화를 수행할 것인지를 결정하기 위한 Intra/Inter 모드 판별기(IID: Intra/Inter Mode Decision);
    를 구비하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
  3. 제 2항에 있어서, 상기 배경 영역 판별기에서 배경 영상을 참조하여 부호화하지 않고 다른 방식으로 부호화하기로 결정된 각 단위 영역에 대하여 단위 영역에 대하여 정상성(stationarity) 분석을 실시하여 상기 배경 영상 프레임 메모리를 갱신(update)할 것인지 말 것인지를 결정하기 위한 정상성 분석기(SA: Stationarity Analyzer)를 더 구비하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
  4. 제 2항 또는 제3항에 있어서, 움직임 예측 시의 탐색 영역(search area)을 물체 영역으로 한정시키기 위해 각 단위 영역 별로 상기 이전 물체 영상 메모리에 저장된 영상 데이터가 배경 영역인지 물체 영역인지를 나타내는 마스크 정보를 저장하기 위한 물체 마스크 메모리(OMM: Object Mask memory)를 더 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
  5. 제 3항 또는 제4항에 있어서, 정상성 분석 시 각 단위 영역 별로 정상성이 유지된 시간 간격을 저장하기 위한 타이머 메모리(TM: Timer memory)를 더 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
  6. 제 1항 내지 제 5항 중 어느 하나의 항에 있어서, 상기 변환 부호화기(TC: Transform Coder)는
    단위 영역에 대하여 움직임 보상을 수행하기 위한 움직임 보상기(MC: Motion Compensator)와;
    공간영역(spatial domain)의 영상데이터를 주파수영역(frequency domain)의 영상데이터로 변환하고 그 변환 계수들을 출력하기 위한 변환기(T: Transformer)와;
    상기 변환기로부터의 변환 계수들을 양자화하기 위한 양자화기(Q: Quantizer);
    을 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
  7. 제 6항에 있어서, 상기 변환 복호화기(TD: Transform Decoder)는,
    상기 변화 부호화기에서 변화 부호화 된 데이터를 역양자화를 수행하기 위한 역양자화기(Q-1: Inverse Quantizer)와;
    상기 변환기에서의 변환에 대한 역변환을 수행하기 위한 역변환기(T-1: Inverse Transformer)와;
    단위 영역에 대하여 움직임 보상을 수행하기 위한 움직임 보상기(MC: Motion Compensator)와;
    를 포함하는 것을 특징으로 하는 영역 분할 기반 동영상 압축 부호화기.
KR1019980055146A 1998-12-15 1998-12-15 영역분할기반동영상압축부호화방법및장치 KR100327952B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980055146A KR100327952B1 (ko) 1998-12-15 1998-12-15 영역분할기반동영상압축부호화방법및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980055146A KR100327952B1 (ko) 1998-12-15 1998-12-15 영역분할기반동영상압축부호화방법및장치

Publications (2)

Publication Number Publication Date
KR20000039731A true KR20000039731A (ko) 2000-07-05
KR100327952B1 KR100327952B1 (ko) 2002-05-09

Family

ID=19562957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980055146A KR100327952B1 (ko) 1998-12-15 1998-12-15 영역분할기반동영상압축부호화방법및장치

Country Status (1)

Country Link
KR (1) KR100327952B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100382649B1 (ko) * 2000-12-29 2003-05-09 삼성전자주식회사 하드 카피 장치용 데이타 압축 및 복원 방법들 및 장치들
KR100452740B1 (ko) * 2001-09-08 2004-10-12 주식회사 몬스터넷 이미지 데이터 제어 장치 및 방법
KR100453010B1 (ko) * 2001-09-17 2004-10-15 주식회사 대우일렉트로닉스 디지털 영상 녹화 장치 및 방법
KR100459376B1 (ko) * 2001-12-14 2004-12-03 박유상 영상 객체 합성기
KR100788704B1 (ko) * 2006-11-15 2007-12-26 삼성전자주식회사 영상 변환 방법 및 그 장치
KR101048542B1 (ko) * 2005-04-08 2011-07-11 주식회사 현대오토넷 이미지 데이터 압축 장치 및 방법
US8605790B2 (en) 2007-02-02 2013-12-10 Samsung Electronics Co., Ltd. Frame interpolation apparatus and method for motion estimation through separation into static object and moving object

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336139B1 (ko) 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
KR101367673B1 (ko) 2012-07-03 2014-03-03 한밭대학교 산학협력단 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100382649B1 (ko) * 2000-12-29 2003-05-09 삼성전자주식회사 하드 카피 장치용 데이타 압축 및 복원 방법들 및 장치들
KR100452740B1 (ko) * 2001-09-08 2004-10-12 주식회사 몬스터넷 이미지 데이터 제어 장치 및 방법
KR100453010B1 (ko) * 2001-09-17 2004-10-15 주식회사 대우일렉트로닉스 디지털 영상 녹화 장치 및 방법
KR100459376B1 (ko) * 2001-12-14 2004-12-03 박유상 영상 객체 합성기
KR101048542B1 (ko) * 2005-04-08 2011-07-11 주식회사 현대오토넷 이미지 데이터 압축 장치 및 방법
KR100788704B1 (ko) * 2006-11-15 2007-12-26 삼성전자주식회사 영상 변환 방법 및 그 장치
US8605790B2 (en) 2007-02-02 2013-12-10 Samsung Electronics Co., Ltd. Frame interpolation apparatus and method for motion estimation through separation into static object and moving object

Also Published As

Publication number Publication date
KR100327952B1 (ko) 2002-05-09

Similar Documents

Publication Publication Date Title
US7532808B2 (en) Method for coding motion in a video sequence
JP4163618B2 (ja) 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
US6625215B1 (en) Methods and apparatus for context-based inter/intra coding mode selection
JP3159853B2 (ja) 符号化方法及び復号方法及びその装置
US5831688A (en) Image coded data re-encoding apparatus
KR0168458B1 (ko) 움직임 보상을 갖는 프레임간 혼성 부호기에서의 왜곡을 감소시키는 장치 및 방법 그리고 그에 대한 부호화 시스템
JP3358835B2 (ja) 画像符号化方法及び装置
KR100263627B1 (ko) 화상 부호화 장치와 화상 복호화장치 및 부호화.복호화 시스템
US6792045B2 (en) Image signal transcoder capable of bit stream transformation suppressing deterioration of picture quality
JPH05276502A (ja) 映像データ圧縮システムにおいてフィールド群を処理する装置及び方法
US8311113B2 (en) Method and system for using motion prediction to equalize video quality across intra-coded frames
US6674910B1 (en) Apparatus and method for image-compression encoding and decoding using adaptive transform
KR19990067723A (ko) 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
KR19990036646A (ko) 비디오 프레임 시퀀스 인코딩 시스템 및 그 방법, 컴퓨터 프로그램 제품
JPH08111870A (ja) 画像情報の再符号化方法及び装置
KR100327952B1 (ko) 영역분할기반동영상압축부호화방법및장치
KR100202538B1 (ko) 엠펙 비디오 코덱 장치
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
US7236529B2 (en) Methods and systems for video transcoding in DCT domain with low complexity
KR970004924B1 (ko) 계층적 부호화를 이용한 개선된 상위계층의 움직임 벡터 전송 장치 및 방법
JPH0951538A (ja) 画像信号の符号化方法
JP3141149B2 (ja) 画像符号化装置
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JP2001268581A (ja) 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
KR100213283B1 (ko) 동영상 부호화기

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee