KR100480751B1 - 동영상부호화/복호화방법및장치 - Google Patents

동영상부호화/복호화방법및장치 Download PDF

Info

Publication number
KR100480751B1
KR100480751B1 KR10-1998-0042434A KR19980042434A KR100480751B1 KR 100480751 B1 KR100480751 B1 KR 100480751B1 KR 19980042434 A KR19980042434 A KR 19980042434A KR 100480751 B1 KR100480751 B1 KR 100480751B1
Authority
KR
South Korea
Prior art keywords
shape
information
layer
encoding
base layer
Prior art date
Application number
KR10-1998-0042434A
Other languages
English (en)
Other versions
KR20000025386A (ko
Inventor
신재섭
손세훈
조대성
서양석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-1998-0042434A priority Critical patent/KR100480751B1/ko
Publication of KR20000025386A publication Critical patent/KR20000025386A/ko
Application granted granted Critical
Publication of KR100480751B1 publication Critical patent/KR100480751B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 임의의 형태를 갖는 물체가 연속하여 움직이는 경우에 이를 효율적으로 부호화하여 전송하는, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화/복호화 방법 및 장치에 관한 것이다. 그 방법은, 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 방법에 있어서,(a) 형상정보와 텍스쳐정보를 각각 소정의 비율로 다운샘플링하여 하나의 기본 레이어와 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 단계, (b) 기본 레이어의 형상정보 및 텍스쳐정보를 부호화하여 기본 레이어의 기본 비트스트림을 생성하고, 복호화된 텍스쳐정보와 원래의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계 및 (c) 하나 이상의 상위 레이어들 각각에 대하여, 기본 레이어에서 업샘플링한 형상정보와 상위 레이어의 형상정보의 차를 부호화하여 상위 레이어의 기본 비트스트림을 생성하고, (b) 단계에서 복호화된 텍스쳐정보와 상위 레이어의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계를 포함함을 특징으로 한다. 본 발명에 의하면, 임의의 모양을 갖는 물체를 대상으로 부호화/복호화를 적용할 수 있으므로 화면에 나타나는 임의의 물체들에 대해 별도의 화질 서비스가 가능해 진다

Description

동영상 부호화/복호화 방법 및 장치{Digital video encoding/decoding method and apparatus}
본 발명은 데이터 부호화 및 복호화에 관한 것으로서, 특히 임의의 형태를 갖는 물체가 연속하여 움직이는 경우에 이를 효율적으로 부호화하여 전송하는, 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화/복호화 방법 및 장치에 관한 것이다.
지금까지 연구되어온 많은 부호화/복호화 방식들이 대부분 TV의 화면처럼 일정한 크기를 가지는 사각형 모양의 화상을 부호화/복호화하는 방식에 관한 것이었다. 그 예가 MPEG1, MPEG2, H.261, H.263 등이다.
기존에 개발된 대부분의 부호화 방식들은 극히 제한된 계층구조의 서비스만을 제공함으로써 인터넷/인트라넷(Internet/Intranet), 무선네트웍(wireless network)과 같이 전송로의 상태가 수시로 변화하는 구조에 능동적으로 대처한다는 것이 가능하지 못했다. 기존 방식 중에서 대표적이라고 할수 있는 MPEG-2(ISO/IEC JTC1/SC29/WG11 13818-2: MPEG-2 video)에서 사각형 스크린 형태의 동영상에 대하여 2개의 공간상 계층구조를 갖는 공간 계층 부호화(spatial scalable coding) 및 2~3개의 개층 구조를 갖는 화질상 계층 부호화(SNR scalable coding)를 제안하고 있으나 계층수의 제한으로 인하여 실질적 응용 분야(real application area)를 창조하기에는 제한점을 가지고 있었다. 또한, 임의의 형태를 가지는 물체(Arbitrary shaped object)에 대한 효율적인 압축방식을 제안하고 있는 MPEG-4(ISO/IEC JTC1/SC29/WG11 14496-2: MPEG-4 video)에서도 공간상 시간상 계층구조를 갖는 부호화 방식을 제안하고 있으나 동일한 공간상에서의 화질상의 계층구조를 비트스트림 상에서 제공해 줄 수 있는 방식은 아직 제안되고 있지 못한 실정이기 때문에 서비스의 질을 높이는데 한계점을 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 다양한 질의 서비스(QoS: Quality of Service)를 가능하게 하기 위한 공간상/화질상의 계층구조를 가지는 부호화 방식을 제공하는 것이다.
또한, 본 발명은 부호화하는 과정에서 전송로의 제한이나 수신단의 수신능력에 따라서 차별적으로 데이터를 전송할 수 있도록 해주는 계층적 부호화(scalable coding) 방식을 제공하며, 사각형 형태의 화상 뿐만아니라 임의의 모양을 갖는 물체에 대한 계층적 부호화 방식을 제공하는 것을 또 다른 기술적 과제로 한다.
더불어, 본 발명은 공간상의 계층적 부호화 뿐만아니라 일단 정해진 공간에 대해서 화질을 가변적으로 결정해 줄 수 있는 화질상 계층 부호화(SNR 혹은 Fine Granular scalable coding) 기능을 동시에 제공하며, 보다 세밀한 구조의 서비스 질을 제공해 줄 수 있는 방식을 제공하고, 상기 부호화된 데이터를 복호화하는 방식도 제공하는 것을 기술적 과제로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명에 의한 동영상 부호화 방법은, 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 방법에 있어서,(a) 상기 형상정보와 상기 텍스쳐정보를 각각 소정의 비율로 다운샘플링하여 하나의 기본 레이어와 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 단계, (b) 상기 기본 레이어의 형상정보 및 텍스쳐정보를 부호화하여 기본 레이어의 기본 비트스트림을 생성하고, 복호화된 텍스쳐정보와 원래의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계 및 (c) 상기 하나 이상의 상위 레이어들 각각에 대하여, 상기 기본 레이어에서 업샘플링한 형상정보와 상위 레이어의 형상정보의 차를 부호화하여 상위 레이어의 기본 비트스트림을 생성하고, 상기 (b) 단계에서 복호화된 텍스쳐정보와 상위 레이어의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계를 포함함을 특징으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명에 의한 동영상 부호화 방법은, 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 방법에 있어서, (a) 상기 형상정보와 상기 텍스쳐정보를 각각 다운샘플링하여, 가장 큰 비율로 다운샘플링된 하나의 기본 레이어와 상기 기본 레이어보다 작은 비율로 다운샘플링된 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 단계, (b) 기본 레이어의 형상정보 및 텍스처정보에 대하여,(b1) 상기 기본 레이어의 형상정보를 형상부호화하는 단계, (b2) 상기 기본 레이어의 텍스쳐정보를 패딩하고, 주파수변환부호화하고, 양자화하는 단계. (b3) 상기 (b1) 및 (b2) 단계에서 생성된 데이터를 모아 가변장부호화하여 기본 레이어의 기본 비트스트림을 생성하는 단계, (b4) 상기 (b2) 단계에서 생성된 데이터를 역양자화하고, 역주파수변환하여 재현된 텍스쳐정보와 상기 기본 레이어의 텍스쳐정보의 차를 구하는 단계, (b5) 상기 (b4) 단계의 차에 대하여 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 단계, (c) 각 상위 레이어들의 형상정보 및 텍스쳐정보에 대하여, (c1) 상기 기본 레이어의 형상정보를 상기 상위 레이어로 업샘플링한 형상정보와 상기 상위 레이어의 형상정보의 차를 형상부호화하고, 가변장부호화하여 상위 레이어 기본 비트스트림을 생성하는 단계, (c2) 상기 (b4) 단계에서 재현된 텍스쳐정보를 상기 상위 레이어로 업샘플링하고 패딩한 텍스쳐정보와 상기 상위 레이어의 텍스쳐정보의 차를 구하는 단계 및 (c3) 상기 (c2) 단계의 차에 대하여 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 단계를 포함함을 특징으로 한다.
본 발명의 상기 (b1) 단계 및 상기 (b2) 단계의 형상정보 부호화는 격주선처리 방식을 이용한 계층적 형상정보 부호화임이 바람직하다.
본 발명의 상기 주파수변환부호화는 이산 코사인 변환임이 바람직하다.
본 발명의 상기 주파수변환부호화는 이산 웨이블릿 변환임이 바람직하다.
본 발명의 상기 (b5) 단계 및 상기 (c3) 단계는 각각 차의 밝기신호에 대해서는, NㅧN 픽셀 크기의 주블록으로 분할하고, 각 주블록을 4개의 부블록(sub-block)으로 분할하고, 각 부블록 단위로 이산 코사인 변환된 밝기신호를 소정의 개수의 대역별로 분할하고, 밝기신호의 각 주블록에 대응한 색차신호에 대해서는, 각각 N/2ㅧ N/2 크기의 블록으로 분할하고, 각 블록 단위로 이산 코사인 변환된 색차신호를 소정의 개수의 대역별로 분할하고, 각 대역별로 이산 코사인 변환된 밝기신호와 이산 코사인 변환된 색차신호를 재조합하여 화질상의 계층으로 구성함(여기서, N은 2보다 큰 소정의 정수)이 바람직하다.
본 발명의 대역별 재조합은 상기 밝기신호의 주블록 단위로 이루어짐이 바람직하다.
본 발명의 대역별 재조합은 영상 전체 단위로 이루어짐이 바람직하다.
본 발명의 대역별로 재조합된 화질상의 각 계층은 소정의 방식에 의해 다시 부호화됨이 바람직하다.
본 발명은 형상정보가 있는 부블록 또는 블록에 대해서만 이산 코사인 변환을 하고, 형상 정보가 없는 부블록 또는 블록에 대해서는 이산 코사인 변환을 하지 않음이 바람직하다.
상술한 기술적 과제를 해결하기 위하여, 본 발명에 의한 동영상 부호화 장치는, 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 장치에 있어서, 상기 형상정보와 상기 텍스쳐정보를 각각 다운샘플링하여, 가장 큰 비율로 다운샘플링된 하나의 기본 레이어와 상기 기본 레이어보다 작은 비율로 다운샘플링된 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 다운샘플링부, 상기 기본 레이어의 형상정보를 형상부호화하는 형상부호화부 1; 상기 기본 레이어의 텍스쳐정보를 패딩하고, 주파수변환부호화하고, 양자화하는 텍스쳐부호화부; 상기 형상부호화부 1 및 텍스쳐부호화부에서 출력된 데이터를 모아 가변장부호화하여 기본 레이어의 기본 비트스트림을 생성하는 제1가변장부호화부; 상기 텍스쳐부호화부에서 출력된 데이터를 역양자화하고, 역주파수변환하여 텍스쳐정보를 재생하는 텍스쳐복호화부; 상기 텍스쳐복호화부에 의해 재생된 텍스쳐정보와 상기 기본 레이어의 텍스쳐정보의 차를 생성하는 제1차영상생성부; 및 상기 제1차영상생성부에 의해 생성된 차를 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 제1화질상계층구조생성부를 구비한 기본레이어부호화부; 및 상기 기본 레이어의 형상정보를 상기 상위 레이어로 업샘플링하고, 상기 텍스쳐복호화부에 의해 재생된 텍스쳐정보를 상기 상위 레이어로 업샘플링하는 업샘플링부; 업샘프링된 형상정보와 상기 상위 레이어의 형상정보의 차를 형상부호화하는 형상부호화부 2기; 상기 형상부호화부 2의 출력 데이터를 가변장부호화하여 상위 레이어 기본 비트스트림을 생성하는 제2가변장부호화부; 업샘플링부의 출력 데이터를 패딩한 텍스쳐정보와 상기 상위 레이어의 텍스쳐정보의 차를 구하는 제2차영상생성부; 상기 제2차영상생성부에 의해 생성된 차를 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 제2화질상계층구조생성부를 구비한 하나 이상의 상위레이어부호화부를 포함함을 특징으로 한다.
본 발명의 상기 형상부호화부 1 및 상기 형상부호화부 2는 격주선처리 방식을 이용한 계층적 형상정보부호화부임이 바람직하다.
본 발명의 상기 텍스쳐부호화부, 상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 이산 코사인 변환기를 구비함이 바람직하다.
본 발명의 상기 텍스쳐부호화부, 상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 이산 웨이블릿 변환기를 구비함이 바람직하다.
본 발명의 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 차의 밝기신호에 대해서는, Nㅧ N 크기 단위의 주블록으로 분할하고, 각 주블록을 4개의 부블록(sub-block)으로 분할하고, 각 부블록 단위로 이산 코사인 변환된 밝기신호를 소정의 개수의 대역별로 분할하고, 밝기신호의 각 주블록에 대응한 색차신호에 대해서는, 각각 N/2ㅧ N/2 크기의 블록으로 분할하고, 각 블록 단위로 이산 코사인 변환된 색차신호를 소정의 개수의 대역별로 분할하고, 각 대역별로 이산 코사인 변환된 밝기신호와 이산 코사인 변환된 색차신호를 재조합하여 화질상의 계층으로 구성함(여기서, N은 2보다 큰 소정의 정수)이 바람직하다.
본 발명의 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 형상정보가 있는 부블록 또는 블록에 대해서만 이산 코사인 변환을 하고, 형상 정보가 없는 부블록 또는 블록에 대해서는 이산 코사인 변환을 하지 않는 것이 바람직하다.
상술한 기술적 과제를 해결하기 위하여, 본 발명에 의한 동영상 복화화 방법은, 공간상 계층구조와 화질상 계층구조로 구성되어 부호화된 비트스트림을 복호화하는 방법에 있어서, (a) 상기 비트스트림을 가변장복호화하면서, 기본 레이어 비트스트림과 하나 이상의 상위 레이어 비트스트림들로 분류하는 단계, (b) 상기 기본 레이어 비트스트림에 포함된 부호화된 형상정보를 형상복호화하여 기본 레이어의 형상정보를 생성하는 단계, (c) 상기 기본 레이어 비트스트림에 포함된 부호화된 텍스쳐정보를 역양자화하고, 역주파수변환하여 기본 레이어의 텍스쳐정보를 생성하는 단계, (d) 상기 기본 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 상기 기본 레이어의 텍스쳐정보에 더하는 단계 및 (e) 상기 하나 이상의 상위 레이어들 중 선택된 상위 레이어까지의 각 상위 레이어에 대하여, (e1) 상기 상위 레이어 비트스트림에 포함된 상위 레이어의 형상정보를 형상복호화하여 업샘플링된 하위 레이어의 형상정보에 더하는 단계 및 (e2) 상기 상위 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 업샘플링된 하위 레이어의 텍스쳐정보에 더하는 단계를 순차적으로 반복하는 단계를 포함함을 특징으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명에 의한 동영상 복호화 장치는, 공간상 계층구조와 화질상 계층구조로 구성되어 부호화된 비트스트림을 복호화하는 장치에 있어서, 상기 비트스트림을 가변장복호화하면서, 기본 레이어 비트스트림과 하나 이상의 상위 레이어 비트스트림들로 분류하는 가변장복호화부, 상기 기본 레이어 비트스트림에 포함된 부호화된 형상정보를 형상복호화하여 기본 레이어의 형상정보를 생성하는 형상복호화부 1; 상기 기본 레이어 비트스트림에 포함된 부호화된 텍스쳐정보를 역양자화하고, 역주파수변환하여 기본 레이어의 텍스쳐정보를 생성하는 텍스쳐복호화부; 및 상기 기본 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 상기 기본 레이어의 텍스쳐정보에 더하는 제1화질상계층구조복호화부를 구비한 기본레이어복호화부 및 공간상 계층구조에서 상기 상위 레이어 직전 하위 레이어의 형상정보와 상기 상위 레이어의 직전 하위 레이어의 텍스쳐정보를 상기 상위 레이어로 업샘플링하는 업샘플링부; 상기 상위 레이어 비트스트림에 포함된 상위 레이어의 형상정보를 형상복호화하여 업샘플링된 하위 레이어의 형상정보에 더하는 형상복호화부 2; 및 상기 상위 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 업샘플링된 하위 레이어의 텍스쳐정보에 더하는 제2화질상계층구조복호화부를 구비한 하나 이상의 상위레이어복호화부를 포함함을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 당해 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2에 도시된 바와 같이 입력되는 비디오(102)와 형상정보인 마스크 1(101) 로부터 크기가 반으로 축소(103)된 데이터를 사용하여 마스크 2(104)와 패딩(Padding) 1(105) 영상을 만든 다음, 형상부호화부 1(106)과 주파수 변환 부호화기인 DCT(Discrete Cosine Transform;107)를 이용하여 기본 레이어, 즉, 비트스트림r(BL,;131)를 생성한 후 이를 역양자화(110)하고 역주파수 변환기인 IDCT (Inverse Discrete Cosine Transform;111)를 통해서 재현된 영상과 원영상과의 차이(112)를 구한다.
그 다음에 이 차이에 대한 DCT(113)를 수행하여 계수 분배기(114)에서 각 주파수 별로 분류하여 각각의 주파수 대역에 따라서 비트스트림(bit stream)을 구성해 준다. 이렇게 하여 BSL0(115), BSL1(116), ... , BSL(n)(118)을 생성해 냄으로써 비트스트림의 추가에 따라서 기본 레이어(131)에 저역 주파수 성분인 BSL0(115)가 더해지면 조금더 화질이 향상된 BSNR(0)(132)을 만들어 내게 되고, 최고주파 성분인 BSL(n)(118)을 더하면 가장 향상된 화질의 BSNR(n)의 비트스트림 구성을 가능케 함으로써 화질을 가변적으로 조절하는 것이 가능하게 한다. 이와 같은 저해상도의 재생된 영상을 바탕으로 공간적으로 확대한 영상에 대해서도 같은 원리를 적용하여 해상도를 높인 경우에도 적용시킬 수 있도록 2배 확대시킨 마스크 3(120)과 패딩(Padding) 2 영상(122)에 대해서도 같은 해상도의 원영상(102)과 패딩(Padding) 2 영상(122)과의 차이(123)를 구한 다음, 이 차이에 대한 DCT(124)를 수행하여 계수 분배기(125)에서 각 주파수 별로 분류해서 각각의 주파수 대역에 따라서 비트스트림을 구성해 준다. 이렇게 하여 ESL0(127), ESL1(128), ... , ESL(n)(130)을 생성해 냄으로써 상위 레이어의 기본이 되는 EL(136)로부터 비트스트림의 추가에 따라서 ESNR0(137), ESNR1(138), ... , ESNR(n)(140)등과 같이 높은 해상도에서도 화질을 점점 향상되는 방향으로 가변적으로 조절하는 것이 가능하도록 구현되어 있다.
이렇게 구성된 부호화기에 따라 만들어진 비트스트림들은 도 3에 도시된 바와 같이 복호화기에서 구성된 장치에 따라 복호화됨으로써 공간상/화질상 계층구조의 재생된 영상을 제공해 준다. 도 3에서 도시된 것처럼 입력되는 비트스트림(201)을 가변장 복호화기인 VLD1(202)에서 해석하여 기본 레이어 비트스트림(203)과 상위 레이어 비트스트림(210)으로 분류한다. 그리고 나서 기본 레이어 비트스트림(203)은 다시 형상정보에 관련된 비트스트림에 대해서는 형상복호화부 1(204)을 거쳐서 마스크 4(205)를 만들어 내는데, 이것이 기본 레이어의 형상정보(208)가 되고 영상정보에 관련된 비트스트림에 대해서는 역양자화(206) 및 역주파수 변환 부호화 장치(IDCT;207)를 거쳐서 기본 레이어의 텍스쳐 정보(209)를 만들어 낸다. 한편 상위 레이어가 있는 경우에는 앞의 과정에서 만들어진 기본 레이어의 형상정보와 텍스쳐 정보를 두배로 확대 시킨 영상(213, 218)과 상위 레이어에서 기본 레이어와 같은 과정의 복호화기를 거쳐서 만들어진 정보를 합하여 상위 레이어 형상정보(215)와 텍스쳐 정보(220)를 만들어 낸다.
한편, 본 발명의 동작원리를 설명하면 다음과 같다.
도 2는 본발명에 의한 공간상/화질상의 계층적 부호화기의 전체 구조를 나타낸 것이다. 도 2에 도시된 바와 같이 입력 데이터는 물체의 형상정보를 제공하는 마스크 1(101)과 물체의 내부 텍스쳐 정보를 제공하는 비디오(102)로 이루어져 있다. 그런데 임의의 형상이 아니고 사각형의 스크린 전체를 부호화할 경우에는 마스크 정보(마스크 1, 2, 3)가 필요하지 않게 된다. 이렇게 입력된 영상은 다운샘플링(down sampling) 장치(103)에서 가로 세로 1/2 크기의 영상들로 변환된 다음, 마스크 1(101)은 마스크 2(104)가 되어, 형상부호화부 1(106)에서 전송에 필요한 정보로 압축이 된다. 이때 형상부호화부 1(106)은 현재 MPEG-4의 version 2 Working Draft에 채택되어 있는 Scalable shape coding 방식을 이용한다.
그리고 비디오(102) 정보는 형상에 맞도록 패딩(Padding)이 되어 패딩 1(105) 영상으로 만들어는데, 이 때 패딩이라고 하는 것은 MPEG-4 비디오(14496-2) 부분의 기술을 사용한다. 이 패딩 1(105)영상은 주파수 변환 부호화 장치의 일종인 DCT(107)와 양자화기(108)를 거쳐서 미리 코딩이 되어있는 형상부호화 정보와 함께 제1가변장부호화부(VLC1;109)에서 기본 레이어의 기본 비트스트림(BL;131)을 생성하게 된다. 이것이 최저 해상도에서 가장 기본이 되는 영상을 만드는 비트스트림이다. 상기 양자화기(108)를 거쳐서 양자화되었던 주파수 계수들은 역양자화기(110)와 역주파수 변환 부호화 장치인 IDCT(111)를 거쳐서 축소되었던 원영상과의 차이(112)를 구한 다. 그 다음에 상기 차 신호에 대해서 다시 주파수 변환 부호화 장치인 DCT(113)를 적용시키고 이 DCT 계수들을 정해진 주파수 대역에 따라 계수 분배기(114)에서 분류하여 BSL(0)(115), BSL(1)(116), ..., BSL(n)(118)등으로 분류한다.
이 때 각각의 대역을 구성하는 예는 도 4 (a)에 도시된 바와 같이 화상을 구성하는 임의의 영역을 다수 개의 N x N 부블록(251)들로 나눈 다음, 각각의 부블록에 대해 주파수 변환 부호화기의 출력 데이터를 각각의 대역별로 분류하게 된다. 임의의 부블록 k에 대한 분류 예를 살펴보면 다음과 같다. N x N의 밝기성분(luminance component)(251)과 N/2 x N/2의 색차성분(Chrominance component)데이터(256,257)에 대해서 분류하게 된다. 밝기성분 데이터는 4개의 부블록(252,253,254,255)으로 구성되어 각각의 대역들이 모여서 하나의 서브대역 데이터를 구성하게 되며, 여기에 색차성분들이 하나씩 더해져서 단위블록에 대한 각각의 주파수 대역이군(MELk)을 형성하게 된다.
도 4 (a)에서는 밝기성분과 색차성분의 블록구성을 보여준다. 도 4 (b)는 각각의 단위 블록에 대해서 주파수 변환 부호화기를 거친 계수들의 대역별 분류를 보여주는데, 여기서는 ELk 0(260), ELk 1(261), ..., ELk 7(267) 등 모두 8개의 각기 다른 대역을 생성할 수 있음을 알 수 있다. 도 4 (c)는 밝기 성분을 구성하는 4개의 부블록들에 존재하는 계수들을 동일한 대역별로 묶어서 단위 대역군을 형성하는 과정을 보여주는 것으로, 부블록에 따라 고유위치를 가지고 배열되게 된다. 즉, 각 서브대역의 DC 성분들의 집합을 MELk 0(270), 다음으로 가장 중요한 저주파 성분의 AC 계수들의 집합을 MELk 1(271), ..., 가장 마지막 대역에 존재하는 AC 계수들의 집합을 MELk 7(277)로 분류한다. 각각의 대역에 따르는 주파수 계수값들의 구성을 도 5와 도 6에 보여주고 있다.
도 5에서는 4개의 부블록(301,302,303,304)으로 되어 있는 밝기성분 데이터에 대한 8가지 계층구조에 속하는 각 블록에서의 주파수 성분들의 배열에 의해 레이어(Layer)가 MELk0(305), MELk1(306), ..., MELk7(312)까지 구성되는 것을 보여주고 있다. 도 6에서는 두개의 색차신호(Cr(401), Cb(403))에 대한 주파수 성분들의 계수구성을 보여주고 있다. 밝기성분과 마찬가지로 각각의 레이어에 대한 주파수 계수들이 MELk 0, MELk 1, ..., MELk 7 까지 구성되게 된다.
이와같이 구성하여 임의의 단위 블록 k에 대한 계층구조를 만든 다음, 모든 부블록에 대해 같은 대역에 있는 데이터들을 하나로 묶어서 전체 화면에 대한 계층구조를 만들어 주는 것이 BSL(0)(115), BSL(1)(116), ..., BSL(n)(118)이다. 이때 임의의 형상에 대한 처리를 하기 위해서는 부블록이 형상의 내부인지 경계인지 아니면 외부인지를 알려주어야 한다. 즉, 도 7에 도시된 것처럼 밝기 정보에 대한 4개의 부블록들의 상태를 4비트의 데이터로 표시해 줌으로써 미리 약속된 순서에 의해 어떤 블록이 형상정보에 속하는지 아닌지를 쉽게 알 수 있다. 도 7 (a)처럼 모두 형상의 외부이면 “0000”(502)으로 표시되고 도 7(b)처럼 왼쪽 상단만 형상의 외부이면 “0111”(504), ..., 그리고 모든 블록이 형상의 내부이면 “1111”(532)로 표시함으로써 각각의 레이어에 놓이는 데이터가 어떤 블록에 속하는 것인지를 알 수 있도록 해 준다. 물론 색차성분인 경우에는 밝기 성분에 최소 한개 이상의 형상정보가 존재하면 색차성분도 존재하는 것으로 판단하게 된다. 이와같이 공간상 기본 레이어에서 n개의 화질상 계층구조를 갖는 비트스트림을 재생해 냄과 동시에 이 기본 레이어의 데이터를 upsampling부(119)에서 두배 확대하여 확대된 형상정보인 마스크 3(120)을 형상부호화부 2(121)에서 코딩하여 상위 레이어를 구성하고 마스크 3(120)을 참조하여 확되된 영역에서 패딩 2(122) 영상을 만들어 낸 다음, 이 영상을 원영상인 비디오(102)로부터 뺀 다음 이 차이값에 대해서 기본 레이어와 마찬가지 과정을 거쳐서 ESL(0)(127), ESL(1)(128), ..., ESL(n)(130)을 만들어 냄으로써 공간상/화질상 계층구조를 갖는 비트스트림을 제작할 수 있게 된다.
한편, 이렇게 만들어진 비트스트림들이 복호화되는 과정은 도 3에 나타내어져 있다. 도 3에서 도시된 바와 같이 입력되는 비트스트림들은 가변장 복호화기인 VLD1(202)에서 기본 레이어 비트스트림(203)과 상위 레이어 비트스트림(210)으로 분류가 된다. 먼저 기본 레이어 비트스트림(203)은 또 다시 형상정보와 텍스쳐(texture) 정보로 나뉘어진다. 상기 형상정보는 형상복호화부 1(204)에서 복호화되어 마스크 4(205)를 생성해내고 이것이 기본 레이어 형상정보(208)가 된다. 상기 텍스쳐 정보는 역양자화(206)와 역주파수 변환기인 IDCT(207)를 거쳐서 기본 레이어 텍스쳐 정보(209)를 만들어낸다. 이렇게 함으로써 기본 레이어에 대한 복호화가 끝나게 된다.
만약 상위 레이어 비트스트림(210)이 존재하는 경우에는 상위 레이어 비트스트림(210)도 마찬가지로 형상정보와 텍스쳐 정보로 나뉘어진다. 상기 형상정보는 형상복호화부 2(211)에서 복호화되어 마스크 5(212)를 생성해내고 이것이 기본 레이어에서 재생된 형상정보인 마스크를 upsampling부(213)에서 두배 확대시킨 정보와 합산기(214)에서 합쳐져서 상위 레이어 형상정보(215)를 만들게 된다. 상기 텍스쳐 정보는 역양자화(216)와 역주파수 변환기인 IDCT(217)를 거쳐서 만들어진 영상에 기본 레이어에서 재생된 텍스쳐 정보를 upsampling부(218)에서 두배 확대시킨 것과 합산기(219)에서 합쳐져서 상위 레이어 텍스쳐 정보(220)를 만들어 낸다. 이렇게 함으로써 상위 레이어에 대한 복호화 과정이 끝나게 된다. 모든 과정이 종료되면 수신단에서는 공간상/화질상 다수개의 계층구조를 갖는 영상의 재현이 가능하게 된다.
이상에서 설명한 것은, 본 발명에 따른, 동영상 부호화/복호화 방법 및 장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.
상술한 바와 같이, 본 발명에 의한 동영상 부호화/복호화 방법 및 장치에 따르면, 하나의 비트스트림을 통해서 임의의 모양을 갖는 물체에 대해 다양한 크기의 다양한 화질 정보를 제공해 주는 것이 가능하다. 즉, 최소한의 정보만으로 기본 레이어의 기본 화질을 갖는 정보를 재현한 후 다양하게 세분화된 비트스트림을 구성해 줌으로써 전송로나 수신단의 성능에 따라서 재현되는 화질이 다양하게 변화될 수 있다. 뿐만아니라 공간상으로 확대된 상위 레이어에 대해서도 똑같은 형태의 동작이 반복될 수 있도록 되어있기 때문에 해상도의 변화에 따라서도 다양한 화질의 정보를 제공할 수 있다.
또한, 본 발명에 의한 동영상 부호화/복호화 방법 및 장치에 따르면, 임의의 모양을 갖는 물체를 대상으로 부호화/복호화를 적용할 수 있으므로 화면에 나타나는 임의의 물체들에 대해 별도의 화질 서비스가 가능해 진다. 즉, 필요한 물체(object)에 대해 사용자나 제공자가 의도하는 대로 화질의 정도를 결정하여 주는 다양한 질의 서비스(QoS; Quality of Service)가 가능해 진다.
도 1은 화상의 공간 및 화질상의 계층구조 관계를 도시한 것이다.
도 2는 본발명에 의한 공간/화질상 스케일러블 부호화기의 전체구조를 나타낸 것이다.
도 3은 본발명에 의한 공간/화질상 스케일러블 복호화기의 전체구조를 나타낸 것이다.
도 4는 주파수 대역의 분할을 통한 화질상 계층구조를 구현하는 과정을 보여주는 것이다.
도 5는 밝기 정보의 각 계층을 구성하는 주파수 성분들의 집합을 보여주는 것이다.
도 6은 색차 정보의 각 계층을 구성하는 주파수 성분들의 집합을 보여주는 것이다.
도 7은 형상정보의 존재유무에 따른 정보형태를 표현하는 코드의 구성예이다.

Claims (18)

  1. 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 방법에 있어서,
    (a) 상기 형상정보와 상기 텍스쳐정보를 각각 소정의 비율로 다운샘플링하여 하나의 기본 레이어와 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 단계;
    (b) 상기 기본 레이어의 형상정보 및 텍스쳐정보를 부호화하여 기본 레이어의 기본 비트스트림을 생성하고, 복호화된 텍스쳐정보와 원래의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계; 및
    (c) 상기 하나 이상의 상위 레이어들 각각에 대하여, 상기 기본 레이어에서 업샘플링한 형상정보와 상위 레이어의 형상정보의 차를 부호화하여 상위 레이어의 기본 비트스트림을 생성하고, 상기 (b) 단계에서 복호화된 텍스쳐정보와 상위 레이어의 텍스쳐정보의 차를 주파수변환부호화하고, 각 주파수대역별로 화질상 계층구조를 구성하는 단계를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화방법.
  2. 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 방법에 있어서,
    (a) 상기 형상정보와 상기 텍스쳐정보를 각각 다운샘플링하여, 가장 큰 비율로 다운샘플링된 하나의 기본 레이어와 상기 기본 레이어보다 작은 비율로 다운샘플링된 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 단계;
    (b) 기본 레이어의 형상정보 및 텍스처정보에 대하여,
    (b1) 상기 기본 레이어의 형상정보를 형상부호화하는 단계;
    (b2) 상기 기본 레이어의 텍스쳐정보를 패딩하고, 주파수변환부호화하고, 양자화하는 단계;
    (b3) 상기 (b1) 및 (b2) 단계에서 생성된 데이터를 모아 가변장부호화하여 기본 레이어의 기본 비트스트림을 생성하는 단계;
    (b4) 상기 (b2) 단계에서 생성된 데이터를 역양자화하고, 역주파수변환하여 재현된 텍스쳐정보와 상기 기본 레이어의 텍스쳐정보의 차를 구하는 단계;
    (b5) 상기 (b4) 단계의 차에 대하여 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 단계;
    (c) 각 상위 레이어들의 형상정보 및 텍스쳐정보에 대하여,
    (c1) 상기 기본 레이어의 형상정보를 상기 상위 레이어로 업샘플링한 형상정보와 상기 상위 레이어의 형상정보의 차를 형상부호화하고, 가변장부호화하여 상위 레이어 기본 비트스트림을 생성하는 단계;
    (c2) 상기 (b4) 단계에서 재현된 텍스쳐정보를 상기 상위 레이어로 업샘플링하고 패딩한 텍스쳐정보와 상기 상위 레이어의 텍스쳐정보의 차를 구하는 단계; 및
    (c3) 상기 (c2) 단계의 차에 대하여 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 단계를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화방법.
  3. 제2항에 있어서,
    상기 (b1) 단계 및 상기 (b2) 단계의 형상정보 부호화는 격주선처리 방식을 이용한 계층적 형상정보 부호화임을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화방법.
  4. 제2항에 있어서,
    상기 주파수변환부호화는 이산 코사인 변환임을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화방법.
  5. 제2항에 있어서,
    상기 주파수변환부호화는 이산 웨이블릿 변환임을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화방법.
  6. 제4항에 있어서, 상기 (b5) 단계 및 상기 (c3) 단계는 각각
    차의 밝기신호에 대해서는, NㅧN 픽셀 크기의 주블록으로 분할하고, 각 주블록을 4개의 부블록(sub-block)으로 분할하고, 각 부블록 단위로 이산 코사인 변환된 밝기신호를 소정의 개수의 대역별로 분할하고,
    밝기신호의 각 주블록에 대응한 색차신호에 대해서는, 각각 N/2ㅧ N/2 크기의 블록으로 분할하고, 각 블록 단위로 이산 코사인 변환된 색차신호를 소정의 개수의 대역별로 분할하고,
    각 대역별로 이산 코사인 변환된 밝기신호와 이산 코사인 변환된 색차신호를 재조합하여 화질상의 계층으로 구성하는 것을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법(여기서, N은 2보다 큰 소정의 정수).
  7. 제6항에 있어서,
    대역별 재조합은 상기 밝기신호의 주블록 단위로 이루어짐을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
  8. 제6항에 있어서,
    대역별 재조합은 영상 전체 단위로 이루어짐을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
  9. 제6항에 있어서,
    대역별로 재조합된 화질상의 각 계층은 소정의 방식에 의해 다시 부호화됨을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
  10. 제6항에 있어서,
    형상정보가 있는 부블록 또는 블록에 대해서만 이산 코사인 변환을 하고, 형상 정보가 없는 부블록 또는 블록에 대해서는 이산 코사인 변환을 하지 않음을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 방법.
  11. 물체의 형상정보와 물체 내부의 텍스쳐정보로 이루어진 동영상 입력데이터를 공간상 계층구조와 화질상 계층구조로 구성하여 부호화하는 장치에 있어서,
    상기 형상정보와 상기 텍스쳐정보를 각각 다운샘플링하여, 가장 큰 비율로 다운샘플링된 하나의 기본 레이어와 상기 기본 레이어보다 작은 비율로 다운샘플링된 하나 이상의 상위 레이어들을 포함하는 공간상 계층구조를 구성하는 다운샘플링부;
    상기 기본 레이어의 형상정보를 형상부호화하는 형상부호화부 1; 상기 기본 레이어의 텍스쳐정보를 패딩하고, 주파수변환부호화하고, 양자화하는 텍스쳐부호화부; 상기 형상부호화부 1 및 텍스쳐부호화부에서 출력된 데이터를 모아 가변장부호화하여 기본 레이어의 기본 비트스트림을 생성하는 제1가변장부호화부; 상기 텍스쳐부호화부에서 출력된 데이터를 역양자화하고, 역주파수변환하여 텍스쳐정보를 재생하는 텍스쳐복호화부; 상기 텍스쳐복호화부에 의해 재생된 텍스쳐정보와 상기 기본 레이어의 텍스쳐정보의 차를 생성하는 제1차영상생성부; 및 상기 제1차영상생성부에 의해 생성된 차를 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 제1화질상계층구조생성부를 구비한 기본레이어부호화부; 및
    상기 기본 레이어의 형상정보를 상기 상위 레이어로 업샘플링하고, 상기 텍스쳐복호화부에 의해 재생된 텍스쳐정보를 상기 상위 레이어로 업샘플링하는 업샘플링부; 업샘프링된 형상정보와 상기 상위 레이어의 형상정보의 차를 형상부호화하는 형상부호화부 2; 상기 형상부호화부 2의 출력 데이터를 가변장부호화하여 상위 레이어 기본 비트스트림을 생성하는 제2가변장부호화부; 업샘플링부의 출력 데이터를 패딩한 텍스쳐정보와 상기 상위 레이어의 텍스쳐정보의 차를 구하는 제2차영상생성부; 상기 제2차영상생성부에 의해 생성된 차를 주파수변환부호화하고, 각 주파수 별로 분류하여 각각의 주파수 대역에 따른 비트스트림을 생성하는 제2화질상계층구조생성부를 구비한 하나 이상의 상위레이어부호화부를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화장치.
  12. 제11항에 있어서,
    상기 형상부호화부 1 및 상기 형상부호화부 2는 격주선처리 방식을 이용한 계층적 형상정보부호화부임을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화장치.
  13. 제11항에 있어서, 상기 텍스쳐부호화부, 상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 이산 코사인 변환기를 구비함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화장치.
  14. 제11항에 있어서,
    상기 텍스쳐부호화부, 상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 이산 웨이블릿 변환기를 구비함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화장치.
  15. 제13항에 있어서,
    상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 차의 밝기신호에 대해서는, Nㅧ N 크기 단위의 주블록으로 분할하고, 각 주블록을 4개의 부블록(sub-block)으로 분할하고, 각 부블록 단위로 이산 코사인 변환된 밝기신호를 소정의 개수의 대역별로 분할하고,
    밝기신호의 각 주블록에 대응한 색차신호에 대해서는, 각각 N/2ㅧ N/2 크기의 블록으로 분할하고, 각 블록 단위로 이산 코사인 변환된 색차신호를 소정의 개수의 대역별로 분할하고,
    각 대역별로 이산 코사인 변환된 밝기신호와 이산 코사인 변환된 색차신호를 재조합하여 화질상의 계층으로 구성하는 것을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화장치(여기서, N은 2보다 큰 소정의 정수).
  16. 제15항에 있어서, 상기 제1화질상계층구조생성부 및 상기 제2화질상계층구조생성부는 각각 형상정보가 있는 부블록 또는 블록에 대해서만 이산 코사인 변환을 하고, 형상 정보가 없는 부블록 또는 블록에 대해서는 이산 코사인 변환을 하지 않는 것을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 부호화 장치.
  17. 공간상 계층구조와 화질상 계층구조로 구성되어 부호화된 비트스트림을 복호화하는 방법에 있어서,
    (a) 상기 비트스트림을 가변장복호화하면서, 기본 레이어 비트스트림과 하나 이상의 상위 레이어 비트스트림들로 분류하는 단계;
    (b) 상기 기본 레이어 비트스트림에 포함된 부호화된 형상정보를 형상복호화하여 기본 레이어의 형상정보를 생성하는 단계;
    (c) 상기 기본 레이어 비트스트림에 포함된 부호화된 텍스쳐정보를 역양자화하고, 역주파수변환하여 기본 레이어의 텍스쳐정보를 생성하는 단계;
    (d) 상기 기본 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 상기 기본 레이어의 텍스쳐정보에 더하는 단계; 및
    (e) 상기 하나 이상의 상위 레이어들 중 선택된 상위 레이어까지의 각 상위 레이어에 대하여,
    (e1) 상기 상위 레이어 비트스트림에 포함된 상위 레이어의 형상정보를 형상복호화하여 업샘플링된 하위 레이어의 형상정보에 더하는 단계; 및
    (e2) 상기 상위 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 업샘플링된 하위 레이어의 텍스쳐정보에 더하는 단계를 순차적으로 반복하는 단계를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 방법.
  18. 공간상 계층구조와 화질상 계층구조로 구성되어 부호화된 비트스트림을 복호화하는 장치에 있어서,
    상기 비트스트림을 가변장복호화하면서, 기본 레이어 비트스트림과 하나 이상의 상위 레이어 비트스트림들로 분류하는 가변장복호화부;
    상기 기본 레이어 비트스트림에 포함된 부호화된 형상정보를 형상복호화하여 기본 레이어의 형상정보를 생성하는 형상복호화부 1; 상기 기본 레이어 비트스트림에 포함된 부호화된 텍스쳐정보를 역양자화하고, 역주파수변환하여 기본 레이어의 텍스쳐정보를 생성하는 텍스쳐복호화부; 및 상기 기본 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 상기 기본 레이어의 텍스쳐정보에 더하는 제1화질상계층구조복호화부를 구비한 기본레이어복호화부; 및
    공간상 계층구조에서 상기 상위 레이어 직전 하위 레이어의 형상정보와 상기 상위 레이어의 직전 하위 레이어의 텍스쳐정보를 상기 상위 레이어로 업샘플링하는 업샘플링부; 상기 상위 레이어 비트스트림에 포함된 상위 레이어의 형상정보를 형상복호화하여 업샘플링된 하위 레이어의 형상정보에 더하는 형상복호화부 2; 및 상기 상위 레이어 비트스트림에 포함된 화질상 계층구조에서 선택된 비트스트림들을 순차적으로 역주파수변환하여 업샘플링된 하위 레이어의 텍스쳐정보에 더하는 제2화질상계층구조복호화부를 구비한 하나 이상의 상위레이어복호화부를 포함함을 특징으로 하는 공간상 계층구조와 화질상 계층구조를 동시에 갖는 동영상 복호화 장치.
KR10-1998-0042434A 1998-10-10 1998-10-10 동영상부호화/복호화방법및장치 KR100480751B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-1998-0042434A KR100480751B1 (ko) 1998-10-10 1998-10-10 동영상부호화/복호화방법및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1998-0042434A KR100480751B1 (ko) 1998-10-10 1998-10-10 동영상부호화/복호화방법및장치

Publications (2)

Publication Number Publication Date
KR20000025386A KR20000025386A (ko) 2000-05-06
KR100480751B1 true KR100480751B1 (ko) 2005-05-16

Family

ID=19553633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0042434A KR100480751B1 (ko) 1998-10-10 1998-10-10 동영상부호화/복호화방법및장치

Country Status (1)

Country Link
KR (1) KR100480751B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347750B1 (ko) 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992014339A1 (en) * 1991-02-01 1992-08-20 British Telecommunications Public Limited Company Method and apparatus for decoding video signals
EP0589504A1 (en) * 1992-09-22 1994-03-30 Koninklijke KPN N.V. System comprising at least one encoder for coding a digital signal and at least one decoder for decoding a digital signal
EP0644695A2 (en) * 1993-09-21 1995-03-22 AT&T Corp. Spatially scalable video encoding and decoding
JPH0998434A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992014339A1 (en) * 1991-02-01 1992-08-20 British Telecommunications Public Limited Company Method and apparatus for decoding video signals
EP0589504A1 (en) * 1992-09-22 1994-03-30 Koninklijke KPN N.V. System comprising at least one encoder for coding a digital signal and at least one decoder for decoding a digital signal
EP0644695A2 (en) * 1993-09-21 1995-03-22 AT&T Corp. Spatially scalable video encoding and decoding
JPH0998434A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347750B1 (ko) 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Also Published As

Publication number Publication date
KR20000025386A (ko) 2000-05-06

Similar Documents

Publication Publication Date Title
US6493387B1 (en) Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
Taubman et al. JPEG2000: Standard for interactive imaging
Christopoulos et al. The JPEG2000 still image coding system: an overview
Skodras et al. The JPEG 2000 still image compression standard
JP4248038B2 (ja) ビデオの映像コード化およびイントラ・コード化のための固定型または適応型デインターリーブドトランスフォームコード化方法及び装置
CN101589625B (zh) 质量可缩放编码
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100809298B1 (ko) 플래그 인코딩 방법, 플래그 디코딩 방법, 및 상기 방법을이용한 장치
EP1774793A1 (en) Scalable video coding with grid motion estimation and compensation
Xing et al. Arbitrarily shaped video-object coding by wavelet
JP2006304329A (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
Liu et al. An efficient embedded zerotree wavelet image codec based on intraband partitioning
JP2012151894A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
JPH1084544A (ja) 映像信号符号化装置
KR100480751B1 (ko) 동영상부호화/복호화방법및장치
van der Vleuten et al. Low-complexity scalable DCT image compression
KR100323701B1 (ko) 영상부호화장치
Kondi et al. On video SNR scalability
Nguyen et al. Importance prioritization coding in JPEG 2000 for interpretability with application to surveillance imagery
JP2001309378A (ja) 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置
Pandiammal et al. An Enhanced Approach for Video Compression
Bojkovic et al. Advanced image compression techniques: Comparative functionalities and performances
Bober et al. Video coding for mobile communications-mpeg4 perspective
Muller et al. Embedded pyramid coding of displaced frame differences
Aalmoes et al. Overview of Still-picture and Video Compression Standards

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080115

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee