KR20090059495A - 영상을 계층적으로 부호화/복호화하는 방법 및 장치 - Google Patents

영상을 계층적으로 부호화/복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20090059495A
KR20090059495A KR20070126377A KR20070126377A KR20090059495A KR 20090059495 A KR20090059495 A KR 20090059495A KR 20070126377 A KR20070126377 A KR 20070126377A KR 20070126377 A KR20070126377 A KR 20070126377A KR 20090059495 A KR20090059495 A KR 20090059495A
Authority
KR
South Korea
Prior art keywords
image
enhancement layer
quantization
reconstructed
residual
Prior art date
Application number
KR20070126377A
Other languages
English (en)
Other versions
KR101375663B1 (ko
Inventor
김대희
조대성
최웅일
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20070126377A priority Critical patent/KR101375663B1/ko
Priority to US12/155,754 priority patent/US20090148054A1/en
Priority to JP2008294570A priority patent/JP5547394B2/ja
Priority to EP20080170095 priority patent/EP2068567A3/en
Publication of KR20090059495A publication Critical patent/KR20090059495A/ko
Application granted granted Critical
Publication of KR101375663B1 publication Critical patent/KR101375663B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 영상을 계층적으로 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하고, 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하고, 기본 영상의 복원 영상을 생성하고, 복원 영상을 업 샘플링하고, 원본 영상과 업 샘플링된 복원 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성한다.

Description

영상을 계층적으로 부호화/복호화하는 방법 및 장치 {Method and apparatus for encoding/decoding image hierarchically}
본 발명은 영상을 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 특히 영상을 계층적으로 부호화하거나 복호화하는 방법 및 장치에 관한 것이다.
현재 널리 사용 중인 코덱(codec)은 4:2:0 영상 또는 비트 깊이(bit depth)가 8 비트인 영상을 재생할 수 있다. 한편, 영상 포맷(format)이 4:4:4 또는 4:2:2로 확장되거나, 비트 깊이가 10 비트로 확장된 고화질의 영상을 재생할 수 있는 새로운 코덱에 대한 연구가 활발하게 진행되고 있다. 그런데, 4:2:0 영상 또는 비트 깊이가 8 비트인 영상을 재생할 수 있는 기존 코덱이 탑재된 단말기는 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상을 재생할 수 없다. 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상이 일반화된다면, 기존 코덱이 탑재된 단말기는 모두 무용화된다. 이에 따라, 하나의 단일 스트림(universal stream)을 기존 코덱이 탑재된 단말기와 새로운 코덱이 탑재된 단말기가 함께 재생할 수 있도록 하는 기술에 대한 요구가 크게 부각되고 있다.
본 발명이 이루고자 하는 기술적 과제는 하나의 단일 스트림을 기존 코덱이 탑재된 단말기와 새로운 코덱이 탑재된 단말기가 함께 재생할 수 있도록 함과 동시에 인간의 시각 특성을 반영하여 계층적으로 영상을 부호화하거나 복호화할 수 있도록 하는 방법 및 장치를 제공하는데 있다. 또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다. 본 발명이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 이것은 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자들이라면 아래의 기재로부터 명확하게 이해될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 영상 부호화 방법은 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 단계; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계; 상기 기본 영상의 복원 영상을 생성하는 단계; 상기 복원 영상을 업 샘플링하는 단계; 및 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 1 영상 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 영상 부호화 장치는 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 다운 샘플러; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 제 1 부호화부; 상기 기본 영상의 복원 영상을 생성하는 생성부; 상기 복원 영상을 업 샘플링하는 업 샘플러; 및 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성하는 제 2 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 영상 복호화 방법은 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계; 상기 생성된 복원 영상을 업 샘플링하는 단계; 확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상들을 복원하는 단계; 및 상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상들을 가산함으로써 원본 영상의 복원 영상을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 1 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 1 영상 복호화 장치는 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 제 1 복호화부; 상기 생성된 복원 영상을 업 샘플링하는 업 샘플러; 확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상들을 복원하는 제 2 복호화 부; 및 상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상들을 가산함으로써 원본 영상의 복원 영상을 생성하는 가산기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 영상 부호화 방법은 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 단계; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계; 상기 기본 영상의 복원 영상을 생성하는 단계; 상기 복원 영상을 업 샘플링하는 단계; 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 단계; 및 상기 잔차 영상과 상기 생성된 예측 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 2 영상 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 영상 부호화 장치는 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 다운 샘플러; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 제 1 부호화부; 상기 기본 영상의 복원 영상을 생성하는 제 1 생성부; 상기 복원 영상을 업 샘플링하는 업 샘플러; 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 제 2 생성부; 및 상기 잔차 영상과 상기 생성된 예측 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확 장 계층 비트스트림들을 생성하는 제 2 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 영상 복호화 방법은 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계; 상기 생성된 복원 영상을 업 샘플링하는 단계; 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 단계; 확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 상기 잔차 영상과 상기 예측 영상간의 잔차 영상들을 복원하는 단계; 상기 생성된 예측 영상에 상기 복원된 잔차 영상들을 가산함으로써 상기 잔차 영상을 복원하는 단계; 및 상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상을 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 2 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 2 영상 복호화 장치는 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 제 1 복호화부; 상기 생성된 복원 영상을 업 샘플링하는 업 샘플러; 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 생성부; 확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 상기 잔차 영상과 상기 예측 영상간의 잔차 영상들을 복원하는 제 2 복호화부; 상기 생성된 예측 영상에 상기 복원된 잔차 영상들을 가산함으로써 상기 잔차 영상을 복원하는 제 1 가산기; 및 상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상을 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 제 2 가산기를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 영상 부호화 방법은 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 단계; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계; 상기 기본 영상의 복원 영상을 생성하는 단계; 상기 복원 영상을 업 샘플링하는 단계; 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 제 1 잔차 영상의 제 1 예측 영상을 생성하는 단계; 상기 제 1 잔차 영상과 상기 생성된 제 1 예측 영상간의 제 2 잔차 영상을 제 1 양자화 파라미터를 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하는 단계; 상기 제 1 잔차 영상의 제 2 예측 영상을 생성하는 단계; 및 상기 제 1 잔차 영상과 상기 제 2 예측 영상간의 제 3 잔차 영상을 제 2 양자화 파라미터를 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 3 영상 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 영상 부호화 장치는 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 다운 샘플러; 상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 제 1 부호화부; 상기 기본 영상의 복원 영상을 생성하는 제 1 생성부; 상기 복원 영상을 업 샘플링하는 업 샘플러; 상기 원본 영상과 상기 업 샘플링된 복원 영상간의 제 1 잔차 영상의 제 1 예측 영상을 생성하는 제 2 생성부; 상기 제 1 잔차 영상과 상기 생성된 제 1 예측 영상간의 제 2 잔차 영상을 제 1 양자화 파라미터를 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하는 제 2 부호화부; 상기 제 1 잔차 영상의 제 2 예측 영상을 생성하는 제 3 생성부; 및 상기 제 1 잔차 영상과 상기 제 2 예측 영상간의 제 3 잔차 영상을 제 2 양자화 파라미터를 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 제 3 부호화부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 영상 복호화 방법은 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계; 상기 생성된 복원 영상을 업 샘플링하는 단계; 원본 영상과 상기 업 샘플링된 복원 영상간의 제 1 잔차 영상의 제 1 예측 영상을 생성하는 단계; 제 1 확장 계층 비트스트림을 상기 제 1 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 1 예측 영상간의 제 2 잔차 영상을 복원하는 단계; 상기 생성된 제 1 예측 영상에 상기 복원된 제 2 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 1 복원 영상을 생성하는 단계; 상기 제 1 잔차 영상의 제 2 예측 영상을 생성하는 단계; 제 2 확장 계층 비트스트림을 제 2 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 2 예측 영상간의 제 3 잔차 영상을 복원하는 단계; 상기 생성된 제 2 예측 영상에 상기 복원된 제 3 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 2 복원 영상을 생성하는 단계; 및 상기 업 샘플링된 복원 영상에 상기 생성된 제 1 복원 영상 및 제 2 복원 영상 중 적어도 하나를 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 제 3 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 제 3 영상 복호화 장치는 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 제 1 복호화부; 상기 생성된 복원 영상을 업 샘플링하는 업 샘플러; 원본 영상과 상기 업 샘플링된 복원 영상간의 제 1 잔차 영상의 제 1 예측 영상을 생성하는 제 1 생성부; 제 1 확장 계층 비트스트림을 상기 제 1 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 1 예측 영상간의 제 2 잔차 영상을 복원하는 제 2 복호화부; 상기 생성된 제 1 예측 영상에 상기 복원된 제 2 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 1 복원 영상을 생성하는 제 1 가산기; 상기 제 1 잔차 영상의 제 2 예측 영상을 생성하는 제 2 생성부; 제 2 확장 계층 비트스트림을 제 2 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 2 예측 영상간의 제 3 잔차 영상을 복원하는 제 3 복호화부; 상기 생성된 제 2 예측 영상에 상기 복원된 제 3 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 2 복원 영상을 생성하는 제 2 가산기; 및 상기 업 샘플링된 복원 영상에 상기 생성된 제 1 복원 영상 및 제 2 복원 영상 중 적어도 하나를 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 제 3 가산기를 포함한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 특히, 이하에 기재된 "영상(image)"이라는 용어는 픽처(picture), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 1은 본 발명의 실시예들이 적용되는 스케일러블 영상 처리 환경을 도시한 도면이다. 도 1을 참조하면, 스케일러블(scalable) 영상 처리 환경은 제 1 부호화 장치(10), 제 1 복호화 장치(20), 제 2 부호화 장치(30) 및 제 2 복호화 장치(40)로 구성된다. 제 1 부호화 장치(10), 제 1 복호화 장치(20)는 4:2:0 영상 또는 비트 깊이가 8 비트인 영상을 재생할 수 있는 기존 코덱이 탑재된 장치이고, 제 2 부호화 장치(30) 및 제 2 복호화 장치(40)는 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상을 새로운 코덱이 탑재된 장치이다.
따라서, 제 1 부호화 장치(10)는 4:2:0 영상 또는 비트 깊이가 8 비트인 영상을 부호화하고, 그 결과에 해당하는 비트스트림을 출력한다. 또한, 제 2 부호화 장치(30)는 4:4:4 영상, 4:2:2 영상 또는 비트 깊이가 10 비트인 영상을 부호화하고, 그 결과에 해당하는 비트스트림을 출력한다. 기존 코덱이 탑재된 제 1 복호화 장치(20)가 새로운 코덱이 탑재된 제 2 부호화 장치(30)로부터 출력된 비트스트림을 재생할 수 있는 호환성을 순방향 호환성(forward compatibility)이라고 한다. 또한, 새로운 코덱이 탑재된 제 2 복호화 장치(40)가 기존 코덱이 탑재된 제 1 부 호화 장치(10)로부터 출력된 비트스트림을 재생할 수 있는 호환성을 역방향 호환성(backward compatibility)이라고 한다. 특히, 이하에서 설명될 본 발명의 실시예들은 순방향 호환성을 지원한다.
도 2는 본 발명의 실시예들에 따라 계층적으로 부호화하거나 복호화하는 모습을 도시한 도면이다. 도 2를 참조하면, 제 2 부호화 장치(30)가 N 개의 계층들만큼 영상을 계층적으로 부호화한다면, 제 2 부호화 장치(30)는 기본 계층 비트스트림, 제 1 확장 계층 비트스트림, 제 2 확장 계층 비트스트림, ..., 제 N 확장 계층 비트스트림을 포함하는 스케일러블 비트스트림을 출력한다. 기존 코덱이 탑재된 제 1 복호화 장치(20)는 스케일러블 비트스트림 중 기본 계층 비트스트림만을 선별하여 복호화한다. 한편, 새로운 코덱이 탑재된 제 2 복호화 장치(40)는 스케일러블 비트스트림 모두를 복호화한다. 물론, N 개의 확장 계층 비트스트림들 중 일부만을 복호화하는 장치들도 가능하다.
도 3은 도 2에 도시된 제 2 부호화 장치(30)로부터 출력된 스케일러블 비트스트림의 포맷을 도시한 도면이다. 상기된 바와 같이, 도 3에 도시된 스케일러블 비트스트림은 기본 계층 비트스트림, 제 1 확장 계층 비트스트림, 제 2 확장 계층 비트스트림, ..., 및 제 N 확장 계층 비트스트림으로 구성된다. 기본 계층과 확장 계층 간에는 영상 포맷 또는 비트 깊이 등이 달라지기 때문에 양 계층 간의 화질 차이가 매우 크다. 그런, 확장 계층들간에 영상 포맷 또는 비트 깊이 등이 동일하기 때문에 확장 계층들간의 화질 차이가 크지 않다. 이에 따라, 전자의 확장성(scalability)을 "coarse grain scalability"라고 부르고, 후자의 확장성을 "median/fine grain scalability"라고 부른다. 특히, 이하에서 설명될 본 발명의 실시예들은 인간의 시각 특성을 기반으로 양자화 파라미터들을 각 계층마다 달리함으로써 이와 같은 "median/fine grain scalability"을 지원할 수 있도록 하고 있다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치(100)의 구성도이다. 도 4를 참조하면, 본 실시예에 따른 영상 부호화 장치는 다운 샘플러(101), 움직임 추정부(102), 움직임 보상부(103), 제 1 감산기(104), 제 1 변환부(105), 양자화부(106), 엔트로피 부호화부(107), 역양자화부(108), 역변환부(109), 가산기(110), 버퍼(111), 업 샘플러(112), 제 2 감산기(113), 제 2 변환부(114), 제 1 확장 계층 양자화부(115), 제 2 확장 계층 양자화부(117) - 제 N 확장 계층 양자화부(121), 제 1 확장 계층 엔트로피 부호화부(116), 제 2 확장 계층 엔트로피 부호화부(120) - 제 N 확장 계층 엔트로피 부호화부(124), 제 1 레벨 추정부(118) - 제 N-1 레벨 추정부(122), 제 1 레벨 감산기(119) - 제 N-1 레벨 감산기(123) 및 비트스트림 생성부(125)로 구성된다.
다운 샘플러(101)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(100)에 현재 입력된 원본 영상을 다운 샘플링(down sampling)함으로써 기본 영상을 생성한다. 예를 들어, 원본 영상의 포맷(format)이 4:4:4 또는 4:2:2인 경우, 다운 샘플러(101)는 4:4:4 원본 영상 또는 4:2:2 원본 영상을 다운 샘플링함으로써 4:2:0 기본 영상을 생성한다. 만약, 원본 영상의 해상도가 HD(High Definition) 또는 CIF(Common Intermediate Format)인 경우, 다운 샘플러(101)는 HD 원본 영상 또 는 CIF 원본 영상을 다운 샘플링함으로써 SD(Standard Definition) 기본 영상 또는 QCIF(Quarter CIF) 기본 영상을 생성한다. 만약, 원본 영상을 구성하는 화소들의 컬러 값들을 나타내는 비트들의 개수, 즉 비트 깊이(bit depth)가 10 비트인 경우, 다운 샘플러(101)는 비트 깊이가 10 비트인 원본 영상을 다운 샘플링함으로써 비트 깊이가 8 비트인 기본 영상을 생성한다. 또한, 다운 샘플러(101)는 상기된 바와 같은 예들 중 적어도 두 개 이상을 동시에 수행할 수도 있다.
움직임 추정부(102)는 버퍼(111)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(101)에 의해 생성된 기본 영상의 움직임을 추정(estimate)한다. 보다 상세하게 설명하면, 움직임 추정부(102)는 기본 영상을 구성하는 블록들 각각에 대하여 버퍼(111)에 저장된 참조 영상들 중 기본 영상의 블록에 가장 잘 매칭(matching)되는 참조 영상의 블록을 결정하고, 이와 같이 결정된 참조 영상의 블록과 기본 영상의 블록간의 변위를 나타내는 움직임 벡터(motion vector)를 산출한다. 본 실시예에서의 영상의 처리 단위에 해당하는 블록의 크기는 가장 일반적인 16x16인 것으로 가정하기로 한다. 이와 같은 16x16 크기의 블록을 일명 매크로블록(macroblock)이라고 한다. 다만, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 상기된 16x16 이외에 16x8, 8x16, 8x8, 4x4 등의 다양한 크기가 될 수 있음을 이해할 수 있다.
움직임 보상부(103)는 움직임 추정부(102)에 의한 기본 영상의 움직임 추정을 이용하여 버퍼(111)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 보다 상세하게 설명하면, 움직임 보상부(103) 는 움직임 추정부(102)에 의해 산출된 기본 영상의 블록들 각각의 움직임 벡터가 지시하는 적어도 하나의 참조 영상의 블록들의 값을 기본 영상의 블록들의 값으로 결정함으로써 기본 영상의 예측 영상을 생성한다.
상기된 움직임 추정부(102) 및 움직임 보상부(103)에 의한 영상 압축 방식은 어느 하나의 동영상을 구성하는 여러 영상들간의 시간적 중복성을 이용하여 영상을 압축하는 방식으로서 인터(inter) 부호화 방식이라고 한다. 어느 하나의 영상 내의 공간적 중복성을 이용하여 영상을 압축하는 방식을 인트라(intra) 부호화 방식이라고 하는데, 본 실시예의 설명이 장황하게 되는 것을 피하기 위하여, 본 실시예에 인터 부호화 방식만이 적용되는 것으로 설계하였으나, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예에 인트라 부호화 방식도 적용될 수 있음을 이해할 수 있다. 또한, 인트라 부호화 방식은 영상 부호화 장치(100)에 입력되는 영상에 적용될 수도 있고, 제 1 변환부(105)에 의해 변환된 결과에 적용될 수도 있다.
제 1 감산기(104)는 기본 영상으로부터 움직임 보상부(103)에 의해 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(residue image)(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 보다 상세하게 설명하면, 제 1 감산기(104)는 기본 영상의 각 블록으로부터 각 블록의 움직임 벡터가 지시하는 적어도 하나의 예측 영상의 블록을 감산한다. 제 1 변환부(105)는 제 1 감산기(104)에 의해 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 1 잔차 영상의 주파수 계수들을 생성한다. 예를 들면, 제 1 변 환부(105)는 DHT(Discrete Hadamard Transform), DCT(Discrete Cosine Transform) 등을 이용하여 제 1 감산기(104)에 의해 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환할 수 있다.
양자화부(106)는 제 1 변환부(105)에 의해 생성된 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 보다 상세하게 설명하면, 양자화부(106)는 제 1 변환부(105)에 의해 생성된 주파수 계수들을 양자화 파라미터로 나누고, 그 결과를 정수 값들로 근사화한다. 즉, 이와 같이 근사화된 정수 값들을 양자화 레벨들이라고 한다. 엔트로피 부호화부(107)는 양자화부(106)에 의해 생성된 양자화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다. 예를 들면, 엔트로피 부호화부(107)는 CAVLC(Context-Adaptive Variable-Length Coding), CAVAC(Context-Adaptive Binary Arithmetic Coding) 등을 이용하여 양자화부(106)에 의해 생성된 양자화 레벨들을 엔트로피 부호화할 수 있다. 또한, 엔트로피 부호화부(107)는 동영상에 해당하는 정수 값들 이외에 동영상 복호화를 위한 정보, 예를 들면 인터 예측에 사용된 참조 영상의 색인 정보, 움직임 벡터 정보 등을 엔트로피 부호화한다. 상기된 변환 방식, 양자화 방식 및 엔트로피 부호화 방식에 관한 상세한 설명은 이하에서도 그대로 적용되기 때문에 이하에서는 이들 방식에 대해서는 간략하게 설명하기로 한다.
역양자화부(108)는 양자화부(106)에 의해 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 보다 상세하게 설명하면, 역양자화부(108)는 양자화부(106)에 의해 근사화된 정수 값들에 양자화 파라미터를 곱함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 역변환부(109)는 역양자화부(108)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다. 가산기(110)는 움직임 보상부(103)에 의해 생성된 예측 영상에 역변환부(109)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 버퍼(111)에 저장한다. 버퍼(111)에 현재 저장된 복원 영상은 기본 영상의 이후에 등장하는 미래의 영상 또는 기본 영상 이전에 존재했던 과거의 영상의 참조 영상으로 사용된다.
업 샘플러(112)는 가산기(110)에 의해 생성된 복원 영상을 업 샘플링(up sampling)한다. 예를 들어, 가산기(110)에 의해 생성된 복원 영상의 포맷(format)이 4:2:0인 경우, 업 샘플러(112)는 4:2:0 복원 영상을 업 샘플링함으로써 4:4:4 또는 4:2:2 영상을 생성한다. 만약, 가산기(110)에 의해 생성된 복원 영상의 해상도가 SD 또는 QCIF인 경우, 업 샘플러(112)는 SD 복원 영상 또는 QCIF 복원 영상을 업 샘플링함으로써 HD 영상 또는 CIF 영상을 생성한다. 만약, 가산기(110)에 의해 생성된 복원 영상을 구성하는 화소들의 비트 깊이가 8 비트인 경우, 업 샘플러(112)는 비트 깊이가 8 비트인 복원 영상을 업 샘플링함으로써 비트 깊이가 10 비트인 영상을 생성한다. 또한, 업 샘플러(112)는 상기된 바와 같은 예들 중 적어도 두 개 이상을 동시에 수행할 수도 있다.
제 2 감산기(113)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(100)에 현재 입력된 원본 영상으로부터 업 샘플러(112)에 의해 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 업 샘플러(112)에 의해 업 샘플링된 복원 영 상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다. 보다 상세하게 설명하면, 제 2 감산기(113)는 원본 영상의 각 블록으로부터 각 블록과 공통 위치의(co-located) 복원 영상의 블록을 감산한다. 제 2 변환부(114)는 제 2 감산기(113)에 의해 생성된 제 2 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 2 잔차 영상의 주파수 계수들을 생성한다.
제 1 확장 계층 양자화부(115)는 제 2 변환부(114)에 의해 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성한다. 제 1 확장 계층 엔트로피 부호화부(116)는 제 1 확장 계층 양자화부(115)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다. 제 2 확장 계층 양자화부(117)는 제 2 변환부(114)에 의해 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다.
제 1 레벨 추정부(118)는 제 1 확장 계층 양자화부(115)에 의해 생성된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화부(117)에 의해 생성될 제 2 확장 계층 양자화 레벨들을 추정한다. 보다 상세하게 설명하면, 제 1 레벨 추정부(118)는 제 1 확장 계층 양자화부(115)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 확장 계층 양자화부(117)에 의해 생성될 제 2 확장 계층 양자화 레벨들을 추정한다. 즉, 제 2 확장 계층 양자화 파라미터를 이용하여 양자화된 결과가 제 2 확장 계층 양자화 레벨들의 추정 값이다.
제 1 레벨 감산기(119)는 제 2 확장 계층 양자화부(117)에 의해 생성된 제 2 확장 계층 양자화 레벨들로부터 제 1 레벨 추정부(118)에 의해 추정된 제 2 확장 계층 양자화 레벨들을 감산함으로써 제 2 확장 계층 양자화부(117)에 의해 생성된 제 2 확장 계층 양자화 레벨들과 제 1 레벨 추정부(118)에 의해 추정된 제 2 확장 계층 양자화 레벨들간의 차이 값들을 생성한다. 제 2 확장 계층 엔트로피 부호화부(120)는 제 1 레벨 감산기(119)에 의해 생성된 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다.
이상에서는 본 실시예 중 제 1 확장 계층과 제 2 확장 계층에 관한 부분들을 설명하였다. 이하에서는 본 실시예에 따른 양자화 파라미터들에 대한 구체적인 예를 들면서 제 1 확장 계층과 제 2 확장 계층을 제 x-1 확장 계층과 제 x 확장 계층으로 일반화시켜 설명하기로 한다. 또한, 제 x-1 확장 계층과 제 x 확장 계층에 해당하는 구성 요소들에 대해서는 도 4의 복잡도를 낮추기 위하여 이 구성 요소들에 대한 도시는 생략하기로 한다.
본 실시예에 따르면, 제 1 확장 계층 양자화 파라미터는 제 1 확장 계층의 양자화 스텝 사이즈(quantization step size)와 양자화 행렬의 곱으로 정의될 수 있다. 이 경우, 제 x-1 확장 계층 양자화부는 다음 수학식 1에 따라 제 2 변환부(114)에 의해 생성된 주파수 계수들의 행렬을 제 x-1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱으로 나누고, 그 결과를 정수 값들로 근사화한다. 다음 수학식 1에서 "Coeffx-1"은 제 2 변환부(114)에 의해 생성된 주파수 계수들의 행렬들이고, "QEx-1"은 제 x-1 확장 계층의 양자화 스텝 사이즈이고, "Wx-1"은 제 x-1 확장 계층의 양자화 행렬이고, "1/2(QEx-1 x Wx-1)"은 ""Coeffx-1"을 "QEx-1 x Wx-1"로 나눈 결과 값을 반올림하기 위한 값이다. 또한, "floor[]"는 [] 내에 기재된 임의의 실수 값으로부터 이 값의 소수점 이하의 값을 절단(truncation)해내는 함수이고, "Levelx-1"은 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들이다.
Figure 112007087990666-PAT00001
또한, 제 x-1 레벨 추정부는 다음 수학식 2에 따라 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들과 제 x-1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱을 곱함으로써 제 2 잔차 영상의 제 x-1 확장 계층 주파수 계수들을 복원한다. 다음 수학식 2에서 "Levelx-1"은 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들이고, "QEx-1"은 제 x-1 확장 계층의 양자화 스텝 사이즈이고, "Wx-1"은 제 x-1 확장 계층의 양자화 행렬이고, "recCoeffx-1"은 제 x-1 레벨 추정부에 의해 복원된 주파수 계수들이다.
Figure 112007087990666-PAT00002
이어서, 제 x-1 레벨 추정부는 다음 수학식 3에 따라 이와 같이 복원된 제 x-1 확장 계층 주파수 계수들을 제 x 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱으로 나누고, 그 결과를 정수 값들로 근사화한다. 다음 수학식 3에서 "recCoeffx-1"은 제 x-1 레벨 추정부에 의해 복원된 주파수 계수들이고, "QEx"은 제 x 확장 계층의 양자화 스텝 사이즈이고, "Wx"은 제 x 확장 계층의 양자화 행렬이고, "1/2(QEx x Wx)"은 "recCoeffx-1"을 "QEx x Wx"로 나눈 결과 값을 반올림하기 위한 값이다. 또한, "estLevelx"은 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들이다.
Figure 112007087990666-PAT00003
또한, 제 x-1 레벨 감산기는 다음 수학식 4에 따라 제 x 확장 계층 양자화부에 의해 생성된 제 x 확장 계층 양자화 레벨들로부터 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들을 감산한다. 다음 수학식 4에서 "Levelx"은 제 x 확장 계층 양자화부에 의해 생성된 제 x 확장 계층 양자화 레벨들이고, "estLevelx-1"은 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들 이다. 또한, "resLevelx"는 제 x 확장 계층 양자화부에 의해 생성된 제 x 확장 계층 양자화 레벨들과 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들의 차이 값들이다.
Figure 112007087990666-PAT00004
아니면, 제 1 확장 계층 양자화 파라미터는 제 1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합으로도 정의될 수 있다. 이 경우, 제 x-1 확장 계층 양자화부는 다음 수학식 5에 따라 제 2 변환부(114)에 의해 생성된 주파수 계수들의 행렬을 제 1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합으로 나누고, 그 결과를 정수 값들로 근사화한다. 다음 수학식 5에서 "Coeffx-1"은 제 2 변환부(114)에 의해 생성된 주파수 계수들의 행렬들이고, "QEx-1"은 제 x-1 확장 계층의 양자화 스텝 사이즈이고, "Wx-1"은 제 x-1 확장 계층의 양자화 행렬이고, "1/2(QEx-1 + Wx-1)"은 ""Coeffx-1"을 "QEx-1 + Wx-1"로 나눈 결과 값을 반올림하기 위한 값이다. 또한, "Levelx-1"은 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들이다.
Figure 112007087990666-PAT00005
또한, 제 x-1 레벨 추정부는 다음 수학식 6에 따라 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들과 제 x-1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합을 곱함으로써 제 2 변환부(114)에 의해 생성된 주파수 계수들을 복원한다. 다음 수학식 6에서 "Levelx-1"은 제 x-1 확장 계층 양자화부에 의해 생성된 제 x-1 확장 계층 양자화 레벨들이고, "QEx-1"은 제 x-1 확장 계층의 양자화 스텝 사이즈이고, "Wx-1"은 제 x-1 확장 계층의 양자화 행렬이고, "recCoeffx-1"은 제 x-1 레벨 추정부에 의해 복원된 주파수 계수들이다.
Figure 112007087990666-PAT00006
이어서, 제 x-1 레벨 추정부는 다음 수학식 7에 따라 이와 같이 복원된 주파수 계수들을 제 x 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합으로 나누고, 그 결과를 정수 값들로 근사화한다. 다음 수학식 7에서 "recCoeffx-1"은 제 x-1 레벨 추정부에 의해 복원된 주파수 계수들이고, "QEx"은 제 x 확장 계층의 양자화 스텝 사이즈이고, "Wx"은 제 x 확장 계층의 양자화 행렬이고, "1/2(QEx + Wx)"은 "recCoeffx-1"을 "QEx + Wx"로 나눈 결과 값을 반올림하기 위한 값이다. 또한, "estLevelx"은 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들이다.
Figure 112007087990666-PAT00007
상기된 예에서의 제 x-1 레벨 감산기는 양자화 파라미터가 양자화 스텝 사이즈와 양자화 행렬의 곱으로 정의되는 예와 동일하므로, 이것에 대한 설명은 생략하기로 한다. 상기된 바와 같은 계층적 부호화 방식은 확장 계층들 중 최상위 계층인 제 N 계층까지 반복적으로 적용될 것이다. 따라서, 도 4에 도시된 구성 요소들 중 설명되지 않은 구성 요소들, 예를 들면 제 N 확장 계층 양자화부(121), 제 N 확장 계층 엔트로피 부호화부(124), 제 N-1 레벨 추정부(122), 제 N-1 레벨 감산기(123) 등에 대해서는 그 설명을 생략하기로 한다. 다만, 각 확장 계층의 양자화 파라미터는 서로 다른 값이 될 것이다. 특히, 본 실시예에서는 상위 계층으로 갈수록 보다 높은 화질의 영상을 제공하여야 하기 때문에 상위 계층으로 갈수록 양자화 스텝 사이즈는 감소하고, 양자화 행렬의 원소들의 값들 전체 또는 일부가 감소한다.
도 5는 본 발명의 일 실시예에 따른 양자화 행렬들을 도시한 도면이다. 제 2 변환부(114)에 의해 생성된 주파수 계수들의 행렬들 각각의 좌측 상단 쪽은 인간의 시각에 민감한 저주파수 영역이고, 이 행렬들 각각의 우측 하단 쪽은 인간의 시간에 둔감한 고주파수 영역이다. 도 5를 참조하면, 양자화 행렬들은 좌측 상단으로 갈수록 보다 작은 값이 배치되어 있고, 우측 하단으로 갈수록 보다 큰 값이 배치되어 있음을 알 수 있다. 양자화 스텝 사이즈는 영상 데이터의 전체적인 크기 감소를 결정하는 값인 반면, 양자화 행렬은 인간의 시각에 민감한 저주파수 영역에 대해서 는 보다 작은 값을 배치하고, 인간의 시각에 둔감한 고주파수 영역에 대해서는 보다 큰 값을 배치함으로써 인간의 시각 특성을 반영한 영상의 주파수 계수 별 크기 감소를 결정하는 값이다.
특히, 도 5에 도시된 양자화 행렬들은 상위 계층으로 갈수록 좌측 상단 쪽의 원소 값들을 감소시키고, 우측 하단 쪽의 원소 값들을 그대로 유지하는 방식으로 설계되었다. 이에 따라, 상위 계층은 하위 계층보다 인간의 시각 특성에 보다 충실한 화질을 제공할 수 있게 된다. 또한, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 인간의 시각 특성을 고려하여 도 5에 도시된 형태의 양자화 행렬들 이외에 다양한 형태의 양자화 행렬들을 용이하게 설계할 수 있음을 이해할 수 있다.
비트스트림 생성부(125)는 엔트로피 부호화부(107)에 의해 생성된 기본 계층 비트스트림과 제 1 확장 계층 엔트로피 부호화부(116) - 제 N 확장 계층 엔트로피 부호화부(124)에 의해 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블(scalable) 비트스트림을 생성한다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치(200)의 구성도이다. 도 6을 참조하면, 본 실시예에 따른 영상 부호화 장치는 비트스트림 파서(parser)(201), 엔트로피 부호화부(202), 역양자화부(203), 제 1 역변환부(204), 움직임 보상부(205), 제 1 가산기(206), 버퍼(207), 업 샘플러(208), 제 1 확장 계층 엔트로피 복호화부(209), 제 2 확장 계층 엔트로피 복호화부(211) - 제 N 확장 계층 엔트로피 복호화부(215), 제 1 확장 계층 역양자화부(210), 제 2 확장 계층 역양자화부(214) - 제 N 확장 계층 역양자화부(218), 제 1 레벨 추정부(212) - 제 N-1 레벨 추정부(216), 제 1 레벨 가산기(213) - 제 N-1 레벨 가산기(217), 제 2 역변환부(219) 및 제 2 가산기(220)로 구성된다. 도 6에 도시된 영상 복호화 장치(200)의 영상 복원 과정은 도 4에 도시된 영상 부호화 장치(100)의 영상 복원 과정과 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 동영상 부호화 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 동영상 복호화 장치(200)에도 적용된다.
비트스트림 파서(201)는 도 4에 도시된 영상 부호화 장치(100)로부터 전송된 스케일러블 비트스트림을 파싱(parsing)함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다.
엔트로피 부호화부(202)는 비트스트림 파서(201)에 의해 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원한다. 역양자화부(203)는 엔트로피 부호화부(202)에 의해 복원된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 제 1 역변환부(204)는 역양자화부(203)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다.
움직임 보상부(205)는 버퍼(207)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 기본 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 보다 상세하게 설명하면, 움직임 보상 부(103)는 엔트로피 부호화부(202)에 복원된 영상 복호화를 위한 정보 중 기본 영상의 블록들 각각의 움직임 벡터가 지시하는 적어도 하나의 참조 영상의 블록들의 값을 기본 영상의 블록들의 값으로 결정함으로써 기본 영상의 예측 영상을 생성한다. 제 1 가산기(206)는 움직임 보상부(205)에 의해 생성된 예측 영상에 역변환부(304)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 버퍼(207)에 저장한다.
업 샘플러(208)는 가산기(110)에 의해 생성된 복원 영상을 업 샘플링한다. 제 1 확장 계층 엔트로피 복호화부(209)는 비트스트림 파서(201)에 의해 추출된 제 1 확장 계층 비트스트림을 엔트로피 복호화함으로써 원본 영상과 업 샘플러(208)에 의해 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원한다. 제 1 확장 계층 역양자화부(210)는 제 1 확장 계층 엔트로피 복호화부(209)에 의해 복원된 제 1 확장 계층 양자화 레벨들을 제 1 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다. 제 2 확장 계층 엔트로피 복호화부(211)는 비트스트림 파서(201)에 의해 추출된 제 2 확장 계층 비트스트림을 엔트로피 복호화함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원한다.
제 1 레벨 추정부(212)는 제 1 확장 계층 엔트로피 복호화부(209)에 의해 복원된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 엔트로피 복호화부(211)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정한다. 보다 상세하게 설명하 면, 제 1 레벨 추정부(212)는 제 1 확장 계층 엔트로피 복호화부(209)에 의해 복원된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원하고, 이 제 1 확장 계층 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 확장 계층 엔트로피 복호화부(211)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정한다. 즉, 제 2 확장 계층 양자화 파라미터를 이용하여 양자화된 결과가 제 2 확장 계층 양자화 레벨들의 추정 값들이다.
제 1 레벨 가산기(213)는 제 1 레벨 추정부(212)에 의해 추정된 제 2 확장 계층 양자화 레벨들에 제 2 확장 계층 엔트로피 복호화부(211)에 의해 복원된 차이 값들을 가산함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 제 2 확장 계층 역양자화부(214)는 제 1 레벨 가산기(213)에 의해 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다.
이상에서는 본 실시예 중 제 1 확장 계층과 제 2 확장 계층에 관한 부분들을 설명하였다. 이하에서는 본 실시예에 따른 양자화 파라미터들에 대한 구체적인 예를 들면서 제 1 확장 계층과 제 2 확장 계층을 제 x-1 확장 계층과 제 x 확장 계층으로 일반화시켜 설명하기로 한다. 또한, 제 x-1 확장 계층과 제 x 확장 계층에 해당하는 구성 요소들에 대해서는 도 6의 복잡도를 낮추기 위하여 이 구성 요소들에 대한 도시는 생략하기로 한다.
본 실시예에 따르면, 제 1 확장 계층 양자화 파라미터는 제 1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱으로 정의될 수 있다. 이 경우, 제 x-1 레벨 추정부는 상기된 수학식 2에 따라 제 x-1 확장 계층 엔트로피 부호화부에 의해 복원된 제 x-1 확장 계층 양자화 레벨들과 제 x-1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱을 곱함으로써 제 2 잔차 영상의 제 x-1 확장 계층 주파수 계수들을 복원한다. 이어서, 제 x-1 레벨 추정부는 상기된 수학식 3에 따라 이와 같이 복원된 제 x-1 확장 계층 주파수 계수들을 제 x 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 곱으로 나누고, 그 결과를 정수 값들로 근사화한다.
또한, 제 x-1 레벨 가산기는 다음 수학식 8에 따라 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들에 제 x 확장 계층 엔트로피 부호화부에 의해 복원된 차이 값들을 가산함으로써 제 2 잔차 영상의 제 x 확장 계층 양자화 레벨들을 복원한다. 다음 수학식 8에서 "estLevelx-1"은 제 x-1 레벨 추정부에 의해 추정된 제 x 확장 계층 양자화 레벨들이고, "resLevelx"는 제 2 잔차 영상의 제 x 확장 계층 양자화 레벨들과 이 제 x 확장 계층 양자화 레벨들의 추정 값들의 차이 값들이고, "recLevelx"은 제 x-1 레벨 가산기에 의해 복원된 제 x 확장 계층 양자화 레벨들이다.
Figure 112007087990666-PAT00008
또한, 제 x 계층 역양자화부는 다음 수학식 9에 따라 제 x-1 레벨 가산기에 의해 복원된 제 x 확장 계층 양자화 레벨들과 제 x 확장 계층의 양자화 스텝 사이 즈와 양자화 행렬의 곱을 곱함으로써 제 2 잔차 영상의 제 x 확장 계층 주파수 계수들을 복원한다. 다음 수학식 9에서 "recLevelx"은 제 x-1 레벨 가산기에 의해 복원된 제 x 확장 계층 양자화 레벨들이고, "QEx"은 제 x 확장 계층의 양자화 스텝 사이즈이고, "Wx"은 제 x 확장 계층의 양자화 행렬이고, "recCoeffx"은 제 x-1 레벨 역양자화부에 의해 복원된 제 x 확장 계층 주파수 계수들이다.
Figure 112007087990666-PAT00009
아니면, 제 1 확장 계층 양자화 파라미터는 제 1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합으로도 정의될 수 있다. 이 경우, 제 x-1 레벨 추정부는 상기된 수학식 6에 따라 제 x-1 확장 계층 엔트로피 부호화부에 의해 복원된 제 x-1 확장 계층 양자화 레벨들과 제 x-1 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합을 곱함으로써 제 2 잔차 영상의 제 x-1 확장 계층 주파수 계수들을 복원한다. 이어서, 제 x-1 레벨 추정부는 상기된 수학식 7에 따라 이와 같이 복원된 제 x-1 확장 계층 주파수 계수들을 제 x 확장 계층의 양자화 스텝 사이즈와 양자화 행렬의 합으로 나누고, 그 결과를 정수 값들로 근사화한다.
상기된 예에서의 제 x-1 레벨 가산기는 양자화 파라미터가 양자화 스텝 사이즈와 양자화 행렬의 곱으로 정의되는 예와 동일하므로, 이것에 대한 설명은 생략하기로 한다. 또한, 제 x 계층 역양자화부는 다음 수학식 10에 따라 제 x-1 레벨 가산기에 의해 복원된 제 x 확장 계층 양자화 레벨들과 제 x 확장 계층의 양자화 스 텝 사이즈와 양자화 행렬의 합을 곱함으로써 제 2 잔차 영상의 제 x 확장 계층 주파수 계수들을 복원한다. 다음 수학식 10에서 "recLevelx"은 제 x-1 레벨 가산기에 의해 복원된 제 x 확장 계층 양자화 레벨들이고, "QEx"은 제 x 확장 계층의 양자화 스텝 사이즈이고, "Wx"은 제 x 확장 계층의 양자화 행렬이고, "recCoeffx"은 제 x-1 레벨 역양자화부에 의해 복원된 제 x 확장 계층 주파수 계수들이다.
Figure 112007087990666-PAT00010
상기된 바와 같은 계층적 복호화 방식은 확장 계층들 중 최상위 계층인 제 N 계층까지 반복적으로 적용될 것이다. 따라서, 도 5에 도시된 구성 요소들 중 설명되지 않은 구성 요소들, 예를 들면 제 N 확장 계층 엔트로피 복호화부(215), 제 N 확장 계층 역양자화부(218), 제 N-1 레벨 추정부(216), 제 N-1 레벨 가산기(217), 등에 대해서는 그 설명을 생략하기로 한다. 다만, 각 확장 계층의 양자화 파라미터는 서로 다른 값이 될 것이다. 상위 계층으로 갈수록 양자화 스텝 사이즈는 감소하고, 양자화 행렬의 원소들의 값들 전체 또는 일부가 감소한다는 점은 도 4에 도시된 영상 부호화 장치(100)의 경우와 동일하다. 또한, 도 5에 도시된 양자화 행렬들로 본 실시예에 그대로 적용된다.
제 2 역변환부(219)는 제 1 확장 계층 역양자화부(210) - 제 N 확장 계층 역양자화부(218)에서의 역양자화 결과에 해당하는 확장 계층 주파수 계수들 중 가장 높은 순위의 확장 계층의 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환 함으로써 확장 계층 잔차 영상을 복원한다. 예를 들어, 제 1 확장 계층 역양자화부(210) - 제 N 확장 계층 역양자화부(218)에서의 역양자화 결과에 해당하는 확장 계층 주파수 계수들 중 가장 높은 순위의 확장 계층이 제 3 확장 계층이라면, 제 2 역변환부(219)는 제 3 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 확장 계층 잔차 영상을 복원한다. 제 1 확장 계층 역양자화부(210) - 제 N 확장 계층 역양자화부(218)에서의 역양자화 결과에 해당하는 확장 계층 주파수 계수들 중 가장 높은 순위의 확장 계층이 제 3 확장 계층이 되는 경우는 대표적으로 다음 두 가지를 들 수 있다.
먼저, 도 4에 도시된 영상 부호화 장치(100)로부터 전송된 스케일러블 비트스트림이 기본 계층 비트스트림부터 제 3 확장 계층 비트스트림까지 또는 그 이상의 상위 확장 계층 비트스트림까지를 포함하고 있으나, 제 N 확장 계층 역양자화부(218)가 제 3 확장 계층 역양자화부인 경우가 여기에 해당한다. 다음으로, 제 N 확장 계층 역양자화부(218)가 제 3 확장 계층 또는 그 이상의 상위 확장 계층의 역양자화부이나, 도 4에 도시된 영상 부호화 장치(100)로부터 전송된 스케일러블 비트스트림이 기본 계층 비트스트림으로부터 제 3 확장 계층 비트스트림까지를 포함하고 있는 경우도 여기에 해당한다.
이와 같은 경우, 제 2 역변환부(219)에서의 역변환의 대상이 되지 않는 제 1 확장 계층 주파수 계수들과 제 2 확장 계층 주파수 계수들은 제 1 확장 계층 역양자화부(210) 및 제 2 확장 계층 역양자화부(214)에 의해 복원될 필요가 없음을 알 수 있다. 따라서, 제 2 역변환부(219)가 항상 제 3 확장 계층 이상의 순위의 확장 계층의 주파수 계수들을 역변환하는 환경이라면, 제 1 확장 계층 역양자화부(210) 및 제 2 확장 계층 역양자화부(214)는 영상 복호화 장치(200)의 구성 요소들로부터 제외되도록 설계될 수 있다. 나아가, 제 2 역변환부(219)가 항상 최상위 계층인 제 N 확장 계층의 주파수 계수들을 역변환하는 환경이라면, 제 1 확장 계층 역양자화부(210)부터 제 N-1 확장 계층 역양자화부까지는 영상 복호화 장치(200)의 구성 요소들로부터 제외되도록 설계될 수 있다.
제 2 가산기(220)는 업 샘플러(208)에 의해 업 샘플링된 복원 영상에 제 2 역변환부(219)에 의해 복원된 확장 계층 잔차 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치(300)의 구성도이다. 도 7을 참조하면, 본 실시예에 따른 영상 부호화 장치는 다운 샘플러(301), 제 1 움직임 추정부(302), 제 1 움직임 보상부(303), 제 1 감산기(304), 제 1 변환부(305), 양자화부(306), 엔트로피 부호화부(307), 제 1 역양자화부(308), 제 1 역변환부(309), 제 1 가산기(310), 제 1 버퍼(311), 업 샘플러(312), 제 2 감산기(313), 제 2 움직임 추정부(314), 제 2 움직임 보상부(315), 제 3 감산기(316), 제 2 변환부(317), 제 1 확장 계층 양자화부(318), 제 2 확장 계층 양자화부(320) - 제 N 확장 계층 양자화부(324), 제 1 확장 계층 엔트로피 부호화부(319), 제 2 확장 계층 엔트로피 부호화부(323) - 제 N 확장 계층 엔트로피 부호화부(327), 제 1 레벨 추정부(321) - 제 N-1 레벨 추정부(325), 제 1 레벨 감산기(322) - 제 N-1 레벨 감산기(326), 제 2 역양자화부(328), 제 2 역변환부(329), 제 2 가산기(330), 제 2 버퍼(331) 및 비트스트림 생성부(332)로 구성된다.
도 7에 도시된 영상 부호화 장치(300)는 도 4에 도시된 영상 부호화 장치(100)에 제 1 확장 계층의 인터 부호화에 관련된 구성 요소들이 추가된 것을 제외하고, 영상 부호화 장치(100)와 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 영상 부호화 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 부호화 장치(300)에도 적용된다.
다운 샘플러(301)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(300)에 현재 입력된 원본 영상을 다운 샘플링함으로써 기본 영상을 생성한다. 제 1 움직임 추정부(302)는 제 1 버퍼(311)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(301)에 의해 생성된 기본 영상의 움직임을 추정한다. 제 1 움직임 보상부(303)는 제 1 움직임 추정부(302)에 의한 기본 영상의 움직임 추정을 이용하여 제 1 버퍼(311)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다.
제 1 감산기(304)는 기본 영상으로부터 제 1 움직임 보상부(303)에 의해 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 제 1 변환부(305)는 제 1 감산기(304)에 의해 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 1 잔차 영상의 주파수 계수들을 생성한다. 양자화부(306)는 제 1 변환부(305)에 의해 생성된 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 엔트로피 부호화부(307)는 양자화부(306)에 의해 생성된 양자 화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다.
제 1 역양자화부(308)는 양자화부(306)에 의해 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 역변환부(309)는 제 1 역양자화부(308)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다. 제 1 가산기(310)는 제 1 움직임 보상부(303)에 의해 생성된 예측 영상에 역변환부(309)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(311)에 저장한다.
업 샘플러(312)는 제 1 가산기(310)에 의해 생성된 복원 영상을 업 샘플링한다. 제 2 감산기(313)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(300)에 현재 입력된 원본 영상으로부터 업 샘플러(312)에 의해 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 업 샘플러(312)에 의해 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다.
제 2 움직임 추정부(314)는 제 2 버퍼(331)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 제 2 감산기(313)에 의해 생성된 제 2 잔차 영상의 움직임을 추정한다. 제 2 움직임 보상부(315)는 제 2 움직임 추정부(314)에 의한 제 2 잔차 영상의 움직임 추정을 이용하여 제 2 버퍼(331)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 3 감산기(316)는 제 2 감산기(313)에 의해 생성된 제 2 잔차 영상으로부터 제 2 움직임 보상부(315)에 의해 생성된 예측 영상을 감산함으로써 제 2 잔차 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)을 생성한다. 보다 상세하게 설명하면, 제 3 감산기(316)는 제 2 잔차 영상의 각 블록으로부터 각 블록의 움직임 벡터가 지시하는 적어도 하나의 예측 영상의 블록을 감산한다. 제 2 변환부(317)는 제 3 감산기(316)에 의해 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성한다.
제 1 확장 계층 양자화부(318)는 제 2 변환부(317)에 의해 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성한다. 제 1 확장 계층 엔트로피 부호화부(319)는 제 1 확장 계층 양자화부(318)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다. 제 2 확장 계층 양자화부(320)는 제 2 변환부(317)에 의해 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다.
제 1 레벨 추정부(321)는 제 1 확장 계층 양자화부(318)에 의해 생성된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화부(320)에 의해 생성될 제 2 확장 계층 양자화 레벨들을 추정한다. 제 1 레벨 감산기(322)는 제 2 확장 계층 양자화부(320)에 의해 생성된 제 2 확장 계층 양자화 레벨들로부터 제 1 레벨 추정부(321)에 의해 추정된 제 2 확장 계층 양자화 레벨들을 감산함으로써 제 2 확장 계층 양자화부(320)에 의해 생성된 제 2 확장 계층 양자화 레벨들과 제 1 레벨 추 정부(321)에 의해 추정된 제 2 확장 계층 양자화 레벨들간의 차이 값들을 생성한다. 제 2 확장 계층 엔트로피 부호화부(323)는 제 1 레벨 감산기(322)에 의해 생성된 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다.
제 2 역양자화부(328)는 제 1 확장 계층 양자화부(318)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다. 제 2 역변환부(329)는 제 2 역양자화부(328)에 의해 복원된 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 2 가산기(330)는 제 2 움직임 보상부(315)에 의해 생성된 예측 영상에 제 2 역변환부(329)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(331)에 저장한다.
비트스트림 생성부(332)는 엔트로피 부호화부(307)에 의해 생성된 기본 계층 비트스트림과 제 1 확장 계층 엔트로피 부호화부(319) - 제 N 확장 계층 엔트로피 부호화부(327)에 의해 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블 비트스트림을 생성한다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 장치(400)의 구성도이다. 도 8을 참조하면, 본 실시예에 따른 영상 복호화 장치(400)는 비트스트림 파서(401), 엔트로피 부호화부(402), 역양자화부(403), 제 1 역변환부(404), 제 1 움직임 보상부(405), 제 1 가산기(406), 제 1 버퍼(407), 업 샘플러(408), 제 1 확장 계층 엔트로피 복호화부(409), 제 2 확장 계층 엔트로피 복호화부(411) - 제 N 확 장 계층 엔트로피 복호화부(415), 제 1 확장 계층 역양자화부(410), 제 2 확장 계층 역양자화부(414) - 제 N 확장 계층 역양자화부(418), 제 1 레벨 추정부(412) - 제 N-1 레벨 추정부(416), 제 1 레벨 가산기(413) - 제 N-1 레벨 가산기(417), 제 2 역변환부(419), 제 2 움직임 보상부(420), 제 3 가산기(421), 제 2 버퍼(422), 제 2 역변환부(419), 제 4 가산기(424) 및 제 5 가산기(425)로 구성된다.
도 8에 도시된 영상 복호화 장치(400)는 도 7에 도시된 영상 복호화 장치(200)에 제 1 확장 계층의 인터 복호화에 관련된 구성 요소들이 추가된 것을 제외하고, 영상 복호화 장치(200)와 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 6에 도시된 영상 복호화 장치(200)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 복호화 장치(400)에도 적용된다.
비트스트림 파서(401)는 도 6에 도시된 영상 부호화 장치(300)로부터 전송된 스케일러블 비트스트림을 파싱함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다. 엔트로피 부호화부(402)는 비트스트림 파서(401)에 의해 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원한다. 역양자화부(403)는 엔트로피 부호화부(402)에 의해 복원된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 제 1 역변환부(404)는 역양자화부(403)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다.
제 1 움직임 보상부(405)는 제 1 버퍼(407)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 기본 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 제 1 가산기(406)는 제 1 움직임 보상부(405)에 의해 생성된 예측 영상에 제 1 역변환부(404)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(407)에 저장한다.
업 샘플러(408)는 가산기(110)에 의해 생성된 복원 영상을 업 샘플링한다. 제 1 확장 계층 엔트로피 복호화부(409)는 비트스트림 파서(401)에 의해 추출된 제 1 확장 계층 비트스트림을 엔트로피 부호화함으로써 원본 영상과 업 샘플러(408)에 의해 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원한다. 제 1 확장 계층 역양자화부(410)는 제 1 확장 계층 엔트로피 복호화부(409)에 의해 복원된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다. 제 2 확장 계층 엔트로피 복호화부(411)는 비트스트림 파서(401)에 의해 추출된 제 2 확장 계층 비트스트림을 엔트로피 부호화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원한다.
제 1 레벨 추정부(412)는 제 1 확장 계층 엔트로피 복호화부(409)에 의해 복원된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 엔트로피 복호화부(411) 에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정한다. 보다 상세하게 설명하면, 제 1 레벨 추정부(412)는 제 1 확장 계층 엔트로피 복호화부(409)에 의해 복원된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 확장 계층 엔트로피 복호화부(411)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정한다.
제 1 레벨 가산기(413)는 제 1 레벨 추정부(412)에 의해 추정된 제 2 확장 계층 양자화 레벨들에 제 2 확장 계층 엔트로피 복호화부(411)에 의해 복원된 차이 값들을 가산함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 제 2 확장 계층 역양자화부(414)는 제 1 레벨 가산기(413)에 의해 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다.
제 2 역변환부(419)는 제 1 확장 계층 역양자화부(410)에 의해 복원된 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 2 움직임 보상부(420)는 제 2 버퍼(422)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 2 가산기(421)는 제 2 움직임 보상부(420)에 의해 생성된 예측 영상에 제 2 역변환부(419)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(422)에 저장한다.
제 3 역변환부(423)는 제 2 확장 계층 역양자화부(414) - 제 N 확장 계층 역양자화부(418)에서의 역양자화 결과에 해당하는 확장 계층 주파수 계수들 중 가장 높은 순위의 확장 계층의 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 확장 계층 잔차 영상을 복원한다. 제 3 가산기(424)는 제 2 가산기(421)에 의해 생성된 복원 영상에 제 2 역변환부(419)에 의해 복원된 확장 계층 잔차 영상을 가산함으로써 보다 고 화질의 제 2 잔차 영상의 복원 영상을 생성한다. 제 4 가산기(425)는 업 샘플러(408)에 의해 업 샘플링된 복원 영상에 제 3 가산기(424)에 의해 생성된 복원 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(500)의 구성도이다. 도 9를 참조하면, 본 실시예에 따른 영상 부호화 장치는 다운 샘플러(501), 제 1 움직임 추정부(502), 제 1 움직임 보상부(503), 제 1 감산기(504), 제 1 변환부(505), 양자화부(506), 엔트로피 부호화부(507), 제 1 역양자화부(508), 제 1 역변환부(509), 제 1 가산기(510), 제 1 버퍼(511), 업 샘플러(512), 제 2 감산기(513), 제 2 움직임 추정부(514), 제 2 움직임 보상부(515), 제 3 감산기(516), 제 2 변환부(517), 제 1 확장 계층 양자화부(518), 제 1 확장 계층 엔트로피 부호화부(519), 제 2 역양자화부(520), 제 2 역변환부(521), 제 2 가산기(522), 제 2 버퍼(523), 제 3 움직임 추정부(524), 제 3 움직임 보상부(525), 제 4 감산기(526), 제 3 변환부(527), 제 2 확장 계층 양자화부(528), 제 1 레벨 추정부(529), 제 1 레벨 감산기(530), 제 2 확장 계층 엔트로피 부호화부(531), 제 3 역양자화부(532), 제 3 역변환부(533), 제 3 가산기(534) 및 제 3 버퍼(535)로 구 성된다.
도 9에 도시된 영상 부호화 장치(500)는 도 7에 도시된 영상 부호화 장치(300)에 제 1 확장 계층 이외의 다른 확장 계층의 인터 부호화에 관련된 구성 요소들이 추가된 것을 제외하고, 영상 부호화 장치(300)와 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 영상 부호화 장치(300)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 부호화 장치(500)에도 적용된다. 특히, 도 9의 복잡도를 낮추기 위하여 제 3 확장 계층 이상의 상위 계층들에 대한 도시는 생략하였으나, 제 3 확장 계층 이상의 상위 계층들에도 이하에 기술될 내용이 마찬가지로 적용될 수 있다.
다운 샘플러(501)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(500)에 현재 입력된 원본 영상을 다운 샘플링함으로써 기본 영상을 생성한다. 제 1 움직임 추정부(502)는 제 1 버퍼(511)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(501)에 의해 생성된 기본 영상의 움직임을 추정한다. 제 1 움직임 보상부(503)는 제 1 움직임 추정부(502)에 의한 기본 영상의 움직임 추정을 이용하여 제 1 버퍼(511)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다.
제 1 감산기(504)는 기본 영상으로부터 제 1 움직임 보상부(503)에 의해 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 제 1 변환부(505)는 제 1 감산기(504)에 의해 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함 으로써 제 1 잔차 영상의 주파수 계수들을 생성한다. 양자화부(506)는 제 1 변환부(505)에 의해 생성된 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 엔트로피 부호화부(507)는 양자화부(506)에 의해 생성된 양자화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다.
제 1 역양자화부(508)는 양자화부(506)에 의해 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 제 1 역변환부(509)는 제 1 역양자화부(508)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다. 제 1 가산기(510)는 제 1 움직임 보상부(503)에 의해 생성된 예측 영상에 제 1 역변환부(509)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(511)에 저장한다.
업 샘플러(512)는 제 1 가산기(510)에 의해 생성된 복원 영상을 업 샘플링한다. 제 2 감산기(513)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(500)에 현재 입력된 원본 영상으로부터 업 샘플러(512)에 의해 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 업 샘플러(512)에 의해 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다.
제 2 움직임 추정부(514)는 제 2 버퍼(523)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 제 2 감산기(513)에 의해 생성된 제 2 잔차 영상의 움직임을 추정한다. 제 2 움직임 보상부(515)는 제 2 움직임 추정부(514)에 의한 제 2 잔차 영상의 움직임 추정을 이용하여 제 2 버퍼(530)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 3 감산기(516)는 제 2 감산기(513)에 의해 생성된 제 2 잔차 영상으로부터 제 2 움직임 보상부(515)에 의해 생성된 예측 영상을 감산함으로써 제 2 잔차 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)을 생성한다. 제 2 변환부(517)는 제 3 감산기(516)에 의해 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성한다.
제 1 확장 계층 양자화부(518)는 제 2 변환부(517)에 의해 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성한다. 제 1 확장 계층 엔트로피 부호화부(519)는 제 1 확장 계층 양자화부(518)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다.
제 2 역양자화부(520)는 제 1 확장 계층 양자화부(518)에 의해 생성된 제 1 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다. 제 2 역변환부(521)는 제 2 역양자화부(520)에 의해 복원된 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 2 가산기(522)는 제 2 움직임 보상부(515)에 의해 생성된 예측 영상에 제 2 역변환부(521)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(523)에 저장한다.
제 3 움직임 추정부(524)는 제 3 버퍼(535)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 제 2 감산기(513)에 의해 생성된 제 2 잔차 영상의 움직임을 추정한다. 제 3 움직임 보상부(525)는 제 3 움직임 추정부(524)에 의한 제 2 잔차 영상의 움직임 추정을 이용하여 제 3 버퍼(535)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 4 감산기(526)는 제 2 감산기(513)에 의해 생성된 제 2 잔차 영상으로부터 제 3 움직임 보상부(525)에 의해 생성된 예측 영상을 감산함으로써 제 3 잔차 영상을 생성한다. 제 3 변환부(527)는 제 4 감산기(526)에 의해 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성한다.
제 2 확장 계층 양자화부(528)는 제 3 변환부(527)에 의해 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다. 제 1 레벨 추정부(529)는 제 1 확장 계층 양자화부(518)에 의해 생성된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화부(531)에 의해 생성될 제 2 확장 계층 양자화 레벨들을 추정한다. 제 1 레벨 감산기(530)는 제 2 확장 계층 양자화부(528)에 의해 생성된 제 2 확장 계층 양자화 레벨들로부터 제 1 레벨 추정부(529)에 의해 추정된 제 2 확장 계층 양자화 레벨들을 감산함으로써 제 2 확장 계층 양자화부(528)에 의해 생성된 제 2 확장 계층 양자화 레벨들과 제 1 레벨 추정부(529)에 의해 추정된 제 2 확장 계층 양자화 레벨들간의 차이 값들을 생성한다. 제 2 확장 계층 엔트로피 부호화 부(531)는 제 1 레벨 감산기(530)에 의해 생성된 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다.
제 3 역양자화부(532)는 제 2 확장 계층 양자화부(528)에 의해 생성된 제 2 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다. 제 3 역변환부(533)는 제 3 역양자화부(532)에 의해 복원된 제 2 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 3 가산기(534)는 제 3 움직임 보상부(525)에 의해 생성된 예측 영상에 제 3 역변환부(533)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 3 버퍼(535)에 저장한다.
비트스트림 생성부(531)는 엔트로피 부호화부(507)에 의해 생성된 기본 계층 비트스트림과 제 1 확장 계층 엔트로피 부호화부(519) 및 제 2 확장 계층 엔트로피 부호화부(531)에 의해 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블 비트스트림을 생성한다.
도 10은 본 발명의 실시예에 따른 영상 복호화 장치(600)의 구성도이다. 도 10을 참조하면, 본 실시예에 따른 영상 복호화 장치(600)는 비트스트림 파서(601), 엔트로피 부호화부(602), 역양자화부(603), 제 1 역변환부(604), 제 1 움직임 보상부(605), 제 1 가산기(606), 제 1 버퍼(607), 업 샘플러(608), 제 1 확장 계층 엔트로피 복호화부(609), 제 1 확장 계층 역양자화부(610), 제 2 역변환부(611), 제 2 움직임 보상부(612), 제 2 가산기(613), 제 2 버퍼(614), 제 2 확장 계층 엔트로 피 복호화부(615), 제 1 레벨 추정부(616), 제 1 레벨 가산기(617), 제 2 확장 계층 역양자화부(618), 제 3 역변환부(619), 제 2 움직임 보상부(620), 제 3 가산기(621), 제 3 버퍼(622) 및 제 4 가산기(623)로 구성된다.
도 10에 도시된 영상 복호화 장치(600)는 도 8에 도시된 영상 복호화 장치(400)에 제 1 확장 계층 이외의 다른 확장 계층의 인터 복호화에 관련된 구성 요소들이 추가된 것을 제외하고, 영상 복호화 장치(400)와 동일하다. 따라서, 이하 생략된 내용이라 하더라도 도 8에 도시된 영상 복호화 장치(400)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 복호화 장치(600)에도 적용된다. 특히, 도 10의 복잡도를 낮추기 위하여 제 3 확장 계층 이상의 상위 계층들에 대한 도시는 생략하였으나, 제 3 확장 계층 이상의 상위 계층들에도 이하에 기술될 내용이 마찬가지로 적용될 수 있다.
비트스트림 파서(601)는 도 9에 도시된 영상 부호화 장치(500)로부터 전송된 스케일러블 비트스트림을 파싱함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다. 엔트로피 부호화부(602)는 비트스트림 파서(601)에 의해 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원한다. 역양자화부(603)는 엔트로피 부호화부(602)에 의해 복원된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원한다. 제 1 역변환부(604)는 역양자화부(603)에 의해 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함 으로써 제 1 잔차 영상을 복원한다.
제 1 움직임 보상부(605)는 제 1 버퍼(607)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 기본 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 제 1 가산기(606)는 제 1 움직임 보상부(605)에 의해 생성된 예측 영상에 제 1 역변환부(604)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(607)에 저장한다.
업 샘플러(608)는 가산기(110)에 의해 생성된 복원 영상을 업 샘플링한다. 제 1 확장 계층 엔트로피 복호화부(609)는 비트스트림 파서(601)에 의해 추출된 제 1 확장 계층 비트스트림을 엔트로피 부호화함으로써 원본 영상과 업 샘플러(608)에 의해 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원한다. 제 1 확장 계층 역양자화부(610)는 제 1 확장 계층 엔트로피 복호화부(609)에 의해 복원된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다.
제 2 역변환부(611)는 제 1 확장 계층 역양자화부(610)에 의해 복원된 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 2 움직임 보상부(612)는 제 2 버퍼(614)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용 하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 2 가산기(613)는 제 2 움직임 보상부(612)에 의해 생성된 예측 영상에 제 2 역변환부(611)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(614)에 저장한다.
제 2 확장 계층 엔트로피 복호화부(615)는 비트스트림 파서(601)에 의해 추출된 제 2 확장 계층 비트스트림을 엔트로피 부호화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원한다. 제 1 레벨 추정부(616)는 제 1 확장 계층 엔트로피 복호화부(609)에 의해 복원된 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 엔트로피 복호화부(615)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정한다. 제 1 레벨 가산기(617)는 제 1 레벨 추정부(616)에 의해 추정된 제 2 확장 계층 양자화 레벨들에 제 2 확장 계층 엔트로피 복호화부(615)에 의해 복원된 차이 값들을 가산함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 제 2 확장 계층 역양자화부(618)는 제 1 레벨 가산기(617)에 의해 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다.
제 3 역변환부(619)는 제 2 확장 계층 역양자화부(618)에 의해 복원된 제 2 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 제 3 움직임 보상부(620)는 제 2 버퍼(622)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용 하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 제 3 가산기(621)는 제 3 움직임 보상부(620)에 의해 생성된 예측 영상에 제 3 역변환부(619)에 의해 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(622)에 저장한다.
제 4 가산기(623)는 업 샘플러(608)에 의해 업 샘플링된 복원 영상에 제 2 가산기(613)에 의해 생성된 복원 영상 및 제 3 가산기(621)에 의해 생성된 복원 영상 중 가장 높은 순위의 확장 계층의 복원 영상, 즉 제 3 가산기(621)에 의해 생성된 복원 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
도 11은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 11을 참조하면, 본 실시예에 따른 영상 부호화 방법은 도 4에 도시된 영상 부호화 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 영상 부호화 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 부호화 방법에도 적용된다. 특히, 도 11의 복잡도를 낮추기 위하여, 도 11에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 11에 도시된 영상 부호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
1001 단계에서 영상 부호화 장치(100)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(100)에 현재 입력된 원본 영상을 다운 샘플링함으로써 기본 영상을 생성한다. 1002 단계에서 영상 부호화 장치(100)는 버퍼(111)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(101)에 의해 생성된 기 본 영상의 움직임을 추정하고, 이 기본 영상의 움직임 추정을 이용하여 버퍼(111)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다.
1003 단계에서 영상 부호화 장치(100)는 기본 영상으로부터 1002 단계에서 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 1004 단계에서 영상 부호화 장치(100)는 1003 단계에서 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 1 잔차 영상의 주파수 계수들을 생성하고, 이 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 1005 단계에서 영상 부호화 장치(100)는 1004 단계에서 생성된 양자화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다.
1006 단계에서 영상 부호화 장치(100)는 1004 단계에서 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원하고, 1002 단계에서 생성된 예측 영상에 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 버퍼(111)에 저장한다.
1007 단계에서 영상 부호화 장치(100)는 1006 단계에서 생성된 복원 영상을 업 샘플링한다. 1008 단계에서 영상 부호화 장치(100)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(100)에 현재 입력된 원본 영상으로부터 1007 단계에서 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 1007 단계에서 업 샘플링된 복 원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다. 1009 단계에서 영상 부호화 장치(100)는 1008 단계에서 생성된 제 2 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 2 잔차 영상의 주파수 계수들을 생성한다.
1010 단계에서 영상 부호화 장치(100)는 1009 단계에서 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성하고, 이 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다. 또한, 1010 단계에서 영상 부호화 장치(100)는 1009 단계에서 의해 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다. 또한, 1010 단계에서 영상 부호화 장치(100)는 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들과 제 2 확장 계층 양자화 레벨들의 추정 값들간의 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다. 상기된 1010 단계는 모든 확장 계층들에 대해서 반복적으로 적용된다.
1011 단계에서 영상 부호화 장치(100)는 1005 단계에서 생성된 기본 계층 비트스트림과 1010 단계에서 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블 비트스트림을 생성한다.
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도이다. 도 12를 참조하면, 본 실시예에 따른 영상 복호화 방법은 도 6에 도시된 영상 복호화 장 치(200)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 6에 도시된 영상 복호화 장치(200)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 복호화 방법에도 적용된다. 특히, 도 12의 복잡도를 낮추기 위하여, 도 12에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 12에 도시된 영상 복호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
2001 단계에서 영상 복호화 장치(200)는 도 4에 도시된 영상 부호화 장치(100)로부터 전송된 스케일러블 비트스트림을 파싱함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다.
2002 단계에서 영상 복호화 장치(200)는 2001 단계에서 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원하고, 이 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다.
2003 단계에서 영상 복호화 장치(200)는 버퍼(207)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 기본 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 2004 단계에서 영상 복호화 장치(200)는 2003 단계에서 생성된 예측 영상에 2002 단계에서 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 버 퍼(207)에 저장한다. 2005 단계에서 영상 복호화 장치(200)는 2004 단계에서 생성된 복원 영상을 업 샘플링한다.
2006 단계에서 영상 복호화 장치(200)는 2001 단계에서 추출된 제 1 확장 계층 비트스트림을 엔트로피 복호화함으로써 원본 영상과 2005 단계에서 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원하고, 이 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다.
또한, 2006 단계에서 영상 복호화 장치(200)는 2001 단계에서 추출된 제 2 확장 계층 비트스트림을 엔트로피 복호화함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원하고, 이 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 엔트로피 복호화부(211)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들의 추정 값들에 복원된 차이 값들을 가산함으로써 제 2 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 또한, 2006 단계에서 영상 복호화 장치(200)는 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 2 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다. 상기된 2006 단계는 모든 확장 계층들에 대해서 반복적으로 적용된다.
2007 단계에서 영상 복호화 장치(200)는 2006 단계에서의 역양자화 결과에 해당하는 확장 계층 주파수 계수들 중 가장 높은 순위의 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 확장 계층 잔차 영상을 복원한다. 2008 단계에서 영상 복호화 장치(200)는 2005 단계에서 업 샘플링된 복원 영상에 2007 단계에서 복원된 확장 계층 잔차 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
도 13은 본 발명의 다른 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 13을 참조하면, 본 실시예에 따른 영상 부호화 방법은 도 7에 도시된 영상 부호화 장치(300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 7에 도시된 영상 부호화 장치(300)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 부호화 방법에도 적용된다. 특히, 도 13의 복잡도를 낮추기 위하여, 도 13에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 13에 도시된 영상 부호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
3001 단계에서 영상 부호화 장치(300)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(300)에 현재 입력된 원본 영상을 다운 샘플링함으로써 기본 영상을 생성한다. 3002 단계에서 영상 부호화 장치(300)는 1 버퍼(311)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(301)에 의해 생성된 기본 영상의 움직임을 추정하고, 이 기본 영상의 움직임 추정을 이용하여 제 1 버퍼(311)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다.
3003 단계에서 영상 부호화 장치(300)는 기본 영상으로부터 제 1 움직임 보상부(303)에 의해 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 3004 단계에서 영상 부호화 장치(300)는 3003 단계에서 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 1 잔차 영상의 주파수 계수들을 생성하고, 이 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 3005 단계에서 영상 부호화 장치(300)는 3004 단계에서 생성된 양자화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다.
3006 단계에서 영상 부호화 장치(300)는 3004 단계에서 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원하고, 3002 단계에서 생성된 예측 영상에 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(311)에 저장한다.
3007 단계에서 영상 부호화 장치(300)는 3006 단계에서 생성된 복원 영상을 업 샘플링한다. 3008 단계에서 영상 부호화 장치(300)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(300)에 현재 입력된 원본 영상으로부터 3007 단계에서 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 3007 단계에서 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다.
3009 단계에서 영상 부호화 장치(300)는 제 2 버퍼(331)에 저장된 참조 영상 들 중 적어도 하나의 참조 영상을 기준으로 3008 단계에서 생성된 제 2 잔차 영상의 움직임을 추정하고, 이 제 2 잔차 영상의 움직임 추정을 이용하여 제 2 버퍼(331)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 3010 단계에서 영상 부호화 장치(300)는 3008 단계에서 생성된 제 2 잔차 영상으로부터 3009 단계에서 생성된 예측 영상을 감산함으로써 제 2 잔차 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)을 생성한다. 3011 단계에서 영상 부호화 장치(300)는 3010 단계에서 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성한다.
3012 단계에서 영상 부호화 장치(300)는 3011 단계에서 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성하고, 이 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다. 또한, 3012 단계에서 영상 부호화 장치(300)는 3011 단계에서 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다. 또한, 3012 단계에서 영상 부호화 장치(300)는 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들과 제 2 확장 계층 양자화 레벨들의 추정 값들간의 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다. 상기된 3012 단계는 모든 확장 계층들에 대해서 반복적으로 적용된다.
3013 단계에서 영상 부호화 장치(300)는 3011 단계에서 생성된 제 1 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원하고, 이 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원하고, 3009 단계에서 생성된 예측 영상에 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(331)에 저장한다.
3014 단계에서 영상 부호화 장치(300)는 3005 단계에서 생성된 기본 계층 비트스트림과 3012 단계에서 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블 비트스트림을 생성한다.
도 14는 본 발명의 다른 실시예에 따른 영상 복호화 방법의 흐름도이다. 도 14를 참조하면, 본 실시예에 따른 영상 복호화 방법은 도 8에 도시된 영상 복호화 장치(400)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 8에 도시된 영상 복호화 장치(400)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 복호화 방법에도 적용된다. 특히, 도 14의 복잡도를 낮추기 위하여, 도 14에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 14에 도시된 영상 복호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
4001 단계에서 영상 복호화 장치(400)는 도 6에 도시된 영상 부호화 장치(300)로부터 전송된 스케일러블 비트스트림을 파싱함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다. 4002 단계에서 영상 복호화 장치(400)는 4001 단계에서 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원하고, 이 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다.
4003 단계에서 영상 복호화 장치(400)는 제 1 버퍼(407)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 현재 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 현재 영상의 예측 영상을 생성한다. 4004 단계에서 영상 복호화 장치(400)는 4003 단계에서 복원된 예측 영상에 4002 단계에서 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(407)에 저장한다. 4005 단계에서 영상 복호화 장치(400)는 4004 단계에서 생성된 복원 영상을 업 샘플링한다.
4006 단계에서 영상 복호화 장치(400)는 4001 단계에서 추출된 제 1 확장 계층 비트스트림을 엔트로피 부호화함으로써 원본 영상과 4005 단계에서 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원하고, 이 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원한다.
또한, 4006 단계에서 영상 복호화 장치(400)는 4001 단계에서 추출된 제 2 확장 계층 비트스트림을 엔트로피 부호화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원하고, 이 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들의 추정 값들에 복원된 차이 값들을 가산함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 또한, 4006 단계에서 영상 복호화 장치(400)는 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원한다.
4007 단계에서 영상 복호화 장치(400)는 4006 단계에서 복원된 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다. 4008 단계에서 영상 복호화 장치(400)는 제 2 버퍼(422)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 4009 단계에서 영상 복호화 장치(400)는 4006 단계에서의 역양자화 결과에 해당하는 확장 계층 주파수들 중 가장 높은 순위의 확장 계층의 확장 계층 주파수들을 주파수 공간으로부터 색 공간으로 변환함으로써 확장 계층 잔차 영상을 복원한다.
4010 단계에서 영상 복호화 장치(400)는 4008 단계에서 생성된 예측 영상에 4007 단계에서 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상 을 생성하고, 이 복원 영상을 제 2 버퍼(422)에 저장한다. 또한, 4010 단계에서 영상 복호화 장치(400)는 이 복원 영상에 4009 단계에서 복원된 확장 계층 잔차 영상을 가산함으로써 보다 고 화질의 제 2 잔차 영상의 복원 영상을 생성한다. 4011 단계에서 영상 복호화 장치(400)는 4005 단계에서 업 샘플링된 복원 영상에 4010 단계에서 생성된 복원 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 15를 참조하면, 본 실시예에 따른 영상 부호화 방법은 도 9에 도시된 영상 부호화 장치(500)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 9에 도시된 영상 부호화 장치(500)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 부호화 방법에도 적용된다. 특히, 도 15의 복잡도를 낮추기 위하여, 도 15에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 15에 도시된 영상 부호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
5001 단계에서 영상 부호화 장치(500)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(500)에 현재 입력된 원본 영상을 다운 샘플링함으로써 기본 영상을 생성한다. 5002 단계에서 영상 부호화 장치(500)는 제 1 버퍼(511)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 다운 샘플러(501)에 의해 생성된 기본 영상의 움직임을 추정하고, 기본 영상의 움직임 추정을 이용하여 제 1 버퍼(511)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다.
5003 단계에서 영상 부호화 장치(500)는 기본 영상으로부터 5002 단계에서 생성된 예측 영상을 감산함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)을 생성한다. 5004 단계에서 영상 부호화 장치(500)는 5003 단계에서 생성된 제 1 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 1 잔차 영상의 주파수 계수들을 생성하고, 이 주파수 계수들을 양자화함으로써 제 1 잔차 영상의 양자화 레벨들을 생성한다. 5005 단계에서 영상 부호화 장치(500)는 5004 단계에서 생성된 양자화 레벨들을 엔트로피 부호화함으로써 기본 계층 비트스트림을 생성한다.
5006 단계에서 영상 부호화 장치(500)는 5004 단계에서 생성된 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원하고, 2002 단계에서 생성된 예측 영상에 제 1 역변환부(509)에 의해 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(511)에 저장한다.
5007 단계에서 영상 부호화 장치(500)는 5006 단계에서 생성된 복원 영상을 업 샘플링한다. 5008 단계에서 영상 부호화 장치(500)는 동영상을 구성하는 원본 영상들 중 영상 부호화 장치(500)에 현재 입력된 원본 영상으로부터 5007 단계에서 업 샘플링된 복원 영상을 감산함으로써 원본 영상과 5007 단계에서 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)을 생성한다.
5009 단계에서 영상 부호화 장치(500)는 제 2 버퍼(523)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 5008 단계에서 생성된 제 2 잔차 영상의 움직임을 추정하고, 이 제 2 잔차 영상의 움직임 추정을 이용하여 제 2 버퍼(530)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 5010 단계에서 영상 부호화 장치(500)는 5008 단계에서 생성된 제 2 잔차 영상으로부터 5009 단계에서 생성된 예측 영상을 감산함으로써 제 2 잔차 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)을 생성한다.
5011 단계에서 영상 부호화 장치(500)는 5010 단계에서 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성하고, 이 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 양자화 레벨들을 생성하고, 이 제 1 확장 계층 양자화 레벨들을 엔트로피 부호화함으로써 제 1 확장 계층 비트스트림을 생성한다.
5012 단계에서 영상 부호화 장치(500)는 5011 단계에서 생성된 제 1 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원하고, 이 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원하고, 5009 단계에서 생성된 예측 영상에 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(523)에 저장한다.
5013 단계에서 영상 부호화 장치(500)는 제 3 버퍼(535)에 저장된 참조 영상들 중 적어도 하나의 참조 영상을 기준으로 제 2 감산기(513)에 의해 생성된 제 2 잔차 영상의 움직임을 추정하고, 이 제 2 잔차 영상의 움직임 추정을 이용하여 제 3 버퍼(535)에 저장된 참조 영상들 중 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성한다. 5014 단계에서 영상 부호화 장치(500)는 5008 단계에서 생성된 제 2 잔차 영상으로부터 5013 단계에서 생성된 예측 영상을 감산함으로써 제 3 잔차 영상을 생성한다.
5015 단계에서 영상 부호화 장치(500)는 5014 단계에서 생성된 제 3 잔차 영상을 색 공간으로부터 주파수 공간으로 변환함으로써 제 3 잔차 영상의 주파수 계수들을 생성하고, 이 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 생성한다. 또한, 5015 단계에서 영상 부호화 장치(500)는 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 양자화부(531)에 의해 생성될 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들과 제 2 확장 계층 양자화 레벨들의 추정 값들간의 차이 값들을 엔트로피 부호화함으로써 제 2 확장 계층 비트스트림을 생성한다.
5016 단계에서 영상 부호화 장치(500)는 5015 단계에서 생성된 제 2 확장 계층 양자화 레벨들을 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원하고, 이 제 2 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원하고, 5013 단계에서 생성된 예측 영상 에 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 3 버퍼(535)에 저장한다.
5017 단계에서 영상 부호화 장치(500)는 5005 단계에서 생성된 기본 계층 비트스트림과 5011 단계 및 5015 단계에서 생성된 확장 계층 비트스트림들을 조합함으로써 스케일러블 비트스트림을 생성한다. 특히, 상기된 단계들 중 5009 단계 - 5016 단계는 모든 확장 계층들에 대해서 반복적으로 적용된다. 따라서, 5017 단계에서 영상 부호화 장치(500)는 5011 단계 및 5015 단계 외에 다른 단계들에서 생성된 확장 계층 비트스트림들을 조합할 수 있다.
도 16은 본 발명의 또 다른 실시예에 따른 영상 복호화 방법의 흐름도이다. 도 16을 참조하면, 본 실시예에 따른 영상 복호화 방법은 도 16에 도시된 영상 복호화 장치(600)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 16에 도시된 영상 복호화 장치(600)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 복호화 방법에도 적용된다. 특히, 도 16의 복잡도를 낮추기 위하여, 도 16에는 동영상을 구성하는 원본 영상들 중 어느 하나의 원본 영상의 처리 과정만이 도시되어 있으나, 도 16에 도시된 영상 복호화 방법은 동영상을 구성하는 원본 영상들 각각에 반복적으로 적용된다.
6001 단계에서 영상 복호화 장치(600)는 도 9에 도시된 영상 부호화 장치(500)로부터 전송된 스케일러블 비트스트림을 파싱함으로써 이 스케일러블 비트스트림으로부터 기본 계층 비트스트림과 확장 계층 비트스트림들을 추출한다. 6002 단계에서 영상 복호화 장치(600)는 6001 단계에서 추출된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 영상과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 1 잔차 영상"이라 함)의 양자화 레벨들과 영상 복호화를 위한 정보 등을 복원하고, 이 양자화 레벨들을 역양자화함으로써 제 1 잔차 영상의 주파수 계수들을 복원하고, 이 복원된 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 1 잔차 영상을 복원한다.
6003 단계에서 영상 복호화 장치(600)는 제 1 버퍼(607)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 기본 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 기본 영상의 예측 영상을 생성한다. 6004 단계에서 영상 복호화 장치(600)는 6003 단계에서 생성된 예측 영상에 6002 단계에서 복원된 제 1 잔차 영상을 가산함으로써 기본 영상의 복원 영상을 생성하고, 이 복원 영상을 제 1 버퍼(607)에 저장한다. 6005 단계에서 영상 복호화 장치(600)는 6004 단계에서 생성된 복원 영상을 업 샘플링한다.
6006 단계에서 영상 복호화 장치(600)는 6001 단계에서 추출된 제 1 확장 계층 비트스트림을 엔트로피 부호화함으로써 원본 영상과 6005 단계에서 업 샘플링된 복원 영상간의 잔차 영상(이하, 이것을 간략하게 "제 2 잔차 영상"이라 함)과 예측 영상간의 잔차 영상(이하, 이것을 간략하게 "제 3 잔차 영상"이라 함)의 제 1 확장 계층 양자화 레벨들을 복원하고, 이 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 1 확장 계층 주파수 계수들을 복원하고, 이 제 1 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다.
6007 단계에서 영상 복호화 장치(600)는 제 2 버퍼(614)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성하고, 이 예측 영상에 6006 단계에서 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(614)에 저장한다.
6008 단계에서 영상 복호화 장치(600)는 6001 단계에서 추출된 제 2 확장 계층 비트스트림을 엔트로피 부호화함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들과 이 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원하고, 제 1 확장 계층 양자화 레벨들로부터 제 2 확장 계층 엔트로피 복호화부(615)에 의해 복원될 제 2 확장 계층 양자화 레벨들을 추정하고, 제 2 확장 계층 양자화 레벨들의 추정 값들에 복원된 차이 값들을 가산함으로써 제 3 잔차 영상의 제 2 확장 계층 양자화 레벨들을 복원한다. 또한, 6008 단계에서 영상 복호화 장치(600)는 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 3 잔차 영상의 제 2 확장 계층 주파수 계수들을 복원하고, 이 제 2 확장 계층 주파수 계수들을 주파수 공간으로부터 색 공간으로 변환함으로써 제 3 잔차 영상을 복원한다.
6009 단계에서 영상 복호화 장치(600)는 제 2 버퍼(622)에 저장된 참조 영상들 중 적어도 하나의 참조 영상 기준의 제 2 잔차 영상의 움직임 추정을 이용하여 적어도 하나의 참조 영상으로부터 제 2 잔차 영상의 예측 영상을 생성하고, 이 예측 영상에 6008 단계에서 복원된 제 3 잔차 영상을 가산함으로써 제 2 잔차 영상의 복원 영상을 생성하고, 이 복원 영상을 제 2 버퍼(622)에 저장한다.
6010 단계에서 영상 복호화 장치(600)는 6005 단계에서 업 샘플링된 복원 영상에 6007 단계에서 생성된 복원 영상 및 6009 단계에서 생성된 복원 영상 중 가장 높은 순위의 확장 계층의 복원 영상, 즉 6009 단계에서 생성된 복원 영상을 가산함으로써 원본 영상의 복원 영상을 생성한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예들이 적용되는 스케일러블 영상 처리 환경을 도시한 도면이다.
도 2는 본 발명의 실시예들에 따라 계층적으로 부호화하거나 복호화하는 모습을 도시한 도면이다.
도 3은 도 2에 도시된 제 2 부호화 장치(30)로부터 출력된 스케일러블 비트스트림의 포맷을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치(100)의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 영상 복호화 장치(200)의 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치(300)의 구성도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 장치(400)의 구성도이다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(500)의 구성도이다.
도 10은 본 발명의 실시예에 따른 영상 복호화 장치(600)의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법의 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 영상 부호화 방법의 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 영상 복호화 방법의 흐름도이다.
도 15는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법의 흐름도이다.도 16은 본 발명의 또 다른 실시예에 따른 영상 복호화 방법의 흐름도이다.

Claims (17)

  1. 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 단계;
    상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계;
    상기 기본 영상의 복원 영상을 생성하는 단계;
    상기 복원 영상을 업 샘플링하는 단계; 및
    상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 확장 계층 비트스트림들을 생성하는 단계는 상기 잔차 영상을 제 1 확장 계층의 양자화 스텝 사이즈를 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하고, 상기 잔차 영상을 상기 제 1 확장 계층의 양자화 스텝 크기보다 작은 제 2 확장 계층의 양자화 스텝 사이즈를 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서,
    상기 확장 계층 비트스트림들을 생성하는 단계는 상기 잔차 영상을 제 1 확 장 계층의 양자화 행렬을 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하고, 상기 잔차 영상을 상기 제 1 확장 계층의 양자화 행렬과는 다른 제 2 계층의 양자화 행렬을 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서,
    상기 확장 계층 비트스트림들을 생성하는 단계는 상기 잔차 영상을 제 1 양자화 스텝 크기와 제 1 양자화 행렬의 곱을 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하고, 상기 잔차 영상을 제 2 양자화 스텝 크기와 제 2 양자화 행렬의 곱을 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서,
    상기 확장 계층 비트스트림들을 생성하는 단계는 상기 잔차 영상을 제 1 양자화 스텝 크기와 제 1 양자화 행렬의 합을 이용하여 부호화함으로써 제 1 확장 계층 비트스트림을 생성하고, 상기 잔차 영상을 제 2 양자화 스텝 크기와 제 2 양자화 행렬의 합을 이용하여 부호화함으로써 제 2 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1 항에 있어서,
    상기 확장 계층 비트스트림들을 생성하는 단계는
    상기 잔차 영상을 변환함으로써 상기 잔차 영상의 주파수 계수들을 생성하는 단계;
    상기 생성된 주파수 계수들을 제 1 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 1 확장 계층 양자화 레벨들을 생성하는 단계;
    상기 생성된 주파수 계수들을 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 제 2 확장 계층 양자화 레벨들을 생성하는 단계;
    상기 생성된 제 1 확장 계층 양자화 레벨들로부터 상기 제 2 확장 계층 양자화 레벨들을 추정하는 단계; 및
    상기 생성된 제 2 확장 계층 양자화 레벨들과 상기 추정된 제 2 확장 계층 양자화 레벨들의 차이 값들을 엔트로피 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 6 항에 있어서,
    상기 제 2 확장 계층 양자화 레벨들을 추정하는 단계는 상기 생성된 제 1 확장 계층 양자화 레벨들을 역양자화함으로써 상기 주파수 계수들을 복원하고, 상기 복원된 주파수 계수들을 상기 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 상기 제 2 확장 계층 양자화 레벨들을 추정하는 것을 특징으로 하는 영상 부호화 방법.
  8. 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계;
    상기 생성된 복원 영상을 업 샘플링하는 단계;
    확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상을 복원하는 단계; 및
    상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상을 가산함으로써 원본 영상의 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  9. 제 8 항에 있어서,
    상기 잔차 영상을 복원하는 단계는 제 1 확장 계층 비트스트림을 제 1 확장 계층의 양자화 스텝 사이즈를 이용하여 복호화하고, 제 2 확장 계층 비트스트림을 상기 제 1 확장 계층의 양자화 스텝 크기보다 작은 제 2 확장 계층의 양자화 스텝 사이즈를 이용하여 복호화함으로써 확장 계층 잔차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  10. 제 8 항에 있어서,
    상기 잔차 영상을 복원하는 단계는 제 1 확장 계층 비트스트림을 제 1 확장 계층의 양자화 행렬을 이용하여 복호화하고, 제 2 확장 계층 비트스트림을 상기 제 1 확장 계층의 양자화 행렬과는 다른 제 2 계층의 양자화 행렬을 이용하여 복호화함으로써 확장 계층 잔차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제 8 항에 있어서,
    상기 잔차 영상을 복원하는 단계는 제 1 확장 계층 비트스트림을 제 1 확장 계층의 양자화 스텝 크기와 양자화 행렬의 곱을 이용하여 복호화하고, 제 2 확장 계층 비트스트림을 제 2 확장 계층의 양자화 스텝 크기와 양자화 행렬의 곱을 이용하여 복호화함으로써 확장 계층 잔차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제 8 항에 있어서,
    상기 잔차 영상을 복원하는 단계는
    제 1 확장 계층 비트스트림을 제 1 확장 계층의 양자화 스텝 크기와 양자화 행렬의 합을 이용하여 복호화하고, 제 2 확장 계층 비트스트림을 제 2 확장 계층의 양자화 스텝 크기와 양자화 행렬의 합을 이용하여 복호화함으로써 확장 계층 잔차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제 8 항에 있어서,
    상기 잔차 영상을 복원하는 단계는
    제 1 확장 계층 비트스트림을 엔트로피 복호화함으로써 제 1 확장 계층 양자화 레벨들을 복원하는 단계;
    제 2 확장 계층 비트스트림을 엔트로피 복호화함으로써 제 2 확장 계층 양자화 레벨들과 상기 제 2 확장 계층 양자화 레벨들의 추정 값들의 차이 값들을 복원하는 단계;
    상기 복원된 제 1 확장 계층 양자화 레벨들로부터 상기 제 2 확장 계층 양자화 레벨들을 추정하는 단계;
    상기 추정된 제 2 확장 계층 양자화 레벨들에 상기 복원된 차이 값들을 가산함으로써 상기 제 2 확장 계층 양자화 레벨들을 복원하는 단계; 및
    상기 복원된 제 2 확장 계층 양자화 레벨들을 제 2 확장 계층 양자화 파라미터를 이용하여 복호화함으로써 확장 계층 잔차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제 13 항에 있어서,
    상기 제 2 확장 계층 양자화 레벨들을 추정하는 단계는 상기 복원된 제 1 확장 계층 양자화 레벨들을 제 1 확장 계층 양자화 파라미터를 이용하여 역양자화함으로써 제 1 확장 계층 주파수 계수들을 복원하고, 상기 복원된 제 1 확장 계층 주파수 계수들을 상기 제 2 확장 계층 양자화 파라미터를 이용하여 양자화함으로써 상기 제 2 확장 계층 양자화 레벨들을 추정하는 것을 특징으로 하는 영상 복호화 방법.
  15. 원본 영상을 다운 샘플링함으로써 기본 영상을 생성하는 단계;
    상기 생성된 기본 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계;
    상기 기본 영상의 복원 영상을 생성하는 단계;
    상기 복원 영상을 업 샘플링하는 단계;
    상기 원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 단계; 및
    상기 잔차 영상과 상기 생성된 예측 영상간의 잔차 영상을 서로 다른 양자화 파라미터들을 이용하여 부호화함으로써 확장 계층 비트스트림들을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  16. 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계;
    상기 생성된 복원 영상을 업 샘플링하는 단계;
    원본 영상과 상기 업 샘플링된 복원 영상간의 잔차 영상의 예측 영상을 생성하는 단계;
    확장 계층 비트스트림들 각각을 서로 다른 양자화 파라미터들을 이용하여 복호화함으로써 상기 잔차 영상과 상기 예측 영상간의 잔차 영상들을 복원하는 단계;
    상기 생성된 예측 영상에 상기 복원된 잔차 영상들을 가산함으로써 상기 잔 차 영상을 복원하는 단계; 및
    상기 업 샘플링된 복원 영상에 상기 복원된 잔차 영상을 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 기본 계층 비트스트림을 복호화함으로써 기본 영상의 복원 영상을 생성하는 단계;
    상기 생성된 복원 영상을 업 샘플링하는 단계;
    원본 영상과 상기 업 샘플링된 복원 영상간의 제 1 잔차 영상의 제 1 예측 영상을 생성하는 단계;
    제 1 확장 계층 비트스트림을 상기 제 1 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 1 예측 영상간의 제 2 잔차 영상을 복원하는 단계;
    상기 생성된 제 1 예측 영상에 상기 복원된 제 2 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 1 복원 영상을 생성하는 단계;
    상기 제 1 잔차 영상의 제 2 예측 영상을 생성하는 단계;
    제 2 확장 계층 비트스트림을 제 2 양자화 파라미터를 이용하여 복호화함으로써 상기 제 1 잔차 영상과 상기 제 2 예측 영상간의 제 3 잔차 영상을 복원하는 단계;
    상기 생성된 제 2 예측 영상에 상기 복원된 제 3 잔차 영상을 가산함으로써 상기 제 1 잔차 영상의 제 2 복원 영상을 생성하는 단계; 및 상기 업 샘플링된 복원 영상에 상기 생성된 제 1 복원 영상 및 제 2 복원 영상 중 적어도 하나를 가산함으로써 상기 원본 영상의 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR20070126377A 2007-12-06 2007-12-06 영상을 계층적으로 부호화/복호화하는 방법 및 장치 KR101375663B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20070126377A KR101375663B1 (ko) 2007-12-06 2007-12-06 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US12/155,754 US20090148054A1 (en) 2007-12-06 2008-06-09 Method, medium and apparatus encoding/decoding image hierarchically
JP2008294570A JP5547394B2 (ja) 2007-12-06 2008-11-18 映像を階層的に符号化／復号化する方法及び装置
EP20080170095 EP2068567A3 (en) 2007-12-06 2008-11-27 Scalable video coding with adaptive quantisation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070126377A KR101375663B1 (ko) 2007-12-06 2007-12-06 영상을 계층적으로 부호화/복호화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090059495A true KR20090059495A (ko) 2009-06-11
KR101375663B1 KR101375663B1 (ko) 2014-04-03

Family

ID=40386030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070126377A KR101375663B1 (ko) 2007-12-06 2007-12-06 영상을 계층적으로 부호화/복호화하는 방법 및 장치

Country Status (4)

Country Link
US (1) US20090148054A1 (ko)
EP (1) EP2068567A3 (ko)
JP (1) JP5547394B2 (ko)
KR (1) KR101375663B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021705A1 (en) * 2008-08-22 2010-02-25 Thomson Licensing Method and system for content delivery
DE112011103496T5 (de) * 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
GB2488159B (en) * 2011-02-18 2017-08-16 Advanced Risc Mach Ltd Parallel video decoding
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
DK3300370T3 (da) * 2012-02-29 2019-05-20 Sony Corp Anordning og fremgangsmåde til billedbehandling
US9756327B2 (en) * 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
EP3273691B1 (en) * 2012-12-18 2021-09-22 Sony Group Corporation Image processing device and image processing method
CN104853188A (zh) * 2015-03-12 2015-08-19 康佳集团股份有限公司 无线网络中svc快速编码模式的选择控制方法和系统
RU2605035C1 (ru) * 2015-05-25 2016-12-20 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер для восстановления логической иерархии по меньшей мере двух двухмерных объектов
KR102444871B1 (ko) * 2015-09-25 2022-09-21 삼성전자주식회사 수신 장치 및 그의 복호 방법
GB2547934B (en) 2016-03-03 2021-07-07 V Nova Int Ltd Adaptive video quality
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
GB2623003A (en) * 2019-07-05 2024-04-03 V Nova Int Ltd Quantization of residuals in video coding
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2022077489A1 (zh) * 2020-10-16 2022-04-21 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质
WO2022151053A1 (zh) * 2021-01-13 2022-07-21 深圳市大疆创新科技有限公司 数据处理方法、装置及系统、计算机存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04354488A (ja) * 1991-05-31 1992-12-08 Toshiba Corp 動画像符号化装置
US5539836A (en) * 1991-12-20 1996-07-23 Alaris Inc. Method and apparatus for the realization of two-dimensional discrete cosine transform for an 8*8 image fragment
GB9206860D0 (en) * 1992-03-27 1992-05-13 British Telecomm Two-layer video coder
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
CN1140126C (zh) * 1995-06-29 2004-02-25 汤姆森多媒体公司 分层压缩视频数据的编解码系统
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6167161A (en) * 1996-08-23 2000-12-26 Nec Corporation Lossless transform coding system having compatibility with lossy coding
US6269192B1 (en) * 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
JP2000197045A (ja) * 1998-12-28 2000-07-14 Nec Corp デジタル放送再生システム
JP4018335B2 (ja) * 2000-01-05 2007-12-05 キヤノン株式会社 画像復号装置及び画像復号方法
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
JP2001309383A (ja) * 2000-04-18 2001-11-02 Matsushita Electric Ind Co Ltd 画像符号化装置および方法
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
JP2004159157A (ja) * 2002-11-07 2004-06-03 Kddi R & D Laboratories Inc 階層符号化された動画像の復号装置
JP2004214740A (ja) * 2002-12-26 2004-07-29 Canon Inc 動画像符号化装置
JP4331992B2 (ja) * 2003-08-07 2009-09-16 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，それらのプログラムおよびそれらのプログラム記録媒体
KR100565308B1 (ko) * 2003-11-24 2006-03-30 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치
JP3914214B2 (ja) 2004-03-15 2007-05-16 株式会社東芝 画像符号化装置および画像復号化装置
JP2005286863A (ja) * 2004-03-30 2005-10-13 Secom Co Ltd 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム
CN1939066B (zh) * 2004-04-02 2012-05-23 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP4486560B2 (ja) * 2005-07-14 2010-06-23 日本電信電話株式会社 スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP2007266750A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 符号化方法
US8331433B2 (en) * 2006-08-31 2012-12-11 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method

Also Published As

Publication number Publication date
JP5547394B2 (ja) 2014-07-09
KR101375663B1 (ko) 2014-04-03
EP2068567A3 (en) 2013-02-13
EP2068567A2 (en) 2009-06-10
JP2009141953A (ja) 2009-06-25
US20090148054A1 (en) 2009-06-11

Similar Documents

Publication Publication Date Title
KR101375663B1 (ko) 영상을 계층적으로 부호화/복호화하는 방법 및 장치
KR100763178B1 (ko) 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100746011B1 (ko) 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US8396123B2 (en) Video coding and decoding method using weighted prediction and apparatus for the same
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
KR100703778B1 (ko) 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
KR101446771B1 (ko) 영상 부호화장치 및 영상 복호화장치
KR100703749B1 (ko) 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR101127221B1 (ko) 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치
US20060165302A1 (en) Method of multi-layer based scalable video encoding and decoding and apparatus for the same
KR101442608B1 (ko) 영상을 효율적으로 부호화/복호화하는 방법 및 장치
KR20100073554A (ko) 컬러 영상 부호화/복호화 방법 및 장치
KR20060128596A (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20070009494A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US20060159168A1 (en) Method and apparatus for encoding pictures without loss of DC components
KR20080045516A (ko) Ｒｇｂ 영상의 부호화 및 복호화 방법과 그 장치
JP5560452B2 (ja) 画像処理方法及び画像処理装置
KR20070029776A (ko) 색 공간 스케일러블 비디오 코딩 방법 및 이를 위한 장치
JP5175813B2 (ja) 符号化装置、復号装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee