KR20090117863A - 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법 - Google Patents

계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법 Download PDF

Info

Publication number
KR20090117863A
KR20090117863A KR1020090031682A KR20090031682A KR20090117863A KR 20090117863 A KR20090117863 A KR 20090117863A KR 1020090031682 A KR1020090031682 A KR 1020090031682A KR 20090031682 A KR20090031682 A KR 20090031682A KR 20090117863 A KR20090117863 A KR 20090117863A
Authority
KR
South Korea
Prior art keywords
frame
storage
layer
decoding
frames
Prior art date
Application number
KR1020090031682A
Other languages
English (en)
Inventor
김대희
최웅일
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/453,175 priority Critical patent/US20090279614A1/en
Priority to JP2009113966A priority patent/JP5586166B2/ja
Priority to EP09159876.3A priority patent/EP2117235A3/en
Publication of KR20090117863A publication Critical patent/KR20090117863A/ko
Priority to JP2013085137A priority patent/JP5504363B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상을 부호화 하거나 복호화 하는 장치에 관한 것으로, 더욱 상세하게는 부호화 대상 영상 프레임을 부호화 또는 복호하기 위한 참조 프레임을 저장하고 관리하는 장치 및 방법에 관한 것이다.
본 발명은 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치에 있어서, 제1 부호화 대상 프레임의 계층을 식별하는 계층 식별부, 상기 제1 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부, 상기 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 참조 프레임 선택부 및 상기 선택된 참조 프레임을 참조하여 상기 부호화 대상 프레임을 부호화하는 프레임 부호화부를 포함하고, 상기 프레임 저장부는, 상기 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로서 저장하는 것을 특징으로 하는 다중 계층 영상 부호화 장치를 제공한다.
본 발명에 따르면 복수의 계층으로 구분된 영상을 부호화 또는 복호화하는 과정에서 단일 버퍼만을 사용하여 참조 영상을 간단히 관리할 수 있다.
영상 부호화, 계층적 영상 부호화, 참조 프레임

Description

계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법{APPARATUS AND METHOD FOR MANAGING REFERENCE FRAME BUFFER IN LAYERED VIDEO CODING}
본 발명은 영상을 부호화 하거나 복호화 하는 장치에 관한 것으로, 더욱 상세하게는 부호화 대상 영상 프레임을 부호화 또는 복호하기 위한 참조 프레임을 저장하고 관리하는 장치 및 방법에 관한 것이다.
현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역과 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로 또는 종합적으로 제공하는 방향으로 구축되는 추세이다. 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 이를 수신하여 디스플레이 하는 디지털 텔레비전 시스템과 실시간으로 전송되는 동영상을 개인 휴대 단말기에서 디스플레이 하는 이동 통신망의 구현이 상용화되고 있다.
이동 통신망의 대역폭은 제한되므로 동영상의 효율적인 부호화 기법이 요구된다. 동영상을 효율적으로 부호화하기 위하여 동영상을 시간 순서에 따라서 복수의 영상 프레임으로 분할하고, 분할된 영상 프레임들을 복수의 계층으로 구분하여 부호화하는 계층적 예측 부호화 기법이 제시되었다.
계층적 예측 부호화 기법에 따르면 특정 계층에 포함된 영상 프레임을 복호하기 위하여 전 계층에 포함된 영상상 프레임이 필요한 것은 아니다. 즉, 일부 계층의 영상 프레임 만으로 특정 계층에 포함된 영상을 복호할 수 있다. 따라서 부호화된 데이터 중에서 일부만을 전송한 경우에도 수신측에서 영상을 재생할 수 있다.
계층적 예측 부호화 기법에 따르면 특정 영상 프레임을 복호하기 위한 참조 프레임들이 서로 다른 계층에 포함될 수 있다. 이 경우, 서로 다른 계층에 포함된 참조 프레임들을 관리하기 위하여 계층의 개수만큼의 버퍼가 필요하다. 복수의 버퍼를 사용하므로 매우 복잡한 버퍼 관리 기법이 필요하다.
본 발명은 복수의 계층으로 구분된 영상을 부호화 또는 복호화하는 과정에서 단일 버퍼만을 사용하여 참조 영상을 간단히 관리하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치에 있어서, 제1 부호화 대상 프레임의 계층을 식별하는 계층 식별부, 상기 제1 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부, 상기 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 참조 프레임 선택부 및 상기 선택된 참조 프레임을 참조하여 상기 부호화 대상 프레임을 부호화하는 프레임 부호화부를 포함하고, 상기 프레임 저장부는, 상기 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로서 저장하는 것을 특징으로 하는 다중 계층 영상 부호화 장치를 제공한다.
본 발명의 일측에 따르면 다중 계층 부호화된 영상을 복호하는 복호화 장치에 있어서, 제1 복호화 대상 프레임의 계층을 식별하는 계층 식별부, 상기 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부, 상기 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 참조 프레임 선택부 및 상기 선택된 참조 프레임을 참조하여 상기 복호화 대상 프레임을 복호하는 프레임 복호부를 포함하고, 상기 프레임 저장부는, 상기 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로서 저장하는 것을 특징으로 하는 복호화 장치가 제공된다.
본 발명의 또 다른 일측에 따르면, 다중 계층 부호화된 영상을 복호하는 복호화 방법에 있어서, 제1 복호화 대상 프레임의 계층을 식별하는 단계, 상기 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하고 유지하는 단계, 상기 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 단계, 상기 선택된 참조 프레임을 참조하여 상기 복호화 대상 프레임을 복호하는 단계 및 상기 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로서 저장하고 유지하는 단계를 포함하는 것을 특징으로 하는 복호화 방법이 제공된다.
본 발명에 따르면 복수의 계층으로 구분된 영상을 부호화 또는 복호화하는 과정에서 단일 버퍼만을 사용하여 참조 영상을 간단히 관리할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 명세서에서 사용하는 '프레임'이란 용어는 동영상의 특정 시점에서의 영상 정보를 저장하는 데이터를 의미한다. 본 발명의 일 실시예에 따르면 '프레임'은 단일 영상의 일부에 대한 정보를 포함하는 복수의 '필드'를 포함할 수 있다. 예를 들면, 인터레이스(interlace)방식의 동영상에서 한 프레임은 복수의 필드로 구성된다. 복수의 필드가 번갈아 가며 한 프레임의 화면을 표현한다.
도 1은 본 발명의 일 실시예에 따라서 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치의 구조를 도시한 도면이다. 이하 도 1을 참조하여 본 발명에 따른 다중 계층 영상 부호화 장치의 동작을 상세히 설명하기로 한다. 본 발명에 따른 다중 계층 영상 부호화 장치(100)는 DCT부(110), 양자화부(120) 엔트로피 부호화부(130), 역양자화부(140), IDCT부(150), 다중 참조 버퍼(160), 움직임 추정부(170) 및 움직임 보상부(180)를 포함한다.
움직임 추정부(170)및 움직임 보상부(180)는 다중 참조 버퍼(160)에 저장된 참조 프레임에 기반하여 부호화 대상 프레임에 대한 예측 영상 프레임을 생성한다.
움직임 보상부(180)에서 생성된 예측 영상 프레임과 다중 계층 영상을 구성하는 부호화 대상 프레임의 차는 DCT 변환부(Discrete Cosine Transform) (110) 와 양자화부(120)를 거쳐 엔트로피 부호화(130)된다. 또한 다중 계층 영상 부호화 장치(100)에서 역양자화부(140), 역 DCT 변환부(Inverse Discrete Cosine Transform)(150)를 통해 복원된 차이 영상은 예측 영상 프레임과 결합되어 움직임 추정의 정확성을 높이기 위하여 사용된다.
도 2는 본 발명의 일 실시예에 따라서 복수의 계층으로 구분된 영상 프레임 들을 부호화하는 개념을 도시한 도면이다. 이하 도 2를 참조하여 본 발명에 따라서 복수의 계층으로 구분된 영상 프레임들을 부호화 하는 개념을 상세히 설명하기로 한다.
도 2에서는 복수의 영상 프레임들(200)이 서로를 참조하여 부호화된다. 복수의 영상 프레임들(200)은 시간적으로 연관되어 있다. 즉, 영상 프레임 1(211)은 영상 프레임 0(210)이후에 재생되는 프레임이고, 영상 프레임 2(212)는 영상 프레임 1(211)이후에 재생되는 프레임이다.
본 발명에 따르면 복수의 영상 프레임들은 복수의 계층으로 구분될 수 있다. 도 2의 실시예에서는 영상 프레임 0(210), 영상 프레임 4(214), 영상 프레임 8(218), 영상 프레임 12(212)는 계층 0(230)에 포함된다.
영상 프레임 2(212), 영상 프레임 6(216), 영상 프레임 10(220)는 계층 1(240)에 포함된다. 또한 영상 프레임 1(211), 영상 프레임 3(213), 영상 프레임 5(215), 영상 프레임 7(217), 영상 프레임 9(219), 영상 프레임 11(219)은 계층 2에 포함된다.
도 2에서는 각각의 영상 프레임들(200)이 3개의 계층으로 구분된 실시예가 도시되었으나 본 발명의 다른 실시예에 따르면 각각의 영상 프레임들(200)은 2개의 계층으로 구분될 수도 있고, 4개 이상의 계층으로 구분될 수 도 있다.
설명의 편의상, 계층 0(230)를 최하위 계층이라 하고, 계층 2(250)를 최상위 계층이라고 부르기로 한다. 즉, 계층 1(240)은 계층 0(230)의 상위 계층이고, 계층 2(250)는 계층 1(240) 및 계층 0(230)의 상위 계층이다. 반대로, 계층 0(230) 는 계층 1(240) 및 계층 2(250)의 하위 계층이고, 계층 1(240)은 계층 2(250)의 하위 계층이다.
본 발명의 일 실시예에 따르면 하위 계층에 포함된 영상 프레임은 상위 계층에 포함된 영상 프레임을 참조하지 않고, 동일한 계층에 포함된 영상 프레임들 중에서, 시간적으로 선행하는 영상 프레임만을 참조하여 부호화될 수 있다. 즉, 도 2에 도시된 실시예에서 영상 프레임 8(208) 동일한 계층에 포함된 영상 프레임 0(210), 영상 프레임 4(214)를 참조하여 부호화될 수 있다.
본 발명의 일 실시예에 따르면 상위 계층에 포함된 영상 프레임은 하위 계층에 포함된 모든 영상 프레임 중에서 먼저 부호화된 영상 프레임을 참조하여 부호화될 수 있다. 즉, 계층 1(240)에 포함된 영상 프레임 6(216)은 하위 계층에 포함된 영상 프레임 중에서, 영상 프레임 6(216)보다 시간적으로 선행하는 영상 프레임 0(210) 및 영상 프레임 4(214)를 참조하여 부호화될 수 있다.
또한 영상 프레임 6(216)과 동일한 계층에 포함된 영상 프레임 중에서 영상 프레임 6(216)보다 먼저 부호화된 영상 프레임 2(212)를 참조하여 부호화될 수도 있다. 또한 영상 프레임 6(216)보다 시간적으로 후행하지만 먼저 부호화된 영상 프레임 8(218)을 참조하여 부호화될 수 있다.
본 발명의 일 실시예에 따르면 부호화 대상 프레임은 부호화 대상 프레임 이전이 이미 부호화된 영상 프레임들만을 참조하여 부호화될 수 있다.
본 발명의 일 실시예에 따르면 영상 프레임 0(210)가 부호화된 이후에, 영상 프레임 0(210)와 동일한 계층(230)에 포함된 영상 프레임 4(214)가 영상 프레임 0(210)를 참조하여 부호화될 수 있다. 계층 1(240)에 포함된 영상 프레임 2(212)는 하위 계층(230)에 포함된 영상 프레임 0(210) 및 영상 프레임 4(214)를 참조하여 부호화될 수 있다. 또한 계층 2에 포함된 영상 프레임 1(211)은 하위 계층에 포함된 영상 프레임 0(210), 영상 프레임 4(214) 및 영상 프레임 2(212)를 참조하여 부호화 될 수 있다. 계층 2에 포함된 영상 프레임 3은 하위 계층(230, 240)에 포함된 영상 프레임 중에서, 영상 프레임 3(213)보다 먼저 부호화된 영상 프레임 0(210), 영상 프레임 4(214) 및 영상 프레임 2(212)를 참조하여 부호화 될 수 있다. 본 발명의 일 실시예에 따르면 영상 프레임 3(213)은 동일한 계층에 포함되고, 영상 프레임 3(213)보다 먼저 부호화된 영상 프레임 1(211)을 참조하여 부호화될 수도 있다.
또한 계층 0(230)에 포함된 영상 프레임 8(218)은 동일한 계층(230)에 포함된 영상 프레임 0(210) 및 영상 프레임 4(214)를 참조하여 부호화될 수 있다.
부호화 대상 프레임과 동일한 계층 또는 하위 계층에 포함된 영상 프레임만을 참조하여 부호화하므로, 특정 계층에 포함된 영상 프레임을 복호하기 위하여 상위 계층의 영상 프레임을 고려할 필요가 없다. 따라서 복호 절차가 간단해진다.
만약 사용자가 모든 영상 프레임을 복호하거나, 짝수 번호의 영상 프레임만을 복호 할지 여부를 선택할 수 있는 경우를 가정하자. 도 2에 도시된 실시예에 따르면 짝수 번호의 영상 프레임 만을 복호하는 경우에, 계층 2(250)에 포함된 홀수 번호의 영상 프레임들은 복호하지 않는다. 따라서 다중 계층 영상 복호화 장치는 계층 0(230), 계층 1(240)에 포함된 영상 프레임들 만을 참조하여 다중 계층 부호 화된 영상을 복호할 수 있다.
도 3은 본 발명의 일 실시예에 따른 다중 계층 영상 부호화 장치의 구조를 도시한 블록도이다. 이하 도 3을 참조하여 본 발명에 따른 다중 계층 영상 부호화 장치의 동작을 상세히 설명하기로 한다. 본 발명에 따른 다중 계층 영상 부호화 장치(300)는 계층 식별부(310), 프레임 저장부(320), 참조 프레임 선택부(330), 저장 프레임 정렬부(340), 프레임 부호화부(350) 및 저장 결정부(360)를 포함한다.
계층 식별부(310)는 제1 부호화 대상 프레임의 계층을 식별한다. 본 발명의 일 실시예에 따르면 제1 부호화 대상 프레임은 계층을 식별하기 위한 계층 식별 정보를 포함하고, 계층 식별부(310)는 계층 식별 정보에 기반하여 제1 부호화 대상 프레임의 계층을 식별할 수 있다.
프레임 저장부(320)는 제1 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장한다. 본 발명의 일 실시예에 따르면 프레임 저장부(320)는 제1 부호화 대상 프레임의 부호화 이전이 이미 부호화된 영상 프레임들을 저장할 수 있다.
참조 프레임 선택부(330)는 프레임 저장부(320)에 저장된 저장 프레임 중에서 참조 프레임을 선택한다. 본 발명의 일 실시예에 따르면 참조 프레임 선택부(330)는 제1 부호화 대상 프레임의 계층에 기반하여 참조 프레임을 선택할 수 있다. 본 발명의 일 실시예에 따르면 참조 프레임 선택부(330)는 제1 부호화 대상 프레임과 동일한 계층 또는 하위 계층에 포함된 저장 프레임들만을 참조 프레임으로 선택할 수 있다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부(340)는 프레임 저장부(320)에 저장된 저장 프레임들을 저장 프레임들이 포함된 계층에 따라서 정렬하고, 참조 프레임 선택부(330)는 저장 프레임 정렬부(340)가 정렬한 저장 프레임에 기반하여 참조 프레임을 선택할 수 있다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부(340)는 프레임 저장부(320)에 저장된 저장 프레임들을 저장 프레임들이 포함된 계층에 따라서 오름 차순으로 정렬할 수 있다. 저장 프레임들이 저장 프레임들이 포함된 계층이 따라서 오름 차순으로 정렬되면, 하위 계층에 포함된 저장 프레임들이 앞쪽에 위치한다. 따라서 참조 프레임 선택부(330)는 앞쪽에 위치한 저장 프레임들을 참조 프레임으로 선택할 수 있다.
프레임 부호화부(350)는 선택된 참조 프레임을 참조하여 제1 부호화 대상 프레임을 부호화한다. 본 발명의 일 실시예에 따르면 프레임 부호화부(350)는 선택된 참조 프레임들에 기반하여 제1 부호화 대상 프레임에 대한 예측 영상 프레임을 생성할 수 있다. 프레임 부호화부(350)는 제1 부호화 대상 프레임과 예측 영상 프레임의 차를 부호화할 수 있다.
프레임 저장부(320)는 부호화가 종료된 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로 저장할 수 있다.
본 발명의 일 실시예에 따르면 저장 결정부(360)는 제1 부호화 대상 프레임이 포함된 계층에 기반하여 상기 제1 부호화 대상 프레임을 저장 프레임으로서 프레임 저장부(320)에 저장할지 여부를 결정할 수 있다. 본 발명의 일 실시예에 따르 면 프레임 저장부(320)는 저장 결정부(360)의 결정에 따라서 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로 저장할 수 있다. 저장된 제1 부호화 대상 프레임은 제2 부호화 대상 프레임에 대한 참조 프레임으로 사용될 수 있다.
본 발명의 일 실시예에 따르면 비용상의 문제 또는 저장 공간상의 문제로 인하여 프레임 저장부(320)가 저장할 수 있는 저장 프레임의 개수는 제한될 수 있다. 본 발명의 일 실시예에 따르면 제1 부호화 대상 프레임이 제2 부호화 대상 프레임과 연관된 저장 프레임으로 저장됨에 따라서 종래에 프레임 저장부(320)에 저장된 적어도 하나 이상의 저장 프레임들 중에서 적어도 한 프레임 이상이 삭제 되어야 한다. 본 발명의 일 실시예에 따르면 저장 결정부(360)가 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로 저장할 것을 결정한 경우에, 프레임 저장부(320)는 제1 부호화 대상 프레임과 동일한 계층에 포함된 저장 프레임 또는 상위 계층에 포함된 저장 프레임 중에서 가장 빠른 시점에 상응하는 저장 프레임을 삭제할 수 있다. 프레임 저장부(320)는 제2 부호화 대상 프레임과 시간적으로 가장 가까운 프레임들만을 저장하므로 프레임 저장부(320)에 저장된 저장 프레임들은 제2 부호화 대상 프레임과 매우 유사하다. 프레임 저장부(320)에 저장된 저장 프레임들 중에서 선택된 참조 프레임들도 제2 부호화 대상 프레임과 유사하므로, 프레임 부호화부(350)의 부호화 효율이 향상된다.
본 발명의 일 실시예에 따르면 저장 결정부(360)는 제1 부호화 대상 프레임이 포함된 계층이 최상위 계층인 경우에, 제1 부호화 대상 프레임을 저장하지 않는 것으로 결정할 수 있다. 본 발명의 일 실시예에 따르면 프레임 저장부(320)는 최상위 계층을 제외한 계층에 포함된 영상 프레임만을 저장 프레임으로 저장하고, 프레임 부호화부는 저장 프레임 중에서 선택된 참조 프레임에 기반하여 제2 부호화 대상 프레임을 부호화 할 수 있다. 최상위 계층에 포함된 영상 프레임이 참조 프레임으로 선택되지 못하는 실시예에서는, 제1 부호화 대상 프레임이 최상위 계층에 포함된 경우에, 제1 부호화 대상 프레임이 제2 부호화 대상 프레임에 대한 참조 프레임으로 선택될 수는 없다. 따라서, 저장 결정부(360)는 최상위 계층에 포함된 제1 부호화 대상 프레임을 프레임 저장부(320)에 저장하지 않는 것으로 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따라서 서로 다른 계층의 저장 프레임들을 저장하는 프레임 저장부의 동작을 도시한 도면이다. 이하 도 4를 참조하여 본 발명에 따른 프레임 저장부의 동작을 상세히 설명하기로 한다.
이하 복수의 계층으로 구분된 영상 프레임들이 도 2에 도시된 실시예들과 같이 구성되어 있다고 가정하고, 프레임 저장부의 동작을 설명하기로 한다.
도 4에 도시된 프레임 저장부는 4개의 저장 프레임을 저장할 수 있도록 그 크기가 제한된 것으로 가정하였으나, 본 발명의 다른 실시예에 따르면 4개 이상의 저장 프레임을 저장할 수 도 있다. 도 4에 도시된 각 단계의 프레임 저장부(410, 420, 430, 440, 450, 460)의 윗 칸들은 영상 프레임의 번호를 나타내고, 아랫 칸들은 상응하는 영상 프레임이 포함된 계층을 나타낸다.
영상 프레임 0(210)가 부호화되면, 영상 프레임 0(210)는 이후의 영상 프레 임들에 대한 참조 프레임으로 사용되기 위하여 프레임 저장부에 저장될 수 있다(410). 영상 프레임 0(210)는 최초로 부호화되는 영상 프레임이므로 프레임 저장부(410)는 영상 프레임 0(210)만을 저장 프레임으로 저장한다(411). 영상 프레임 0(210)이 포함된 계층은 계층 0이다(412).
영상 프레임 4(214)는 프레임 저장부에 저장된 저장 프레임 중에서 동일한 계층(230)에 포함된 영상 프레임 0(210)를 참조하여 부호화될 수 있다. 영상 프레임 4(214)도 이후의 영상 프레임들에 대한 참조 프레임으로 사용되기 위하여 프레임 저장부에 저장될 수 있다(420). 프레임 저장부(420)는 영상 프레임 0(210) 및 영상 프레임 4(214)을 저장 프레임으로 저장한다(421, 423). 영상 프레임 0(210) 및 영상 프레임 4(214)는 계층 0에 포함된다(422, 424).
영상 프레임 2(212)는 프레임 저장부에 저장된 저장 프레임들 중에서 하위 계층에 포함된 영상 프레임 0(210) 및 영상 프레임 4(214)를 참조하여 부호화될 수 있다. 영상 프레임 2(212)도 이후의 영상 프레임들에 대한 참조 프레임으로 사용되기 위하여 프레임 저장부에 저장될 수 있다(430). 프레임 저장부(430)는 영상 프레임 0(210), 영상 프레임 4(214) 및 영상 프레임 2(212)을 저장 프레임으로 저장한다(431, 433, 435). 영상 프레임 0(210) 및 영상 프레임 4(214)는 계층 0에 포함되고(432, 434), 영상 프레임 2(212)는 계층 1에 포함된다(436).
본 발명의 일 실시예에 따르면 영상 프레임 1(213) 및 영상 프레임 3(213)과 같이 최상의 계층(250)에 포함된 영상 프레임들도 부호화된 이후에는 다른 영상 프레임의 부호화에 이용될 수 있다. 또한 이 경우에는, 영상 프레임 1(213) 및 영 상 프레임 3(213)도 프레임 저장부에 저장될 수 있다. 그러나 도 4에서는 최상위 계층(250)에 포함된 영상 프레임들은 다른 영상 프레임의 부호화에 이용되지 않는 실시예가 도시되었다. 따라서 영상 프레임 1(213) 및 영상 프레임 3(213)은 프레임 저장부에 저장되지 않는다.
영상 프레임 8(218)은 프레임 저장부에 저장된 저장 프레임들 중에서 동일한 계층(230)에 포함된 영상 프레임 0(210) 및 영상 프레임 4(214)를 참조하여 부호화될 수 있다. 영상 프레임 8(218)도 이후의 영상 프레임들에 대한 참조 프레임으로 사용되기 위하여 프레임 저장부에 저장될 수 있다(440). 프레임 저장부(440)는 영상 프레임 0(210), 영상 프레임 4(214), 영상 프레임 2(212) 및 영상 프레임 8(218)을 저장 프레임으로 저장한다. 영상 프레임 0(210), 영상 프레임 4(214) 및 영상 프레임 8(218)은 계층 0(230)에 포함되고, 영상 프레임 2(212)는 계층 1(240)에 포함된다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부는 프레임 저장부에 저장된 저장 프레임들을 각각의 저장 프레임이 포함된 계층에 따라서 정렬할 수 있다. 본 발명의 일 실시예에 따르면 저장 프레임 정렬부는 프레임 저장부에 저장된 저장 프레임들을 각각의 저장 프레임이 포함된 계층에 따라서 오름차순으로 정렬할 수 있다(450).
오름차순으로 정렬된 영상 프레임들(451, 452, 453, 454)는 정렬전의 영상 프레임들(441, 443, 445, 447)과 동일하나 그 순서가 변경되었다. 영상 프레임들이 포함된 계층에 대한 정보들(452, 454, 456, 458)도 정렬후의 영상 프레임(451, 452, 453, 454)에 상응하도록 변경되었다(450).
영상 프레임 6(216)은 프레임 저장부에 저장된 저장 프레임들 중에서 동일한 계층(240)에 포함된 영상 프레임 2(212) 및 하위 계층(230)에 저장된 영상 프레임 0(210), 영상 프레임 4(214) 및 영상 프레임 8(218)을 참조하여 부호화될 수 있다. 영상 프레임 6(216)도 이후의 영상 프레임들에 대한 참조 프레임으로 사용되기 위하여 프레임 저장부에 저장될 수 있다. 그러나 이미 프레임 저장부에는 4개의 영상 프레임이 저장되어 있으므로, 어느 하나의 영상 프레임이 삭제되어야 영상 프레임 6(216)을 저장할 수 있다.
본 발명의 일 실시예에 따르면 영상 프레임 6(216)과 동일한 계층(230)에 포함된 영상 프레임(212) 및 상위 계층(250)에 포함된 영상 프레임 중에서 가장 빠른 시점에 대응하는 저장 프레임을 삭제할 수 있다. 도 4에 도시된 실시예에서는 동일한 계층(230)에 포함된 영상 프레임 2(212)가 삭제된다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부는 영상 프레임 2(212)가 삭제되고, 영상 프레임 6(216)이 포함된 저장 프레임들을 정렬할 수 있다(460). 정렬된 프레임들(461, 463, 465, 467)은 영상 프레임 0(210), 영상 프레임 4(214), 영상 프레임 8(218) 및 영상 프레임 6(216)을 포함한다. 각각의 영상 프레임(461, 463, 465, 467)에 상응하는 계층 정보들(462, 464, 466, 468)도 정렬된 프레임에 따라서 변경된다.
참조 프레임 선택부는 저장 프레임 정렬부에 의하여 정렬된 저장 프레임들 중에서 앞에 위치한 저장 프레임들을 선택하여 특정 영상 프레임 보다 하위 계층에 포함된 저장 프레임들 또는 동일한 계층에 포함된 저장 프레임들을 손쉽게 선택할 수 있다.
도 5는 본 발명의 일 실시예에 따라서 다중 계층 부호화된 영상 프레임들을 복호하는 복호화 장치의 구조를 도시한 블록도이다. 이하 도 5를 참조하여 본 발명에 따른 복호화 장치의 동작을 상세히 설명하기로 한다. 본 발명에 따른 복호화 장치(500)는 계층 식별부(510), 프레임 저장부(520), 참조 프레임 선택부(530), 저장 프레임 정렬부(540), 프레임 복호부(550) 및 저장 결정부(560)를 포함한다.
계층 식별부(510)는 제1 복호화 대상 프레임의 계층을 식별한다. 본 발명의 일 실시예에 따르면 제1 복호화 대상 프레임은 계층을 식별하기 위한 계층 식별 정보를 포함하고, 계층 식별부(510)는 계층 식별 정보에 기반하여 제1 복호화 대상 프레임의 계층을 식별할 수 있다.
프레임 저장부(520)는 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장한다. 본 발명의 일 실시예에 따르면 프레임 저장부(520)는 제1 복호화 대상 프레임의 복호 이전이 이미 복호된 영상 프레임들을 저장할 수 있다.
참조 프레임 선택부(530)는 프레임 저장부(520)에 저장된 저장 프레임 중에서 참조 프레임을 선택한다. 본 발명의 일 실시예에 따르면 참조 프레임 선택부(530)는 제1 복호화 대상 프레임의 계층에 기반하여 참조 프레임을 선택할 수 있다. 본 발명의 일 실시예에 따르면 참조 프레임 선택부(530)는 제1 복호화 대상 프레임과 동일한 계층에 포함된 저장프레임 중에서 제1 복호화 대상 프레임보다 시간 적으로 선행하는 프레임들을 참조 프레임으로 선택할 수 있다. 본 발명의 다른 실시예에 따르면 참조 프레임 선택부(530)는 제1 복호화 대상 프레임 보다 하위 계층에 포함된 저장 프레임들 및 동일한 계층에 포함된 저장 프레임들을 참조 프레임으로 선택할 수 있다.
영상 프레임은 복호화된 이후에 저장 프레임으로 저장된다. 따라서, 제1 복호화 대상 프레임과 동일한 계층에 포함된 참조 프레임은 제1 복호화 대상 프레임보다 시간적으로 선행하여 먼저 복호된 영상 프레임일 수 있다. 또한 제1 복호화 대상 프레임보다 하위 계층에 포함된 참조 프레임들은 제1 복호화 대상 프레임보다 시간적으로 선행하는 영상 프레임 및 제1 복호화 대상 프레임보다 시간적으로는 후행하지만, 제1 복호화 대상 프레임보다 먼저 복호화된 영상 프레임일 수 있다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부(540)는 프레임 저장부(520)에 저장된 저장 프레임들을 저장 프레임들이 포함된 계층에 따라서 정렬하고, 참조 프레임 선택부(530)는 저장 프레임 정렬부(540)가 정렬한 저장 프레임들에 기반하여 참조 프레임을 선택할 수 있다.
본 발명의 일 실시예에 따르면 저장 프레임 정렬부(540)는 프레임 저장부(520)에 저장된 저장 프레임들을 저장 프레임들이 포함된 계층에 따라서 오름 차순으로 정렬할 수 있다. 저장 프레임들이 저장 프레임들이 포함된 계층이 따라서 오름 차순으로 정렬되면, 하위 계층에 포함된 저장 프레임들이 앞쪽에 위치한다. 복호화 대상 프레임보다 하위의 계층에 포함된 저장 프레임 또는 동일한 계층에 포함된 저장 프레임들이 참조 프레임으로 선택되므로, 참조 프레임 선택부(530)는 앞 쪽에 위치한 저장 프레임들을 복호화 대상 프레임에 대한 참조 프레임으로 선택할 수 있다.
만약 저장 프레임 정렬부(540)가 저장 프레임 들을 정렬하지 않는다면, 각 저장 프레임이 포함된 계층에 따라서 저장 프레임을 저장하는 복수의 저장 장치가 필요하다. 그러나 저장 장치에 포함된 저장 프레임들을 정렬한다면, 하나의 저장 장치만을 사용해도 복호화 대상 프레임에 대한 참조 프레임들 간단히 선택할 수 있다.
프레임 복호부(550)는 선택된 참조 프레임을 참조하여 제1 복호화 대상 프레임을 부호한다. 본 발명의 일 실시예에 따르면 프레임 복호부(550)는 선택된 참조 프레임들에 기반하여 제1 복호화 대상 프레임에 대한 예측 영상 프레임을 생성할 수 있다. 프레임 복호부(550)는 제1 복호화 대상 프레임이 부호화된 부호화 데이터에 기반하여 예측 영상 프레임과 제1 복호화 대상 프레임간의 차에 대한 정보를 생성한다. 프레임 복호부는(550)는 예측 영상 프레임과 제1 복호화 대상 프레임간의 차에 대한 정보에 기반하여 제1 복호화 대상 프레임을 복호할 수 있다.
프레임 저장부(520)는 복호가 종료된 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장할 수 있다.
본 발명의 일 실시예에 따르면 저장 결정부(560)는 제1 복호화 대상 프레임이 포함된 계층에 기반하여 상기 제1 복호화 대상 프레임을 저장 프레임으로서 프레임 저장부(520)에 저장할지 여부를 결정할 수 있다. 본 발명의 일 실시예에 따르면 프레임 저장부(520)는 저장 결정부(560)의 결정에 따라서 제1 복호화 대상 프레 임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장할 수 있다. 저장된 제1 복호화 대상 프레임은 제2 복호화 대상 프레임에 대한 참조 프레임으로 사용될 수 있다.
본 발명의 일 실시예에 따르면 비용상의 문제 또는 저장 공간상의 문제로 인하여 프레임 저장부(520)가 저장할 수 있는 저장 프레임의 개수는 제한될 수 있다. 본 발명의 일 실시예에 따르면 제1 복호화 대상 프레임이 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장됨에 따라서 종래에 프레임 저장부(520)에 저장된 적어도 하나 이상의 저장 프레임들 중에서 적어도 한 프레임 이상이 삭제 되어야 한다. 본 발명의 일 실시예에 따르면 저장 결정부(560)가 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장할 것을 결정한 경우에, 프레임 저장부(520)는 제1 복호화 대상 프레임과 동일한 계층에 포함된 저장 프레임 또는 상위 계층에 포함된 저장 프레임 중에서 가장 빠른 시점에 상응하는 저장 프레임을 삭제할 수 있다. 프레임 저장부(520)는 제2 복호화 대상 프레임과 시간적으로 가장 가까운 프레임들만을 저장하므로 프레임 저장부(520)에 저장된 저장 프레임들은 제2 복호화 대상 프레임과 매우 유사하다. 프레임 저장부(520)에 저장된 저장 프레임들 중에서 선택된 참조 프레임들도 제2 복호화 대상 프레임과 유사하므로, 프레임 복호부(550)의 복호 효율이 향상된다.
본 발명의 일 실시예에 따르면 저장 결정부(560)는 제1 복호화 대상 프레임이 포함된 계층이 최상위 계층인 경우에, 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장하지 않는 것으로 결정할 수 있다. 본 발 명의 일 실시예에 따르면 프레임 저장부(520)는 최상위 계층을 제외한 계층에 포함된 영상 프레임만을 저장 프레임으로 저장하고, 프레임 복호부(550)는 저장 프레임 중에서 선택된 참조 프레임에 기반하여 제2 복호화 대상 프레임을 복호할 수 있다. 최상위 계층에 포함된 영상 프레임이 참조 프레임으로 선택되지 못하는 실시예에서는 제1 복호화 대상 프레임이 최상위 계층에 포함된 경우에, 제1 복호화 대상 프레임이 제2 복호화 대상 프레임에 대한 참조 프레임으로 선택될 수는 없다. 따라서, 저장 결정부(560)는 최상위 계층에 포함된 제1 복호화 대상 프레임을 프레임 저장부(520)에 저장하지 않는 것으로 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따라서 다중 계층 부호화된 영상 프레임들을 복호하는 다중 계층 영상 복호화 방법을 단계별로 도시한 순서도이다. 이하 도 6을 참조하여 본 발명에 따른 다중 계층 영상 복호화 방법을 상세히 설명하기로 한다.
단계(S610)에서는 제1 복호화 대상 프레임이 포함된 계층을 식별한다. 본 발명의 일 실시예에 따르면 제1 복호화 대상 프레임을 계층을 식별하기 위한 계층 식별 정보를 포함하고 단계(S610)에서는 계층 식별 정보를 이용하여 제1 복호화 대상 프레임의 계층을 식별할 수 있다.
단계(S620)에서는 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하고, 유지한다. 본 발명의 일 실시예에 따르면 저장 프레임들은 제1 복호화 대상 프레임 이전에 이미 복호된 영상 프레임들일 수 있다.
단계(S630)에서는 저장 프레임들을 저장 프레임들이 포함된 계층에 따라서 정렬한다. 본 발명의 일 실시예에 따르면, 단계(S630)에서는 저장 프레임들이 포함 된 계층에 따라서 저장 프레임들을 오름차순으로 정렬할 수 있다. 저장 프레임들이 오름차순으로 정렬되면 하위 계층에 포함된 저장 프레임들이 앞쪽에 위치한다.
단계(S640)에서는 저장 프레임들 중에서 참조 프레임을 선택한다. 본 발명의 일 실시예에 따르면 제1 복호화 대상 프레임이 포함된 계층에 기반하여 참조 프레임을 선택할 수 있다. 본 발명의 일 실시예에 따르면 단계(S640)에서는 제1 복호화 대상 프레임과 동일한 계층에 속한 저장 프레임 또는 제1 복호화 대상 프레임보다 하위 계층에 속한 저장 프레임을 참조 프레임으로 선택할 수 있다.
본 발명의 일 실시예에 따르면 단계(S640)에서는 단계(S630)에서 정렬된 저장 프레임에 기반하여 참조 프레임을 선택할 수 있다. 저장 프레임들이 오름차순으로 정렬되면, 하위 계층에 속한 저장 프레임들이 앞쪽에 위치한다. 따라서 제1 복호화 대상 프레임보다 하위 계층에 포함된 저장 프레임들 또는 동일한 계층에 포함된 저장 프레임들을 용이하게 선택할 수 있다.
단계(S650)에서는 선택된 참조 프레임을 참조하여 제1 복호화 대상 프레임을 복호한다. 본 발명의 일 실시예에 따르면 단계(S650)에서는 선택된 참조 프레임들에 기반하여 제1 복호화 대상 프레임에 대한 예측 영상 프레임을 생성할 수 있다. 본 발명의 일 실시예에 따르면 제1 복호화 대상 프레임이 부호화된 부호화 데이터에 기반하여 예측 영상 프레임과 제1 복호화 대상 프레임간의 차에 대한 정보를 생성한다. 단계(S640)에서는 예측 영상 프레임과 제1 복호화 대상 프레임간의 차에 대한 정보에 기반하여 제1 복호화 대상 프레임을 복호할 수 있다.
단계(S660)에서는 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연 관된 저장 프레임으로 저장할지 여부를 결정한다. 본 발명의 일 실시예에 따르면 단계(S660)에서는 제1 복호화 대상 프레임이 최상위 계층에 포함된 영상 프레임이라면 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장하지 않을 수 있다. 또한 제1 복호화 대상 프레임이 최상위 계층이 아닌 다른 계층에 포함된 영상 프레임이라면 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임을 저장하기로 결정할 수 있다.
만약 단계(S660)에서 제1 복호화 대상 프레임을 저장하기로 결정한 경우에, 단계(S670)에서는 단계(S660)에서의 결정에 따라서 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로서 저장할 수 있다.
단계(S680)에서는 제1 복호화 대상 프레임에 연관된 제2 복호화 대상 프레임을 수신하였는지 여부를 판단한다. 만약 제2 복호화 대상 프레임을 수신한 경우에는 저장 프레임들을 이용하여 제2 복호화 대상 프레임을 복호하지만, 제2 복호화 대상 프레임을 수신하지 못한 경우에는 복호 절차를 종료한다.
도 7은 본 발명의 일 실시예에 따른 다중 계층 영상 부호화 장치의 구조를 도시한 블록도이다. 이하 도 7을 참조하여 본 발명에 따른 다중 계층 영상 부호화 장치의 동작을 상세히 설명하기로 한다. 본 발명에 따른 다중 계층 영상 부호화 장치(700)는 계층 식별부(710), 프레임 저장부(720), 저장 프레임 정렬부(730), 참조 프레임 선택부(740) 및 프레임 부호화부(750)를 포함한다.
계층 식별부(710)는 부호화 대상 프레임이 포함된 계층을 식별한다. 본 발명에 따르면 입력 영상은 복수의 계층으로 구분된 영상 프레임들을 포함한다. 부호 화 대상 프레임은 복수의 영상 프레임 중에서 어느 한 프레임에 포함된다.
프레임 저장부(720)는 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장한다. 프레임 저장부(720)에 저장된 저장 프레임은 부호화 대상 프레임을 부호화하기 위한 참조 프레임으로 사용될 수 있다.
저장 프레임 정렬부(730)는 프레임 저장부(720)에 저장된 저장 프레임들을 정렬한다. 본 발명의 일 실시예에 따르면 저장 프레임 정렬부(730)는 저장 프레임들이 속하는 계층에 따라서 저장 프레임들을 정렬할 수 있다.
참조 프레임 선택부(740)는 정렬된 저장 프레임 중에서 부호화 대상 프레임이 속하는 계층에 기반하여 참조 프레임을 선택한다. 본 발명의 일 실시예에 따르면, 참조 프레임 선택부(740)는 정렬된 저장 프레임 중에서 부호화 대상 프레임과 동일한 계층 또는 하위 계층에 속한 저장 프레임을 참조 프레임으로 선택할 수 있다.
만약 저장 프레임 정렬부(730)가 저장 프레임들을 저장 프레임이 속하는 계층에 따라서 오름 차순으로 정렬한다면, 낮은 계층에 속하는 저장 프레임들은 프레임 저장부(720)의 앞쪽에 위치한다. 따라서 참조 프레임 선택부(740)는 프레임 저장부(720)의 앞쪽에 위치한 저장 프레임들을 참조 프레임으로 선택할 수 있다.
본 발명의 다른 실시예에 따르면 참조 프레임 선택부(740)는 부호화 대상 프레임과 동일한 계층에 속한 저장 프레임 중에서 부호화 대상 프레임에 선행하는 저장 프레임을 참조 프레임으로 선택할 수 있다. 저장 프레임들이 계층에 따라 정렬된 경우에, 부호화 대상 프레임과 동일한 계층에 속한 저장 프레임들은 서로 연 속적으로 위치한다. 참조 프레임 선택부(740)는 프레임 저장부(720)에 연속적으로 저장되고, 부호화 대상 프레임과 동일한 계층에 속하는 저장 프레임들 중에서 시간적으로 부호화 대상 프레임에 선행하는 저장 프레임들을 참조 프레임으로 선택할 수 있다.
본 발명에 따르면 서로 다른 계층에 속하는 저장 프레임들을 동일한 프레임 저장부(720)에 저장할 수 있다. 저장 프레임들을 저장 프레임이 속하는 계층에 따라서 정렬하기만 한다면, 복수의 프레임 저장부를 사용하지 않고도 서로 다른 계층에 속하는 저장 프레임들을 명확히 구분할 수 있다.
하나의 프레임 저장부(720)만을 이용하여 다중 계층 영상 부호화 장치를 구현할 수 있으므로, 구현이 용이하고, 부호화 과정이 간단해진다.
프레임 부호화부(750)는 선택된 참조 프레임을 참조하여 부호화 대상 프레임을 부호화한다.
도 8은 본 발명의 일 실시예에 따른 다중 계층 영상 복호화 장치의 구조를 도시한 블록도이다. 이하 도 8을 참조하여 본 발명에 따른 다중 계층 영상 복호화 장치의 동작을 상세히 설명하기로 한다. 본 발명에 따른 다중 계층 영상 복호화 장치(800)는 계층 식별부(810), 프레임 저장부(820), 저장 프레임 정렬부(830), 참조 프레임 선택부(840) 및 프레임 복호부(850)를 포함한다.
계층 식별부(810)는 복호화 대상 프레임이 포함된 계층을 식별한다. 본 발명에 따르면 복호 영상은 복수의 복수의 계층으로 구분된 영상 프레임들을 포함한다. 부호화 대상 프레임은 복수의 영상 프레임 중에서 어느 한 프레임에 포함된다.
프레임 저장부(820)는 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장한다. 프레임 저장부(820)에 저장된 저장 프레임은 복호화 대상 프레임을 복호하기 위한 참조 프레임으로 사용될 수 있다.
저장 프레임 정렬부(830)는 프레임 저장부(820)에 저장된 저장 프레임들을 정렬한다. 본 발명의 일 실시예에 따르면 저장 프레임 정렬부(830)는 저장 프레임들이 속하는 계층에 따라서 저장 프레임들을 정렬할 수 있다.
참조 프레임 선택부(840)는 정렬된 저장 프레임 중에서 복호화 대상 프레임이 속하는 계층에 기반하여 참조 프레임을 선택한다. 본 발명의 일 실시예에 따르면, 참조 프레임 선택부(840)는 정렬된 저장 프레임 중에서 복호화 대상 프레임과 동일한 계층에 포함된 저장 프레임, 또는 복호화 대상 프레임보다 하위 계층에 속한 저장 프레임을 참조 프레임으로 선택할 수 있다.
만약 저장 프레임 정렬부(830)가 저장 프레임들을 저장 프레임이 속하는 계층에 따라서 오름 차순으로 정렬한다면, 낮은 계층에 속하는 저장 프레임들은 프레임 저장부(820)의 앞쪽에 위치한다. 따라서 참조 프레임 선택부(840)는 프레임 저장부(820)의 앞쪽에 위치한 저장 프레임들을 참조 프레임으로 선택할 수 있다.
본 발명의 다른 실시예에 따르면 참조 프레임 선택부(840)는 복호화 대상 프레임과 동일한 계층에 속한 저장 프레임 중에서 복호화 대상 프레임에 선행하는 저장 프레임을 참조 프레임으로 선택할 수 있다. 저장 프레임들이 계층에 따라 정렬된 경우에, 복호화 대상 프레임과 동일한 계층에 속한 저장 프레임들은 서로 연속적으로 위치한다. 참조 프레임 선택부(840)는 프레임 저장부(820)에 연속적으로 저장되고, 복호화 대상 프레임과 동일한 계층에 속하는 저장 프레임들 중에서 시간적으로 복호화 대상 프레임에 선행하는 저장 프레임들을 참조 프레임으로 선택할 수 있다.
본 발명에 따르면 서로 다른 계층에 속하는 저장 프레임들을 동일한 프레임 저장부(820)에 저장할 수 있다. 저장 프레임들을 저장 프레임이 속하는 계층에 따라서 정렬하기만 한다면, 복수의 프레임 저장부를 사용하지 않고도 서로 다른 계층에 속하는 저장 프레임들을 명확히 구분할 수 있다.
하나의 프레임 저장부(820)만을 이용하여 다중 계층 영상 복호화 장치를 구현할 수 있으므로, 구현이 용이하고, 복호화 과정이 간단해진다.
프레임 부호화부(50)는 선택된 참조 프레임을 참조하여 부호화 대상 프레임을 부호화한다.
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 다중 계층 영상 부호화 장치 또는 다중 계층 영상 복호화 장치의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우, 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따라서 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따라서 복수의 계층으로 구분된 영상 프레임들을 부호화하는 개념을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다중 계층 영상 부호화 장치의 구조를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따라서 서로 다른 계층의 저장 프레임들을 저장하는 프레임 저장부의 동작을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라서 다중 계층 부호화된 영상 프레임들을 복호하는 다중 계층 영상 복호화 장치의 구조를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따라서 다중 계층 부호화된 영상 프레임들을 복호하는 다중 계층 영상 복호화 방법을 단계별로 도시한 순서도이다.

Claims (22)

  1. 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치에 있어서,
    제1 부호화 대상 프레임이 포함된 계층을 식별하는 계층 식별부;
    상기 제1 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부;
    상기 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 참조 프레임 선택부; 및
    상기 선택된 참조 프레임을 참조하여 상기 제1 부호화 대상 프레임을 부호화하는 프레임 부호화부
    를 포함하는 다중 계층 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 식별된 계층에 기반하여 상기 제1 부호화 대상 프레임을 저장할지 여부를 결정하는 저장 결정부를 더 포함하고,
    상기 프레임 저장부는,
    상기 결정에 따라서 상기 제1 부호화 대상 프레임을 제2 부호화 대상 프레임과 연관된 저장 프레임으로 저장하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  3. 제2항에 있어서,
    상기 제1 부호화 대상 프레임을 저장하기로 상기 저장 결정부가 결정한 경우에,
    상기 프레임 저장부는
    상기 제1 부호화 대상 프레임과 동일한 계층 또는 상위 계층에 포함된 저장 프레임들 중에서 가장 빠른 시점에 상응하는 저장 프레임을 삭제하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  4. 제1항에 있어서, 상기 저장 결정부는
    상기 식별된 계층이 최상위 계층인 경우에 상기 제1 부호화 대상 프레임을 저장하지 않는 것으로 결정하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  5. 제1항에 있어서, 상기 참조 프레임 선택부는,
    상기 제1 부호화 대상 프레임과 동일한 계층에 속한 저장 프레임 또는 상기 제1 부호화 대상 프레임보다 하위 계층에 속한 저장 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  6. 제5항에 있어서,
    상기 저장 프레임이 포함된 계층에 따라서 상기 저장 프레임들을 정 렬(sort)하는 저장 프레임 정렬부
    를 더 포함하고,
    상기 참조 프레임 선택부는,
    상기 정렬된 저장 프레임들에 기반하여 상기 참조 프레임을 선택하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  7. 제1항에 있어서, 상기 프레임 부호화부는,
    상기 참조 프레임에 기반하여 상기 제1 부호화 대상 프레임에 대한 예측(expected) 영상 프레임을 생성하고, 상기 예측 프레임과 상기 부호화 대상 프레임의 차를 부호화하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  8. 다중 계층 부호화된 영상을 복호하는 다중 계층 영상 복호화 장치에 있어서,
    제1 복호화 대상 프레임이 포함된 계층을 식별하는 계층 식별부;
    상기 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부;
    상기 식별된 계층에 기반하여 상기 저장 프레임 중에서 참조 프레임을 선택하는 참조 프레임 선택부; 및
    상기 선택된 참조 프레임을 참조하여 상기 제1 복호화 대상 프레임을 복호하는 프레임 복호부
    를 포함하는 다중 계층 영상 복호화 장치.
  9. 제8항에 있어서,
    상기 식별된 계층에 기반하여 상기 제1 복호화 대상 프레임을 저장할지 여부를 결정하는 저장 결정부를 더 포함하고,
    상기 프레임 저장부는,
    상기 결정에 따라서 상기 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
  10. 제8항에 있어서, 상기 저장 결정부는
    상기 식별된 계층이 최상위 계층인 경우에 상기 제1 복호화 대상 프레임을 저장하지 않는 것으로 결정하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
  11. 제8항에 있어서, 상기 참조 프레임 선택부는,
    상기 제1 복호화 대상 프레임과 동일한 계층에 속한 저장 프레임 또는 상기 제1 복호화 대상 프레임보다 하위 계층에 속한 저장 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 저장 프레임이 포함된 계층에 따라서 상기 저장 프레임들을 정렬(sort)하는 저장 프레임 정렬부
    를 더 포함하고,
    상기 참조 프레임 선택부는,
    상기 정렬된 저장 프레임들에 기반하여 상기 참조 프레임을 선택하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
  13. 다중 계층 부호화된 영상을 복호하는 다중 계층 영상 복호화 방법에 있어서,
    제1 복호화 대상 프레임이 포함된 계층을 식별하는 단계;
    상기 제1 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하고 유지하는 단계;
    상기 식별된 계층에 기반하여 상기 저장 프레임 중에서 참조 프레임을 선택하는 단계; 및
    상기 선택된 참조 프레임을 참조하여 상기 제1 복호화 대상 프레임을 복호하는 단계
    를 포함하는 것을 특징으로 하는 다중 계층 영상 복호화 방법.
  14. 제13항에 있어서,
    상기 식별된 계층에 기반하여 상기 제1 복호화 대상 프레임을 저장할지 여 부를 결정하는 단계
    를 더 포함하고,
    상기 저장 프레임을 저장하고 유지하는 단계는,
    상기 결정에 따라서 상기 제1 복호화 대상 프레임을 제2 복호화 대상 프레임과 연관된 저장 프레임으로 저장하는 것을 특징으로 하는 다중 계층 영상 복호화 방법.
  15. 제13항에 있어서, 상기 결정하는 단계는
    상기 식별된 계층이 최상위 계층인 경우에 상기 제1 복호화 대상 프레임을 저장하지 않는 것으로 결정하는 것을 특징으로 하는 다중 계층 영상 복호화 방법.
  16. 제13항에 있어서, 상기 선택하는 단계는,
    상기 제1 복호화 대상 프레임과 동일한 계층에 속한 저장 프레임 또는 상기 제1 복호화 대상 프레임보다 하위 계층에 속한 저장 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 다중 계층 영상 복호화 방법.
  17. 제16항에 있어서,
    상기 저장 프레임이 포함된 계층에 따라서 상기 저장 프레임들을 정렬(sort)하는 단계
    를 더 포함하고,
    상기 선택하는 단계는,
    상기 정렬된 저장 프레임들에 기반하여 상기 참조 프레임을 선택하는 것을 특징으로 하는 다중 계층 영상 복호화 방법.
  18. 제13항 내지 제17항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  19. 복수의 계층으로 구분된 영상 프레임들을 부호화하는 다중 계층 영상 부호화 장치에 있어서,
    부호화 대상 프레임이 포함된 계층을 식별하는 계층 식별부;
    상기 부호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부;
    상기 저장 프레임이 포함된 계층에 따라서 상기 저장 프레임들을 정렬하는 저장 프레임 정렬부;
    상기 정렬된 저장 프레임 중에서 상기 식별된 계층에 기반하여 참조 프레임을 선택하는 참조 프레임 선택부; 및
    상기 선택된 참조 프레임을 참조하여 상기 부호화 대상 프레임을 부호화하는 프레임 부호화부
    를 포함하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  20. 제19항에 있어서, 상기 참조 프레임 선택부는,
    상기 부호화 대상 프레임과 동일한 계층 또는 상기 부호화 대상 프레임보다 하위 계층에 속한 저장 프레임 중에서 상기 부호화 대상 프레임보다 먼저 부호화되어 저장 되어진 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 다중 계층 영상 부호화 장치.
  21. 다중 계층 부호화된 영상을 복호하는 다중 계층 영상 복호화 장치에 있어서,
    복호화 대상 프레임이 포함된 계층을 식별하는 계층 식별부;
    상기 복호화 대상 프레임과 연관된 적어도 하나 이상의 저장 프레임을 저장하는 프레임 저장부;
    상기 저장 프레임이 포함된 계층에 따라서 상기 저장 프레임들을 정렬하는 저장 프레임 정렬부;
    상기 식별된 계층에 기반하여 상기 정렬된 저장 프레임 중에서 참조 프레임을 선택하는 참조 프레임 선택부; 및
    상기 선택된 참조 프레임을 참조하여 상기 복호화 대상 프레임을 복호하는 프레임 복호부
    를 포함하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
  22. 제21항에 있어서, 상기 참조 프레임 선택부는,
    상기 복호화 대상 프레임과 동일한 계층 또는 상기 복호화 대상 프레임보다 하위 계층에 속한 저장 프레임 중에서 상기 복호화 대상 프레임보다 먼저 복호화되어 저장 되어진 프레임을 상기 참조 프레임으로 선택하는 것을 특징으로 하는 다중 계층 영상 복호화 장치.
KR1020090031682A 2008-05-10 2009-04-13 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법 KR20090117863A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/453,175 US20090279614A1 (en) 2008-05-10 2009-04-30 Apparatus and method for managing reference frame buffer in layered video coding
JP2009113966A JP5586166B2 (ja) 2008-05-10 2009-05-08 階層的映像符号化のための参照フレーム管理装置および方法
EP09159876.3A EP2117235A3 (en) 2008-05-10 2009-05-11 Apparatus and method for managing reference frame buffer in layered video coding
JP2013085137A JP5504363B2 (ja) 2008-05-10 2013-04-15 階層的映像符号化のための参照フレーム管理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080043691 2008-05-10
KR1020080043691 2008-05-10

Publications (1)

Publication Number Publication Date
KR20090117863A true KR20090117863A (ko) 2009-11-13

Family

ID=41602077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090031682A KR20090117863A (ko) 2008-05-10 2009-04-13 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법

Country Status (2)

Country Link
JP (1) JP5504363B2 (ko)
KR (1) KR20090117863A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
WO2013009029A2 (ko) * 2011-07-08 2013-01-17 한양대학교 산학협력단 부호화 단위의 크기 결정 방법 및 장치
CN112131429A (zh) * 2020-09-16 2020-12-25 北京影谱科技股份有限公司 一种基于深度预测编码网络的视频分类方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6773205B2 (ja) * 2019-12-19 2020-10-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
WO2012148139A3 (ko) * 2011-04-26 2013-03-21 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
GB2505344A (en) * 2011-04-26 2014-02-26 Lg Electronics Inc Method for managing a reference picture list, and apparatus using same
ES2489816R1 (es) * 2011-04-26 2014-12-09 Lg Electronics Inc. Método para gestionar una lista de imágenes de referencia, y aparato que lo usa
GB2505344B (en) * 2011-04-26 2017-11-15 Lg Electronics Inc Method for managing a reference picture list, and apparatus using same
WO2013009029A2 (ko) * 2011-07-08 2013-01-17 한양대학교 산학협력단 부호화 단위의 크기 결정 방법 및 장치
WO2013009029A3 (ko) * 2011-07-08 2013-03-07 한양대학교 산학협력단 부호화 단위의 크기 결정 방법 및 장치
CN112131429A (zh) * 2020-09-16 2020-12-25 北京影谱科技股份有限公司 一种基于深度预测编码网络的视频分类方法及系统

Also Published As

Publication number Publication date
JP2013165503A (ja) 2013-08-22
JP5504363B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
US11412248B2 (en) Image encoding method and apparatus, and image decoding method and apparatus
RU2628319C2 (ru) Способ и устройство для определения опорных изображений для внешнего предсказания
TWI622288B (zh) 視訊解碼方法
CN101810007B (zh) 具有附加信息容量的多媒体编码和解码
US8630351B2 (en) Method and apparatus for encoding and decoding motion vector
US8885958B2 (en) Method and apparatus for encoding images and method and apparatus for decoding images
US20220303536A1 (en) Method of signalling in a video codec
JP5586166B2 (ja) 階層的映像符号化のための参照フレーム管理装置および方法
US8406545B2 (en) Apparatus for encoding image and apparatus for decoding image
TW201313034A (zh) 多視角視訊資料之深度圖的編碼和解碼的方法及其裝置
TW201415904A (zh) 幀間預測的運動預測方法、運動補償方法、運動預測裝置、運動補償裝置以及電腦可讀記錄媒體
JP5504363B2 (ja) 階層的映像符号化のための参照フレーム管理装置および方法
KR20170069917A (ko) 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
US10560693B2 (en) Video encoding method and apparatus, and video decoding method and apparatus
KR20210128385A (ko) 비디오 인코딩 및 비디오 디코딩
KR100960807B1 (ko) 영상의 외곽 경계에 위치한 블록의 부호화 장치
WO2008156244A1 (en) Method and apparatus for encoding/decoding image by partitioning image
CN111416982B (zh) 对运动矢量信息进行编/解码的方法及装置
JP2013517733A (ja) 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置
KR20070096774A (ko) 블록내의 데이터를 코딩/디코딩하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application