KR101212227B1 - 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법 - Google Patents

액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법 Download PDF

Info

Publication number
KR101212227B1
KR101212227B1 KR1020100134597A KR20100134597A KR101212227B1 KR 101212227 B1 KR101212227 B1 KR 101212227B1 KR 1020100134597 A KR1020100134597 A KR 1020100134597A KR 20100134597 A KR20100134597 A KR 20100134597A KR 101212227 B1 KR101212227 B1 KR 101212227B1
Authority
KR
South Korea
Prior art keywords
layer
decoding
data
residual
unit
Prior art date
Application number
KR1020100134597A
Other languages
English (en)
Other versions
KR20120072718A (ko
Inventor
김용환
이주영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100134597A priority Critical patent/KR101212227B1/ko
Publication of KR20120072718A publication Critical patent/KR20120072718A/ko
Application granted granted Critical
Publication of KR101212227B1 publication Critical patent/KR101212227B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

액세스 유닛 단위 처리를 이용한 SVC의 복호화 방법이 개시된다. 액세스 유닛 단위 처리를 이용한 SVC의 복호화 방법은 SVC 영상 스트림에서 액세스 유닛(access unit)을 추출하는 단계, 추출된 액세스 유닛에 포함되는 모든 레이어를 분석하여 상위 레이어(enhancement layer)가 레이어간 예측(inter layer perdiction)을 위해 필요로 하는 참조 레이어(reference layer)의 레지듀얼(residual) 데이터를 파악하는 단계, 및 참조 레이어 복호화시 참조 레이어의 레지듀얼 데이터들 중 파악된 레지듀얼만을 공용 레지듀얼 메모리에 저장하는 복호화 단계를 포함한다. 이에 의해 메모리 접근이 줄어들어 복호화 시간이 단축되며, 메모리 소비 또한 줄어든다.

Description

액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법{Access unit based decoding method and device for SVC}
본 발명은 H.264/AVC(Advanced Video Coding) SVC(Scalable Video Coding) 영상의 복호화에 관한 것으로, 특히 레이어간 예측(inter layer prediction, ILP)을 이용하여 코딩 효율을 높이기 위한 기술에 관한 것이다.
최근 다양한 네트워크를 통하여 다양한 단말기를 대상으로 하는 비디오 커뮤니케이션이 점점 더 관심을 받고 있다. 이러한 산업계의 요구를 받아들여, 하나의 비디오 스트림(stream)에 공간(spatial), 시간(temporal), 화질(quality) 영역에서 여러 해상도(resolution)를 지원하는 스케일러블 비디오 코딩(Scalable Video Coding, SVC)이 H.264/AVC의 amendment 3으로써 2007년 말에 표준화되었다. SVC는 레이어간 예측(inter layer prediction, ILP)을 이용하여 기존의 사이멀캐스트(simulcast) 코딩에 비해 코딩효율을 높인다. 반면, SVC의 ILP를 위해서는 많은 계산 시간이 소요된다. 또한 SVC의 ILP를 위해서는 사이멀캐스트 코딩에 비해 저장하여야 할 데이터가 많아지기 때문에, 메모리 소비가 증가하게 된다. 특히 SVC는 세 종류의 레지듀얼 예측(residual prediction)을 지원하는데, 이를 위해서는 저장되어야 할 데이터의 양이 매우 증가하게 된다. 레지듀얼 예측은 상위 레이어(enhancement layer, EL)의 레지듀얼과 참조 레이어(reference layer, RL)의 레지듀얼의 상관관계를 줄여 코딩 효율을 높일 수 있다. ILP에서 사용하는 세 종류의 레지듀얼은 다음과 같다.
1) transform coefficient level (TCL) : 엔트로피 코딩 결과를 역 스캔(inverse-scan)한 값, 즉 역 양자화(inverse-quantization, Inv-Q) 이전의 값
2) transform coefficient (TC) : Inv-Q 이후의 값
3) pixel residual (PR) : 역변환(inverse-DCT, Inv-DCT) 이후의 값
도 1은 SVC에서 지원하는 세 종류의 레지듀얼 예측을 나타낸 도면이다.
상위 레이어가 공간영역에서 해상도를 가지는 레이어(spatial layer)인 경우, 상위 레이어는 참조 레이어의 PR을 참조하게 된다. 상위 레이어가 화질 영역에서 해상도를 가지는 레이어(quality layer)인 경우, EL 슬라이스 헤더의 tcoeff_level_prediction_flag 값에 따라 그 값이 “0”인 경우에는 참조 레이어의 TC를 “1”인 경우에는 참조 레이어의 TCL을 참조하게 된다. 이와 같이, 상위 레이어의 종류와 상위 레이어 슬라이스 헤더의 tcoeff_level_prediction_flag 값에 따라서 세 종류의 레지듀얼 중 하나만이 예측에 사용된다.
한편, SVC 표준의 참조 소프트웨어인 JSVM(Joint Scalable Video Model)은 NALU(network abstraction layer unit) 단위로 복호화를 수행한다. 즉, 기본 레이어(base layer)에서 타겟 레이어(target layer)까지 낮은 dq_id(=dependency_id*16 + quality_id)를 가지는 레이어 순으로 복호화를 수행하기 때문에, 참조 레이어를 복호하는 시점에서는 상위 레이어의 종류 및 tcoeff_level_prediction_flag 값을 알 수 없다. 따라서 상위 레이어에서는 세 가지의 레지듀얼 중 하나만을 예측에 이용함에도 불구하고, 참조 레이어의 복호화 시점에서 상위 레이어가 세 가지 레지듀얼 중 어느 것을 예측에 이용하는지 알 수 없기 때문에, 세 가지 레지듀얼 데이터를 모두 저장하게 된다. 또한 세 종류의 레지듀얼 데이터를 별도로 저장하기 위한 세 개의 메모리가 필요로 된다. 이는 불필요한 메모리 소비와 메모리 접근(memory access)에 의한 계산량 증가를 가져오게 된다. 특히 각 레지듀얼 메모리의 크기는 픽쳐 메모리의 크기보다 크기 때문에, 레지듀얼을 저장하면서 발생하는 메모리 접근에 의한 계산 시간이 참조 레이어 전체를 복호화하기 위한 시간의 상당 부분을 차지한다. 또한 TCL, TC, PR 데이터에 대해 각각의 메모리를 필요로 하게 되므로, 메모리 소비도 무시할 수 없다.
추가로, 상위 레이어에서 PR을 사용하지 않는 경우에 대해서도 참조 레이어 복호 과정에서 PR을 저장하기 때문에, PR을 구하기 위해서 불필요하게 Inv-DCT를 수행하게 되는 경우가 발생할 수 있다. 그리고 SVC는 상위 레이어가 spatial layer이고 tcoeff_level_prediction_flag 값이 “1”인 경우, 상위 레이어 복호화시 참조 레이어의 인트라 모드(intra mode)를 참조한다. 그런데 JSVM에서는 참조 레이어 복호화 시점에 상위 레이어의 종류 및 tcoeff_level_prediction_flag 값을 알 수 없기 때문에, 상위 레이어가 인트라 모드를 참조하는지에 대한 여부를 판단할 수 없다. 따라서 모든 참조 레이어에 대해서 인트라 모드를 저장하게 되며, 이는 불필요한 메모리 소비 및 메모리 접근에 의한 연산량 증가를 가져온다.
본 발명은 불필요한 메모리 접근을 피하여 복호화 시간을 단축할 수 있으며, 메모리 소비량을 줄일 수 있는 효율적인 SVC 영상 복호화 장치 및 방법을 제공함을 목적으로 한다.
또한 본 발명은 복호화 과정에서 불필요한 연산을 생략할 수 있는 효율적인 SVC 영상 복호화 장치 및 방법을 제공함을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 액세스 유닛 단위 처리를 이용한 SVC의 복호화 방법은 SVC 영상 스트림에서 액세스 유닛(access unit)을 추출하는 단계, 추출된 액세스 유닛에 포함되는 모든 레이어를 분석하여 상위 레이어(enhancement layer)가 레이어간 예측(inter layer perdiction)을 위해 필요로 하는 참조 레이어(reference layer)로부터 요구되는 레지듀얼(residual) 데이터를 파악하는 단계, 및 참조 레이어 복호화시 참조 레이어의 레지듀얼 데이터들 중 파악된 레지듀얼만을 공용 레지듀얼 메모리에 저장하는 복호화 단계를 포함한다.
참조 레이어로부터 요구되는 레지듀얼을 파악하는 단계는 추출된 액세스 유닛에 포함되는 레이어를 구성하는 모든 슬라이스 NALU(network abstraction layer unit) 중에서 첫 번째 슬라이스 NALU의 헤더를 해석하는 단계, 해석된 NAL 헤더를 통해 상위 레이어로 확인되면 해석된 슬라이스 헤더를 통해 레이어 타입을 판단하는 단계, 및 파악된 레이어 타입과 첫 번째 슬라이스 NALU의 슬라이스 헤더 해석을 통해 파악된 변환 계수 레벨 예측 수행 여부를 나타내는 값을 통해 상위 레이어가 필요로 하는 참조 레이어(reference layer)의 레지듀얼(residual) 데이터를 파악하는 단계를 포함한다.
레이어 타입을 판단하는 단계는 첫 번째 슬라이스 NALU의 슬라이스 헤더 해석을 통해 파악된 상위 레이어의 픽쳐 크기와 추출된 액세스 유닛을 구성하는 참조 레이어 NALU의 슬라이스 헤더 해석을 통해 파악된 참조 레이어의 픽처 크기를 비교하는 단계, 및 비교 결과 상위 레이어의 픽쳐 크기와 참조 레이어의 픽처 크기가 같을 경우는 상위 레이어가 퀄리티 레이어(quality layer)인 것으로 판단하고, 상위 레이어의 픽쳐 크기가 참조 레이어의 픽처 크기보다 클 경우는 상위 레이어가 공간 레이어(spatial layer)인 것으로 판단하는 단계를 포함한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩 방식의 복호화 장치는 참조 레이어(reference layer)의 레지듀얼(residual) 데이터를 저장하기 위한 공용 레지듀얼 메모리, 스케일러블 비디오 코딩 영상 스트림에서 액세스 유닛(access unit)을 추출하는 액세스 유닛 추출부, 추출된 액세스 유닛에 포함되는 모든 레이어의 첫 번째 슬라이스 NALU의 헤더를 분석하여 상위 레이어(enhancement layer)가 레이어간 예측(inter layer perdiction)을 위해 참조 레이어(reference layer)의 레지듀얼(residual) 데이터인 TCL(transform coeffcient level) 데이터와 TC(transform coefficient) 데이터 및 PR(pixel residual) 데이터 중 필요로 하는 레지듀얼 레이터를 파악하는 레지듀얼 파악부, 및 참조 레이어 복호화시 파악된 레지듀얼 데이터만을 공용 레지듀얼 메모리에 저장하는 복호화부를 포함한다.
복호화부는 상위 레이어가 퀄리티 레이어(quality layer)이고 참조 레이어의 복호화 단위인 매크로블록의 타입이 인터(inter)인 경우, 그 매크로블록 복호화시 역 이산 코사인 변환(inverse discrete cosine transform)을 생략한다. 또한 복호화부는 파악된 레지듀얼 데이터가 TCL(transform coeffcient level) 데이터인 경우에만 참조 레이어의 복호화 단위인 매크로블록의 인트라 모드(intra mode)를 저장한다.
액세스 유닛 단위로 복호화를 수행하는 본 발명에 따르면, RL 복호화시 TCL 데이터, TC 데이터, PR 데이터 중 어느 하나의 레지듀얼 데이터만을 저장하면 되므로, 메모리 접근에 의한 연산량 부하를 줄일 수 있다. 또한 기존에는 TCL 데이터, TC 데이터, PR 데이터에 대해 세 개의 메모리를 별도로 가지고 있어야 했으나, 본 발명에 따르면 하나의 공유 레지듀얼 메모리를 이용하여 SVC 영상 스트림을 복호화할 수 있다. 또한 EL이 quality layer이고 RL의 매크로블록 타입이 인터(inter)인 경우 복호화시 Inv-DCT 연산을 수행하지 않아도 되므로, 불필요한 Inv-DCT 연산을 없앨 수 있다. 또한 RL 복호화시 TCL 데이터를 저장하는 경우에만 RL의 복호화 단위인 매크로블록의 인트라 모드를 저장하면 되므로, 메모리 접근의 수와 메모리 소비량을 줄일 수 있다.
도 1은 SVC에서 지원하는 세 종류의 레지듀얼 예측을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 블록도.
도 3은 SVC 영상의 액세스 유닛을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법 흐름도.
도 5는 본 발명의 일 실시예에 따른 참조 레이어 복호화시 필요한 세 개의 파라미터를 계산하는 방법을 표현한 도면.
도 6은 본 발명의 일 실시예에 따른 참조 레이어의 매크로블록 단위 복호화 예시도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 액세스 유닛 단위 처리를 이용한 SVC의 복호화 장치 블록도이며, 도 3은 SVC 영상의 액세스 유닛을 나타낸 도면이다.
액세스 유닛 단위 처리를 이용한 SVC의 복호화 장치는 액세스 유닛(access unit, AU) 단위로 복호화를 수행한다. AU 단위 복호화를 위해, 도 2에 도시된 바와 같이 AU 단위 처리를 이용한 SVC의 복호화 장치는 AU 추출부(AU extractor)(210)를 포함한다. AU 추출부(210)는 dq_id(=dependency_id*16 + quality_id)를 이용하여 SVC 영상 스트림에서 AU를 추출한다. 도 3에서 보이는 것과 같이, 하나의 AU는 동일 시간대의 모든 레이어의 슬라이스 NALU를 포함한다. AU 추출부(210)에 의해 AU가 추출되면, 레지듀얼 파악부(221)는 AU에 포함되는 모든 레이어를 분석하여, 레이어 복호화 시 필요한 정보를 얻는다. 즉, 레지듀얼 파악부(221)는 레이어 분석을 통하여 EL이 ILP를 위해 RL의 어떠한 정보를 참조하는지에 대해 파악하는 것이다.
레지듀얼 파악부(221)는 레이어의 모든 슬라이스 NALU 중에서 첫 번째 슬라이스 NALU에 대해서 NAL 헤더 및 슬라이스 헤더(slice header)를 해석(parsing)한다. 레지듀얼 파악부(221)는 해석된 NAL 헤더를 통해 그 레이어가 EL인지 아니면 RL인지를 확인할 수 있다. 또한 레지듀얼 파악부(221)는 해석된 슬라이스 헤더를 통해 레이어의 픽쳐 크기와 참조 레이어 식별자인 ref_layer_dq_id 및 변환 계수 레벨 예측 수행 여부를 나타내는 플래그 값인 tcoeff_level_prediction_flag의 값을 알 수 있다. 단, ref_layer_dq_id와 tcoeff_level_prediction_flag 값은 EL의 슬라이스 NALU인 경우에만 해당한다. NAL 헤더를 통해 그 레이어가 EL로 확인된 경우, 레지듀얼 파악부(221)는 해당 EL이 참조할 RL을 ref_layer_dq_id를 통해 찾는다. 그 다음, 레지듀얼 파악부(221)는 EL의 픽쳐 크기와 RL의 픽쳐 크기를 이용하여 EL의 레이어 타입을 구한다. 여기서 레이어 타입이란 EL이 spatial layer인지 quality layer인지를 나타내는 것이다. EL의 픽쳐 크기와 RL의 픽쳐 크기가 같을 경우는 quality layer가 되며, EL의 픽쳐 크기가 RL의 픽쳐 크기보다 클 경우 spatial layer가 된다.
EL의 레이어 타입과 EL 슬라이스 NALU의 tcoeff_level_prediction_flag 값을 통해, 레지듀얼 파악부(221)는 RL 복호화시 필요한 레지듀얼 데이터가 어떤 데이터인지 파악할 수 있다. 즉, 레지듀얼 파악부(221)는 EL의 레이어 타입이 quality layer이고 tcoeff_level_prediction_flag 값이 ‘1’인 경우 RL 복호화시 저장해야 할 레지듀얼 데이터는 TCL 데이터인 것으로 파악하고, EL의 레이어 타입이 quality layer이고 tcoeff_level_prediction_flag 값이 ‘0’인 경우 RL 복호화시 저장해야 할 레지듀얼 데이터는 TC 데이터인 것으로 파악한다. 그리고 레이어 타입이 spatial layer인 경우, 레지듀얼 파악부(221)는 RL 복호화시 저장해야 할 레지듀얼 데이터는 PR 데이터인 것으로 파악한다.
복호화부(222)는 AU를 구성하는 모든 슬라이스 NALU에 대해 복호화를 수행하는데, 하나의 슬라이스 NALU에 대해서는 매크로블록(macro block, MB) 단위로 복호화를 수행한다. 복호화부(222)는 RL의 MB 복호화 과정에서 레지듀얼 파악부(221)에 의해 파악된 레지듀얼 데이터만을 공용 레지듀얼 메모리(240)에 저장한다. 한편, EL이 quality layer이고 RL의 MB 타입이 인터(inter)인 경우, 복호화부(222)는 MB 복호화시 Inv-DCT를 생략한다. MB 타입이 인터인 경우는 RL의 픽셀 값을 복원하지 않으므로 PR 데이터를 필요로 하지 않게 되고, EL이 quality layer인 경우는 EL에서 PR 데이터를 참조하지 않기 때문이다. 따라서 이 경우는 Inv-DCT를 수행하지 않아도 된다. 또한 복호화부(222)는 레지듀얼 파악부(221)에 의해 파악된 레지듀얼 데이터가 TCL 데이터인 경우에만 MB의 인트라 모드(intra mode)를 저장한다. EL이 ILP를 위해 TCL 데이터를 필요로 하는 경우에만 RL의 인트라 모드를 참조하기 때문이다.
도 4는 본 발명의 일 실시예에 따른 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법 흐름도이다.
AU 단위 복호화를 위해, AU 추출부(210)는 SVC 영상 스트림에서 AU를 추출한다(S405). AU 추출부(210)에 의해 AU가 추출되면, 추출된 AU에 포함된 슬라이스 NALU의 개수가 몇 개인지 알 수 있다. 이하에서는 이 슬라이스 NALU의 개수를 numNALs로 표현한다. 이후 추출된 AU에 속하는 모든 레이어에 대한 복호화 수행은 레이어 분석(layer analysis)과 레이어 복호화(layer decoding)의 두 단계로 나뉜다. 우선 레이어 분석 단계에 대해 설명한다.
이 레이어 분석 단계에서는 복호화에 앞서, 하나의 AU에 포함되는 모든 레이어를 분석하여 복호화 단계에서 필요한 정보를 얻는다. 즉, 레이어 분석을 통하여 EL이 ILP를 위해 RL의 어떠한 정보를 참조하는지에 대해 파악하는 것이다. 우선 i에 ‘0’값이 주어지고 numNALs보다 작은지 비교한 후 i 값을 ‘1’ 증가시킨다(S410)(S415). i가 numNALs보다 작으면 추출된 AU에 아직 해석되지 않은 슬라이스 NALU 헤더가 존재함을 의미한다. i가 numNALs보다 작으면, AU 디코더(220)는 첫 번째 슬라이스 NALU인지 아닌지를 판단한다(S420). 첫 번째 슬라이스 NALU이면, AU 디코더(220)는 슬라이스 NALU의 NAL 헤더와 슬라이스 헤더를 해석(parsing)한다(S425). 그 다음, 해석된 NAL 헤더를 통해 EL인지 아닌지를 판단한다(S430). EL 슬라이스 NALU인 경우, AU 디코더(220)는 그 EL이 필요로 하는 RL의 레지듀얼 데이터를 파악하는 과정을 수행한다(S435). 그 과정은 다음과 같다.
우선, AU 디코더(220)는 해당 EL이 참조할 RL을 슬라이스 헤더 해석을 통해 확인된 ref_layer_dq_id를 통해 찾는다. 그 다음, AU 디코더(220)는 EL의 픽쳐의 크기와 RL의 픽쳐의 크기를 이용하여 EL의 레이어 타입을 구한다. RL에 대해서는 EL보다 우선적으로 분석 과정이 수행되므로, RL의 슬라이스 NALU의 슬라이스 헤더 해석으로부터 RL의 픽쳐 크기는 이미 알고 있게 된다. 그리고 레이어 타입이란 EL이 spatial layer인지 quality layer인지를 나타내는 것이다. EL의 픽쳐 크기와 RL의 픽쳐 크기가 같을 경우 quality layer, EL의 픽쳐 크기가 RL의 픽쳐 크기보다 클 경우 spatial layer가 된다.
EL의 레이어 타입이 확인되면, AU 디코더(220)는 EL의 레이어 타입과 슬라이스 헤더 해석을 통해 확인된 EL 슬라이스 NALU의 tcoeff_level_prediction_flag를 이용하여 RL 복호화시 필요한 세 개의 파라미터인 bStoreTCL, bStoreTC, bStorePR을 계산한다. bStroeTCL은 RL 복호화시 TCL 데이터를 저장할 것인지의 여부를 나타내고, bStoreTC는 RL 복호화시 TC 데이터를 저장할 것인지의 여부를 나타내며, bStorePR은 RL 복호화시 PR 데이터를 저장할 것인지의 여부를 나타낸다. 이 같은 세 개의 파라미터를 계산하는 방법은 도 5와 같다.
도 5에서 보이는 것과 같이, 세 개의 파라미터 중 오직 하나의 파라미터만이 “1”이 될 수 있다. 이는 RL 복호화시 세 개의 레지듀얼 데이터인 TCL 데이터, TC 데이터, PR 데이터 중 오직 하나의 레지듀얼 데이터만을 저장하여도 됨을 의미한다. 또한 도 5에서 bStroeTCL은 EL이 spatial layer이고 tcoeff_level_prediction_flag가 “1”일 때 값이 “1”로 설정됨을 보인다. 이러한 bStoreTCL의 값은 RL의 인트라 모드 전체 저장 여부를 결정할 수 있다.
한편, S415 과정에서 i가 numNALs 이상이 되면, AU 디코더(220)는 레이어 복호화 단계를 수행한다. 우선 i에 ‘0’값이 주어지고 numNALs보다 작은지 비교한 후 i 값을 ‘1’ 증가시킨다(S440)(S445). i가 numNALs보다 작으면 추출된 AU에 아직 디코딩되지 않은 슬라이스 NALU가 존재함을 의미한다. i가 numNALs보다 작으면, AU 디코더(220)는 첫 번째 슬라이스 NALU인지 아닌지를 판단한다(S450). 첫 번째 슬라이스 NALU이면 헤더가 이미 레이어 분석 단계에서 해석되었으므로, 헤더 해석 과정을 수행하지 않고 곧바로 복호화를 수행한다(S460). 첫 번째 슬라이스 NALU가 아니면 헤더를 해석한 후 복호화를 수행한다(S455)(S460).
도 6은 본 발명의 일 실시예에 따른 RL의 MB 단위 복호화 절차도이다.
우선 AU 디코더(220)는 MB를 해석하고, bStore TCL을 확인한다(S605)(S610). bStore TCL이 “1”로 설정되어 있으면, AU 디코더(220)는 TCL 데이터를 공용 레지듀얼 메모리(240)에 저장한다(S615). bStore TCL을 확인한 후, AU 디코더(220)는 Inv-Q를 수행하고, Inv-Q가 종료되면 bStoreTC를 확인한다(S620)(S625). bStoreTC가 “1”로 설정되어 있으면, AU 디코더(220)는 TC 데이터를 공용 레지듀얼 메모리(240)에 저장한다(S630). bStore TC를 확인한 후, AU 디코더(220)는 MB의 타입이 인트라(intra)인지 아니면 인터(inter)인지를 확인한다(S635). MB의 타입이 인트라이면, AU 디코더(220)는 Inv-DCT를 수행하고, 인트라 예측 및 복원(Intra prediction and Reconstruction) 과정을 수행한다(S640)(S645). MB의 타입이 인터인 경우, AU 디코더(220)는 bStorePR을 확인한다(S650). bStorePR이 “1”로 설정되어 있으면, AU 디코더(220)는 Inv-DCT를 수행한 후 PR 데이터를 공용 레지듀얼 메모리(240)에 저장한다(S655)(S660).
도 6을 통해 알 수 있듯이, RL 복호화시 TCL 데이터, TC 데이터, PR 데이터 중 하나만이 저장된다. 그리고 bStorePR의 값이 “1”이 아니고 해당 MB의 타입이 인터인 경우, PR 데이터가 필요 없게 된다. MB 타입이 인터인 경우는 RL의 픽셀 값을 복원하지 않으므로 PR 데이터를 필요로 하지 않게 되고, bStorePR이 “1”이 아닌 경우는 EL에서 PR 데이터를 참조하지 않기 때문이다. 따라서 이 경우는 Inv-DCT를 수행하지 않아도 된다. 따라서 본 발명에 따르면, RL 복호화시 TCL 데이터, TC 데이터, PR 데이터 중 어느 하나의 레지듀얼 데이터만을 저장하면 되므로, 메모리 접근에 의한 연산량 부하를 줄일 수 있고, 불필요한 Inv-DCT 연산을 없앨 수 있다. 또한 도 6에서 보이는 것과 같이, 하나의 공유 레지듀얼 메모리를 이용하여 SVC 영상 스트림을 복호화할 수 있다. 또한 RL 복호화시 bStoreTCL 값이 “1”이 될 경우에만 MB의 인트라 모드를 저장한다. 이는 bStoreTCL 값이 “1”이 될 경우에만, EL에서 RL의 인트라 모드를 참조하기 때문이다. 이 같이 일부의 경우에만 인트라 모드를 저장하므로, 메모리 접근의 수와 메모리 소비량을 줄일 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
210 : AU 추출부 220 : AU 디코더
221 : 레지듀얼 파악부 222 : 복호화부
230 : 공용 레지듀얼 메모리

Claims (8)

  1. 스케일러블 비디오 코딩 영상 스트림에서 액세스 유닛(access unit)을 추출하는 단계;
    상기 추출된 액세스 유닛에 포함된 모든 레이어를 분석하여, 참조 레이어(reference layer)의 레지듀얼(residual) 데이터들 중 상위 레이어(enhancement layer)의 레이어간 예측(inter layer prediction)을 위한 레지듀얼(residual) 데이터를 파악하는 단계; 및
    상기 참조 레이어를 복호화시 상기 파악된 레지듀얼 데이터만을 공용 레지듀얼 메모리에 저장하는 복호화 단계;
    를 포함하는 것을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법.
  2. 제1항에 있어서, 상기 레지듀얼 데이터를 파악하는 단계는 :
    상기 추출된 액세스 유닛에 포함되는 레이어를 구성하는 모든 슬라이스 NALU(network abstraction layer unit) 중에서 첫 번째 슬라이스 NALU의 헤더를 해석하는 단계;
    상기 해석된 NAL 헤더를 통해 상위 레이어로 확인되면, 상기 해석된 슬라이스 헤더를 통해 레이어 타입을 파악하는 단계; 및
    상기 파악된 레이어 타입과 상기 첫 번째 슬라이스 NALU의 슬라이스 헤더 해석을 통해 파악된 변환 계수 레벨 예측 수행 여부를 나타내는 값을 통해 상기 참조 레이어의 레지듀얼 데이터를 파악하는 단계;
    를 포함하는 것을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법.
  3. 제2항에 있어서, 상기 레이어 타입을 파악하는 단계는 :
    상기 첫 번째 슬라이스 NALU의 슬라이스 헤더 해석을 통해 파악된 상기 상위 레이어의 픽쳐 크기와 상기 추출된 액세스 유닛을 구성하는 참조 레이어 NALU의 슬라이스 헤더 해석을 통해 파악된 상기 참조 레이어의 픽처 크기를 비교하는 단계; 및
    상기 비교 결과 상기 상위 레이어의 픽쳐 크기와 상기 참조 레이어의 픽처 크기가 같을 경우는 상기 상위 레이어가 퀄리티 레이어(quality layer)인 것으로 판단하고, 상기 상위 레이어의 픽쳐 크기가 상기 참조 레이어의 픽처 크기보다 클 경우는 상기 상위 레이어가 공간 레이어(spatial layer)인 것으로 판단하는 단계;
    를 포함하는 것을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법.
  4. 제1항에 있어서,
    상기 복호화 단계는 상기 상위 레이어가 퀄리티 레이어이고 상기 참조 레이어의 복호화 단위인 매크로블록의 타입이 인터(inter)인 경우, 역 이산 코사인 변환(inverse discrete cosine transform)을 생략함을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법.
  5. 제1항에 있어서,
    상기 복호화 단계는 상기 파악된 레지듀얼이 TCL(transform coeffcient level) 데이터인 경우에만 상기 참조 레이어의 복호화 단위인 매크로블록의 인트라 모드를 저장함을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 방법.
  6. 참조 레이어(reference layer)의 레지듀얼(residual) 데이터를 저장하기 위한 공용 레지듀얼 메모리;
    스케일러블 비디오 코딩 영상 스트림에서 액세스 유닛(access unit)을 추출하는 액세스 유닛 추출부;
    상기 추출된 액세스 유닛에 포함된 모든 레이어의 첫 번째 슬라이스 NALU 헤더를 분석하여, 참조 레이어(reference layer)의 레지듀얼 데이터들인 TCL(transform coeffcient level) 데이터와 TC(transform coefficient) 데이터 및 PR(pixel residual) 데이터 중 상위 레이어(enhancement layer)의 레이어간 예측(inter layer prediction)을 위한 레지듀얼 데이터를 파악하는 레지듀얼 파악부; 및
    상기 참조 레이어를 복호화시 상기 파악된 레지듀얼 데이터만을 상기 공용 레지듀얼 메모리에 저장하는 복호화부;
    를 포함하는 것을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치.
  7. 제6항에 있어서,
    상기 복호화부는 상기 상위 레이어가 퀄리티 레이어(quality layer)이고 상기 참조 레이어의 복호화 단위인 매크로블록의 타입이 인터(inter)인 경우, 그 매크로블록 복호화시 역 이산 코사인 변환(inverse discrete cosine transform)을 생략함을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치.
  8. 제6항에 있어서,
    상기 복호화부는 상기 파악된 레지듀얼 데이터가 TCL(transform coeffcient level) 데이터인 경우에만 상기 참조 레이어의 복호화 단위인 매크로블록의 인트라 모드(intra mode)를 저장함을 특징으로 하는 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치.
KR1020100134597A 2010-12-24 2010-12-24 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법 KR101212227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100134597A KR101212227B1 (ko) 2010-12-24 2010-12-24 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100134597A KR101212227B1 (ko) 2010-12-24 2010-12-24 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120072718A KR20120072718A (ko) 2012-07-04
KR101212227B1 true KR101212227B1 (ko) 2012-12-13

Family

ID=46707357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100134597A KR101212227B1 (ko) 2010-12-24 2010-12-24 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101212227B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140048802A (ko) * 2012-10-08 2014-04-24 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2014092445A2 (ko) * 2012-12-11 2014-06-19 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
CN105308964A (zh) * 2013-04-12 2016-02-03 三星电子株式会社 用于随机访问的多层视频编码方法及其装置以及用于随机访问的多层视频解码方法及其装置
KR20150064678A (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Also Published As

Publication number Publication date
KR20120072718A (ko) 2012-07-04

Similar Documents

Publication Publication Date Title
US10972733B2 (en) Look-up table for enhanced multiple transform
US10142652B2 (en) Entropy coding motion vector residuals obtained using reference motion vectors
US9172954B2 (en) Hybrid memory compression scheme for decoder bandwidth reduction
US9326003B2 (en) Methods and apparatus for video encoding and decoding using adaptive geometric partitioning
KR101571573B1 (ko) 부가적인 정보 역량을 이용한 멀티미디어 코딩 및 디코딩
US8121196B2 (en) Method and apparatus for multi-threaded video decoding
US8625670B2 (en) Method and apparatus for encoding and decoding image
US8588313B2 (en) Scalable video coding method and apparatus and scalable video decoding method and apparatus
US20050276326A1 (en) Advanced video coding intra prediction scheme
US20090161762A1 (en) Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
KR101459397B1 (ko) 움직임 보상 비디오 코딩에 있어서, 이미지 블록들을 비교하기 위한 메트릭을 결정하는 방법 및 시스템
JP2018530970A (ja) 階層的分割内でのブロックレベルの変換選択および黙示的シグナリングを伴う変換コーディングのための方法および装置
US8358700B2 (en) Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
KR20180069905A (ko) 기준 프레임 버퍼 추적을 통한 모션 벡터 기준 선택
KR101212227B1 (ko) 액세스 유닛 단위 처리를 이용한 스케일러블 비디오 코딩의 복호화 장치 및 방법
US20170019679A1 (en) Hybrid video decoding apparatus for performing hardware entropy decoding and subsequent software decoding and associated hybrid video decoding method
WO2008082099A1 (en) Method and apparatus for determining coding for coefficients of residual block, encoder and decoder
US9602841B2 (en) System and method for decoding scalable video coding
US20150023432A1 (en) Scalable video-encoding method and apparatus, and scalable video-decoding method and apparatus
Su et al. A practical design of high-volume steganography in digital video files
Borges et al. Fast HEVC-to-AV1 transcoding based on coding unit depth inheritance
US20130230108A1 (en) Method and device for decoding a bitstream
KR20130006578A (ko) 비표준 벡터 양자화 코더를 이용한 비디오 표준을 따르는 레지듀얼 코딩
BR112014029982B1 (pt) Dispositivoe método de decodificação preditiva de vídeo e meio de armazenamento legível por computador

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee