KR20110052203A - 스케일러블 영상 코딩 방법 및 장치 - Google Patents

스케일러블 영상 코딩 방법 및 장치 Download PDF

Info

Publication number
KR20110052203A
KR20110052203A KR1020090109148A KR20090109148A KR20110052203A KR 20110052203 A KR20110052203 A KR 20110052203A KR 1020090109148 A KR1020090109148 A KR 1020090109148A KR 20090109148 A KR20090109148 A KR 20090109148A KR 20110052203 A KR20110052203 A KR 20110052203A
Authority
KR
South Korea
Prior art keywords
upsampling
intra
macroblock
block
layer
Prior art date
Application number
KR1020090109148A
Other languages
English (en)
Other versions
KR101066117B1 (ko
Inventor
김용환
이주영
김제우
최병호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020090109148A priority Critical patent/KR101066117B1/ko
Priority to US12/642,310 priority patent/US8559506B2/en
Publication of KR20110052203A publication Critical patent/KR20110052203A/ko
Application granted granted Critical
Publication of KR101066117B1 publication Critical patent/KR101066117B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 영상 코딩 방법이 개시된다. 본 발명의 일면에 따른 스케일러블 영상 코딩 방법은 인핸스먼트 레이어(enhancement layer)를 매크로블록 단위로 분할하고, 매크로블록의 베이스모드 플래그(base_mode_flag) 또는 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우, 인핸스먼트 레이어의 블록 업샘플링에 참조될 레퍼런스 레이어(reference layer)의 참조블록 좌표값을 산출하고, 이를 이용하여 인핸스먼트 레이어의 매크로블록을 업샘플링하는 단계 및 업샘플링된 매크로블록을 코딩하는 단계를 포함한다. 본 발명에 따르면, 스케일러블 영상 코덱의 실행 속도를 높일 수 있고, 스케일러블 영상의 공간 레이어간 예측에 필요한 메모리 사용량을 절감시킬 수 있다.
H.264 AVC, SVC, intra up-sampling, residual up-sampling

Description

스케일러블 영상 코딩 방법 및 장치{METHOD AND APPARATUS FOR SCALABLE VIDEO CODING}
본 발명은 스케일러블 영상 코딩 방법 및 장치에 관한 것으로서, 복호화 및 부호화 속도를 향상시키고 메모리 사용량을 절감시킬 수 있는 매크로블록 기반의 스케일러블 영상 코딩 방법 및 장치에 관한 것이다.
최근의 유비쿼터스 환경에서 다양한 네트워크를 통하여, 다양한 단말기를 대상으로 하는 영상 커뮤니케이션 서비스, 예를 들면 IPTV, 모바일 IPTV, 모바일 방송 등에 관심이 높아졌다. 이러한 산업계의 요구에 부응하기 위하여, 하나의 영상 스트림 내에서 공간적, 시간적, 화질적 스케일러블 기능을 지원하는 Scalable Video Coding(SVC)이 H.264/AVC(Advanced Video Coding)의 amendment 3으로서 2007년 말에 표준화 되었다.
기존 H.264/AVC과 SVC(Scalable Video Coding)의 가장 큰 차이점 중의 하나는 SVC에 인터계층 예측(inter-layer prediction)이 추가된 점이다. 따라서 SVC가 기존의 단일 레이어 코딩과 비교하여 추가되는 연산량 및 메모리는 inter-layer prediction을 위해 필요한 intra, residual, motion up-sampling 연산에 의한 것이 대부분이다.
H.264/AVC SVC에는 기존의 H.264/AVC 표준에 3개의 profiles 즉, Scalable Baseline, Scalable High, and Scalable High Intra 이 추가되었다. Scalable High profile이 Scalable Baseline profile과 차별화되는 가장 큰 특징은 인터레이스 코딩 툴(interlaced coding tools) 및 확장된 공간 스케일러빌러티(extended spatial scalability : 이하 'ESS'라 함)를 지원하는 것이다. SVC는 H.264 AVC 표준의 아넥스(Annex) G에 기술되고 있고, 베이스 레이어 매크로블록 및 인핸스먼트(Enhancement) 레이어 매크로블록의 에지 정렬(alignment)이 유지되지 않는 상황들에서 신호들의 인코딩 및 디코딩을 위해 제공되는 확장된 공간 스케일러빌러티(extended spatial scalability: ESS) 특징을 포함한다. 한편, 공간(spatial) 스케일링이 2의 비율(ratio)로 수행되고, 매크로 블록의 에지가 상이한 레이어들을 통해 정렬될 때, 이것은 ESS의 특별한 케이스로 간주되며, DSS(Dyadic Spatial Scalability)라 한다.
ESS는 레이어간 임의의 스케일링 비율과 임의의 cropping offset을 지원하는 기능이다. 특히, 16:9 화면비를 가지는 full HD 영상과 4:3의 화면비를 가지는 VGA 및 QVGA 급의 모바일 영상을 단 한 번의 인코딩으로 동시에 지원하려면, ESS가 포함되는 H.264/AVC Scalable High profile을 이용하여야 한다. 그러나 ESS의 경우 up-sampling 연산에 의한 부하가 증가하므로 실시간 서비스를 위한 고속 up-sampling 알고리즘이 필수 사항이다. 또한, 모바일을 비롯한 다양한 멀티미디어 단말기에서 서비스하기 위해서는 메모리 사용량을 최소화할 필요성이 크다.
이와 관련하여 Joint Scalable Video Model 11(JSVM 11)은 H.264/AVC SVC 표준을 바탕으로 구현된 것으로서, ESS에서의 inter-layer prediction을 위한 인트라(intra) 및 레지듀얼(residual) 업샘플링(up-sampling) 방법이 개시되어 있다. JSVM 11에서 사용된 인트라 업샘플링 및 레지듀얼 업샘플링은 레퍼런스 레이어(reference layer:RL)를 픽처(picture) 단위로 업샘플링하는 Picture-based Intra Up-Sampling(PIC-IUS) 및 Picture-based Residual Up-Sampling(PIC-RUS) 방법을 사용한다. 도 1에 도시된 JSVM 11의 업샘플링 방법은 RL 픽처를 디코딩하고(S11) 인핸스먼트 레이어 슬라이스 헤더를 파싱(enhancement layer(EL) slice header parsing)(S12)한 후 픽처기반의 인트라 업샘플링(picture based Intra up-sampling)을 수행한다(S13). 그 후 EL 슬라이스가 인트라(intra)이면(S14) EL 디코딩을 수행하고(S16), 인트라가 아니면 즉, 인터(inter)이면 레지듀얼 업샘플링(S15) 후에 EL 디코딩을 수행한다(S16).
JSVM 11에서는 도 1에 도시된 바와 같이 RL 픽처를 디코딩하고 EL slice header parsing(S12)한 후에 업샘플링 연산(S13)을 수행하기 때문에, 업샘플링 연산을 수행할 때 실제 EL 디코딩시에 업샘플링된 RL 픽처의 어떤 부분을 참조하는지 알 수 없다. 따라서 JSVM 11에서는 미리 picture 단위로 모든 픽셀(pixel)에 대하여 업샘플링을 수행하여 메모리에 저장한 후, EL 픽처를 디코딩할 때 업샘플링된 픽처의 일부만을 참조하여 사용하게 된다. 한편, 레지듀얼 업샘플링의 경우에는 인트라 슬라이스에서는 레지듀얼 예측(residual prediction)을 수행하지 않기 때문에, 도 1과 같이 inter slice인 경우에만 픽처 단위로 업샘플링을 수행한다. 즉, JSVM 11에 개시된 업샘플링 방법은 EL 픽처의 디코딩 과정에서 실제 up-sampled RL 픽처의 참조 여부와 관계없이, picture 단위로 up-sampling을 수행하기 때문에, EL에서 RL을 참조하지 않는 경우에 대해서도 up-sampling을 수행하여, 불필요한 연산을 수행하는 문제점이 있다.
실제로 EL inter picture에서는 계층 간 인트라 예측(inter-layer intra prediction)의 발생 빈도가 매우 적고, 인트라 픽처(intra picture)에서도 ESS를 포함하는 3-layer(SIF/SD/Full-HD)에서는 inter-layer intra prediction의 발생 빈도가 평균 약 70% 정도에 불과하다. 또한, EL inter picture에서의 residual prediction의 발생 빈도도 평균 10~30% 정도에 불과하다. 따라서 EL에서 참조하지 않는 RL sample에 대해 up-sampling을 수행하는 경우 영상의 크기가 커짐에 따라 불필요한 연산량 부하가 발생하는 문제가 있다.
한편, 도 2에 도시된 SVC 업샘플링 연산 속도를 최적화하기 위한 DSS에서의 고속 인트라 업샘플링 방법은 RL 픽처의 모든 픽셀(pixel)에 대하여 업샘플링하지 않고, 인트라 픽셀에 대해서만 업샘플링하여 연산량을 줄이고자 한 것이다. 도 2에 도시된 바에 따르면, 디코딩된 베이스 레이어(Base Layer:BL)가 인트라 프레임이면(S30), 전체 프레임에 대하여 업샘플링 연산을 수행하고(S31) 그렇지 않으면 상기 프레임에 인트라 매크로블록(intra Macroblock: intra MB)이 포함되어 있는지 판단한다.(S40), 상기 판단결과 intra MB가 포함된 경우 BL의 각 MB에 대하여 현재 MB 또는 이웃하는 MB가 인트라이면(S42) 현재 MB(current MB)를 업샘플링한다. BL의 모든 MB에 대하여 상기와 같은 과정의 반복이 끝나면 BL의 업샘플링된 픽처가 만들어지고(S50) 그 후에 EL을 디코딩한다(S60).
도 2에 도시된 방법을 도 3을 참조하여 설명하면, RL 픽처의 디코딩이 끝난 후 RL 픽처에서 MB 단위로 루프(loop)를 돌면서 현재 MB(도 3의 Cur MB)를 포함한 이웃하는 4개의 MB(도 3의 Left, Right, Top, Bottom MB)중 적어도 하나가 intra MB이면 Cur MB를 업샘플링하고, 그렇지 않으면 현재 MB의 업샘플링과정을 스킵하는 방식이다.
도 2 및 도 3에 도시된 업샘플링 방법은 MB단위로 루프를 돌면서 선택적으로 인트라 업샘플링을 수행하여 연산량을 줄인다. 그러나, 이와같은 방법은 DSS 경우에만 적용 가능하고, 메모리 절감 효과가 없다. 또한 레지듀얼 업샘플링에는 적용하지 못하고 인트라 업샘플링에만 적용가능할 뿐이다. 또한 RL 픽처의 MB 정보를 기반으로 하기 때문에, 실제 EL에서 참조하는 부분과 차이가 있을 수 있다. 즉, EL에서 참조하지 않는 MB도 불필요하게 업샘플링하여 불필요한 연산량이 많아질 확률이 큰 문제점이 있다.
즉, 종래에는 EL 업샘플링 과정에서 참조되는 RL 블록만을 찾아서 인트라 업샘플링 및 레지듀얼 업샘플링을 수행함으로써 연산량을 줄이고 메모리 운용의 효율성을 제고하는 방법 또는 장치가 존재하지 않았다.
본 발명의 목적은 스케일러블 영상 코덱의 실행 속도를 높일 수 있고, 스케일러블 영상의 공간 레이어간 예측에 필요한 메모리 사용량을 절감시킬 수 있는 스케일러블 영상 코딩 방법을 제공하는 것이다.
본 발명의 다른 목적은 스케일러블 영상 실행 속도를 높일 수 있고, 스케일러블 영상의 공간 레이어 간 예측에 필요한 메모리 사용량을 절감시킬 수 있는 스케일러블 영상 코딩 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 스케일러블 영상 실행속도를 높이고 메모리 사용량을 절감시킬 수 있는 스케일러블 영상 코딩방법을 실행하기 위한 프로그램이 기록된 기록매체를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 스케일러블 영상 코딩방법은 입력 영상 신호로부터 베이스 레이어(Base layer)와 인핸스먼트 레이어(Enhancement layer)를 생성하는 단계와, 인핸스먼트 레이어를 매크로블록(Macro block) 단위로 분할하는 단계와, 매크로블록의 베이스모드 플래그(base_mode_flag) 또는 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우, 레퍼런스 레이 어의 블록 중에서 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 이용하여 레퍼런스 레이어의 블록을 업샘플링(up-sampling)하는 단계 및 업샘플링된 매크로블록을 코딩하는 단계를 포함한다.
업샘플링하는 단계는 인트라 업샘플링 단계와 레지듀얼 업샘플링 단계로 구분되며, 상기 인트라 업 샘플링 단계는 다시 제1 인트라 업샘플링 단계와 제2 인트라 업샘플링 단계로 구분된다.
제1 인트라 업샘플링 단계는 상기 매크로블록의 베이스모드 플래그가 1이고, 업샘플링에 참조하는 레퍼런스 레이어의 매크로블록 중에서 인핸스먼트 레이어 내의 현재 코딩되는 매크로블록의 위치와 동일한 위치에 대응하는 레퍼런스 레이어 내의 대응블록의 타입이 인트라(intra)인 경우, 인터레이어 예측(inter-layer prediction)을 위하여 레퍼런스 레이어의 대응블록을 인트라 업샘플링(intra up-sampling)한다.
제2 인트라 업샘플링 단계는 상기 매크로블록의 베이스모드 플래그가 1이고, 업샘플링에 참조하는 레퍼런스 레이어의 매크로블록 중에서 인핸스먼트 레이어 내의 현재 코딩되는 매크로블록의 위치와 동일한 위치에 대응하는 레퍼런스 레이어 내의 대응블록의 타입이 인트라(inter)인 경우, 레퍼런스 레이어의 매크로 블록에 적어도 하나의 인트라 픽셀이 포함되어 있는 경우에 레퍼런스 레이어의 대응블록을 인트라 업샘플링 한다.
제1 인트라 업샘플링 및 제2 인프라 업샘플링을 포함하여 인트라 업샘플링하는 단계는 인트라 업샘플링에 참조되는 레퍼런스 레이어의 참조블록 좌표를 산출하 는 단계 및 참조블록의 좌표에 기초하여 인핸스먼트 레이어의 매크로블록을 업샘플링하는 단계를 포함한다.
한편, 본 발명에 따른 스케일러블 영상 코딩 방법은 레퍼런스 레이어 픽처(picture)를 디코딩하는 단계 및 레퍼런스 레이어 픽처가 인트라 슬라이스(intra slice) 이면 픽처를 경계 패딩(boundary padding) 하는 단계를 더 포함할 수 있다.
레퍼런스 레이어 픽처가 인트라 슬라이스가 아닌 경우, 레퍼런스 레이어 픽처의 인트라 매크로블록들의 모든 경계를 패딩하는 단계를 포함한다.
참조블록 좌표를 산출하는 단계는 코딩되는 인핸스먼트 레이어의 매크로블록에 대응하는 레퍼런스 레이어의 블록좌표를 산출하는 단계 및 산출된 레퍼런스 레이어의 블록좌표를 이용하여 상기 인트라 업샘플링에 참조되는 상기 레퍼런스 레이어 블록좌표를 산출하는 단계를 포함한다.
인트라 업샘플링은 인트라 루마(luma)샘플을 업샘플링하는 것을 특징으로 한다.
상기 루마 샘플은 4-탭 필터(4-tap filter)를 사용하여 업샘플링할 수 있다.
인트라 업샘플링은 인트라 크로마(chroma)샘플을 업샘플링하는 것을 특징으로 한다.
상기 크로마샘플을 2-탭 바이리니어 필터(2-tap bilinear filter)를 사용하여 업샘플링할 수 있다.
매크로블록을 업샘플링하는 단계는 참조블록의 좌표값을 이용하여 매크로블록을 수평(horizontal) 업샘플링하는 단계 및 참조블록의 좌표값을 이용하여 상기 매크로블록을 수직(vertical) 업샘플링하는 단계를 포함한다.
상기 수평 업샘플링 및 수직 업샘플링은 루마 샘플과 크로마 샘플에 대하여 각각 수행될 수 있다.
매크로블록의 레지듀얼 예측 플래그가 1인 경우, 매크로블록의 레지듀얼 업샘플링(residual up-sampling) 단계를 포함한다.
레지듀얼 업샘플링 단계는 TransBlkIdc값을 참조하여 상기 인핸스먼트 레이어의 매크로블록을 레지듀얼 업샘플링한다.
TransBlkIdc값은 4×4 픽셀 블록마다 서로 다른 TransBlkIdc값을 저장하는 TransBlkIdc메모리에 저장될 수 있다.
TransBlkIdc 메모리에 저장되는 TransBlkIdc값은 루마 샘플에 대해서 계산된 값이며, 크로마 샘플에 대해서는 상기 TransBlkIdc값을 계산 및 저장하지 않는다.
레지듀얼 업샘플링단계는 인핸스먼트 레이어의 매크로블록이 루마 샘플인 경우, 트랜스폼 블록(transform block) 경계에서 상기 TransBlkIdc값을 참조하고, 크로마샘플인 경우, TransBlkIdc값을 참조하지 않는 것을 특징으로 한다.
상기 레지듀얼 업샘플링 전에 레퍼런스 레이어 픽처를 디코딩하는 단계와, 레퍼런스 레이어 픽처를 경계 패딩하는 단계를 포함할 수 있다.
전술한 코딩은 인코딩 또는 디코딩을 포함한다.
본 발명의 다른 면에 따른 스케일러블 영상 코딩 장치는 영상 신호를 입력받아 베이스 레이어와 인핸스먼트 레이어를 생성하는 다운 샘플링부, 매크로블록 단위로 분할된 인핸스먼트 레이어에 있어서, 매크로블록의 타입을 판단하는 매크로블 록 타입 판단부, 매크로블록 타입 판단결과, 매크로블록의 베이스모드 플래그(base_mode_flag)가 1이고 레퍼런스 레이어의 동일 위치의 매크로블록이 인트라인 경우 매크로블록을 인트라 업샘플링시키는 인트라 업샘플링부와, 매크로블록 타입 판단결과, 매크로블록의 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우 매크로블록을 레지듀얼 업샘플링시키는 레지듀얼 업샘플링부 및 업샘플링된 매크로블록을 코딩하는 코딩부를 포함한다.
상기 스케일러블 영상 코딩장치는 인핸스먼트 레이어의 업샘플링에 참조되는 레퍼런스 레이어의 픽처가 인트라 슬라이스(intra slice)이면 상기 픽처를 경계 패딩하고, 인터 슬라이스(inter slice)이면 상기 픽처내의 인트라 매크로블록들의 모든 경계를 패딩하는 전처리부를 더 포함할 수 있다.
인트라 업샘플링부는 인핸스먼트 레이어의 업샘플링에 참조되는 레퍼런스 레이어의 블록 중에서 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 산출하는 참조블록 좌표값 산출부와, 루마(luma)샘플을 업샘플링하는 4-탭 필터(4-tap filter) 및 크로마 샘플을 업샘플링하는 2-탭 필터(2-tap filter)를 포함한다.
레지듀얼 업샘플링부는 상기 참조블록 좌표값 산출부와, 루마 샘플 및 크로마샘플 업샘플링하는 2-탭 바이리니어 필터(2-tap bilinear filter) 및 인핸스트먼트 레이어의 매크로 블록이 루마 샘플인 경우 변환블록(transform block)의 경계에서 참조하는 TransBlkIdc값을 4×4 픽셀 블록마다 서로 다른 값으로 저장하는 TransBlkIdc메모리를 포함한다.
본 발명의 또 다른 면에 따르면 기록매체는 입력 영상 신호로부터 베이스 레이어(Base layer) 인핸스먼트 레이어(Enhancement layer)를 생성하는 단계와, 인핸스먼트 레이어를 매크로블록(Macro block) 단위로 분할하는 단계와 매크로블록의 베이스모드 플래그(base_mode_flag) 또는 레지듀얼 예측플래그(residual_prediction_flag)가 1인 경우, 레퍼런스 레이어의 블록 중에서 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 이용하여 상기 매크로블록을 업샘플링(up-sampling)하는 단계 및 업샘플링된 매크로블록을 코딩하는 단계를 포함하여 스케일러블 영상 코딩 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체이다.
본 발명에 따르면, 스케일러블 영상코덱의 실행속도를 높일 수 있다. 예컨대, 복호화기의 경우 60% 이상의 속도를 향상시킨다.
또한, 스케일러블 영상의 공간 레이어 간 예측에 필요한 메모리 사용량을 절감시킬 수 있다.
한편, 본 발명에 따른 스케일러블 영상 코딩 방법은 인코딩 및 디코딩 과정에 모두 적용할 수 있다.
또한, 본 발명의 실시예들은 확장된 공간 스케일러빌러티(ESS)에서 매크로블록에 대한 인터계층 예측(inter layer prediction)을 개선할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 코딩 장치의 개략적인 구성 블록도이다.
도 4를 참조하면, 일 실시예에 따른 스케일러블 코딩 장치는 픽처(picture) 단위 처리과정과 매크로블록(Macroblock: 이하'MB'라 함) 단위 처리과정을 분리하여 수행한다. 즉, 전처리부(240)에서 비교적 낮은 복잡도의 전처리 과정을 픽처단위로 수행하고, 업샘플링부(200)에서 높은 복잡도와 많은 메모리가 필요한 업샘플링 과정을 수행하기 위하여 본 발명에 따른 스케일러블 코딩장치는 다운 샘플링부(100), 전처리부(240), 업샘플링부(200), 및 코딩부(300)를 포함한다.
스케일러블 영상 코딩 방식은 영상신호를 인코딩함에 있어, 최고 화질로 인코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. 그런데, 스케일러블 방식으로 인코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리해도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 큰 문제점을 해결하기 위해 낮은 전송률 을 위한 별도의 보조 픽처 시퀀스, 예컨대 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 적어도 하나 이상의 레이어로서 계층적 구조로 제공할 수 있다.
2개의 시퀀스를 가정할 때, 보조 시퀀스(하위 시퀀스)를 베이스 레이어(base layer: 이하 'BL' 이라 함)로, 주 픽처 시퀀스(상위시퀀스)를 인핸스먼트(enhanced)(또는 인핸스먼트(enhancement): 이하 'EL' 이라 함) 레이어라 한다. 베이스 레이어와 인핸스먼트 레이어는 동일한 영상신호원을 인코딩하는 것이므로 양 레이어의 영상 신호에는 잉여정보(리던던시(redundancy))가 존재한다. 따라서 인핸스먼트 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 코딩된 정보(모션정보 또는 텍스처(texture) 정보 등)를 이용하여 인핸스먼트 레이어의 영상신호를 코딩한다.
다운 샘플링부(100)는 고 해상도의 영상을 저 해상도로 변환하는 장치로서,영상 신호를 입력받아서 BL과 EL을 생성한다. 영상 데이터의 스케일러블(Scalable) 인코딩은 디코더가 인코딩된 비트스트림의 일부분만을 선택적으로 디코딩하는 것을 가능하게 한다. 상기 다운 샘플링과정은 바이리니어 인터폴레이션이 사용될 수 있다.
코딩되는 스트림은 여러 개의 레이어가 배열되어 있는데, BL과 하나 또는 그 이상의 EL을 포함한다. 즉, 다운 샘플링부(100)는 동영상을 구성하는 원본 영상들 중 현재 입력된 원본 영상을 다운 샘플링(down sampling)함으로써 기본 영상(BL)을 생성한다. 예컨대, 원본 영상의 해상도가 HD(High Definition) 또는 CIF(Common Intermediate Format) 인 경우, 다운 샘플링부(100)는 HD 원본 영상 또는 CIF 원본 영상을 다운 샘플링함으로써 SD(Standard Definition) 기본 영상 또는 QCIF(Quarter CIF) 기본 영상을 생성한다.
전처리부(240)는 업샘플링 동작 전에 수행되는데, 인트라 업샘플링을 위해서 MB 경계 패딩(padding)과 픽처 경계 패딩을 수행하고, 레지듀얼 업샘플링을 위해서 TransBlkIdc값을 생성하며, 레지듀얼 픽처의 경계패딩을 수행한다.
전처리부(240)는 인트라 업샘플링 과정에서 참조되는 레퍼런스 레이어(reference layer: 이하 'RL' 이라 함)의 레지듀얼 픽처는 RL이 인터 슬라이스(inter slice)이면 픽처 경계 패딩을 수행하며, TransBlkIdc는 루마에 대해서는 4×4 블록단위로 계산된다. 즉, 복잡도가 낮은 부분에 대해서 픽처단위로 전처리를 수행한다. 종래에는 확장된 공간 스케일러빌러티(ESS)에서의 인터 예측을 위한 인트라 업샘플링(intra up sampling) 및 레지듀얼 업샘플링(residual up sampling)에 있어서 RL을 픽처단위로 업샘플링하였으나 본 발명에서는 경계 패딩 및 TransBlkIdc 계산과정의 전처리 과정만을 픽처 단위로 수행하고 복잡도가 높은 인트라 및 레지듀얼 업샘플링은 MB 단위로 수행한다.
업샘플링부(200)는 전처리된 RL의 정보를 바탕으로 하여 EL에서 필요한 경우에만 MB 단위의 업샘플링을 수행한다. 업샘플링부(200)는 매크로블록 타입 판단부(210), 인트라 업샘플링부(220), 레지듀얼 업샘플링부(230)을 포함한다. 본 발명에서는 EL에서 참조하지 않는 RL의 블록들에 대해서 업샘플링 과정을 스킵하기 위해서는 실질적으로 RL 블록들 중에서 EL에서 업샘플링할 때 참조하는 블록들을 먼저 판단할 필요가 있다.
매크로블록 타입 판단부(210)는 EL에서 업샘플링을 수행할 때 참조되는 RL의 블록들을 판단한다. EL의 MB 타입을 판단하여 MB 타입이 "I_BL" 이거나 "combined prediction MB" 인지를 판단한다. MB 타입이 "I_BL" 이거나 "combined prediction MB"인 경우에만 업샘플링을 수행하고, 그렇지 않은 경우에는 업샘플링을 수행하지 않는다. 따라서 인트라 업샘플링 처리속도를 향상시킬 수 있다. "I_BL"은 H.264/AVC SVC 표준에서 베이스모드 플래그("base_mode_flag")가 1인 동시에 참조하는 RL의 동일 위치의 매크로블록의 타입이 인트라(intra)인 MB를 나타낸다. 또한, "combined prediction MB"는 EL 매크로블록의 베이스모드 플래그가 1인 동시에 참조하는 RL의 동일위치의 매크로블록의 타입이 인터(inter)이고, RL 매크로블록의 일부 영역이 인트라샘플(intra sample)을 포함하는 경우를 나타낸다.
베이스모드 플래그는 H.264/AVC 표준의 아넥스(Annex) G에서 인핸스먼트 레이어 매크로블록을 위해 정의된 플래그이다. 이 플래그가 1인 경우 인핸스먼트 레이어의 매크로블록의 유형, 모드 및 모션 벡터들이 레퍼런스 레이어의 MB들로부터 완전하게 예측된다.
MB 타입이 "I_BL" 이거나 "combined prediction MB"인 경우에는 인트라 업샘플링을 수행하고, 레지듀얼 예측 플래그 "residual_prediction_flag" 가 1인 경우에는 레지듀얼 업샘플링을 함께 수행한다. "I_BL"에서는 레지듀얼 예측 플래그가 항상 0이다. 본 발명에서는 MB 타입이 "I_BL"일 때 수행하는 인트라 업샘플링을 제1 인트라 업샘플링이라하고, 상기 MB 타입이 "combined prediction MB"일 때 수행하는 인트라 업샘플링을 제2 인트라 업샘플링이라 한다. MB 타입이 "I_BL"인 제1 인트라 업샘플링은 DSS 및 ESS 모든 경우에 대하여 수행되고, MB 타입이 "combined prediction MB"인 제2 인트라 업샘플링은 ESS 인 경우에만 수행된다.
도 5는 도 4에 도시된 스케일러블 코딩 장치의 인트라 업샘플링부의 개략적인 구성 블록도이다.
도 4 및 도 5를 참조하면, 본 발명에 따른 인트라 업샘플링부(220)는 전술한 EL의 MB 타입이 "I_BL" 이거나 "combined prediction MB"인 경우 업샘플링을 수행하기 위하여 참조블록 좌표값 산출부(221), 4-tap filter(222) 및 2-tap filter(223)를 포함한다.
참조블록 좌표값 산출부(221)는 EL 레이어의 업샘플링에 실질적으로 참조되는 RL의 블록좌표를 산출한다. EL에서 현재 디코딩되고 있는 MB(Current MB)의 업샘플링 과정에서 참조하게 될 RL의 대응하는 블록의 좌표를 계산한다. 참조블록 좌표값을 계산하는 과정을 도 8과 함께 설명한다. 도 8은 현재 코딩되고 있는 MB 좌표에 대응하는 EL 블록좌표를 도시한 도면이다. 도 4, 도 5 및 도 8을 참조하면, 참조블록 좌표 산출부(221)에서는 아래와 같은 과정을 거쳐서 참조블록의 좌표를 산출한다.
일 실시예에 따라, EL의 현재 MB(400)의 y 좌표
Figure 112009069563079-PAT00001
(410)와
Figure 112009069563079-PAT00002
(420) 각각의 대응하는 RL luma 플레인(500)의 y 좌표
Figure 112009069563079-PAT00003
(510)와
Figure 112009069563079-PAT00004
(520)를 H.264/AVC SVC 표준에 근거하여 계산한다. 루마 업샘플링의 경우, 4-tap filter(222)를 사용하기 때문에 실제로 MB 기반의 업샘 플링에 필요한 RL 루마 샘플의 y 좌표는 도 8에 도시된
Figure 112009069563079-PAT00005
(511)와
Figure 112009069563079-PAT00006
(521)이 되며, 하기 수학식 1 및 수학식 2를 이용하여 산출된다.
Figure 112009069563079-PAT00007
Figure 112009069563079-PAT00008
식 중,
Figure 112009069563079-PAT00009
및
Figure 112009069563079-PAT00010
는 각각 MB 기반의 업샘플링에 이용되는 RL 루마 픽처의 y좌표이다.
Figure 112009069563079-PAT00011
및
Figure 112009069563079-PAT00012
는 각각 EL의 현재 MB의 y좌표에 대응되는 RL 루마 픽처의 y좌표이다.
한편, 일 실시예에 따라 크로마(chroma)의 경우는 현재 MB에 있어서, 크로마 픽처의 y 좌표
Figure 112009069563079-PAT00013
과
Figure 112009069563079-PAT00014
에 대응하는 RL 크로마 픽처의 y좌표
Figure 112009069563079-PAT00015
과
Figure 112009069563079-PAT00016
을 H.264/AVC SVC 표준에 근거하여 계산한다. 크로마 업샘플링의 경우 2-tap bilinear filter를 사용하기 때문에 실제로 MB 기반의 업샘플링에 이용되는 RL 크로마 픽처의 y좌표
Figure 112009069563079-PAT00017
및
Figure 112009069563079-PAT00018
는 하기 수학식 3 및 수학식 4를 통해 산출된다.
Figure 112009069563079-PAT00019
Figure 112009069563079-PAT00020
식 중,
Figure 112009069563079-PAT00021
및
Figure 112009069563079-PAT00022
는 각각 실제로 MB 기반의 업샘플링에 이용되는 RL 크로마의 y좌표이고,
Figure 112009069563079-PAT00023
및
Figure 112009069563079-PAT00024
는 EL의 현재 MB의 y좌표에 대응되는 RL 크로마 픽처의 y 좌표이다.
4-tap filter(222)는 인트라 루마 업샘플링(intra luma up sampling)을 수행하며, 2-tap bilinear filter(223)는 인트라 크로마 업샘플링(intra chroma up sampling)을 수행한다. 도 9를 참조하여 일 실시예에 따른 인트라 루마 업샘플링 과정을 설명한다.
도 9는 본 발명의 일 실시예에 따른 스케일러블 코딩 방법을 이용하여 매크로 블록 기반의 루마블록의 수평 업샘플링(horizontal up-sampling) 및 수직 업샘플링(vertical up-sampling) 과정을 도시한 도면이다.
도 4, 도 5 및 도 9를 참조하면, 4-tap filter(222)는 RL 참조블록 좌표값 산출부(221)에서 산출된 크기 Delta_X×Delta_Y를 가지는 RL 루마블록(600)의 y 좌표값
Figure 112009069563079-PAT00025
(611) 및
Figure 112009069563079-PAT00026
(612)을 기초로 하여 MB 기반의 업샘플링을 수행한다.
먼저 수평 업샘플링을 수행한다. 도 9에 도시된 바와 같이 일 실시예에 따라 y축으로 Delta Y만큼, x축으로 16화소 만큼 horizontal up-sampling을 수행하고 Delta Y는 하기 수학식 5을 이용하여 구한다. 수평 업샘플링 후 필요한 경우 필터 링된 블록의 top과 bottom 경계를 패딩한다. 패딩의 이유는 픽처의 상단부나 하단부에는 더이상 화소가 존재하지 않으므로 필터링을 수행하기 위해서는 패팅과정이 필요하다.
Figure 112009069563079-PAT00027
한편, 크로마의 경우 y축으로 Delta Yc만큼, x축으로 8 화소만큼 horizontal up-sampling을 수행한다. 이 때 Detla Yc는 하기 수학식 6를 이용하여 구한다.
Figure 112009069563079-PAT00028
수평 업샘플링 이후 그 결과를 이용하여 수직 업샘플링을 수행한다. 루마(luma)의 경우 x축 및 y축으로 각각 16 화소만큼 수직 업샘플링을 수행하고, 크로마(chroma)의 경우 x축 및 y축으로 각각 8 화소만큼 수직 업샘플링을 수행한다. 상기와 같은 수직 업샘플링 결과(640) I_BL MB 또는 combined prediction MB의 predictor가 된다.
도 7은 본 발명에 따른 스케일러블 코딩 방법에서 인트라 업샘플링 방법을 도시한 순서도이다.
도 7을 참조하면, 먼저 RL 픽처를 디코딩한다(S110). 상기 RL 픽처가 인트라 슬라이스(intra slice)인지 여부를 판단한다(S120). 상기 판단결과 인트라 슬라이스이면 픽처 경계 패딩을 수행하고(S140), 그렇지 않으면 상기 RL 픽처의 인트라 MB들의 모든 경계를 패딩한다(S130). 상기와 같은 전처리 과정을 거친 후 EL의 각 MB들에 대하여 MB 타입을 분석한 후(S150), MB 타입이 I_BL MB 또는 combined prediction MB인 경우 인트라 업샘플링을 수행하고(S160) MB 타입이 상기 I_BL MB 또는 combined prediction MB가 아닌 경우에는 업샘플링 과정 없이 EL의 MB를 디코딩한다(S170).
종래에 PIC-IUS(Picture-based Intra Up-Sampling)에서 EL Picture를 디코딩 하기 전에 RL picture에 대하여 업샘플링을 모두 수행하는 점과 달리 본 발명에서는 picture 기반이 아닌 MB 기반으로 하되 실제 EL picture의 디코딩 과정에서 현재 MB 타입이 I_BL MB 또는 combined prediction MB인 경우에만 업샘플링을 수행한다. 업샘플링 과정(S160)은 전술한 바와 같다.
한편, 본 발명은 인트라 업샘플링과 유사한 방법으로 레지듀얼 업샘플링(Residual Up-Sampling)을 수행한다. 도 4, 도 6 및 도 10을 참조하여 레지듀얼 업샘플링 과정을 설명한다. 도 6은 본 발명의 일 실시예에 따른 스케일러블 코딩 장치의 레지듀얼 업샘플링부의 개략적인 구성 블록도이다. 도 4 및 도 6을 참조하면, 레지듀얼 업샘플링부(230)는 인트라 업샘플링부에서와 같이 RL 참조블록 좌표값 산출부(231)를 포함하며, 좌표값 산출과정 또한 전술한 바와 같다.
도 10은 본 발명에 따른 스케일러블 코딩 방법에서 레지듀얼 업샘플링 방법을 도시한 순서도이다.
도 10을 참조하면, 먼저 RL 픽처를 디코딩한다(S210). 상기 RL 픽처가 인트라 슬라이스(intra slice)인지 여부를 판단한다(S220). 상기 판단결과 인트라 슬라이스이면 레지듀얼 업샘플링 과정이 필요없기 때문에 전처리과정을 거치지 않고 곧 바로 MB 디코딩(S270)을 수행하며,그렇지 않으면 RL의 루마 플레인에 대해서만 TransBlkIdc(tansform block identification)을 결정한다(S230). 상기와 같은 전처리 과정을 거친 후 EL의 각 MB들에 대하여 MB 타입을 분석한 후(S250), MB 타입이 residual_prediction_flag가 1인 경우 레지듀얼 업샘플링을 수행하고(S260) MB 타입이 상기 residual_prediction_flag가 1이 아닌 경우에는 레지듀얼 업샘플링 과정없이 EL의 MB를 디코딩한다(S270). 종래의 PIC-RUS(Picture based Residual Up-sampling) 알고리즘은 EL picture의 디코딩 전에 RL picture에 대한 up-sampling을 모두 수행한다. 본 발명에서는 업샘플링을 위해 TransBlkIdc 계산과정 및 boundary padding 과정은 미리 수행하지만, 업샘플링은 EL picture의 디코딩 과정에서 현재 MB의 residual_prediction_flag가 "1" 인 경우에만 MB에 대하여 레지듀얼 업샘플링을 수행한다. 업샘플링 과정(S260)은 인트라 업샘플링 과정과 유사한 개념을 갖고 수행된다.
도 6은 도 4에 도시된 스케일러블 코딩 장치의 레지듀얼 업샘플링부의 개략적인 구성 블록도이다. 레지듀얼 업샘플링부(230)에서 수행되는 레지듀얼 업샘플링은 인트라 업샘플링과 동일한 과정을 거친다.
도 6을 참조하면, 레지듀얼 업샘플링부(230)는 RL 참조블록 좌표값 산출부(231), 2-tap filter(232) 및 TransBlkIdc 메모리(233)를 포함한다.
RL 참조블록 좌표값 산출부(231)는 인트라 업샘플링부에서와 마찬가지로 실제 레지듀얼 업샘플링 과정에서 참조될 RL 블록의 좌표값을 산출한다.
2-tap filter(232)는 참조될 RL 블록이 정해지면 상기 RL 블록을 참조하여 레지듀얼 업샘플링을 수행한다. 인트라 업샘플링 과정에서는 루마에 대해 4-tap filter를 사용하고 크로마에 대해 2-tap filter를 이용하는 것과 달리 레지듀얼 업샘플링 과정에서는 루마와 크로마에서 동일하게 2-tap filter 이용한다. 레지듀얼 업샘플링 과정에서는 상기 RL 블록을 참조하여 업샘플링을 수행하는 할 때에 TransBlkIdc 값을 참조하는 과정이 추가되는 점에서 상기 인트라 업샘플링 과정과 차이가 있다. 특히, 크로마(chroma)의 경우에는 후술하는 TransBlkIdc 값 계산 및 저장구조(도 11a 및 도 11b 참조)를 이용하여 TransBlkIdc 값을 참조하는 과정을 거치지 않고 레지듀얼 업샘플링을 수행할 수 있다.
도 11a 및 도 11b는 본 발명에 따른 스케일러블 코딩 방법에서 루마(luma) MB의 TransBlkIdc 버퍼의 메모리 구조를 도시한 도면이다.
H.264/AVC SVC 표준에서는 레지듀얼 업샘플링(residual up-sampling) 과정에서 TransBlkIdc 값을 참조하도록 정의한다. 본 발명에서는 새로운 TransBlkIdc 값 계산방법 과 이를 저장하는 메모리 구조를 통해 레지듀얼 업샘플링 과정에서 TransBlkIdc 값을 참조하는 방법을 달리한다. TransBlkIdc 값을 계산하고 저장하는 방법과 관련된 의사코드(pseudo code)를 하기에 나타내었다. m_pTransBlkIdcY는 4x4 block 단위로 RL의 TransBlkIdc 값을 저장하는 메모리이고, tr_buf_stride는 m_pTransBlkIdcY 버퍼의 넓이이다.
Figure 112009069563079-PAT00029
도 11a 및 도 11b을 참조하면, transform block 경계에서 TransBlkIdc 값을 참조함에 있어서, 루마의 경우 transform block 경계에서만 TransBlkIdc 값을 참조하고, 크로마의 경우 TransBlkIdc 값을 참조하지 않는다.
H.264/AVC SVC 표준에서는 transform block 내부에서 2-tap filter를 수행하고, transform block 경계에서는 두 개의 픽셀(pixel) 중 하나를 결과 값으로 선택한다. 이때 transform block 내부에서는 2-tap filter로 입력되는 두 개의 픽셀(pixel)에 대한 TransBlkIdc 값이 동일하고, transform block 경계에서는 2-tap filter로 입력되는 두 개의 픽셀(pixel)에 대한 TransBlkIdc의 값이 서로 다르다.
본 발명에서는 4x4 block 내부에서는 TransBlkIdc 값이 동일한 점을 이용하 여, 4x4 block 경계에서만 TransBlkIdc 값을 참조하고, 속도향상을 위해 4x4 block 내부에서는 TransBlkIdc 값을 참조하지 않는다.
또한, H.264/AVC 표준에서 크로마의 경우 4x4 transform block만을 사용하도록 정의하기 때문에 4x4 block 경계부분을 transform block 경계로 인식하여, TransBlkIdc을 참조할 필요가 없게된다.
이와 같은 레지듀얼 업샘플링 시에 사용할 새로운 TransBlkIdc 값의 계산방법 및 메모리구조가 도 11a 및 도 11b의 하단부에 개시되어 있으며 이하 TransBlkIdc 값의 계산방법 및 메모리의 구조에 대해 설명한다.
계속해서 도 11a 및 도 11b를 참조하면, 도 11a 및 도 11b의 상단부는 H.264/AVC SVC 표준과 JSVM에서 사용하는 메모리 구조이다. H.264/AVC SVC 표준과 JSVM에서 사용하는 메모리 구조에서는 RL의 루마 및 크로마의 모든 픽셀(pixel)에 TransBlkIdc값을 산출하여 저장한다. 즉, 하나의 MB별로 루마에 대해서 256개, 크로마에 대해서 64개의 데이터를 저장한다. 또한, TransBlkIdc 값은 MB마다 점점 커지므로 하나의 데이터당 4 바이트의 저장공간 크기가 필요하다.
그러나 도 11a 및 도 11b의 하단부에 도시된 본 발명에 따른 TransBlkIdc 메모리 구조는 모든 픽셀(pixel)에 TransBlkIdc를 저장하지 않고, 4x4 block마다 한 개의 TransBlkIdc값 만을 저장한다. 4x4 block 경계에서만 TransBlkIdc의 값이 다를 수 있기 때문이다. 이 때 TransBlkIdc의 값은 "0, 1, 2, 3" 가 같이 4개로 한정하여 사용할 수 있다. "0, 1, 2, 3"만으로도 transform block의 경계를 구분할 수 있기 때문이다. TransBlkIdc 값은 "0, 1, 2, 3"으로 한정되지 않는다. 예컨대, TransBlkIdc 값은 "7, 8, 9, 10" 일 수 있다. 즉, TransBlkIdc 값은 별도의 계산과정이 필요없는 서로 다른 상수인 4개의 값이 될 수 있다.
한편, 크로마(chroma)는 4x4 transform 블록만을 사용하기 때문에 4x4 block 경계가 transform block 경계가 된다. 따라서, TransBlkIdc 값을 계산하거나 저장하지 않는다. 따라서 본 발명에서 제안하는 TransBlkIdc 메모리 구조는 루마에 대해서만 적용하며, 크로마에 대해서는 TransBlkIdc 값 계산과정 및 저장과정이 없으므로 메모리 사용량 절감과 연산 속도를 향상시킬 수 있다.
도 12a는 본 발명의 일 실시예에 따라 MB 기반의 인트라 루마 수평 업샘플링 예를 도시한 순서도이다. 도 12a를 참조하면, ref_pic_buffer는 RL의 picture buffer이고, ref_pic_stride는 RL picture buffer의 stride이고, m_HorTmpBufMB[]는 horizontal filtering 결과를 저장하는 임시 MB buffer이다. m_xPoxY[], m_xPosC[]는 미리 계산된 EL 픽처의 Y 및 Cb/Cr 의 x 좌표에 대한 RL 픽처의 x 좌표이며, 상기 좌표는 1/16 화소 정밀도를 갖는 좌표이다. eF[p,x]는 16-phase luma interpolation filter의 coefficient 배열이다. 초기화 단계(initialization)에서 "pSrc"는 RL intra pixel buffer에서 도 8에 도시된 ref_y0 번째 줄의 첫 번째 픽셀위치를 나타낸 것이고, "pDst"는 임시 MB buffer의 세 번째 줄의 첫 번째 픽셀위치를 나타낸 것이다. 첫 번째 줄과 두 번째 줄은 필요한 경우 수행하는 패딩(padding)을 위한 공간이다.
도 12b는 본 발명의 일 실시예에 따라 MB 기반의 인트라 루마 수직 업샘플링 예를 도시한 순서도이다. 도 12b를 참조하면, el_pic_buffer는 EL의 picture buffer이고, el_pic_stride는 EL picture buffer의 stride이다. m_yPoxY[], m_yPosC[]는 도 12a에서 설명한 바와 같다. 초기화 단계(initialization)에서 "pDst"는 EL의 pixel buffer의 현재 MB의 가장 위쪽, 가장 왼쪽 pixel의 위치를 나타낸 것이다.
도 13a은 본 발명의 일 실시예에 따라 MB 기반의 레지듀얼 수평 업샘플링 예를 도시한 순서도이다. 도 13a를 참조하면, "ref_pic_res_buffer"는 RL의 residual buffer이고, "ref_pic_res_stride" 는 RL residual buffer의 stride이다.초기화 단계(initialization)에서 "pSrc"는 RL residual pixel buffer에서 도 8에 도시된 ref_y0번째 줄의 첫 번째 픽셀 위치를 나타낸 것이고, "pDst"는 임시 MB buffer의 세 번째 줄의 첫 번째 픽셀위치를 나타낸 것이다. 첫 번째 줄과 두 번째 줄은 필요한 경우 수행하는 패딩(padding)을 위한 공간이다.
도 13b는 본 발명의 일 실시예에 따라 MB 기반의 레지듀얼 수직 업샘플링 예를 도시한 순서도이다. 도 13b를 참조하면, "el_pic_res_buffer" 및"el_pic_res_stride은" 전술한 바와 같다. Luma Filtering과 Chroma Filtering 은 도 13c 및 도 13d에 도시되어 있다.
본 발명에 따른 TransBlkIdc 메모리의 구조와, 레지듀얼 업샘플링 시에 TransBlkIdc값 참조방법 즉, 루마(luma)의 경우 4×4 block 경계에서만 TransBlkIdc 값을 참조하고, 크로마(chroma)의 경우 TransBlkIdc값을 참조하지 않는 업샘플링 방법은 MB 기반의 레지듀얼 업샘플링 방법에 한정하지 않고, 픽처기반의 레지듀얼 업샘플링 방법(Picture-based Residual Up-Sampling:PIC-RUS)에도 적 용 가능하다.
본 발명은 H.264/AVC SVC 표준에 적합하기 때문에, SVC를 필요로 하는 분야, 즉 IPTV, mobile IPTV, mobile 방송, 홈네트워크 무선 랜 비디오, 비디오 화상전화/회의 등의 디지털 멀티미디어 전반적인 분야에 적용 가능하다.
본 발명은 컴퓨터 판독가능 매체 상에서 구현되고 네트워크 환경하의 컴퓨터들에 의해 실행되는 프로그램 코드 등의 컴퓨터 실행가능 명령들을 포함하는 프로그램 제품을 통해 일 실시예로서 구현될 수 있는 방법의 단계들이라는 일반적 맥락 내에서 개시되었다. 컴퓨터 판독가능 매체들의 예들에는 전자 기기 메모리 유닛들, RAM(random access memory), ROM (read only memory), CD (compact disc)들, DVD (digital versatile disc)들 및 기타 내외장 스토리지 장치들을 포함하나 이들에 국한되는 것이 아닌 다양한 타입의 저장 매체들이 포함될 수 있다. 일반적으로, 프로그램 모듈들에는 특정 작업들을 수행하거나 특정 추상화 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조 등이 포함된다. 컴퓨터 실행가능 명령들, 관련 데이터 구조들, 및 프로그램 모듈들은 여기 개시된 방법들의 단계들을 실행하기 위한 프로그램 코드의 예들을 나타낸다. 그러한 실행가능 명령들이나 관련 데이터 구조들의 특정 시퀀스는 그러한 단계들에서 나타낸 기능들을 구현하기 위한 해당 동작들의 예들을 나타낸다.
본 발명의 실시예들에 대한 상술한 내용은 예시와 설명의 목적으로 제시되었다. 상기 내용이 개시된 것과 정확히 일치하는 형식으로 본 발명을 제한하기 위해 의도되지는 않았으며, 상술한 내용에 비추어 본 발명의 실시예로부터 그 변형 및 치환이 가능할 수 있다.
도 1은 종래기술에 따라 픽처기반의 인트라 업샘플링 및 레지듀얼 업샘플링 과정을 도시한 순서도이다.
도 2는 종래기술에 따라 RL 픽처의 MB 기반의 업샘플링 과정을 도시한 순서도이다.
도 3은 도 2에 도시된 업샘플링 과정에서 사용된 현재 MB와 주변 MB를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 코딩 장치의 개략적인 구성 블록도이다.
도 5는 도 4에 도시된 스케일러블 코딩 장치의 인트라 업샘플링부의 개략적인 구성 블록도이다.
도 6은 도 4에 도시된 스케일러블 코딩 장치의 레지듀얼 업 샘 플링부의 개략적인 구성 블록도이다.
도 7은 본 발명에 따른 스케일러블 코딩 방법에서 인트라 업샘플링 방법을 도시한 순서도이다.
도 8은 도 7에 도시된 인트라 업샘플링 방법에서 현재 디코딩되고 있는 MB 좌표에 대응하는 RF 블록좌표를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스케일러블 코딩 방법을 이용하여 매크로 블록 기반의 수평 업샘플링 및 수직 업샘플링 과정을 도시한 도면이다.
도 10은 본 발명에 따른 스케일러블 코딩 방법에서 레지듀얼 업샘플링 방법 을 도시한 순서도이다.
도 11a 및 도 11b는 본 발명에 따른 스케일러블 코딩 방법에서 luma MB의 TransBlkIdc 버퍼의 메모리 구조를 도시한 도면이다.
도 12a는 본 발명의 일 실시예에 따라 MB 기반의 인트라 루마 수평 업샘플링 예를 도시한 순서도이다.
도 12b는 본 발명의 일 실시예에 따라 MB 기반의 인트라 루마 수직 업샘플링 예를 도시한 순서도이다.
도 13a은 본 발명의 일 실시예에 따라 MB 기반의 레지듀얼 수평 업샘플링 예를 도시한 순서도이다.
도 13b는 본 발명의 일 실시예에 따라 MB 기반의 레지듀얼 수직 업샘플링 예를 도시한 순서도이다.
도 13c는 도 13b에 도시된 MB 기반의 레지듀얼 업샘플링을 루마에 적용하는 방법을 도시한 순서도이다.
도 13d는 도 13b에 도시된 MB 기반의 레지듀얼 업샘플링을 크로마에 적용하는 방법을 도시한 순서도이다.
(도면의 주요부분에 대한 부호의 설명)
100: 다운 샘플링부 200: 업샘플링부
210: 매크로블록 타입 판단부 220: 인트라 업샘플링부
221,231: RL 참조블록 좌표값 산출부 222: 4-tap filter
232: 4-tap filter 233:TransBlkIdc 메모리
230: 레지듀얼 업샘플링부 240: 전처리부
300: 코딩부

Claims (28)

  1. 입력 영상 신호로부터 베이스 레이어(Base layer)와 인핸스먼트 레이어(Enhancement layer)를 생성하는 단계;
    상기 인핸스먼트 레이어를 매크로블록(Macro block) 단위로 분할하는 단계;
    상기 매크로블록의 베이스모드 플래그(base_mode_flag) 또는 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우, 레퍼런스 레이어(reference layer)의 블록 중에서 상기 인핸스먼트 레이어에서 코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 이용하여 상기 레퍼런스 레이어의 블록을 업샘플링(up-sampling)하는 업샘플링 단계; 및
    상기 업샘플링된 매크로블록을 코딩하는 단계
    를 포함하는 스케일러블 영상 코딩 방법.
  2. 제1항에 있어서, 상기 업샘플링 단계는
    상기 매크로블록의 베이스모드 플래그가 1이고,
    상기 업샘플링에 참조하는 레퍼런스 레이어의 매크로블록 중에서 상기 인핸스먼트 레이어 내의 현재 코딩되는 매크로블록의 위치와 동일한 위치에 대응하는 상기 레퍼런스 레이어 내의 대응블록의 타입이 인트라(intra)인 경우,
    인터레이어 예측(inter-layer prediction)을 위하여 상기 레퍼런스 레이어의 대응블록을 인트라 업샘플링(intra up-sampling)하는 제1 인트라 업샘플링 단계를 포함하는 것인 스케일러블 영상 코딩 방법.
  3. 제1항에 있어서, 상기 업샘플링 단계는
    상기 매크로블록의 베이스모드 플래그가 1이고,
    상기 업샘플링에 참조하는 레퍼런스 레이어(reference layer)의 매크로블록 중에서 상기 인핸스먼트 레이어 내의 현재 코딩되는 매크로블록의 위치와 동일한 위치에 대응하는 상기 레퍼런스 레이어 내의 대응블록의 타입이 인트라(inter)인 경우,
    상기 레퍼런스 레이어의 매크로 블록에 적어도 하나의 인트라 픽셀이 포함되어 있는 경우에 인트라 업샘플링하는 제2 인트라 업샘플링 단계를 포함하는 것인 스케일러블 영상 코딩 방법.
  4. 제2항 또는 제3항에 있어서, 상기 인트라 업샘플링하는 단계는
    상기 인트라 업샘플링에 참조되는 레퍼런스 레이어의 참조블록 좌표를 산출하는 단계; 및
    상기 참조블록의 좌표에 기초하여 상기 인핸스먼트 레이어의 매크로블록을 업샘플링하는 단계
    를 포함하는 스케일러블 영상 코딩 방법.
  5. 제1항에 있어서,
    레퍼런스 레이어 픽처(picture)를 디코딩하는 단계; 및
    상기 레퍼런스 레이어 픽처가 인트라 슬라이스(intra slice) 이면 상기 픽처를 경계 패딩(boundary padding) 하는 단계
    를 더 포함하는 것인 스케일러블 영상 코딩 방법.
  6. 제 1항에 있어서,
    상기 레퍼런스 레이어 픽처가 인트라 슬라이스가 아닌 경우,
    상기 레퍼런스 레이어 픽처 내의 인트라 매크로블록들의 모든 경계를 패딩하는 단계를 더 포함하는 것인 스케일러블 영상 코딩 방법.
  7. 제4항에 있어서, 상기 참조블록 좌표를 산출하는 단계는
    코딩되는 인핸스먼트 레이어의 매크로블록에 대응하는 상기 레퍼런스 레이어의 블록좌표를 산출하는 단계; 및
    상기 산출된 레퍼런스 레이어의 블록좌표를 이용하여 상기 인트라 업샘플링 에 참조되는 상기 레퍼런스 레이어 블록좌표를 산출하는 단계
    를 포함하는 스케일러블 영상 코딩 방법.
  8. 제 7항에 있어서,
    상기 인트라 업샘플링은 인트라 루마(luma)샘플을 업샘플링하는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  9. 제 8항에 있어서,
    상기 루마 업샘플링은 4-탭 필터(4 tap filter)를 사용하는 것을 특징으로 하는 스케일러 영상 코딩 방법.
  10. 제 7항에 있어서,
    상기 인트라 업샘플링은 인트라 크로마(chroma)샘플을 업샘플링하는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  11. 제 10항에 있어서,
    상기 크로마 업샘플링은 2-탭 바이리니어 필터(2-tap bilinear filter)를 사 용하는 것을 특징으로 하는 스케일러 영상 코딩 방법.
  12. 제1항에 있어서, 상기 업샘플링 단계는
    상기 참조블록의 좌표값을 이용하여 상기 매크로블록을 수평(horizontal) 업샘플링하는 단계; 및
    상기 참조블록의 좌표값을 이용하여 상기 매크로블록을 수직(vertical) 업샘플링하는 단계
    를 포함하는 스케일러블 영상 코딩 방법.
  13. 제 12항에 있어서,
    상기 업샘플링은 루마(luma)샘플을 업샘플링인 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  14. 제 12항에 있어서,
    상기 업샘플링은 크로마(chroma)샘플을 업샘플링하는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  15. 제1항에 있어서, 상기 업샘플링 단계는
    상기 레지듀얼 예측 플래그가 1인 경우,
    인터레이어 예측(inter-layer prediction)을 위하여 레퍼런스 레이어의 레지듀얼 블록을 업샘플링하는 레지듀얼 업샘플링(residual up-sampling) 단계를 포함하는 것인 스케일러블 영상 코딩 방법.
  16. 제15항에 있어서, 상기 레지듀얼 업샘플링 단계는
    TransBlkIdc(Transform Block Identification)값을 참조하여 레지듀얼 업샘플링하는 단계
    를 포함하는 스케일러블 영상 코딩 방법.
  17. 제16항에 있어서, 상기 TransBlkIdc값은
    4×4 픽셀 블록마다 서로 다른 TransBlkIdc값을 저장하는 TransBlkIdc메모리에 저장되는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  18. 제17항에 있어서,
    상기 TransBlkIdc 메모리에 저장되는 상기 TransBlkIdc값은 루마 샘플에 대해서 계산된 값이며, 크로마 샘플에 대해서는 상기 TransBlkIdc값을 계산 및 저장 하지 않는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  19. 제17항에 있어서,
    상기 TransBlkIdc메모리에 저장되는 상기 TransBlkIdc값은 4개의 상수 값인 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  20. 제16항에 있어서,
    상기 인핸스먼트 레이어의 매크로블록이
    루마 샘플인 경우, 4×4 블록 경계에서 상기 TransBlkIdc값을 참조하고, 크로마 샘플인 경우, TransBlkIdc값을 참조하지 않는 것을 특징으로 하는 스케일러블 영상 코딩 방법.
  21. 제15항에 있어서, 상기 레지듀얼 업샘플링 단계는
    레퍼런스 레이어 픽처를 디코딩하는 단계;
    상기 레퍼런스 레이어 픽처를 경계 패딩하는 단계; 및
    상기 레퍼런스 레이어 픽처의 TransBlkIdc 값을 계산하여 저장하는 단계
    를 더 포함하는 것인 스케일러블 영상 코딩 방법.
  22. 제1항에 있어서, 상기 코딩은
    인코딩 또는 디코딩을 포함하는 것인 스케일러블 영상 코딩 방법.
  23. 제1항에 있어서,
    상기 인핸스먼트 레이어는 상기 베이스 레이어와 공간 해상도가 서로 다르고, 상기 베이스 레이어는 상기 인핸스먼트 레이어와 동일한 영상 신호에 해당하는 것인 스케일러블 영상 코딩 방법.
  24. 영상 신호를 입력받아 베이스 레이어와 인핸스먼트 레이어를 생성하는 다운 샘플링부;
    매크로블록 단위로 분할된 상기 인핸스먼트 레이어에 있어서, 상기 매크로블록의 타입을 판단하는 매크로블록 타입 판단부;
    상기 매크로블록 타입 판단결과, 상기 매크로블록의 베이스모드 플래그(base_mode_flag)가 1일 때,
    업샘플링에 참조하는 레퍼런스 레이어의 매크로블록 중에서 상기 인핸스먼트 레이어 내의 현재 코딩되는 매크로블록의 위치와 동일한 위치에 대응하는 상기 레 퍼런스 레이어 내의 대응블록의 타입이 인트라(intra)인 경우, 상기 레퍼런스 레이어의 대응블록을 인트라 업샘플링(intra up-sampling)하고,
    상기 레퍼런스 레이어 내의 대응블록의 타입이 인트라(inter)인 경우, 상기 레퍼런스 레이어의 매크로 블록에 적어도 하나의 인트라 픽셀이 포함되어 있는 경우에 상기 레퍼런스 레이어의 대응블록을 인트라 업샘플링하는 인트라 업샘플링부;
    상기 매크로블록 타입 판단결과, 상기 매크로블록의 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우 상기 매크로블록을 레지듀얼 업샘플링시키는 레지듀얼 업샘플링부; 및
    상기 업샘플링된 매크로블록을 코딩하는 코딩부
    를 포함하는 스케일러블 영상 코딩 장치.
  25. 제24항에 있어서,
    상기 인핸스먼트 레이어의 업샘플링에 참조되는 레퍼런스 레이어의 픽처가 인트라 슬라이스(intra slice)이면 상기 픽처를 경계 패딩하고, 그렇지 않으면 상기 픽처내의 인트라 매크로블록들의 모든 경계를 패딩하는 전처리부
    를 더 포함하는 것인 스케일러블 영상 코딩 장치.
  26. 제24항에 있어서, 상기 인트라 업샘플링부는
    상기 인핸스먼트 레이어의 업샘플링에 참조되는 레퍼런스 레이어의 블록 중에서 상기 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 산출하는 참조블록 좌표값 산출부;
    루마 샘플을 업샘플링하는 4-탭 필터(4-tap filter); 및
    크로마 샘플을 업샘플링하는 2-탭 필터(2-tap filter)
    를 포함하는 것인 스케일러블 영상 코딩 장치.
  27. 제24항에 있어서, 상기 레지듀얼 업샘플링부는
    상기 인핸스먼트 레이어의 업샘플링에 참조되는 레퍼런스 레이어의 블록 중에서 상기 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 산출하는 참조블록 좌표값 산출부;
    루마 샘플 및 크로마 샘플을 업샘플링하는 2-탭 바이리니어 필터(2-tap bilinear filter); 및
    상기 인핸스먼트 레이어의 매크로 블록이 루마 샘플인 경우, 변환블록(transform block)의 경계에서 참조하는 TransBlkIdc값을 4×4 픽셀 블록마다 서로 다른 값으로 저장하는 TransBlkIdc메모리
    를 포함하는 것인 스케일러블 영상 코딩 장치.
  28. 입력 영상 신호로부터 베이스 레이어(Base layer)와 인핸스먼트 레이어(Enhancement layer)를 생성하는 단계; 상기 인핸스먼트 레이어를 매크로블록(Macro block) 단위로 분할하는 단계; 상기 매크로블록의 베이스모드 플래그(base_mode_flag) 또는 레지듀얼 예측 플래그(residual_prediction_flag)가 1인 경우, 레퍼런스 레이어의 블록 중에서 상기 인핸스먼트 레이어에서 디코딩되는 현재 매크로블록의 업샘플링에 참조될 참조블록의 좌표값을 이용하여 상기 매크로블록을 업샘플링(up-sampling)하는 단계; 및 상기 업샘플링된 매크로블록을 코딩하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 코딩 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020090109148A 2009-11-12 2009-11-12 스케일러블 영상 코딩 방법 및 장치 KR101066117B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090109148A KR101066117B1 (ko) 2009-11-12 2009-11-12 스케일러블 영상 코딩 방법 및 장치
US12/642,310 US8559506B2 (en) 2009-11-12 2009-12-18 Method and apparatus for scalable video coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090109148A KR101066117B1 (ko) 2009-11-12 2009-11-12 스케일러블 영상 코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110052203A true KR20110052203A (ko) 2011-05-18
KR101066117B1 KR101066117B1 (ko) 2011-09-20

Family

ID=43974150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090109148A KR101066117B1 (ko) 2009-11-12 2009-11-12 스케일러블 영상 코딩 방법 및 장치

Country Status (2)

Country Link
US (1) US8559506B2 (ko)
KR (1) KR101066117B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173440A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2012173439A3 (ko) * 2011-06-15 2013-04-04 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013069972A1 (ko) * 2011-11-08 2013-05-16 한국전자통신연구원 인트라 예측 방법 및 그 장치
WO2013147557A1 (ko) * 2012-03-29 2013-10-03 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2014081226A1 (ko) * 2012-11-21 2014-05-30 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2014088306A2 (ko) * 2012-12-04 2014-06-12 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2014092434A2 (ko) * 2012-12-10 2014-06-19 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2014171768A1 (ko) * 2013-04-17 2014-10-23 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
KR20140145560A (ko) * 2013-06-12 2014-12-23 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015005746A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 잔차 예측을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9924180B2 (en) 2013-04-04 2018-03-20 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
WO2023200135A1 (ko) * 2022-04-15 2023-10-19 현대자동차주식회사 크로마 성분에 대한 개선된 인루프필터를 이용하는 비디오 코딩을 위한 방법 및 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004577A1 (ja) * 2009-07-06 2011-01-13 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路
WO2013137701A1 (ko) * 2012-03-16 2013-09-19 한국전자통신연구원 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치
EP2829065B1 (en) * 2012-03-21 2020-05-13 MediaTek Singapore Pte Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
WO2013169025A1 (ko) * 2012-05-09 2013-11-14 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
US20140044162A1 (en) * 2012-08-08 2014-02-13 Qualcomm Incorporated Adaptive inference mode information derivation in scalable video coding
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9756613B2 (en) 2012-12-06 2017-09-05 Qualcomm Incorporated Transmission and reception timing for device-to-device communication system embedded in a cellular system
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US20160005155A1 (en) * 2013-03-19 2016-01-07 Sony Corporation Image processing device and image processing method
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
FR3008840A1 (fr) 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
KR20170006926A (ko) * 2015-07-10 2017-01-18 전자부품연구원 스케일러블 영상의 고속 부호화/복호화 방법 및 장치
KR102267922B1 (ko) * 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
CN108564040B (zh) * 2018-04-17 2021-06-25 杭州景联文科技有限公司 一种基于深度卷积特征的指纹活性检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR20060122671A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
WO2008071037A1 (en) * 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173440A2 (ko) * 2011-06-15 2012-12-20 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2012173439A3 (ko) * 2011-06-15 2013-04-04 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2012173440A3 (ko) * 2011-06-15 2013-04-04 한국전자통신연구원 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
US10819991B2 (en) 2011-06-15 2020-10-27 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US10142648B2 (en) 2011-06-15 2018-11-27 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US11412240B2 (en) 2011-06-15 2022-08-09 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US9686543B2 (en) 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US11838524B2 (en) 2011-06-15 2023-12-05 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US9686544B2 (en) 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
WO2013069972A1 (ko) * 2011-11-08 2013-05-16 한국전자통신연구원 인트라 예측 방법 및 그 장치
WO2013147557A1 (ko) * 2012-03-29 2013-10-03 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
US9860549B2 (en) 2012-03-29 2018-01-02 Lg Electronics Inc. Inter-layer prediction method and encoding device and decoding device using same
WO2014010943A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US11381827B2 (en) 2012-11-21 2022-07-05 Lg Electronics Inc. Image decoding method and apparatus using same
US11659191B2 (en) 2012-11-21 2023-05-23 Lg Electronics Inc. Image decoding method and apparatus using same
US10516886B2 (en) 2012-11-21 2019-12-24 Lg Electronics Inc. Image decoding method and apparatus using same
US11310512B2 (en) 2012-11-21 2022-04-19 Lg Electronics Inc. Image decoding method and apparatus using same
US10165282B2 (en) 2012-11-21 2018-12-25 Lg Electronics Inc. Image decoding method and apparatus using same
US10855994B2 (en) 2012-11-21 2020-12-01 Lg Electronics Inc. Image decoding method and apparatus using same
WO2014081226A1 (ko) * 2012-11-21 2014-05-30 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
WO2014088306A3 (ko) * 2012-12-04 2014-10-23 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2014088306A2 (ko) * 2012-12-04 2014-06-12 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2014092434A3 (ko) * 2012-12-10 2014-10-23 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
WO2014092434A2 (ko) * 2012-12-10 2014-06-19 한국전자통신연구원 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
US10499067B2 (en) 2013-04-04 2019-12-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US10440372B2 (en) 2013-04-04 2019-10-08 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US10440371B2 (en) 2013-04-04 2019-10-08 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US10432950B2 (en) 2013-04-04 2019-10-01 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US9924180B2 (en) 2013-04-04 2018-03-20 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US11778206B2 (en) 2013-04-04 2023-10-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
WO2014171768A1 (ko) * 2013-04-17 2014-10-23 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
KR20140145560A (ko) * 2013-06-12 2014-12-23 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10051278B2 (en) 2013-07-12 2018-08-14 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
WO2015005746A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 잔차 예측을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2023200135A1 (ko) * 2022-04-15 2023-10-19 현대자동차주식회사 크로마 성분에 대한 개선된 인루프필터를 이용하는 비디오 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR101066117B1 (ko) 2011-09-20
US8559506B2 (en) 2013-10-15
US20110110426A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
KR101066117B1 (ko) 스케일러블 영상 코딩 방법 및 장치
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
US10171824B2 (en) System and method for adaptive frame re-compression in video processing system
US9924181B2 (en) Method and apparatus of bi-directional prediction for scalable video coding
US10484678B2 (en) Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
AU2012364505B2 (en) Method and apparatus of luma-based chroma intra prediction
US9565428B2 (en) Method and apparatus of chroma intra prediction with reduced line memory
AU2012267006B8 (en) Method and apparatus of scalable video coding
US7813428B2 (en) Method of encoding and decoding video signals
US9756350B2 (en) Inter-layer motion vector scaling for scalable video coding
JP2015521826A (ja) 画像を符号化または復号するための方法およびデバイス
JP2005515730A (ja) 符号化情報及び局所空間特性を用いて鮮鋭度を強調するシステム及び方法
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
US20150016518A1 (en) Video Decoding with Reduced Complexity Deblocking
TW202042554A (zh) 具輪廓與位階相依寫碼選項之編碼器與解碼器、編碼方法及解碼方法
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
US20110142129A1 (en) Mpeg video resolution reduction system
JP2006295503A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
WO2019206115A1 (en) Method and apparatus for restricted linear model parameter derivation in video coding
US20100202511A1 (en) Method for reducing arbitrary-ratio up-sampling operation using context of macroblock, and method and apparatus for encoding/decoding by using the same
US20230007281A1 (en) Video Encoding or Decoding Methods and Apparatuses with Scaling Ratio Constraint
US8396124B2 (en) Method of predicting motion and texture data
CN117795958A (zh) 视讯编码方法、视讯译码方法及相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160908

Year of fee payment: 6