KR20080034417A - 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법 - Google Patents

개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법 Download PDF

Info

Publication number
KR20080034417A
KR20080034417A KR1020070104240A KR20070104240A KR20080034417A KR 20080034417 A KR20080034417 A KR 20080034417A KR 1020070104240 A KR1020070104240 A KR 1020070104240A KR 20070104240 A KR20070104240 A KR 20070104240A KR 20080034417 A KR20080034417 A KR 20080034417A
Authority
KR
South Korea
Prior art keywords
fgs
layer
current
fgs layer
prediction
Prior art date
Application number
KR1020070104240A
Other languages
English (en)
Inventor
강정원
최해철
김재곤
홍진우
노용만
청꽁 탕
배태면
Original Assignee
한국전자통신연구원
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국정보통신대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US12/445,091 priority Critical patent/US20100046620A1/en
Priority to EP07833374A priority patent/EP2078423A4/en
Priority to PCT/KR2007/005065 priority patent/WO2008048038A1/en
Publication of KR20080034417A publication Critical patent/KR20080034417A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명에서는 스케일러블 비디오 비트스트림의 부호화에서 AR-FGS기법과 FGS 모션 리파인먼트 기법이 동시에 적용되었을 때 보다 높은 부호화 효율을 보일 수 있는 방안들을 제시한다.
이를 위해 본 발명에서는 해당 FGS 계층의 잔여 신호 예측이 없을 때 FGS 계층의 관련 블록의 예측 신호는 기본 계층과 같은 방식으로 예측한다. 그리고 필요시에 스케일 요소가 0이 아닌 값을 가지도록 허용하되 잔여 신호 예측이 이루어지지 않은 FGS 블록의 잔여 신호가 상위 FGS 계층의 스케일 요소를 결정하는데 사용되도록 한다. 또한 키 픽쳐들에 대해 AR-FGS와 FGS 모션 리파인먼트의 동시 사용을 제한하는 구성을 제시하고 있다.
AR-FGS, FGS motion refinement, SVC

Description

개선된 ＡＲ-ＦＧＳ 및 ＦＧＳ 모션 리파인먼트 기법을 적용하는 ＳＶＣ 부호화기, 복호화기 및 그곳에서의 부호화 및 복호화 방법{Scalable Video Coding Encoder with Adaptive Reference FGS and FGS motion refinement mechanism and method thereof}
본 발명은 스케일러블 비디오 부호화 기법인 SVC(Scalable Video Coding)에서 FGS 모션 리파인먼트 기법 및 AR-FGS 기법을 함께 적용하는 것에 관련된 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT차세대핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-103-02, 과제명: 통방융합 환경에서의 유비쿼터스 콘텐츠 서비스 기술 개발].
스케일러블 비디오 부호화 기법인 SVC(Scalable Video Coding)에서 FGS(Fine Grain SNR Scalability)는 비디오 화질을 미세하게 조절할 수 있는 중요한 특징이다. 이러한 FGS 계층의 제거는 SVC 비디오의 프레임간 예측 구조에 의해 화질 열화 전파가 발생할 수 있다.
이러한 화질 열화 전파는 AR(adaptive reference)-FGS 기술에 의해 코딩 효 율을 향상시키면서도 조절될 수 있다. 또한, 각 FGS 레이어에서 움직임 벡터를 각각 설정하는 FGS 모션 리파인먼트 기술 역시 역시 FGS 계층의 코딩 효율 증가를 위하여 이용될 수 있다. 그러나 AR-FGS 기술이 FGS 모션 리파인먼트 기술과 함께 사용될 때 제대로 동작하지 않는 문제점이 발생한다.
이는 FGS 모션 리파인먼트 기술에 의해 FGS계층의 잔여 신호 (residual signal) 블록이 동일 위치의 기본 계층으로부터 예측되지 않기 때문에 유발되는 문제점이다.
SVC 비디오 부호화에서 FGS 모션 리파인먼트(motion refinement) 기술은 FGS 계층의 코딩 효율을 증대시키기 위하여 이용될 수 있다. 이 기법은 FGS 계층이 움직임 정보를 가지도록 하며 블록 모드가 기본 계층과 다를 수 있도록 한다.
이 경우, FGS 계층 블록의 잔여신호가 기본 계층의 동일 위치 블록으로부터 예측되지 않을 수 있으며, 이 경우 기본 계층의 잔여 신호는 AR-FGS의 적응성을 조절하는데 적합하지 않은 문제점이 발생한다. 또한, 현재의 AR-FGS의 적응성은 기본 계층의 잔여신호의 특성만을 고려하므로, AR-FGS 기술 및 FGS 모션 리파인먼트 기술을 동시 적용할 경우 문제점이 발생할 수 있다.
따라서, 본 발명에서는 AR-FGS와 FGS 모션 리파인먼트 기법의 동시 적용의 경우에 일어날 수 있는 문제를 해결하고 AR-FGS의 적응성을 향상시킬 수 있는 개선 사항을 제안한다.
본 발명에서는 스케일러블 비디오 비트스트림의 부호화에서 AR-FGS기법과 FGS 모션 리파인먼트 기법이 동시에 적용되었을 때 보다 높은 부호화 효율을 보일 수 있는 방안들을 제시한다. 이를 위한 본 발명의 주요 특징은 다음과 같다.
해당 FGS 계층의 잔여 신호 예측이 없을 때 FGS 계층의 관련 블록의 예측 신호는 기본 계층과 같은 방식으로 예측된다.
필요시에 스케일 요소가 0이 아닌 값을 가지도록 허용하되 잔여 신호 예측이 이루어지지 않은 FGS 블록의 잔여 신호가 상위 FGS 계층의 스케일 요소를 결정하는데 사용되도록 한다.
계층간의 잔여 신호 예측이 항상 활성화되어 있을 때 기본 계층의 잔여 신호로부터 적응 과정을 결정하도록 한다.
키 픽쳐들에 대해 AR-FGS와 FGS motion refinement의 동시 사용을 제한한다.
본 발명에서는 스케일러블 비디오 비트스트림의 부호화에서 AR-FGS기법과 FGS 모션 리파인먼트 기법이 동시에 적용되었을 때 보다 높은 부호화 효율이 향상되는 효과가 있다.
또한 현재의 AR-FGS의 적응성은 기본 계층의 잔여신호의 특성만을 고려하므로, AR-FGS 기술 및 FGS 모션 리파인먼트 기술을 동시 적용할 경우 발생하는 문제점을 해결하는 효과가 있다.
본 발명의 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기는 기본 계층이나 이전 FGS 계층과 현재 FGS 계층 간에 인터레이어 예측이 수행되지 않은 경우, 상기 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 결정하는 예측신호결정부; 및 현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기는 기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정하는 인터레이어예측설정부; 및 항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정하는 스케일요소결정부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기는 입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 FGS-MR비활성부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기는 입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 AR-FGS 기법이 적용되지 않은 경우에만 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 선택적FGS-MR비활성부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리 파인먼트 기법을 적용하는 SVC 부호화기는 입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 FGS-MR비활성부;및 상기 키픽쳐에 AR-FGS 기법이 적용되지 않도록 저지하는 AR-FGS 비활성부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트(motion refinement) 기법을 적용하는 SVC 복호화기는 각 FGS 계층 복호화시, 현재 FGS 계층에 FGS 모션리파인먼트 기법이 적용되고 상기 현재 FGS 계층과 기본 계층이나 이전 FGS 계층과 간에 인터레이어 예측이 수행되지 않은 경우, 상기 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 복원하는 예측신호복원부; 및 현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 상기 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 복호화기는 수신된 비트스트림에서 기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정되어 있는 경우, 항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정하여 복호화한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 복호화기는 수신한 비트스트림 내의 GOP의 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되었음을 나타내는 플래그를 확인하지 않는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 개선된 AR-FGS을 적용하는 SVC 복호화기는 기본 계층 및 각 FGS 계층 간에 인터레이어 예측이 수행되도록 설정되었음을 나타내는 인터레이어예측설정신호가 포함된 비트스트림을 수신한 경우, 현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정한다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
스케일러블 비디오 부호화 SVC(Scalable Video Coding) 기술은 이종 환경에서의 비디오 통신을 위한 중요한 기술로 대두되고 있다. 이 기법은 부호화된 원본 비트스트림의 단말이나 네트웍 상황에 따른 추출을 허용함으로써 공간적, 시간적 그리고 화질이 다른 비트스트림을 만들 수 있다.
SVC에서 FGS는 비디오의 미세한 화질을 조절할 수 있다는 중요한 특징을 갖는다. 각 공간 해상도에 대하여, 기본 계층은 우선 H.264/AVC와 유사한 방법으로 부호화된다. 이후 기본 계층에 더하여 비디오 화질의 향상을 위하여 3개까지의 FGS계층이 더해질 수 있다. 이러한 FGS 계층은 비트레이트 조건을 맞추기 위하여 임의의 지점에서 추출될 수 있다.
제거된 FGS 계층의 영향과 프레임간 예측 구조에 의해 화질 열화가 후속 픽쳐로 전파될 수 있다. 이러한 전파는 SVC에서 드리프트 오차(drift error)로 불린다. 이러한 드리프트 오차를 피하기 위하여 키 픽쳐의 프레임 간 예측에서는 FGS 계층의 정보가 아니라 기본 계층의 정보만으로 예측할 수 있다. 그러나, 기본 계층 정보만 이용할 경우 프레임 간 인터레이어 예측에 낮은 부호화 효율이라는 과제가 발생한다.
이에 따라 오차에 대한 내성과 부호화 효율간의 유연한 보완을 위하여 AR-FGS 기술이 제안되었다. AR-FGS 기법은 기본 계층의 특성을 기반으로 프레임 간 인터 레이어 예측시에 FGS 정보의 비율을 적응적으로 조절하는 것이다.
또한, FGS 모션 리파인먼트 기술 역시 FGS 계층의 코딩 효율을 증가시킨다. FGS 모션 리파인먼트 기술은 각 FGS 계층이 움직임 벡터를 각각 설정할 수 있도록 함으로써 블록 모드가 기본 계층과 다를 수 있도록 한다.
다만, FGS 계층 블록의 잔여신호가 기본 계층의 동일 위치 블록으로부터 예측되지 않을 수도 있는 특성이 기본 계층의 잔여 신호 특성만을 고려하는 AR-FGS의 적응성을 조절하는데 부적합하여 문제점이 발생할 수 있다.
현재 SVC의 AR-FGS 구성에서 FGS 모션 리파인먼트 기술과 AR-FGS 기술을 동시에 사용할 경우 발생하는 문제점을 도 1 을 기초로 구체적인 예를 살펴보면 다음과 같다.
도 1은 현재 SVC의 AR-FGS 구성을 도시한다.
하나의 공간 계층은 하나의 기본 계층(100)과 3개까지의 추가 FGS 계층(110, 120, 130)으로 이루어진다. 제 1 FGS 계층(110)의 처리에 초점을 두어 일 예를 설명하면 다음과 같다.
블록(101)의 복원 신호는 예측 신호(102)와 잔여 신호(103)로 구성된다.
예측 신호(102)는 또한 기본 계층의 이전 픽쳐 블록의 복원된 신호(104)에서 움직임이 보상된 예측 신호와 제 1 FGS 계층(110)의 복원 신호(105)와 이전 픽쳐의 복원 신호(104)의 차로부터 움직임이 보상되어 예측된 신호의 합으로 이루어진다.
제 1 FGS 계층(110)의 복원 신호(105)와 이전 픽쳐의 복원 신호(104)의 차로부터 움직임이 보상된 예측 신호는 적응스케일링부(Adaptive Scaling, 106)에서 제1스케일링 요소(S1)와 곱해진다.
제1스케일링 요소(S1)가 0(zero)인 경우, 예측 신호(102)는 기본 계층으로부터만 얻어지고, 제 1 FGS 계층(110)의 블록(105)에서 FGS 정보가 추출되는 경우에도 화질 열화가 발생하지 않는다. 반면, 제1스케일링 요소(S1)가 0(zero)이 아닌 경우, 예측 신호(102)는 FGS 정보가 추출되지 않는 경우보다 보다 나은 화질을 갖게 될 것이다.
제1스케일링 요소(S1)가 제어되는 2가지 경우를 예를 들어 설명하면 다음과 같다.
◆ K11 스위치가 Close 인 경우
첫 번째로는, 기본 계층(또는 하위 FGS 계층)에서 상위 FGS 계층으로 계층간 예측이 발생하는 경우를 고려할 수 있다. 스위치 K11(111)를 통해 제 1 FGS계 층(110)에 연결되어 기본 계층(100)에서 상위 FGS 계층으로 예측이 일어나는 경우를 예를 들면 다음과 같다.
제1스케일링 요소(S1)값은 기본 계층(100)의 동일 위치 잔여신호(107)의 계수를 기반으로 결정된다. 잔여신호(107)의 계수가 0(zero)이 아닌 경우(스위치 K21(121)이 1인 경우), 예측신호(102)의 해당 계수는 제1스케일링 요소(S1)를 0(zero)으로 하여 얻어진다.
반면, 잔여신호(107)의 계수가 0(zero)인 경우, 예측신호(102)의 해당 계수는 제1스케일링 요소(S1)를 0(zero)이 아닌 값으로 설정하여 결정된다. 정확한 제1스케일링 요소(S1)의 0이 아닌 값은 컨텐츠와 응용 프로그램에 따라 달라진다.
잔여 신호(107)의 모든 계수가 0이라면, 스케일링은 공간 영역에서 일어난다. 만약 잔여 신호(107)의 어떠한 계수라도 0이 아닌 값을 가질 경우에는 스케일링은 변환 영역에서 이루어진다. 즉 차분 신호는 공간 영역에서 변환 영역으로 변환된 후 스케일 된다.
◆ K11 스위치가 Open 인 경우
두 번째로는, 기본 계층(또는 하위 FGS 계층)에서 상위 FGS 계층으로 계층간 예측이 발생하지 않는 경우를 고려할 수 있다. 일 예로, 스위치 K11(111)가 제 1 FGS계층(110)과 연결되지 않은 경우로서, 기본 계층(100)에서 상위 FGS 계층으로 예측이 일어나지 않는 경우를 예를 들면 다음과 같다.
이 경우, 제1스케일링 요소(S1)값은 K21(121)이 2부분에 연결되어 제 1 FGS 계층(110)의 잔여 신호(103)의 계수를 기반으로 설정된다는 것 외에는 이상에서 살펴보았던 첫 번째 경우와 동일한 방법으로 결정된다. 따라서, 현재 FGS 계층의 잔여신호(103)가 스케일링 요소값을 결정하는데 사용되는 문제점이 발생한다.
이상에서 살펴본 바와 같이, AR-FGS 기술 및 FGS 모션 리파인먼트(FGS motion refinement)기술을 함께 적용할 경우 발생하는 문제점을 해결하기 위하여 본 발명에서 제시한 대안책을 도 2 를 참고하여 이하에서 서술하겠다.
도 2는 본 발명의 바람직한 일 실시예로서, 스케일러블 비디오 부호화에서의 AR-FGS 구조를 도시한다.
연결 스위치 K1i(K11, K12, K13)들은 FGS 모션 리파인먼트 기법에 의해 조절된다. 도 1 과 관련하여 검토한 바와 같이, 레지듀얼 블락간(103, 107)에 인터레이어 예측(interlayer prediction)이 발생하는 경우는 AR-FGS 기술 및 FGS 모션 리파인먼트 기술의 동시 적용이 문제되지 않는다.
그러나, 계층간 예측이 없는 경우, 스케일요소 Si를 결정함에 있어 문제가 발생하게 된다. 이러한 문제를 해결하기 위한 대안은 다음과 같다.
[대안 1]
연결 스위치 K1i가 open 상태라서 레이어 간에 잔여 신호 예측이 없는 경우의 대안책이다. 이 경우 i 번째 FGS 계층의 스케일요소 Si 값은 0(zero)으로 설정하여, i 번째 FGS 계층에서 관련 블록의 예측 신호는 기본 계층과 같도록 한다. 예를 들어 1번째 FGS 계층에서 관련블록(202)의 예측 신호는 기본 계층의 신호와 같 도록 한다.
또한, K1i 스위치가 open 상태이고, K1i +1 스위치가 close 상태인 경우, (i+1) 번째 FGS 계층의 스케일요소 S(i+1) 은 i번째 FGS 계층의 잔여 신호를 기반으로 하여 결정한다.
추가적으로 K1i 스위치가 open 상태이고, K1i +1 스위치가 close 상태이고, K1i +2 스위치가 close 상태인 경우, (i+1) 번째 FGS 계층의 스케일요소 S(i+1)와 (i+2) 번째 FGS 계층의 스케일요소 S(i+2)는 i번째 잔여신호에 기반하여 결정된다. 예를 들어, i가 1인 경우 203에 기반하여, S(i+1), S(i+2)가 결정된다.
일 실시예를 들면 다음과 같다.
◆ K11 스위치가 Open 인 경우
1) 기본 계층과 제 1 FGS 계층간에 잔여 신호 예측이 비활성화된 상태인 경우, S1=0 으로 설정함으로써, 제 1 FGS 계층(210)의 잔여 신호(203)는 기본 계층(200)의 잔여 신호(207)처럼 처음부터 다시 예측된다.
예를 들어, 제 1 FGS 계층(210)의 예측신호(202)는 기본계층의 예측신호와 동일하고 제 1 FGS 계층(210)의 잔여신호(203)는 기본계층(200)의 잔여 신호(207)와 무관하게 부호화가 이루어진다. 이 경우에는 203을 예측을 통해 부호화하지 않고, 207을 부호화 할 때와 다른 양자화 계수값을 이용하여 부호화가 이루어진다. 그리고, 잔여신호(203)은 제 2 FGS 계층의 잔여신호 예측 및 S2 결정에 이용될 수 있다.
2) K11(211) 스위치가 open 상태이고, K12(212) 스위치가 close 인 경우, K22(222) 스위치는 2가 되며, 제 1 FGS 계층(210)의 잔여 신호(203)는 제 2 FGS 계층(220)의 스케일요소(S2)를 결정하는데 사용된다.
3) K12(212), K13(213) 스위치가 close 인 경우, K23 (223) 스위치는 1이 되며, S2 및 S3 는 동일한 잔여 신호(203)에 기반하여 결정된다.
도 3(a) 내지 (e)는 본 발명에서 도 2를 참고하여 제시한 대안 1에 대한 표준화 문서의 일 예를 도시한다.
본 발명에서 제시한 대안 1에 따라 표준화 문서에서 변경되는 부분에 도면 도 3(a) 내지 (e)상에 엷은 회색으로 음영 표시를 하였다.
도 3(a) 내지 (e)에서 추가된 부분은 각 FGS 계층 복호화시, 스케일 요소를 결정하는 복호과정에서 FGS motion refinement가 사용되고(motion_refinement_flag=1) 잔여신호 예측이 사용되지 않은 경우(residual_prediction_flag=0), 스케일 요소(sF)를 “0”으로 할당하도록 하는 구문이다.
[대안 2]
대안 1에서는 연결 스위치 K1i가 open 상태라서 레이어 간에 잔여 신호 예측이 없는 경우, i 번째 FGS 계층의 스케일요소 Si 값을 0(zero)으로 설정하여, i 번째 FGS 계층에서 관련 블록의 예측 신호는 기본 계층과 같도록 하였다.
대안 2는 대안 1과 스케일요소 Si 값을 0으로 설정하느냐 설정하지 않느냐의 점에 있어 차이가 있다.
즉, 두 번째 대안에서는 연결 스위치 K1i가 open 상태라서 레이어 간에 잔여 신호 예측이 없는 경우에도, 필요에 따라 스케일요소 Si가 0이 아닌 값을 가지도록 설정하되, 대안 1과 마찬가지로 인터레이어 예측이 수행되지 않은 FGS 블록의 잔여 신호가 상위 FGS 계층의 스케일요소를 결정하는데 사용되도록 한다.
일 예를 들면, K11(211) 스위치가 open 상태이고, K12(212) 스위치가 close 인 경우, K22(222) 스위치는 2가 되며, 제 1 FGS 계층(210)의 잔여 신호(203)는 제 2 FGS 계층(220)의 스케일요소(S2)를 결정하는데 사용된다.
대안 2 역시 도 1과 관련하여 검토하였던 종래 기술의 문제점인 제 1 FGS 계층(110)의 스케일요소 S1으로부터 102 번 블락이 예측되는 문제점을 해결할 수 있다.
도 4(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 도 2를 참고하여 서술한 대안 2를 위한 복원 과정의 표준화 문서의 일 예를 도시한다. 본 발명에서 제시한 대안 2에 따라 표준화 문서에서 변경되는 부분에 도면 4(a) 및 (b)상에 엷은 회색으로 음영 표시를 하였다.
도면 4(a) 및 (b)에 추가된 디코딩 프로세스 부분은 현재 표준에서 K1i의 스위치기 open 인 경우 i번째 FGS 계층의 스케일 요소 Si의 값이 i 번째 FGS 계층의 잔여신호 (residual signal)에 의해서 결정되는데 (예를 들어 K11의 스위치가 open 인경우에 스케일 요소 S1의 값이 103에 의해 결정됨), 이것을 i-1 번째 FGS 계층의 잔여신호 (107)에 의해 결정되도록 변경한 것이다.
sigBCoeff는 잔여신호에 해당하는 값을 나타내는 변수로서, 스케일 요소를 결정하기 위해 사용된다. 현재 표준에서는 motion_refinement_flag가 1이고, residual_prediction_flag 가 0 일때, i 번째 FGS 계층의 sigBCoeff 가 i 번째 FGS 계층의 스케일 요소를 결정하도록 되어 있다. 즉, 103이 S1을 결정하도록 되어 있다. 본 발명에서는 현재 표준 문서의 문제점을 해결하기 위하여 sigBCoeffTem 이라는 변수를 만들어서 sigBCoeff가 i-1 번째 FGS 계층의 잔여신호 값을 가지도록 수정하였다.
[대안 3]
FGS 모션 리파인먼트 기술이 기본 계층과 각 FGS 계층간에 항상 이루어지는 경우 AR-FGS를 위한 대안이다.
K11(211), K12(212), K13(213) 스위치가 항상 닫혀있도록 설정한다. 즉, 계층간 인터레이어 예측이 항상 활성화되어 있어 계층간 잔여 신호 예측이 이루어지는 것으로 설정한다.
그에 따라, K21(221), K22(222), K23(223) 스위치는 모두 1이 되어 기본 계층의 잔여 신호(207)가 항상 스케일요소 Si를 결정하는데 이용되도록 한다.
도 5 는 본 발명의 바람직한 일 실시예로 제시한 대안 3의 구문의 예를 나타낸다.
삭제한 부분은 FGS 계층에서 residual_prediction_flag가 1 이면 잔여신호 예측을 수행하고 0이면 잔여신호 예측을 하지 않음을 나타내는 방식으로 잔여신호 예측(인터레이어 예측)이 이루어졌는지 아닌지를 나타내는 신택스이다.
그러나, 대안 3과 같이 항상 잔여신호 예측이 일어나도록 설정을 한다면 굳이 residual_prediction_flag라는 신택스 디코터에 전달할 필요가 없으므로 (residual_prediction_flag는 항상 1이 될 것이므로) 신택스의 삭제를 제안하였다.
도 6 은 본 발명의 바람직한 일 실시예로 대안 3을 위한 복원 과정의 표준화 문서의 일 예를 도시한다.
FGS 계층에서 residual_prediction_flag는 항상 1의 값을 가질 것이므로, residual_prediction_flag가 0 의 값을 가질 경우의 decoding process에 관련된 내용을 삭제하고, residual_prediction_flag가 1 인지를 확인하는 절차 또한 삭제하였다.
본 발명에서 제시한 대안 3에 따라 변경되는 부분에 도 5 및 6에 엷은 회색으로 음영 표시를 하였다.
[대안 4]
AR-FGS 기법은 스케일러블 비디오 코딩 부호화에서 GOP 내의 Key Picture에만 적용된다. 이러한 특성을 이용하여, key picture 에 대해서는 FGS 모션 리파인먼트 기법을 적용하지 않음으로써 AR-FGS 기법과 FGS 모션 리파인먼트 기법을 동시에 적용되는 경우 발생하는 문제점을 해소할 수 있다. 따라서, 기존의 AR-FGS 기술은 FGS 모션 리파인먼트 기술을 수용하기 위해 변경될 필요가 없다.
도 7 은 본 발명의 바람직한 일 실시예로 대안 4를 위한 구문의 일 예를 도시한다.
도 7 에서 use_base_prediction_flag 는 현재 픽쳐가 키 픽쳐(key picture)인지 아닌지를 나타내는 플래그이다.
기존에는 모든 픽처에 대해 motion_refinement_flag를 확인하였으나, 본 발명에서는 제안한 내용은 모션 리파인먼트 기법의 사용 유무를 나타내는 motion_refinement_flag를 키 픽처가 아닌 경우에만 확인하도록 변경하였다.
[대안 5]
대안 5에서는 key picture 에 대해 AR-FGS 기법이 사용되는 경우에만 FGS 모션 리파인먼트 기법을 적용하지 않고, AR-FGS 기법이 사용되지 않는 경우에는 FGS 모션 리파인먼트 기법을 적용하는 방법이다. 대안 4에서는 key picture 에 대해서는 일괄적으로 FGS 모션 리파인먼트 기법을 적용하지 않았다는 점에 있어 차이가 있다.
도 8 은 본 발명의 바람직한 일 실시예로 대안 5를 위한 구문의 일 예를 도시한다.
adaptive_ref_fgs_flag가 1 인 경우는 AR-FGS가 사용됨을 나타내는 방식을 이용하여, AR-FGS가 사용되지 않았을 경우에만 motion_refinement_flag를 이용하여 모션 리파인먼트 기법이 사용되었는지 유무를 나타내도록 제안하였다.
[대안 6]
대안 6 은 SVC의 부호화 과정에서 key picture 에 대해 AR-FGS 기법 및 FGS 모션 리파인먼트 기법을 모두 적용하지 않는 것이다. 이 경우, 부호화된 비디오의 부호화 효율은 높지 않지만, 비트스트림의 복잡도가 낮아지고 화질 열화 전파가 줄어드는 이점이 있다.
도 9 는 본 발명의 바람직한 일 실시예로 대안 6을 위한 구문의 일 예를 도시한다.
도 9의 구문은 AR-FGS 기법 사용 유무를 나타내는 adaptive_ref_fgs_flag와 모션 리파인먼트 기법의 사용 유무를 나타내는 motion_refinement_flag를 키픽쳐(key picture)에 대해 사용하지 않도록 하는 구문이다.
key picture 일 경우 adaptive_ref_fgs_flag와 관련된 신택스를 삭제하였으며, motion_refinement_flag를 key picture가 아닌경우에만 확인하도록 하였다.
[개선된 AR- FGS 적용법]
이상의 대안 1 내지 6의 방법 외에도, 본 발명에서는 AR-FGS 에서 잔여신호(residual signal)에 대해 인터레이어 예측이 사용되는 경우( FGS 모션 리파인먼트 기법이 사용되지 않는 경우, 또는 FGS 모션 리파인몬트 기술이 사용되나 잔여 신호에 대해서는 인터레이어 예측이 사용되는 경우가 이에 해당한다) i 번째 FGS 계층의 스케일 요소 Si를 (i-1)번째 FGS 계층의 잔여 신호를 이용하여 결정하는 개선된 AR-FGS 적용법을 제시한다. 이는 베이스 레이어의 잔여 신호와 비교시, (i-1) 번째 FGS 레이어의 잔여신호가 i 번째 FGS 레이어의 잔여 신호와 유사하기 때문이다.
구체적인 예를 들면, 도 2 에서 K12(212)가 닫혀 있을 때 잔여 신호(203)은 S2의 값을 결정하는데 사용될 수 있다. 이 경우 K22(222)는 "2"의 위치에 놓이게 된다.
개선된 AR-FGS 적용법은 또한 대안 3, 4, 5 와 결합되어 사용될 수 있다. 예를 들어 대안 3, 4, 5 에서 K11(211)과 K12(212)가 모두 닫혀 있는 경우, S1(206)은 207에 의해 결정되고, S2는 203에 의해 결정된다.
도 10 은 본 발명의 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.
SVC 부호화기는 예측신호결정부(1010)와 스케일요소결정부(1020)를 포함한다.
예측신호결정부(1010)는 기본 계층이나 이전 FGS 계층과 현재 FGS 계층 간에 인터레이어 예측이 수행되지 않은 경우, 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 결정한다.
현재 FGS 계층의 스케일요소가 0인 경우는 이상에서 서술한 대안 1의 부분에서 대응되는 설명을 참고한다. 또한, 현재 FGS 계층의 스케일요소가 0이 아닌 경우는 이상에서 서술한 대안 2의 부분에서 대응되는 설명을 참고한다.
스케일요소결정부(1020)는 현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블 락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정한다. 이 경우, 현재 FGS 계층과 상위 FGS 계층간에는 인터레이어 예측이 수행된다. 보다 구체적인 서술은 대안 1 및 2 부분을 참고한다.
도 11 은 도 10의 SVC 부호화기에서 흐름도를 도시한다.
먼저, 기본 계층이나 이전 FGS 계층과 현재 FGS 계층 간에 인터레이어 예측이 수행되는지를 판단한다(S1010). 판단 결과 인터레이어 예측이 수행되지 않는 경우에는 현재 FGS 계층의 스케일 요소가 0인지 여부에 따라 0인 경우에는 대안 1의 방식으로 예측 신호를 결정하고(S1030), 0이 아닌 경우에는 대안 2의 방식으로 예측 신호를 결정한다(S1040).
그리고, 현재 FGS 계층 블락의 잔여 신호를 기초로 상위 FGS 계층의 스케일 요소를 결정한다(S1050).
도 12 는 본 발명의 또 다른 바람직한 일 실시예로서, 대안 3의 경우를 대표적으로 나타내는 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.
SVC 부호화기는 인터레이어예측설정부(1210)와 스케일요소결정부(1220)를 포함한다.
인터레이어예측설정부(1210)는 기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정한다. 각 계층간에 항상 인터레이어 예측이 수행되도록 설정되면, 스케일요소결정부(1220)는 항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정한다. 보다 구체적인 내용은 대안 3을 참고한다.
도 13 는 본 발명의 또 다른 바람직한 일 실시예로서, 대안 4 내지 6의 경우를 대표적으로 나타내는 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.
FGS-MS비활성부(1310)는 입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지한다.
AR-FGS비활성부(1320)는 FGS 모션 리파인먼트 기법이 저지된 키픽쳐에 AR-FGS 기법이 적용되지 않도록 저지한다.
FGS-MS비활성부(1310)만으로 구성된 예가 대안 4에 해당하고, FGS-MS비활성부(1310)와 AR-FGS비활성부(1320) 두 구성요소를 모두 이용하는 예가 대안 6에 해당한다. 대안 5는 키픽쳐에 AR-FGS 기법이 적용된 경우에만 FGS-MS비활성부(1310)구성을 선택적으로 이용하는 경우이다.
이상에서, 도 10 내지 13을 예로 들어 서술한 SVC 부호화기는 이상의 다른 대안과도 선택적으로 결합되어 사용될 수 있음을 유의하여야 한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예 들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 기존의 SVC의 AR-FGS 구성을 도시한다.
도 2는 본 발명의 바람직한 일 실시예로서, 스케일러블 비디오 부호화에서의 AR-FGS 구조를 도시한다.
도 3(a) 내지 (e)는 본 발명에서 도 2를 참고하여 제시한 대안 1에 대한 표준화 문서에서의 복호화 과정의 일 예를 도시한다.
도 4(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 도 2를 참고하여 서술한 대안 2를 위한 복원 과정의 표준화 문서의 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로 제시한 대안 3의 구문의 예를 나타낸다.
도 6 은 본 발명의 바람직한 일 실시예로 제시한 대안 3을 위한 복원 과정의 표준화 문서의 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로 대안 4를 위한 구문의 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로 대안 5를 위한 구문의 일 예를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로 대안 6을 위한 구문의 일 예를 도시한다.
도 10 은 본 발명의 바람직한 일 실시예로서, 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.
도 11 은 도 10의 SVC 부호화기에서 흐름도를 도시한다.
도 12 는 본 발명의 또 다른 바람직한 일 실시예로서, 대안 3의 경우를 대표적으로 나타내는 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.
도 13 는 본 발명의 또 다른 바람직한 일 실시예로서, 대안 4내지 6의 경우를 대표적으로 나타내는 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기를 도시한다.

Claims (34)

  1. 개선된 AR-FGS 및 FGS 모션 리파인먼트(motion refinement) 기법을 적용하는 SVC 부호화기로서,
    기본 계층이나 이전 FGS 계층과 현재 FGS 계층 간에 인터레이어 예측이 수행되지 않은 경우, 상기 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 결정하는 예측신호결정부; 및
    현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정부;를 포함하는 것을 특징으로 하는 SVC 부호화기.
  2. 제 1 항에 있어서,
    상기 스케일요소는 현재 FGS 계층 블락을 예측하기 위해 이전 블락을 참조로 사용하는 비율인 것을 특징으로 하는 SVC 부호화기.
  3. 제 1 항에 있어서,
    상기 현재 FGS 계층의 스케일요소를 0으로 설정하여, 현재 FGS 계층 블락의 예측 신호를 기본 계층 블락의 예측 신호와 동일한 방식으로 예측하는 것을 특징으로 하는 SVC 부호화기.
  4. 제 1 항에 있어서,
    상기 현재 FGS 계층의 스케일요소는 0이 아닌 것을 특징으로 하는 SVC 부호화기.
  5. 제 1 항에 있어서,
    현재 FGS 계층 블락과 상위 FGS 계층 블락간에는 인터레이어 예측이 수행되는 것을 특징으로 하는 SVC 부호화기.
  6. 제 1 항에 있어서,
    현재 FGS 계층 블락의 복원 신호는 예측 신호와 잔여 신호로 구성되는 것을 특징으로 하는 SVC 부호화기.
  7. 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기로서,
    기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정하는 인터레이어예측설정부; 및
    항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정하는 스케일요소결정부;를 포함하는 것을 특징으로 하는 SVC 부호화기.
  8. 제 7 항에 있어서,
    상기 스케일요소는 현재 FGS 계층 블락을 예측하기 위해 이전 블락을 참조로 사용하는 비율인 것을 특징으로 하는 SVC 부호화기.
  9. 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기로서,
    입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 FGS-MR비활성부;를 포함하는 것을 특징으로 하는 SVC 부호화기.
  10. 제 9 항에 있어서, 상기 FGS-MR 비활성부는
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않은 경우에만 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되도록 저지하는 것을 특징으로 하는 SVC 부호화기.
  11. 제 9 항에 있어서,
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않도록 저지하는 AR-FGS 비활성부;를 더 포함하는 것을 특징으로 하는 SVC 부호화기.
  12. 개선된 AR-FGS을 적용하는 SVC 부호화기로서,
    기본 계층 및 각 FGS 계층 간에 인터레이어 예측이 수행되도록 설정하는 인터레이어예측설정부; 및
    현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정부;를 포함하는 SVC 부호화기.
  13. 제 12 항에 있어서,
    입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 FGS-MR비활성부;를 더 포함하는 것을 특징으로 하는 SVC 부호화기.
  14. 제 13 항에 있어서, 상기 FGS-MR 비활성부는
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않은 경우에만 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되도록 저지하는 것을 특징으로 하는 SVC 부호화기.
  15. 개선된 AR-FGS 및 FGS 모션 리파인먼트(motion refinement) 기법을 적용하는 SVC 부호화기에서 부호화하는 방법으로서,
    기본 계층이나 이전 FGS 계층과 현재 FGS 계층 간에 인터레이어 예측이 수행되지 않은 경우, 상기 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 결정하는 예측신호결정 단계; 및
    현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정 단계;를 포함하는 것을 특징으로 하는 SVC 부호화 방법.
  16. 제 15 항에 있어서,
    상기 스케일요소는 현재 FGS 계층 블락을 예측하기 위해 이전 블락을 참조로 사용하는 비율인 것을 특징으로 하는 SVC 부호화 방법.
  17. 제 15 항에 있어서,
    상기 현재 FGS 계층의 스케일요소를 0으로 설정하여, 현재 FGS 계층 블락의 예측 신호를 기본 계층 블락의 예측 신호와 동일한 방식으로 예측하는 것을 특징으로 하는 SVC 부호화 방법.
  18. 제 15 항에 있어서,
    상기 현재 FGS 계층의 스케일요소는 0이 아닌 것을 특징으로 하는 SVC 부호화 방법.
  19. 제 15 항에 있어서,
    현재 FGS 계층 블락과 상위 FGS 계층 블락간에는 인터레이어 예측이 수행되는 것을 특징으로 하는 SVC 부호화 방법.
  20. 제 15 항에 있어서,
    현재 FGS 계층 블락의 복원 신호는 예측 신호와 잔여 신호로 구성되는 것을 특징으로 하는 SVC 부호화 방법.
  21. 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기에서 부호화 하는 방법으로서,
    기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정하는 인터레이어예측설정 단계; 및
    항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정하는 스케일요소결정 단계;를 포함하는 것을 특징으로 하는 SVC 부호화 방법.
  22. 제 21 항에 있어서,
    상기 스케일요소는 현재 FGS 계층 블락을 예측하기 위해 이전 블락을 참조로 사용하는 비율인 것을 특징으로 하는 SVC 부호화 방법.
  23. 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 부호화기에서 부호화 방법으로서,
    입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 FGS-MR비활성 단계;를 포함하는 것을 특징으로 하는 SVC 부호화 방법.
  24. 제 23 항에 있어서, 상기 FGS-MR 비활성 단계는
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않은 경우에만 상기 키픽쳐에 FGS 모 션 리파인먼트 기법이 적용되지 않도록 저지하는 것을 특징으로 하는 SVC 부호화 방법.
  25. 제 23 항에 있어서,
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않도록 저지하는 AR-FGS 비활성 단계;를 더 포함하는 것을 특징으로 하는 SVC 부호화 방법.
  26. 개선된 AR-FGS을 적용하는 SVC 부호화기에서 부호화 하는 방법으로서,
    기본 계층 및 각 FGS 계층 간에 인터레이어 예측이 수행되도록 설정하는 인터레이어예측설정 단계; 및
    현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 스케일요소결정 단계;를 포함하는 SVC 부호화 방법.
  27. 제 26 항에 있어서,
    입력 비트스트림의 GOP 내의 픽쳐가 키픽쳐인 경우, 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되도록 하는 FGS-MR비활성 단계;를 더 포함하는 것을 특징으로 하는 SVC 부호화 방법.
  28. 제 27 항에 있어서, 상기 FGS-MR 비활성 단계는
    상기 키픽쳐에 AR-FGS 기법이 적용되지 않은 경우에만 상기 키픽쳐에 FGS 모션 리파인먼트 기법이 적용되지 않도록 저지하는 것을 특징으로 하는 SVC 부호화방법.
  29. 개선된 AR-FGS 및 FGS 모션 리파인먼트(motion refinement) 기법을 적용하는 SVC 복호화기로서,
    각 FGS 계층 복호화시, 현재 FGS 계층에 FGS 모션리파인먼트 기법이 적용되고 상기 현재 FGS 계층과 기본 계층이나 이전 FGS 계층과 간에 인터레이어 예측이 수행되지 않은 경우, 상기 현재 FGS 계층의 스케일요소 값에 따라 현재 FGS 계층 블락의 예측 신호를 복원하고, 상기 스케일요소 값은 현재 FGS 계층 블락의 잔여 신호를 기초로 SVC 부호화기에서 결정된 값인 것을 특징으로 하는 SVC 복호화기.
  30. 제 29 항에 있어서,
    상기 현재 FGS 계층의 스케일요소를 0으로 설정하는 것을 특징으로 하는 SVC 복호화기.
  31. 개선된 AR-FGS 및 FGS 모션 리파인먼트 기법을 적용하는 SVC 복호화기로서,
    수신된 비트스트림에서 기본 계층 및 각 FGS 계층 간에 항상 인터레이어 예측이 수행되도록 설정되어 있는 경우, 항상 기본 계층의 잔여신호를 기초로 상위 FGS 계층의 스케일요소를 결정하여 복호화하는 것을 특징으로 하는 SVC 복호화기.
  32. 개선된 AR-FGS을 적용하는 SVC 복호화기로서,
    기본 계층 및 각 FGS 계층 간에 인터레이어 예측이 수행되도록 설정되었음을 나타내는 인터레이어예측설정신호가 포함된 비트스트림을 수신한 경우, 현재 FGS 계층 블락에 대응되는 상위 FGS 계층 블락 예측시 이용되는 스케일요소를 현재 FGS 계층 블락의 잔여 신호를 기초로 결정하는 것을 특징으로 하는 SVC 복호화기.
  33. 개선된 AR-FGS 및 FGS 모션 리파인먼트(motion refinement) 기법을 적용하는 SVC 복호화 방법에 있어서,
    현재 프레임이 키픽쳐인지 여부를 판단하는 단계;
    현재 프레임이 키픽쳐인 경우 AR-FGS 기법의 적용여부를 판단하고, 현재 프레임이 키픽쳐가 아닌 경우 모션 리파인먼트 기법의 적용여부를 판단하는 단계를 포함하는 SVC 복호화 방법.
  34. 제 33 항에 있어서,
    상기 판단결과, 현재 프레임이 키픽쳐이고, AR-FGS 기법이 적용되지 않은 경우에는 모션 리파인먼트 기법의 적용여부를 판단하는 단계를 포함하는 SVC 복호화 방법.
KR1020070104240A 2006-10-16 2007-10-16 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법 KR20080034417A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/445,091 US20100046620A1 (en) 2007-01-09 2007-10-16 Scalable video coding encoder with adaptive reference fgs and fgs motion refinement mechanism and method thereof
EP07833374A EP2078423A4 (en) 2006-10-16 2007-10-16 SCALABLE VIDEO CODING DEVICE WITH ADAPTIVE REFERENCE FGS AND FGS MOTION REFINEMENT MECHANISM AND METHOD THEREFOR
PCT/KR2007/005065 WO2008048038A1 (en) 2006-10-16 2007-10-16 Scalable video coding encoder with adaptive reference fgs and fgs motion refinement mechanism and method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US85204606P 2006-10-16 2006-10-16
US60/852,046 2006-10-16
KR1020070002653 2007-01-09
KR20070002653 2007-01-09

Publications (1)

Publication Number Publication Date
KR20080034417A true KR20080034417A (ko) 2008-04-21

Family

ID=41696370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070104240A KR20080034417A (ko) 2006-10-16 2007-10-16 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법

Country Status (4)

Country Link
US (1) US20100046620A1 (ko)
EP (1) EP2078423A4 (ko)
KR (1) KR20080034417A (ko)
WO (1) WO2008048038A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311520B1 (ko) 2010-04-13 2021-10-13 지이 비디오 컴프레션, 엘엘씨 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩
KR20200078378A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001227679A1 (en) * 2000-02-25 2001-09-03 General Atomics Mutant nucleic binding enzymes and use thereof in diagnostic, detection and purification methods
US7068717B2 (en) * 2000-07-12 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US7227894B2 (en) * 2004-02-24 2007-06-05 Industrial Technology Research Institute Method and apparatus for MPEG-4 FGS performance enhancement
WO2006109141A1 (en) * 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control

Also Published As

Publication number Publication date
US20100046620A1 (en) 2010-02-25
EP2078423A4 (en) 2012-05-09
WO2008048038A1 (en) 2008-04-24
EP2078423A1 (en) 2009-07-15

Similar Documents

Publication Publication Date Title
US9578343B2 (en) Scalable video encoder/decoder with drift control
CN112042188B (zh) 用于视频压缩中非正方形块的帧内预测的方法和装置
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) Totally embedded FGS video coding with motion compensation
US20070160133A1 (en) Video coding with fine granularity spatial scalability
US20090238264A1 (en) System and method for real-time transcoding of digital video for fine granular scalability
KR20010080644A (ko) 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법
CN111937326B (zh) 视频解码方法、装置和可读存储介质
AU2003203271A1 (en) Image coding method and apparatus and image decoding method and apparatus
KR20070096979A (ko) 스위칭 픽쳐를 이용한 동영상 비트스트림 부호화 및 복호화방법 및 장치
CN112753223B (zh) 用于视频解码的方法、装置和计算机可读介质
KR20060122671A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
WO2007109993A1 (en) Error control system, method, encoder and decoder for video coding
EP1601205A1 (en) Moving image encoding/decoding apparatus and method
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
KR20080034417A (ko) 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법
CN112399180B (zh) 视频解码方法、装置及存储介质
CN112399186B (zh) 视频解码方法、装置及存储介质
CN101669366A (zh) 具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法
WO2003071809A1 (en) Drift minimization in motion-compensated fine granular scalable structures
KR20050012765A (ko) 드리프트-프리 스케일러블 비트스트림으로부터 비디오들을향상시키는 시스템 및 방법
WO2002025954A2 (en) Double-loop motion-compensation fine granular scalability
Roodaki et al. Performance enhancement of H. 264 codec by layered coding
CN116897533A (zh) 图像和视频压缩中交叉分量预测的自适应参数选择

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid