KR20070008365A - 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치 - Google Patents

하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR20070008365A
KR20070008365A KR1020050088354A KR20050088354A KR20070008365A KR 20070008365 A KR20070008365 A KR 20070008365A KR 1020050088354 A KR1020050088354 A KR 1020050088354A KR 20050088354 A KR20050088354 A KR 20050088354A KR 20070008365 A KR20070008365 A KR 20070008365A
Authority
KR
South Korea
Prior art keywords
layer
data
lower layer
fgs
frame
Prior art date
Application number
KR1020050088354A
Other languages
English (en)
Other versions
KR100678907B1 (ko
Inventor
이배근
한우진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2006/002725 priority Critical patent/WO2007027001A1/en
Priority to US11/484,645 priority patent/US20070014351A1/en
Publication of KR20070008365A publication Critical patent/KR20070008365A/ko
Application granted granted Critical
Publication of KR100678907B1 publication Critical patent/KR100678907B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 하위 계층의 복원 데이터를 사용하여 FGS 계층을 인코딩 및 디코딩하는 방법 및 장치에 관한 발명으로서 본 발명의 일 실시예에 따른 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법은 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 코딩하는 방법에 있어서, 상기 FGS 계층이 나타내는 저역 통과 프레임에 대응하는 하위 계층의 원본 데이터를 복원하는 단계, 상기 향상 계층의 원본 데이터와 상기 복원한 하위 계층의 원본 데이터의 잔차를 구하는 단계, 및 상기 잔차를 양자화하고 엔트로피 부호화 과정을 거쳐 FGS 계층 비트 스트림을 생성하는 단계를 포함한다.
FGS, 비디오 압축, 다계층, 인트라 BL 예측, 인코딩, 디코딩

Description

하위 계층의 복원 데이터를 사용하여 ＦＧＳ 계층을 인코딩 및 디코딩하는 방법 및 장치{Method and apparatus for encoding and decoding FGS layer using reconstructed data of lower layer}
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다.
도 2는 상기 3가지 예측 방법을 설명하는 개략도이다.
도 3은 비디오 코딩에서의 잔차 예측(Residual prediction)의 예를 보여주는 도면이다.
도 4는 도 3의 잔차 예측을 토대로 FGS의 잔차 데이터를 코딩하는 과정을 개략적으로 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 FGS 계층 코딩에서 잔차 예측 코딩과 기초 계층을 참조하는 인트라 BL 코딩 방법을 선택적으로 수행하는 예를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 인코딩 과정을 보여주는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 디코딩 과정을 보여주는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 비디오 인코더 중 FGS 인코딩 부분을 상술한 구성도이다.
도 9는 본 발명의 일 실시예에 따른 비디오 디코더 중 FGS 디코딩 부분을 상술한 구성도이다.
<도면의 주요 부분에 대한 부호의 설명>
200: FGS 인코딩부 210: 프레임 판별부
220: 기초 계층 복원부 230: 잔차 데이터 생성부
300: FGS 인코딩부 310: 프레임 판별부
320: 기초 계층 복원부 330: 데이터 복원부
본 발명은 비디오 인코딩 및 디코딩에 관한 것으로, 보다 상세하게는 하위 계층의 복원 데이터를 사용하여 FGS 계층을 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 동영상(moving picture; 이하 "비디오"라고 함), 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다. 이러한 멀티미디어 데이터를 압축하는 방법들 중에서도, 특히 비디오 압축 방법은 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다.
종래에 비디오 코딩의 목적은 주어진 비트 전송률에 최적화된 정보를 보내는 것이었다. 그러나 인터넷 스트리밍 비디오와 같은 네트워크 비디오 어플리케이션에서는 네트워크의 성능이 일정한 것이 아니라 상황에 따라 다양하게 변화하므로, 종래의 비디오 코딩의, 소정의 비트 전송률에 대한 최적 코딩이라는 목적 이외의 탄력적인 코딩을 필요로 하게 되었다.
스케일러빌리티(Scalability)는 기초 계층(base layer)과 향상 계층(enhancement layer)의 두 계층으로 시간적으로, 공간적으로, SNR(Signal to Noise Ratio) 등의 측면에서 디코더가 프로세싱 상황, 네트워크 상황 등을 살펴보아 선택적으로 디코딩이 가능하도록 하는 기법을 의미한다. 이중 FGS(Fine Granularity Scalability)는 기초 계층과 향상 계층을 인코딩하며, 향상 계층은 인코딩을 거친 후에 네트워크 전송 효율 또는 디코더 측의 상황에 따라 전송되지 않거나 디코딩되지 않을 수 있다. 이를 통해 전송율에 따라 데이터를 적절히 전송할 수 있다.
도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제1 향상 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다.
도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 텍스쳐로부터(직접 또는 업샘플링 후) 현재 계층의 텍스쳐를 예측하고, 예측된 값과 실제 현재 계층의 텍스쳐와의 차이를 인코딩하는 방법이 알려져 있다. "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)에서는 이러한 방법을 인트라 BL 예측(Intra_BL prediction)이라고 정의하고 있다.
이와 같이, SVM 3.0에서는, 기존의 H.264에서 현재 프레임을 구성하는 블록 내지 매크로블록에 대한 예측을 위하여 사용된 인터 예측(inter prediction) 및 방향적 인트라 예측(directional intra prediction)이외에도, 현재 블록과 이에 대응되는 하위 계층 블록 간의 연관성(correlation)을 이용하여 현재 블록을 예측하는 방법을 추가적으로 채택하고 있다. 이러한 예측 방법을 "인트라 BL(Intra_BL) 예측"이라고 하고 이러한 예측을 사용하여 부호화하는 모드를 "인트라 BL 모드"라고 한다.
도 2는 상기 3가지 예측 방법을 설명하는 개략도로서, 현재 프레임(11)의 어떤 매크로블록(14)에 대하여 인트라 예측을 하는 경우(①)와, 현재 프레임(11)과 다른 시간적 위치에 있는 프레임(12)을 이용하여 인터 예측을 하는 경우(②)와, 상기 매크로블록(14)과 대응되는 기초 계층 프레임(13)의 영역(16)에 대한 텍스쳐 데이터를 이용하여 인트라 BL 예측을 하는 경우(③)를 각각 나타내고 있다.
한편 FGS에서 잔차 데이터를 구하는 경우, 하위 계층의 잔차 데이터를 참고 하여 구할 수 있다. FGS에서 사용하게 되는 잔차 데이터의 크기를 줄일 경우, 전송되는 데이터의 양을 줄일 수 있다. 따라서, FGS를 적용하게 되는 프레임의 속성에 따라 어떤 잔차 데이터를 사용할 것인지, 또는 어떤 데이터 간의 잔차를 구할 것인지를 탄력적으로 적용하는 것이 필요하다.
본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 I 프레임 또는 P 프레임과 같은 저역통과 프레임의 FGS 계층을 인코딩 디코딩시 잔차 데이터의 크기를 줄이는 데 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법은 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 코딩하는 방법에 있어서, 상기 FGS 계층이 나타내는 저역 통과 프레임에 대응하는 하위 계층의 원본 데이터를 복원하는 단계, 상기 향상 계층의 원본 데이터와 상기 복원한 하위 계층의 원본 데이터의 잔차를 구하는 단계, 및 상기 잔차를 양자화하고 엔트로피 부호화 과정을 거쳐 FGS 계층 비트 스트림을 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 다계층 비디오 신호에서 FGS 계층을 디코딩 하 는 방법은 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 사용하여 원본 데이터를 디코딩하는 방법에 있어서, 상기 FGS 계층이 나타내는 저역 통과 프레임의 비트 스트림을 엔트로피 복호화 과정 및 역양자화 과정을 거쳐 잔차 데이터를 생성하는 단계, 상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 단계, 및 상기 잔차 데이터와 상기 복원한 하위 계층의 원본 데이터를 가산하여 FGS 계층의 데이터를 복원하는 단계를 포함한다.
본 발명의 일 실시예에 따른 비디오 인코더는 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 코딩하는 인코더에 있어서, 상기 FGS 계층의 잔차 데이터를 생성하는 잔차 데이터 생성부, 상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 하위 계층 복원부, 및 상기 FGS 계층이 나타내는 프레임이 저역 통과 프레임인 경우 상기 하위 계층 복원부에서 복원한 하위 계층의 원본 데이터를 잔차 데이터 생성부에 제공하는 프레임 판별부를 포함한다.
본 발명의 일 실시예에 따른 비디오 디코더는 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층의 잔차 데이터를 사용하여 원본 데이터를 디코딩하는 비디오 디코더에 있어서, FGS 계층의 비트 스트림을 엔트로피 복호화 과정 및 역양자화 과정을 거쳐 생성된 잔차 데이터에서 FGS 계층의 복원 데이터를 복원하는 데이터 복원부, 상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 하위 계층 복원부, 및 상기 FGS 계층이 나타내는 프레임이 저역 통과 프레임인 경우 상기 하위 계층 복원부에서 복원한 하위 계층의 원본 데이터를 상기 데이터 복원부에 제공하는 프레임 판별부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
이하, 본 발명의 실시예들에 의하여 하위 계층의 복원 데이터를 사용하여 FGS 계층을 인코딩 및 디코딩하는 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 3은 비디오 코딩에서의 잔차 예측(Residual prediction)의 예를 보여준다. 잔차 예측이란 잔차 결과, 즉, 도 2에서 살펴본 예측 방법 중 하나를 사용하여 얻은 결과인 잔차 데이터(residual data)에 대해서 다시한번 예측을 수행하는 것을 의미한다. 기초계층의 어느 한 매크로블록, 슬라이스 또는 프레임(14)은 도 2에서 살펴본 예측 방법 중 하나인 시간적 인터 예측을 사용하여 잔차 데이터(residual data)로 매크로블록, 슬라이스 또는 프레임을 구성할 수 있다. 이때, 기초계층을 참조하는 향상계층의 매크로블록, 슬라이스, 또는 프레임 역시 기초계층의 잔차 데이터를 참조하는 잔차 예측(Residual prediction)을 수행할 수 있다. 이하 매크로블록을 중심으로 설명하지만 본 발명의 범위가 매크로블록에 한정되는 것은 아니다. 매크로블록 외에도 슬라이스, 프레임 등에도 적용될 수 있다.
도 4는 도 3의 잔차 예측을 토대로 FGS의 잔차 데이터를 코딩하는 과정을 개략적으로 보여주는 도면이다. JSVM(Joint Scalable Video Model)에서는 FGS를 코딩시 비디오의 원본 데이터에서 예측한 데이터를 빼고, 하위 계층(기초 계층)의 잔차 데이터를 다시 한번 빼는 과정을 통해 수행된다. 이는, 기초 계층이 시간적 순서에 의한 잔차 데이터를 가지는 경우, FGS에 따른 상위 계층의 잔차 데이터와 크게 다르지 않기 때문에 잔차 데이터의 크기를 줄일 수 있다.
FGS 계층은 기초 계층과 향상 계층 사이에 존재할 수 있다. 또한 향상 계층이 둘 이상인 경우, 하위 계층과 상위 계층 사이에 존재할 수 있다. 이하, 본 명세서에서는 현재 계층으로 향상 계층을 의미하며, 하위 계층의 일 실시예로 기초계층을 사용하지만 이는 일 실시예에 해당하며, 이에 국한되는 것은 아니다.
OF, PF, RF가 각각 현재 계층(current layer)의 원본 데이터, 예측 데이터, 잔차 데이터이고, OB, PB, RB가 각각 기초 계층(base-layer)의 원본 데이터, 예측 데이터, 잔차 데이터라 할 경우 RF를 구하는 과정은 아래 수식과 같다.
RF = OF - PF - RB = (OF - PF) - RB
현재 계층에 대한 예측 데이터를 원본 데이터에서 빼면 그 차이가 발생한다. 그런데 하위 계층(기초 계층)의 데이터(23)가 역시 기초계층의 다른 데이터를 참조한 잔차 데이터를 가지는 경우, 향상 계층과 기초 계층이 가지는 관계에 비추어볼 때, 향상 계층(현재 계층)이 가지는 잔차 데이터와 유사성을 가지게 된다. 따라서 잔차 데이터(24)를 구하기 위해 기초 계층의 잔차 데이터(23)를 참조한다.
JSVM에서 계층간 코딩(inter-layer coding)을 하는 방법으로 2가지가 있는데, 첫번째로는 잔차 예측(residual prediction)으로 R-D 비용으로 결정된다. 그리고 다음으로 인트라 BL 코딩(Intra-BL coding)이 있는데, 기초 계층의 매크로블록(macroblock)을 사용한다. FGS 코딩 과정은 첫번째 방법인 잔차 예측 방법과 유사하다. 그러나, 기초 계층의 매크로블록이 인트라 매크로블록인 경우에는 FGS 코딩을 두번째 방법인 인트라 BL 코딩을 사용하는 것이 효율적이다. 인트라 매크로블록의 경우 재생된 기초계층(reconstructed base layer)과 원본 데이터간의 잔차 데이터의 크기가 작기 때문이다.
인트라 BL 코딩은 수학식 2와 같이 표현할 수 있다.
OF - OB = OF - D(PB + RB)
여기에서 D는 디블록 필터(Deblocking filter)를 의미한다. 특히 저역통과 (lowpass filter) 프레임의 잔차 데이터는 방향적 인트라 예측(directional intra prediction)을 하고, 시간적으로 더 멀리 떨어진 프레임을 참조하기 때문에 블록 인공물(block artifact)이 많이 존재한다. 따라서 이러한 경우에 잔차 예측 코딩을 수행하는 것 보다는 기초 계층으로부터 예측하는 것이 더 나은 결과를 가진다.
도 5는 본 발명의 일 실시예에 따른 FGS 계층 코딩에서 잔차 예측 코딩과 기초 계층을 참조하는 인트라 BL 코딩 방법을 선택적으로 수행하는 예를 보여준다.
30 내지 34는 모두 원본 비디오를 포함하는 비디오 신호이다. 각각은 매크로블록, 슬라이스, 프레임 단위가 될 수 있다. 도 5에서는 일 실시예로 프레임을 기준으로 설명한다. 비디오 신호는 고역통과 필터(high pass filter)를 통해 H 프레임(35, 36)을 얻는다. H 프레임(35)은 30, 31, 32에서 고역통과 필터를 사용하여 얻은 프레임이며, H 데이터(36)는 32, 33, 34에서 고역통과 필터를 사용하여 얻은 프레임이다. 여기에서 다시 저역통과 필터(lowpass filter)를 통해 L 프레임(40, 42, 44)을 얻을 수 있다. 여기에서 다시 고역통과 필터를 통해 H 프레임(45)을 얻을 수 있다. 한편, 인트라블록을 가지는 I 프레임(46), P 프레임(47)을 추출한다. 여기에서 H 프레임(35, 36, 37)은 고역통과 필터를 사용하였으므로 기존의 잔차 예측 코딩을 사용할 수 있다. 그러나 I 프레임(46), P 프레임(47)은 시간적으로 잔차를 계산하기 위해 참조해야 할 프레임과의 거리가 멀거나 또는 방향적 인트라 코딩으로 이루어졌으므로, 이들 프레임의 FGS 계층을 코딩할 경우에는 인트라 BL 코딩을 사용한다. 따라서 FGS 계층은 수학식 3과 같다.
RF =OF - OB
현재 프레임이 저역통과 프레임(lowpass frame)인 경우 FGS 계층의 잔차 데이터를 코딩시, 원본 데이터에서 기초 계층 데이터의 잔차를 구한다. 그리고 저역통과 프레임이 아닌 경우에는 수학식 1에서 설명한 바와 같이 종래의 방식대로 코딩한다.
한편 OB는 예측 데이터에서 잔차 데이터를 사용하여 구할 수 있다. OB를 구하는 과정은 수학식 4와 같다.
OB = D(PB + RB)
이때, OB를 구하기 위해 예측 데이터(PB)와 잔차 데이터(RB)를 더한 결과에 디블록을 수행한다. D라는 디블록 계수를 적용한다. 그런데 FGS 과정에서 디블록 과정이 수행되므로 이때의 디블록을 약하게 주는 것이 과도한 스무딩(over smoothing)을 줄일 수 있다. 따라서 디블록 계수를 1로 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 인코딩 과정을 보여주는 예시도이다. 기초 계층을 코딩한다(S101). 그리고 현재 프레임이 저역 통과 프레임인지 검토한다(S102). 저역 통과 프레임은 I 프레임 또는 P 프레임이 될 수 있다. 저역 통과 프레임인 경우에는 기초 계층을 복원한다(S110). 기초 계층을 재생성하는 것을 의미하는데, 수학식 3에서 OB를 구하는 것에 해당한다. 그리고 원본 데이터와 복원된 기 초 계층의 데이터의 잔차를 구한다(S112). 그리고 상기 구한 잔차를 코딩한다(S114). S102 단계에서 현재 프레임이 저역 통과 프레임이 아닌 경우에는, 종래의 FGS 코딩 방식을 따르게 된다. 그 결과, 원본 데이터와 기초 계층의 예측 데이터의 잔차 R2를 구한다(S120). S120 단계에서 산출한 R2와 기초 계층의 잔차 데이터 사이에 존재하는 잔차 R3를 구한다(S122). 그리고 잔차 데이터인 R3를 코딩한다(S124).
한편 상기의 과정을 통해 인코딩된 데이터를 비디오 디코더가 디코딩하기 위해서는 디코딩할 프레임이 저역 통과 프레임인지 확인한다. 그리고 확인한 결과에 따라 디코딩을 수행하여 원본 데이터를 구할 수 있다.
디코딩시 수신하게 되는 데이터는 잔차 데이터이다. 그리고 복원할 데이터는 앞에서 살펴본 원본 데이터이다. 따라서 디코딩할 프레임이 저역 통과 프레임인 경우 디코딩 단에서 수행해야 하는 작업은 수학식 5이다.
OF = RF + OB
RF와 OB는 디코딩과정에서 전송되거나 전송된 데이터를 통해 얻게 되는 데이터이다. 한편 전술한 디블록 계수를 1로 설정하는 과정이 디코딩 과정에서도 적용될 수 있다. 수학식 4에 제시된 바와 같이 PB와 RB를 수신하여 두 데이터를 가지고 OB를 생성하면서 디블록 계수를 1로 설정할 수 있다. 도 6에서 S110 과정에서 디블록 계수를 1로 설정하여 진행할 수 있다.
한편, 디코딩할 계층이 속한 프레임이 저역통과 프레임이 아닌 경우에는 통상의 디코딩 과정을 거친다. 통상의 디코딩 과정은 수학식 6과 같다.
OF = RF + PF + RB
따라서 현재 계층의 예측 데이터와 잔차 데이터에 기초 계층의 잔차 데이터를 더하여 원본 데이터를 얻을 수 있다.
도 7은 본 발명의 일 실시예에 따른 디코딩 과정을 보여주는 예시도이다. 수신한 비디오 신호에서 기초 계층을 디코딩하여 복원한다(S200). 그리고 현재 계층의 잔차 데이터를 디코딩한다(S201). 현재 프레임이 저역 통과 프레임인 경우(S202), 수학식 5와 같이 현재 계층의 잔차 데이터에서 복원한 기초 계층 데이터를 뺀 결과를 현재 계층의 데이터로 한다(S210). 반면 현재 프레임이 저역통과 프레임이 아닌 경우에는 수학식 6과 같이 현재 계킁의 예측 데이터와 잔차 데이터, 그리고 기초 계층의 잔차 데이터를 가산하여 현재 계층의 데이터를 구한다(S220).
본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있 다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 비디오 인코더 중 FGS 인코딩 부분을 상술한 구성도이다. FGS 인코딩부(200)는 현재 계층의 원본 데이터(OF), 현재 계층의 예측 데이터(PF), 기초 계층의 잔차 데이터(RB), 기초 계층의 예측 데이터(PB)를 입력받는다.
프레임 판별부(210)는 현재 프레임이 저역통과 프레임인지 여부를 판별한다. 그 결과 현재 계층의 잔차 데이터(RF)를 생성하기 위해 종래의 잔차 예측 코딩 방식을 사용할 것인지, 또는 인트라 BL 코딩 방식을 사용할 것인지 선택한다. 프레임 판별부(210)에는 두 값이 입력되는데, PF+RB와 OB의 값이다. 저역 통과 프레임인 경우에는 기초 계층의 원본 데이터(OB)를 선택하여 잔차 데이터 생성부(230)에 전달한다. 저역 통과 프레임이 아닌 경우에는 현재 계층의 예측 데이터(PF)+기초계층의 잔 차 데이터(RB)를 가산한 결과를 잔차 데이터 생성부(230)에 전달한다. 잔차 데이터 생성부(230)는 프레임 판별부(210)에서 전달된 값과 원본 데이터(OF)의 차이를 계산하여 잔차 데이터를 생성한다.
기초 계층 복원부(220)는 FGS 코딩에서 저역 통과 프레임일 경우에 인트라 BL 코딩을 할 수 있도록 기초 계층의 원본 데이터를 복원한다. 복원은 수학식 3과 수학식 4를 참조할 수 있다. 이때, 수학식 4에서 살펴본 바와 같이 기초 계층의 잔차 데이터(RB)와 예측 데이터(PB)에 디블록 계수인 D를 1로 설정하여 복원된 기초 계층의 원본 데이터(OB)를 구할 수 있다.
양자화부(240)는 잔차 데이터 생성부(230)에 의하여 생성되는 변환 계수를 양자화(quantization)한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 DCT 계수를 양자화 테이블에 따라 소정의 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 대응되는 인덱스로 매칭(matching)시키는 작업을 의미한다. 이와 같이 양자화된 결과 값을 양자화 계수(quantized coefficient)라고 한다.
엔트로피 부호화부(250)은 양자화부(240)에 의하여 생성된 양자화 계수를 무손실 부호화하여 FGS 계층 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 무손실 부호화 방법을 사용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 비디오 디코더 중 FGS 디코딩 부분을 상술한 구성도이다.
수신한 비디오 신호에서 FGS 계층의 스트림을 엔트로피 복호화부(350)를 통해 복호화한다. 엔트로피 복호화부(350)는 FGS 계층 비트스트림을 무손실 복호화하여, 텍스쳐 데이터를 추출한다.
역 양자화부(340)는 상기 텍스쳐 데이터를 역 양자화한다. 이러한 역 양자화 과정은 FGS 인코딩부(200) 단에서 수행되는 양자화 과정의 역에 해당되는 과정으로서, 양자화 과정에서 사용된 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.
데이터 복원부(330)는 잔차 데이터(RF)와 프레임 판별부(310)에서 전달하는 값을 가산하여 FGS 계층의 복원 데이터(OF)를 생성한다.
프레임 판별부(310)는 현재 프레임이 저역통과 프레임인지 여부를 판별한다. 그 결과 현재 계층의 복원 데이터(OF)를 생성하기 위해 종래의 잔차 예측 디코딩 방식을 사용할 것인지, 또는 인트라 BL 디코딩 방식을 사용할 것인지 선택한다. 프레임 판별부(310)에는 두 값이 입력되는데, PF+RB와 OB의 값이다. 저역 통과 프레임인 경우에는 기초 계층의 원본 데이터(OB)를 선택하여 데이터 복원부(330)에 전달한다. 저역 통과 프레임이 아닌 경우에는 현재 계층의 예측 데이터(PF)+기초계층의 잔차 데이터(RB)를 가산한 결과를 복원부(330)에 전달한다. 복원부(330)는 프레임 판별부 (210)에서 전달된 값과 잔차 데이터(RF)를 가산하여 원본 데이터(OF)를 복원한다.
기초 계층 복원부(320)는 FGS 디코딩에서 저역 통과 프레임일 경우에 인트라 BL 디코딩을 할 수 있도록 기초 계층의 원본 데이터를 복원한다. 복원은 수학식 4와 수학식 5를 참조할 수 있다. 이때, 수학식 4에서 살펴본 바와 같이 기초 계층의 잔차 데이터(RB)와 예측 데이터(PB)에 디블록 계수인 D를 1로 설정하여 복원된 기초 계층의 원본 데이터(OB)를 구할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명을 구현함으로써 I 프레임 또는 P 프레임과 같은 저역 통과 프레임의 FGS 계층을 인코딩 디코딩시 잔차 데이터의 크기를 줄일 수 있다.

Claims (16)

  1. 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 코딩하는 방법에 있어서,
    상기 FGS 계층이 나타내는 저역 통과 프레임에 대응하는 하위 계층의 원본 데이터를 복원하는 단계;
    상기 향상 계층의 원본 데이터와 상기 복원한 하위 계층의 원본 데이터의 잔차를 구하는 단계; 및
    상기 잔차를 양자화하고 엔트로피 부호화 과정을 거쳐 FGS 계층 비트 스트림을 생성하는 단계를 포함하는, 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법.
  2. 제 1항에 있어서,
    상기 저역 통과 프레임은 I 프레임인, 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법.
  3. 제 1항에 있어서,
    상기 복원하는 단계는 상기 하위 계층의 잔차 데이터와 상기 하위 계층의 예측 데이터를 가산하는 단계인, 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법.
  4. 제 3항에 있어서,
    상기 복원하는 단계는 상기 가산하는 단계 이후에 상기 가산된 결과에 디블록을 수행하는 단계를 더 포함하며, 상기 디블록은 디블록 계수를 1로 하는 것을 특징으로 하는, 다계층 비디오 신호에서 FGS 계층을 인코딩 하는 방법.
  5. 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 사용하여 원본 데이터를 디코딩하는 방법에 있어서,
    상기 FGS 계층이 나타내는 저역 통과 프레임의 비트 스트림을 엔트로피 복호화 과정 및 역양자화 과정을 거쳐 잔차 데이터를 생성하는 단계;
    상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 단계; 및
    상기 잔차 데이터와 상기 복원한 하위 계층의 원본 데이터를 가산하여 FGS 계층의 데이터를 복원하는 단계를 포함하는, 다계층 비디오 신호에서 FGS 계층을 디코딩 하는 방법.
  6. 제 5항에 있어서,
    상기 저역 통과 프레임은 I 프레임인, 다계층 비디오 신호에서 FGS 계층을 디코딩 하는 방법.
  7. 제 5항에 있어서,
    상기 복원하는 단계는 상기 하위 계층의 잔차 데이터와 상기 하위 계층의 예측 데이터를 가산하는 단계인, 다계층 비디오 신호에서 FGS 계층을 디코딩 하는 방법.
  8. 제 7항에 있어서,
    상기 복원하는 단계는 상기 가산하는 단계 이후에 상기 가산된 결과에 디블록을 수행하는 단계를 더 포함하며, 상기 디블록은 디블록 계수를 1로 하는 것을 특징으로 하는, 다계층 비디오 신호에서 FGS 계층을 디코딩 하는 방법.
  9. 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층을 구성하는 잔차 데이터를 코딩하는 인코더에 있어서,
    상기 FGS 계층의 잔차 데이터를 생성하는 잔차 데이터 생성부;
    상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 하위 계층 복원부; 및
    상기 FGS 계층이 나타내는 프레임이 저역 통과 프레임인 경우 상기 하위 계층 복원부에서 복원한 하위 계층의 원본 데이터를 잔차 데이터 생성부에 제공하는 프레임 판별부를 포함하는, 비디오 인코더.
  10. 제 9항에 있어서,
    상기 저역 통과 프레임은 I 프레임인, 비디오 인코더.
  11. 제 9항에 있어서,
    상기 하위 계층 복원부는 상기 하위 계층의 잔차 데이터와 상기 하위 계층의 예측 데이터를 가산하는, 비디오 인코더.
  12. 제 11항에 있어서,
    상기 하위 계층 복원부는 상기 가산된 결과에 디블록을 수행하며, 상기 디블록은 디블록 계수를 1로 하는 것을 특징으로 하는, 비디오 인코더.
  13. 다계층 비디오 신호에서 향상 계층과 하위 계층 사이의 FGS 계층의 잔차 데이터를 사용하여 원본 데이터를 디코딩하는 비디오 디코더에 있어서,
    FGS 계층의 비트 스트림을 엔트로피 복호화 과정 및 역양자화 과정을 거쳐 생성된 잔차 데이터에서 FGS 계층의 복원 데이터를 복원하는 데이터 복원부;
    상기 FGS 계층에 대응하는 하위 계층의 원본 데이터를 복원하는 하위 계층 복원부; 및
    상기 FGS 계층이 나타내는 프레임이 저역 통과 프레임인 경우 상기 하위 계층 복원부에서 복원한 하위 계층의 원본 데이터를 상기 데이터 복원부에 제공하는 프레임 판별부를 포함하는, 비디오 디코더.
  14. 제 13항에 있어서,
    상기 저역 통과 프레임은 I 프레임인, 비디오 디코더.
  15. 제 13항에 있어서,
    상기 하위 계층 복원부는 상기 하위 계층의 잔차 데이터와 상기 하위 계층의 예측 데이터를 가산하는, 비디오 디코더.
  16. 제 15항에 있어서,
    상기 하위 계층 복원부는 상기 가산된 결과에 디블록을 수행하며, 상기 디블록은 디블록 계수를 1로 하는 것을 특징으로 하는, 비디오 디코더.
KR1020050088354A 2005-07-12 2005-09-22 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치 KR100678907B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2006/002725 WO2007027001A1 (en) 2005-07-12 2006-07-11 Method and apparatus for encoding and decoding fgs layer using reconstructed data of lower layer
US11/484,645 US20070014351A1 (en) 2005-07-12 2006-07-12 Method and apparatus for encoding and decoding FGS layer using reconstructed data of lower layer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US69800405P 2005-07-12 2005-07-12
US60/698,004 2005-07-12

Publications (2)

Publication Number Publication Date
KR20070008365A true KR20070008365A (ko) 2007-01-17
KR100678907B1 KR100678907B1 (ko) 2007-02-06

Family

ID=38010596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050088354A KR100678907B1 (ko) 2005-07-12 2005-09-22 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20070014351A1 (ko)
KR (1) KR100678907B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062240A (zh) * 2013-01-04 2019-07-26 Ge视频压缩有限责任公司 高效可伸缩编码概念
US11582473B2 (en) 2013-04-08 2023-02-14 Ge Video Compression, Llc Coding concept allowing efficient multi-view/layer coding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
JP5036826B2 (ja) * 2006-12-14 2012-09-26 トムソン ライセンシング ビット深度スケーラビリティのためのエンハンスメントレイヤの残差予測を使用したビデオデータを符号化及び／又は復号化する方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
CN1636394A (zh) * 2000-10-11 2005-07-06 皇家菲利浦电子有限公司 细粒视频编码的空间可缩放性
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US6792044B2 (en) * 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062240A (zh) * 2013-01-04 2019-07-26 Ge视频压缩有限责任公司 高效可伸缩编码概念
CN110062240B (zh) * 2013-01-04 2023-04-07 Ge视频压缩有限责任公司 高效可伸缩编码概念
US11677966B2 (en) 2013-01-04 2023-06-13 Ge Video Compression, Llc Efficient scalable coding concept
US11582473B2 (en) 2013-04-08 2023-02-14 Ge Video Compression, Llc Coding concept allowing efficient multi-view/layer coding

Also Published As

Publication number Publication date
KR100678907B1 (ko) 2007-02-06
US20070014351A1 (en) 2007-01-18

Similar Documents

Publication Publication Date Title
KR100781525B1 (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
KR100725407B1 (ko) 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
KR100746007B1 (ko) 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
US7889793B2 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100772878B1 (ko) 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
AU2006201490B2 (en) Method and apparatus for adaptively selecting context model for entropy coding
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
JP2006304307A5 (ko)
KR20030020382A (ko) Ｆｇｓ 강화층에 대한 활동-기반 주파수 가중을 위한 방법및 시스템
EP1659797A2 (en) Method and apparatus for compressing motion vectors in video coder based on multi-layer
CN104380745A (zh) 用于图层间与视图间编码的自适应帧内预测方法及其装置
KR100763205B1 (ko) 모션 역변환을 사용하여 모션 예측을 수행하는 방법 및장치
KR100834757B1 (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
KR100678907B1 (ko) 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치
WO2006109985A1 (en) Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
WO2007027001A1 (en) Method and apparatus for encoding and decoding fgs layer using reconstructed data of lower layer

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee