KR20060084340A

KR20060084340A - 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치

Info

Publication number: KR20060084340A
Application number: KR1020050011423A
Authority: KR
Inventors: 이배근
Original assignee: 삼성전자주식회사
Priority date: 2005-01-19
Filing date: 2005-02-07
Publication date: 2006-07-24
Also published as: KR100703744B1; CN101107857A; US20060159359A1

Abstract

디블록을 제어하는 FGS 기반의 비디오 인코딩 및 디코딩 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법은 (a) 비디오의 원본 데이터를 수신하여 상기 원본 데이터에서 기초 계층을 생성하는 단계, (b) 상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 구하여 향상 계층을 생성하는 단계, (c) 상기 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터로부터 복원 프레임을 생성하는 단계, 및 (d) 상기 복원 프레임을 상기 (b) 또는 (c) 단계에서의 디블록보다 약하게 디블록하는 단계를 포함한다.

디블록(Deblock), MPEG, FGS, SNR 스케일러빌리티

Description

디블록을 제어하는 ＦＧＳ 기반의 비디오 인코딩 및 디코딩 방법 및 장치{Method and apparatus for fine-granularity scalability video encoding and decoding which enable deblock controlling}

도 1은 본 발명의 일 실시예에 따른 FGS를 지원하도록 비디오를 코딩하는 구성도이다.

도 2는 본 발명의 일 실시예에 따른 FGS를 지원하도록 비디오를 디코딩하는 구성도이다.

도 3은 본 발명의 다른 실시예에 따른 FGS를 지원하도록 비디오를 인코딩하는 구성도이다.

도 4는 본 발명의 다른 실시예에 따른 FGS를 지원하도록 비디오를 디코딩하는 구성도이다.

도 5는 본 발명의 일 실시예에 따른 비디오의 원본 데이터를 인코딩하는 과정을 보여주는 순서도이다.

도 6은 본 발명의 일 실시예에 따른 수신한 비디오 스트림을 디코딩하는 과정을 보여주는 순서도이다.

도 7은 본 발명의 일 실시예에 따른 기초 계층과 향상 계층이 복원되는 결과를 보여주는 예시도이다.

도 8은 본 발명의 일 실시예에 따른 PSNR의 향상도를 보여주는 그래프이다.

도 9는 본 발명의 다른 실시예에 따른 PSNR의 향상도를 보여주는 그래프이다.

<도면의 주요 부분에 대한 부호의 설명>

101 : 원본 프레임 102, ..., 113 : 복원된 프레임

501 : 기초 계층 502, 503 : 향상 계층

멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 동영상(moving picture; 이하 "비디오"라고 함), 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다. 이러한 멀티미디어 데이터를 압축하는 방법들 중에서도, 특히 비디오 압축 방법은 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다.

종래에 비디오 코딩의 목적은 주어진 비트 전송률에 최적화된 정보를 보내는 것이었다. 그러나 인터넷 스트리밍 비디오와 같은 네트워크 비디오 어플리케이션에서는 네트워크의 성능이 일정한 것이 아니라 상황에 따라 다양하게 변화하므로, 종 래의 비디오 코딩의, 소정의 비트 전송률에 대한 최적 코딩이라는 목적 이외의 탄력적인 코딩을 필요로 하게 되었다.

스케일러빌리티(Scalability)는 기초 계층(base layer)과 향상 계층(enhancement layer)의 두 계층으로 시간적으로, 공간적으로, SNR(Signal to Noise Ratio) 등의 측면에서 디코더가 프로세싱 상황, 네트워크 상황 등을 살펴보아 선택적으로 디코딩이 가능하도록 하는 기법을 의미한다. 이중 FGS(Fine Granularity Scalability)는 기초 계층과 향상 계층을 인코딩하며, 향상 계층은 인코딩을 거친 후에 네트워크 전송 효율 또는 디코더 측의 상황에 따라 전송되지 않거나 디코딩되지 않을 수 있다. 이를 통해 전송율에 따라 데이터를 적절히 전송할 수 있다.

한편, 비디오 코딩은 하나의 화면에서 여러 개의 블록을 코딩하여 전송하므로, 비디오를 디코딩할 경우, 블록간에 가시적인 경계선이 나타날 수 있다. 이러한 블록간의 경계선을 부드럽게 하는 것을 디블록(Deblock)이라 하며, 이들 경계선을 부드럽게 하기 위한 인자를 디블록 필터(Deblocking filter)라고 한다.

디블록 필터를 높이게 되면, 경계선을 부드럽게 하는 강도가 높아져서 블록간의 경계가 사라질 수 있다. 그러나 디블록 필터에 의해 실제 나타내야 하는 정보가 사라질 수 있으므로, 어떤 디블록 필터를 사용할 것인지는 성능에 중요한 영향을 미친다.

따라서 FGS를 지원하는 비디오에서 디블록 필터를 효율적으로 사용하기 위한 장치 및 방법이 필요하다.

본 발명의 기술적 과제는 FGS를 지원하는 비디오 코딩 및 디코딩에서 디블록을 약하게 수행하여 PSNR을 향상시키는데 있다.

본 발명의 또다른 기술적 과제는 디블록에 의해 손실되는 데이터를 줄이면서 비디오의 화질을 향상시키는데 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 디블록을 제어하는 FGS 기반의 비디오 디코딩 방법은 (a) 비디오 스트림을 수신하여 기초 계층을 추출하는 단계, (b) 상기 비디오 스트림에서 향상 계층을 추출하는 단계, (c) 상기 기초 계층을 복원하여 디블록 한 데이터와 상기 향상 계층을 복원한 데이터를 취합하여 복원 프레임을 생성하는 단계, 및 (d) 상기 복원 프레임을 상기 (c) 단계에서의 디블록보다 약하게 디블록하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디블록을 제어하는 FGS 기반의 비디오 인코더는 비디오의 원본 데이터에서 기초 계층을 생성하는 기초 계층 생성부, 상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 구하여 향상 계층을 생성하는 향상 계층 생성부, 상기 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터로부터 복원 프레임을 생성하는 복원 프레임 생성부, 및 상기 복원 프레임을 상기 향상 계층 생성부 또는 복원 프레임 생성부에서의 디블록보다 약하게 디블록하는 제 1 디블럭부를 포함한다.

본 발명의 일 실시예에 따른 디블록을 제어하는 FGS 기반의 비디오 디코더는 수신한 비디오 스트림에서 기초 계층을 추출하는 기초 계층 추출부, 상기 수신한 비디오 스트림에서 향상 계층을 추출하는 향상 계층 추출부, 상기 기초 계층을 복원하여 디블록한 데이터와 상기 향상 계층을 복원한 데이터를 취합하여 복원 프레임을 생성하는 복원 프레임 생성부, 및 상기 복원 프레임을 상기 복원 프레임 생성부에서의 디블록보다 약하게 디블록하는 제 1 디블록부를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 FGS를 지원하도록 비디오를 코딩하는 구성도이다. 먼저 원본 프레임(101)을 가지고 기초 계층(base layer)를 생성한다. 원본 프레임(101)은 일련의 비디오 데이터(Group Of Picture, GOP)에서 추출된 프레 임일수 있으며 이러한 GOP들을 모션 보상 시간적 필터링(Motion-Compensated Temporal Filtering, MCTF)를 통한 프레임일 수 있다. 원본 프레임에서 기초 계층을 추출하기 위해서 변환&양자화부(201)에서 변환과 양자화를 수행한다. 그 결과 기초 계층(501) 프레임이 생성된다.

향상 계층(enhancement layer)은 기초 계층에 더해질 데이터이므로 원본 프레임과 기초 계층 프레임간의 차이를 구한다. 이러한 차이를 통해 구해지는 잔여 데이터(Residual data)는 추후 디코더에서 원본 프레임에다 해당 잔여 데이터를 더해 원래의 비디오 데이터를 구하게 된다. 그런데 디코더에서 구하는 것은 원본 프레임에 대해 역양자화와 역변환을 수행하게 되므로, 201에서 산출된 기초 계층 프레임을 역양자화&역변환부(301)에서 다시 역양자화와 역변환을 수행하여 복원한다.

또한, 디코더에서는 복원한 프레임을 구성하는 블록들 간의 경계를 없애기 위해 디블록(Deblock)을 수행한다. 따라서 401에서 복원한 프레임에 대해 디블록을 수행한다.

301에서 산출된 복원된 기초 계층 프레임(102)과 원본 프레임(101)간의 차이를 차분 계산기(11)를 통해 구한다. 차분 계산기(11)를 통해 산출된 데이터 역시 변환&양자화부(202)를 통해 제 1 향상 계층 프레임(502)을 생성한다. 제 1 향상 계층 프레임은 복원된 기초 계층 프레임(102)에 더해져서 새로운 제 2 향상 계층 프레임을 생성한다. 이를 위해 제 1 향상 계층 프레임은 역양자화&역변환부(302)에서 복원된 제 1 향상 계층 프레임(103)을 생성한다. 103 프레임과 102 프레임은 누산기(12)를 통해 새로운 프레임(104)를 생성하고, 차분 계산기(11)를 통해 104 프레 임과 원본 프레임(101)간의 차분을 구한다. 차분한 잔여 데이터(Residual data)를 전술한 변환&양자화부(203)를 통해 제 2 향상 계층 프레임(503)을 생성한다. 이러한 과정을 반복함으로써 제 3 향상 계층 프레임, 제 4 향상 계층 프레임 등을 지속적으로 생성할 수 있다.

이렇게 생성한 기초 계층 프레임(501), 제 1 향상 계층 프레임(502), 제 2 향상 계층 프레임(503)은 NAL unit(Network Abstraction Layer unit)의 형태로 전송가능하다. NAL unit으로 전송시 디코더는 수신한 NAL unit의 일부를 절삭(truncate)하여도 데이터를 복원할 수 있다.

또한, 303의 역양자화&역변환부를 거친 복원된 제 2 향상 계층 프레임(105)와 누산기(12)를 통해 더해진 복원 프레임(106)에 대해 디블록을 수행하는데, 이때, 디블록(402)시 기초 계층 프레임이 이미 401 에서 디블록이 되었으므로 디블록의 계수를 줄인다. 과거에는 402에서 디블록을 수행할 때 높은 디블록 계수를 주었으나, 과도한 스무딩(over-smoothing)이 일어나는 문제가 있었다. 본 발명의 일 실시예에서는 이를 방지하기 위해 디블록(402)에서 디블록 계수를 1 또는 2와 같이 낮게 두어 디블록의 정도를 줄여서 과도한 스무딩을 막는다. 이렇게 디블록된 복원된 프레임은 다른 프레임을 생성시에 참조가 될 수 있다.

도 1에서의 비디오 데이터의 일 실시예로는 비디오를 구성하는 GOP(Group Of Picture)를 MCTF(Motion-Compensated Temporal Filtering)를 통해 시간 서브밴드 이미지(Temporal Subband Picture)를 생성하고, 이 데이터에서 원본 데이터를 추출. 원본 데이터는 전체 데이터에서 다운샘플한 데이터이다. 이 데이터를 DCT, 웨 이블릿 등을 통해 변환시키고 양자화하여 인코딩을 하면 기초 계층이 생성된다.

도 1에서의 변환& 양자화부(201, 202, 203)는 손실 부호화를 수행할 수 있다. DCT를 통해 변환하고, 양자화(Quantization) 시킴으로써, 원래의 정보의 일부가 손실되므로 손실 부호화라 한다.

도 1의 변환&양자화부(201)는 기초 계층을 생성하는 기초 계층 생성부의 일 실시예이며, 향상 계층을 생성하는 변환&양자화부(202 203)는 향상 계층 생성부의 일 실시예이다. 복원 프레임은 102, 104, 106 및 103과 105 이며, 이들을 생성하는 역양자화&역변환부(301, 302, 303)는 복원 프레임 생성부의 일 실시예이다.

도 2는 본 발명의 일 실시예에 따른 FGS를 지원하도록 비디오를 디코딩하는 구성도이다. 도 1에서 생성된 기초 계층 프레임(501)과 제 1 향상 계층 프레임(502), 제 2 향상 계층 프레임(503)을 수신한다. 이들 프레임들은 인코딩된 데이터이므로 역양자화&역변환부(311, 312, 313)을 거쳐서 디코딩된다. 이때, 기초 계층 복원 프레임(111)은 411의 디블록 과정을 거쳐서 복원된다.

디코딩되어 복원된 프레임(111, 112, 113)들은 누산기(12)를 통해 더해진다. 이렇게 더해진 프레임에 대해 다시 412에서 디블록을 수행하여 블록간의 경계를 지우는데, 이때, 411의 디블록 과정에서 이미 기초 계층 프레임이 디블록 되었으므로, 본 발명의 일 실시예에서는 412에서 수행하는 디블록의 계수를 1 또는 2와 같이 낮춘다. 이렇게 디블록을 완료한 후에 복원된 원본 프레임을 재생한다.

도 2의 역양자화&역변환부(311)는 기초 계층을 추출하는 기초 계층 추출부의 일 실시예이며, 향상 계층을 추출하는 역양자화&역변환부(312, 313)는 향상 계층 추출부의 일 실시예이다. 복원 프레임은 111, 112, 113 이며, 이들을 생성하는 누적기(12)는 복원 프레임 생성부의 일 실시예이다.

도 1, 2에서 살펴본 FGS(Fine grain SNR Scalability)는 SVM(Scalable Video Model) 3.0 에서 향상 계층을 사용하는 구성이다. FGS의 결과로 나타나는 NAL unit은 어느 시점에서 절삭(truncate)가능하며, 절삭한 시점까지의 데이터로 복원이 가능하다. 이때 반드시 전송되어야 할 데이터는 기초 계층이며, 기타 향상 계층은 네트워크의 전송 상황에 따라 탄력적으로 전송가능하다. 모든 향상 계층은 기초 계층(또는 기초 계층과 앞선 향상 계층으로 구성된 복원 프레임)과의 차분에 의한 잔여 데이터를 가지게 된다. 양자 파라메터 QPi(Quantization Parameter)는 i번째 향상 계층을 생성하기 위한 파라메터이다. 양자 파라메터의 크기가 클수록 양자화에서의 스텝 사이즈가 커진다. 따라서 향상 계층의 생성시 양자 파라메터의 크기를 점점 줄여가면서 데이터를 얻을 수 있다.

비디오를 손실부호화를 통해 인코딩하는 경우, 손실되는 데이터와 인코딩하는데 소요되는 비트의 수의 조합이 비디오를 인코딩하는 비용(cost)가 될 수 있다. 예를 들어, 손실되는 데이터를 E, 소요된 비트의 크기를 B, 소정 계수를 λ, 그리고 인코딩하는 비용을 C라고 할 때, 비용 C는 다음과 같다.

C = E + λB

따라서 몇 개의 향상 계층을 생성할 것인지에 대한 기준은 상기의 비용을 토대로 계산 가능하다. 도 1, 2에서는 2단계까지 향상 계층을 생성한다.

도 1, 2에서 적용한 본 발명의 일 실시예는 바로 향상 계층을 인코딩하거나, 향상 계층과 기초 계층을 취합하여 디코딩하는 경우에 디블록을 약하게 수행하여 과도한 디블록으로 발생하는 정보의 손실을 줄이는 것이다.

도 1, 2에서 살펴본 FGS는 SVM 3.0에 적용된 것이며, 다른 방식으로 FGS를 구현하는 경우 디블록을 달리하는 실시예를 살펴보면 다음과 같다.

도 3은 본 발명의 다른 실시예에 따른 FGS를 지원하도록 비디오를 인코딩하는 구성도이다. 도 1의 경우와 달리, 기초 계층과 하나의 향상 계층을 생성하며 비트 플레인을 통해 향상 계층을 구현하고 있다.

도 3에서 원본인 비디오 데이터를 변환부(221)에서 변환한다. 변환하는 방식의 예로는 DCT 변환이 있을 수 있다. DCT 변환을 한 결과를 다시 양자화부(222)에서 양자화를 하여 인코딩부(223)에서 엔트로피 인코딩(Entrophy encoding) 또는 VLC(Variable Length Coding) 등의 방식으로 인코딩을 하면 기초 계층이 생성된다. 한편, 기초 계층과 원본인 비디오 데이터와의 차분을 구하여 향상 계층을 생성하므로, 양자화부(222)에서 양자화한 데이터를 다시 역양자화부(321)에서 역양자화한다. 이때, 디코딩 단에서 디블록을 하게 되므로, 인코딩단에서도 디블록(421)을 한 후에 원본인 비디오 데이터와의 잔여 데이터를 구한다. 잔여 데이터(residual data)를 구한 후, 이를 다시 인코딩(224)하게 되는데, 이때, 비트 플레인(Bitplane)과 같이 각각의 비트들에서 최상위 비트, 차상위 비트, ..., 최하위 비트 등을 비트 평면(bit plane) 형태로 묶어서 인코딩할 수 있다. 인코딩부(224)에서 생성된 향상 계층은 기초 계층과 함께 전송된다.

한편, 다른 프레임을 생성하기 위해 기준이 되는 정보를 얻기 위해 기초 계 층과 향상 계층으로 구할 수 있는 복원된 프레임을 구해야한다. 이때, 프레임을 복원하기 위해, 디블록(422)을 수행하는데, 여기에서의 디블록(422)는 이미 기초 계층에 대한 디블록(421)을 한 후에 수행되므로 디블록 계수를 낮추어서 과도한 스무딩(over-smoothing)이 되지 않도록 한다.

도 4는 본 발명의 다른 실시예에 따른 FGS를 지원하도록 비디오를 디코딩하는 구성도이다. 도 2의 경우와 달리, 기초 계층과 하나의 향상 계층을 수신하며, 하나의 향상 계층에서 디코딩단의 수신 능력 또는 디코딩 능력에 따라 향상 계층의 데이터를 절삭(truncate)할 수 있다.

스트림 등으로 전송된 기초 계층과 향상 계층은 각각 역양자화와 역변환을 거친다. 기초 계층은 역양자화부(331)와 역변환(332)를 거치면서 또한 디블록(431)을 통해 복원된다. 그리고 향상 계층은 역양자화부(335)와 역변환부(336)를 통해 복원된다. 복원된 기초 계층과 향상 계층은 누산기(12)를 통해 더해져서 하나의 복원된 프레임을 형성하는데, 이때 디블록(432)을 수행한다. 그러나 기초 계층에 대해 디블록(431)이 수행되었으므로 복원된 프레임에 대해 디블록(432)을 수행시에는 디블록 계수를 낮추어서 과도한 스무딩(over-smoothing)이 되지 않도록 한다. 과도한 스무딩이 일어날 경우, 해당 부분의 데이터가 사라짐으로써 정보의 손실이 발생할 수 있다.

비디오를 구성하는 원본 데이터를 MCTF(Motion-Compensated Temporal Filtering)등을 통해 프레임을 생성한다(S101). 상기 원본 데이터는 여러 프레임으로 구성된 GOP(Group Of Picture)가 될 수 있다. 이 과정을 살펴보면, 모션 추정에 의해 모션 벡터를 구하고, 모션 벡터 및 참조 프레임을 이용하여 모션 보상 프레임을 구성한다. 그리고 현재 프레임과 상기 모션 보상 프레임을 차분하여 잔여 프레임(residual frame)을 구함으로써 시간적 중복성을 감소시킨다. 상기 모션 추정 방법으로서, 고정 크기 블록 매칭 방법, 또는 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching, HVSBM) 등 다양한 방법을 사용할 수 있다. MCTF는 시간적 스케일러빌리티를 제공하는 한 방법으로 MCTF를 구현하는 방법으로는 Haar 필터를 이용하는 방식, 모션 적응 필터(Motion Adaptive Filtering) 방식, 5/3 필터를 사용하는 방식 등이 존재한다. 이들 방식을 통해 산출된 결과는 시간적으로 스케일러블이 가능한 비디오 데이터를 제공한다. 이후, 이들 데이터를 가지고 SNR 스케일러블이 가능한 비디오 데이터를 제공하기 위해 기초 계층 데이터와 향상 계층 데이터를 생성하는 과정이 수행된다.

MCTF와 같이 시간적으로 스케일러블이 가능하게 생성된 프레임에서 SNR 스케일러빌리티를 제공하기 위해서 데이터를 기초 계층(base layer)과 향상 계층(enhancement layer)으로 나눈다. 기초 계층은 상기 MCTF 과정을 거친 프레임에서 샘플링을 통해 추출한다(S103). 기초 계층은 여러 방식으로 압축될 수 있다. 모션 보상 비디오 인코딩의 경우, DCT(Discrete Cosine Transform) 방식을 사용할 수 있다. 기초 계층은 향상 계층을 생성하기 위한 기준이 되므로, 기존의 여러 비디오 인코딩 방식을 사용할 수 있다. 도 1에서의 변환&양자화부(201, 202, 203), 또는 도 3의 변환부(221)과 양자화부(222), 인코딩부(223)를 통해 기초 계층을 생성할 수 있다.

다음으로 S103 단계에서의 기초 계층과 S101 단계에서의 원본 데이터 사이의 차분을 구한 잔여 데이터(Residual data)를 추출하여 향상 계층을 생성한다(S105). 향상 계층을 생성하기 위해서는 여러가지 FG(Fine-granular) 방식을 사용할 수 있다. 예를 들어 웨이블릿(Wavelet) 방식, DCT(Discrete Cosine Transform) 방식, 그리고 매칭추구기반 방식(Matching-pursuit based method) 등이 가능하다. 이 중에서 비트플레인 DCT(Bitplane DCT 코딩)과 EZW(Embeded zero-tree wavelet) 방식이 좋은 성능을 나타내고 있는 것으로 알려졌다.

한편 S105 단계에서 잔여 데이터(Residual data)를 구하기 위해서는 양자화를 거친 기초 계층을 다시 역양자화하는 과정(Inverse Quantization)을 더 필요로 할 수 있다. 이를 위해 도 1에서의 역양자화&역변환부(301, 302, 303)와 도 3에서의 역양자화부(321)를 거쳐 기초 계층을 복원함은 전술하였다.

디코딩 측에서는 기초 계층을 역양자화 한 결과에 대해 향상 계층을 더하여 비디오 데이터를 얻을 수 있으므로, 기초 계층을 역양자화하여 잔여 데이터를 구하는 것이 데이터 손실을 줄일 수 있다. 이때, 역양자화를 거치면서 디블록을 수행할 수 있다. 디블록은 프레임을 구성하는 블록들간에 존재하는 경계선을 부드럽게 한다. 이렇게 역양자화를 거친 기초 계층과 S101 단계의 MCTF를 거친 원본 데이터와의 차이를 구하여 향상 계층을 생성함은 전술하였다.

S105 과정에서 향상 계층은 하나 이상이 존재할 수 있다. 향상 계층의 수가 늘어날수록 FGS의 단위가 세분화되어 SNR 스케일러빌리티를 높일 수 있다. 디코딩 측에서는 자신의 디코딩 능력 또는 수신 능력에 따라 어느 정도의 향상 계층을 수신하고 디코딩 할 것인지를 결정할 수 있다.

하나의 프레임에 대해 기초 계층 데이터와 향상 계층 데이터가 생성되면, 이들을 취합하여 새로운 복원 프레임(reconstructed frame)을 생성하는 과정이 필요하다(S110). 복원 프레임은 다른 프레임을 생성하기 위한 기준이 되거나, 혹은 모션 추정 등 예측 프레임의 생성에 있어서 필요하다. 이때, 복원 프레임 역시 블록간의 경계가 존재하므로, 블록간의 경계를 지우는 디블록을 수행한다. 이때, 복원 프레임은 이미 S105 단계에서 디블록이 수행된 기초 계층을 포함하므로, 디블록을 약하게 수행한다(S115).

복원 프레임에 대해 다시 높은 디블록 계수로 디블록을 할 경우에는 데이터의 손실이 높을 수 있으므로, 디블록 계수를 1 또는 2 정도로 낮추어 디블록을 약하게 수행한다.

도 5에서 수행한 디블록 결과를 수식으로 살펴보면 다음과 같다.

기초 계층을 B라고 하며, 향상 계층 데이터를 각각 E1, E2, ..., En라 하며, S105 단계에서 기초 계층 데이터에 대해 디블록을 수행하는 것을 D1이라 할 경우, S110 단계에서 취합하는 복원된 프레임 F는 D1(B) + E1 + E2 + ... + En 이다. 또한 S115에서 수행하는 디블록의 결과는 D2(D1(B) + E1 + E2 + ... + En)가 된다. 여기서 D2의 디블록 계수 df2는 1 또는 2로 할 수 있다.

도 5의 실시예는 비디오 원본 데이터를 시간적 스케일러빌리티를 제공하도록 변환한 후에 SNR 스케일러빌리티를 제공하도록 기초 계층과 생성 계층을 나누고 있으나, 반드시 이러한 순서를 지키는 것은 아니다. 시간적 스케일러빌리티를 제공하는 데이터인지 여부와 무관하게 비디오의 원본 데이터에 대해 SNR 스케일러빌리티를 제공할 수 있도록 기초 계층 데이터와 향상 계층 데이터를 구한 후에 다른 스케일러빌리티를 위해 새로운 변환 과정이 존재할 수 있다. 또한 MCTF의 변환 과정도 여러가지 방식을 차용할 수 있으며, 이들 방식에 본 발명이 한정되지 않는다.

도 6은 본 발명의 일 실시예에 따른 수신한 비디오 스트림을 디코딩하는 과정을 보여주는 순서도이다. 디코더가 비디오 스트림을 수신하여 이를 복호화하는 과정을 제시하였다.

디코더는 비디오 스트림을 수신한다(S201). 수신한 비디오 스트림에서 기초 계층을 추출하여 복원한다(S203). 기초 계층을 복원하는 것은 역양자화와 역변환을 통해 이루어진다. 복원한 기초 계층은 다른 향상 계층과 취합할 수 있도록 디블록을 수행한다(S205). 그리고 수신한 비디오 스트림에서 향상 계층을 추출하여 복원한다(S210). 역시 역양자화와 역변환을 통해 이루어진다. S205단계에 디블록을 수행한 기초 계층과 S210단계에서 복원한 향상 계층을 취합하여 복원 프레임(reconstructed frame)을 생성한다(S220). 그리고 복원 프레임에 대해 디블록을 수행하는데, 이때 디블록 계수를 1 또는 2와 같이 낮게 하여 디블록한다(S230). 이미 기초 계층은 S205 과정에서 한번 디블록을 했으므로 과도한 스무딩(over-smoothing)을 피하도록 S230 단계에서 디블록을 약하게 한다.

도 7은 본 발명의 일 실시예에 따른 기초 계층과 향상 계층이 복원되는 결과 를 보여주는 예시도이다. 도 7은 도 1에서의 402 디블록을 거친 복원 프레임 또는 도 2에서 412 디블록을 거친 복원 프레임의 생성을 보여준다. 또한, 도 3에서의 422 디블록 또는 도 4에서의 432 디블록을 거친 복원 프레임의 생성을 보여준다.

151 프레임은 기초 계층을 다시 복원한 후에 디블록을 수행한 결과이다. 도 1에서의 401 디블록, 도 2에서의 411 디블록, 도 3에서의 421 디블록, 도 4에서의 431 디블록을 수행한 결과이다. 152 또는 153은 향상 계층을 복원한 프레임이다. 향상 계층의 복원은 도 1에서의 역양자화&역변환부(302, 303)에서 생성한 결과이거나 도 2에서의 역양자화&역변환부(312, 313)에서 생성한 결과, 또는 도 3에서의 디코딩부(325)에서 생성된 결과이거나 도 4의 역변환부(336)에서 생성한 결과이다. 복원된 향상 계층과 디블록을 거친 복원된 기초 계층은 누산기 등을 통해 하나의 프레임(155)으로 취합된다. 여기에 다시 디블록을 수행하는데, 이때 전술한 바와 같이 디블록 계수를 낮추어 디블록을 수행하면 과도한 스무딩(over-smoothing)을 피할 수 있다. 이러한 과정을 통해 원본 프레임(157)을 복원한다.

도 5, 6에서 언급한 디블록을 약하게 수행한다는 것의 일 실시예는 디블록 계수 또는 디블록 필터를 1 또는 2와 같이 낮추어 수행하는 것을 의미한다. 현재 디블록 계수는 4까지 존재하며, 만약 디블록 계수가 다시 세분화 되어 디블록 계수의 최대값이 8 또는 16과 같이 커질 경우에는 이에 해당하는 낮은 디블록 계수로 디블록을 수행하는 것을 의미한다.

Football_QCIF, 7.5Hz	PSNR 향상도	Football_QCIF, 15Hz	PSNR 향상도
160 kbps	0.1188	243 kbps	0.0589
192 kbps	0.1114	294 kbps	0.0269
224 kbps	0.0931	345 kbps	0.0169
256 kbps	0.0181	396 kbps	0.0201
288 kbps	0.0207	447 kbps	0.0370
320 kbps	0.0330	498 kbps	0.0377
		512 kbps	0.0364

표 1은 본 발명의 일 실시예에 따른 결과이다. 축구(football sequence) 동영상을 7.5 Hz로 샘플링 한 경우와 15 Hz로 샘플링한 경우에, 네트워크의 속도에 따라 본 명세서에서 제안한 디블록 계수를 낮추는 방법을 적용하였을 때에 PSNR(Peak SNR)의 향상 정도를 보여주고 있다. 표 1에서 알 수 있듯이, 저속의 경우 (7.5 Hz에서의 160 kbps, 192 kbps, 15 Hz에서의 243 kbps) PSNR의 향상치가 높음을 알 수 있다. 표 1의 결과를 그래프로 살펴볼 때에 향상도는 도 8과 같다. 도 8의 (a)는 QCIF, 7.5 Hz로 샘플링한 비디오를 약하게 디블록 했을 경우에 PSNR의 향상도를 보여준다. 도 8의 (b)는 QCIF, 15 Hz로 샘플링한 경우, 약하게 디블록 했을 경우의 PSNR의 향상도를 보여준다. 두 그래프에서 알 수 있듯이, 전송 속도가 낮을 경우에 PSNR 향상도가 높다.

Football_CIF, 15Hz	PSNR 향상도	Football_CIF, 30Hz	PSNR 향상도
588 kbps	0.1146	920 kbps	0.0758
690 kbps	0.0946	1124 kbps	0.0582
792 kbps	0.0647	1328 kbps	0.0302
894 kbps	0.0515	1532 kbps	0.0219
996 kbps	0.0161	1736 kbps	0.0085
1024 kbps	0.0128	1940 kbps	0.0204
		2048 kbps	0.0255

표 2는 본 발명의 일 실시예에 따른 결과이다. 축구(football sequence) 동영상을 15 Hz로 샘플링 한 경우와 30 Hz로 샘플링한 경우에, 네트워크의 속도에 따 라 본 명세서에서 제안한 디블록 계수를 낮추는 방법을 적용하였을 때에 PSNR(Peak SNR)의 향상 정도를 보여주고 있다. 표에서 알 수 있듯이, 저속의 경우 (15 Hz에서의 588 kbps, 690 kbps, 30 Hz에서의 920 kbps, 1124 kbps) PSNR의 향상치가 높음을 알 수 있다. 표 2의 결과를 그래프로 살펴볼 때에 향상도는 도 9와 같다. 도 9의 (a)는 CIF, 15 Hz로 샘플링한 비디오를 약하게 디블록 했을 경우에 PSNR의 향상도를 보여준다. 도 9의 (b)는 CIF, 30 Hz로 샘플링한 경우, 약하게 디블록 했을 경우의 PSNR의 향상도를 보여준다. 두 그래프에서 알 수 있듯이, 전송 속도가 낮을 경우에 PSNR 향상도가 높다. 즉, FGS는 네트워크의 전송 속도가 낮을 경우에 더욱 필요한 기능으로, 본 명세서에서 제시한 방식에 따라 표 1, 2과 같이 전송 속도가 낮을 경우의 PSNR 향상도가 높을 경우, 사용자가 인지하는 화질의 선명도는 뛰어나다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명을 구현함으로써 FGS를 지원하는 비디오 코딩 및 디코딩에서 디블록 을 약하게 수행하여 PSNR을 향상시킬 수 있다.

본 발명을 구현함으로써 디블록에 의해 손실되는 데이터를 줄이면서 비디오의 화질을 향상시킬 수 있다.

Claims

(a) 비디오의 원본 데이터를 수신하여 상기 원본 데이터에서 기초 계층을 생성하는 단계;

(b) 상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 구하여 향상 계층을 생성하는 단계;

(c) 상기 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터로부터 복원 프레임을 생성하는 단계; 및

(d) 상기 복원 프레임을 상기 (b) 또는 (c) 단계에서의 디블록보다 약하게 디블록하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 1항에 있어서,

상기 (d) 단계에서 디블록 계수는 1 또는 2인, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 1항에 있어서,

상기 (a) 단계는 상기 원본 데이터를 변환하여 양자화를 수행하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 3항에 있어서,

상기 변환은 DCT 방식으로 변환하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 1항에 있어서,

상기 (b) 단계는 상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 변환하여 양자화를 수행하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 1항에 있어서,

상기 (b) 단계는 둘 이상의 향상 계층을 생성하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 6항에 있어서,

상기 (b) 단계는,

상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이에서 발생하는 잔여 프레임을 부호화 하여 제 1 향상 계층을 생성하는 단계; 및

상기 제 1 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터를 더한 복원 프레임과 상기 원본 데이터의 차이에서 발생하는 잔여 프레임을 부호화하여 제 2 향상 계층을 생성하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
제 1항에 있어서,

상기 비디오의 원본 데이터는 GOP를 MCTF 변환 과정을 거친 데이터인, 디블록을 제어하는 FGS 기반의 비디오 인코딩 방법.
(a) 비디오 스트림을 수신하여 기초 계층을 추출하는 단계;

(b) 상기 비디오 스트림에서 향상 계층을 추출하는 단계;

(c) 상기 기초 계층을 복원하여 디블록한 데이터와 상기 향상 계층을 복원한 데이터를 취합하여 복원 프레임을 생성하는 단계; 및

(d) 상기 복원 프레임을 상기 (c) 단계에서의 디블록보다 약하게 디블록하는 단계를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 디코딩 방법.
제 9항에 있어서,

상기 (d) 단계에서 디블록 계수는 1 또는 2인, 디블록을 제어하는 FGS 기반의 비디오 디코딩 방법.
제 9항에 있어서,

상기 기초 계층을 복원하여 디블록한 데이터는 상기 기초 계층을 역양자화한 후 역변환하여 얻은 결과에 디블록을 수행한 결과인, FGS를 지원하며 디블록을 제어하는 비디오 디코딩 방법.
제 11항에 있어서,

상기 역변환은 역DCT 방식으로 변환하는, FGS를 지원하며 디블록을 제어하는 비디오 디코딩 방법.
제 9항에 있어서,

상기 향상 계층을 복원한 데이터는 상기 향상 계층을 역양자화한 후 역변환하여 얻은 결과인, FGS를 지원하며 디블록을 제어하는 비디오 디코딩 방법.
제 9항에 있어서,

상기 (b) 단계는 둘 이상의 향상 계층을 추출하는 단계를 포함하는, FGS를 지원하며 디블록을 제어하는 비디오 디코딩 방법.
제 14항에 있어서,

상기 (b) 단계는

상기 비디오 스트림에서 상기 기초 계층 이후에 존재하는 데이터의 일부에서 제 1 향상 계층을 추출하는 단계; 및

상기 비디오 스트림에서 상기 제 1 향상 계층 이후에 존재하는 데이터의 일부에서 제 2 향상 계층을 추출하는 단계를 포함하는, FGS를 지원하며 디블록을 제어하는 비디오 디코딩 방법.
비디오의 원본 데이터에서 기초 계층을 생성하는 기초 계층 생성부;

상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 구하여 향상 계층을 생성하는 향상 계층 생성부;

상기 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터로부터 복원 프레임을 생성하는 복원 프레임 생성부; 및

상기 복원 프레임을 상기 향상 계층 생성부 또는 복원 프레임 생성부에서의 디블록보다 약하게 디블록하는 제 1 디블럭부를 포함하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 16항에 있어서,

상기 제 1 디블록부는 디블록 계수를 1 또는 2로 하여 디블록하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 16항에 있어서,

상기 기초 계층 생성부는

원본 데이터를 변환하여 양자화를 수행하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 18항에 있어서,

상기 변환은 DCT 방식으로 변환하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 16항에 있어서,

상기 향상 계층 생성부는 상기 기초 계층을 복원하여 디블록한 데이터와 상기 원본 데이터의 차이를 변환하여 양자화를 수행하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 16항에 있어서,

상기 향상 계층 생성부는 둘 이상의 향상 계층을 생성하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 21항에 있어서,

상기 향상 계층 생성부는

상기 기초 계층을 복원한 데이터와 상기 원본 데이터의 차이에서 발생하는 잔여 프레임을 부호화 하여 제 1 향상 계층을 생성하는 제 1 향상 계층 생성부; 및

상기 제 1 향상 계층을 복원한 데이터와 상기 기초 계층을 복원하여 디블록한 데이터를 더한 복원 프레임과 상기 원본 데이터의 차이에서 발생하는 잔여 프레임을 부호화하여 제 2 향상 계층을 생성하는 제 2 향상 계층 생성부를 포함하는, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
제 16항에 있어서,

상기 비디오의 원본 데이터는 GOP를 MCTF 변환 과정을 거친 데이터인, FGS를 지원하며 디블록을 제어하는 비디오 인코더.
수신한 비디오 스트림에서 기초 계층을 추출하는 기초 계층 추출부;

상기 수신한 비디오 스트림에서 향상 계층을 추출하는 향상 계층 추출부;

상기 기초 계층을 복원하여 디블록한 데이터와 상기 향상 계층을 복원한 데이터를 취합하여 복원 프레임을 생성하는 복원 프레임 생성부; 및

상기 복원 프레임을 상기 복원 프레임 생성부에서의 디블록보다 약하게 디블록하는 제 1 디블록부를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 24항에 있어서,

상기 제 1 디블록부는 디블록 계수를 1 또는 2로 하여 디블록하는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 24항에 있어서,

상기 기초 계층을 역양자화하는 역양자화부; 및

상기 역양자화한 결과를 역변환하는 역변환부를 더 포함하며,

상기 역변환한 결과에 디블록을 수행하여 상기 기초 계층을 복원한 데이터가 생성되는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 26항에 있어서,

상기 역변환은 역DCT 방식으로 변환하는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 24항에 있어서,

상기 향상 계층을 역양자화하는 역양자화부; 및

상기 역양자화한 결과를 역변환하는 역변환부를 더 포함하며,

상기 역변환한 결과 상기 향상 계층을 복원한 데이터가 생성되는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 24항에 있어서,

상기 향상 계층 추출부는 둘 이상의 향상 계층을 추출하는, 디블록을 제어하는 FGS 기반의 비디오 디코더.
제 29항에 있어서,

상기 향상 계층 추출부는

상기 비디오 스트림에서 상기 기초 계층 이후에 존재하는 데이터의 일부에서 제 1 향상 계층을 추출하는 제 1 향상 계층 추출부; 및

상기 비디오 스트림에서 상기 제 1 향상 계층 이후에 존재하는 데이터의 일부에서 제 2 향상 계층을 추출하는 제 2 향상 계층 추출부를 포함하는, 디블록을 제어하는 FGS 기반의 비디오 디코더.