KR20060035437A

KR20060035437A - 동영상 통합 코덱 장치 및 방법

Info

Publication number: KR20060035437A
Application number: KR1020040084939A
Authority: KR
Inventors: 장의선; 이영렬; 이선영; 박성원; 원종우; 조용호; 이충구
Original assignee: 주식회사 휴맥스
Priority date: 2004-10-22
Filing date: 2004-10-22
Publication date: 2006-04-26
Also published as: KR101059991B1; CN101084677A

Abstract

본 발명은 동영상 통합 코덱 장치 및 방법에 관한 것으로서, 보다 상세하게는 MPEG-2, MPEG-4, H.264 등과 같은 동영상 코덱을 통합할 수 있는 방법 및 장치에 관한 것이다. 바람직한 실시예에 의할 때, 통합 코덱 장치는 상이한 코덱별 문법에 따른 정보를 추출하여 문맥 정보 및 제어신호를 생성하기 위한 PEU부(Parsing and Entropy decoding Unit); PEU부에서 출력된 데이터에 대한 코딩 또는 디코딩을 수행하기 위하여, 각 코덱의 블록 기반의 처리 단위를 기준으로 통합된 블록 기반 처리부; 및 PEU부에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 각 코덱에 대응하여 가공한 후, 처리 단위를 기준으로 분류된 블록기반처리부의 코딩 및 디코딩을 제어하기 위한 GCU(Global Control Unit)부를 포함하여 각 코덱에 대한 공통부분을 증가하여, 처리 효율성을 향상시킬 수 있다.

통합 코덱, VCTR, MPEG, AVC, VIDEO, PEU, GCU

Description

동영상 통합 코덱 장치 및 방법{Device and Method for video codec of VCTR(Video Coding Tool Repository )}

도 1은 종래 기술의 실시예에 따른 통합 코덱 장치의 동작을 나타낸 순서도.

도 2a는 종래 기술의 실시예에 따른 통합 코덱 장치의 구성을 나타낸 도면.

도 2b는 본 발명의 바람직한 실시예에 따른 통합 코덱 장치의 구성을 나타낸 도면.

도 3은 본 발명의 바람직한 실시예에 따른 상세한 정보 흐름 및 처리 방식을 나타낸 도면.

<도면의 주요부분에 대한 부호의 설명>

100: Parsing, entropy decoding부

110: Data-reordering부

120: Inverse scan부

130: Inverse DC/AC Prediction부

140: Inverse Quantization부

150: Inverse transform부

160: Intra-prediction부

170: Memory for decoded sample부

180: Deblocking filter부

200: 통합 코덱 장치

210: PEU(Parsing and Entropy decoding Unit)

220: 블록기반처리부(Block-based decoder pipeline)

230: GCU(Global Control Unit)

240: 역양자화부(Inverse Quantization unit)

300: 제어 신호(Control signal)

310: 문맥정보(Context information)

본 발명은 동영상 통합 코덱 장치 및 방법에 관한 것으로서, 보다 상세하게는 MPEG-2, MPEG-4, H.264 등과 같은 동영상 코덱을 통합할 수 있는 방법 및 장치에 관한 것이다. 즉, 본 발명은 문맥 구분, 엔트로피 코딩부와 블록 기반 처리부를 구분하여 설계할 수 있는 효율적인 통합 코덱 구조 및 방법을 개시할 수 있다.

일반적으로 동영상 코덱은 유사한 구조를 이루고 있으나, 각 구조에 따른 세부적인 처리 내용은 상이하며, 이러한 상이점으로 인하여 통합 코덱을 구현하기에 많은 어려움이 있다.

도 1을 참조하면, 종래 기술의 실시예에 따른 통합 코덱의 처리 방법이 도시되어 있다, 도 1은 일반적인 Intra-only 통합 코덱의 동작 원리를 나타낸 도면으로, MPEG-2, MPEG-4, AVC Intra 코딩부분을 기준으로 구성된 처리 방법이다.

도 1을 참조하면 시간적인 순서에 따라, 기능을 중심으로 Parsing and entropy decoding 단계(S100), Data-reordering 단계(S110), Inverse scan 단계(S120), Inverse DC/AC prediction 단계(S130), Inverse quantization 단계(S140), Inverse Transform 단계(S150), Intra-prediction 단계(S160), Memory for decoded sample 단계(S170), Deblocking-filter 단계(S180)로 이루어진다. 상술한 바와 같이 이러한 종래 기술에 따르면 기능 또는 처리 순서에 따라 단순히 구분되어 있고, 각 단계에서 코덱에 따라 세부적으로 처리하도록 구성되어 있으므로, 중복되는 처리 단계를 상당히 많이 포함하고 있는 문제점이 있다.

또한, 동영상 코덱을 통합하기 위해서는 공통부분과 독립된 부분의 명확한 구분이 전제되어야 하나, 종래 기술에 따른 통합 코덱의 구성을 기준으로 하는 경우, 서로 상이한 방식의 동영상 코덱에 대한 공통점과 차이점을 구분하기에는 많은 어려움이 있다.

또한, 상술한 실시예에 따른 통합 코덱의 구조 외에는 다른 통합 코덱이 제안된 바가 없어, 통합 코덱을 구현하기 위해서는 상술한 구조를 이용하여 구현할 수밖에 없는 문제점이 있다.

따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 안출한 것으로서, MPEG-2, MPEG-4, H.264 등과 같은 동영상 코덱을 통합할 수 있는 방법 및 장치를 제공함에 그 목적이 있다. 즉, 본 발명은 상이한 동영상 코덱간의 공통점과 차이점 및 고려사항을 부합한 새로운 통합 코덱 개념 및 구조를 제공함에 있다.

또한, 본 발명의 다른 목적은 블록 기반의 동영상 코덱의 구조 변화없이 상이한 코덱간의 통합을 제공함에 있다.

또한, 본 발명의 또 다른 목적은 상이한 코덱간의 가장 중요한 공통적인 부분인 Parsing and Entropy decoding 부분에 대하여 문법 정보 추출 기능을 부가하여, 효과적인 통합 코덱을 구현할 수 있는 방법 및 장치를 제공함에 있다.

또한, 본 발명의 또 다른 목적은 MPEG-2, MPEG-4, AVC 외의 블록 단위의 처리를 하는 동영상, 정지영상 코덱의 통합 시에 사용할 수 있는 통합 코덱 구조를 제공함에 있다.

또한, 본 발명의 또 다른 목적은 동영상 코덱의 통합에 관한 개념 및 구조에 대한 국제 표준화에 있으며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

상술한 목적을 달성하기 위하여 본 발명의 제 1측면에 따르면, 블록 기반의 동영상 코덱의 구조 변화없이 상이한 코덱간의 통합을 수행할 수 있는 통합 코덱 장치를 제공할 수 있다.

바람직한 실시예에 의할 때, 상기 통합 코덱 장치는 상이한 코덱별 문법에 따른 정보를 추출하여 문맥 정보 및 제어신호를 생성하기 위한 PEU부(Parsing and Entropy decoding Unit); 상기 PEU부에서 출력된 데이터에 대한 코딩 또는 디코딩을 수행하기 위하여, 각 코덱의 블록 기반의 처리 단위를 기준으로 통합된 블록 기반 처리부; 및 상기 PEU부에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 각 코덱에 대응하여 가공한 후, 상기 처리 단위를 기준으로 분류된 블록기반처리부의 코딩 및 디코딩을 제어하기 위한 GCU(Global Control Unit)부를 포함하여 각 코덱에 대한 공통부분을 증가하여, 처리 효율성을 향상시킬 수 있다.

여기서, 상기 제어신호는 양자화 테이블의 사용여부를 나태내고, 문맥정보는 양자화 테이블을 사용하는 경우에 첨부되는 부가 정보이다. 그리고 상기 GCU(Global Control Unit)부는 상기 제어 신호 및 상기 문맥 정보를 가공하여, 상기 블록 기반 처리부에 포함된 역양자화부에 전달하는 것을 특징으로 하는 통합 코덱 장치.

상술한 목적을 달성하기 위하여 본 발명의 제 2측면에 따르면, 블록 기반의 동영상 코덱의 구조 변화없이 상이한 코덱간의 통합을 수행할 수 있는 통합 코덱 방법을 제공할 수 있다.

바람직한 실시예에 의할 때, 상기 통합 코덱 방법은 PEU부(Parsing and Entropy decoding Unit)에서 상이한 코덱별 문법에 따른 정보를 추출하여 문맥 정 보 및 제어신호를 생성하는 단계; 각 코덱의 블록 기반의 처리 단위를 기준으로 통합된 블록 기반 처리부에서, 상기 PEU부에서 출력된 데이터에 대한 코딩 또는 디코딩을 수행하는 단계; 및 GCU(Global Control Unit)부에서, 상기 PEU부에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 각 코덱에 대응하여 가공한 후, 상기 처리 단위를 기준으로 분류된 블록기반처리부의 코딩 및 디코딩을 제어하는 단계를 포함하여 각 코덱에 대한 공통부분을 증가하여, 처리 효율성을 향상시킬 수 있다.

여기서, 상기 제어신호는 양자화 테이블의 사용여부를 나태내고, 문맥정보는 양자화 테이블을 사용하는 경우에 첨부되는 부가 정보일 수 있다. 그리고 상기 GCU(Global Control Unit)부는 상기 제어 신호 및 상기 문맥 정보를 가공하여, 상기 블록 기반 처리부에 포함된 역양자화부에 전달하는 것을 특징으로 하는 통합 코덱 방법.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 통합 코덱 방법 및 장치의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

통합 코덱의 전체 구조

도 2a 및 도 2b를 참조하면, 종래 기술에 따른 통합 코덱의 구조와 본 발명 에 따른 통합 코덱의 구조가 도시되어 있다.

종래 통합 코덱의 구조를 나타낸 도 2a를 참조하면, 통합 코덱장치는 Parsing and entropy decoding부(100), Data-reordering부(110), Inverse scan부(120), Inverse DC/AC prediction부(130), Inverse quantization부(140), Inverse Transform부(150), Intra-prediction부(160), Memory for decoded sample부(170), Deblocking-filter부(180)로 이루어진다.

반면, 본 발명에 따른 통합 코덱의 구조를 나타낸 도 2b를 참조하면, 코덱 장치는 Parsing and Entropy decoding Unit(PEU), 블록기반처리부(Block-based decoder pipeline)와 Global Control Unit(GCU) 부분으로 크게 나누어 처리하도록 구성된다. 이하, 설명의 편의를 위하여 종래 기술의 구성과 비교하여 본 발명에 따른 구성요소의 기능을 설명하기로 한다.

종래 기술에 따른 통합 코덱의 구조

먼저, 도 2a를 참조하여, 종래 기술에 따른 통합 코덱의 구조를 설명하면 다음과 같다.

Parsing and Entropy Decoding부(100)는 동영상 비트스트림을 받아 문맥별로 파싱하여, 엔트로피 디코딩을 수행한다. 이는 위의 동영상 코덱의 공통과정이며 가장 중요한 부분이라 할 수 있으나, 종래 기술에 의할 때, 단순히 파싱 및 엔트로피 디코딩만을 하도록 구성된다.

Data-reordering부(110)는 인코딩시 순서화 된 영상 정보를 재구성 해주는 부분이다. 코덱별로 순서화하는 방법이 상이하므로, 각 코덱에 따라 설계된다.

Inverse scan부(120)는 인코딩 시 여러 가지 방법으로 스캔된 순서의 역으로, 값을 출력해주는 부분이다. Transform을 하기 전에 주파수 대역의 값의 분포에 따라서 스캔 방향을 정의하는 부분이 있다. 일반적으로는 zig-zag 스캔 방법이 사용되나, 코덱별로 여러 종류의 스캔 방법이 있다.

Inverse DC/AC prediction부(130)는 AVC에서 사용하지 않는 부분이며, 통합코덱 제작 시에 MPEG 계열의 동영상 정보에 대해서만 필요한 부분이다. 주파수 대역에서 DCT 계수의 분포를 이용하여 영상의 방향성을 예측하여 압축효율을 높이는 기술이다.

Inverse quantization부(140)는 인코딩시 지정된 양자화값(QP)을 반대로 되돌리는 부분이다. 실제 압축이 일어나는 부분이며 코덱별로 양자화 테이블을 달리 사용한다.

Inverse Transform부(150)는 영상 정보를 주파수 대역으로 옮겨서 처리하기 위한 Transform 과정의 반대 부분이다. MPEG 계열과 AVC에가 가장 두드러진 차이를 보이는 부분이며, 통합 코덱 제작시 최우선으로 고려해야하는 부분이다.

Intra-prediction부(160)는 AVC에서만 사용되는 고유 기술이다. MPEG 계열의 AC/DC prediction 대신에 Intra 코딩시 사용되는 예측 기법이다. Memory for decoded sample부(170)는 AVC의 Intra-prediction(160)시 사용될 참조 예측 블록들을 미리 디코딩 하여 메모리에 저장하는 부분이다.

Deblocking-filter부(180)는 블로킹 현상을 제거하는 기술이다. 동영상 코덱 의 공통점이 블록 단위 처리이며, 이로 인해 블로킹 현상은 필연적으로 생길 수밖에 없다.

이와 같이 기능별로 구성된 종래의 통합 코덱에 반하여, 도 2의 (b)에 도시된 본 발명은 Parsing and Entropy decoding Unit(PEU), 블록기반처리부(Block-based decoder pipeline)와 Global Control Unit(GCU) 부분으로 구성된다.

이하, 종래 기술의 구성과 비교하여 본 발명에 따른 구성요소의 기능을 도 2b를 참조하여, 각 구성요소의 기능을 설명하기로 한다.

PEU(Parsing and Entropy decoding Unit)

종래의 Parsing and Entropy decoding부(100)는 전체 구조의 일부분으로 단순히 파싱 및 디코딩만을 수행하도록 구성된다. 반면, 본 발명에서는 이를 하나의 큰 Unit 으로 확장하고, 이 후의 블록 기반 처리부와 기능적, 구조적으로 분리한다.

본 발명에 따른 PEU부(210)는 상이한 코덱별 문법에 따라서 정보를 추출하여, 사용된 Entropy coder 별로 실제 처리될 값을 구하는 기능을 수행하며, 제어 신호 및 문맥 정보를 생성하여, GCU부(230)로 전달한다. 통합 코덱의 제작 시 가장 기본이 되는 부분이며, 상이한 코덱간의 문법을 공유하고 통일하여, 이 후 블록기반처리부에서 정보의 불필요한 중복을 줄일 수 있으며, 효율적인 블록 기반 처리를 수행하도록 하는 기능을 제공한다.

상기 PEU부(210)에서 추출된 제어 신호 및 문법 정보를 이용하여, 블록기반 처리부는 N*N 혹은 N*M 단위의 블록 기반으로 코딩 또는 디코딩을 처리할 수 있다.

블록기반 처리부(Block-based decoder pipeline)

블록기반 처리부(220)는 종래의 기술에서 Data-reordering부(110), Inverse scan부(120), Inverse DC/AC prediction부(130), Inverse quantization부(140), Inverse Transform부(150), Intra-prediction부(160), Memory for decoded sample부(170), Deblocking-filter부(180)에 대응하나, 처리 방식은 전연 상이하다.

기능 별로 구분한 종래 기술과 달리, 본 발명은 처리 단위를 기준으로 분류되어 있어, 실제 통합 코덱 제작 시, 기능은 유사하나 처리 방식이 상이한 부분에 대한 중복을 감소시킬 수 있다. 종래 기술에 의할 때, 기능이 유사할 지라도 처리 방식이 상이한 경우, 상이한 처리 방식에 대응하는 구성요소를 구비하여야 하나, 본 발명에 의할 때, 블록기반 처리부(220)만을 통하여 공통부분을 증가시킬 수 있다.

또한, 종래 기술에 의할 때, Intra-prediction부(160), Memory for decoded sample부(170)는 AVC 코덱에서만 사용하는 것이므로, 통합 코덱을 구현할 경우에는 상기 기능을 별도로 구성하여야 한다.

하지만, 본 발명에 따른 블록기반 처리부(220)의 개념에 따르면, 처리 단위를 기준으로 분류하여, 종래 기술에 따른 도 1의 단계 S110부터 단계S180 중에서 블록 기반의 처리부만을 통합하여 구성하므로, 공통된 부분을 더욱 증가시켜 처리 효율성을 배가시킬 수 있다.

GCU(Global Control Unit)

종래 기술에 의할 때, 기능별로 나누어진 각 단계 또는 구성요소에서 각각 코덱의 정보를 가공하도록 구성된다. 반면, 본 발명에서는 별도의 GCU부(230)를 구성하여, PEU부(210)에서 처리한 문객 정보를 이용하여, 통합적으로 블록 기반 처리부(220)를 제어하도록 구성된다.

본 발명에 따른 GCU부(230)는 PEU부(210)에서 수신한 제어신호(Control signal)(300) 및 문맥정보(Context information)(310)를 포함하는 PEU의 정보를 가공하는 기능을 수행한다.

본 발명의 동작 순서

도 3은 본 발명의 바람직한 실시예에 따른 인트라 코딩시 사용하는 양자화 테이블의 사용 여부에 따른 처리 방법을 나타낸 도면이다.

실시예에 의할 때, 도 3의 제어신호(Control signal)(300)는 양자화 테이블의 사용여부를 알리는 값을 나타내며, 문맥정보(Context information)(310)는 양자화 테이블을 사용하는 경우, 첨부되는 부가 정보를 지칭한다.

GCU부(230)는 PEU부(210)에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 현재 코덱에 대응하여 가공한 후, 양자화 테이블의 사용 여부를 판단하여. Block-based decoder pipeline의 기능 유닛인 Inverse Quantization Unit에 보내어 최종 처리를 하도록 구성된다.

이상에서는 MPEG-2, MPEG-4, AVC를 기준으로 설명하였으나, 블록기반처리를 갖는 동영상, 정지영상 코덱의 통합화 개념에 모두 적용할 수 있음은 당연하다.

상술한 바와 같이 본 발명은 통합 코덱 제작 시, 처리 기반의 구조를 적용하여 효율적인 통합 구조를 제시하는 효과가 있다. 즉, 본 발명은 종래의 기능 위주의 구조에서 탈피해 기능에 따른 처리 기반을 분류하여 PEU, GCU 개념을 도입했으며, 블록 기반의 처리 부분인 Block-based decoder pipeline 부분을 별도로 분리하여 처리함으로써, 불필요하거나 중복적인 부분을 최소화하는 효과가 있다.

또한, 본 발명은 MPEG-2, MPEG-4, AVC의 국한된 코덱뿐 만아니라, 블록기반처리를 갖는 동영상, 정지영상 코덱의 통합화 개념에 사용할 수 있는 효과도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

통합 코덱 장치에 있어서,

상이한 코덱별 문법에 따른 정보를 추출하여 문맥 정보 및 제어신호를 생성하기 위한 PEU부(Parsing and Entropy decoding Unit);

상기 PEU부에서 출력된 데이터에 대한 코딩 또는 디코딩을 수행하기 위하여, 각 코덱의 블록 기반의 처리 단위를 기준으로 통합된 블록 기반 처리부; 및

상기 PEU부에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 각 코덱에 대응하여 가공한 후, 상기 처리 단위를 기준으로 분류된 블록기반처리부의 코딩 및 디코딩을 제어하기 위한 GCU(Global Control Unit)부

를 포함하여 각 코덱에 대한 공통부분을 증가하여, 처리 효율성을 향상시키는 것을 특징으로 하는 통합 코덱 장치.
제1항에 있어서,

상기 제어신호는 양자화 테이블의 사용여부를 나태내고, 문맥정보는 양자화 테이블을 사용하는 경우에 첨부되는 부가 정보인 것을 특징으로 하는 통합 코덱 장치.
제2항에 있어서,

상기 GCU(Global Control Unit)부는 상기 제어 신호 및 상기 문맥 정보를 가공하여, 상기 블록 기반 처리부에 포함된 역양자화부에 전달하는 것을 특징으로 하는 통합 코덱 장치.
통합 코덱 방법에 있어서,

PEU부(Parsing and Entropy decoding Unit)에서 상이한 코덱별 문법에 따른 정보를 추출하여 문맥 정보 및 제어신호를 생성하는 단계;

각 코덱의 블록 기반의 처리 단위를 기준으로 통합된 블록 기반 처리부에서, 상기 PEU부에서 출력된 데이터에 대한 코딩 또는 디코딩을 수행하는 단계; 및

GCU(Global Control Unit)부에서, 상기 PEU부에서 수신한 제어신호(Control signal)(300), 문맥정보(Context information)(310)를 각 코덱에 대응하여 가공한 후, 상기 처리 단위를 기준으로 분류된 블록기반처리부의 코딩 및 디코딩을 제어하는 단계;

를 포함하여 각 코덱에 대한 공통부분을 증가하여, 처리 효율성을 향상시키는 것을 특징으로 하는 통합 코덱 방법.
제4항에 있어서,

상기 제어신호는 양자화 테이블의 사용여부를 나태내고, 문맥정보는 양자화 테이블을 사용하는 경우에 첨부되는 부가 정보인 것을 특징으로 하는 통합 코덱 방법.
제5항에 있어서,

상기 GCU(Global Control Unit)부는 상기 제어 신호 및 상기 문맥 정보를 가공하여, 상기 블록 기반 처리부에 포함된 역양자화부에 전달하는 것을 특징으로 하는 통합 코덱 방법.