KR100304798B1 - 애니메이션 동영상 부호화 방법 - Google Patents

Abstract

본 발명은 애니메이션 동영상 부호화 방법에 관한 것으로, 특히 해당 애니메이션 동영상 특성에 따라 화면내의 용장성을 감축하기 위한 화면내 프레임 부호화 방식과 화면간의 시간적 용장성을 감축하기 위한 화면간 프레임 부호화 방식으로 압축 부호화하도록 한 애니메이션 동영상 부호화 방법에 관한 것이다.

종래에는 애니메이션 동영상을 부호화하는 경우 자연 영상을 대상으로 개발된 소프트웨어 코덱을 사용하여 부호화하므로, 색상 및 화질의 열화가 크게 발생하거나 움직임이 자연스럽지 못하고, 이로 인해 주관적 화질이 좋지 않은 단점이 있었다.

본 발명은 소프트웨어 코덱(CODEC)을 이용하여 애니메이션 동영상을 부호화하는 경우 해당 애니메이션 동영상의 특성에 따라 8비트 내지 5비트 색상으로 컬러 양자화를 수행하고, 컬러 양자화된 동영상을 움직임 특성에 따라 화면내 프레임 부호화 및 화면간 프레임 부호화를 수행함으로써, 해당 애니메이션 동영상을 빠른 수행 속도로 고화질, 고압축의 부호화를 수행할 수 있게 된다.

Description

애니메이션 동영상 부호화 방법{Animation Moving Image Coding Method}

본 발명은 애니메이션 동영상 부호화 방법에 관한 것으로, 특히 해당 애니메이션 동영상 특성에 따라 화면내의 용장성을 감축하기 위한 화면내 프레임 부호화 방식과 화면간의 시간적 용장성을 감축하기 위한 화면간 프레임 부호화 방식으로 압축 부호화하도록 한 애니메이션 동영상 부호화 방법에 관한 것이다.

일반적으로, 개인용 컴퓨터(Personal Computer)에서 동영상을 압축 부호화하기 위한 소프트웨어 코덱(CODEC ; Cinepak, MPEG-1, Indeo 5,0 등)은 자연 영상(natural scene)을 대상으로 개발된 것이므로, 애니메이션 동영상에 적용하는 경우 고능률 압축시 색상 및 화질의 열화가 매우 크게 발생하여 주관적 화질이 매우 좋지 않다는 단점을 갖고 있다.

또한, 국제 표준은 아니지만, 현재 사용되고 있는 소프트웨어 코덱중 애니메이션 저작 도구의 화일 형태로 사용되고 있는 것이 있는데, 해당 애니메이션 저작시에는 매 화면 단위로 지역 팔레트(Palette)를 수작업으로 지정하지만, 기존의 RGB(Red Green Blue) 24비트 동영상 파일을 애니메이션 저작 도구의 화일 형태로 사용되고 있는 코덱으로 변환할 때는 자동 처리를 통해 256 색상의 전역 팔레트를 설정하고 있다.

따라서, 동영상에서 화면(scene)의 변화가 많은 경우 색상의 열화가 크게 발생할 수 있고, 움직임이 작은 프레임을 생략하기 때문에 움직임이 자연스럽지 못하다는 단점을 갖고 있다.

한편, 해당 애니메이션 동영상은 화소당 RGB 24비트 색상을 사용하는 자연 영상과는 달리 8비트 즉, 256(2⁸) 색상 이하의 색상으로 컬러 양자화(Color Quantization)를 수행하더라도 원영상과 거의 구별할 수 없는 특성을 갖고 있다.

그리고, 화면내에서 각 객체들의 영역은 단일 색상으로 이루어져 있어 공간내에서 인접한 화소간의 용장성이 매우 높고, 객체의 윤곽선이 뚜렷해서 윤곽선이 크게 열화되지 않아야 주관적 화질이 우수해진다.

또한, 애니메이션 동영상의 움직임은 대부분 특정 장면에서 배경은 고정되어 있고, 객체의 일부 즉, 지역적으로 움직임이 발생한다. 예를 들면, 주인공이 대화하는 장면의 경우 입 주변에서만 움직임이 발생하므로, 전후 프레임간의 시간적인 용장성이 매우 높다. 따라서, 움직임이 발생한 특정 영역만을 부호화하면 압축 효율을 높일 수 있다.

이를 위해 종래에는 MPEG(Moving Picture Experts Group-1, MPEG-2 등의 표준에서 채택하고 있는 움직임 추정 및 움직임 보상을 수행하는데, 해당 움직임 추정 및 보상에서는 화소 및 블록 단위로 이전 화면으로부터 현재 화면과 가장 가까운 부분을 탐색해서 차이 성분만 전송하는 방식을 취하고 있으며, 이 경우 시스템 구조가 복잡하고, 우수한 화질을 얻기 위해서 탐색시간이 많이 소비되며, 움직임이 크게 발생하는 경우에는 오히려 정보량이 증가하는 단점을 갖고 있다.

그리고, 움직임이 화면 전체에서 크게 발생하는 경우 전후 프레임간의 시간적인 용장성이 거의 없으므로 I 프레임(Intra Frame) 형태로 부호화하는 것이 증가하는 정보량에 비해 주관적 화질을 크게 개선할 수 있지만, 종래에는 해당 움직임 정보를 부호화하기 위해 MPEG-1과 같이 블록 단위로 처리하므로 배경까지도 열화가 크게 발생하는 단점을 갖고 있다.

전술한 바와 같이, 종래에는 애니메이션 동영상을 부호화하는 경우 자연 영상을 대상으로 개발된 소프트웨어 코덱을 사용하여 부호화하므로, 색상 및 화질의 열화가 크게 발생하거나 움직임이 자연스럽지 못하고, 이로 인해 주관적 화질이 좋지 않은 단점이 있었다.

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 소프트웨어 코덱을 이용하여 애니메이션 동영상을 부호화하는 경우 해당 애니메이션 동영상의 특성에 따라 8비트 내지 5비트 색상으로 컬러 양자화를 수행하도록 하고, 컬러 양자화된 동영상을 움직임 특성에 따라 화면내 프레임 부호화 및 화면간 프레임 부호화를 수행하도록 함으로써, 해당 애니메이션 동영상을 빠른 수행 속도로 고화질, 고압축의 부호화를 수행할 수 있도록 하는데 있다.

도 1은 본 발명에 따른 애니메이션 동영상 부호화 방법을 구현하기 위한 동작 순서도.

도 2는 도 1에 있어, 애니메이션 동영상에 대한 화면내 프레임 부호화 동작 순서도.

도 3은 MPEG-4의 적응 차분 부호화에 대한 예시도.

도 4의 (가)는 애니메이션 동영상 프레임을 8비트 컬러 양자화한 결과를, (나)는 양자화된 신호를 적응 차분 부호화한 결과를 도시한 도면.

도 5는 차분 신호를 지수 분포에 근사하도록 매핑한 결과를 도시한 도면.

도 6은 매핑된 차분 신호에 대한 전방 분류 상태를 도시한 도면.

도 7은 매핑된 차분 신호에 대한 전방 분류 결과를 도시한 도면.

도 8은 도 1에 있어, 애니메이션 동영상에 대한 화면간 프레임 부호화 동작 순서도.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 특징은, RGB 24비트로 제공되는 애니메이션 동영상을 입력받아 8비트 내지 5비트 컬러 양자화를 수행하는과정과; 양자화된 동영상 프레임을 화면내 프레임으로 부호화할 것이지, 화면간 프레임으로 부호화할 것인지를 결정하는 과정과; 화면내 프레임으로 부호화할 경우 적응 차분 부호화를 수행하여 얻은 차분 신호를 지수 분포에 근사하도록 매핑하는 과정과; 매핑된 차분 신호를 소정 임계값을 기준으로 전방 분류하는 과정과; 전방 분류된 이원 분류 값을 각각 골롬라이스 부호화함과 동시에 분류 정보에 대한 이진 맵 정보를 런 렝스 부호화를 거쳐 골롬라이스 부호화하는 과정을 포함하는데 있다.

나아가, 상기 양자화된 동영상 프레임을 화면간 프레임으로 부호화할 경우 전후 컬러 양자화된 동영상 프레임을 소정 화소 크기의 블록 단위로 비교하여 전후 화면이 동일한지를 확인하는 단계와; 전후 화면이 동일한 경우 P1 프레임 모드로 부호화하는 단계와; 전후 화면이 동일하지 않은 경우 움직임 정도에 따라 I 프레임 모드 또는 P2 프레임 모드로 부호화하는 단계를 더 포함하는 것을 특징으로 한다.

그리고, 상기 P1 프레임 모드 부호화는 전후 화면에서 움직임이 발생하지 않음에 따라 해당 움직임이 발생하지 않았다는 정보에 대한 프레임의 헤더만을 부호화하는 것을 특징으로 하고, 상기 I 프레임 모드 부호화는 전후 화면 전체에서 움직임이 발생함에 따라 움직임 정보를 부호화하지 않고 화면내 프레임 부호화 방식에 따라 부호화하는 것을 특징으로 하며, 상기 P2 프레임 모드 부호화는 전후 화면의 특정 영역에서만 움직임이 발생함에 따라 상기 움직임이 발생한 영역의 정보만을 부호화하는 것을 특징으로 한다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면다음과 같다.

본 발명에 따른 애니메이션 동영상에 대한 소프트웨어 코덱은 전술한 애니메이션 동영상의 특성에 따라 화면내의 공간적 용장성을 감축하기 위한 화면내 프레임 부호화 방식과, 화면간의 시간적 용장성을 감축하기 위한 화면간 프레임 부호화 방식으로 구분하여 압축 부호화한 후, 다중화 처리하여 전송한다.

해당 화면내 프레임 부호화(Intra frame coding) 방식은 RGB 24비트 동영상을 입력받아 색상 정보를 감축하기 위해 수행하는 컬러 양자화와, 인접한 화소간의 정보를 감축하기 위해 수행하는 적응 차분 부호화(Adaptive Differential Pulse Coding)와, 엔트로피(entrophy) 부호화의 효율을 높이기 위한 전방 분류화(forward classification) 및 최종 엔트로피 부호화를 위한 골롬라이스(Golomb-Rice) 부호화를 수행한다.

그리고, 해당 화면간 프레임 부호화(Inter frame coding) 방식은 화면내 프레임 부호화에 의해 컬러 양자화된 애니메이션 동영상에서 발생하는 움직임의 특성에 따라 I 프레임 모드(Intra frame mode) 부호화나 P1 프레임 모드(Prediction 1 frame mode) 부호화 또는 P2 프레임 모드 부호화를 수행한다.

여기서, 해당 I 프레임 모드는 화면 전체에서 움직임이 발생함에 따라 화면내 프레임 부호화 방식에 따라 부호화를 수행하는 모드이고, 해당 P1 프레임 모드는 전후 화면에서 움직임이 발생하지 않음에 따라 즉, 전후 화면이 동일함에 따라 움직임이 발생하지 않았다는 정보에 대한 프레임의 헤더만 부호화하는 모드이며, 해당 P2 프레임 모드는 화면의 일부에서만 움직임이 발생함에 따라 움직임이 발생한 영역만을 추출하여 부호화하는 모드이다.

한편, 본 발명에 따른 소프트웨어 코덱에 의한 애니메이션 동영상 부호화 동작을 첨부한 도면 도 1을 참조하여 설명하면 다음과 같다.

먼저, 해당 코덱은 RGB 24비트로 제공되는 애니메이션 동영상을 입력받아 색상 정보를 8비트(256) 내지 5비트(32) 색상으로 감축하기 위해 컬러 양자화를 수행한 후(스텝 S1, S2), 양자화된 동영상 프레임을 화면내 프레임으로 부호화할 것이지, 화면간 프레임으로 부호화할 것인지를 결정한다(스텝 S3).

이때, 해당 양자화된 동영상 프레임을 화면내 프레임으로 부호화할 경우에는 적응 차분 부호화를 수행하고(스텝 S4), 그 결과를 지수 분포에 근사하도록 매핑(mapping)한 후(스텝 S5), 소정 임계값을 기준으로 전방 분류하게 된다(스텝 S6).

이후, 전방 분류된 이원 분류 값을 각각 골롬라이스 부호화함하고(스텝 S7), 이와 동시에 분류 정보에 대한 이진 맵 정보를 런 렝스 부호화한 후(스텝 S8), 골롬라이스 부호화함으로써(스텝 S9), 해당 양자화된 동영상 프레임에 대한 화면내 프레임 부호화를 종료하게 된다.

그런데, 해당 양자화된 동영상 프레임을 화면간 프레임으로 부호화할 경우에는 화면간 발생하는 움직임 특성에 따라 부호화 모드를 설정하고(스텝 S10), 설정한 부호화 모드로 부호화하게 되는데, I 프레임 모드(Intra frame mode)를 설정한 경우 화면내 프레임 부호화를 수행하는 스텝 S4의 동작을 수행하게 되고, P1 프레임 모드(Prediction 1 frame mode) 또는 P2 프레임 모드로 설정한 경우 해당되는부호화를 수행함으로써(스텝 S11, S12), 해당 양자화된 동영상 프레임에 대한 화면간 프레임 부호화를 종료하게 된다.

한편, 상술한 화면내 프레임 부호화 동작을 첨부한 도면 도 2를 참조하여 상세하게 설명하면 다음과 같다.

먼저, 해당 8비트 내지 5비트로 컬러 양자화된 동영상 프레임을 화면내 프레임으로 부호화할 경우 인접한 화소간의 용장성을 감축하기 위해 MPEG-4의 적응 차분 부호화를 수행하게 되는데(스텝 S21), 첨부한 도면 도 3을 예로 설명하면, 해당 애니메이션 동영상은 특성상 적응 차분 부호화하고자 하는 대상 픽셀 성분(X)을 주변 픽셀 값(A, B, C)들과 그들의 조합을 통해 나타나는 값들 중에서 부호화하고자 하는 픽셀 성분(X)과 가장 상관관계가 높다고 예측되는 값을 찾아 대상 픽셀(X)과의 차분 값을 취함으로써, 부호화의 효율을 높이기 위해 적응 차분 부호화를 수행하게 된다.

이때, 해당 8비트 내지 5비트로 컬러 양자화된 동영상 프레임은 첨부한 도면 도 4의 (가)와 같이 나타나며, 해당 애니메이션 영상의 특성상 256 컬러(8비트 색상) 이하로 양자화를 수행했어도 유사한 색상이 인접하게 되고, 전체적으로 낮은 값을 갖고 색상의 경계에서만 큰 값을 갖게 된다.

따라서, 해당 적응 차분 부호화에 의해 도 4의 (나)와 같이 라플라시안 분포를 갖는 '-255~255' 범위의 차분 신호를 얻게 되므로, 양수 서포트(support)를 갖는 지수 분포에 적합한 골롬라이스 부호화를 적용하기 위해 해당 차분 신호를 첨부한 도면 도 5와 같이 지수 분포에 근사하도록 매핑을 수행한 후(스텝 S22), 압축부호화 효율을 높이기 위해 첨부한 도면 도 6과 같이 소정 임계값을 기준으로 해당 차분 부호화 신호를 전방 분류하게 된다(스텝 S23).

여기서, 해당 전방 분류란 신호를 통계적 성질 또는 문맥에 따라 분류하는 전처리 과정으로서, 신호의 통계적 성질에 따라 임계값을 적절하게 선택해서 신호들을 분류화하고 분류된 신호와 분류 정보를 전송하는 것을 의미한다.

한편, 첨부한 도면 도 7과 같이 소정 임계값을 기준으로 이원 분류된 값 즉, 해당 임계값보다 큰 차분 부호화 신호인 상위값(Significant Value)과, 해당 임계값보다 작은 차분 부호화 신호인 하위값(Nonsignificant Value)을 각각 엔트로피 부호화하기 위해 골롬라이스 부호화하게 되며(스텝 S24), 이때, 해당 전방 분류화 방식에 의해 이원 분류된 값에 대한 분류 정보인 이진 맵 정보는 런 렝스 부호화(Run-Length Coding)를 거쳐 골롬라이스 부호화 처리하게 된다(스텝 S25, S26).

여기서, 골롬라이스 부호화는 이원 분류된 신호와 맵 정보를 효과적으로 엔트로피 부호화하기 위해서 비교적 압축 효율성 좋으면서 복잡도가 낮고 수행속도가 빠른 특성을 갖고 있다.

상술한 바와 같이, 본 발명에 따른 소프트웨어 코덱에서는 애니메이션 동영상에 대해 화면내 프레임 부호화를 수행하는 경우 해당 컬러 양자화된 프레임을 적응 차분 부호화하고, 그 결과를 지수 분포에 근사하도록 맵핑하여 전방 분류화 방식에 의해 분류한 후, 해당 전방 분류화 방식에 의해 분류된 이원 분류 신호를 골롬라이스 부화화 처리함과 동시에 해당 분류 정보인 이진 맵 정보를 런 렝스 부호화한 후, 골롬 라이스 부호화 처리함으로써, 해당 애니메이션 동영상에 대해 수행속도가 빠르고, 효율적인 압축 부호화를 수행할 수 있게 된다.

그리고, 상술한 화면간 프레임 부호화 동작을 첨부한 도면 도 8을 참조하여 상세하게 설명하면 다음과 같다.

먼저, 해당 애니메이션 동영상은 일반적인 자연 영상과는 다른 특성을 갖고 있는데, 첫째로, 초당 12~15 화면을 재생(일반적인 동영상은 초당 30 화면을 재생)하므로 화면간에 움직임이 매우 크고, 둘째로, 해당 움직임이 발생하지 않아 이전 화면과 현재 화면이 동일한 경우가 많으며, 셋째로, 해당 화면에서 배경은 고정되어 있고 특정 객체만 움직임이 발생하여 해당 움직임이 발생하는 영역이 제한되어 있다는 특성을 갖고 있다.

따라서, 해당 양자화된 동영상 프레임을 화면간 프레임으로 부호화할 경우 해당 애니메이션 동영상의 특성에 따라 해당되는 부호화 모드로 분할해서 부호화 처리하게 되는데, 첫번째, 이전 화면과 현재 화면의 상관성이 거의 없는 경우에는 I 프레임 모드로 부호화하고, 두번째, 이전 화면과 현재 화면이 동일한 경우에는 P1 프레임 모드로 부호화하고, 세번째, 이전 화면과 현재 화면에서 특정 영역만 움직임이 발생한 경우에는 P2 프레임 모드로 부호화하게 된다.

한편, 본 발명에서는 화면의 움직임에 대한 정확도를 높이기 위해 채도, 색도와 명암의 색공간으로 변환하고, 애니메이션 동영상의 움직임 특성을 효율적으로 구분하기 위해 8×8 화소 크기의 블록 단위로 구분하여 처리하게 되는데, 전후 컬러 양자화된 동영상 프레임을 블록 단위로 비교하여(스텝 S81, S82), 그 차이가 소정 임계값보다 낮으면 움직임이 없음을 '0'으로 나타내고, 소정 임계값보다 높으면 '1'로 나타내어 움직임이 있음을 나타낸다.

이러한 동작에 의해 모든 블록에 대한 움직임 발생 블록 맵을 구성한 후, 모든 블록이 서로 동일한지 즉, 이전 화면과 현재 화면이 동일한지를 확인하여(스텝 S83), 모든 블록이 서로 동일한 경우 즉, 이전 화면과 현재 화면이 동일한 경우 P1 프레임 모드로 부호화하여 처리하게 된다(스텝 S84).

그런데, 모든 블록이 서로 동일하지 않은 경우 즉, 이전 화면과 현재 화면이 동일하지 않은 경우 해당 움직임 정도에 따라 I 프레임 모드 또는 P2 프레임 모드로 부호화 처리하게 되는데, 해당 움직임 발생 블록 맵의 모든 블록중에서 90% 이상의 블록이 다른지를 확인하여(스텝 S85), 90% 이상의 블록이 다른 경우 즉, 이전 화면과 현재 화면의 상관성이 거의 없는 경우 상술한 화면내 프레임 부호화 방식인 I 프레임 모드로 부호화하여 처리하게 되고(스텝 S86), 90% 이상의 블록이 다르지 않은 경우 즉, 이전 화면과 현재 화면에서 특정 영역에만 움직임이 발생한 경우 P2 프레임 모드로 부호화 처리하게 된다(스텝 S87).

이때, 해당 P1 프레임 모드 부호화는 이전 화면과 현재 화면이 동일하므로 이전 화면에 대한 프레임의 헤더만을 부호화하는 것으로써, 압축률이 향상되어 동영상 정보량을 감축시킬 수 있게 된다.

그리고, 해당 I 프레임 모드 부호화는 이전 화면과 현재 화면간의 시간적 용장성이 거의 없으므로 움직임 정보를 부호화하지 않고 화면내 프레임 부호화 방식으로 부호화하는 것으로써, 화면이 새로운 내용으로 전환되거나 전체 화면에서 움직임이 크게 발생하는 경우에 해당된다.

또한, 해당 P2 프레임 모드 부호화는 이전 화면과 현재 화면에서 특정 영역에서만 움직임이 발생하므로 해당 움직임이 있는 영역의 정보만을 부호화하는 것으로써, 해당 동영상 정보량을 감축시킬 수 있게 된다.

또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.

이상과 같이, 본 발명은 소프트웨어 코덱을 이용하여 애니메이션 동영상을 부호화하는 경우 해당 애니메이션 동영상의 특성에 따라 8비트 내지 5비트 생상으로 컬러 양자화를 수행하고, 컬러 양자화된 동영상을 움직임 특성에 따라 화면내 프레임 부호화 및 화면간 프레임 부호화를 수행함으로써, 해당 애니메이션 동영상을 빠른 수행 속도로 고화질, 고압축의 부호화를 수행할 수 있게 된다.

Claims (5)

1. RGB 24비트로 제공되는 애니메이션 동영상을 입력받아 8비트 내지 5비트 컬러 양자화를 수행하는 과정과; 양자화된 동영상 프레임을 화면내 프레임으로 부호화할 것이지, 화면간 프레임으로 부호화할 것인지를 결정하는 과정과; 화면내 프레임으로 부호화할 경우 적응 차분 부호화를 수행하여 얻은 차분 신호를 지수 분포에 근사하도록 매핑하는 과정과; 매핑된 차분 신호를 소정 임계값을 기준으로 전방 분류하는 과정과; 전방 분류된 이원 분류 값을 각각 골롬라이스 부호화함과 동시에 분류 정보에 대한 이진 맵 정보를 런 렝스 부호화를 거쳐 골롬라이스 부호화하는 과정을 포함하는 것을 특징으로 하는 애니메이션 동영상 부호화 방법.
2. 제 1항에 있어서,

   상기 양자화된 동영상 프레임을 화면간 프레임으로 부호화할 경우 전후 컬러 양자화된 동영상 프레임을 소정 화소 크기의 블록 단위로 비교하여 전후 화면이 동일한지를 확인하는 단계와; 전후 화면이 동일한 경우 P1 프레임 모드로 부호화하는 단계와; 전후 화면이 동일하지 않은 경우 움직임 정도에 따라 I 프레임 모드 또는 P2 프레임 모드로 부호화하는 단계를 더 포함하는 것을 특징으로 하는 애니메이션 동영상 부호화 방법.
3. 제 2항에 있어서,

   상기 P1 프레임 모드 부호화는, 전후 화면에서 움직임이 발생하지 않음에 따라 해당 움직임이 발생하지 않았다는 정보에 대한 프레임의 헤더만을 부호화하는 것을 특징으로 하는 애니메이션 동영상 부호화 방법.
4. 제 2항에 있어서,

   상기 I 프레임 모드 부호화는, 전후 화면 전체에서 움직임이 발생함에 따라 움직임 정보를 부호화하지 않고 화면내 프레임 부호화 방식에 따라 부호화하는 것을 특징으로 하는 애니메이션 동영상 부호화 방법.
5. 제 2항에 있어서,

   상기 P2 프레임 모드 부호화는, 전후 화면의 특정 영역에서만 움직임이 발생함에 따라 상기 움직임이 발생한 영역의 정보만을 부호화하는 것을 특징으로 하는 애니메이션 동영상 부호화 방법.