KR100671998B1 - 이동통신 단말기용 동영상 압축 방법 - Google Patents

Abstract

본 발명은 화질의 저하 없이 동일화면 내에서 벡터 양자화 기법에 의해 동영상을 압축하여 부호화함으로써 이동통신 단말기에서 적은 계산량과 메모리를 사용하면서도 종래에 비해 빠른 속도로 영상을 압축 및 복원할 수 있도록 한 이동통신 단말기용 동영상 압축 방법에 관한 것이다.

본 발명의 이동통신 단말기용 동영상 압축 방법은 (a) 입력되는 RGB 포맷의 영상신호를 소정 포맷의 영상신호로 변환하는 단계; (b) 상기 단계 (a)에서 변환된 영상신호를 소정 사이즈를 갖는 블록 단위로 구분하는 단계; (c) 상기 변환된 각각의 영상신호에 대해 블록 단위로 벡터 양자화를 수행하여 해당하는 벡터 색인을 결정하는 단계 및 (d) 상기 블록 단위 내에서 상기 결정된 벡터 색인에 대해 상관성 처리를 수행하는 단계를 포함하여 이루어진다.

이동통신, 단말기, 핸드폰, 동영상, 압축, 부호화, 벡터 양자화

Description

이동통신 단말기용 동영상 압축 방법{moving picture compressing method for mobile telecommunication terminal}

도 1은 본 발명의 이동통신 단말기용 동영상 압축 시스템의 개략적인 기능 블록도,

도 2는 본 발명의 이동통신 단말기용 동영상 압축 방법의 전체적인 흐름도,

도 3은 도 2에서 Y성분에 대한 벡터 양자화 과정을 보인 흐름도,

도 4는 도 2에서 U성분에 대한 벡터 양자화 과정을 보인 흐름도,

도 5은 도 2에서 V성분에 대한 벡터 양자화 과정을 보인 흐름도,

도 6은 도 2에서 상관 처리 과정을 보인 흐름도이다.

*** 도면의 주요 부분에 대한 부호의 설명 ***

10: 영상신호 변환부, 20: 벡터 양자화부,

30: Y성분용 코드북, 40: U,V성분용 코드북,

50: 상관 처리부

본 발명은 이동통신 단말기용 동영상 압축 방법에 관한 것으로, 특히 동일화면 내에서 벡터 양자화 기법에 의해 동영상을 압축하여 부호화하는 이동통신 단말기용 동영상 압축 방법에 관한 것이다.

메모리 및 통신 분야의 비약적인 발전에 따라 동영상 처리를 위한 다양한 분야의 국제 표준안들이 정의되어 있는데, MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 및 H.26X 등이 그것이다.

이 중에서 MPEG-1은 비디오 CD를 저장하기 위한 압축 방법을 규정하고 있고, MPEG-2는 고화질 디지털 TV 방송이나 DVD(Digital Video Disk) 서비스를 위한 압축 방법을 규정하고 있고, MPEG-4는 다양한 형태의 컨텐츠에 적합한 압축 코더를 제작하기 위한 방법으로서 현재 인터넷 방송이나 IMT-2000과 같은 무선 환경에서의 동영상 압축 솔루션을 규정하고 있다. 이외에도 비디오 회의용으로 개발된 것으로 MPEG-1 정도의 성능을 내며 ISDN에서 주로 사용되는 H.261과 영상전화용으로 개발된 것으로 MPEG-4의 기반이 되는 H.263 및 화상전화, 동영상 휴대폰, TV 등을 위해 가장 최근에 표준화된 압축 방법으로 MPEG-4에 비해 2배까지 압축 성능을 높일 수 있는 H.264 등이 있다.

한편 이동통신 단말기의 경우에는 PC에 비해 CPU의 성능이나 메모리 공간이 상당히 부족할 뿐만 아니라 구동 전원을 공급하는 배터리 용량에도 제한이 있기 때 문에 많은 연산량을 필요로 하는 동영상 처리 기술을 적용하는데 있어서 많은 제약이 있는바, 이에 따라 PC에서와 같이 소프트웨어적인 동영상 처리 기술을 구현하지 못하고 하드웨어 칩으로서 동영상 압축 기술을 구현하고 있다.

그러나 최근에는 이동통신 단말기에서 사용되는 CPU의 성능이 향상되면서 이동통신 단말기에서도 소프트웨어적인 동영상 처리기술을 적용하고자 시도하고 있으나, 종래의 동영상 처리 기술에 있어서 동영상을 압축하는 경우가 이의 복원에 비해서 상당히 많은 연산량을 필요로 하기 때문에 실제 이동통신 단말기에 소프트웨어적인 동영상 처리 기술을 적용하고 있지 못하다. 실제로 ARM7 CPU가 탑재된 이동통신 단말기에서 부호화 알고리즘 중의 하나인 웨이블릿(Wavelet) 기반의 동영상 코덱을 사용하여 압축된 동영상을 복원하는 경우에 초당 5매 이상 복원하기가 쉽지 않은 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 화질의 저하 없이 동일화면 내에서 벡터 양자화 기법에 의해 동영상을 압축하여 부호화함으로써 이동통신 단말기에서 적은 계산량과 메모리를 사용하면서도 종래에 비해 빠른 속도로 영상을 압축 및 복원할 수 있도록 한 이동통신 단말기용 동영상 압축 방법을 제공하는데 그 목적이 있다.

전술한 목적을 달성하기 위한 본 발명의 이동통신 단말기용 동영상 압축 방법은 (a) 입력되는 RGB 포맷의 영상신호를 소정 포맷의 영상신호로 변환하는 단계; (b) 상기 단계 (a)에서 변환된 영상신호를 소정 사이즈를 갖는 블록 단위로 구분하는 단계; (c) 상기 변환된 각각의 영상신호에 대해 블록 단위로 벡터 양자화를 수행하여 해당하는 벡터 색인을 결정하는 단계 및 (d) 상기 블록 단위 내에서 상기 결정된 벡터 색인에 대해 상관성 처리를 수행하는 단계를 포함하여 이루어진다.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 이동통신 단말기용 동영상 압축 방법에 대해서 상세하게 설명한다.

도 1은 본 발명의 이동통신 단말기용 동영상 압축 시스템의 개략적인 기능 블록도이다. 도 1에 도시한 바와 같이, 본 발명의 이동통신 단말기용 동영상 압축 시스템은 하드웨어 장치가 아닌 소프트웨어로 구현되는데, 크게 RGB 포맷으로 입력되는 영상신호를 MPEG-4 포맷의 동영상 압축 대상신호인 YUV 포맷의 영상신호(또는 CbCr 포맷의 영상신호; 이하에서는 YUV 포맷의 영상신호로 하여 설명을 진행한다)로 변환하는 영상신호 변환부(10), 영상신호 변환부(10)를 통해 변환된 Y, U 및 V성분의 신호를 각각 소정의 블록으로 변환하여 벡터 양자화를 수행하는 벡터 양자화부(20), Y, U 및 V성분의 벡터 양자화에 사용될 벡터 색인들을 저장하고 있는 Y성분용 코드북(30)과 U,V성분용 코드북(40) 및 벡터 양자화에 의해 결정된 Y, U 및 V색인의 각각에 대한 상관도에 의해 추가의 압축을 수행하는 상관 처리부(50)를 포함하여 이루어질 수 있다.

전술한 구성에서, 영상신호 변환부(10)는 처리해야 할 데이터의 양을 줄이기 위해 RGB 포맷의 영상신호를 YUV 포맷으로 변환하게 되는데, YUV 포맷은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안하여 색상(Crominance) 보다는 휘도(Luminance) 성분에 비트수를 많이 할당하는 포맷 으로서 색을 밝기 성분인 Y성분과 색상 성분인 U성분 및 V성분으로 구분하는데, 본 발명에서는 이를 위해 Y:U:V의 비율이 4:1:1이 되는 YUV420 포맷을 사용하고 있다. 나아가 벡터 양자화를 수행함에 있어서는 사전에 벡터의 크기와 벡터 테이블, 즉 코드북이 결정되어야 하는데, 영상을 표현하는 벡터의 차원이 커질 경우에는 큰 벡터 값을 저장하기 위하여 큰 메모리가 필요한 반면에 벡터의 차원이 작은 경우에는 압축 효율이 떨어지게 된다.

한편, 이동통신 단말기에서 주로 사용되는 CPU 코어인 ARM7은 적은 메모리와 적은 계산량만을 갖고 있기 때문에 압축 효율을 최대한 높이면서 계산량을 적게 하기 위해서는 적절한 벡터의 크기로 벡터 양자화를 수행할 필요가 있는데, 이에 따라 Y성분에 대해서는 256개의 벡터 색인이 포함된 코드북(30)을 사용하는 것이 바람직하고, U성분 및 V성분에 대해서는 16개(또는 256개)의 벡터 색인이 포함된 코드북(40)을 사용하는 것이 바람직하다.

도 2는 본 발명의 이동통신 단말기용 동영상 압축 방법의 전체적인 흐름도이다. 도 2에 도시한 바와 같이, 본 발명의 이동통신 단말기용 동영상 압축 방법에 따르면 먼저 단계 S10에서는 영상신호 변환부(10)를 통해 RGB 포맷의 영상신호가 YUV 포맷의 영상신호로 변환된다. 다음으로, 이렇게 변환된 YUV 포맷의 영상신호를 소정 크기의 작은 블록으로 변환하게 되는데, 이 때 Y성분의 경우에는 단계 S12에서 8*8(또는 4*4)(단위는 픽셀, 이하에서도 같다)의 작은 블록으로 구분하고, U성분 및 V성분의 경우에는 그 해상도가 가로 및 세로 각각에 대해 Y성분의 절반이기 때문에 단계 S14에서 4*4의 작은 블록으로 구분한다.

이와 같이 하여 YUV 포맷의 영상신호가 벡터 양자화가 수행될 작은 단위 블록으로 구분되면 이렇게 구분된 각각의 단위 블록에 대해 독립적으로 벡터 양자화에 의한 압축이 수행되는데, 먼저 단계 S20에서는 Y성분의 블록에 대해 벡터 양자화를 수행하여 Y색인을 결정하게 된다.

도 3은 도 2에서 Y성분에 대한 벡터 양자화 과정을 보인 흐름도이다. 도 3을 참조하여 Y성분에 대한 벡터 양자화 과정에 대해 설명하면, 먼저 단계 S21에서는 Y성분의 블록을 압축하기 위하여 단계 S12에서 8*8(또는 4*4)로 분할된 블록을 2*2의 크기를 갖는 서브블록으로 분할하고, 다시 단계 S22에서는 이렇게 분할된 각각의 서브블록을 256개의 벡터 색인이 저장된 Y성분 코드북(30)과 비교하여 최소 에러를 갖는 벡터 색인을 탐색한 후에 이렇게 탐색된 벡터 색인을 당해 서브블록을 대표하는 Y색인으로 결정한다. 단계 S23에서는 모든 서브블록에 대한 Y색인의 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S22로 복귀하고, 완료된 경우에는 주 흐름도인 단계 S30으로 진행한다.

다시 도 2로 돌아가서, 단계 S30에서는 모든 Y성분 블록들에 대한 벡터 색인 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S20으로 복귀하고 완료된 경우에는 단계 S40으로 진행하여 U성분 블록에 대해 벡터 양자화를 수행하여 U색인을 결정하게 된다.

도 4는 도 2에서 U성분에 대한 벡터 양자화 과정을 보인 흐름도이다. 도 4를 참조하여 U성분에 대한 벡터 양자화 과정에 대해 설명하면, 먼저 단계 S41에서는 U 성분의 블록을 압축하기 위하여 단계 S14에서 4*4(2*2)로 분할된 블록을 2*2의 크기를 갖는 서브블록으로 분할하고, 다시 단계 S42에서는 이렇게 분할된 각각의 서브블록을 16개의 벡터 색인이 저장된 U성분 코드북과 비교하여 최소 에러를 갖는 벡터 색인을 탐색한다. 다음으로, 단계 S43에서는 이렇게 탐색된 벡터 색인의 에러가 미리 정해진 기준치보다 작은지를 판단하는데, 큰 경우에는 이를 좀 더 자세히 표현할 수 있도록 단계 S44로 진행하여 256개의 벡터 색인이 저장된 U성분 상세 코드북에서 최소 에러를 갖는 벡터 색인을 탐색한 후에 이렇게 탐색된 벡터 색인을 당해 서브블록을 대표하는 U색인으로 결정한다. 반면에 단계 S43에서의 판단 결과, 상기 에러가 기준치보다 작은 경우에는 상기 탐색된 최소 에러를 갖는 벡터 색인을 그대로 U색인으로 결정한다. U성분에 대해 Y성분과는 달리 단계 S42 및 단계 S43을 더 거치는 이유는 인간이 컬러 정보에 둔감하다는 사실을 이용함으로써 이동통신 단말기에서 이를 복원하는데 필요한 계산량을 줄여주기 위함이다. 이하 V성분에 대해서도 동일하다.

단계 S46에서는 모든 서브블록에 대한 U색인의 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S42로 복귀하고, 완료된 경우에는 메인 흐름도인 단계 S50으로 진행한다.

다시 도 2로 돌아가서, 단계 S50에서는 모든 U성분 블록들에 대한 벡터 색인 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S40으로 복귀하고 완료된 경우에는 단계 S60으로 진행하여 V성분 블록에 대해 벡터 양자화를 수행하여 V색인을 결정하게 된다.

도 5는 도 2에서 V성분에 대한 벡터 양자화 과정을 보인 흐름도이다. 도 5를 참조하여 V성분에 대한 벡터 양자화 과정에 대해 설명하면, 먼저 단계 S61에서는 V성분의 블록을 압축하기 위하여 단계 S14에서 4*4로 분할된 블록을 다시 2*2의 크기를 갖는 서브블록으로 분할하고, 단계 S62에서는 이렇게 분할된 각각의 서브블록을 16개의 벡터 색인이 저장된 V성분 코드북과 비교하여 최소 에러를 갖는 벡터 색인을 탐색한다. 다음으로, 단계 S63에서는 이렇게 탐색된 벡터 색인의 에러가 미리 정해진 기준치보다 작은지를 판단하는데, 큰 경우에는 이를 좀 더 자세히 표현할 수 있도록 단계 S64로 진행하여 256개의 벡터 색인이 저장된 V성분 상세 코드북에서 최소 에러를 갖는 벡터 색인을 탐색한 후에 이렇게 탐색된 벡터 색인을 당해 서브블록을 대표하는 V색인으로 결정한다. 반면에 단계 S63에서의 판단 결과, 상기 에러가 기준치보다 작은 경우에는 상기 탐색된 최소 에러를 갖는 벡터 색인을 그대로 V색인으로 결정한다.

단계 S66에서는 모든 서브블록에 대한 V색인의 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S62로 복귀하고, 완료된 경우에는 메인 흐름도인 단계 S70으로 진행한다.

다시 도 2로 돌아가서, 단계 S70에서는 모든 V성분 블록들에 대한 벡터 색인 결정이 완료되었는지를 판단하는데, 완료되지 않은 경우에는 단계 S60으로 복귀하고 완료된 경우에는 단계 S80으로 진행하여 Y와 U 및 V색인에 대해 각각 상관 처리를 행하게 되는데, 영상은 주변색들 끼리 비슷한 값으로 이루어져 있기 때문에 블록 내부의 벡터 색인들도 서로 같은 값을 갖는 경우가 많고, 이에 따라 이러한 상 관성을 이용하면 압축 효율을 더욱 증가시킬 수가 있다.

도 6은 도 2에서 상관 처리 과정을 보인 흐름도이다. 도 6에 도시한 바와 같이, 단계 S81에서는 단계 S12 및 S14에서 구분된 각각의 블록을 구성하는 서브블록을 대표하는 벡터 색인들 사이의 상관성을 어느 하나의 서브블록, 예를 들어 상하좌우 4개의 서브블록을 가정할 때 우하측 서브블록을 기준으로 비교한다. 다음으로 단계 S82 및 S83에서는 우하측 서브블록의 벡터 색인이 동행좌측의 서브블록의 벡터 색인과 동일한 지를 판단하여 동일한 경우에는 우하측 서브블록에 해당하는 2비트의 식별코드, 예를 들어 00₂를 부여한다. 같은 방법으로 단계 S84 및 S85에서는 상행좌측의 서브블록과 동일한 경우에 00₂를 부여하고, 단계 S86 및 S87에서는 상행동렬의 서브블록과 동일한 경우에 10₂를 부여한다. 그리고 단계 S89에서는 우하측 서브블록을 제외한 나머지 서브블록에 대해서는 단계 S20, S40 및 S60에서 결정된 벡터 색인에 의해 코딩하되, 우하측 서브블록에 대해서는 그 상관처리 수행 여부를 나타내는 표시 비트와 단계 S83, S85 및 S87에서 부여된 코드값에 의해 코딩을 수행하게 된다. 한편, 우하측 서브블록의 벡터 색인과 동일한 벡터 색인을 갖는 서브블록이 존재하지 않는 경우에는 단계 S88로 진행하여 각각의 Y, U 및 V 서브블록의 벡터 색인을 그대로 사용하여 코딩한다.

한편 이와 같이 압축된 동영상을 이동통신 단말기에서 복원(압축해제)시키기 위해서는 상기 코드북(30),(40)과 그 복원 프로그램이 마련되어 있어야 하는데, 그 복원은 서브블록 단위로 수행될 수 있다. 즉, 현재 블록의 크기가 8*8이라면 16개 의 Y색인을 읽어 들여야 하며, U색인 및 V색인의 경우에는 4개의 U색인 및 V색인만 읽어 들이면 된다. 그리고 실제로 이동통신 단말기 상에서 보여주어야 하는 동영상 포맷이 RGB 포맷이기 때문에 각각 복원된 YUV 값을 이용하여 RGB 값을 복원하게 된다.

본 발명의 이동통신 단말기용 동영상 압축 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다. 예를 들어 전술한 실시예와는 달리 Y성분 및 U, V성분에 대한 블록의 크기를 적절하게 변경시킬 수가 있고, 상관 처리의 경우에도 2개의 서브블록 또는 8개 이상의 서브블록에 대해서 수행할 수도 있다.

이상에서 설명한 바와 같이 본 발명의 이동통신 단말기용 동영상 압축 방법에 따르면, 화질의 저하 없이 동일화면 내에서 벡터 양자화 기법에 의해 동영상을 압축하여 부호화함으로써 이동통신 단말기에서 적은 계산량과 메모리를 사용하면서도 종래에 비해 빠른 속도로 영상을 압축 및 복원할 수 있도록 하는 효과가 있다.

Claims (6)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. (a) 입력되는 RGB 포맷의 영상신호를 YUV 포맷의 영상신호로 변환하는 단계;

   (b) 상기 단계 (a)에서 변환된 영상신호를 소정 사이즈를 갖는 블록 단위로 구분하는 단계;

   (c) 각각의 상기 블록을 더 작은 크기를 갖는 서브블록으로 변환한 후에 상기 서브블록에 대해 벡터 양자화를 수행하여 해당하는 벡터 색인을 결정하는 단계 및

   (d) 상기 블록 단위 내에서 상기 결정된 벡터 색인에 대해 상관성 처리를 수행하는 단계를 포함하여 이루어지되,

   상기 서브블록 중 상기 YUV 포맷의 영상신호에서 Y성분의 서브블록에 대한 벡터 양자화는 256개의 벡터 색인을 갖는 코드북에서 상기 Y성분의 서브블록에 대해 최소 에러를 갖는 벡터 색인을 탐색하여 당해 서브블록을 대표하는 벡터 색인으로 결정하고,

   상기 서브블록 중 상기 YUV 포맷의 영상신호에서 U성분 및 V성분의 서브블록에 대한 벡터 양자화는 16개의 벡터 색인을 갖는 코드북에서 최소 에러를 갖는 벡터 색인을 결정한 후에 상기 최소 에러가 미리 정해진 기준치보다 작은 경우에는 상기 최소 에러를 갖는 벡터 색인을 당해 서브블록을 대표하는 벡터 색인으로 결정하고, 큰 경우에는 다시 256개의 벡터 색인을 갖는 코드북에서 최소 에러를 갖는 벡터 색인을 탐색하여 당해 서브블록을 대표하는 벡터 색인으로 결정하는 이동통신 단말기용 동영상 압축 방법.
6. 제 5 항에 있어서, 상기 단계 (d)에서의 상관성 처리는 소정 개수로 이루어진 상기 서브블록의 벡터 색인들 사이의 동일성 여부에 의해 수행되는 것을 특징으로 하는 이동통신 단말기용 동영상 압축 방법.

Images