KR100497760B1

KR100497760B1 - 이동통신 단말기용 동영상 부호화 시스템 및 방법

Info

Publication number: KR100497760B1
Application number: KR10-2003-0010111A
Authority: KR
Inventors: 이창호
Original assignee: (주) 멀티비아
Priority date: 2003-02-18
Filing date: 2003-02-18
Publication date: 2005-06-29
Also published as: KR20040074725A

Abstract

본 발명은 동영상 부호화시의 처리 절차와 연산량을 최소화하여 소프트웨어적으로 구현한 이동통신 단말기용 동영상 부호화 시스템 및 방법에 관한 것이다.

본 발명은 입력 RGB 영상을 Y,U,V 성분의 동영상 압축 대상신호로 변환하고, 상기 동영상 압축 대상신호에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환하여 양자화 처리한 양자화 계수를 골롬라이스 코딩 방식으로 엔트로피 부호화하여 출력하는 화면내 부호화와, 상기 동영상 압축 대상신호에 대해 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화를 수행하되, 8*8 화소의 블록 단위로 블록 경계 부분의 픽셀 값을 이용하여 움직임 발생 여부를 판단함과 동시에 인트라/인터 모드에 대한 판단을 수행하며, 움직임이 발생한 모션 블록에 대해 U,V 성분과 Y 성분으로 구분하여 앞에서 설명한 화면내 부호화와 같은 방식으로 부호화하여 출력하는 화면간 부호화를 수행하는 이동통신 단말기용 동영상 부호화 시스템 및 방법을 제공함으로써, 종래와 비교하여 압축 성능이나 화질의 감소가 없으면서도 시스템 전체의 부호화 시간을 상당히 줄일 수 있어 실시간 서비스를 필요로 하는 응용분야가 되는 이동통신 단말기에 적합한 동영상 부호화 기능을 구현할 수 있게 되며, 이를 소프트웨어로 구현함으로써 하드웨어 칩의 추가에 의해 발생되는 이동통신 단말기 개발을 위한 추가적인 비용 부담을 없게 하고, 또한 급속도로 확대되고 있는 이동통신 단말기 상의 동영상 서비스를 보다 효율적으로 제공할 수 있게 된다.

Description

이동통신 단말기용 동영상 부호화 시스템 및 방법{Moving-Picture Coding System And Method For Mobile Communication Terminal}

본 발명은 동영상 부호화에 관한 것으로, 특히 동영상 부호화시의 처리 절차와 연산량을 최소화하여 구현하되, 이를 소프트웨어적으로 구현하여 이동통신 단말기에 적용이 가능하도록 한 이동통신 단말기용 동영상 부호화 시스템 및 방법에 관한 것이다.

최근에 동영상 처리 기술은 다양한 분야에서 사용되고 있는데, 예를 들어 인터넷 상에서의 영화 서비스와 같은 VOD(Video On Demand) 서비스 등이 대표적인 예라고 할 수 있을 것이다.

그리고, 이러한 동영상 처리를 위한 다양한 분야의 국제 표준안들이 정의되어 있는 실정으로, 대표적인 국제 표준안들을 살펴보면, 비디오 CD(Compact Disk)를 저장하기 위한 압축 방법으로 사용되는 MPEG(Moving Picture Experts Group)-1, 고화질 디지털 TV 방송이나 DVD(Digital Video Disk) 서비스를 위한 압축 방법으로 적용되어 사용되는 MPEG-2, 다양한 형태의 컨텐츠에 적합한 압축 코더를 제작하기 위한 방법으로서 현재 인터넷 방송이나 IMT-2000(International Mobile Telecommunication-2000)과 같은 무선 환경에서의 동영상 압축 솔루션에 사용되는 MPEG-4 등이 있으며, 이외에 비디오 회의용으로 개발된 것으로 MPEG-1 정도의 성능을 내며 ISDN 망에서 주로 사용되는 H.261, 영상전화용으로 개발된 것으로 MPEG-4의 기반이 되는 5. H.263, 화상전화, 동영상 휴대폰, TV 등을 위해 가장 최근에 표준화된 압축 방법으로 MPEG-4에 비해 2배까지 압축성능을 높일 수 있는 H.26L(H.264) 등이 있다.

한편, 전술한 동영상 처리 기술들은 앞에서 제시한 다양한 분야에 적용되고 있고, 대중들이 가장 흔하게 접할 수 있는 분야는 PC라고 할 수 있는데, 이러한 PC는 이동성에 제약이 따른다는 문제점이 있는 바, 최근에는 이러한 PC의 이동성 제약 문제를 해결함과 동시에 인터넷 접속 및 카메라 장착을 통해 다양한 멀티미디어 서비스 제공이 가능하도록 한 PDA(Personal Digital Assistant), 휴대폰 등과 같은 이동통신 단말기에서 동영상 처리 기술이 점차적으로 확대되고 있다.

하지만, 이동통신 단말기의 경우 PC에 비해 CPU 성능이나 메모리 공간이 상당히 부족할 뿐 아니라 구동 전원을 공급하는 배터리 용량에 제한이 있기 때문에 많은 연산량을 필요로 하는 동영상 처리 기술을 적용하는 데 있어서 많은 제약이 있는 바, PC에서와 같이 소프트웨어(S/W)적인 동영상 처리 기술을 구현하지 못하고 하드웨어 칩(H/W Chip)으로서 동영상 압축 기술을 구현하고 있다.

최근에는 이동통신 단말기에서 사용되는 CPU 성능이 향상(예컨대, 퀄컴사의 MSM6000의 상용화)되면서 이동통신 단말기에서도 소프트웨어적인 동영상 처리 기술을 적용하고자 시도하고 있으나, 종래의 동영상 처리 기술에 있어서 동영상 부호화(Encoding)의 경우 복호화(Decoding)에 비해서 상당히 많은 연산량을 필요로 하기 때문에 실제 이동통신 단말기에 소프트웨어적인 동영상 처리 기술을 적용하지 못하고 있으며, 따라서 이동통신 단말기에 소프트웨어적인 동영상 처리 기술을 적용하기 위해서는 이동통신 단말기의 CPU(Central Processing Unit) 성능에 맞도록 연산량을 줄일 수 있는 동영상 압축 부호화 기술의 개발이 필요한 실정이다.

예를 들어, 종래의 MPEG 방식에 의한 동영상 부호화 장치는 첨부된 도면 도 1에 도시된 바와 같이, 입력 RGB 영상을 동영상 압축 대상신호(YUV420 또는 YUV422)로 변환하는 영상신호 변환부(10)와, 동영상 압축 대상신호에 대해 한 프레임 내의 공간적 상관성을 이용해 한 프레임 자체만으로 압축을 수행하는 화면내 부호화(Intra Frame Coding)부(20)와, 동영상 압축 대상신호에 대해 현재 프레임과 이전 프레임 간의 시간적 관계를 이용하여 압축을 수행하는 화면간 부호화(Inter Frame Coding)부(30)로 이루어지며, 이때 이산 코사인 변환(Discrete Cosine Transform ; DCT) 방식을 이용하여 동영상을 압축 부호화한다.

화면내 부호화부(20)는 MPEG 계열의 압축 부호화의 경우 이산 코사인 변환부(21)와 양자화부(22) 및 허프만 부호화부(23)를 구비하여 이루어지는데, 이때 이산 코사인 변환부(21)는 동영상 압축 대상신호 중에서 Y 성분의 경우에는 매크로 블록(16*16 화소)을 4분할하여 블록(8*8 화소) 단위로 이산 코사인 변환하고, U,V 성분의 경우에는 Y 성분의 1/4 만큼의 데이터 크기를 갖기 때문에 블록 단위로 이산 코사인 변환하며, 이러한 이산 코사인 변환 이후에는 양자화(Quantization)를 수행한 후에 엔트로피 부호화(Entropy Coding) 방식으로 허프만 코딩(Huffman Coding) 처리를 수행한다.

화면간 부호화부(30)는 화면내 부호화부(20)와 마찬가지로 엔트로피 부호화 방식으로 허프만 부호화 방식을 적용하고 있고, 예측 부호화(즉, P 프레임 부호화 ; Predictive Frame Coding)를 위해 현재 프레임과 바로 이전 프레임 간의 시간 관계성을 이용하여 부호화를 수행하는데, 이전 프레임에 대한 영상의 경우 압축 후 복원된 영상에 대해서 이루어지기 때문에 부호화시 복호화도 함께 수행된다.

또한, 화면간 부호화부(30)에 있어서, 모션 판단(Motion Estimation)부(31)는 RGB(Red Green Blue) 영상을 영상신호 변환부(10)에서 입력받아 MPEG 포맷으로 변환한 동영상 압축 대상신호(YUV420, YUV422)를 16*16 화소의 매크로 블록으로 분할하여 각 매크로 블록 즉, 탐색 영역의 움직임 발생 여부를 판단하고, 해당되는 움직임 판단을 통해 모션 벡터(Motion Vector:MV)를 구하고, 탐색 영역을 벗어나거나 모션 벡터로 표현할 수 없는 상황에 대한 정보를 판단한다. 이때 모션 벡터는 현재 프레임 영상과 이전 프레임 영상 간에 가장 유사성을 갖는 위치 정보로서, 이러한 모션 벡터를 제공함으로써 보다 높은 압축 성능과 화질로 압축할 수 있게 된다.

하지만, 전술한 모션 판단부(31)에 의한 움직임 판단 절차는 동영상 부호화에 있어서 가장 많은 연산량을 차지하는 부분으로, CPU 성능 제약으로 인해 낮은 복잡도를 요구하는 이동통신 단말기의 경우 이러한 움직임 판단 절차로 인해 동영상 부호화 기능을 소프트웨어로 구현하는 데 어려움이 있었다.

그리고, 종래의 동영상 부호화 장치에 있어서, 화면간 부호화 방식의 경우 각 매크로 블록에 대해 움직임이 없는 블록과, 움직임이 발생한 블록, 그리고 움직임이 발생한 블록에 대해서 그 부호화 방식에 따라 인트라 모드(intra mode)와 인터 모드(inter mode)로 구분하는데, 여기서, 인트라 모드는 매크로 블록을 화면내 부호화와 동일한 방식으로 처리하는 방식이고, 인터 모드는 매크로 블록을 현재 프레임과 이전 프레임과의 차이값을 부호화하는 방식으로서, 인트라 모드와 인터 모드의 구분은 모션 벡터를 판단하면서 발생되는 현재 프레임의 매크로 블록과 이전 프레임의 매크로 블록 간의 차이값을 계산하여 나타나는 탐색 영역 내에서의 매크로 블록 단위의 최저 평균값과 현재 프레임 간의 차이값을 통해 구분하게 된다.

전술한 바와 같이, 종래의 MPEG 방식에 의한 동영상 부호화 장치에서는 화면간 부호화시에 압축 후 복원된 이전 영상을 이용함에 따라 동영상 부호화시에도 복호화 절차를 필요로 하고, 화면간 부호화시에는 매크로 블록 단위로 모션 판단을 수행하여 모션 벡터를 구할 뿐 아니라, 해당되는 매크로 블록별 움직임 유무 정보를 얻기 위해 이산 코사인 변환 및 양자화 절차를 수행함에 따라 연산이 복잡하여 이동통신 단말기에서 동영상 부호화를 소프트웨어로 구현하는 데 어려움이 있어 실시간 서비스에는 부적합하다는 문제점이 있었다.

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 동영상 부호화시에 엔트로피 코딩 방식으로 복잡도가 낮고 수행속도가 빠른 골롬라이스 코딩 방식을 적용하고, 동영상 압축 대상신호에 대해 Y 성분과 U,V 성분을 그 중요도에 따라 각각 부호화 처리함으로써, 종래와 비교하여 압축 성능이나 화질의 감소가 없으면서도 시스템 전체의 부호화 시간을 상당히 줄일 수 있도록 하고, 이를 통해 실시간 서비스를 필요로 하는 응용분야가 되는 이동통신 단말기에 적합한 동영상 부호화 기능을 구현할 수 있도록 하는데 있다.

본 발명의 다른 목적은, 동영상 화면간 부호화시에 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화를 수행하도록 함으로써, 인코딩시 디코딩 절차를 필요로 하지 않는 등 연산량을 최소화하는데 있다.

본 발명의 또 다른 목적은, 동영상의 화면간 부호화시에 블록 단위로 움직임 판단을 수행하되, 블록 경계 부분의 픽셀 값을 이용하여 움직임 여부만을 판단하고, 이와 동시에 인트라 모드와 인터 모드에 대한 판단을 수행하도록 함으로써, 모션 벡터를 구하기 위해 소요되는 절차 등과 같은 불필요한 절차를 제거하여 상당히 많은 연산량을 줄일 수 있도록 하는데 있다.

또한, 본 발명의 목적은, 동영상 부호화 기능들을 하드웨어 칩과는 달리 상황에 따른 신속 대응이 가능한 소프트웨어로 구현함으로써, 이동통신 단말기에 적합한 동영상 부호화를 위한 하드웨어 칩의 추가를 위한 개발 비용을 없애고, 동시에 급속도로 확대되고 있는 이동통신 단말기 상의 동영상 서비스를 보다 효율적으로 제공할 수 있도록 하는데 있다.

상술한 바와 같은 목적을 해결하기 위한 본 발명의 특징은, 입력 RGB 영상을 Y,U,V 성분의 동영상 압축 대상신호로 변환하는 영상신호 변환부를 갖는 동영상 부호화 시스템에 있어서, 상기 동영상 압축 대상신호에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환하여 양자화 처리한 양자화 계수를 골롬라이스 코딩 방식으로 엔트로피 부호화하여 출력하는 화면내 부호화부와; 상기 동영상 압축 대상신호에 대해 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화를 수행하되, 8*8 화소의 블록 단위로 블록 경계 부분의 픽셀 값을 이용하여 움직임 발생 여부를 판단함과 동시에 인트라/인터 모드에 대한 판단을 수행하며, 움직임이 발생한 모션 블록에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스 코딩 방식으로 엔트로피 부호화하여 출력하는 화면간 부호화부를 포함하는 이동통신 단말기용 동영상 부호화 시스템을 제공하는데 있다.

여기서, 상기 화면간 부호화부는, 영상신호 변환부에 의해 출력되는 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위로 주어진 탐색 영역 내에서의 움직임 발생 여부를 이전 인트라 프레임의 원본 영상을 이용하여 판단하는 모션 판단부와; 상기 모션 판단부에 의해 출력되는 텍스쳐 맵 정보인 각 블록들의 움직임 발생 유무에 대한 정보들을 저장하는 텍스쳐 맵 정보 저장부와; 상기 모션 판단부에 의해 출력되는 움직임이 발생한 모션 블록을 저장하는 모션 블록 저장부와; 상기 모션 판단부에 의해 출력되는 움직임이 발생하지 않은 비모션 블록을 저장하는 비모션 블록 저장부와; 상기 모션 블록 저장부에 저장되어 있는 모션 블록의 Y 성분에 대하여 8*8 화소의 블록 단위로 이산 코사인 변환하여 DCT 변환계수를 구하는 이산 코사인 변환부와; 상기 DCT 변환계수에 대하여 양자화폭과 각 주파수 성분에 대응한 양자화 처리를 수행하여 양자화 변환 계수를 생성하는 양자화부와; 상기 양자화 변환 계수를 골롬라이스 코딩을 통해 부호화하여 출력하는 골롬라이스 부호화부를 포함하는 것을 특징으로 한다.

그리고, 상기 모션 판단부는, 각 블록의 경계 부분에 대하여 현재 프레임과 이전 프레임의 블록간 차이값을 통해 움직임 발생 여부를 판단하여 움직임이 발생한 모션 블록과 움직임이 발생하지 않은 비모션 블록을 각각 출력하며, 해당되는 각 블록들의 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 출력하는 것을 특징으로 한다.

또한, 상기 모션 판단부는, 움직임 발생 여부를 판단하는 과정에서 나타난 결과값인 현재 프레임과 이전 프레임의 블록 간의 차이값에 대해 제곱값을 취하여 나타난 결과값을 기준으로 모션 블록에 대해 인트라/인터 모드에 대한 판단을 수행하는 것을 특징으로 한다.

본 발명의 다른 특징은, 입력 RGB 영상을 동영상 압축 대상신호로 변환하여 화면내 부호화 및 화면간 부호화하는 동영상 부호화 방법에 있어서, 상기 동영상 압축 대상신호에 대하여 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하고, Y 성분의 경우에는 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화 처리한 후에 골롬라이스 코딩을 통해 압축 부호화하여 출력하는 화면내 부호화 과정과; 상기 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위의 움직임 발생 여부를 판단하여 모션 블록과 비모션 블록으로 구분하여 각각 저장하고, 해당되는 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 부호화하여 출력하는 한편, 상기 움직임 발생 여부를 판단하는 중에 상기 모션 블록에 대해 인트라/인터 모드에 대한 판단을 동시에 수행하여 해당되는 부호화 처리를 수행하는 화면간 부호화 과정을 포함하는 이동통신 단말기용 동영상 부호화 방법을 제공하는데 있다.

이때, 상기 화면간 부호화 과정은, 각 블록의 경계 부분에 대하여 현재 프레임과 이전 프레임의 블록 간의 차이값을 통해 움직임 발생 여부를 판단하는 단계와; 상기 움직임 발생 여부를 판단한 결과에 따라 움직임이 발생하지 않은 비모션 블록과 움직임이 발생한 모션 블록을 각각의 저장부 측으로 출력하여 저장한 후에 해당되는 블록에 대한 움직임 발생 여부를 나타내는 텍스쳐 맵 정보를 부호화하여 출력하는 단계와; 상기 움직임 발생 여부를 판단하는 단계를 수행하는데 있어, 움직임이 발생한 모션 블록의 경우 이를 인트라 모드로 부호화할 것인지, 인터 모드로 부호화할 것인지를 동시에 판단하는 단계를 포함하는 것을 특징으로 한다.

그리고, 상기 화면간 부호화 과정은, 상기 인트라 모드로 판단된 모션 블록의 경우 상기 화면내 부호화 과정과 동일한 방식으로 원본 영상의 블록 값들을 부호화 처리하고, 상기 인터 모드로 판단된 모션 블록의 경우 원본 영상과 이전 영상과의 차 성분을 부호화 처리하는 것을 특징으로 한다.

또한, 상기 화면간 부호화 과정은, 움직임이 발생한 모션 블록에 대해 U,V 성분의 경우에는 4*4 화소 단위로 평균값을 구하여 평균값을 부호화 처리하고, Y 성분의 경우에는 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스 코딩 방식으로 엔트로피 부호화 처리하는 것을 특징으로 한다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.

본 발명에 따른 이동통신 단말기용 동영상 부호화 시스템은 하드웨어 칩이 아닌 소프트웨어로 구현하되, 첨부한 도면 도 2에 도시한 바와 같이, 입력 RGB 영상을 MPEG-4 포맷의 동영상 압축 대상신호(YUV420)로 변환하는 영상신호 변환부(10)와, 화면내 부호화부(50) 및 화면간 부호화부(60)를 구비하여 이루어진다.

화면내 부호화부(50)는 영상신호 변환부(10)에 의해 출력되는 동영상 압축 대상신호(YUV420)를 U,V 성분과 Y 성분으로 구분한 후에 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하며, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스(Golomb-Rice) 코딩 방식으로 엔트로피 부호화한다.

이때, 본 발명에서 화면내 부호화부(50)는 Y 성분에 대한 부호화를 위해 이산 코사인 변환부(51)와 양자화부(52) 및 골롬라이스 부호화부(53)를 구비하여 이루어지는데, 이산 코사인 변환부(51)는 Y 성분을 블록(8*8) 단위로 이산 코사인 변환하여 DCT 변환계수를 구하고, 양자화부(52)는 앞에서 구한 DCT 변환계수에 대하여 양자화폭과 각 주파수 성분에 대응한 8*8 양자화 행렬로 제산하는 양자화 처리를 수행하여 양자화 변환 계수를 생성하며, 골롬라이스 부호화부(53)는 앞에서 생성한 양자화 변환 계수를 골롬라이스 코딩(Golomb-Rice Coding)을 통해 부호화하여 출력한다.

화면간 부호화부(60)는 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화(Predictive Frame Coding)를 수행하되, 8*8 화소의 블록 단위로 블록 경계 부분의 픽셀 값을 이용하여 움직임 발생 여부를 판단함과 동시에 인트라 모드와 인터 모드에 대한 판단을 수행하며, 이후에 움직임이 발생한 모션 블록에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스(Golomb-Rice) 코딩 방식으로 엔트로피 부호화한다.

이를 위한 화면간 부호화부(60)의 상세한 구성에 대하여 설명하면, 도 2에 도시한 바와 같이 모션 판단부(61)와, 모션 블록 저장부(62)와, 비모션 블록 저장부(63)와, 텍스쳐 맵 정보 저장부(64)와, 이산 코사인 변환부(65)와, 양자화부(66) 및 골롬라이스 부호화부(67)를 구비하여 이루어진다.

모션 판단부(61)는 영상신호 변환부(10)에 의해 출력되는 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위로 주어진 탐색 영역 내에서의 움직임 발생 여부를 이전 인트라 프레임의 원본 영상을 이용하여 판단하되, 블록의 경계 부분에 대하여 현재 프레임의 블록과 이전 프레임의 블록 간의 차이값을 통해 판단하고, 그 판단 결과에 따라 움직임이 발생한 블록과 움직임이 발생하지 않은 블록을 각각 출력하며, 해당되는 각 블록들의 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 출력한다. 또한 움직임 발생 여부를 판단하는 과정에서 나타난 결과값 즉, 현재 프레임의 블록과 이전 프레임의 블록 간의 차이값에 대해 제곱값을 취하여 나타난 결과값을 기준으로 인트라 모드(intra mode)와 인터 모드(inter mode)에 대한 판단을 수행한다.

모션 블록 저장부(62)는 움직임이 발생한 모션 블록들을 저장하고, 비모션 블록 저장부(63)는 움직임이 발생하지 않은 비모션 블록들을 저장하며, 텍스쳐 맵 정보 저장부(64)는 모션 판단부(61)에 의해 출력되는 텍스쳐 맵 정보 즉, 각 블록들의 움직임 발생 유무에 대한 정보들을 저장한다.

이산 코사인 변환부(65)는 모션 블록 저장부(62)에 저장되어 있는 모션 블록의 Y 성분에 대해 8*8 화소의 블록 단위로 이산 코사인 변환하여 DCT 변환계수를 구하고, 양자화부(66)는 앞에서 구한 DCT 변환계수에 대하여 양자화폭과 각 주파수 성분에 대응한 8*8 양자화 행렬로 제산하는 양자화 처리를 수행하여 양자화 변환 계수를 생성하며, 골롬라이스 부호화부(67)는 앞에서 생성한 양자화 변환 계수를 골롬라이스 코딩(Golomb-Rice Coding)을 통해 부호화하여 출력한다.

이때, 모션 블록 저장부(62)에 저장되어 있는 모션 블록의 U,V 성분의 경우에는 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하여 출력한다.

이와 같은 구성을 갖는 이동통신 단말기용 동영상 부호화 시스템의 동작을 상세하게 설명하면 다음과 같다.

먼저, 카메라 등의 동영상 입력기(도면에 도시되어 있지 않음)를 통해 입력된 RGB 영상은 영상신호 변환부(10)에 의해 MPEG-4 포맷의 동영상 압축 대상신호(YUV420)로 변환된 후에 화면내 부호화부(50)로 입력된다. 여기서 동영상 압축 대상신호를 이루는 Y 성분은 영상의 명암(흑백)을 나타내는 성분이며, U,V 성분은 색차 성분으로 영상의 칼라 정보를 나타내는 성분으로, Y 성분이 U,V 성분에 비해 영상을 구성하는데 중요한 부분을 담당하며, Y,U,V 각 성분은 각각의 저장 공간에 존재하며, 부호화 과정 중에 Y 성분과 U,V 성분은 영상을 구성하는 중요도에 있어서 다르기 때문에 그 중요도에 따라 개별적으로 처리하게 된다.

즉, 화면내 부호화부(50)에서는 영상신호 변환부(10)로부터 입력되는 동영상 압축 대상신호(YUV420)에 대하여 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하게 된다.

그리고, Y 성분의 경우에는 8*8 화소의 블록 단위로 이산 코사인 변환하여 DCT 변환 계수를 구한 후, 이렇게 구한 DCT 변환계수에 대하여 양자화폭과 각 주파수 성분에 대응한 8*8 양자화 행렬로 제산하는 양자화 처리를 수행하여 양자화 변환 계수를 생성하게 되며, 이후에 앞에서 생성한 양자화 변환 계수를 골롬라이스 코딩(Golomb-Rice Coding)을 통해 압축 부호화하여 출력함으로써, 종래의 엔트로피 코딩 방식인 허프만 코딩 방식에 비해 복잡도(Complexity)가 낮고 실시간 부호화가 가능하며, 또한 동영상 압축 대상신호를 이루는 U,V 성분의 경우 영상을 표현하는데 있어서의 중요성이 Y 성분에 비해 상당히 적기 때문에 4*4 화소 단위의 평균값에 대한 부호화만으로 8*8 화소 단위의 이산 코사인 변환을 통해 처리하는 것과 유사한 압축 성능이나 화질 면에서 거의 감소없이 표현이 가능하며, 따라서 종래의 화면내 부호화 방식에 비해 압축 성능이나 화질의 감소가 거의 없이 U,V 성분을 부호화하는 시간을 상당히 줄일 수 있게 된다.

한편으로, 화면간 부호화부(60)에서는 동영상 압축 대상신호에 대해 현재 프레임과 이전 프레임 간의 시간적 관계를 이용하여 압축 부호화를 수행하게 되는데, 우선 화면간 부호화부(60)의 모션 판단부(61)는 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위로 분할하여 움직임이 발생한 모션 블록과 움직임이 발생하지 않은 비모션 블록으로 구분하게 되며, 이때 각 블록들의 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 저장하게 된다.

즉, 모션 판단부(61)는 블록 단위로 주어진 탐색 영역 내에서의 움직임 발생 여부를 이전 인트라 프레임의 원본 영상을 이용하여 판단하게 되는데, 이는 각 블록의 경계 부분에 대하여 현재 프레임과 이전 프레임의 블록 간의 차이값을 통해 움직임 발생 여부를 판단하게 된다.

이때, 해당되는 블록이 움직임이 발생하지 않은 비모션 블록으로 판단되는 경우 이를 비모션 블록 저장부(63) 측으로 출력하여 저장하고, 해당되는 블록에 대해 움직임이 발생하지 않았다는 정보를 텍스쳐 맵 정보 저장부(64)에 저장하게 된다.

하지만, 해당되는 블록이 움직임이 발생한 모션 블록으로 판단되는 경우에는 이를 모션 블록 저장부(63) 측으로 출력하여 저장하고, 해당되는 블록에 대해 움직임 발생하였다는 정보를 텍스쳐 맵 정보 저장부(64)에 저장하게 된다.

그리고, 텍스쳐 맵 정보 저장부(64)에 저장된 움직임 발생 유무에 대한 정보는 부호화하여 출력함으로써, 복호화부(도면에 도시되어 있지 않음) 측에서 각 블록의 움직임 발생 유무에 대한 정보를 알 수 있고, 따라서 비모션 블록의 경우 부호화나 이후의 처리 과정이 필요하지 않게 된다. 즉, 복호화부 측에서는 텍스쳐 맵 정보로서 제공되는 값을 통해 비모션 블록에 해당되는 블록의 경우 이전 영상에서 매칭되는 블록을 복사하여 처리하게 된다.

또한, 모션 판단부(61)는 움직임 발생 여부를 판단하는 과정을 수행하는데 있어, 움직임이 발생한 모션 블록의 경우 이를 인트라 모드로 부호화할 것인지, 인터 모드로 부호화할 것인지를 동시에 판단하게 된다.

즉, 움직임이 발생한 모션 블록의 경우 사물(물체)의 움직임으로 인해 움직임이 발생한 것으로 판단되는 경우, 빛의 변화로 인해 움직임이 발생한 것으로 판단되는 경우, 카메라 등의 동영상 입력기로부터의 노이즈(noise)로 인해 움직임이 발생한 것으로 판단되는 경우 등과 같이 여러 경우가 존재할 수 있는데, 이러한 여러 움직임에 대한 판단 결과에 있어서 사물의 움직임과 같이 큰 움직임이 발생하였을 경우의 모션 블록에 대해서는 인트라 모드로 부호화할 것으로 판단하게 되며, 미세한 빛에 의한 변화나 노이즈와 같이 아주 작은 영상의 변화를 갖는 모션 블록에 대해서는 인터 모드로 부호화할 것으로 판단하게 된다.

그리고, 해당되는 인트라 모드 부호화 정보나 인터 모드 부호화 정보는 복호화부 측에서 알 수 있도록 부호화되어 저장되는데, 이때 인트라 모드로 판단된 모션 블록의 경우에는 화면내 부호화와 동일한 방식으로 원본 영상의 블록 값들을 부호화 처리하게 되며, 인터 모드로 판단된 모션 블록의 경우에는 원본 영상과 이전 영상과의 차 성분을 부호화 처리하게 된다.

또한, 앞에서 설명한 움직임 발생 유무 및 모션 블록에 대한 인트라/인터 모드 판단을 수행한 후에는 움직임 발생한 모션 블록에 대해 해당되는 부호화 처리를 수행하게 되는데, 이때 모션 블록의 U,V 성분에 대해서는 4*4 화소 단위로 평균값을 구하여 평균값을 부호화 처리하게 되며, Y 성분에 대해서는 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스(Golomb-Rice) 코딩 방식으로 엔트로피 부호화 처리하게 된다.

나아가, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.

이상과 같이, 본 발명은 동영상을 부호화하는 데 있어 엔트로피 코딩 방식으로 허프만 코딩 방식을 적용하는 대신에 복잡도가 낮고 수행속도가 빠른 골롬라이스 코딩 방식을 적용하고, 또한 동영상 압축 대상신호에 대해 Y 성분과 U,V 성분을 그 중요도에 따라 각각 부호화 처리함으로써, 종래와 비교하여 압축 성능이나 화질의 감소가 없으면서도 시스템 전체의 부호화 시간을 상당히 줄일 수 있어 실시간 서비스를 필요로 하는 응용분야가 되는 이동통신 단말기에 적합한 동영상 부호화 기능을 구현할 수 있게 된다.

그리고, 본 발명은 동영상에 대해 화면간 부호화를 수행하는데 있어, 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화를 수행함으로써 종래와 같이 이전 영상의 압축 후 복원된 영상을 이용하지 않게 됨에 따라 인코딩시 디코딩 절차를 필요로 하지 않는 등 연산량을 최소화할 수 있게 된다.

또한, 본 발명은 동영상의 화면간 부호화시에 블록 단위로 움직임 판단을 수행하되, 종래와 같이 모션 벡터를 구하지 않고 블록 경계 부분의 픽셀 값을 이용하여 움직임 여부만을 판단함으로써, 모션 벡터를 구하기 위해 소요되는 절차와 매크로 블록별로 움직임 유무 정보를 얻기 위해 필요한 이산 코사인 변환 및 양자화 과정 또한 생략되기 때문에 상당히 많은 연산량을 줄일 수 있게 된다.

나아가, 본 발명은 동영상의 화면간 부호화를 수행하는데 있어, 종래와 같이 모션 벡터를 구한 후에 인트라 모드와 인터 모드에 대한 판단을 수행하는 것이 아니라 움직임 판단을 수행함과 동시에 인트라 모드와 인터 모드에 대한 판단을 수행함으로써, 종래의 동영상 부호화 장치에 비해 앞에서 설명한 절차 상의 연산량 또한 줄일 수 있게 된다.

그리고, 본 발명은 상술한 동영상 부호화 기능들을 소프트웨어로 구현함으로써, 동영상 부호화를 위한 하드웨어 칩의 추가에 의해 발생되는 이동통신 단말기 개발을 위한 추가적인 비용 부담을 없게 하고, 또한 하드웨어 칩과는 달리 상황에 따라 간단하고 신속하게 대응 가능하도록 소프트웨어로 구현함으로써, 급속도로 확대되고 있는 이동통신 단말기 상의 동영상 서비스를 보다 효율적으로 제공할 수 있게 된다.

도 1은 종래의 MPEG 방식에 의한 동영상 부호화 장치를 도시한 구성 블록도.

도 2는 본 발명에 따른 이동통신 단말기용 동영상 부호화 시스템을 기능적으로 도시한 구성 블록도.

* 도면의 주요 부분에 대한 부호의 설명 *

10 : 영상신호 변환부 50 : 화면내 부호화부

51, 65 : 이산 코사인 변환부 52, 66 : 양자화부

53, 67 : 골롬라이스 부호화부 60 : 화면간 부호화부

61 : 모션 판단부 62 : 모션 블록 저장부

63 : 비모션 블록 저장부 67 : 텍스쳐 맵 정보 저장부

Claims

입력 RGB 영상을 Y,U,V 성분의 동영상 압축 대상신호로 변환하는 영상신호 변환부를 갖는 동영상 부호화 시스템에 있어서,

상기 동영상 압축 대상신호에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환하여 양자화 처리한 양자화 계수를 골롬라이스 코딩 방식으로 엔트로피 부호화하여 출력하는 화면내 부호화부와;

상기 동영상 압축 대상신호에 대해 이전 인트라 프레임의 원본 영상을 이용하여 예측 부호화를 수행하되, 8*8 화소의 블록 단위로 블록 경계 부분의 픽셀 값을 이용하여 움직임 발생 여부를 판단함과 동시에 인트라/인터 모드에 대한 판단을 수행하며, 움직임이 발생한 모션 블록에 대해 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 부호화하고, Y 성분의 경우 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스 코딩 방식으로 엔트로피 부호화하여 출력하는 화면간 부호화부를 포함하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 시스템.
제 1항에 있어서,

상기 화면간 부호화부는, 영상신호 변환부에 의해 출력되는 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위로 주어진 탐색 영역 내에서의 움직임 발생 여부를 이전 인트라 프레임의 원본 영상을 이용하여 판단하는 모션 판단부와;

상기 모션 판단부에 의해 출력되는 텍스쳐 맵 정보인 각 블록들의 움직임 발생 유무에 대한 정보들을 저장하는 텍스쳐 맵 정보 저장부와;

상기 모션 판단부에 의해 출력되는 움직임이 발생한 모션 블록을 저장하는 모션 블록 저장부와;

상기 모션 판단부에 의해 출력되는 움직임이 발생하지 않은 비모션 블록을 저장하는 비모션 블록 저장부와;

상기 모션 블록 저장부에 저장되어 있는 모션 블록의 Y 성분에 대하여 8*8 화소의 블록 단위로 이산 코사인 변환하여 DCT 변환계수를 구하는 이산 코사인 변환부와;

상기 DCT 변환계수에 대하여 양자화폭과 각 주파수 성분에 대응한 양자화 처리를 수행하여 양자화 변환 계수를 생성하는 양자화부와;

상기 양자화 변환 계수를 골롬라이스 코딩을 통해 부호화하여 출력하는 골롬라이스 부호화부를 포함하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 시스템.
제 2항에 있어서,

상기 모션 판단부는, 각 블록의 경계 부분에 대하여 현재 프레임과 이전 프레임의 블록간 차이값을 통해 움직임 발생 여부를 판단하여 움직임이 발생한 모션 블록과 움직임이 발생하지 않은 비모션 블록을 각각 출력하며, 해당되는 각 블록들의 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 출력하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 시스템.
제 2항에 있어서,

상기 모션 판단부는, 움직임 발생 여부를 판단하는 과정에서 나타난 결과값인 현재 프레임과 이전 프레임의 블록 간의 차이값에 대해 제곱값을 취하여 나타난 결과값을 기준으로 모션 블록에 대해 인트라/인터 모드에 대한 판단을 수행하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 시스템.
입력 RGB 영상을 동영상 압축 대상신호로 변환하여 화면내 부호화 및 화면간 부호화하는 동영상 부호화 방법에 있어서,

상기 동영상 압축 대상신호에 대하여 U,V 성분의 경우 4*4 화소 단위로 평균값을 구하여 평균값을 부호화하고, Y 성분의 경우에는 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화 처리한 후에 골롬라이스 코딩을 통해 압축 부호화하여 출력하는 화면내 부호화 과정과;

상기 동영상 압축 대상신호에 대해 8*8 화소의 블록 단위의 움직임 발생 여부를 판단하여 모션 블록과 비모션 블록으로 구분하여 각각 저장하고, 해당되는 움직임 발생 유무에 대한 정보들을 텍스쳐 맵 정보로서 부호화하여 출력하는 한편, 상기 움직임 발생 여부를 판단하는 중에 상기 모션 블록에 대해 인트라/인터 모드에 대한 판단을 동시에 수행하여 해당되는 부호화 처리를 수행하는 화면간 부호화 과정을 포함하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 방법.
제 5항에 있어서,

상기 화면간 부호화 과정은, 각 블록의 경계 부분에 대하여 현재 프레임과 이전 프레임의 블록 간의 차이값을 통해 움직임 발생 여부를 판단하는 단계와;

상기 움직임 발생 여부를 판단한 결과에 따라 움직임이 발생하지 않은 비모션 블록과 움직임이 발생한 모션 블록을 각각의 저장부 측으로 출력하여 저장한 후에 해당되는 블록에 대한 움직임 발생 여부를 나타내는 텍스쳐 맵 정보를 부호화하여 출력하는 단계와;

상기 움직임 발생 여부를 판단하는 단계를 수행하는데 있어, 움직임이 발생한 모션 블록의 경우 이를 인트라 모드로 부호화할 것인지, 인터 모드로 부호화할 것인지를 동시에 판단하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 방법.
제 5항에 있어서,

상기 화면간 부호화 과정은, 상기 인트라 모드로 판단된 모션 블록의 경우 상기 화면내 부호화 과정과 동일한 방식으로 원본 영상의 블록 값들을 부호화 처리하고, 상기 인터 모드로 판단된 모션 블록의 경우 원본 영상과 이전 영상과의 차 성분을 부호화 처리하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 방법.
제 5항에 있어서,

상기 화면간 부호화 과정은, 움직임이 발생한 모션 블록에 대해 U,V 성분의 경우에는 4*4 화소 단위로 평균값을 구하여 평균값을 부호화 처리하고, Y 성분의 경우에는 8*8 화소의 블록 단위로 이산 코사인 변환 및 양자화하고 이를 골롬라이스 코딩 방식으로 엔트로피 부호화 처리하는 것을 특징으로 하는 이동통신 단말기용 동영상 부호화 방법.