KR20040104831A

KR20040104831A - 영상데이터의 압축 장치 및 방법

Info

Publication number: KR20040104831A
Application number: KR1020030036084A
Authority: KR
Inventors: 권성근
Original assignee: 삼성전자주식회사
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2004-12-13
Also published as: CN1319381C; US20040247189A1; KR100584422B1; EP1484925A3; CN1574964A; EP1484925A2

Abstract

본 발명은 영상데이터의 압축 장치가, 상기 영상데이터의 프레임을 다수의 블록으로 나누는 블록 분류부와, 상기 분류된 블록의 종류를 판단하는 블록 판단부와, 상기 블록의 종류에 따라 압축을 수행하는 압축부로 구성됨을 특징으로 한다.

Description

영상데이터의 압축 장치 및 방법{METHOD AND DEVICE FOR COMPRESSING IMAGE DATA}

본 발명은 영상데이터의 압축에 관한 것으로, 특히 영상데이터를 효과적으로압축할 수 있는 장치 및 방법에 관한 것이다.

M-JPEG(Motion JPEG)이란 원래 정지화면의 압축에 사용되는 JPEG기술을 동영상의 압축에 적용하는 방식으로서, 동영상을 구성하는 각 프레임을 JPEG으로 압축, 재생시킨다. 또한 상기 M-JPEG은 디지털 비디오 편집에 있어서 폭 넓게 사용되고 있는 압축방식이며, 압축비를 자유롭게 설정할 수 있는 가변압축비를 지원한다.

M-JPEG은 공간적 압축방식만을 사용하여 영상데이터를 압축하기 때문에 임의의 프레임에 접근이 용이하여 디지털 비디오 편집에 효과적이며, 이와 관련된 실사간 압축을 지원하는 하드웨어들이 많이 출시되어 있다. 이는 MPEG과는 달리 전후 프레임의 관계를 고려하지 않고 대상 영상데이터를 압축하기 때문에 압축 후에도 각 프레임은 자유롭게 편집될 수 있고, 프레임간 정보(interframe information)를 사용하지 않아 전송오류는 다음 프레임으로 전파되지 않는 특성을 가진다. 또한 M-JPEG에서 각 프레임은 별도로 전송되기 때문에 네트워크에 따라 대역폭을 가변적으로 사용할 수 있으며, MPEG보다 우수한 화질을 나타낸다.

그러나, 하드웨어 칩셋을 사용한 압축방식(최근 고성능 CPU를 사용한 소프트웨어 방식도 있음)의 특성상 칩셋과 드라이버가 다르면 같은 M-JPEG방식이라도 호환이 되지 않는 단점이 있다. M-JPEG은 프레임간 정보를 사용하지 않기 때문에MPEG보다 압축률이 낮아 넓은 대역폭을 요구하고, 음성 동기화에 있어 MPEG보다 어려우며, 고성능의 CPU자원을 필요로 한다.

도 1은 일반적인 M-JPEG 인코더의 구성을 도시한 도면이다.

상기 도 1을 참조하면, 상기 M-JPEG100은 이산여현변환(discrete cosinetransform, DCT)부101과, 양자화(quantization)102와, 엔트로피 코더(entropy coder)103으로 구성된다. 상기 이산여현변환부101은 입력영상을 8×8 픽셀들로 이루어진 하나의 블록단위로 나누어 처리한다. 즉 각 블록에 대하여 여현 신호를 기저 함수 (basis function)로 사용하여, 일반적으로 인접한 픽셀간의 상관성이 매우 높은 영상 신호를 상호간 상관성이 없는 주파수 영역으로 변환한다. 따라서 저주파 성분을 나타내는 DCT 계수는 큰 값을 가지고, 고주파 성분을 나타내는 DCT 계수는 매우 작은 값을 가진다.

상기 양자화(Quantization)102는 상기 이산여현변환101을 통해 얻어진 DCT 계수 값을 각 주파수에 따른 양자화 계수로 나누어 유효자리의 비트수를 줄이는 과정이다. 따라서 상대적으로 작은 값을 가지는 고주파 계수들은 양자화에 의하여 거의 0에 가까운 값으로 된다

상기 엔트로피 코더(Entropy coder)103은 양자화를 거친 이산여현변환 주파수 계수값들을 이들의 발생 확률을 고려하여 0 및 1로 구성된 비트열로 만든다. 즉 이산여현변환 및 양자화에 의하여 공간적 중복성이 제거된 성분들을 부호화하는 과정이다.

도 2는 일반적인 비디오 인코더 즉, MPEG의 인코더의 구성을 도시한 도면이다. 상기 MPEG은 상기 JPEG에 비해 매우 높은 압축률, 즉 매우 낮은 비트율을 가진다. 그러나 상기 MPEG은 움직임을 측정 및 보상(Motion estimation and compensation)205와 복호화 과정을 수행하기 위한 역이산여현변환(inverse DCT) 204 때문에 압축시간이 지나치게 많이 걸린다. 또한 프레임들 간의 시간적인 중복성을 제거하기 위한 프레임간 부호화(interframe coding) 때문에 오류가 누적되는 단점이 있다.

따라서 본 발명의 목적은 영상데이터의 크기를 줄이고 압축률을 높이면서 오류의 누적을 방지할 수 있는 압축 장치 및 방법을 제공함에 있다.

상기 목적을 달성하기 위한 영상데이터의 압축 장치가, 상기 영상데이터의 프레임을 다수의 블록으로 나누는 블록 분류부와, 상기 분류된 블록의 종류를 판단하는 블록 판단부와, 상기 블록의 종류에 따라 압축을 수행하는 압축부로 구성됨을 특징으로 한다.

또한 상기 목적을 달성하기 위한 영상데이터의 압축 방법이, 수신된 상기 영상데이터의 프레임을 다수의 블록으로 분류하는 과정과, 상기 분류된 블록의 종류를 판단하는 과정과, 상기 블록이 리플래시 블록(refresh block)으로 판단 시, 현재 블록 값을 압축하는 과정과, 상기 블록이 모션 블록(motion block)으로 판단 시, 현재 블록 값을 압축하는 과정과, 상기 블록이 스태틱 블록(static block)으로 판단 시, 블록간의 차이 값을 압축하는 과정으로 이루어짐을 특징으로 한다.

도 1은 Motion JPEG 인코더의 구성을 도시한 도면.

도 2는 일반적인 비디오 인코더의 구성을 도시한 도면.

도 3은 본 발명의 실시 예에 따라 영상데이터의 프레임에 설정된 리플래시 칼럼(refresh column)을 도시한 도면.

도 4는 본 발명의 실시 예에 따른 압축 인코더의 구성을 도시한 도면.

도 5는 본 발명의 실시 예에 따른 영상데이터의 압축과정을 도시한 흐름도.

도 6a - 도 6e는 도 5에 따라 압축된 영상데이터의 결과를 보이는 도면.

도 7a - 도 7e는 도 5에 따라 압축된 영상데이터의 결과를 보이는 도면.

도 8a - 도 8e는 도 5에 따라 압축된 영상데이터의 결과를 보이는 도면.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

하기 설명에서 블록의 종류, 기준 값, 리플래시 칼럼(refresh column)의 위치, 블록의 크기등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.

본 발명의 실시 예에서 모션블록이란 이전 프레임과의 블록간의 에너지 차가 미리 설정된 기준 값 보다 큰 블록으로 정의한다. 즉, 모션블록은 이전 프레임으로부터 움직임을 가진다. 또한 스태틱 블록이란 모션블록과는 반대로 상기 블록간의 에너지 차가 미리 설정된 기준 값 보다 작은 블록으로, 현재 프레임과 이전 프레임간의 차이가 작음을 알 수 있다.

또한 상기 리플래시 블록이란 리플래시 칼럼 내에 존재하는 블록을 나타내며, 상기 리플래시 칼럼은 오류의 누적을 방지하기 위해 사용된다. 일반적으로 동영상 부호기는 복호기를 가지고 있다. 즉 실제 부호화 시, 전송할 정보량을 줄이기 위하여 수신된 이전 프레임 (previous frame)과의 차를 구한 후 이에 대하여 부호화를 행하기 때문에 부호기내에 복호기가 필요하다. 본 발명에서는 하드웨어 구조를 간단히 하기 위하여 상기와 같은 복호화 과정을 생략하여, 부호화하려는 프레임과 원 영상의 이전 프레임과의 차를 구함으로써, 원 영상의 이전 프레임을 가지고 있지 않은 복호기에서 오류가 누적된다. 따라서 이를 방지하기 위하여 상기 리플래시 칼럼에 속하는 리플래시 블록들에 대하여서는 프레임 차를 이용하지 않는 인트라 부호화(intra coding)를 행하게 된다. 즉, 부호화하려는 블록과 원 영상의 이전 프레임의 해당 블록과의 차를 구하여 부호화되는 상기 스태틱 블록에서 발생하는 오류 누적을 방지하기 위하여, 본 발명에서는 각 프레임마다 주기적으로 리프래시 칼럼을 두어, 이 영역에 속하는 블록들에 대하여 모션 블록 및 스태틱 블록에 관계없이 강제로 인트라 부호화를 행한다. 도 3은 본 발명의 실시 예에 따른 상기 영상데이터의 프레임들에 설정된 리플래시 칼럼을 나타내고 있다. 본 발명에 따른 압축 인코더에 입력되는 각 프레임마다 리플래시 컬럼의 위치가 미리 정해져 있다. 상기 리플래시 컬럼(refresh column)의 가로 및 세로 크기는 각각 16 및 V 픽셀과 같으며, 여기서 V는 영상의 세로 크기이다.

도 4는 본 발명의 실시 예에 따른 압축 인코더의 구성을 도시한 도면이다.

상기 도 4를 참조하면, 본 발명에 따른 압축 인코더는 블록 분류부410과 블록 판단부420과 압축부430으로 구성되며, 상기 블록 분류부310은 수신된 영상데이터의 프레임을 8×8 픽셀 크기를 가지는 블록들로 나눈다.

상기 블록 판단부420은 제1 블록 판단부421과, 블록 계산부422와, 제2블록 판단부423으로 구성된다. 상기 제1 블록 판단부421은 상기 분류된 블록이 리플래시 컬럼 내 존재하는지를 판단한다. 상기 블록이 리플래시 컬럼 내에 존재하면 리플래시 블록으로 판단하고, 상기 블록이 상기 리플래시 컬럼 내에 존재하지 않으면 모션 블록 또는 스태틱 블록으로 판단한다. 또한 상기 블록 판단부420은 상기 블록을 리플래시 블록으로 판단된 블록들에 대하여서는 이전 프레임의 블록과의 차를 구하지 않고 현재 블록 값만을 압축부430에 넘긴다.

또는 상기 블록 판단부420이 상기 블록을 모션 블록 또는 스태틱 블록으로 판단하면, 상기 블록계산부422는 하기 <수학식 1>을 통해 이 블록과 이전 프레임과의 블록간 차를 구하여, 이 값을 제2블록 판단부423에 넘긴다.

<수학식 1>

상기 제2블록 판단부423은 상기 블록 계산부422로부터 받은 상기 블록간의 차 값과 미리 설정된 기준 값을 비교한다. 만약 상기 블록간의 차가 상기 기준 값 보다 크면 상기 블록을 모션 블록으로 판단하여, 현재 블록 값만을 압축부430에 넘긴다. 또는 상기 블록간의 차가 상기 기준 값 이하이면 스태틱 블록으로 판단하고, 이전 프레임의 블록과의 차 값을 압축부430에 넘긴다.

상기 압축부430은 이산여현변환부 431과, 양자화432와, 엔트로피 코더433으로 구성되어, 상기 블록 판단부420에서 분류된 리플래시 블록, 모션 블록, 및 스태틱 블록의 특성에 따라 입력되는 블록값 혹은 이전 블록과의 차 값을 부호화한다. 즉 리플래시 블록 및 모션 블록으로 분류된 블록들은 그 블록 자체가 부호화되고,스태틱 블록으로 분류된 블록들은 이전 프레임의 블록과의 차 성분들이 부호화된다.

도 5는 본 발명의 실시 예에 따른 영상데이터의 압축과정을 도시한 흐름도 이다. 이하 본 발명의 실시 예를 도 4의 참조와 함께 상세히 설명한다.

상기 도 5를 참조하면, 영상데이터의 프레임 수신 시, 제어부는 501단계에서 이를 감지하고, 상기 블록 분류부410을 제어하여 상기 프레임을 일정 크기의 블록으로 나누는 502단계를 진행한다. 이때 상기 블록의 크기는 8×8 픽셀로 가정한다. 상기 제1블록 판단부421은 상기 분류된 블록이 리플래시 컬럼에 존재하는지를 판단한다. 만약 상기 블록이 리플래시 컬럼에 존재한다면 상기 제1블록 판단부421은 503단계에서 이를 감지하고, 이전 블록간의 차를 구하지 않고 현재 블록 값을 압축부430에 전달하는 504단계를 진행한다.

또는 상기 블록이 리플래시 컬럼(refresh column)에 존재하지 않으면 상기 제1블록 판단부421은 503단계에서 이를 감지하고, 상기 블록을 모션 블록 또는 스태틱 블록으로 판단한다. 이때 상기 블록 계산부422는 현재 블록과 이전 블록간의 차를 구하여 이 값을 제2블록 판단부423에 전달한다. 상기 제2블록 판단부423은 상기 블록간의 차와 미리 설정된 기준 값을 비교한다. 만약 상기 블록간의 차가 미리 설정된 기준 값 보다 크면, 상기 제2블록 판단부423은 505단계에서 상기 블록이 모션 블록임을 감지하고 현재 블록 값만을 506단계를 진행한다. 또는 상기 블록간의 차가 미리 설정된 기준 값 보다 작으면, 상기 제2블록 판단부423은 505간계에서 상기 블록이 스태틱 블록임을 감지하고 이전 블록간의 차 값만을 넘기는 507단계를진행한다.

상기 504단계, 506단계, 및 507단계에서 입력된 블록은 이산여현변환부431을 통해 상기 블록에 64개의 DCT 함수를 제공하여 상기 블록을 공간영역에서 주파수 영역으로 변환하는 508단계와, 상기 양자화432를 통해 상기 이산여현을 통해 얻은 64 DCT 계수값을 양자화 계수값으로 나누어 유효자리의 비트수를 줄이는 509단계와, 엔트로피 코더433을 통해 상기 양자화 된 DCT 계수들을 이들의 확률 분포에 따라 0 및 1의 비트 형태로 부호화하는 510단계를 진행한다.

상기 510단계를 통해 부호화된 블록이 한 프레임 내에서 마지막 블록이 아니면 상기 제어부는 511단계에서 이를 감지하고 다시 503단계를 진행하다. 또는 상기 블록이 마지막 블록이면 상기 제어부는 511단계에서 이를 감지하고 상기 블록의 프레임이 마지막 프레임인지 판단한다. 만약 상기 프레임이 마지막 프레임이 아니면 상기 제어부는 512단계에서 이를 감지하고 다시 상기 501단계를 진행한다. 또는 상기 프레임이 마지막 프레임이면 상기 제어부는 512단계에서 이를 감지하고 압축과정을 종료한다.

도 6a - 도 6e, 도 7a - 도 7e, 및 도 8a - 도 8e는 상기 도 5에 따라 압축된 영상데이터의 결과를 보이는 도면이다.

상기 도 6a는 원 영상을 나타내고, 상기 도 6b는 종래 M-JPEG을 통한 영상을 나타내고 있다. 또한 상기 도 6c는 본 발명에 따른 압축장치 및 방법을 통한 영상을 나타내며, 상기 도 6d는 상기 도 6b 및 6c의 영상에 대한 비트 전송률을 그래프로 나타내고 있다. 상기에서와 같이 본 발명에 따른 영상이 종래 M-JPEG을 통한 영상보다 낮은 비트률을 가짐을 알 수 있다. 또한 상기 도 6e는 상기 도 6c 및 도 6c의 영상에 따른 화질을 나타내는 그래프이다. 상기 도 6e에서 PSNR (peak to peak signal noise ratio)은 영상의 화질을 나타내는 척도이다. 하기 수학식 2는 상기 PSNR 을 구하는 식을 나타내고 있다.

<수학식 2>

상기 도 7a - 도 7e, 및 도 8a - 도 8e에서 상기 도 6a - 도 6e에서와 같이, 본 발명에 따른 영상이 종래 M-JPEG을 통한 영상과 거의 동일한 화질에서 낮은 비트율을 가짐을 알 수 있다.

상술한 본 발명의 설명에서는 휴대용 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시 할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

즉, 상술한 바와 같이 본 발명은 블록의 분류에 따라 서로 다른 압축방식을 사용함으로써, 부호기에 입력되는 데이터의 양을 감소시켜 압축률을 높이고, 오류의 누적을 방지할 수 있다. 따라서 비트 전송률이 낮아지며, 계산량과 하드웨어 구조를 간단히 할 수 있는 효과가 있다.

Claims

영상데이터의 압축 장치에 있어서,

상기 영상데이터의 프레임을 다수의 블록으로 나누는 블록 분류부와,

상기 분류된 블록의 종류를 판단하는 블록 판단부와,

상기 블록의 종류에 따라 압축을 수행하는 압축부로 구성됨을 특징으로 하는 상기 장치.
제1항에 있어서,

상기 블록 분류부는 8×8 픽셀들을 하나의 블록으로 설정함을 특징을 하는 상기 장치.
제1항에 있어서, 상기 블록 판단부가,

상기 블록이 오류 누적을 방지하기 위한 리플래시 컬럼(refresh column)내에 존재하는 리플래시 블록(refresh block)인지 판단하는 제1블록 판단부와,

상기 블록이 리플래시 컬럼 내에 존재하지 않으면, 블록들간의 에너지 차를 구하는 블록 계산부와,

상기 블록들 간의 에너지 차를 통해 모션 블록(motion block) 또는 스태틱블록(static block)을 판단하는 제2블록 판단부로 구성됨을 특징으로 하는 상기 장치.
제3항에 있어서,

상기 리플래시 컬럼의 위치가 영상데이터의 프레임에 미리 정해져 있음을 특징으로 하는 상기 장치.
제3항에 있어서, 상기 제1블록 판단부는,

상기 블록이 리플래시 컬럼 내에 존재하지 않으면, 모션 블록 또는 스태틱 블록으로 판단함을 특징으로 하는 상기 장치.
제1항에 있어서, 상기 압축부는,

상기 블록 판단부를 통해 리플래시 블록 판단 시, 현재 블록 값을 압축함을 특징으로 하는 상기 장치.
제1항에 있어서, 상기 압축부는,

상기 블록 판단부를 통해 모션 블록 판단 시, 현재 블록 값을 압축함을 특징으로 하는 상기 장치.
제1항에 있어서, 상기 압축부는,

상기 블록 판단부를 통해 스태틱 블록 판단 시, 블록들 간의 차 값을 압축함을 특징으로 하는 상기 장치.
제1항에 있어서, 상기 압축부가,

상기 블록에 64개의 DCT(discrete cosine transform) 함수를 제공하며, 상기 블록을 공간영역에서 주파수 영역으로 변환하는 이산여현변환부와,

상기 이산여현변환을 통해 얻은 64 DCT 계수 값을 양자화 계수로 나누어 유효자리의 비트수를 줄이는 양자화(quantization)와,

상기 양자화 된 DCT 계수들을 이들의 확률 분포에 따라 0 및 1로 부호화하는 엔트로피 코더로 구성됨을 특징으로 하는 상기 장치.
영상데이터의 압축 방법에 있어서,

수신된 상기 영상데이터의 프레임을 다수의 블록으로 분류하는 과정과,

상기 분류된 블록의 종류를 판단하는 과정과,

상기 블록이 리플래시 블록으로 판단 시, 현재 블록 값을 압축하는 과정과,

상기 블록이 모션 블록으로 판단 시, 현재 블록 값을 압축하는 과정과,

상기 블록이 스태틱 블록으로 판단 시, 블록간의 차 값을 압축하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
제10항에 있어서, 상기 분류된 블록의 종류를 판단하는 과정이,

상기 분류된 블록이 리플래시 칼럼 내에 존재하는지 판단하는 과정과,

상기 리플래시 칼럼 내에 존재하면, 리플래시 블록으로 판단하는 과정과,

상기 리플래시 칼럼 내에 존재하지 않으면, 모션 블록 또는 스태틱 블록으로 판단하는 과정으로 이루어짐을 특징으로 하는 상기 방법.
제11항에 있어서, 상기 모션 블록 또는 스태틱 블록으로 판단하는 과정이,

상기 블록들 간의 차 값을 구하는 과정과,

상기 블록들 간의 차 값이 미리 설정된 기준 값 이상인지 판단하는 과정과,

상기 블록들 간의 차 값이 상기 기준 값 이상이면, 모션 블록으로 판단하는 과정과,

상기 블록간의 차 값이 상기 기준 값 이하이면, 스태틱 블록으로 판단하는과정으로 이루어짐을 특징으로 하는 상기 방법.
제12항에 있어서,

상기 블록들 간의 차 값이 현재 프레임의 블록과 이전 프레임의 블록간의 에너지 차이 값을 나타냄을 특징으로 하는 상기 방법.