KR100640355B1

KR100640355B1 - 동영상 압축 방법

Info

Publication number: KR100640355B1
Application number: KR1019990047792A
Authority: KR
Inventors: 최건영
Original assignee: 삼성전자주식회사
Priority date: 1999-10-30
Filing date: 1999-10-30
Publication date: 2006-10-31
Also published as: KR20010039413A

Abstract

본 발명은 움직임 추정을 위한 하드웨어에서 매 매크로블록마다의 SAD 및 모션벡터를 제공받는 프로세서의 동영상 압축 방법에 있어서, SAD의 합을 구하고 SAD의 합과 미리 설정된 제1임계값을 비교하여 비교 결과 SAD의 합이 상기 제1임계값보다 작으면 해당 프레임에 움직이는 물체가 없는 것으로 간주하여 고 압축율로 압축을 행하며, SAD의 합이 제1임계값보다 크면 해당 프레임에 움직이는 물체가 있는 것으로 간주하여 저 압축율로 압축을 행함을 특징으로 한다.

동영상, 압축, 모션벡터

Description

동영상 압축 방법{METHOD FOR COMPRESSING MOVING PICTURE}

도 1은 본 발명의 일 실시예에 따른 로우-비트 레이트 압축 알고리즘을 이용한 동영상 압축 시스템의 개략적인 블록 구성도

도 2는 본 발명의 일 실시예에 따른 로우-비트 레이트 비디오 코덱의 엔코더의 개략적인 블록 구성도

도 3은 본 발명의 일 실시예에 따른 물체 존재 구간의 검출 방식을 설명하기 위한 프레임 도면

도 4는 본 발명의 일 실시예에 다른 물체 존재 구간의 검출 동작의 흐름도

본 발명은 동영상 압축 기술에 관한 것으로, 특히 H.263이나 MPEG(Moving Picture Expert Group)4 등의 고압축율 비디오 코덱 알고리즘(video CODEC algorithm)을 사용하여 카메라로부터 입력된 동영상을 디지털 데이터로 압축하여 MOD(Magnetic Optical Disk)나 HDD(Hard Disk Drive) 등의 고용량 디지털 저장매체 에 장시간 저장하기 위한 방법에 관한 것이다.

정보 미디어가 갖는 정보량은 최근들어 급증하고 있으며, 특히 비디오 카메라에 의해 촬영되는 동영상은 그 정보량이 매우 많다. 이러한 카메라의 동영상을 ISDN(Integrated Services Digital Network)과 같은 통신망을 통해 그대로 보내는 것은 실시간 디스플레이가 거의 불가능하며, 또한 많은 정보량으로 인해 통신에 소요되는 시간이 많이 요구된다.

따라서, 이리한 동영상의 정보를 압축하여 전송하는 기술이 개발되었고, 그 대표적인 기술이 MPEG 계열의 알고리즘이다. 이러한 정보의 압축 기술은 더욱더 그 압축율을 높이면서 원래 정보를 최대한 복원할 수 있도록 개발되고 있다.

따라서 본 발명의 목적은 H.263이나 MPEG4 등의 고압축율 비디오 코덱 알고리즘을 사용하여 카메라로부터 입력된 동영상을 디지털 데이터로 압축하여 MOD나 HDD 등의 고용량 디지털 저장매체에 장시간 저장할 수 있는 방법을 제공함에 있다.

상기한 목적을 달성하기 위하여 본 발명은 영상 프레임의 감시중에 물체의 움직임을 검출하여 화면에 물체가 들어오면 고화질이 되도록 압축하며, 물체가 없을 경우에는 저화질 고압축율이 되게 하므로, 저장매체의 저장공간을 절약하여 결과적으로 적은 양의 저장 용량으로 장시간 저장할 수 있게 하며, 화면에 물체가 있는 구간을 검출하는 기술을 제공한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명의 일 실시예에 따른 시스템은 도 1에 도시된 바와 같이, RISC(Reduced Instruction Set Computer) 프로세서(11)와, 비디오 코덱 엔진(video codec engine)(12)과, 오디오 코덱(audio codec)(13) 및 저장매체 인터페이스(14) 로직을 포함하여 구성된다.

RISC 프로세서(11)는 전체 시스템 컨트롤 및 비디오 압축 알고리즘 및 오디오 압축 알고리즘 중 일부를 소프트웨어로 처리할 수 있다. 또한 비디오 데이터와 오디오 데이터를 멀티플렉스(multiplex)하는 동작을 소프트웨어(software)로 처리하게 된다.

비디오 코덱 엔진(12)은 상용 비디오 칩을 사용하는 경우와, DSP를 사용하여 소프트웨어적으로 사용하는 경우, 그리고 비디오 코덱의 일부 기능을 당당하여 처리할 수 있는 작은 사이즈의 ASIC(Application Specific Integrated Circuit)형태로 구현하는 방식이 있을 수 있다.

먼저 상용 비디오 코덱 칩을 사용하는 경우에는 8x8사의 LVP 등 상용 H.263 비디오 코덱을 사용할 수 있다. 그런데 이러한 칩은 현재 H.263 비디오 코덱 알고 리즘에 한정되어 있으며 칩 가격이 상당히 고가이다. MPEG4로 확장할 수 있는 (flexibility)이 없어서 H.263 전용으로만 사용한다.

다음으로, DSP를 사용하여 소프트웨어적으로 처리하는 경우에는 TI사의 TMS320C60 등의 고성능 DSP를 사용하면 H.263 및 MPEG4 코덱 등을 소프트웨어적으로 구현할 수 있다. 이런 경우 DSP에서 처리할 수 있도록 카메라 입력을 적절히 디지털화 시키고 포맷(format)을 해주는 주변 로직과, TV나 외부 모니터에 디스플레이 해주게 하는 비디오 출력 프로세스를 위한 주변 로직이 필요하게 된다. 그런데 DSP 프로그램에 의해 적응적으로 소프트웨어로 H.263이나 MPEG4 등의 알고리즘을 구현할 수 있다. DSP의 성능이 모자라서 압축 알고리즘을 모두 처리할 수 없을 경우에는 일부 기능을 떼어 메인 프로세서(RISC CPU)에게 넘겨 처리하게 할 수 있다.

비디오 코덱 엔진 ASIC의 경우에는 H.263이나 MPEG4 압축 알고리즘에 공용으로 사용할 수 있는 알고리즘의 일부 기능, 예를 들어 움직임 추정(motion estimation), 움직임 보상(motion compensation) 부분을 작은 사이즈의 ASIC으로 만들고 그 부분을 제외한 나머지 비디오 코덱 알고리즘은 메인 프로세서(RISC CPU)에서 소프트웨어적으로 처리하게 한다. 본원 출원인에 의해 선출원된 특허 출원번호 제98-6718호(명칭: 실시간 동영상부호화를 위한 초고속 움직임 추정기법)와, 동 제98-49474호(명칭: 움직임 추정장치) 및 동 제98-49473호(명칭: 동영상 부호화방법)에는 약 100MIPS 이하의 RISC CPU 계산량 및 10만 게이트 이하의 ASIC에 의한 움직인 추정 처리 칩으로 H.263 및 MPEG4 비디오 코덱을 QCIF(Quardrature Common Interface Format) 30프레임/초, 64Kbps 속도로 구현하는 기술이 개시되어 있다.

오디오 코덱(13)은 DSP나 상용 칩을 사용하여 구현할 수 있다. G.723.1 오디오 코덱 방식을 사용하면 5.3~6.3Kbps 정도로 압축 가능하다.

본 발명의 중요한 특징 중의 하나는 물체가 화면에 등장하였을 경우를 감지하여 고화질로 압축하는 방식이다. 물체가 화면에 등장하여 사라질 때까지의 기간동안 감지하는 방식이 중요하며 그 방식은 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 로우-비트 레이트 비디오 코덱(H.263/MPEG4)의 엔코더(encoder)의 개략적인 블록 구성도이다. 도 2를 참조하면, 본 발명에 따른 엔코더는 영상 캡처부(capturing image)(21)와, 신호 감산부(SubBlock)(22), DCT(Discrete Cosine Transform)(23), 양자화부(Quantizer)(24), VLC(Variable Length Coding)(25), 버퍼(26), 역양자화부(31), IDCT(Inverse DCT)(32), 신호 합성부(AddBlock)(33), 프레임 메모리(34), 로컬 SRAM(35), ME(Motion Estimation)(36) 및 MC(Motion Compensation)(37)로 구성된다.

본 발명은 상기 특허 출원번호 제98-6718호 등에 개시된 기술을 사용하여 H.263 및 MPEG4 비디오 코덱을 구현할 경우에 도 2에 개시된 바와 같이 움직임 추정과 움직임 보상 부분을 ASIC으로 구현하여 하드웨어로 처리하고 나머지 부분을 RISC CPU에서 소프트웨어적으로 처리하는 방식으로 구현할 수 있다. 이 경우에 처리하는 매 매크로블록(MB: Macro Block)마다 하드웨어에서 SAD(Sum of Absolute Difference) 값 및 움직임 벡터(MV: Motion Vector)값을 CPU에게 넘겨주게 되어 있다.

도 3은 본 발명의 일 실시예에 따른 물체 존재 구간의 검출 방식을 설명하기 위한 도면이다. 도 3에 도시된 바를 참조하면, 화면에 물체가 나타났을 경우에는(B구간) 그 프레임의 좌에서 우로 MB를 스캔해 나갈 때에 물체의 경계에 해당하는 첫 번째 MB들의 SAD가 큰 값을 가지게 된다. 매 프레임마다 그 프레임의 모든 MB들의 SAD값들을 더해 놓은 SAD의 합이 갑자기 증가하는 프레임이 물체가 나타나는 프레임임을 알 수 있다.

이와 같이 각 프레임의 SAD의 합들을 비교하여 물체가 나타난 프레임을 검출하고 그 프레임에서부터는 고화질의 압축율로 처리하게 된다. 예를 들어, 이전까지는 10Kbps이하의 압축율 및 1프레임/초의 속도로 처리하다가 물체가 검출되면 128Kbps 정도의 압축율 및 매 30프레임/초의 속도로 처리하게 된다. 즉 각 프레임의 SAD의 합이 일정 임계(threshold)값보다 크게 되면 물체가 나타난 프레임으로 결정하며 이 임계값은 감시하려는 장소의 배경 및 환경에 따라 미리 적절한 실험을 거쳐서 결정한다. 물체가 화면 안에 나타난 직후부터 물체의 움직임이 없을 경우 다시 SAD값이 감소되다가(B구간), 물체가 사라진 C구간이 시작되는 첫 프레임에서는 다시 SAD가 급격히 증가했다가 그 다음 프레임부터는 다시 SAD가 물체가 다시 나타나기 전까지 최소치를 유지하고 있게 된다. 물체가 있는 구간동안 고화질로 녹화하기 위해서는 그 구간(B구간)을 감지하고있어야 하는 데 이는 MV(Motion Vector)들의 분포로 알 수 있다., 즉 A구간 동안은 매 MB에서의 MV들이 0에 가까운 값들로 유지되어 있으나 B구간에서는 물체의 움직임에 의해 MV값이 0에 가까운 값이 아닌 일정 값들을 지니고 있으며, 다시 C구간에서는 MV값들이 0에 가까운 값으 로 유지된다. 따라서 SAD값이 급증하는 것으로 B구간의 시작을 검출하고, 이 프레임에서부터는 각 프레임에서 모든 MB에 대한 MV들의 절대치의 합을 계산하여 A구간에서의 0에 가까운 MV들의 절대치 합에 비해서 어느 수준 이상 큰 값을 유지하고 있는지를 비교하고 있다가 다시 SAD가 급증하는 C구간의 시작점이 검출되었을 시점에서 MV들의 절대치의 합이 다시 0에 근접하는 값이 되면 실질적인 C구간이 시작되었음을 감지하여 이에 합당한 저화질 고압축율로 녹화를 하여 데이터 저장 용량을 절약할 수 있게 한다.

상기와 같은 검출 방식은 도 1 및 도 2에서 설명한 바와 같이 움직임 추정을 위한 ASIC나 코프로세서(Co-processor) 또는 DSP 등을 사용하여 하드웨어로 처리하거나, 또는 H.263, MPEG4 등 코덱을 처리하는 전용 하드웨어가 있어서 이러한 하드웨어에서 매 MB마다의 SAD 및 MV를 CPU에게 넘겨줄 경우 CPU에서는 하드웨어로부터 넘겨 받은 SAD, MV들의 합만을 계산하고 이전 프레임에서의 값들과 비교하는 것 만으로 간편하게 물체가 있는 구간을 검출해 낼 수 있기 때문에 매우 효율적이다.

도 4는 본 발명의 일 실시예에 다른 물체 존재 구간의 검출 동작의 흐름도이다. 도 4를 참조하면, 프레임이 시작되면 41단계에서 매 프레임 내의 모든 MB에 대한 SAD 값을 더하게 된다. 이후 42단계에서 상기 SAD 값의 합(SADfn)을 미리 설정된 임계값(제1임계값)과 비교하게 된다. 상기 42단계의 비교 결과, SAD 값의 합이 제1임계값보다 크게 되면 물체가 나타난 프레임으로 결정하여 이후 44단계로 진행하며, 상기 SAD 값의 합이 상기 제1임계값보다 크지 않으면, 물체가 나타나지 않은 프레임으로 결정하여 43단계로 진행한다. 43단계에서는 물체 부재 구간 처리, 즉 저화질 고 압축율 부호화로 프레임을 압축하는 동작을 수행하며, 이후 상기 41단계로 되돌아가서 상기의 과정을 반복 진행한다. 한편 44단계에서는 물체 존재 구간 처리, 즉 고화질 저 압축율 부호화로 프레임의 압축동작을 수행한다. 이후 45단계에서는 매 프레임 내의 모든 MB에 대한 MV 값의 절대치를 더하게 된다. 이후 46단계에서는 상기 절대치의 합(Sum(Abs(MV)))이 미리 설정된, 예를 들어 0에 가깝게 설정된 제2임계값과 비교하게 된다. 상기 46단계의 비교 결과, 상기 절대치의 합이 제2임계값보다 크면 상기 44단계로 진행하여 상기의 과정을 반복 진행하게 되고, 상기 절대치의 합이 제2임계값보다 작으면, 다시 물체가 존재하지 않은 프레임인 것으로 간주하고 상기 41단계로 진행하여 상기의 과정을 반복 진행하게 된다.

상기한 바와 같은 본 발명의 특징에 따른 비디오 압축 알고리즘은 H.263이나 MPEG4 등의 저전송율 고압축 부호화 방식을 사용할 수 있다. 이러한 방식을 사용할 경우 화면에 움직이는 물체가 없을 경우 배경화면만이 있기 때문에 10Kbps이하로 압축하더라도 고화질의 화면을 얻을 수 있으며, 감시중 물체가 화면안에 나타났을 경우를 감지하여 이러한 경우에는 128Kbps이상으로 압축을 하면 상당히 좋은 화질을 얻을 수 있다.

예를 들어 은행의 현금인출기에 사용되는 감시시스템의 경우에는 사람의 머리 및 어깨 영상이 주 타겟이 되기 때문에 이런 경우 CIF(352x288) 크기의 영상으로 128Kbps 정도로 압축율로 녹화하게 되면 상당히 고화질의 영상이 얻어지게 된다. 사람들이 빈번하게 출입하게 되어 화면안에 물체(사람)가 있는 시간이 총 2/3을 차지한다고 하면 평균적인 압축율은 10Kbps*1/3 + 128Kbps*2/3 = 88.7Kbps(11KB/s)가 된다. 이 경우 2.6GB의 MOD 한 장에는 2.6GB/11Kbps = 236000초(65.5시간) 분량의 데이터를 저장할 수 있다. 즉 24시간 내내 녹화를 한다면 약 3일 분량의 영상을 MOD 디스크 한 장에 저장 가능하다. 마찬가지로 6GB 용량의 HDD에 151.5시간 즉 6.3일 분량의 영상을 저장할 수 있다.

한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구의 범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이 본 발명은 H.263이나 MPEG4 등의 고압축율 비디오 코덱 알고리즘을 사용하여 카메라로부터 입력된 동영상을 디지털 데이터로 압축하여 MOD나 HDD 등의 고용량 디지털 저장매체에 장시간 저장할 때에 영상 프레임의 감시중에 물체의 움직임을 검출하여 화면에 물체가 들어오면 고화질이 되도록 압축하며, 물체가 없을 경우에는 저화질 고압축율이 되게 하므로, 저장매체의 저장공간을 절약하여 결과적으로 적은 양의 저장 용량으로 장시간 저장할 수 있게 하며, 화면에 물체가 있는 구간을 검출할 수 있다.

Claims

동영상 촬영 장치에서 수신 영상을 압축하는 방법에 있어서,

상기 수신 영상을 저화질 고압축률을 사용하여 압축하는 과정과,

상기 수신 영상의 매 매크로블록마다의 절대 차이값의 합(Sum of Absolute Difference : SAD)과 모션 벡터(Motion Vector : MV)를 수신하고, 상기 수신 영상의 SAD를 가산하는 과정과,

상기 가산된 SAD의 합과 미리 설정된 제1임계값을 비교하는 과정과,

비교 결과, 상기 SAD의 값이 상기 제1임계값보다 크면 해당 프레임을 고화질 저압축율로 압축하는 과정을 포함함을 특징으로 하는 동영상 압축방법.
제 1항에 있어서,

상기 수신되는 영상을 고화질 저압축율로 압축하는 중, 상기 MV의 절대치의 합과 미리 설정된 제2임계값과 비교하는 과정과,

상기 SAD의 값이 상기 제1임계값보다 크고 매 프레임 내의 모든 매크로블록에 대한 MV의 절대치의 합이 미리 설정된 제2임계값에 도달하면 해당 프레임을 저화질 고 압축율로 압축함을 특징으로 하는 과정을 더포함함을 특징으로 하는 동영상 압축 방법.
제2항에 있어서, 상기 저화질 고 압축율은 10Kbps이하의 압축이며, 상기 고화질 저 압축율은 128Kbps이상의 압축임을 특징으로 하는 동영상 압축 방법.
제1항에 있어서, 상기 동영상 촬영장치는 H.263 및 MPEG4 비디오 코덱을 이용하여 압축함을 특징으로 하는 동영상 압축 방법.
동영상 촬영 장치에서 수신 영상을 압축하는 방법에 있어서,

상기 수신 영상의 매 매크로블록마다의 절대 차이값의 합(Sum of Absolute Difference : SAD)과 모션 벡터(Motion Vector : MV)를 수신하고, 상기 수신 영상의 SAD를 가산하는 과정과,

상기 SAD의 합과 미리 설정된 제1임계값을 비교하는 과정과,

상기 비교 결과 상기 SAD의 합이 상기 제1임계값보다 작으면 해당 프레임에 움직이는 물체가 없는 것으로 간주하여 고 압축율로 압축하는 과정과,

상기 비교 결과 상기 SAD의 합이 상기 제1임계값보다 크면 해당 프레임에 움직이는 물체가 있는 것으로 간주하여 저 압축율로 압축하는 과정을 포함함을 특징으로 하는 동영상 압축 방법.
제5항에 있어서,

저 압축율로 압축을 행하는 경우, 매 프레임 내의 모든 매크로블록에 대한 MV의 절대치를 더하는 과정과,

상기 SAD의 값이 상기 제1임계값보다 크고 상기 MV의 절대치의 합이 미리 설정된 제2임계값보다 작으면 해당 프레임을 고 압축율로 압축하는 과정을 더포함함을 특징으로 하는 동영상 압축 방법.