KR100385865B1

KR100385865B1 - Ｕｓｂ 카메라용 이미지 압축방법

Info

Publication number: KR100385865B1
Application number: KR10-2000-0023511A
Authority: KR
Inventors: 이영환; 안종국; 이철규
Original assignee: 씨너텍코리아주식회사
Priority date: 2000-05-02
Filing date: 2000-05-02
Publication date: 2003-06-02
Also published as: KR20010103186A

Abstract

USB 카메라등에서 화상을 압축하기에 적합한 이미지 처리방법을 제공한다.

이미지 처리방법은, 원본이미지를 1 라인단위로 선형적으로 샘플링하는 단계와; 샘플링된 8 X 8 블럭에 대하여 1차원 DCT 처리를 행하는 단계와; 1차원 DCT 처리된 각 블럭의 계수에 대해서 소정의 값으로 양자화하는 단계와; 양자화후의 계수중 0 의 값이 소정갯수 범위내인지의 여부를 판단하는 단계와; 계수중 0 의 값이 소정갯수 이하인 경우에는 양자화 값을 조정하는 단계와; 양자화된 8 X 8 블럭을 DC 계수의 컬럼으로부터 상하방향으로 또한 우측으로 1컬럼씩 스캐닝하는 단계; 및 허프만 엔코딩을 행하는 단계로 구성된다.

Description

ＵＳＢ 카메라용 이미지 압축방법{Image processing method for USB camera}

본 발명은 이미지 압축방법에 관한 것으로서, 보다 상세하게는, 퍼스널컴퓨터의 범용직렬버스 (Universal Serial Bus: 이하 "USB"라 함) 인터페이스에 접속하여 사용하는 USB 카메라등에 이용되는 이미지압축방법에 관한 것이다.

PC와 인터넷의 대중화에 힘입어 화상통신에 대한 수요가 폭발적으로 증가하고 있다. 특히 전용선에 연결된 인트라넷 시스템의 경우 동화상을 통한 상대방과의 통신이 가능하기 때문에, 개인 사용자뿐아니라 기업체에서도 화상회의등을 통해 시간적, 경제적 효휼성을 꾀하고 있는 추세이다. USB 카메라는 이러한 PC 카메라의 일종으로, 현재 가장 일반적으로 사용되고 있는 카메라이기도 하다.

이러한 USB 카메라에서 사용되고 있는 이미지 압축방법의 하나인 JPEG (Joint Photographic Expert Group) 이미지 압축방법은 압축률이 높고, 재생시의 이미지 복원률이 뛰어나기 때문에 전세계적으로 가장 널리 사용되고 있는 표준적인 이미지 압축방법중의 하나이다.

이러한 JPEG 압축방법은, 컴퓨터등과 같이 원본이미지가 사전에 준비되어 있고, 또한 CPU 나 메모리등 하드웨어 자원이 충분한 환경이라면 사용하기에 특별한 문제점이 일어나지 않는다.

그러나, 이러한 JPEG 압축방법은, USB 카메라등에서 사용하려면, 압축을 위하여 메모리용량이 커지는 등, 하드웨어 자원을 충분히 마련해주어야 하나, 이는 곧 장비의 고가화로 연결이 된다.

도 1 에서 나타낸 바와 같이, 일반적인 USB 카메라에서는, 피사체를 촬상한 후, CMOS 이미지 센서에서 피사체의 이미지를 가로방향으로 한 라인씩 출력하며, 이 데이터를 이미지 처리과정을 거쳐서 프레임 버퍼에 저장할 때, 이미지가 시간의 경과에 따라서 일부분씩 완성이 되고, 일부분이 완성되는 즉시 이미지를 압축해야 이미지 압축시간을 단축시킬 수 있기 때문에, USB카메라 자체의 메모리 크기가 큰 문제로 되어 있다.

이를, 640 ×480 크기의 이미지에 대해서 설명하면, 도 1 에서와 같이, USB 카메라로 피사체를 촬영하는 경우, CMOS 이미지 센서는 이미지를 가로방향으로 한줄씩, 즉, 640 픽셀(WT:폭)씩 베이어 포맷 이미지로 변환하게 되고, 이미지 처리과정을 거치도록 되어 있으며, 이를 라인버퍼(Line Buffer)에 저장하고 저장된 데이터를 이미지처리하기 위하여 라인버퍼로부터 읽어내도록 하지만, 이 과정에서 1 ×640 byte 크기의 메모리가 3개 필요로 하게 된다. 또한, JPEG 압축 처리를 위하여 8 ×8 블록을 얻기 위하여는, 최소한 8 ×640 byte 크기의 메모리를 필요로 한다. 결과적으로, 전체 필요한 메모리의 크기는,

8 ×640 + 3 ×640 = 7,040 (byte) …… (1)

가 필요하게 된다.

따라서, 상기와 같은 종래의 JPEG 압축방법을 그대로 이용할 때에는 필연적으로 사용되는 USB카메라 자체의 메모리 크기가 커질 수 밖에 없으며, 따라서 장비가 고가로 된다는 문제점이 있었다.

본 발명의 목적은, 상기와 같은 문제점을 해결하기 위한 것으로서, USB카메라등으로 촬영한 이미지를 압축하여 PC등에 송신하기 위해 필요한 USB카메라 자체의 메모리양을 현저히 절감함으로써, USB 카메라등으로 촬영한 이미지를 실시간에 카메라내에서 압축해야 하는 경우에 사용하기에 적합한 새로운 이미지 압축및 처리방법을 제공함에 있다.

이러한 목적을 달성하기 위하여, 본원발명에 따르면: 원본이미지를 1 라인단위로 선형적으로 샘플링하는 단계와; 샘플링된 8 X 8 블럭에 대하여 1차원 DCT 처리를 행하는 단계와; 1차원 DCT 처리된 각 블럭의 계수에 대해서 소정의 값으로 양자화하는 단계와; 양자화후의 계수중 0 의 값이 소정갯수 범위내인지의 여부를 판단하는 단계와; 계수중 0 의 값이 소정갯수 범위를 벗어나는 경우에는 양자화 값을 조정하는 단계와; 양자화된 8 X 8 블럭을 DC 계수의 컬럼으로부터 상하방향으로 또한 우측으로 1컬럼씩 스캐닝하는 단계; 및 허프만 엔코딩을 행하는 단계를 포함하여 구성되는 것을 특징으로 하는 USB 카메라용 이미지 처리방법이 제공된다.

도 1 은 CMOS 이미지센서를 채택한 USB 카메라에 있어서의 이미지 처리과정을 설명한 도면이다.

도 2 는 종래의 JPEG 압축방법의 개요를 설명한 도면이다.

도 3 은 종래의 JPEG 압축방법에서 사용되는 지그재그 스캐닝방법을 나타내는 도면이다.

도 4 는 본 발명에 따른 JPEG 압축방법의 과정을 나타낸 도면이다.

도 5 는 본 발명에 따른 상하방향 스캐닝방법을 나타낸 도면이다.

종래의 JPEG 이미지 압축방법을 간단히 설명하면 다음과 같다.

도 2 는 종래의 JPEG 이미지 압축방법에 대한 블록도이다. 즉, JPEG 압축방법은, 먼저 샘플링과정에서 원본 이미지의 색성분을 Y, Cb, Cr 영역으로 변환한다. 여기에서 Y 는 명도를 그레이스케일로 나타낸 것이며, Cb 및 Cr 은 2차원의 색상데이터를 나타낸다. 명도는 시각에 매우 민감하기 때문에 원래의 픽셀의 갯수대로 샘플링하고, 색채 데이터인 Cb 및 Cr 은 명암에 비해 훨씬 덜 민감하므로, 데이터양을 줄이기 위하여, 2개의 블록의 Cb 및 Cr 의 평균값을 구하고 한개의 블록으로 만든다. 이를 다운 샘플링(Down Sampling)이라 한다.

다음 단계는 DCT(Discrete Cosine Transform) 과정으로, 영상을 공간영역으로부터 주파수 영역으로 변환하고, 중요한 데이터와 부속하는 데이터가 구분되는 과정이다. 각 이미지요소, Y, Cb 및 Cr 들에 대해 2차원 DCT 를 수행하면 아래의표 1 에서 나타낸 바와 같은 2차원 DCT 블록들이 생성된다.

(표 1)

DC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC
AC	AC	AC	AC	AC	AC	AC	AC

이 단계에서의 데이터는 64개의 계수의 집합으로 이루어진 3개의 이미지로 된다. 2차원 DCT 에 의한 8 X 8 블록의 상부 좌측블록의 DC 계수는 원래파형의 저 주파 스펙트럼을 나타내며, 블록의 오른쪽으로 진행하면서 파형을 이루는 계수들은 AC 계수로서 고주파 스펙트럼을 나타낸다. 화상데이터는 일반적으로 변화가 적으므로 낮은 주파수, 특히 0 주파수(DC) 성분이 큰 값을 가지게 되고, 높은 주파수 성분은 상대적으로 낮은 값을 가지게 된다. 따라서 대부분의 정보는 낮은 주파수 쪽으로 몰리게 된다. 또한, 인접한 각 픽셀끼리는 색상 또는 명도의 변화가 거의 일어나지 않는 경우가 많기 때문에, 계수의 대부분의 값들은 0 이거나 0 에 인접한 값을 가지게 된다.

이를 다음 단계인 양자화 (Quantization) 과정을 거쳐 높은 압축율을 가지는 화상데이터로 한다.

양자화 과정은 DCT 과정을 통하여 얻어진 DCT 계수값들을 어떤 상수(양자화계수: "Quantization coefficient")들로 나누어 유효자리의 비트수를 줄이는 과정이다. 양자화계수가 커질수록 많은 데이터가 없어지게 된다. 따라서, 이 과정에서 데이터가 압축되는 대신 색정보는 손상을 입게 된다. 양자화의 공식은 다음과 같다.

Q (x,y) = D(x,y)/QT(x) ……(2)

여기에서, D(x,y): DCT 된 블록의 (x,y) 위치값

QT(x) : x 번째 컬럼에 적용할 양자화 계수값

Q(x,y) : 양자화된 블록의 (x,y) 위치의 값을 각각 나타낸다.

상기에서의 QT 값은 JPEG 표준에 따른 표준양자화표 (Standard Quantization Table)에 표시된 소정의 값을 선택한다.

양자화 과정이 끝나면 지그재그 스캐닝과정으로 이행한다. 지그재그 스캐닝은 양자화된 8 X 8 블록을 1 X 64 벡터로 하는 것으로서, 도 3 에서 나타낸 것과 같은 방식으로 왼쪽 제 1 컬럼의 DC 값을 시작으로 지그재그식으로 각 계수값을 스캐닝하는 것을 말하며, 2차원 DCT 후의 계수의 특성상 지그재그 스캐닝되는 순서대로 계수의 발생빈도가 높으므로 중요한 데이터의 순서로 스캐닝하는 것이다.

다음으로 허프만 압축방법을 사용하여 최종적으로 압축을 하고, JPEG 화상이 얻어지게 된다. 압축된 이미지의 디코딩은 상기의 과정을 역으로 수행함으로써 이루 어진다.

본 발명은 상기와 같은 종래의 JPGE 화상생성 과정을 개량하여 USB 카메라등과 같이 메모리자원이 충분치 않은 환경에서 사용할수 있도록 한 것이며, 그 과정은 도 5 에서 나타낸 바와 같으며, 이하, 본 발명의 1 실시예에 대하여 상세히 설명한다.

(실시예)

① 선형 다운 샘플링 (Linear down sampling)

먼저, 소스이미지로부터 8 X 8 블록을 만드는데 필요한 메모리의 양을 감소시키기 위하여, 블록을 취하는 방법을 변경한다. 상술한 바와 같이, USB 카메라에서는 CMOS 이미지 센서가 화상에 있어서 한줄, 예를 들어 640 X 480 픽셀크기의 화상에 있어서는 640 개의 픽셀을 스캐닝하게 되므로, 그 순서대로 샘플링하는 것이며, 이를 선형 샘플링이라 한다.

이와 같이 CMOS 이미지센서로부터 입력되는 선형 데이터를 순서대로 8 X 8 블록으로 생성시킴으로써, 데이터를 보관하고 이미지 처리를 행하는 메모리를 감소시킬 수 있다.

따라서, 종전에 사용되는 메모리에 비해서, 640 X 480 크기의 이미지에 대하여,

3 X 640(픽셀수) = 1,920 (byte) …… (3)

크기의 메모리만으로도 충분하게 된다.

또한, 다운샘플링은 Y:Cb:Cr = 9:1:1 의 비율로 한다. 즉 Y 는 9개의 픽셀에 대하여 매 픽셀마다 1개씩, 또한 Cb 및 Cr 은 9개의 픽셀에 대하여 1개의 평균값을 취하여 샘플링한다. 이와 같이 함으로써 처리하는 데이타의 양을 더욱 감소시킬 수 있다.

② 1차원 DCT

종래의 JPEG 압축방법에서는, 상술한 바와 같이 Y, Cb, Cr 블록에 대해서 2차원 DCT 과정을 거쳤다. 그러나, 2차원 DCT 는 2차원 공간의 정보를 하나의 특징정보인 DC 계수와 그 특징정보를 기준으로 만들어진 다른 정보인 AC 계수의 변동량으로 변환시킨것이며, 본 발명에서와 같이 선형샘플링 과정을 거친 데이터는 1차원 정보를 이용하여 만들어진 것이므로, 2차원 DCT 를 이용할 수 없으며, 1차원 DCT 를 적용하여야 한다.

이와 같은 1차원 DCT를 거친 8 X 8 블록을 나타내면 다음 표 2 와 같다 .

(표 2)

DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC
DC	AC	AC	AC	AC	AC	AC	AC

③ 동적, 국부적인 양자화

상기와 같은 1차원 DCT 는 종래의 2차원 DCT 과정에 비해서 색정보가 여러개의 점으로 분산되기 때문에 압축효율이 높지않다. 따라서, 이러한 문제점을 해결하기 위하여, 본원발명에서는 동적(dynamic) 이며 국부적인 양자화 방법을 선택하였다.

종래의 양자화방법에서는 상술한 바와 같이 QT 값을 표준양자화표에서 일정한 값을 선택하여 계수값을 나누도록 하였으나, 본원발명에서는 화상의 상태에 따라서 상기 QT 값을 임의로 변경할 수 있도록 하였다.

여기에서, 화상의 상태를 판단하는 기준이 필요한데, 이것은 양자화의 결과 계수값에 0 이 얼마나 많이 포함되어 있는 가를 기준으로 한다. 계수값 0 의 갯수는 화상의 복잡도를 의미하는데, 0 이 많을수록 화면은 변화가 많지 않고, 0 이 적을 수록 화면은 변화가 많게 구성된다. 또한 계수값 0 의 갯수가 많을 수록 압축효율이 높아져서 데이터의 크기는 작아지며, 갯수가 적을 수록 압축효율은 낮고 데이터의 크기는 커지게 된다.

본 발명에서는 15프레임/초의 정도로 압축율이 예상되는 QT 값을 초기값으로 하되, 화면의 상태가 기준으로 하는 정도를 벗어나는 경우에는 양자화 계수의 값을 올리거나 내려서 다시 양자화 과정을 거치도록 함으로써, 일종의 피드백과정을 거치는 양자화가 가능하도록 하였다.

여기에서 화면의 상태를 판단하는 기준은 양자화의 결과 64개의 계수값에 얼마나 많은 갯수의 0 이 포함되어 있는 지를 정해놓고, 소정의 0 의 갯수보다 적은 경우에는 양자화 계수를 낮게 함으로써 화상의 압축율을 낮추도록 하고, 많은 경우에는 양자화 계수를 높임으로써 화면의 상태를 임의로 조절하도록 한다.

또한, 이러한 동적인 양자화는 CMOS 이미지센서로부터 입력되는 픽셀수 64 개에 대한 8 X 8 블럭에 대하여 행하는 것이기 때문에, 화상전체에 대하여 이루어지는 것이 아니며, 화상의 상태에 따라서 국부적으로 양자화를 행하는 것이므로,입력되는 라인에 대한 블럭의 속성에 따라서 압축율을 조절하는 것이 가능하므로, 화질에 영향을 주지 않는다는 효과를 가질 수 있다.

④ 상하방향 스캐닝

상기와 같은 양자화 단계를 거친 데이터는 아직까지 8 X 8 블럭의 형식을 취하고 있다. 다음 단계인 허프만 엔코딩을 위하여 8 X 8 블럭 데이터를 1차원데이터로 변경하여야 한다. 본원발명에서는 종래의 지그재그 스캐닝대신, 도 5 에서 나타낸 바와 같이 8 X 8 블럭의 가장 왼쪽 컬럼인 DC 계수를 상하방향으로 스캐닝한후, 하나의 컬럼씩 오른쪽으로 이동하면서 상하방향으로 스캐닝하도록 하였다. 이와 같이 스캐닝하는 이유는, 블럭의 가장 좌측인 DC 컬럼부분에 가장 중요한 데이터가 모여있고 오른쪽으로 진행하면서 순서적으로 0 의 계수가 많이 모여있기 때문에, 다음 단계인 허프만 엔코딩단계에서의 효율을 높이기 위한 것이다.

⑤ 허프만코딩(Huffman Coding)

상술한 상하방향 스캐닝에 따른 허프만 코딩단계를 거쳐 최종적으로 본 발명에 따른 새로운 형식의 이미지압축 파일이 생성된다. 이러한 압축파일은 표준 JPEG 압축파일의 형식과는 상이한 것으로서, 잠정적으로 SJP (SynerTEK JPEG)라 부르기로 한다.

본 발명에 따르면, 종래의 JPEG 압축방법을 변형하여, PC 카메라등으로 이용되는 USB 카메라의 한정된 하드웨어 자원에 적합한 이미지 압축방법으로 하였으므로, 저렴하면서도 화상의 품질을 보장할 수 있다는 효과를 가지게 된다.

Claims

원본이미지를 1 라인단위로 선형적으로 샘플링하는 단계와;

샘플링된 8 X 8 블럭에 대하여 1차원 DCT 처리를 행하는 단계와;

1차원 DCT 처리된 각 블럭의 계수에 대해서 소정의 양자화 계수로 양자화하는 단계와;

양자화후의 계수중 0 의 값이 소정갯수 범위내인지의 여부를 판단하는 단계와;

계수중 0 의 값이 소정갯수 범위를 벗어나는 경우에는 양자화 계수를 조정하는 단계와;

양자화된 8 X 8 블럭을 DC 계수의 컬럼으로부터 상하방향으로 또한 우측으로 1컬럼씩 스캐닝하는 단계; 및

허프만 엔코딩을 행하는 단계를 포함하여 구성되는 이미지 처리방법.