KR100619685B1

KR100619685B1 - 웨이브릿 부호화를 이용한 화상통신기기의 전송속도조절방법과 장치

Info

Publication number: KR100619685B1
Application number: KR1019990064885A
Authority: KR
Inventors: 유현범; 김정민
Original assignee: 엘지전자 주식회사
Priority date: 1999-12-29
Filing date: 1999-12-29
Publication date: 2006-09-08
Also published as: KR20010064652A

Abstract

본 발명은 화상통신기기의 영상 데이타 전송속도를 조절하는 방법과 그 장치에 관한 것으로서, 특히 웨이브릿(Wavelet) 부호화를 이용해서 임베디드(Embedded) 화상 압축/복원방식을 화상 전화기와 같은 화상통신기기에 적용하여, 전송 화상의 화질조절을 용이하게 하고 프레임당 전송시간을 정밀하게 맞추어 단위 시간당 전송되는 프레임 수를 가변할 수 있도록 한 화상통신기기의 전송속도 조절방법과 그 장치에 관한 것이다.

본 발명은 웨이브릿 변환과 임베디드 영상 압축/복원방식을 화상통신기기에 적용하여 전송 화상의 화질 조절의 용이성 및 프레임당 전송시간을 정밀하게 맞출 수 있도록 한 화상통신기기의 전송속도 조절방법과 그 장치를 제공한다.

또한 본 발명은 화상의 화질 및 프레임당 전송시간을 조절할 때 별도의 알고리즘을 필요로 하지 않으며, 사용자에게 화질이나 단위 시간당 전송될 프레임수를 용이하게 변경할 수 있도록 한 화상통신기기의 전송속도 조절방법과 그 장치를 제공한다.

화상(영상)전화기, 영상전송속도 조절방법

Description

웨이브릿 부호화를 이용한 화상통신기기의 전송속도 조절방법과 장치{METHOD AND APPARATUS OF IMAGE TRANSMITTING CONTROL USING WAVELET CODING FOR PICTUREPHONE}

도1은 화상 전화기의 구성을 나타낸 블럭도

도2는 영상신호의 웨이브릿 변환 결과의 서브밴드 영역 구조를 나타낸 도면

도3은 웨이브릿 변환 계수들의 제로트리 구조를 나타낸 도면

도4는 본 발명의 알고리즘 구현을 위한 영상 압축/복원부의 블럭도

도5는 본 발명의 알고리즘 수행을 위한 플로우차트

화상 통신기기로서 화상 전화기는 도1에 도시한 바와같이, CCD부(101)에서 촬영된 동영상을 CCD구동 및 신호 입력부(102)에서 카메라 디지탈 신호처리부(103)에 입력하고, 카메라 디지탈 신호처리부(103)는 카메라 디지탈 신호처리를 수행하여 모니터(104)로 디스플레이 하는 한편, 영상 압축/복원부(105)에 입력하고, 영상 압축/복원부(105)는 동영상을 압축하여 통신 제어 및 인터페이스부(106)를 통해 상대방에게 전송해 주며, 이와같은 영상 전송과 수신 제어는 시스템 제어부(107)의 제어를 받아 수행하게 된다.

그리고, 통신 제어 및 인터페이스부(106)를 통해서 수신된 상대방 영상신호는 영상 압축/복원부(105)에서 복원되어 카메라 디지탈 신호처리부(103)를 통해 모니터(104)에 디스플레이 된다.

위와 같은 화상 통신시에 이미지를 압축하여 전송하기 때문에 이미지 사이즈에 대해서도 이미지 특성에 따라 압축코드의 크기는 다양하게 나타나며, 화상 압축시 블럭기반 압축/복원 방식을 사용하고 있다.

이와 같이 블럭기반 압축/복원 방식을 사용할 때 압축전송될 코드의 사이즈가 일정하지 않아 단위 시간당 볼 수 있는 프레임의 수가 유동적이며, 화질 조절에 문제점이 따른다.

본 발명은 화상을 캡쳐하여 압축 전송하고, 수신된 화상 데이타를 복원하여 디스플레이하는 화상 전화기에 있어서,

캡쳐된 이미지에 대하여 웨이브릿 변환을 수행하는 단계와, 상기 웨이브릿 변환된 데이타에 대하여 최상위비트(MSB)로부터 시작하여 바이트가 생성될 때 마다 설정된 비트 레이트의 충족여부를 검색하면서 데이타 압축을 실행하는 단계와, 상기 압축단계의 압축율을 사용자가 조정하여 설정하고 이 설정된 압축율의 충족여부를 검색하는 단계를 병행하여 전송속도를 조절하는 것을 특징으로 하는 화상통신기기의 전송속도 조절방법이다.

또한 본 발명은 화상을 캡쳐하여 압축 전송하고, 수신된 화상 데이타를 복원하여 디스플레이하는 화상 전화기에 있어서,

전송할 이미지나 디스플레이할 이미지의 캡쳐 또는 디스플레이 제어를 위한 디스플레이 제어수단과, 전송할 이미지나 디스플레이할 이미지를 저장하는 이미지 디스플레이 및 캡쳐 메모리수단과, 상기 전송할 이미지나 수신된 이미지 데이타에 대하여 웨이브릿-임베디드 변환 부호화를 통한 압축 및 복원을 수행하는 압축복원 알고리즘 수행수단과, 상기 압축복원 알고리즘 수행수단의 계산을 위한 정보가 저장되는 기억수단과, 상기 압축복원 알고리즘 수행수단에 의한 압축율을 사용자가 설정하여 전송속도를 가변시키기 위한 전송속도 조절수단을 포함하여 구성됨을 특징으로 하는 화상 통신기기의 전송속도 조절장치 이다.

이와 같이 이루어지는 본 발명의 웨이브릿 부호화를 이용한 화상통신기기의 전송속도 조절방법 및 장치에 대하여 상세히 설명하면 다음과 같다.

정지영상의 압축 부호화 방법과 전송기술에 있어서, JPEG이 알려지고 있다.

정지영상을 효율적으로 압축하기 위해서는 영상 데이타가 갖고 있는 2차원 공간상의 중복성(redundency)을 제거해야 하는데, 이를 위한 방법으로 JPEG과 같은 기존의 압축/복원 알고리즘에서는 이산 코사인 변환(DCT)을 수행한다.

그러나 DCT변환을 이용한 정지영상 압축기술은 압축율이 높을수록 블럭효과(block effect)와 화질의 열화가 급속히 진행되는 단점이 있고, 따라서 이를 극복하기 위한 정지영상 압축기술로 웨이브릿 변환을 이용한 기술이 제시되고 있다.

특히 그 중의 한 가지로 웨이브릿 변환을 기반으로 임베디드 특성을 이용하는 압축 부호화 기술이 있다.

웨이브릿 변환 부호화의 장점은 대역분할 부호화(subband coding)라는 점인데, 대역분할 부호화의 장점은 각 병렬신호들을 대역분할 과정과 영상 압축과정이 독립적으로 운용된다는 점이고, 대역분할 부호화 자체가 정보를 자연스럽게 서로 다른 해상도(resolution)로 계층화(tree구조)시켜서 해상도가 다른 노드(node)들 사이에서 부가계층의 신호들을 가감함으로써 필요한 대역폭만을 사용할 수 있는 장점이 있다.

부호화 과정을 살펴보면, 먼저 영상신호를 대역필터뱅크를 통해서 서로 다른 주파수 영역으로 분리시키는데, 이는 2차원 공간상의 주파수 영역으로 분할되며, 주파수 대역이 높아짐에 따라 재생시 중요성(영상복원/화질에 기여하게 되는 정보의 수)이 감소하게 된다.

실제 영상 데이타의 내용을 보면 주파수가 낮은 대역의 경우 경계 부분이 많이 무너진(smoothed) 영상을 나타내며, 고주파 대역들은 주파수 대역에 따라 수직경계, 수평경계, 대각성분만을 나타낸다.

특히 인간의 시각이 대각선 성분의 인지에 약하다는 것을 감안하면 이 대역 데이타의 중요도를 더 세분화할 수도 있다는 것을 알 수 있다.

따라서, 웨이브릿 변환을 수행한 결과는 인간의 시각적 인식에 민감한 영향을 미치는 의미있는 정보를 상대적으로 더 많이 포함하고 있는 저주파 영역이 한쪽으로 집중되고, 상대적으로 영상신호의 의미있는 정보가 더 적게 포함된 고주파 영역이 다른 한쪽으로 집중되는 형태의 서브밴드 영역 분할구조를 가진다.

도2는 이러한 영상신호의 웨이브릿 변환결과에 따른 서브밴드 영역의 구조를 표현하고 있으며, 도3은 웨이브릿 변환 계수들이 제로트리구조를 보이고 있는 것을 나타내고 있다.

입력 영상신호가 웨이브릿 변환되어 나타난 웨이브릿 계수들이 서브밴드 영역에 분포된 특징을 살펴보면 도2에서 보는 것과 같이, 정해진 영역의 오른쪽 상단에 위치하고 있는 서브밴드 즉, HL₁ 영역은 수평 방향의 고주파 성분이 표시되고 있으며, 왼쪽 하단에 위치하고 있는 서브밴드 즉, LH₁ 영역은 수직방향의 고주파 성분이 표시되고 있으며, 오른쪽 하단에 위치하는 HH₁ 서브밴드 영역은 대각성분이 나타나게 된다.

이와같은 웨이브릿 변환의 특징을 이용해서 많은 압축부호화 방법이 개발되어 있으며, 그 알고리즘으로는 예를 들어 EZW(Embeded Zerotree Wavelet), SPIHT(Set Partition in Hierarchical Tree), TCQ(Trellis Coded Quantization) 등이 있다.

여기서, EZW는 중요한 의미를 갖지 않는 계수를 한꺼번에 구조적으로 부호화할 수 있는 기법으로, 엔트로피(entropy)를 이용한 부호화 방법이 웨이브릿 부호화 방법에 적합하게 변형되어 적용된 형태이다.

그리고, 제로트리(zerotree)에 기반한 압축 부호화 방법은 제로트리라는 데이타 구조를 이용하고, 비트-플랜(bit-plane) 부호화 방법이 혼합된 것으로서, 트리의 하위 구조가 제로이고, 시작하는 위치가 제로인 트리의 루트(root)로 설정하는 제로 심볼호들(symbols)의 트리구조를 정의하는 것이며, 제로트리의 루트는 EOB(end of block)로 설정되는 것이다.

도3에서 보이고 있는 것처럼, 트리의 구조는 2의 제곱에 비례하여 커지기 때문에 많은 양의 정보를 한꺼번에 부호화할 수 있는 것이며, 또한 제로트리는 웨이브릿 변환 계수를 부호화함에 있어서도 원영상과 같은 공간적 위치에 관련된 계수를 같이 모아서 부호화한다.

이를 위한 구체적인 부호화 과정은 도미넌트 경로(Dominant Pass)와 서브축 경로(Subordinate)로 나뉜다.

도미넌트 경로에서는 중요한 계수를 각 임계값을 기준으로 가려내고, 서브축 경로에서는 계수의 크기에 따른 중요도 순서로 계수를 정렬하여 매입파일(embedded file)을 생성한다.

도미넌트 경로에서 사용된 영상 심볼은 POS(Positive), NEG(Negative), IZT (Isolated Zero Tree), ZTR(Zero Tree Root), ZTC(Zero Tree Coefficient)의 5종류 심볼로 표현할 수 있으며, 이 중에서 POS와 NEG만 의미있는 심볼로 간주하여 서브축 패스에서 정렬된다.

매입(embedded)형태의 영상 부호화기는 임의의 순간에 부호화와 복호화를 멈출 수 있는 특성을 가지고 있기 때문에 정확한 압축율 조정이 가능하다.

이러한 임베디드의 특성을 가지기 위해서는 웨이브릿 계수의 값을 부호화하는 동시에 그 값의 위치 정보도 부호화해야 한다.

실제 부호화에 있어서 이 위치정보를 부호화하는데 많은 비트가 할당되는데, 이 위치정보를 효율적으로 부호화하게 되면, 그 만큼 많은 비트의 계수를 부호화하는데 사용되어질 수 있으므로 보다 높은 부호화 효율을 얻을 수 있다.

앞에서 설명한 바와같이, 기존의 블럭기반 압축 알고리즘은 블럭별로 화상을 압축하여 압축된 비트 스트림이 화상의 영역별로 정보를 가지게 되지만, 웨이브릿-임베디드 변환부호화 알고리즘은 변환방식 및 트리구조방식의 특성에 기인해 압축된 비트 스트림의 일부가 전체 화상의 특성을 포함(embedded)하고 있다.

따라서, 기존의 블럭기반 압축 알고리즘의 경우 압축 비트 스트림이 중간에 끊어진 경우 복원은 정보가 주어진 영역(화상의 일부)에 대해서만 가능했지만, 웨이브릿-임베디드 변환 부호화 알고리즘은 중간에 끊어지더라도, 일부의 압축 비트 스트림이 전체 화상의 특성을 가지기 때문에 단지 화질이 떨어진 전체 화상의 복원이 가능하게 된다.

또한, 웨이브릿-임베디드 변환 부호화 알고리즘의 경우는 비트 스트림의 일부가 화상 전체에 대한 정보를 가지고 있기 때문에 압축율에 따라 화질만 좌우될 뿐이므로 압축율 자체를 사용자가 직접 지정할 수 있게 된다.

따라서, 화상통신기기에서 사용자가 통화중 상대방이나 자신의 전송화면에 대한 압축율을 미세하게 조절할 수 있게 되며, 화질과 단위 시간당 전송 프레임의 수가 일정하게 된다.

또한, 화상 전체의 특성을 변환하고 또 압축하기 때문에, 기존의 블럭기반 알고리즘이 갖고있는 블럭효과가 없어서 높은 비율의 압축이 가능하고, 결과적으로 같은 화질일 경우 압축율이 더 좋아서 단위 시간당 전송 프레임의 수를 늘릴 수 있게 된다.

도4는 본 발명에 따른 영상 압축/복원부의 실시예 구성을 나타낸다.

CPU(401)는 웨이브릿-임베디드 영상 압축과 복원을 수행하기 위한 프로세서이며, 이 CPU(401)에는 버퍼 메모리(402)가 연결되어 상기 영상 압축과 복원수행에 필요한 정보를 임시로 저장하고 또 읽어낼 수 있게 된다.

그리고, CPU(401)가 전송할 화면을 캡쳐하거나 수신된 이미지를 디스플레이 하기 위한 디스플레이 제어기(403)가 CPU(401)에 연결되며, 디스플레이할 이미지 및 캡쳐된 이미지 데이타를 저장하기 위한 이미지 디스플레이 및 캡쳐 메모리(404)가 디스플레이 제어기(403)에 연결된다.

도4의 영상 압축 및 복원부에서, 이미지를 송신할 경우에는 CPU(401)가 디스플레이 제어기(403)에 캡쳐 명령을 내리고, 전송할 화상이 캡쳐되면 디스플레이 제어기(403)가 이미지 디스플레이 및 캡쳐 메모리(404)를 읽어 캡쳐된 이미지 데이타를 CPU(401)에 제공한다.

CPU(401)는 버퍼 메모리(402)를 이용해서 앞에서 설명한 바와같이 웨이브릿-임베디드 압축 알고리즘으로 화상압축을 수행하게 된다.

한편, 이미지를 수신할 경우에는 CPU(401)에서 버퍼 메모리(402)를 사용해서 복원하고, 복원된 이미지를 이미지 디스플레이 및 캡쳐 메모리(404)에 기록하고 디스플레이 제어기(403)에 디스플레이 명령을 주어, 상기 복원된 상대방 화상을 모니터에 디스플레이하게 된다.

도5는 본 발명에 따른 영상 압축과 복원 알고리즘의 수행순서를 나타내고 있다.

송신의 경우부터 설명한다.

이전 프레임의 데이타를 모두 송신하였으면 이미지 캡쳐를 실행하고, 캡쳐된 이미지에 대하여 압축을 시작한다.

즉, 상기 캡쳐된 이미지에 대하여 웨이브릿 변환(Forward Wavelet Transform)을 수행하고 EZW에서 최상위비트(MSB)에 대한 압축을 시작하여 바이트가 생성될 때 마다 설정된 비트 레이트(bit rate)를 충족시켰는가를 검색해 가면서 압축을 진행하며, 현재 최상위비트(MSB)에 대한 압축이 끝났으면 그 다음 최상위비트(MSB)에 대한 압축을 수행하는 방법으로 현재 프레임에 대한 압축을 완료하게 된다.

다음, 수신된 이미지 데이타에 대한 복원과정을 설명한다.

한 프레임의 데이타 수신이 모두 이루어졌으면 복원을 시작하여, EZW 역변환(Inverse EZW), 웨이브릿 역변환(Inverse Wavelet Transform)을 상기 압축과정의 역으로 수행함으로써 복원을 완료하고, 복원된 이미지의 디스플레이를 수행하는 것이다.

본 발명은 정지영상에서의 압축 부호화 및 복호화를 수행함에 있어서, 웨이브릿 변환 계수들의 특징을 이용하고 또 제로트리 구조를 이용한 EZW나 SPHIT 알고리즘과 같이 전체 화상에 대한 임베디드 특성을 갖는 알고리즘을 화상통신기기에 적용함으로써, 화상의 화질 조절과 단위 시간당 볼 수 있는 프레임의 수를 일정하게 하며, 보다 향상된 수행시간과 화질을 확보할 수 있다.

Claims

화상을 캡쳐하여 압축 전송하고, 수신된 화상 데이타를 복원하여 디스플레이하는 화상 전화기에 있어서,

캡쳐된 이미지에 대하여 웨이브릿 변환을 수행하는 단계와, 상기 웨이브릿 변환된 데이타에 대하여 최상위비트(MSB)로부터 시작하여 바이트가 생성될 때 마다 설정된 비트 레이트의 충족여부를 검색하면서 데이타 압축을 실행하는 단계와, 상기 압축단계의 압축율을 사용자가 조정하여 설정하고 이 설정된 압축율의 충족여부를 검색하는 단계를 병행하여 전송속도를 조절하는 것을 특징으로 하는 화상통신기기의 전송속도 조절방법.
화상을 캡쳐하여 압축 전송하고, 수신된 화상 데이타를 복원하여 디스플레이하는 화상 전화기에 있어서,

전송할 이미지나 디스플레이할 이미지의 캡쳐 또는 디스플레이 제어를 위한 디스플레이 제어수단과, 전송할 이미지나 디스플레이할 이미지를 저장하는 이미지 디스플레이 및 캡쳐 메모리수단과, 상기 전송할 이미지나 수신된 이미지 데이타에 대하여 웨이브릿-임베디드 변환 부호화를 통한 압축 및 복원을 수행하는 압축복원 알고리즘 수행수단과, 상기 압축복원 알고리즘 수행수단의 계산을 위한 정보가 저장되는 기억수단과, 상기 압축복원 알고리즘 수행수단에 의한 압축율을 사용자가 설정하여 전송속도를 가변시키기 위한 전송속도 조절수단 을 포함하여 구성됨을 특 징으로 하는 화상 통신기기의 전송속도 조절장치.