KR100909373B1 - 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법 - Google Patents

Abstract

본 발명은 문맥정보를 이용한 JPEG 2000 압축 영상 품질 평가 방법에 관한 것으로, 인코더에서 JPEG 2000에 따른 부호화를 수행하고 각 부대역의 비트 평면에서 발생하는 문맥 정보의 엔트로피 정보를 참조 신호로 추출하여 압축된 영상 비트 스트림은 일반 네트워크 등의 잡음 채널로 전송하고 엔트로피 정보는 안전한 채널로 전송하며, 디코더에서 상기한 인코더로부터 전송된 영상 비트 스트림을 복호화하고 수신된 영상 비트 스트림의 엔트로피 정보를 추출하며, 품질 평가부에서 상기한 안전한 채널로 전송된 엔트로피 정보와 디코더에서 추출된 엔트로피 정보를 비교하여 그 차이를 계산하여 차이값과 영상 품질의 양불을 판단하기 위하여 기설정된 설정값을 비교하여 양호한 품질일 경우에는 디코더가 최종 복호화과정을 수행하도록 하고, 양호한 품질이 아닐 경우에는 인코더로 재전송을 요구하는 문맥정보를 이용한 JPEG 2000 압축 영상 품질 평가 방법을 제공하여, 품질 평가를 위한 메모리 요구량 및 예측 시간을 감소시키는 데 있다.

JPEG2000, 품질, 평가, 엔트로피

Description

문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법 {PEG/JPEG-2000 compressed image quality measurement using context information}

본 발명은 문맥정보를 이용한 JPEG 2000 압축 영상 품질 평가 방법에 관한 것으로, 보다 상세하게는 엔트로피 정보를 이용하여 메모리 요구량 및 예측 시간을 많이 줄일 수 있도록 한 영상 품질 평가 방법에 관한 것이다.

인터넷(Internet)의 급속한 발전과 함께 대부분의 사용자들은 인터넷 공급자(service provider)로 하여금 고품질의 멀티미디어(multimedia)에 대한 전송을 요구하게 되었다.

이는 MPEG(Motion Picture Experts Group) 및 JPEG(Joint Photographic Experts Group)/JPEG 2000과 같은 압축 기술의 개발과 QoS(Quality of Service)가 보장된 네트워크 환경(network environment)을 구축하기 위한 기술 개발을 활발하게 촉진시키는 계기가 되었다.

이중 MPEG은 시간에 따라 연속적으로 변화하는 동영상 압축과 코드 표현을 통해 정보의 전송이 이루어질 수 있도록 하는 압축기술의 표준이다.

그리고, JPEG은 사진 등의 정지화상을 통신에 사용하기 위해서 압축하는 기 술의 표준으로 1,600만 색상을 표시할 수 있어 고해상도 표시장치에 적합하며, 이미지를 만드는 사람이 이미지의 질과 파일의 크기를 조절할 수 있는 것으로 이미지가 큰 파일을 아주 작은 크기의 파일로 압축하려 하면 이미지의 질이 그만큼 떨어지게 되나 JPEG 압축기술을 이용하면 이를 적절히 조절하여 이미지에 손상이 가지 않도록 이미지를 압축할 수 있다.

이와 같은 JPEG 기술의 근간은 DCT(Discrete Cosine Transform)라고 불리는 푸리에 트랜스폼으로, 이미지를 8×8의 블록으로 쪼갠 후 DCT를 통해 64개의 기본적인 패턴으로 근사하고, 이 기본적인 패턴에 가해주는 계수 값을 가장 큰 값으로 나누어 양자화하고, 양자화된 값을 자주 나오는 비트에 좀더 정보량이 작은 값을 할당해서 압축하는 호프만 코딩을 이용해서 엔코딩을 하게 된다.

결국 JPEG의 근간 기술은 이미지에 있어서 사람의 눈이 서로 구분하기 어려운 머리카락 같은 주파수 성분이 높은 부분을 눈에 안 띄게 표현하여 정보량을 낮추어 압축하는 방식이고, 압축을 푸는 과정은 압축을 하는 과정과 정확히 반대로 해서 최종적으로 IDCT(Inverse Discrete Cosine Transform)를 거쳐 원하는 영상을 얻게 되는 것이다.

JPEG 2000의 경우는 DCT 대신 DWT(Discrete Wavelet Transform)를 사용하는 것 말고는 거의 JPEG과 비슷한 구조를 가지고 압축을 한다.

DWT는 웨이블렛 트랜스폼의 정수를 사용하는 컴퓨터를 위해서 이산형으로 개발한 형태로, 연속적인 신호를 삼각함수의 합으로 나타낼 수 있다는 푸리에 트랜스폼의 단점은 삼각 함수가 주기를 가지고 무한히 반복하고 있는 함수이기 때문에 시 간의 변화에 잘 대응하지 못하여 시간에 따라 변화가 심한 신호는 원래 모양에 비해서 왜곡이 많이 발생하게 된다는 것이나, 웨이블렛 트랜스폼은 삼각 함수 대신 웨이블렛을 이용하여 이미지를 해석하는 것으로 전체 이미지를 1/4, 1/16, 1/64 등의 좀더 해상도가 낮은 그림으로 줄일 수가 있으며, 축소할 때 고주파 성분을 따로 저장해놓고 확대할 때 다시 그 정보를 이용해서 원래 이미지를 복원하기 때문에 왜곡이 크게 감소한다.

이와 같이 따로 저장해 놓은 이미지를 RLC(Run-Length Coding), 엔트로피 코딩 등의 압축 기술로 압축한 것이 JPEG 2000으로, 원본 이미지를 작은 이미지로 축소하면서 다시 확대할 때 쓸 고주파 성분을 따로 보관하고, 이 고주파 성분들은 같은 값을 반복하는 것이 많기 때문에 엔트로피 코딩 등으로 압축을 하면 무척 효율적으로 압축을 할 수 있게 된다.

결국 기존의 JPEG의 1/30 정도의 압축률에 비해서 1/150 정도로 5배 압축을 해도 거의 같은 화질을 얻을 수 있기 때문에, 인터넷 전체 네트워크 부하를 많이 줄일 수 있고, 컴퓨터나 인터넷상의 중요 서버에 저장할 때 역시 저장 공간을 1/5로 줄일 수 있다.

이와 같은 압축기술과 네트워크 기술의 눈부신 발전으로 인터넷상에서 고품질 멀티미디어 데이터 전송에 대한 요구가 증대되고 있으며, 이러한 추세로 말미암아 전송된 멀티미디어 데이터의 품질을 측정하기 위한 효율적인 시스템 및 방법의 개발이 요구되고 있다.

그러나, 잘 구축된 네트워크 환경이 사용자들의 요구 조건을 충족시키기 위 한 좋은 솔루션이기는 하지만, 이는 근본적으로는 물리 계층(physical layer)에서 이루어져야 하기 때문에 막대한 비용을 감수해야 하므로, 최근에는 응용 계층(application layer)에서 멀티미디어 데이터의 품질 측정을 위한 기술 개발이 새로운 이슈로 부각되고 있다.

이와 같이 압축 영상의 품질을 평가하는 시스템의 구성을 도 1을 참조하여 살펴본다.

도 1은 종래의 압축 영상 품질 평가 방법을 실현하기 위한 시스템 블록도로서, 일반적으로 원 데이터(Source Image)는 JPEG 2000과 같은 다양한 소스 인코더(Source encoder)에 의해 압축이 수행되는데, 압축 과정에서 원 영상을 정의할 수 있는 특징(Reference information, FR/RR)들이 추출된다.

상기에서 FR은 Full Reference를 말하는 것으로, 기준영상 전체를 제공하는 것이고, RR은 Reduced Reference를 말하는 것으로, 압축영상과 10Kb, 56Kb, 256Kb 등의 reference bit-stream을 함께 전송하는 것을 말한다.

이 정보들은 안전한 채널로 전송되고(Ancillary channel) 압축 스트림(Bit-stream)은 네트워크 또는 다양한 통신 채널(Network or noisy channel)에 의해 전송된다.

네트워크 또는 통신 채널의 잡음에 의해 압축 스트림은 왜곡이 적용된다. 왜곡된 스트림을 소스 디코더(Source Decoder)에서 복호화를 수행하면서 왜곡 영상을 정의할 수 있는 특징들을 다시 추출한 후, 안전한 채널로 전송된 원 영상의 특징들과 왜곡 영상의 특징들을 이용하여 품질평가부(Quality assessment system)에서 왜 곡 영상의 품질을 평가한다.

왜곡된 압축 스트림을 소스 디코더(Source decoder, 예. JPEG-2000)에 의해 복원하면 왜곡된 영상을 얻을 수 있다.

그러나, 상기한 종래의 압축 영상 품질 평가 방법에서는 품질평가를 위하여 기준영상을 전송하거나 압축영상과 reference bit-stream을 함께 전송하여 품질을 평가하기 때문에 품질평가에 많은 메모리와 시간이 소요되는 문제점이 있었다.

본 발명에서는 상기한 바와 같은 문제점을 해결하기 위한 것으로, 신호의 확률 분포 특성 중 확률 정보를 이용하는 엔트로피 값이 신호의 변화 정도에 따라서 이동하기 때문에, 엔트로피 값의 변화 정도를 측정함으로써 전송된 데이터의 왜곡 정도를 추정하는 것이 가능한 점을 이용하여, JPEG-2000 엔트로피 부호화 과정에서 발생되는 문맥 정보의 엔트로피 특성을 이용하여, 먼저 전송단에서 각 부대역의 비트 평면에서 발생하는 문맥 정보의 엔트로피 정보를 참조(reference) 신호로 전송하고, 수신 단(receiver)에서 잡음 채널을 통과한 왜곡 압축 스트림의 문맥 정보의 엔트로피 정보의 차이 값으로부터 전송된 JPEG-2000 압축 영상의 왜곡 정도를 판단할 수 있도록 하는 문맥정보를 이용한 JPEG 2000 압축 영상 품질 평가 방법을 제공하여, 압축 스트림으로부터 품질 평가를 수행할 수 있기 때문에 메모리 요구량 및 예측 시간을 많이 줄일 수 있도록 한 것이다.

상기한 목적을 달성하기 위한 본 발명의 특징은 인코더에서 JPEG 2000에 따른 부호화를 수행하고 각 부대역의 비트 평면에서 발생하는 문맥 정보의 엔트로피 정보를 참조 신호로 추출하여 압축된 영상 비트 스트림은 일반 네트워크 등의 잡음 채널로 전송하고 엔트로피 정보는 안전한 채널로 전송하며, 디코더에서 상기한 인코더로부터 전송된 영상 비트 스트림을 복호화하고 수신된 영상 비트 스트림의 엔트로피 정보를 추출하며, 품질 평가부에서 상기한 안전한 채널로 전송된 엔트로피 정보와 디코더에서 추출된 엔트로피 정보를 비교하여 그 차이를 계산하여 차이값과 영상 품질의 양불을 판단하기 위하여 기설정된 설정값을 비교하여 양호한 품질일 경우에는 디코더가 최종 복호화과정을 수행하도록 하고, 양호한 품질이 아닐 경우에는 인코더로 재전송을 요구하는 문맥정보를 이용한 JPEG 2000 압축 영상 품질 평가 방법으로, 품질 평가를 위한 메모리 요구량 및 예측 시간을 감소시키는 데 있다.

상기한 바와 같은 구성을 갖는 본 발명에 의하면, 메모리 요구량 및 예측 시간을 많이 줄일 수 있는 효과가 있다.

그리고, 한국인터넷진흥원에 따르면 2007년 현재 무선 인터넷을 사용하는 2,30대가 전체 중 각각 73.1%, 42.7%를 차지하는 것으로 나타났으며, 최근에는 위성 DMB 서비스를 이용하는 인구도 향후 40.9%로 증가할 것으로 예측되고 있다. 이러한 추세는 많은 인터넷 사용자들이 비싼 요금을 지불 하고도 고품질의 멀티미디어 데이터 전송을 요구함을 입증하는 것이라 할 수 있다. 따라서 본 발명은 전송된 JPEG-2000 압축 영상 데이터의 품질에 따라 과금 기준을 결정할 수 있는 효율적인 측정 도구로 사용될 수 있을 것으로 기대된다.

이하 본 발명의 실시예를 하기에서 첨부된 도면을 참조하여 살펴본다.

도 2는 본 발명에 따른 압축 영상 품질 평가 방법을 실시하기 위한 시스템 블록도이다.

본 발명에 따른 압축 영상 품질 평가 방법을 달성하기 위한 시스템은 JPEG 2000에 따른 부호화를 수행하고 각 부대역의 비트 평면에서 발생하는 문맥 정보의 엔트로피 정보를 참조 신호로 추출하여, 압축된 영상 비트 스트림은 일반 네트워크 등의 잡음 채널(20)로 전송하고 엔트로피 정보는 안전한 채널(10)로 전송하는 인코더(30)와, 상기한 인코더(30)로부터 전송된 영상 비트 스트림을 복호화하고 수신된 영상 비트 스트림의 엔트로피 정보를 추출하는 디코더(40)와, 상기한 안전한 채널(10)로 전송된 엔트로피 정보와 디코더(40)에서 추출된 엔트로피 정보를 비교하여 그 차이를 계산하여 차이값과 양호한 품질인 것으로 기설정된 설정값을 비교하여 양호한 품질일 경우에는 디코더(40)가 최종 복호화과정을 수행하도록 하고, 양호한 품질이 아닐 경우에는 인코더(30)로 재전송을 요구하는 품질 평가부품질 평가부(50)로 구성된다.

이와 같은 시스템을 이용한 본 발명의 영상 품질 평가 방법을 하기에서 도 2를 참조하여 보다 상세하게 살펴본다.

원 영상(Original Image Data)은 인코더(30)에서 JPEG-2000으로 압축을 수행하는데, 이 과정에서 전처리기(Forward Pre-processing)와 순방향 웨이블릿 변환기(Forward Wavelet Transform(IDWT))를 거친 후 양자화기(Forward Quantizer with Deadzone)를 거치면서 손실 압축이 적용되고, 이후 양자화된 웨이블릿 계수는 엔트로피 부호화기(Context modeling, Forward arithmetic coding)(Tier-1 encoding)를 거치면서 무손실 압축이 수행된다.

여기서 문맥 모델링기(context modeling)에서 문맥 정보를 추출하여 특징 추 출기(Feature extraction for quality measurement)를 통해서 원 영상을 정의하기 위한 특징 벡터를 구성하며, 이 과정에서 모든 부대역 및 모든 비트 플레인에서 모든 문맥 정보의 엔트로피 정보를 추출하며, 상기한 엔트로피 정보는 안전한 채널(Safety channel transmission)을 통하여 품질 평가부(50)로 전송된다.

그리고, 엔트로피 부호화 단계를 거친 JPEG-2000 압축 스트림은 정렬기(Bit-stream organization)에서 사전에 정의된 형태로 정렬한다.

이와 같이 정렬기에서 정의된 JPEG-2000 압축 스트림은 다양한 형태로 구성된 잡음 채널(Noisy channel transmission)로 전송되어 왜곡이 적용되며, 상기한 왜곡에 의하여 훼손된 압축 스트림은 JPEG-2000 디코더(40)를 거치면서 원 영상으로 복원된다.

이때, 디코더(40)를 구성하는 정렬기(Bit-stream organization)는 훼손된 압축 스트림을 다시 다양한 형태로 재구성하고, 이 후 엔트로피 복호화기(Context modeling, Inverse arithmetic coding)를 통해서 양자화된 웨이블릿 계수를 얻게 된다.

한편, 상기한 문맥 모델링기(Context modeling)로부터 추출된 문맥 정보는 특징 추출기(Feature extraction for quality measurement)로 전송되어 네트워크 또는 다양한 잡음 채널에 의해 왜곡된 영상을 정의하기 위한 특징 벡터 즉 문맥 정보의 엔트로피 정보를 구성한다.

JPEG-2000 부호화 단계에서 원 영상을 정의하기 위해 구성된 문맥 정보의 엔트로피 정보와 JPEG-2000 복호화 단계에서 왜곡 영상을 정의하기 위해 구성된 문맥 정보의 엔트로피 정보를 이용하여 품질 측정기(Quality measurement)에서 왜곡 영상의 품질 측정을 수행하는데, 이때에는 복수개의 문맥 정보의 엔트로피 정보의 차이를 연산한다.

이 후 품질 평가기(Quality evaluation)에서 측정값을 이용하여 영상 품질의 양불을 판단하기 위하여 기 설정된 값과 상기한 차이값을 비교하여 품질 평가를 수행한다. 즉 차이값(Metric)이 설정값(Threshold) 보다 크면 화질이 좋은 영상으로 가정하고 이와 반대로 설정값보다 작으면 화질이 나쁜 영상으로 가정한다. 화질이 나쁜 영상은 인코더(30)로 재전송을 요구하여 다시 수신하게 된다.

화질이 좋은 영상은 디코더(40)에서 나머지 JPEG-2000 복호화 과정을 수행하여 원 영상으로 복원된다.

도 1은 종래의 압축 영상 품질 평가 시스템을 나타내는 블록도

도 2는 본 발명에 따른 압축 영상 품질 평가 방법을 실시하기 위한 시스템 블록도

Claims (2)

1. 인코더에서 JPEG 2000에 따른 부호화를 수행하고 각 부대역의 비트 평면에서 발생하는 문맥 정보의 엔트로피 정보를 참조 신호로 추출하여 압축된 영상 비트 스트림은 일반 네트워크 등의 잡음 채널로 전송하고 엔트로피 정보는 안전한 채널로 전송하며,

   디코더에서 상기한 인코더로부터 잡음 채널을 통해서 전송된 영상 비트 스트림을 복호화하고 수신된 영상 비트 스트림의 엔트로피 정보를 추출하며,

   품질 평가부에서 상기한 안전한 채널로 전송된 엔트로피 정보와 디코더에서 추출된 엔트로피 정보를 비교하여 그 차이를 계산하여 차이값과 영상 품질의 양불을 판단하기 위하여 기설정된 설정값을 비교하여 전송된 영상 품질의 양/불을 판단하는 것을 특징으로 하는 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법.
2. 제 1항에 있어서, 상기한 품질 평가부는 양/불 판단 과정에서 양호한 품질일 경우에는 디코더가 최종 복호화과정을 수행하도록 하고, 양호한 품질이 아닐 경우에는 인코더로 재전송을 요구하는 것을 특징으로 하는 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법.

Images