KR20040060982A

KR20040060982A - 압축된 영상 데이터의 객관적 품질 평가 방법 및 시스템

Info

Publication number: KR20040060982A
Application number: KR10-2004-7007446A
Authority: KR
Inventors: 잉웨이 첸
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-11-16
Filing date: 2002-10-29
Publication date: 2004-07-06
Also published as: WO2003042922A3; JP2005510098A; CN1596422A; US20030112333A1; JP4324690B2; AU2002339677A1; US6810083B2; EP1449170A2; WO2003042922A2

Abstract

본 발명은 압축된 영상 비트 스트림 또는 소스 데이터에 대한 액세스를 하지 않고도 인코딩된 영상 데이터의 품질을 평가하기 위한 방법 및 시스템에 관한 것이다. 상기 시스템은 압축된 영상 데이터를 생성하기 위해 MPEG 디코더를 사용하여 압축된 영상 데이터를 디코딩하기 위한 구성이다. 디코딩된 데이터는 분석되어 상기 압축된 영상 데이터가 인트라 코딩된 것인지의 여부를 결정한다. 만일, 상기와 같이 결정되면, 이산 코사인 변환(DCT)이 실행되어 압축된 영상 데이터 내에서 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수를 생성한다. 동시에, 압축된 영상 데이터의 프레임의 양자화 매트릭스 데이터 뿐만 아니라 압축된 영상 데이터의 블록 각각에 대한 양자화 크기가 추출된다. 그 후, 변환된 DCT 계수의 변동이 획득되고, 그 후 상기 DCT 계수 셋트 각각에 대한 평균 양자화 에러가 상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여 결정된다. 최종적으로, 피크 신호대 노이즈비(PSNR)가 상기 결과적인 평균 양자화 에러에 기초하여 계산된다.

Description

압축된 영상 데이터의 객관적 품질 평가 방법 및 시스템{A METHOD AND SYSTEM FOR ESTIMATING OBJECTIVE QUALITY OF COMPRESSED VIDEO DATA}

2. 관련 기술의 설명

영상 전문가들의 궁극적인 목표는 뷰어들에게 영상 이미지를 가장 지각적으로 호소하는 것이다. 최종적인 이미지의 품질이 양호한가 또는 불량한가를 결정하는 하나의 방법은 뷰어의 패널(panel)에게 어떤 영상 흐름을 보도록 하여 그들의 의견을 제공하도록 하는 것이다. 영상 흐름을 분석하는 다른 방법은 영상 품질의 양호 또는 불량을 평가하는 자동화된 메커니즘을 제공하는 것이다. 이와 같은 타입의 절차는 "객관적 영상 품질 평가(objective video quality assessment)"라고 알려져 있다.

압축 프로세스의 화상 품질을 측정하는 보통의 접근 방법은 처리된 이미지와 처리되지 않은 소스 이미지를 비교하는 방법(이하, 양쪽 단 측정법(double-ended measurement)라고 한다)이다. 예컨대, Block Artifact Metric(BAM), PSNR, 지각적으로 가중된 PSNR 등과 같은 여러 계량법이 객관적 화상 품질을 평가하기 위해 사용된다. 특히, PSNR은 MPEG-2 영상 스트림을 평가할 때에 어떠한 화상 품질을 평가하기 위해 가장 일반적으로 사용되는 파라미터이다. 그러나, 처리된 화상 및 소스 화상 양쪽에 대한 액세스는, 소스 테이터, 또는 소스 화상 및 처리된 화상 사이의 정렬이 이용될 수 없다면, 상기 양쪽 단 측정 방법은 실행될 수 없다는 문제점을 갖는다. 상기 문제를 극복하기 위해, 단일 단 측정 방법(single-ended measurement)이 제안되어 소스가 이용 가능하지도 제어 가능하지도 않을때 영상 품질을 모니터링하기 위해 제안된다. 상기 양쪽 단 측정 방법과는 다르게, 상기 단일 단 측정 방법은 영상 품질을 평가할 때 소스 화상에 대한 액세스가 없이 압축된 화상에 대해 영향을 끼치지 않는다. 비록, 여러 단일 단 측정 방법이 제안되어 있지만, 단일 단 측정 방법은 소스 화상 또는 압축된 비디오 스트림에 대한 액세스 없이 압축된 화상만을 평가할 때 PSNR 계량법을 사용하지 않는다. 따라서, 본 발명은 소스 데이터 또는 압축된 비디오 스트림을 사용하지 않고 압축된 화상의 객관적인 품질을 평가하기 위해 PSNR 계량법을 사용하여 객관적인 품질 평가법을 제안한다.

발명의 배경

1. 발명의 분야

본 발명은 압축된 영상 데이터의 객관적 품질을 측정하는 방법 및 시스템에 관한 것으로서, 특히, 압축된 화상의 객관적 품질 즉, 피크 신호대 노이즈 비(Peak-Signal to Noise-Rate : PSNR)를 소스 영상 데이터를 참조함이 없이 평가하는 방법 및 시스템에 관한 것이다.

도 1은 본 발명의 한 실시에에 따른 화상 품질 평가기(estimator)를 설명하는 단순화된 불록도.

도 2는 본 발명의 제 1 예시적인 실시예에 따른 평가 장치의 블록도.

도 3은 본 발명의 상기 제1 실시예에 따른 평가 장치의 동작 단계를 도시하는 플로우 챠트.

도 4는 본 발명의 제 2 예시적인 실시예에 따른 평가 장치의 단순화된 블록도.

도 5는 본 발명의 제 3 예시적인 실시예에 따른 평가 장치의 단순화된 블록도.

도 6은 본 발명에 따른 평가 장치의 동작 단계를 도시하는 플로우 챠트.

도 7은 본 발명의 제 4 예시적인 실시예에 따른 평가 장치의 단순화된 블록도.

발명의 요약

본 발명은 소스 데이터 또는 압축된 영상 비트 스트림에 대한 액세스 없이압축 해제된(decompressed) 화상으로부터 직접 평가된 양자화 파라미터들을 사용하여 인코딩된 영상 데이터의 품질을 평가하는 장치 및 방법을 제공하는 것이다.

본 발명의 한 특징에 따른 인코딩된 영상 데이터의 품질을 평가하는 방법에 있어서, 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수를 생성하기 위해, 압축 해제된 영상 데이터의 적어도 적어도 실질부(substantial protion)에 대해 이산 코사인 변환(DCT)을 실행하는 단계과, 상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스를 추출하고, 상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 단계과, 상기 DCT 계수의 변동을 평가하는 단계과, 상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여, 상기 DCT 계수 각각에 대한 평균 양자화 에러를 결정하는 단계과, 상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 특징에 따른 인코딩된 영상 데이터의 품질을 평가하는 방법에 있어서, 상기 압축 해제된 영상 데이터로부터 인트라-dc- 정밀도(intra-dc-precision level)를 회복하기 위해, DC 계산 동작을 실행하는 단계과, 상기 인트라-dc-정밀도가 미리 정해진 임계값 보다 더 작다면, 상기 디코딩된 데이터를 인트라 코딩된 화상(intra-coded picture)으로서 분류하는 단계과, 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수를 생성하기 위해, 상기 압축 해제된 영상 데이터에 대해 이산 코사인 변환(DCT)을 실행하는 단계과, 상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스를 추출하고, 상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 단계과, 상기 DCT 계수의 변동을 평가하는 단계과, 상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여, 상기 DCT 계수 각각에 대한 평균 양자화 에러를 결정하는 단계과, 상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따른 인코딩된 영상 데이터의 품질을 평가하는 장치에 있어서, 복수의 블록을 포함하는 압축 해제된 영상 데이터를 생성하기 위해 상기 인코딩된 영상 데이터의 적어도 실질부(substantial protion)를 디코딩하는 디코더와, 상기 압축 해제된 영상 데이터를 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수로 변환하도록 구성된 이산 코사인 변환기(DCT)와, 상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스를 추출하고, 상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 추출기와, 상기 DCT 계수의 변동을 평가하는 컬렉터와, 상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여, 상기 DCT 계수 각각에 대한 평균 양자화 에러를 결정하는 제 1 계산기와, 상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 제 2 계산기를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 특징에 따른 인코딩된 영상 데이터의 품질을 평가하는 장치에 있어서, 압축된 가변 길이 허프만 코드(Huffman code)를 디코딩하기 위해 구성되고, 그로부터 디코딩된 데이터를 생성하며 양자화 매트릭스 데이터 및 상기 디코딩된 영상 데이터 각각의 블록에 대한 양자화 크기를 추출하기 위한 디코더와,한 셋트의 DCT 계수를 생성하기 위해 상기 디코더로부터 출력된 상기 디코딩된 데이터의 역 양자화(inverse-quantizing)를 실행하기 위해 구성된 역 양자화기와, 상이한 데이터를 포함하는 디코딩된 데이터를 역양자화(dequantize)하기 위해 상기 역 양자화기로부터 출력된 신호의 블록에서 픽셀의 값을 변환하도록 구성된 역 DCT와, 운동 보상된(motion compensated) 화상을 형성하기 위해, 상기 역 DCT로부터 상기 상이한 데이터 및 상기 인코딩된 영상 데이터 내의 참조 데이터를 수신하기 위한 운동 보상기 및 가산기와, 상기 DCT 계수의 변동을 평가하기 위한 상기 역 양자화기의 출력에 결합된 컬렉터와, 상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여 상기 DCT 계수 셋트 각각에 대한 평균 양자화 에러를 결정하기 위한 제 1 계산기와, 상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈비(PSNR)을 결정하기 위한 제 2 계산기를 포함하는 것을 특징으로 한다. 상기 장치는 재생된 영상 데이터를 기억하도록 하는 영상 메모리를 더 포함한다.

본 발명의 상기 및 다른 특징과 장점은 도면 부호가 여러 관점에서 동일한 구성부를 언급하는 첨부된 도면에 도시된 바와 같이 양호한 실시예에 관한 이하의 상세한 설명으로부터 자명할 것이다. 상기 도면은 반드시 축적이 필요치 않고 그 대신에 본 발명의 원리를 설명하기 위해 강조되었다.

양호한 실시예들의 상세한 설명

이하의 설명에 있어서, 본 발명의 완전한 이해를 돕기 위해 한정하기 보다는 설명을 위해 아키텍쳐, 인터페이스, 기술 등의 특정 상세가 설명된다. 설명의 단순화 및 명료화를 위해, 공지의 장치, 회로 및 방법의 상세한 설명은 불필요한 상세한 설명에 의해 본 발명의 기술을 모호화하지 않도록 생략된다.

본 발명의 이해를 용이하게 하기 위해, MPEG2 코딩에 관한 배경 정보가 설명된다. 통상, MPEG2 코딩은, 대응하는 별도의 양자화 크기(quantizer scale)을 각각 갖는 16 × 16 픽셀의 매크로 블록으로 분할함에 의해, 이미지에 대해 실행된다. 상기 매크로 블록은 8 × 8 픽셀 블록 각각으로 분할된다. 각각의 8 × 8 픽셀 블럭은 이산 코사인 변환(discrete cosine transform ; DCT) 처리를 받아 64개의 주파수 밴드 각각에 대한 DCT 계수를 생성한다. 8 × 8 픽셀에서의 상기 DCT 계수는 그 후 대응하는 코딩 파라미터, 즉, 양자화 중량(quantization weight)에 의해 분할된다. 소정의 8 × 8 픽셀 블록에 대한 상기 양자화 중량은 8 × 8 양자화 매트릭스로 표시된다. 그 후, 추가적인 계산이 DCT 계수에 대해 이루어져 다른 것 중에서 소위 양자화 크기 값(quantizer scale value)을 고려하고, 그에 의해 완전한 MPEG2 코딩을 완료한다. 주목할 점은 JPEG 등의 다른 코딩 기술이 본 발명에서 사용될 수 있다는 점이다.

도 1은 본 발명의 실시예에가 적용되는 단순화된 회로도이다. 본 발명의 시스템(10)은 영상 소스(12), 인코더(14), 디코더(16), 및 평가기(18)를 포함한다. 영상 소스(12)는 특정 이미지에 기초하여 영상 데이터를 생성 가능한 텔레비젼 카메라 또는 다른 비디오 장치 등과 같은 영상 생성 장치 중의 어떠한 형태도 가능하다. 인코더(14) 및 디코더(16)는 MPEG2 영상 데이터를 인코딩/디코딩하는 본 분야에서 공지된 종래의 인코더 및 디코더 일 수 있다. 평가기(18)는 소스 영상 데이터 또는 압축된 영상 비트 스트림을 사용하지 않고 압축된 화상의 객관적인 품질을 평가하기 위해 디코딩된 영상 데이터를 처리한다. 상기를 달성하기 위해, 본 발명은 이전의 코딩 동작시에 압축된 화상의 품질을 결정하는 통계 분석에 의존한다. 상기 화상에 대한 통계는 압축 해제 단계 이후에 또는 압축 해제 단계 중에 DCT 계수로부터 취합되고, 그에 의해 본 발명에 따르면 소스 화상에 대한 액세스 필요성을 제거한다.

이하, 도 2 내지 도 7을 참조하여 본 발명의 상세를 설명한다.

도 2는 본 발명의 제 1 실시예에 따른 도 1에 도시된 평가기(18) 및 디코더(16)의 하드웨어를 도시한다. 특히, 제 1 실시예는 코딩된 영상 데이터가 디코더(16)를 경유하여 압축 해제된 이후에 영상 품질을 평가하는 메커니즘을 제공한다. 상기 평가기(18)는 화상 타입 결정기(20), 8 × 8 DCT(22), 통계량 컬렉터(24), 양자화 파라미터 추출기(26), 왜곡 계산기(28), 및 PSNR 계산기(30)를 포함한다. 주요한 본 발명의 원리는 P 및 B 화상 및 여기서 유래된 모든 영상의 품질은 MPEG-2로 코딩된 영상에 대한 인트라 화상(intra picture)의 품질과 일반적으로 일치된다는 사실에 근거한다. 따라서, PSNR이 인트라 코딩된 화상(intra-coded picture)에 대해서만 평가된다면, 양호한 영상 인코더가 화상으로부터 화상에까지 일치하는 품질을 유지하려함에 따라 모든 영상에 대한 품질 매트릭(metric)으로서 기능한다.

동작시에, 디코딩된 영상 데이터는 디코더(16)에 의해 디코딩된 후 평가기(18)의 화상 타입 결정기(20)로 향한다. 상기 화상 타입 결정기(20)는 그 후 디코딩된 영상 데이터가 인트라 코딩된 데이터인지를 결정한다. MPEG-2 영상에 있어서, 인트라_dc_정밀도(intra_dc_precision)는 인트라 코딩된 매크로 블록 또는 인트라 코딩된 화상에서의 DC DCT 계수의 양자화의 불량을 제어하고, 상기는 11 비트를 양자화 에러가 상기 인트라 DC 계수에서 발생하지 않는 경우에 발생하는 최상위로 하여 8 내지 11 비트의 범위내에 변동한다. 대부분의 방송용 품질의 디지털 영상에 있어서, 최하위 인트라_DC_정밀도는 전형적으로 8로 설정된다. 따라서, 평가된 인트라_DC_정밀도가 11 이하라면, 현재의 화상은 본 발명에서 인트라 코딩된것으로 결정된다. 만일 인트라 코딩이 되면, AC 주파수 밴드에 대한 DCT 계수를 생성하기 위해 DCT 블록(22)은 디코딩된 영상 데이터를 DCT 처리하게 한다. 그 후, 통계량 컬렉터(24)는 DCT 계수의 변동을 평가하고, 그 후, 평가된 DCT 변동은 왜곡 계산기(28)로 전송된다. 동시에, 양자화 파라미터 추출기(26)는 이전의 코딩 동작에서 사용된 양자화 매트릭(metric)에 대응하는 양자화 매트릭스를 추출한다. 발명이 명칭이 "System for Extractign Coding Parameters from Video Data"이고, 동일 양수인에게 양수된 미국 특허 제6,101,278호는 양자화 매트릭스(W_i,j)를 어떻게 추출하는가를 설명하고, 그렇기 때문에 여기에 참고문헌으로 첨부되어 있다. 왜곡 계산기(28)는 그 때 추출된 양자화 매트릭스, 양자화 단계 크기, 및 평가된 DCT 변동을 사용하여 평균 양자화 에러를 결정한다. 그 후 PSNR 계산기(30)는 상기 왜곡 계산 블록(28)에 의해 얻어진 평균 양자화 에러를 사용하여 PSNR을 결정한다. PSNR의 값은 영상 품질에서의 불량을 결정한다.

도 3은 본 발명의 제 1 실시예에 따른 영상 품질을 평가하는 동작 단계를 도시하는 플로우 다이어그램이다. 주목할 점은 처리 및 공정 블록은 디지털 신호 처리 프로세서 회로 또는 ASIC(application-specific-integrated circuit) 등의 기능상 동일한 회로에 의해 실행된 단계를 나타낸다는 것이다. 상기 플로우 다이어그램은 본 분야의 당업자가 회로를 제조하거나 또는 특정 장치에 대해 요구되는 공정을 실행하는 컴퓨터 소프트웨어을 만드는데 요구되는 기능(function) 정보를 나타낸다.

인코더(14)로부터 디코딩된 출력을 수신하면, 단계(100)에서, 8 × 8 블록 DC 정밀도 계산이 화상 타입 결정기(20)에 의해 실행되어 디코딩된 영상이 각각의 매크로 블록에 대해 인트라 코딩(intra-coding) 되었는지 결정한다. 주목할 점은 상기 인트라 코딩된 화상은 비압축된 화상, 또는 P 및 B 코딩된 화상 중에서 특이한 통계적인 특성을 갖고, 인트라 DC 계수를 나타내는데 사용된 비트 수는 압축 이전에 11 비트라는 것이다. 여기에서, 인트라 DC 정밀도가 11 보다 낮으면, 분석되는 현재의 화상은 인트라 코딩된 화상으로 분류된다.

단계(120)에서, 검출된 인트라 코드 화상은 그 후 DCT 블록(22)에 의해 DCT 변환 처리를 받아 영상 데이터내의 AC 주파수 밴드에 대한 DCT 계수를 생성한다. 단계(140)에서, 양자화 매트릭스(W_i,j) 및 전체 화상에 대한 각각의 매크로 블록(Q_m)에 대한 양자화 단계 크기가 획득된다. 즉, 분석되는 현재의 화상이 인트라 코딩된 화상인가를 결정한 이후에, 양자화 파라미터 추출기(26)는 이전의 코딩 동작에서 사용된 것에 대응하는 각각의 프레임에 대한 양자화 매트릭스를 추출하기 위해 작동한다. 양자화 매트릭스는 64개의 엔트리(entry)를 포함하고, 각각의 엔트리는 중량(weight)으로 지정된다. 1 내지 255까지의 범위 내의 8비트의 정수인 상기 64개의 엔트리는 블록내에서 8 × 8 DCT 계수에 대응한다. 중량 및 양자화 크기 값은 DCT 계수의 블록에 대한 양자화 단계 크기를 결정한다. 양자화 매트릭스(W_i,j)를 추출하는 공정은 발명이 명칭이 "System for Extractign Coding Parameters from Video Data""이며, 참고문헌으로서 여기에 첨부된 미국 특허 제 6,101,278호에 개시되어 있다. 양자화 파라미터 추출기(26)는 또한 각각의 매크로 블록에 대한 양자화 단계 크기/스케일을 추출하도록 동작한다. 각각의 매크로 블록에 대한 양자화 단계 크기/스케일을 추출하기 위해, 매크로 블록에서의 AC 계수는 평균화된다. MPEG-2의 경우에, 양자화 매트릭스는 상기 미국 특허 제 6,101,278호에 언급된 바와 같이 먼저 추출되어 i,j = 0, 1...7 및 i,j ≠(0,0)에 대한 중량(W_i,j)을 획득한다. 각각의 AC 계수는 그 후 이하의 식,

에 따라 가중된다.

여기서, C_i,j는 현재의 매크로 블록의 제 (i,j)번째 AC 계수이고,는 가중되거나 정규화된 AC 계수를 나타낸다. 양자화 매트릭스가 사용되지 않는, 즉, 동일한 매크로 블록에서의 모든 AC 계수가 동일한 단계 크기로 양자화되는 다른 DCT 의존 압축 기구(DCT-based compression scheme)에 있어서, 상기 단계는 건너뛴다(skipping). 매크로 블록에서의 AC 계수를 평균화한 이후에, 양자화 스케일(quantization scale) 및 DCT 타입을 찾는 동작은 매크로 블록에서 정규화된 AC 계수 모두에 대해, 또는 지그재그 주사 순서에 의해 제 1의 4개의 계수 등과 같은 선택된 계수의 셋트에 대해서만, 가장 큰 공통 디바이더(divider)를 찾음에 의해 실행된다. MPEG-2 영상에 있어서, 상기는 프레임 DCT 데이터 및 필드 DCT 데이터 양쪽에 대해 실행된다. 매크로 블록에서의 모든 정규화된 AC 계수에 대한 가장 큰 공통 디바이더를 찾는 것은 이하와 같이 처리될 수 있다.

먼저, 제 1 프레임 DCT 블록에 대해

전술한, 의사 코드(pseudo-code)에서, abs()는 '절대값' 동작을 나타낸다. quantize()는 영상 코드 기구(scheme)에 의해 특정된 양자화 프로시저(procedure)이다. 임계값에 대한 공칭값(nominal)은 1.5.next_lower_q이고 상이한 코딩 기구에따라 결정된다. 상기 코드는 가능한 양자화 스케일 값 및 DCT 타입을 통해 서치 동작을 필히 실행한다. 서치가 개시되는 경우에, DCT 타입은 프레임 의존 DCT(frame-base DCT)가 MPEG-2로 코드화된 영상에서 사용될 것 같음에 따라, 프레임 DCT에 초기화된다. MPEG-1 MPEG-4 및 H.263, 또는 MPEG-2 필드 화상 등과 같은 다른 영상 코드 표준에 대해, DCT 타입은 프레임에 의존한 것으로서 유지될 것이다. 양자화 스케일은 상기 표준에 의해 허용된 최고값으로 기동된다. 예컨데, MPEG-2에서, 상기 값은 양자화 스케일에 대해 사용된 코딩 기구에 의존하여 62 또는 112이다. 각각의 양자화 스케일 값에 대해, 양자화 왜곡은 현재의 매크로 블록에 대해 계산된다. 계산된 왜곡은 그 후 사전에 계산되고 기억된 왜곡과 비교된다. 만일 상기 둘 사이의 비율의 관점에서 왜곡의 감소가 일정 임계값(1.5 이상으로 설정됨)을 초과하면, 현재의 양자화 스케일은 추출되고 귀환된다. 그렇지 않다면, 현재의 왜곡은 기억되고 서치 동작은 표준 또는 코딩 기구에 의해 지시된 대로 다음의 보다 더 높은 양자화 스케일로 재개된다. 만일, 양자화 스케일이 프레임 DCT로부터 추출되지 않으면, 동일한 서치 옵션은 필드 DCT 데이터에 대해 실행된다. 또한, 상기 서치 동작은 최하위의 가능한 양자화 스케일로 시작 및 진행될 수 있거나, 또는 보다 가능성 있는 양자화 스케일로 개시된다. 예컨대, DVD 영상 또는 DVB 영상에 대해서는 10이고, 하위 비트율 영상에 대해서는 10 이상이다. 따라서, 앞에서 설명된 바와 같이 모든 정규화된 AC 계수에 대한 가장 큰 공통 디바이더가 계산되어, 매크로 블록 마다 양자화 스케일 및 DCT 타입을 결정한다.

한편, 단계 160에서, DCT 계수의 통계 평가가 실행된다. 각각의 AC위치(i,j)에 대해, 계수(λ² _i,j)의 변동은 이하의 식,

에 따라 평가된다.

여기서, C^b _i,j는 블록(b)의 제 (i,j)번째의 AC 계수이고, N은 화상에서의 블록의 총 수를 나타낸다. 주목할 점은 단계 140 및 160은 본 발명에 따라 동시에 실시된다는 점이다.

단계 160에서, DCT 통계량(λ² _i,j)을 결정한 이후에, 평균 양자화 에러가 단계 180에서 평가된다. 상기는 동일한 DCT 위치에 대응하는 DCT 계수의 각각의 셋트에 대해 실행된다. 양자화 에러를 계산하는 것은 발명의 명칭이 "Method of Frame-By-Frame Calculation of Quantization Matics"이고, 동일 양수인에게 양수되고, 여기에 참고 문헌으로 병합된 미국 특허 6.067,118호에서 설명된다. DC에 대해, 양자화 에러 D_0,0는 이하의 표에 따라 인트라 DC 양자화 단계 크기(intra-DC quantization step size)의 절반이라고 평가된다.

인트라_DC_정밀도	평균 DC 양자화 에러
8	4
9	2
10	1
11	0

그러므로, 제 (i,j)번째 AC 위치, 양자화 에러(D_i,j)는 이하의 식,

에 따라 평가된다.

여기서,이다.

AC 위치에 대응하는 모든 계수가 0인 경우에, 인코딩 중의 불량한 양자화 또는 계수들의 작은 크기 때문에, λ_i,j는 이하의 식,

에 따라 평가된다.

여기서, N은 화상에서위 블록의 수를 나타낸다. 또한, 탐색표가 이용되어 상기 식을 신속히 풀 수 있다. 상기 AC 위치에 대한 평균 양자화 에러 또는 왜곡은 그 후 이하와 같이 평가된다.

D_i,j=2λ² _i,j

여기서, 제 (i,j)번째의 계수의 참 분포(true distribution)는 모두 0(양자화 에러 0)에서 파라미터(λ_i,j)를 갖는 라플라스 분포(Laplacian distribution)까지의 범위내에 있다고 가정된다. 최종적으로, DCT 도메인에서의 모든 평균 왜곡은 이하,

와 같이 계산된다.

최종적으로, 단계 200에서, PSNR은 이하,

와 같이 계산된다.

앞에서 설명된 바와 같은 피크 신호대 노이즈비(PSNR)는 본 발명에 따른 화상 품질을 평가하는데 사용될 수 있다.

도 4는 본 발명의 제 2 실시예에 따른 도 1에 도시된 디코더(16) 및 평가기(18)의 하드웨어를 나타낸다. 평가기(18)는 파서(parser)(40), DCT 블록(42), 통계량 컬렉터(44), 왜곡 계산기(46), 및 PSNR 계산기(48)를 포함한다. 동작시에, 들어오는 비트 스트림은 디코더(16)에 의해 디코딩되고 디코딩된 영상데이터는 영상 데이터 내의 AC 주파수 밴드에 대한 DCT 계수를 생성하기 위해 DCT 블록(42)에 의해 DCT 처리를 받는다. 통계량 컬렉터(44)는 DCT 계수의 변동을 평가하고, 그 이후에 평가된 DCT 변동은 왜곡 계산기(46)에 전송된다. 한편, 파서(40)는 이전이 코딩 동작에서 사용된 것에 대응하는 들어오는 비트 스트림으로부터 양자화 매트릭스를 추출한다. 왜곡 계산기 블록(46)은 양자화 매트릭스 및 DCT 변동을 사용하여 평균 양자화 에러를 결정한다. 최종적으로, PSNR 계산기블록(48)은 왜곡 계산기 블록(46)에 의해 획득된 평균 양자화 에러를 사용하여 PSNR을 결정한다.

도 5는 본 발명의 제3의 실시예에 따른 도 1에 도시된 디코더(16) 및 평가기(18)의 하드웨어를 도시한다. 상기 실시예의 구성 및 동작은 도 4와 관련하여 상술한 바와 동일하다. 단 하나의 주목할 차이점은 파서(40)의 동작이 제 2 실시예의 평가기(18)에서 결합된다는 점이다. 따라서, 앞서 기술된 구성 요소(42, 44, 46, 48)와 유사한 구성 요소(50, 52, 54, 56)에 대한 기술은 도 4에 기술되어 있기에 복잡함을 회피하기 위해 생략한다.

도 6은 본 발명의 제 2 및 제 3 실시예에 따른 영상 품질을 평가하는 동작 단계를 도시하는 플로우 다이어그램이다. 주목할 점은 처리 및 결정 블록은 디지털 신호 처리 프로세서 회로 또는 ASIC 등의 기능상 동일한 회로에 의해 실시된 단계를 나타낸다는 점이다. 상기 플로우 다이어그램은 본 분야의 당업자가 회로를 제조하거나 또는 특정 장치에 대해 요구되는 공정을 실행하는 컴퓨터 소프트웨어를 만드는데 요구하는 기능(function) 정보를 나타낸다. 특히, 도 4 및 도 5에 있어서, 들어오는 영상 데이터는 단계 300에서 디코딩된다. 디코딩된 영상 데이터로부터,인트라_DC_정밀도, 양자화 매트릭스(W_i,j) 및 전체 화상에 대한 각각의 매크로 블록(Q_m)에 대한 양자화 단계 크기는 단계 320에서 추출된다. 양자화 매트릭스는, 64개의 엔트리(entry)를 포함하고, 각각의 엔트리는 중량(weight)으로 지정된다. 1 내지 255까지의 범위 내의 8비트의 정수인 상기 64개의 엔트리는 블록내에서 8 × 8 DCT 계수에 대응한다. 중량 및 양자화 크기 값은 DCT 계수의 블록에 대한 양자화 단계 크기를 결정한다. 그 후, 단계 340에서 디코딩된 영상 데이터는 DCT 변환 처리를 받아 영상 데이터 내의 AC 주파수에 대한 DCT 계수를 생성한다.

단계 360에서, DCT 계수의 통계량 평가가 실행된다. 각각의 AC 위치(i,j)에 대해, 계수((λ² _i,j)의 변동은 이하의 식,

에 따라 평가된다.

여기서, C^b _i,j는 블록(b)에서의 제 (i,j)번째의 AC 계수이고, N은 화상에서의 블록의 총 수를 나타낸다. 주목할 점은 단계 140 및 160은 본 발명에 따라 동시에 실시된다는 점이다.

DCT 통계량(λ² _i,j)을 결정한 이후에, 단계 380에서 평균 양자화 에러가 평가된다. 상기는 동일한 DCT 위치에 대응하는 DCT 계수의 각각의 셋트에 대해 실행된다. 양자화 에러를 계산하는 것은 발명의 명칭이 "Method of Frame-By-Frame Calculation of Quantization Matics"이고, 동일 양수인에게 양수되고, 여기에 참고 문헌으로 병합된 미국 특허 6.067,118호에서 설명된다. DC에 대해, 양자화 에러 D_0,0는 이하의 표에 따라 인트라 DC 양자화 단계 크기의 절반이라고 평가된다.

인트라_DC_정밀도	평균 DC 양자화 에러
8	4
9	2
10	1
11	0

제 (i,j)번째 AC 위치(i,j)에 대해, 양자화 에러(D_i,j)는 이하의 식,

에 따라 평가된다.

여기서,이다.

AC 위치에 대응하는 모든 계수가 0인 경우에, 인코딩 중의 불량한 양자화 또는 계수들의 작은 크기 때문에, (λ_i,j는 이하의 식,

에 따라 평가된다.

여기서, N은 화상에서의 블록의 수를 나타낸다. 또한, 탐색표가 이용되어 상기 식을 신속히 풀 수 있다. 상기 AC 위치에 대한 평균 양자화 에러 또는 왜곡은 그 후 이하,

D_i,j= 2λ² _i,j

와 같이 평가된다.

여기서, 제 (i,j)번째의 계수의 참 분포(true distribution)는 모두 0(양자화 에러 0)에서 파라미터(λ_i,j)를 갖는 라플라스 분포(Laplacian distribution)까지의 범위내에 있다고 가정한다. 최종적으로, DCT 도메인에서의 모든 평균 왜곡은 이하,

와 같이 계산된다.

최종적으로 단계 400에서, PSNR은 이하,

와 같이 계산된다.

따라서, 화상 품질을 평가하는데 필요한 피크 신호대 노이즈비(PSNR)이 획득된다.

도 7은 평가기의 하드 웨어가 종래 디코더에 집적화되는 본 발명의 제 4 실시예를 도시한다. 본 발명에 따른 디코더는 프로그램 가능한 영상 디코딩 시스템으로서, 상기 영상 디코딩 시스템은, 블록식 데이터 패킷(block-base data packet)의 스트림을 수신 및 디코딩하도록 구성된 가변 길이 디코더(VLD)(60)와, 상기 가변 길이 디코더(60)로부터 수신된 양자화된 데이터를 역 양자화하기 위해 상기 가변 길이 디코더(60)의 출력을 수신하도록 결합된 역 양자화기(62)와, 주파수 도메인으로부터 공간 도메인까지 역 양자화된 데이터를 변환하는 역 양자화기의 출력에 결합된 역 이산 코사인 변환기(IDCT)(64)와, 상기 양자화된 데이터로부터 운동(motion) 벡터 데이터를 수신하고 선행 프레임 스테이지에 기억된 선행 프레임의 운동 보상된 블록, 및 프레임 스토리지(70)로부터 기억된 후속하는 프레임의 운동 보상된 블록에 기초하여 참조 신호를 생성하는 운동 보상기(MC)(68)와, 참조 신호 및 공간 도메인 데이터를 상기 IDCT(64)로부터 수신하여 운동 보상된 화상을 형성하는 가산기와, DCT 계수의 변동을 평가하기 위한 통계량 컬렉터(72)와, 양자화 매트릭스에 근거하여 평균 양자화 에러를 결정하는 왜곡 계산 블록(74)과, 상기 왜곡 계산 블록(74)에 의해 획득된 평균 양자화 에러를 사용하여 PSNR를 결정하는 PSNR 계산기(76)를 포함한다.

본 발명의 양호한 실시예가 설명 및 기술되었지만, 본 발명은 상기 실시예의 구성에만 한정되는 것이 아니고, 특허청구의 범위의 각 청구항의 발명의 범위 내에서 당업자라면 행할 수 있는 각종 변환, 수정을 포함한다. 본 발명에서 개시된 실시의 형태는 모든 점에서 예시적인 것으로서, 제한적인 것이 아니라 할 것이다. 본 발명의 범위는 상기한 설명이 아니라 특허청구의 범위에 의해 나타나고 특허 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경을 포함한다.

Claims

인코딩된 영상 데이터의 품질을 평가하는 방법에 있어서,

복수의 블록들을 포함하는 압축 해제된(decompressed) 영상 데이터를 생성하기 위해 상기 인코딩된 영상 데이터의 적어도 실질부(substantial protion)를 디코딩하는 단계과,

적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수들을 생성하기 위해, 상기 압축 해제된 영상 데이터에 대해 이산 코사인 변환(DCT)을 실행하는 단계과,

동시에, 상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스를 추출하고, 상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 단계과,

상기 DCT 계수들의 변동을 평가하는 단계과,

상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여, 상기 DCT 계수들 각각에 대한 평균 양자화 에러를 결정하는 단계과,

상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 단계를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
인코딩된 영상 데이터의 품질을 평가하는 방법에 있어서,

MPEG 디코더(16)에서 상기 인코딩된 영상 데이터를 적어도 일부 압축 해제하고, 복수의 블록들을 포함하는 압축 해제된 영상 데이터를 출력하는 단계과,

상기 압축 해제된 영상 데이터의 각각의 블록에서 인트라 코딩된 화상(intra-coded picture)을 검출하는 단계과,

만일, 인트라 코딩된 화상을 검출하면, 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수들을 생성하기 위해, 상기 압축 해제된 영상 데이터에 대해 이산 코사인 변환(DCT)을 실행하는 단계과,

상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스 데이터를 추출하는 단계과,

상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 단계과,

상기 DCT 계수들의 변동을 평가하는 단계과,

상기 DCT 계수들의 각각의 셋트에 대한 평균 양자화 에러를 결정하는 단계과,

상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 단계를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 2항에 있어서, 상기 검출 단계는,

상기 압축 해제된 영상 데이터로부터 인트라-dc- 정밀도(intra-dc-precision level)를 회복하기 위해, DC 계산 동작을 실행하는 단계과,

상기 인트라-dc-정밀도가 미리 정해진 임계값 보다 더 작다면, 상기 디코딩된 데이터를 인트라 코딩된 화상(intra-coded picture)으로서 분류하는 단계를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 1 항 또는 제 2 항에 있어서,

상기 양자화 단계 크기는 상기 압축 해제된 영상 데이터 각각의 상기 AC 계수들을 식,

과 같이 평균함으로써 계산되며,

여기서, C_i,j는 현재의 블록에서의 제 (i,j)번째 AC 계수를 나타내고,는 정규화된 AC 계수를 나타내고, W_i,j는 제 (i,j)번째 양자화 매트릭스를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 4 항에 있어서,

상기 계수(λ² _i,j)의 변동은 식,

에 의해 결정되며,

여기서, C^b _i,j는 블록(b) 각각의 제 (i,j)번째 AC 계수를 나타내고, N은 화상에서의 블록의 총 갯수를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 5항에 있어서,

상기 평균 양자화 에러(D)는,

및 D_i,j=2λ² _i,j와 같이 계산되며,

여기서, λ² _i,j는 계수(λ² _i,j)의 변동을 나타내고, D_i,j는 블록 각각의 제 (i,j)번째 AC 계수에 대한 양자화 에러를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 6항에 있어서, 상기 PSNR은,

와 같이 계산되며,

여기서 D는 평균 양자화 에러를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
제 1항에 있어서,

상기 양자화 매트릭스 및 상기 양자화 크기는 상기 인코딩된 영상 데이터에대해 사전에 실행되었던 코딩 동작에서 사용된 코딩 파라미터에 실질적으로 대응하는, 인코딩된 영상 데이터의 품질을 평가하는 방법.
인코딩된 영상 데이터의 품질을 평가하는 장치에 있어서,

복수의 블록들을 포함하는 압축 해제된 영상 데이터를 생성하기 위해 상기 인코딩된 영상 데이터의 적어도 실질부(substantial protion)를 디코딩하는 디코더(16)와,

상기 압축 해제된 영상 데이터를 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수들로 변환하도록 구성된 이산 코사인 변환기(DCT)(22)와,

상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스를 추출하고, 상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하는 추출기(26)와,

상기 DCT 계수들의 변동을 평가하는 컬렉터(24)와,

상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여, 상기 DCT 계수들 각각에 대한 평균 양자화 에러를 결정하는 제 1 계산기(18)와,

상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하는 제 2 계산기(30)를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 9항에 있어서,

상기 압축 해제된 영상 데이터의 각각의 블록들에서 인트라 코딩된 화상(intra-coded picture)을 검출하는 화상 타입 결정기(20)를 더 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 10항에 있어서, 상기 화상 타입 결정기는

상기 압축 해제된 영상 데이터로부터 인트라-dc-정밀도(intra-dc-precision level)를 회복하기 위해, DC 계산 동작을 실행하는 수단과,

상기 인트라-dc-정밀도가 미리 정해진 임계값 보다 더 작다면, 상기 디코딩된 데이터를 인트라 코딩된 화상(intra-coded picture)으로서 분류하는 수단을 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 9항에 있어서,

상기 양자화 단계 크기는 상기 압축 해제된 영상 데이터 각각의 상기 AC 계수들을, 식,

과 같이 평균함으로써 계산되며,

여기서, C_i,j는 현재의 블록에서의 제 (i,j)번째 AC 계수를 나타내고,는 정규화된 AC 계수를 나타내고, W_i,j는 제 (i,j)번째 양자화 매트릭스를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 12항에 있어서,

상기 계수(λ² _i,j)의 변동은 식,

에 의해 결정되며,

여기서, 여기서, C^b _i,j는 블록(b) 각각의 제 (i,j)번째 AC 계수를 나타내고, N은 화상에서의 블록의 총 갯수를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 13항에 있어서,

상기 평균 양자화 에러(D)는,

및 D_i,j=2λ² _i,j와 같이 계산되며,

여기서, λ² _i,j는 계수(λ² _i,j)의 변동을 나타내고, D_i,j는 각 블록내 제 (i,j)번째 AC 계수에 대한 양자화 에러를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 14항에 있어서, 상기 PSNR은,

와 같이 계산되며,

여기서, D는 평균 양자화 에러를 나타내는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
인코딩된 영상 데이터의 품질을 평가하는 장치에 있어서,

압축된 가변 길이 허프만 코드(Huffman code)들을 디코딩하기 위해 구성되고, 그로부터 디코딩된 데이터를 생성하며 상기 디코딩된 영상 데이터 각각의 블록에 대한 양자화 크기 및 양자화 매트릭스 데이터를 추출하기 위한 디코더(60)와,

한 셋트의 DCT 계수들을 생성하기 위해 상기 디코더로부터 출력된 상기 디코딩된 데이터의 역 양자화(inverse-quantizing)를 실행하기 위해 구성된 역 양자화기(62)와,

상이한 데이터를 포함하는 디코딩된 데이터를 역양자화(dequantize)하기 위해 상기 역 양자화기로부터 출력된 신호의 블록에서 픽셀의 값을 변환하도록 구성된 역 DCT(64)와,

운동 보상된(motion compensated) 화상을 형성하기 위해, 상기 역 DCT로부터 상기 상이한 데이터 및 상기 인코딩된 영상 데이터 내의 참조 데이터를 수신하기 위한 운동 보상(68) 및 가산기와,

상기 DCT 계수의 변동을 평가하기 위한 상기 역 양자화기의 출력에 결합된 컬렉터(72)와,

상기 변동, 상기 양자화 매트릭스, 및 상기 양자화 크기에 기초하여 상기 DCT 계수들 셋트 각각에 대한 평균 양자화 에러를 결정하기 위한 제 1 계산기(74)와,

상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈비(PSNR)을 결정하기 위한 제 2 계산기(76)를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
제 16항에 있어서,

재생된 영상 데이터를 저장하기 위해 구성된 영상 메모리(70)를 더 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.
인코딩된 영상 데이터의 품질을 평가하는 시스템에 있어서,

컴퓨터가 판독 가능한 코드를 저장하는 메모리와,

상기 메모리에 동작 가능하게 결합된 프로세서를 포함하고,

상기 프로세서는,

복수의 블록들을 포함하는 압축 해제된 영상 데이터를 생성하기 위해 상기 인코딩된 영상 데이터를 압축 해제하고,

상기 압축 해제된 영상 데이터의 각각의 블록에서 인트라 코딩된 화상을 검출하고,

만일, 인트라 코딩된 화상을 검출하면, 적어도 하나의 AC 주파수 밴드에 대한 한 셋트의 DCT 계수들을 생성하기 위해, 상기 압축 해제된 영상 데이터에 대해 이산 코사인 변환(DCT)을 실행하고,

상기 적어도 하나의 AC 주파수 밴드에 대한 양자화 매트릭스 데이터를 추출하고,

상기 압축 해제된 영상 데이터의 각각의 블록에 대해 양자화 크기를 추출하고,

상기 DCT 계수들의 변동을 평가하고,

상기 DCT 계수들 각각의 셋트에 대한 평균 양자화 에러를 결정하고,

상기 평균 양자화 에러에 기초하여 피크 신호대 노이즈 비(PSNR)를 계산하도록 구성되는, 인코딩된 영상 데이터의 품질을 평가하는 시스템.
제 18항에 있어서,

상기 인트라 코딩된 화상의 검출은,

상기 압축 해제된 영상 데이터로부터 인트라-dc-정밀도(intra-dc-precision level)를 회복하기 위해, DC 계산 동작을 실행하는 단계과,

상기 인드라-dc정밀도가 미리 정해진 임계값 보다 더 작다면, 상기 디코딩된 데이터를 인트라 코딩된 화상으로서 분류하는 단계를 포함하는, 인코딩된 영상 데이터의 품질을 평가하는 시스템.
제 9, 16, 18항 중의 어느 한 항에 있어서,

상기 양자화 매트릭스 및 상기 양자화 크기는 상기 인코딩된 영상 데이터에대해 사전에 실행되었던 코딩 동작에서 사용된 코딩 파라미터에 실질적으로 대응하는, 인코딩된 영상 데이터의 품질을 평가하는 장치.