KR100986765B1

KR100986765B1 - 압축 복원된 영상에 대한 정량적 품질 평가 방법 및 장치

Info

Publication number: KR100986765B1
Application number: KR1020040036310A
Authority: KR
Inventors: 권재철; 권순홍
Original assignee: 주식회사 케이티
Priority date: 2004-05-21
Filing date: 2004-05-21
Publication date: 2010-10-08
Also published as: KR20050111128A

Abstract

이 발명은 카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 장치 및 방법에 관한 것으로서, 상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하고, 상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하고, R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 PSNR과 프레임 시간 단위의 종단간 지연을 계산한다. 왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산한다. 이렇게 함으로써, 시간동기를 사용하지 않고, 또한 시스템 개발자의 도움을 받지 않고 압축, 전송, 복원된 영상의 PSNR과 종단간 지연, 프레임율을 측정할 수 있다.

프레임 메모리, 영상부호화, 복호화, 비디오프레임, 영상품질

Description

압축 복원된 영상에 대한 정량적 품질 평가 방법 및 장치{A method and apparatus for evaluating the objective reconstructed quality of compressed video}

도 1은 영상 부호화 및 복호화 시스템의 구성도이다.

도 2는 본 발명의 실시예에 따른 영상 품질 평가 장치의 구성도이다.

도 3은 본 발명의 실시예에 따른 영상 품질 평가 방법의 흐름도이다.

도 4는 본 발명의 개념에 대한 이해를 돕기 위한 신호의 관계를 나타낸 도면이다.

이 발명은 영상의 품질을 평가하는 장치에 관한 것으로, 특히, 영상 압축 알고리즘 영역 (이하 “압축 영역” 이라 칭함)에서가 아니라 실질적인 종단간, 즉 카메라 출력과 재생 디스플레이 장치 입력단 간의 두 아날로그 영역에서 압축을 거쳐 전송, 복원된 영상의 객관적 품질을 측정하는 방법과 장치에 관한 것이다.

종래의 압축 영상 품질의 측정은 압축 영역에서 PSNR(peak-to-peak signal to noise ratio)을 측정하거나 압축된 비트스트림의 구문구조(syntax)를 해석하여 프레임율에 대한 정보를 얻을 수 있었다.

하지만 이 방법들은 부호화 및 복호화기 내의 정보 흐름에 대한 지식이 없거나 부호화기 및 복호화기 개발자의 도움을 받지 않고서는 제삼자가 외부에서 관찰할 수 없는 양이었다.

설사 개발자의 도움을 받아 압축 영역에서의 PSNR 값을 측정한다고 해도 그 양은 엄밀하게 말해서 부호화기의 입력단과 복호화기의 출력단간의 화질을 비교한 것이지 사용자에게 표현되는 진정한 의미의 종단간 화질 비교라고 할 수는 없다.

종단간 지연은 송신측과 수신측간에 시간 동기가 맞지 않으면 측정할 수 없고, 설령 측정할 수 있다 하더라도 시스템 개발자의 도움을 받지 않고서는 불가능한 양이다.

하드웨어 및 소프트웨어 방식의 부호화기 및 복호화기가 다양한 제조업체들에 의해 구현되어 이들에 대한 영상 품질의 측정이 필요한 경우 현재로서는 주관적 화질 측정 방법 외에는 별다른 품질 평가 방법이 없는 실정이다.

주관적 측정 방법은 여러 명의 시험자가 하나의 영상 시퀀스를 보고 각자 주관적으로 화질을 평가한 결과를 가지고 평균 취하는 방법이다.

따라서 시험자의 감성이나 기호, 정신적, 육체적 상태 등 여러가지 변수에 의해 평가 결과가 달라 질 수 있으므로 객관적인 결과를 얻기가 어려우며 결과의 신뢰성을 검증 받기도 어렵다.

본 발명이 이루고자 하는 기술적 과제는 시간동기를 사용하지 않고, 또한 시 스템 개발자의 도움을 받지 않고 압축, 전송, 복원된 영상의 PSNR과 종단간 지연, 프레임율을 측정할 수 있는 방법과 장치를 제공하는 것이다.

본 발명에서는 복원된 영상의 품질 척도로서 프레임율(frame rate), 네트워크 지연을 포함하는 진정한 종단간 지연(end-to-end delay), 복원된 영상의 PSNR(peak-to-peak signal to noise ratio) 세가지 사항을 고려하고, 이 값들을 정량적으로 계산함으로써 압축 복원된 영상의 종단간 품질을 평가하는 방법과 이 방법을 구현하는 장치를 제공한다.

이러한 과제를 해결하기 위한 본 발명의 하나의 특징에 따른 압축 복원된 영상에 대한 정량적 품질 평가 장치는,

카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 장치로서,

상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하고, 외부의 요청에 따라 출력하는 비디오 프레임 캡쳐부;

상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하고, R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 PSNR과 프레임 시간 단위의 종단간 지연을 계산하고, 왜곡치가 임계치 이하가 되는 프 레임이 주기적으로 연속해서 존재하는 경우에 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산하는 분석알고리즘 처리부를 포함한다.

이러한 과제를 해결하기 위한 본 발명의 하나의 특징에 따른 압축 복원된 영상에 대한 정량적 품질 평가 방법은,

카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 방법으로서,

상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하는 단계;

상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하는 단계;

R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 종단간 지연을 프레임 시간 단위로 계산하는 단계;

왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산하는 단계를 포함한다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여 기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

도1은 일반적인 영상 부호화 및 복호화 시스템의 구성도이다.

도1을 참조하면, 영상 부호화 복호화 시스템은, 송신부(5), 수신부(9)를 포함한다.

송신부(5)의 카메라 출력 신호는 전처리부(2)를 거쳐 디지털 형태로 영상 부호화부(3)로 입력된다. 영상 부호화부(3)는 영상을 압축하며, 네트워크 정합부(4)에서는 압축된 비트스트림을 패킷화하고 네트워크로 전송한다.

수신부(9)에서는 네트워크 정합부(4)에서 수신한 패킷으로부터 압축된 비트스트림을 복원하고 영상 복호화부(7)로 비트스트림을 넘겨준다. 영상 복호화부(7)에서는 비트스트림을 복호화하여 영상을 복원하고 복원된 영상은 후처리부를 거쳐 디스플레이로 출력된다. 이 때, 카메라 출력과 디스플레이부의 입력은 아날로그 신호 형태이다.

도 2는 본 발명의 실시예에 따른 영상 품질 측정 시스템의 구성도이고, 도 3은 영상 품질 분석부의 동작 알고리즘을 나타낸 도면이다.

도 2를 참조하면, 이 발명의 실시예에 따른 영상 품질 측정 장치는, 비디오 프레임 캡쳐부(100)와 분석알고리즘 처리부(200)를 포함한다.

비디오 프레임 캡쳐부(100)의 A/D 변환부는 카메라 출력 신호와 후처리부의 출력 즉, 디스플레이 입력신호를 각각 A/D(analog-to-digital) 변환한다. A/D변환 부(110)의 출력은 프레임 동기(sync)를 기준으로 새로운 프레임이 시작되는 순간부터 한 프레임씩 구분되어 저장되는데, 카메라 출력으로부터 나온 신호는 S(source) 프레임 메모리(120), 후처리부 출력으로부터 나온 신호는 D(destination) 프레임 메모리(130)에 차례로 저장된다.

디지털로 변환된 두 영상신호는 종단간 지연을 계산할 수 있을 정도의 일정한 프레임 시간 동안(예를 들면, 1초) 프레임 단위로 각각 S프레임 메모리(120)와 D프레임 메모리(130)에 저장된다.

이후, 메모리(120, 130)에 저장된 영상신호는 제어부(140)의 제어로 인터페이스부(150, 220)을 통해 영상 품질 분석부(210)로 전달된다.

여기서, D 프레임 메모리(130)에 저장되어 있는 영상 신호는 S프레임 메모리(120)에 저장된 영상 신호를 압축, 전송, 복원한 영상신호라 간주할 수 있으나, 도 4에 나타낸 바와 같이 종단간 지연만큼의 시간차를 가지고 있다.

영상품질 분석부(210)는 S 프레임 메모리(120)에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리(130)에 저장된 프레임들간의 왜곡치(예를 들면, MSE (mean square error))를 계산하여 그 값이 최소화되는 프레임을 찾으며, 그 프레임이 해당 S 프레임 메모리(120)의 한 프레임에 대응하는 복원된 R 프레임으로 간주한다.

영상품질 분석부(210)는 이 프레임이 찾아지면 S 프레임과 R 프레임간의 프레임 차이를 통해 PSNR과 프레임 시간 단위의 종단간 지연을 구할 수 있고, 왜곡치가 어떤 임계치(threshold) 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에는 프레임율이 정상이 아닌 것으로 판단하고, 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산한다.

이렇게 계산된 종단간 지연, PSNR 및 프레임율은 영상품질분석부(210)가 외부로 출력하여 디스플레이에 표시하거나 소스로 공급한다.

이러한 종단간 지연, PSNR 및 프레임율을 구하는 동작에 대해 상세히 설명하면 다음과 같다.

도 4에서는 본 발명의 실시예에 대한 이해를 돕기 위해 카메라 출력을 프레임 단위로 S_1,…으로 표현하고 후처리부 출력을 D_j… 으로 표현하였다.

S₁에 대한 압축, 전송, 복원된 실제 프레임은 D_j 프레임들 중 한 프레임이 될 것이며, 사용된 영상 압축 알고리즘에 따라서는 실제 압축, 전송되지 않고 결손된(skipped) 프레임이 될 수도 있다. 영상의 화질은 밝기 성분에 매우 민감하므로 여기서는 편의상 각 프레임의 밝기 성분만을 사용한다고 가정한다.

임의의 입력 영상 S_i에 대응한 출력 영상 R_i 는 D_j 중 다음 수학식 1을 만족하는 프레임으로 간주된다.

여기서 f(x) 는 D프레임과 S 프레임간의 왜곡치로서 f(X)=E[X²]로 정의한다.

R_i가 구해지면 S_i에 대응하는 R_i간 즉 i번째 프레임에 대한 종단간 지연 DELTA i은

수학식 2와 같이 구해진다.

여기서 t(R_i)은 i번째 프레임이 재생되는 시점, t(S_i)는 i번째 프레임이 입력되는 시점을 의미한다.

모든 i 값에 대해 수학식 1과 수학식 2를 적용하면 평균 종단간 지연

와 복원 영상의 평균 화질(PSNR)은 다음과 같이 구해진다.

여기서,

이다.

만일, 부호화 과정에서 결손된 프레임(skipped frame)이 있다면 수신측에서는 해당 프레임의 재생 프레임 시간에 이전 프레임을 반복하여 재생할 것이다. 이 때 결손된 프레임에 대해서는 입력영상과 복원영상간의 PSNR 값이 급격하게 떨어지므로 결손된 프레임을 검출할 수 있다.

i-1번째 프레임이 정상적으로 부호화되고 복호화되었다면 다음 수학식 5를 통해 i번째 프레임의 결손 여부를 검출할 수 있다.

N개의 프레임중 주기적으로 결손된 프레임의 개수를 빼면 프레임율을 구할 수 있다.

결손된 프레임(skipped frame)이 있다면 수학식 3과 수학식4에서 평균값을 구할 때 결손된 프레임을 제외한 실제 부호화된 프레임들에 대해서만 평균값을 취할 수 있다.

그러나 결손된 프레임에 대한 주관적 화질이 품질 평가에 반영되어야 하는데 이는 품질 측정 정책에 따라 결정할 문제이므로 본 발명의 논점을 벗어난다.

제안된 방법의 구현은 비디오 프레임을 캡쳐(capture)하는 비디오 프레임캡쳐부와 상기한 영상 품질분석 방법을 처리하는 분석알고리즘처리부로 구성되는데, 이 두가지 기능을 하나의 장치 내에서 처리를 할 수도 있고, 별도의 장치를 통해 처리할 수도 있다. 본 발명에서는 두가지 구현 방법 모두를 포함한다.

본 발명은 영상의 품질을 평가하는데 있어서 기존의 방법과는 달리, 카메라 출력단에서부터 최종 디스플레이 장치의 입력단 사이의 종단간 품질을 평가한다.

또한, 압축영역에서 품질을 평가하지 않고 사용자에게 표현되기 직전 단계의 품질을 비교하므로 기존 방법에서 할 수 없었던 종단간 품질을 측정한다. 또한 제안하는 방법은 영상의 PSNR 뿐아니라 종단간 지연, 프레임율에 대한 양까지 동시에 측정할 수 있다.

본 발명은 상술한 실시 예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 수정 및 변형하여 실시할 수 있다. 이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 않는 범위에서 다양한 변경과 수정 실시가 가능함을 알 수 있을 것이다.

이상에서와 같이, 이 발명의 실시예에서 다음과 같은 효과를 가진 영상 품질 측정 장치 및 방법을 제공할 수 있다.

1) 압축 알고리즘 영역이 아니라 사용자에게 직접 표현되는 종단간 영상의 품질을 측정할 수 있다.

2) 사용된 영상압축 알고리즘과 무관하게 재생 영상의 객관적 품질을 계산할 수 있다.

3) 아날로그 영역에서 영상 데이터를 취하여 처리하므로 시스템 개발자의 도움 없이 제삼자가 품질을 측정할 수 있다.

4) PSNR, 종단간 지연, 프레임율 등 품질 정보를 동시에 얻을수 있다.

Claims

삭제
카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 장치로서,

상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하고, 외부의 요청에 따라 출력하는 비디오 프레임 캡쳐부;

상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하고, R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 PSNR과 프레임 시간 단위의 종단간 지연을 계산하고, 왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된 프레임 수를 분석하여 프레임율을 계산하는 분석알고리즘 처리부를 포함하고,

상기 프레임 캡쳐부는,

상기 카메라 출력 신호와 상기 디스플레이 입력신호를 각각 A/D 변환하는 A/D 변환부;

상기 A/D변환부의 상기 카메라 출력을 프레임 동기(sync)를 기준으로 새로운 프레임이 시작되는 순간부터 한 프레임씩 구분하여 저장하는 S 프레임 메모리), 상기 디스플레이 입력을 프레임 동기(sync)를 기준으로 새로운 프레임이 시작되는 순간부터 한 프레임씩 구분하여 저장하는 D 프레임 메모리;

상기 S프레임 메모리 및 D 프레임 메모리를 상기 분석 알고리즘 처리부로 인터페이스하는 인터페이스부;

상기 카메라 출력과 디스플레이 입력을 저장하였다가 상기 분석 알고리즘 처리부로 출력하도록 제어하는 제어부를 포함하는 정량적 품질 평가 장치.
제2항에 있어서,

상기 A/D 변환부에서 디지털로 변환된 두 영상신호는 종단간 지연을 계산할 수 있을 정도의 일정한 프레임 시간 동안 프레임 단위로 각각 S프레임 메모리와 D프레임 메모리에 저장되는 정량적 품질 평가 장치.
제2항 또는 제3항에 있어서,

상기 분석 알고리즘처리부는,

상기 비디오프레임 캡쳐부로부터 수신되는 데이터를 인터페이스하는 제2 인터페이스부;

상기 제2 인터페이스부를 통해 상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하고, R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 종단간 지연을 프레임 시간 단위로 계산하고, 왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된 프레임 수를 분석하여 프레임율을 계산하는 영상품질 분석부를 포함하는 정량적 품질 평가 장치.
삭제
카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 방법으로서,

상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하는 제1 단계;

상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하는 재2 단계;

R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 프레임 시간 단위로 종단간 지연을 계산하는 제3 단계;

왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산하는 제4 단계를 포함하고,

상기 제2 단계는 다음식을 이용하여 수행하는 정량적 품질 평가 방법.

　　

여기서 f(x) 는 D프레임과 S 프레임간의 왜곡치로서 f(X)=E[X²]로 정의한다.
카메라의 영상을 부호화 처리하여 네트워크망을 통해 송신하는 송신부로부터 상기 부호화된 영상을 복호화하여 디스플레이에 표시하는 수신부로 송신되는 압축복원된 영상의 품질을 평가하는 품질평가 방법으로서,

상기 카메라의 출력을 입력받아 프레임 단위로 S프레임 메모리에 저장하고, 상기 디스플레이로 입력되는 영상을 프레임 단위로 D프레임 메모리에 저장하는 제1 단계;

상기 S 프레임 메모리에 저장된 프레임들 각각에 대해 순차적으로 D프레임 메모리에 저장된 프레임들과의 왜곡치를 계산하여 그 값이 최소화 되는 R 프레임을 계산하는 재2 단계;

R 프레임이 계산되면 S 프레임과 R 프레임간의 프레임 차이를 통해 프레임 시간 단위로 종단간 지연을 계산하는 제3 단계;

왜곡치가 임계치 이하가 되는 프레임이 주기적으로 연속해서 존재하는 경우에 결손된(skipped) 프레임 수를 분석하여 프레임율을 계산하는 제4 단계를 포함하고,

상기 제3 단계에서,

상기 종단간 지연 DELTA i은 다음식에 의하여 계산하는 정량적 품질 평가 방법.

여기서 t(R_i)은 i번째 프레임이 재생되는 시점, t(S_i)는 i번째 프레임이 입력되는 시점을 의미한다.
제7항에 있어서,

상기 제3 단계는, 평균 종단간 지연과 복원 영상의 평균 화질(PSNR)을 계산하는 단계를 더 포함하며, 상기 평균 종단간 지연

와 영상의 평균 화질은 다음식에 의해 구하는 정량적 품질 평가 방법.

여기서,
이다.