KR100690784B1 - 화질 평가를 위한 압축 영상 품질 검사 방법 - Google Patents

Abstract

본 발명은 화질 평가를 위한 압축 영상 품질 검사 방법에 관한 것으로, 동영상 압축 및 재생 기능을 구비한 멀티미디어 단말기에서 동영상을 압축후 재생하게 되면 필연적으로 원본과 압축 후 복원한 영상은 화질 차이가 발생할 수 밖에 없는데, 종래에는 이러한 화질 차이의 정보를 개발자가 주관적으로 판단할 수 밖에 없었다. 따라서, 개발자의 주관적인 느낌에 따라 화질을 개선하기 위해 인코딩 파라메터를 변경하거나 압축 영상 재생시 사용할 프리 필터나 포스트 필터의 특성을 변경하므로, 이러한 개발자의 주관적인 느낌에 의한 화질의 판단은 범용적인 화질 판단이 되기 어려우며 개선 정도를 정밀하게 관리할 수도 없고, 다른 개발자들과의 화질 관련 정보를 교환하기도 어려운 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 동영상 압축시 후속 영상을 압축하기위해 이를 이전 영상의 압축 및 복원된 영상과 비교하여 차분치를 연산하게 되는데, 그 직전에 원본 영상과 해당 영상을 압축 및 복원한 영상 사이의 차분치를 획득하는 과정을 더 추가하도록 하여 해당 차분치의 평균으로 원본과 압축/복원한 영상의 유사도를 획득할 수 있도록 함으로써, 일련의 시험 동영상 압축시 압축된 영상과 원본 영상과의 유사도를 객관적인 수치값으로 제공하도록 하여 설계자가 압축 영상의 화질을 보다 정밀하고 객관적으로 파악할 수 있도록 하고, 이를 통해 보다 나은 화질을 얻기위한 설계 파라메터 값들을 미세 조정할 수 있도록 하며, 타인과의 정보 공유도 정확한 수치에 근거하도록 할 수 있는 효과가 있다.

Description

화질 평가를 위한 압축 영상 품질 검사 방법{COMPRESSED VIDEO QUALITY TESTING METHOD FOR PICTURE QUALITY ESTIMATION}

도 1은 종래 영상 압축 방식을 보이는 개념도.

도 2는 본 발명 일 실시예의 동작 방식을 보이는 개념도.

도 3은 본 발명 일 실시예의 차분치 계산 단위를 보이는 개념도.

도 4는 본 발명 일 실시예의 동작 과정을 보인 순서도.

*** 도면의 주요 부분에 대한 부호의 설명 ***

10: 인코더 20: 화질 측정부

30: 차분치 평균 누산부 40: 목표 픽셀

50: 인접 픽셀 블록

본 발명은 화질 평가를 위한 압축 영상 품질 검사 방법에 관한 것으로, 특히 이동통신 단말기와 같이 동영상 압축과 해제가 가능한 디바이스의 화질 압축시 발생되는 화질 손상의 정보를 정량적으로 판단할 수 있도록 한 카메라 기능을 구비한 이동통신 단말기의 촬영 상태 관리 방법에 관한 것이다.

이동통신 단말기의 사용이 폭발적으로 증가됨에 따라, 이동통신 단말기의 성능 및 기능 개선 역시 빠르게 진행되고 있다. 그 중에서 두드러지는 이동통신 단말기의 개선 방향은 보다 화려한 표시부와, 이를 지원할 수 있는 다양한 멀티미디어 생성 및 재생 기능의 개발이다.

최근의 이동통신 단말기는 모두 수만 칼라 이상의 색 표현 특성을 가지는 대형 화면을 가지고 있고, 카메라등이 내장되어 메가 픽셀 이상의 영상을 촬영할 수도 있으며, 높은 해상도를 가지는 상기 화면을 통해 촬영한 화면을 표시할 수도 있다.

이러한 카메라 기능은 멀티미디어 관련 기능을 강조하는 최근의 이동통신 단말기에 기본 기능으로 부가되고 있으며, 경우에 따라서는 대단히 높은 수준의 카메라 기능을 제공하여 이동통신 기능이 부가된 카메라로 간주될 정도가 되기에 이르렀다.

특히, 이러한 카메라 기능을 이용한 영상의 획득, 압축 및 탁월한 디코딩 능력에 의한 영상의 복원 기능은 단순히 상기 멀티미디어 파일의 생성이나 재생용으로 국한되지 않고, 실시간 영상을 보면서 통화를 실시하게 되는 화상통신에 적용되고 있으므로, 고속의 영상 압축과 영상 해제 기술도 요구되게 된다.

하지만, 보다 근본적인 연구 과제는 동영상의 생성 및 재생에 따른 화질의 손상을 최대한 억제하여 표시되는 최종 출력 영상의 화질을 개선하는 것이다. 이를 위해 다양한 인코딩 파라메터의 변경이나 디코딩을 위한 필터들의 설계가 지속적으로 연구되고 있다.

도 1은 이동통신 단말기를 이용하여 동영상을 압축하는 과정을 보이는 개략적인 개념도로서, 일반적으로 잘 알려진 엠팩(MPEG) 파일의 인코딩 방식을 보인 것이다.

도시한 바와 같이 손실 없는 원본 영상(P1~Pn)들을 카메라 등의 수단을 통해 순차적으로 획득하여 초기 인덱스 영상으로 압축하게 된다. 일반적으로 영상 압축은 공간 정보인 영상 데이터를 주파수 성분으로 변환하여 주파수 도메인에서 사람이 둔감하게 느끼는 고주파 성분들을 제거하는 것으로 달성된다. 이를 통해 영상의 날카로운 부분에 대한 화질이 다소간 손상을 입게 되지만 결과 화면을 파악하는 것은 어렵지 않으므로 얼마나 많은 고주파 성분들을 제거할 것인지가 압축률과 영상 품질을 결정하게 된다.

이렇게 초기 인덱스 영상(P1)에 대한 압축이 끝나면 해당 영상을 소정의 목적지(저장이나 전송을 위한 소정 포멧을 구성하는 수단)로 출력하면서 해당 압축된 영상을 복원하여 다음번 영상(P2)에서 상기 압축 해제된 영상을 빼는 것으로 영상 차분치를 얻어낸다. 이는 후속 영상(P2)과 이전 영상(P1)의 차분치를 추출하기 위한 것으로 그 기준이 되는 압축 해제된 영상과 후속 영상(P2) 사이의 차이점 만을 획득한 후 이를 압축하여 동영상의 크기를 줄이게 된다.

상기 과정을 다음번 인덱스를 만나기 전까지 지속적으로 반복하는 것으로 소정 구간의 영상 압축이 이루어지게 되며, 이러한 작업은 인코더(10)에서 실시하며, 상기 인코더(10)는 인코딩칩이나 소프트웨어적인 인코딩 알고리즘이 된다.

따라서, 필연적으로 압축 해제된 영상은 원본 영상에 비해 정보들을 소실하 였으므로 화질의 차이가 발생할 수 밖에 없는데, 이러한 화질 차이의 정보는 개발자가 주관적으로 판단할 수 밖에 없었다. 따라서, 개발자의 주관적인 느낌에 따라 화질을 개선하기 위해 인코딩 파라메터를 변경하거나 압축 영상 재생시 사용할 프리 필터나 포스트 필터의 특성을 변경하게 된다.

그러나, 이러한 개발자의 주관적인 느낌에 의한 화질의 판단 및 보정은 개발자의 개인적인 취향이 반영될 수 있으므로 범용적인 화질 판단이 어려우며 개선 정도를 정밀하게 관리할 수도 없고, 다른 개발자들과의 화질 관련 정보를 교환할 경우에도 이를 표현할 수 있는 방법이 없다는 문제점이 발생한다.

전술한 바와 같은 문제점을 감안한 본 발명은 동영상 압축시 후속 영상을 압축하기위해 이를 이전 영상의 압축 및 복원된 영상과 비교하여 차분치를 연산하게 되는데, 그 직전에 원본 영상과 해당 영상을 압축 및 복원한 영상 사이의 차분치를 획득하는 과정을 더 추가하도록 하여 해당 차분치의 평균으로 원본과 압축/복원한 영상의 유사도를 획득할 수 있도록 함으로써, 일련의 시험 동영상 압축시 압축된 영상과 원본 영상과의 유사도를 객관적인 수치값으로 제공해 줄 수 있도록 한 화질 평가를 위한 압축 영상 품질 검사 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 원본 영상을 입력받아 압축한 후 복원한 것과 해당 원본 영상과의 차분치 평균을 연산하는 단계와; 후속되는 다음번 원본 영상과 상기 복원된 영상을 비교하여 다음번 압축 영상을 위한 차분치를 획득하여 후속 영상 압축을 실시하는 단계와; 상기 단계들을 기 지정된 원본 영상의 횟수만큼 반복하면서 상기 얻어진 차분치 평균들을 누산 평균하여 소정의 유사도 수치값을 획득하는 단계를 포함하는 것을 특징으로 한다.

상기 원본 영상과 해당 영상을 압축 후 복원(혹은 해제)한 영상 사이의 차분치 평균을 연산하는 단계는 소정의 픽셀을 중심으로 하는 픽셀 블록들의 평균들을 픽셀 단위로 상호 비교하여 차분치를 누적한 후 모든 픽셀들의 수로 나누는 과정을 포함하는 것을 특징으로 한다.

상기 유사도 수치값은 영상 압축 파라메터를 조절하거나 영상 복원시 사용되는 필터들의 특성을 조절함에 따라 변화되는 것을 특징으로 한다.

이하, 상기와 같이 구성되는 본 발명을 첨부한 도면들을 참조하여 상세히 설명하도록 한다.

도 2는 본 발명의 동작 개념을 설명하기 위한 개념도로서, 일반적인 인코더에서의 영상 압축 시스템과 유사해 보이지만, 실제 그 동작은 크게 상이하며, 연속적인 화질 측정을 위하여 일반적인 인코딩 과정 사이에 본원 발명의 핵심이 되는 원본 영상과 압축 후 복원된 영상과의 화질 차분치를 평균 계산하는 과정이 더 포함된다. 이러한 본원 발명의 화질 측정은 일반적인 단말기 사용자를 위한 것이 아니라 개발자가 화질을 정량적으로 측정하여 보다 객관적으로 화질의 수준을 알 수 있도록 함으로써 화질에 영향을 미치는 압축 인코딩 파라메터나 영상 복원을 위해 사용되는 각종 필터들의 특성을 적절하게 변화시키면서 원하는 파일 크기와 처리 속도 및 화질에 대한 설계를 실시할 수 있도록 함을 목적으로 하는 것이다. 따라 서, 이러한 처리 과정에서 압축된 영상은 내부적으로 다음 압축 영상을 만들기 위해서만 사용될 뿐 이를 소정의 저장 혹은 송출 포멧으로 변환하는 부분은 필요하지 않다. 따라서, 일반적인 인코더의 출력과는 달리, 본원에서의 목표 출력은 입력 영상과 해당 입력 영상을 압축한 후 복원한 영상을 비교하여 얻은 차분치 평균이 되며, 이를 누적한 후 프레임 수로 나누어 원하는 유사도 수치값을 얻는 부분은 해당 영상 압축 및 복원 기능을 가진 디바이스의 어플리케이션에서 처리되어 화면 상에 수치로 표시될 수 있다.

그러면, 상기 도 2의 동작 과정을 좀더 상세히 알아보도록 한다. 먼저, 입력되는 원본 영상 프레임들(P1~Pn)이 순차적으로 화질 측정부(20)에 인가되는데, 예를 들어 P1의 영상이 입력되는 경우 이를 받아들여 기 설정된 인코딩 파라메터에 따라 영상 압축을 실시한다. 이는 종래와 동일한 방법으로 고주파 성분을 기 설정된 수준으로 제거하여 영상의 크기를 줄이면서 인덱스 프레임에 대한 압축을 실시하는 것이다. 이렇게 압축된 영상은 전송되거나 저장될 것이 아니기 때문에 그대로 다시 소정의 특성을 가지는 필터들(프리 필터, 포스트 필터 등)을 구비한 영상 복원 수단에 의해 복원된다.

상기 복원된 영상은 일반 인코더의 경우 다음번 원본 영상과 비교되어 차분치를 얻은 후 이를 다음번 영상으로서 압축하는 과정으로 진행하지만, 본원 발명에서는 다음번 원본 영상과 상기 복원된 영상을 비교하기 전에 해당 복원된 영상을 원본 영상과의 비교하여 차분치를 얻는 과정을 추가적으로 실시하도록 한다. 이를 통해 압축 후 복원된 영상의 손실 정도를 정량적으로 확인할 수 있게 된다.

그러나, 이 경우 픽셀 단위로 비교를 실시하게 되면 원본 영상에 포함될 수 있는 노이즈 성분(고주파 성분)과 압축되어 해당 노이즈 성분이 제거된(고주파 성분 제거) 복원 영상의 차이가 두드러지가 나타날 수 있으므로 이는 정확한 압축 영상의 유사도를 파악하는데 문제를 야기할 수도 있다. 따라서, 순수하게 영상 압축에 따른 손실만을 파악하려면 이러한 기능을 수행하기 위한 원본 영상들을 카메라 등의 실시간 수단으로부터 획득하지 않고 정확한 화질 측정을 위해 별도로 준비된 (노이즈 없는) 기준 영상을 이용할 수도 있다. 또다른 방법으로, 비교의 대상을 픽셀 단위가 아닌 도 3과 같이 해당 픽셀(40)을 둘러싸는 주변 픽셀들(50)의 평균값을 단위로 처리할 수 있는데, 이러한 방법을 이용하게 되면 좀더 노이즈에 눈감해질 수 있다.

이제, 상기 얻어진 원본 영상과 해당 영상을 압축후 복원한 영상과의 차분치 평균(모든 셀들의 차분치 누산값을 모든 셀들의 수로 나눈 것)을 상기 차분치 평균 누산부(30)에 제공하여 해당 프레임에 대한 유사도를 저장한다. 이는 디바이스 어플리케이션을 통해 사용자에게 실시간 제공될 수 있다.

이후, 상기 복원 영상을 다음번 입력 영상(P2)과 비교하여 차분치를 얻어내는 것으로 다음번 영상 압축을 실시할 수 있게 된다. 이후, 동일한 과정을 기 설정된 마지막 입력 프레임까지 실시하며, 각 프레임별로 얻어진 유사도는 상기 차분치 평균 누산부(30)에서 누산된 후 전체 프레임 수로 나누어 그 평균을 얻을 수 있다. 또한, 이러한 값을 확률적으로 표현하기 위해서 차분 평균값이 가질 수 있는 최대값으로 누산 평균값을 나누면 평균 유사도 확률값을 0~1사이 값으로 얻을 수 있게 된다.

예를 들어, 표현 가능한 색상이 각 단위 색상 별로 0~255(8비트, 트루컬러 표시화면인 경우)라면 픽셀의 한 색상에 대한 차분값은 0~255 사이 값이 되고(0이면 동일, 255면 완전 상이), 한 프레임에 대한 차분 평균은 상기 0~255 사이의 값을 전체 픽셀에 대해 얻어 합산한 후 픽셀의 색상수로 나누면 된다. 이후, 상기 프레임에 대한 차분 평균을 255로 나누면 해당 프레임에 대한 화질 유사도 확률값을 얻을 수 있고, 모든 프레임들에 대해 얻은 상기 화질 유사도 확률값을 누산한 후 프레임 수로 나누면 전체적인 화질 유사도 확률 평균값을 얻을 수 있다. 물론, 차분 평균들을 모든 프레임에 대해 누산한 후 이를 프레임 숫자로 나눈 0~255 사이의 값이 이용될 수도 있다.

도 4는 전술한 본원 발명의 동작을 일목요연하게 설명하는 순서도로서, 도시한 바와 같이 설계자를 위한 화질 측정 기능에서만 수행되는 작업일 수 있다. 즉, 개발용 프로토타입 디바이스에만 적용된 후 양산시에는 해당 기능이 제거될 수 있으며, 사용자가 접근하지 못하도록 기능 호출 수단을 제거할 수도 있고, 단순히 해당 기능을 숨길 수도 있다.

먼저, 사용자가 화질 측정 기능을 선택하면, 원본 영상을 획득하여 이를 일단 백업한 후 해당 영상을 압축하게 된다. 이때 압축의 정도는 사용자가 지정하는 인코딩 파라메터에 의해 결정되며 그 값이 높을 수록 압축 영상의 크기는 줄어들지만 화질의 손상은 심해지게 된다. 종래에는 원본 영상을 다시 사용할 일이 없기 때문에 원본 영상을 소실해도 상관 없는 알고리즘이 사용될 수 있으므로 영상 차분치 를 계산하기 위해 원본 영상을 백업해 두는 것이 좋다.

상기 압축된 영상을 소정의 필터링 과정을 포함하여 다시 복원한다.

상기 사용되는 인코딩 파라메터와 복원시 사용되는 필터들의 특성은 설계자가 최종 결과로 제공되는 유사도를 참조하여 적절하게 변경할 수 있으며, 이러한 과정을 통해 객관적으로 최적화된 화질을 얻을 수 있게 되는 것이다.

상기 과정을 통해 복원된 영상을 상기 백업해 두었던 원본 영상과 비교하여 그 차분치를 계산한다. 이때, 상기 차분치를 얻기 위한 비교는 전술했던 것처럼 픽셀 단위가 아닌 비교 대상 픽셀의 주변 픽셀들을 단위로 하는 평균값이라는데 주의한다.

상기 차분치를 모든 픽셀에대해 실시하면서 그 값을 누산한 후 이를 픽셀수로 나누어 차분치 평균값을 얻는다. 이를 최대 차분치로 나누면 유사도 확률을 얻을 수 있다. 이러한 차분치 평균이나 유사도 확률은 반복되는 프레임에 대해서 지속적으로 얻어지며, 그 값을 누적 평균하면 전체 입력 동영상에 대한 화면 품질을 평균적으로 알 수 있게 된다.

만일, 이 상태에서 더이상 입력되는 다음번 입력 프레임이 없다면 현재까지 계산한 유사도 평균값을 제공한 후 종료하게 된다.

만일, 후속하는 입력 프레임이 있다면, 상기 얻은 복원 영상을 다음번 입력 영상과 비교하여 인코딩을 위한 차분치를 계산한다. 이는 일반적인 인코딩 과정과 동일하며, 이렇게 후속하는 압축 영상이 새롭게 얻어진 경우 상기 압축 영상을 복원하는 과정 이후의 단계들을 모두 반복한다.

전술한 바와 같이, 본원 발명은 기존의 인코딩 수단을 적절히 활용하여 입력되는 영상과 압축 후 복원되는 영상과의 차이를 정확한 수치 값으로 제공해 줄 수 있어 설계자가 보다 객관적으로 영상의 품질을 확인할 수 있으며, 이를 통해 최상의 복원 영상 품질을 얻을 수 있도록 인코딩 파라메터와 복원에 사용되는 필터들의 특성값을 정밀하게 조정할 수 있게되며, 타인과의 설계 정보 교류시에도 정확한 품질값을 수치로 교환할 수 있어 개발 효율도 높일 수 있게 된다.

상기한 바와 같이 본 발명 화질 평가를 위한 압축 영상 품질 검사 방법은 동영상 압축시 후속 영상을 압축하기위해 이를 이전 영상의 압축 및 복원된 영상과 비교하여 차분치를 연산하게 되는데, 그 직전에 원본 영상과 해당 영상을 압축 및 복원한 영상 사이의 차분치를 획득하는 과정을 더 추가하도록 하여 해당 차분치의 평균으로 원본과 압축/복원한 영상의 유사도를 획득할 수 있도록 함으로써, 일련의 시험 동영상 압축시 압축된 영상과 원본 영상과의 유사도를 객관적인 수치값으로 제공하도록 하여 설계자가 압축 영상의 화질을 보다 정밀하고 객관적으로 파악할 수 있도록 하고, 이를 통해 보다 나은 화질을 얻기위한 설계 파라메터 값들을 미세 조정할 수 있도록 하며, 타인과의 정보 공유도 정확한 수치에 근거하도록 할 수 있는 효과가 있다.

Claims (5)

1. 원본 영상을 입력받아 압축한 후 복원한 것과 해당 원본 영상과의 차분치 평균을 연산하는 단계와;

   후속되는 다음번 원본 영상과 상기 복원된 영상을 비교하여 다음번 압축 영상을 위한 차분치를 획득하여 후속 영상 압축을 실시하는 단계와;

   상기 단계들을 기 지정된 원본 영상의 횟수만큼 반복하면서 상기 얻어진 차분치 평균들을 누산 평균하여 소정의 유사도 수치값을 획득하는 단계를 포함하는 것을 특징으로 하는 화질 평가를 위한 압축 영상 품질 검사 방법.
2. 제 1항에 있어서, 상기 원본 영상은

   카메라를 통해 입력받거나 임의의 원본 데이터로부터 획득하는 것을 특징으로 하는 화질 평가를 위한 압축 영상 품질 검사 방법.
3. 제 1항에 있어서, 상기 원본 영상과 해당 영상을 압축 후 복원한 영상 사이의 차분치 평균을 연산하는 단계는, 소정의 픽셀을 중심으로 하는 픽셀 블록들의 평균들을 픽셀 단위로 상호 비교하여 차분치를 누적한 후 모든 픽셀들의 수로 나누는 과정을 포함하는 것을 특징으로 하는 화질 평가를 위한 압축 영상 품질 검사 방법.
4. 제 1항에 있어서, 상기 유사도 수치값은

   상기 차분치 평균을 표현 가능한 색상의 최대 수치로 나누어 0~1 사이의 확률값으로 산출하는 것을 특징으로 하는 화질 평가를 위한 압축 영상 품질 검사 방법.
5. 제 1항에 있어서, 상기 유사도 수치값은

   영상 압축 파라메터를 조절하거나 영상 복원시 사용되는 필터들의 특성을 조절함에 따라 변화되는 것을 특징으로 하는 화질 평가를 위한 압축 영상 품질 검사 방법.

Images