KR100601846B1 - 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 - Google Patents

동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 Download PDF

Info

Publication number
KR100601846B1
KR100601846B1 KR1020030038489A KR20030038489A KR100601846B1 KR 100601846 B1 KR100601846 B1 KR 100601846B1 KR 1020030038489 A KR1020030038489 A KR 1020030038489A KR 20030038489 A KR20030038489 A KR 20030038489A KR 100601846 B1 KR100601846 B1 KR 100601846B1
Authority
KR
South Korea
Prior art keywords
value
image
distortion
outline
calculating
Prior art date
Application number
KR1020030038489A
Other languages
English (en)
Other versions
KR20040107850A (ko
Inventor
나동원
윤홍서
채상호
박현중
이중윤
이상우
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020030038489A priority Critical patent/KR100601846B1/ko
Publication of KR20040107850A publication Critical patent/KR20040107850A/ko
Application granted granted Critical
Publication of KR100601846B1 publication Critical patent/KR100601846B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 객관적 화질 평가 방법을 통해 추출한 왜곡값을 이용하여 동영상 압축 부호화기의 성능을 향상시키기 위한 왜곡 최적화 장치 및 방법을 제공한다.
본 발명의 왜곡 최적화 장치는 주관적 화질 평가 수치에 근접하는 객관적 화질 평가 수치를 산출하기 위한 화질 평가 장치, 화질 평가 장치로부터 주관적 화질 평가 수치에 근접하는 왜곡값을 입력받고, 대상 동영상의 비트율 및 지정된 가중치에 의해 최적화된 왜곡값을 산출하기 위한 최적 왜곡값 산출 장치를 포함하여, 최적 왜곡값 산출 장치의 출력값에 의해 동영상 압축 부호화기에 적용되는 파라미터 집합을 추출하게 된다.
이와 같은 본 발명에 의하면 동영상 압축 복호화기에 적용할 파라미터를 추출하는 데 있어서 주관적 화질 평가 수치에 근접한 객관적 화질 평가 수치를 이용함으로써 동영상 압축 부호화기의 성능을 향상시킬 수 있고 복호화된 동영상의 화질을 개선할 수 있다.
동영상 압축, 화질 평가, 왜곡 최적화

Description

동영상 압축 부호화기의 왜곡 최적화 장치 및 방법{Apparatus and Method for Distortion Optimization of Moving Picture Compaction Encoder}
도 1은 본 발명에 의한 동영상 압축 부호화기의 왜곡 최적화 장치를 설명하기 위한 도면,
도 2는 도 1에 도시한 화질 평가 장치의 일 실시예에 의한 상세 구성도,
도 3은 본 발명에 의한 동영상 압축 부호화기의 왜곡 최적화 방법을 설명하기 위한 흐름도,
도 4는 도 3에 적용되는 최적 왜곡값 산출 방법의 일 실시예를 설명하기 위해 도시한 흐름도,
도 5는 동영상 화질의 왜곡과 비트율의 상관관계를 설명하기 위한 도면,
도 6a 및 6b는 최적 왜곡값 산출 방법 중 예측 보정 방법을 설명하기 위한 도면이다.
<도면의 주요 부분에 대한 부호 설명>
10 : 화질 평가 장치 20 : 최적 왜곡값 산출 장치
101 : 소스영상 입력부 103 : 외곽선 추출부
105 : 마스크 이미지 생성부 107 : 평가대상 영상 입력부
109 : E-PSNR 산출부
본 발명은 동영상 압축 부호화기에 관한 것으로, 보다 상세하게는 객관적 화질 평가 방법을 통해 추출한 왜곡값을 이용하여 동영상 압축 부호화기의 압축 성능을 향상시키기 위한 왜곡 최적화 장치 및 방법에 관한 것이다.
개인용 컴퓨터, 휴대폰과 같은 통신 장비 보급의 확대와 유무선 통신 기술 발달에 따른 인터넷 사용자의 증가와 함께, 유무선 인터넷 사용자들의 서비스 요구 사항이 증가하고 있다. 특히 화상 회의와 같은 실시간 비디오 서비스, 주문형 비디오 서비스(Video On Demand; VOD) 등과 같은 유무선 통신 매체를 이용한 동영상 멀티미디어 서비스에 대한 서비스 보급 및 이용 요구가 날로 증가하고 있다.
동영상 멀티미디어는 콘텐츠는 지정된 사양을 만족하는 단말기의 종류에 무관하게 플레이될 수 있어야 하기 때문에 표준 부호화 방식을 사용하여야 하고, 동영상 멀티미디어 콘텐츠의 특성상 데이터양이 방대하기 때문에 동일한 값을 갖는 부분을 압축하여야 한다. 이를 위하여 동영상 멀티미디어 콘텐츠를 유무선 단말기로 전송하기 전 압축 및 부호화하기 위한 압축 부호화기가 사용된다.
현재 동영상 압축 부호화기의 성능 즉, 압축률과 결과 동영상의 품질은 부호화기에 적용되는 각종 파라미터에 의해 좌우된다. 이 파라미터의 설정에 의해 부호화된 비트스트림의 비트율(콘텐츠의 크기)과 복호화된 영상의 화질이 크게 차이가 나게 된다.
일반적으로, 이러한 파라미터의 최적화를 위해서는 (비트)율-왜곡 최적화 방법(Rate-distortion optimization)을 사용하는데, 여기에서 비트율의 척도는 부호화된 비트스트림의 초당 비트수, 왜곡은 SAD(Sum of Absolute Difference), PSNR(Peak Signal to Noise Ration) 등 수치적으로 계산된 값을 사용한다.
그러나 SAD나 PSNR 등의 수치는 영상을 수치화한 후 그 값의 차이를 표시할 뿐, 실제 사람의 시각 특성을 반영하지 못하기 때문에 눈으로 보는 왜곡의 정보를 정확하게 나타내지 못한다. 이로 인하여, 왜곡값이 크더라도 사람이 보기에는 품질이 좋게 보일 수 있고, 반대로 왜곡값이 작더라도 사람이 보기에 품질이 나쁘게 보일 수 있다.
이러한 문제점을 해결하기 위한 가장 바람직한 방법으로는 사람이 동영상의화질을 주관적으로 평가한 값을 수치화하여 이를 왜곡으로 반영하는 것이지만, 이러한 방식은 시간과 비용 측면에서 구현하는 데 한계가 있으며, 자동화 부호화기 구현에 제약 사항이 된다.
본 발명은 이러한 문제점을 해결하기 위하여 안출된 것으로서, 동영상 압축 부호화시 사람의 주관적 평가를 수치적으로 나타낸 값을 적용함으로써 동영상 압축 부호화기의 성능을 향상시킬 수 있는 왜곡 최적화 장치 및 방법을 제공하는 데 기술적 과제가 있다.
본 발명은 동영상 압축 부호화기의 성능을 향상시키기 위하여 주관적 화질 평가 수치에 근접한 객관적 화질 평가 수치를 대입한다. 이를 위하여 외곽선 최대 신호대잡음비(EPSNR)를 산출하여 적용하거나 예측 보정방법에 의해 산출된 왜곡값을 이용한다. EPSNR 또는 예측 보정방법에 의해 산출된 왜곡값은 주관적 화질 평가 수치에 근접하므로, 이를 이용하게 되면 동영상 압축 부호화기의 성능을 향상시킬 수 있고 이러한 동영상을 복호화하여 재생하는 경우 양호한 화질의 동영상 콘텐츠를 제공할 수 있게 된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 1은 본 발명에 의한 동영상 압축 부호화기의 왜곡 최적화 장치를 설명하기 위한 도면이고, 도 2는 도 1에 도시한 화질 평가 장치의 일 실시예에 의한 상세 구성도이다.
본 발명에 의한 왜곡 최적화 장치는 주관적 화질 평가 수치에 근접하는 객관적 화질 평가 수치를 산출하기 위한 화질 평가 장치(10), 화질 평가 장치(10)로부터 주관적 화질 평가 수치에 근접하는 왜곡값을 입력받고, 대상 동영상의 비트율 및 지정된 가중치에 의해 최적화된 왜곡값을 산출하기 위한 최적 왜곡값 산출 장치(20)를 포함한다. 최적 왜곡값 산출 장치(20)로부터 출력되는 최적화된 왜곡값을 적용하여 동영상 압축 부호화기에 필요한 파라미터 집합을 추출할 수 있으며, 이를 이용하여 동영상 압축 부호화시 왜곡을 보상하게 된다. 보다 상세히 설명하면 다음과 같다.
동영상 압축 부호화기에는 다양한 파라미터를 설정하게 되는데, 이중 주요한 파라미터로는 픽쳐 모드(picture mode), 매크로블록 모드(macroblock mode), 움직임 벡터(motion vector), 양자화 파라미터(quantization parameter) 등이 있다. 이 파라미터 값들의 결정에 따라서 동영상 압축 부호화기의 성능 차이가 발생하는데, 일반적으로 이러한 파라미터를 최적화하기 위해서는 율-왜곡 최적화 방법을 사용한다.
율-왜곡 최적화 방법은 [수학식 1]과 같은 비용 함수를 정의하고 이를 최소화함으로써 얻어진다.
Figure 112003021240736-pat00001
[수학식 1]에서 왜곡을 나타내는 D와 비트율을 나타내는 B는 상기 파라미터설정에 의해 값이 변경되고, 이에 의해 비용함수 J의 값이 결정되는데, 파라미터 변경에 의한 D와 B의 관계는 도 5에 도시한 것과 같다. 도 5는 동영상 화질의 왜곡과 비트율의 상관관계를 설명하기 위한 도면이다.
도 5를 참조하면, 왜곡 D와 비트율 B가 반비례하는 것을 알 수 있다. 즉, D(Q)는 파라미터 집합(Q)를 변경하였을 때 화질이 얼마나 나빠지는지의 정도를 나타내고, B(Q)는 콘텐츠 크기 및 파라미터 집합(Q)의 변경에 따라 화질이 얼마나 나빠지는지를 의미한다. 여기에서 λT는 왜곡과 비트율 간의 가중치를 나타내는 것으로 동영상 압축 부호화 수행자에 의해 결정된다.
정해진 비트율 B의 제한을 고려하였을 때 또는 정해진 왜곡 D의 제한을 고려 하였을 때, 비용함수 J가 최소가 되도록 하는 파라미터 집합 Q를 찾는 것이 율-왜곡 최적화 방법의 목적이 된다.
그런데, 비트율 B를 고정값으로 하는 경우 왜곡 D의 기준을 어느 것으로 선택하는지에 따라서 D와 B의 관계 그래프가 변화하고, 이로 인해 비용함수 J가 최소가 되도록 하는 파라미터 집합 Q도 변화하게 된다. 따라서, SAD를 왜곡 D로 적용하였을 때 얻어지는 파라미터 집합 QSAD와 PSNR을 왜곡 D로 적용하였을 때 얻어지는 파라미터 집합 QPSNR은 차이가 있다. 또한, 이로 인하여 전체적인 압축 부호화기의 성능에도 차이가 발생하게 되는데, 이렇게 각각 구해진 Q값을 이용하여 부호화하였을 때 복호화된 영상은 각각 SAD와 PSNR값에 의한 왜곡을 보상할 뿐 실제로 사람이 느끼는 화질의 왜곡을 작게 하는 것은 아니다.
그러므로, 왜곡 D를 주관적인 화질 평가 수치로 대체할 경우 구해지는 QOBJ를 이용하여 압축 부호화를 수행할 경우 복호화된 영상은 실제로 사람이 느끼는 화질의 왜곡을 작게한 결과가 된다. 다만, 실제로 주관적인 화질 평가 수치를 구하여 적용하는 데에는 시간적/비용적 한계가 있으므로 이를 대체하여 주관적 화질 평가 수치에 근접한 객관적 화질 평가 수치를 대입함으로써 주관적 화질 평가 수치를 적용한 것과 비슷한 효과를 얻을 수 있다.
이를 위하여 도 1의 화질 평가 장치(10)는 EPSNR을 추출하기 위한 객관적 화질 평가 장치 또는 예측 보정 장치 등이 적용될 수 있다. 먼저, EPSNR을 추출하기 위한 객관적 화질 평가 장치는 소스 영상과 처리된 영상의 전체의 PSNR을 구하는 방법과 달리 경계 영역에서만 PSNR을 구하는 방법으로서 [수학식 2]와 같이 표현될 수 있다.
Figure 112003021240736-pat00002
여기에서 X는 영상의 경계영역의 화소수, 255는 화소의 최대값, (l, m)은 영상의 경계로 판단되는 화소, o(l, m)과 i(l. m)은 소스 영상과 처리된 영상값을 의미한다. EPSNR을 산출하기 위한 객관적 화질 평가 장치에 대해서는 본 출원인이 2003년 3월 3일자로 특허출원한 '동영상 화질 평가장치 및 방법'(출원번호 10-2003-0013188)에 기재되어 있다.
도 2를 참조하여 본 발명에 적용되는 객관적 화질 평가 장치에 대하여 설명하면, EPSNR을 산출하기 위한 화질 평가 장치(10)는 원래의 동영상인 소스영상을 입력하기 위한 소스영상 입력부(101), 소스영상 입력부(101)로 입력되는 소스영상의 외곽선을 추출하기 위한 외곽선 추출부(103), 외곽선 추출부(103)의 출력으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부(105), 평가 대상이 되는 영상을 입력받기 위한 평가대상영상 입력부(107) 및 마스크 이미지 생성부(105)의 출력 및 평가대상영상을 입력으로 하여 외곽선 최대 신호대잡음비(EPSNR)를 산출하기 위한 E-PSNR 산출부(109)를 포함한다.
여기에서, 소스영상 입력부(101) 및 평가대상영상 입력부(107)는 외부 장치 로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 소정의 저장장치로 구성할 수 있다. 또한, 마스크 이미지는 추출된 외곽선을 이루는 화소 중에서 설정된 값 이상의 문턱값을 갖는 화소로 이루어진 외곽선 이미지로 정의할 수 있다.
외곽선 영역을 찾기 위해 소스 동영상에 외곽선 추출 알고리즘을 적용하고, 문턱값을 이용하는 연산을 적용하여 외곽선 영역의 자승평균오차(Mean Squared Error; MSE)를 산출함으로써 외곽선 영역의 저하 즉, 외곽선의 디그라데이션(Degradation) 정도를 측정한다. 그리고 MSE로부터 EPSNR을 산출한다.
보다 구체적으로 설명하면, 외곽선 추출부(103)는 외곽선 영역을 찾기 위하여 기존에 제안된 알고리즘의 하나를 사용할 수 있으며, 예를 들어 구배 연산자(Gradient Operator)를 이용할 수 있다. 즉, 구배 연산자 중 수직 구배 연산자를 이용한 외곽선 추출 알고리즘을 소스 영상에 적용하여 수직 구배 이미지를 생성하고, 이와 동시에(혹은 생성한 후) 소스 영상에 수평 구배 연산을 적용하여 수평 구배 이미지를 생성한다. 그리고 생성된 수직 및 수평 구배 이미지에 절대값 연산을 수행하여 수직 및 수평 구배 이미지를 생성한다.
마스크 이미지 생성부(105)는 수직 및 수평 구배 이미지에 문턱값 연산을 적용하여 수직 및 수평 구배 이미지에서 화소값의 크기가 소정치 이상인 것을 추출함으로써 MSE 산출을 위한 외곽선 영역을 찾는다. 즉, 수직 및 수평 구배 이미지의 각 화소의 값이 미리 설정된 문턱값 이상인 화소만 추출하고 이와 같이 하여 추출된 화소들이 외곽선 영역이 된다.
영상의 외곽선 및 마스크 이미지를 추출하는 또 다른 방법을 설명하면 다음과 같다. 외곽선 추출부(103)에서 소스영상에 수직 구배 연산자를 적용하여 수직 구배 이미지를 생성한 후, 생성된 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수평 구배 이미지를 생성한다. 여기에서, 소스 영상에 대하여 수평 구배 이미지를 생성한 후 수직 구배 이미지를 생성하는 것도 가능하다.
이와 같이 수직 및 수평 구배 이미지가 생성되면 외곽선 추출부(103)는 이를 마스크 이미지 생성부(105)로 전송하고, 마스크 이미지 생성부(105)는 수직 및 수평 구배 이미지에 문턱값 연산을 적용하여 구배 이미지의 화소들 중 화소값이 설정된 문턱값 이상인 화소들만 추출한다. 이와 같이 하여 추출된 화소들로 이루어진 외곽선 영역이 마스크 이미지가 된다.
소스 영상에 대한 마스크 이미지를 생성한 후에는 이를 평가대상 영상과 비교하여 EPSNR을 산출하여야 한다. 이를 위하여 소스 영상과 평가대상 영상의 외곽선 영역간의 자승평균오차(MSE)이용한다. 즉, 동영상은 다수의 프레임으로 이루어지고, 각 프레임의 이미지를 이루는 다수의 화소는 행렬로 나타낼 수 있다. 각 프레임의 화소를 행렬로 나타내면 소스 영상과 평가대상 영상간의 오차를 구할 수 있고, 구해진 오차값들을 외곽선 영역의 전체 화소수로 나눔으로써 자승평균오차(MSE)를 산출한다. 이 MSE가 상술한 [수학식 1]에 나타낸 로그함수의 진수의 분모에 해당하며, 이를 통하여 EPSNR을 산출할 수 있게 된다.
다음으로, 예측 보정방법은 객관적 화질 평가 시스템이 보다 정확한 주관적 평가치 예측이 가능하도록 후처리하는 과정으로서, 동영상 객관적 화질 평가 시스 템에서 예측 보정은 객관적 화질 평가 모델의 성능 향상을 위하여 임의의 예측방법에 대하여 실제값에서 멀리 떨어진 값들을 실제 값에 근접하도록 예측치를 보정해주는 방법이다(도 6a 참조).
예측 보정방법에는 보정특징(보정벡터)들을 추출하여 최적의 선형가중벡터를 찾는 가중치 보정방법(Least Mean Square; LMS) 방법, 룰 베이스(Rule Based) 방법, 신경망 등 다양한 방법들을 사용할 수 있다. 상기한 LMS 방법은,
Figure 112005066208056-pat00010
가 최소가 되도록 하는 가중벡터(a)를 구한다. 여기서 Y는 보정에 사용된 보정특징벡터, b는 실제값과 예측값의 차이 그리고 a는 가중벡터를 의미한다. 그리고 구하여진 가중벡터와 보정특징벡터를 곱해서 보정치를 계산하여 예측값에 더해줌으로써 실제값에 근접하도록 해준다.
보정에 이용할 수 있는 특징으로는 시공간주파수의 영역별 차이, 블록킹(blcoking) 측정치, 에지(경계선)정보, 색상차이 등이 있으며, 그 이외에도 임의의 특징으로 설정하고 이용할 수 있다. 특히 시공간주파수의 영역별 차이를 구하기 위하여 웨이블릿 계수를 사용할 수 있다.
즉, 예측을 보정하기 위한 장치 또는 예측 보정을 위한 화질 평가 장치는 소스영상과 평가대상영상을 이용하여 화질을 평가하여 예측값을 산출하고, 이 예측값을 보정하기 위하여 소스영상과 평가대상영상을 이용하여 보정특징벡터를 구성하기 위한 각 성분값을 산출하여 보정특징벡터를 구성하며, 상기 보정특징벡터에 소정의 가중벡터를 곱하는 등의 방법으로 상기 보정특징벡터를 이용하여 보정치를 산출하고, 산출된 보정치를 상기 예측값에 가산하여 예측치를 보정한다.
한편, 예측치를 보정한 보정값을 구하는 방법으로써 예측값의 범위에 따라 구간을 나누고 구간별로 다른 보정값을 구하여 수행하는 윈도우 적용 방법을 사용할 수도 있다(도 6b 참조). 구간별로 구하여진 보정값에 대하여 각각의 구간에 속한 비디오에 대하여 다른 가중벡터를 적용하여 보정하면 다양한 코덱으로 처리된 비디오들에 대해서 성능을 향상시킬 수 있다.
이와 같은 보정방법을 통해서 정확성이 떨어지는 예측값에 대해서 보정을 취해줌으로써 실제값과 높은 상관관계를 가지는 왜곡척도를 얻을 수 있고 이들을 사용함으로써 높은 최적화성능을 얻을 수 있다.
도 3은 본 발명에 의한 동영상 압축 부호화기의 왜곡 최적화 방법을 설명하 기 위한 흐름도이다.
동영상 압축 부호화기에 적용하기 위한 최적의 파라미터 집합을 추출하기 위하여, 먼저 동영상 화질로부터 주관적 화질 평가 수치에 근접한 객관적 화질 평가 수치, 즉 왜곡값을 산출한다(S10). 이 경우에는 영상의 경계 영역에서만 PSNR을 구하는 방법인 EPSNR을 산출하는 방법, 임의의 예측방법에 대하여 실제값에서 멀리 떨어진 값들을 실제 값에 근접하도록 예측치를 보정해주는 예측 보정방법 등을 이용할 수 있다. 예측 보정방법에는 가중치 보정방법(Least Mean Square; LMS) 방법, 룰 베이스(Rule Based) 방법, 신경망 등 다양한 방법을 이용할 수 있다.
주관적 화질 평가 수치에 근접한 왜곡값이 산출된 후에는 동영상의 크기인 비트율과 지정된 가중치를 적용하여 최적 왜곡값을 산출한다(S20). 이 경우에는 상술한 [수학식 1]을 적용할 수 있으며, 이를 통해 비용함수 J를 최소화하는 파라미터 집합이 추출되게 된다.
다음에, 비용함수 J를 최소화하는 파라미터 집합을 이용하여 대상 동영상의 압축 부호화가 수행된다(S30).
도 4는 도 3에 적용되는 최적 왜곡값 산출 방법의 일 실시예를 설명하기 위해 도시한 흐름도로서, EPSNR 방법의 예를 나타낸다.
먼저, 소스영상으로부터 외곽선을 추출한다(S110). 이를 위해 도 2에 도시한 소스영상 입력부(101)를 통해 입력된 소스영상을 외곽선 추출부(103)에서 외곽선을 추출한다. 외곽선 추출을 위하여 예를 들어 구배 연산자를 이용한 외곽선 추출 알고리즘을 적용할 수 있다. 즉, 소스영상에 수직 구배 연산자 및 수평 구배 연산자를 각각 적용하여 수직 구배 이미지 및 수평 구배 이미지를 생성하고 여기에 절대값 연산을 수행함으로써 외곽선을 추출하거나, 소스영상에 수직 구배 연산자를 적용하여 수직 구배 이미지를 생성하고 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수평 구배 이미지를 생성한 후 절대값 연산을 수행함으로써 소스영상의 외곽선을 추출할 수 있다.
이와 같이 외곽선 이미지가 추출되면 마스크 이미지를 생성한다(S120). 마스크 이미지는 도 2에 도시한 마스크 이미지 생성부(105)에서 생성한다. 마스크 이미지 생성을 위하여 외곽선 추출부에서 생성한 수직 및 수평 구배 이미지에 문턱값 연산을 적용하여 외곽선을 이루는 화소값의 크기가 소정치 이상인 것을 추출하고 이를 마스크 이미지로서 출력한다.
이후, 마스크 이미지 및 평가대상 영상을 이용하여 E-PSNR 산출부(109)에서 EPSNR을 산출한다(S130). 즉, 소스영상의 마스크 이미지와 평가대상 영상의 각 프레임을 이루는 다수의 화소는 행렬로 나타낼 수 있으며, 각 프레임의 화소를 행렬로 나타내면 소스 영상과 평가대상 영상간의 오차를 구할 수 있다. 이와 같이하여 구해진 오차값들을 외곽선 영역의 전체 화소수로 나누어 자승평균오차(MSE)를 산출하며, 이를 [수학식 1]에 나타낸 로그함수의 진수의 분모에 적용함으로써 EPSNR을 산출할 수 있게 된다.
본 발명에서는 동영상 압축 부호화에 사용되는 최적의 파라미터 집합을 추출하는 데 주관적 화질 평가 수치에 근접한 객관적 화질 평가 장치 및 방법을 이용하며, 이에 따라 동영상 압축 부호화 성능 및 복호화된 동영상의 화질을 개선할 수 있게 된다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이와 같이, 본 발명에 의하면 동영상 압축 복호화기에 적용할 파라미터를 추출하는 데 있어서 주관적 화질 평가 수치에 근접한 객관적 화질 평가 수치를 이용함으로써 동영상 압축 부호화기의 성능을 향상시킬 수 있고, 이에 따라 복호화된 동영상의 화질을 개선할 수 있는 이점이 있다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 주관적 화질 평가 수치에 근접하는 객관적 화질 평가 수치를 산출하기 위한 화질 평가 장치와; 상기 화질 평가 장치로부터 주관적 화질 평가 수치에 근접하는 왜곡값을 입력받고, 대상 동영상의 비트율 및 지정된 가중치에 의해 최적화된 왜곡값을 산출하기 위한 최적 왜곡값 산출 장치; 를 포함하여, 상기 최적 왜곡값 산출 장치의 출력값에 의해 상기 동영상 압축 부호화기에 적용되는 파라미터 집합을 추출하는 동영상 압축 부호화기에 적용되는 왜곡 최적화 장치로서,
    상기 화질 평가 장치는,
    원래의 동영상인 소스영상을 입력하기 위한 소스영상 입력부와;
    평가 대상이 되는 영상을 입력받기 위한 평가대상영상 입력부와;
    상기 소스영상 입력부로 입력되는 소스영상에 외곽선 추출 알고리즘을 적용하여 소스영상의 외곽선 영역을 추출하는 외곽선 추출부와;
    상기 외곽선 추출부의 출력으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부와;
    상기 외곽선 추출부에 의해 추출된 소스영상의 외곽선 영역과 이에 대응하는 평가대상영상의 외곽선 영역의 각 화소 사이의 값의 차를 계산하고, 그 전체 값을 상기 마스크 이미지 중 외곽선 영역에 해당하는 전체 화소수로 나누어 외곽선 영역만의 평균오차를 산출하고, 산출된 평균오차를 이용하여 외곽선 최대 신호대잡음비(E-PSNR)를 산출하는 E-PSNR 산출부;
    를 포함하는 것을 특징으로 하는 동영상 압축 부호화기의 왜곡 최적화 장치.
  4. 주관적 화질 평가 수치에 근접하는 객관적 화질 평가 수치를 산출하기 위한 화질 평가 장치와; 상기 화질 평가 장치로부터 주관적 화질 평가 수치에 근접하는 왜곡값을 입력받고, 대상 동영상의 비트율 및 지정된 가중치에 의해 최적화된 왜곡값을 산출하기 위한 최적 왜곡값 산출 장치; 를 포함하여, 상기 최적 왜곡값 산출 장치의 출력값에 의해 상기 동영상 압축 부호화기에 적용되는 파라미터 집합을 추출하는 동영상 압축 부호화기에 적용되는 왜곡 최적화 장치로서,
    상기 화질 평가 장치는,
    원래의 동영상인 소스영상을 입력하기 위한 소스영상 입력부와;
    평가 대상이 되는 영상을 입력받기 위한 평가대상영상 입력부와;
    상기 소스영상입력부로 입력되는 소스영상과 상기 평가대상영상 입력부로 입력되는 평가대상영상을 이용하여 화질을 평가하는 화질 평가부와;
    상기 소스영상입력부로 입력되는 소스영상과 상기 평가대상 영상입력부로 입력되는 평가대상영상을 이용하여 보정특징벡터를 구성하기 위한 각 성분값을 산출하여 보정특징벡터를 구성하며, 상기 보정특징벡터의 보정함수인 보정치를 산출하고, 상기 산출된 보정치를 상기 화질 평가부 출력 데이터 값에 가산하여 예측치를 보정하는 예측치보정부;
    를 포함하는 것을 특징으로 하는 동영상 압축 부화기의 왜곡 최적화 장치.
  5. 제 4 항에 있어서,
    상기 보정특징벡터의 성분은,
    시공간주파수의 각 영역별 에너지, 블로킹 정도, 에지 정보, 색상 정보 중 어느 하나이거나 이들의 조합인 것을 특징으로 하는 동영상 압축 부호화기의 왜곡 최적화 장치.
  6. 삭제
  7. 동영상 압축 부호화기의 왜곡 최적화 방법으로서,
    원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소 사이의 값의 차를 계산하고, 그 결과에 대한 전체 프레임의 합을 산출하여 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;
    상기 외곽선 영역만의 평균오차를 이용하여 외곽선 최대신호대잡음비(E-PSNR)를 산출하는 단계;
    상기 외곽선 최대 신호대잡음비(E-PSNR)에 따라 화질 평가 수치를 산출하는 단계;
    상기 화질 평가 수치에 평가대상 동영상의 크기인 비트율과 지정된 가중치를 적용하여 최적 왜곡값을 산출하는 단계;
    를 포함하는 동영상 압축 부호화기의 왜곡 최적화 방법.
  8. 동영상 압축 부호화기의 왜곡 최적화 방법으로서,
    원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선을 추출하는 단계와;
    상기 외곽선 추출후 상기 추출된 외곽선으로부터 마스크 이미지를 생성하기 위한 문턱값을 설정하고 그에 따라 마스크 이미지를 생성하는 단계와;
    상기 마스크 이미지의 외곽선 영역의 픽셀수를 미리 설정된 기준값과 비교하여 상기 픽셀수가 상기 기준값 이상일 경우, 상기 소스 동영상 중 상기 마스크 이미지에 대응하는 영상 및 평가대상 영상을 입력으로 하여 신호대잡음비를 산출하는 단계와;
    상기 소스 동영상과 평가대상 동영상을 이용하여 보정특징벡터를 구성하기 위한 각 성분값을 산출하여 보정특징벡터를 구성하고, 상기 보정특징벡터의 보정함수인 보정치를 산출하여, 상기 산출된 보정치를 상기 산출된 신호대잡음비 값에 가산하여 예측치를 보정하는 단계;
    상기 보정된 값에 평가대상 동영상의 크기인 비트율과 지정된 가중치를 적용하여 최적 왜곡값을 산출하는 단계;
    를 이용하는 것을 특징으로 하는 동영상 압축 부호화기의 왜곡 최적화 방법.
  9. 제 8 항에 있어서,
    상기 보정특징벡터의 성분은,
    시공간주파수의 각 영역별 에너지, 블로킹 정도, 에지 정보, 색상 정보 중 어느 하나이거나 이들의 조합인 것을 특징으로 하는 동영상 압축 부호화기의 왜곡 최적화 방법.
  10. 제 7 항 또는 제 8 항에 있어서,
    상기 최적 왜곡값을 산출하는 단계는 비용함수(비용함수J=D(Q)+λTB(Q), D:왜곡, B:비트율, λT:가중치, Q:파라미터 집합)를 최소화하는 동영상 압축 부호화기의 파라미터 집합을 추출하는 단계인 것을 특징으로 하는 동영상 압축 부호화기의 왜곡 최적화 방법.
KR1020030038489A 2003-06-14 2003-06-14 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 KR100601846B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030038489A KR100601846B1 (ko) 2003-06-14 2003-06-14 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030038489A KR100601846B1 (ko) 2003-06-14 2003-06-14 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040107850A KR20040107850A (ko) 2004-12-23
KR100601846B1 true KR100601846B1 (ko) 2006-07-19

Family

ID=37381879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030038489A KR100601846B1 (ko) 2003-06-14 2003-06-14 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100601846B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968375B1 (ko) 2008-11-27 2010-07-09 주식회사 코아로직 최적 영상 선택 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101015253B1 (ko) * 2004-12-29 2011-02-18 주식회사 케이티 압축/복원된 영상에 대한 주관적 화질 평가 방법 및 장치
KR100733261B1 (ko) * 2005-09-21 2007-06-27 에스케이 텔레콤주식회사 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법
KR101037940B1 (ko) * 2007-01-30 2011-05-30 삼성전자주식회사 압축 영상의 화질 검출장치 및 방법
KR101035365B1 (ko) * 2010-02-04 2011-05-20 서강대학교산학협력단 Ｃｓ를 이용한 화질 평가 장치 및 방법
WO2019009449A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968375B1 (ko) 2008-11-27 2010-07-09 주식회사 코아로직 최적 영상 선택 방법 및 장치

Also Published As

Publication number Publication date
KR20040107850A (ko) 2004-12-23

Similar Documents

Publication Publication Date Title
US20210203950A1 (en) Dynamic Scaling for Consistent Video Quality in Multi-frame Size Encoding
Zhou et al. SSIM-based global optimization for CTU-level rate control in HEVC
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
US8059721B2 (en) Estimating sample-domain distortion in the transform domain with rounding compensation
JP4187405B2 (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
CN101534436B (zh) 一种视频图像宏块级自适应码率分配方法
US6891889B2 (en) Signal to noise ratio optimization for video compression bit-rate control
US6507616B1 (en) Video signal coding method
CN109286812B (zh) 一种hevc视频质量估计方法
KR20000005110A (ko) 지각 메트릭을 이용하는 이미지 코딩시스템에서 엔코딩 최적화및 자동 조정가능 이미지 압축을 위한 장치 및 방법
KR20040011100A (ko) 개선된 비트율 제어 방법과 그 장치
JP2014502113A (ja) パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置
CN103609122A (zh) 用于视频编码的率失真优化
CN101331773B (zh) 使用速率失真特性进行速率受控视频编码的装置和方法
Shahid et al. A no-reference machine learning based video quality predictor
US8325807B2 (en) Video coding
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法
Sanchez Rate control for predictive transform screen content video coding based on RANSAC
KR100601846B1 (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
EP1505837B1 (en) Device and method for compressing digital images
He et al. Efficient Rate Control in Versatile Video Coding With Adaptive Spatial–Temporal Bit Allocation and Parameter Updating
Sun et al. Rate-distortion analysis of dead-zone plus uniform threshold scalar quantization and its application—Part II: Two-pass VBR coding for H. 264/AVC
KR101359500B1 (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
Brandao et al. No-reference PSNR estimation algorithm for H. 264 encoded video sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130618

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150625

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 11