KR20090068222A - 공간 활동 메트릭과 그 평가 방법 - Google Patents

공간 활동 메트릭과 그 평가 방법 Download PDF

Info

Publication number
KR20090068222A
KR20090068222A KR1020097006374A KR20097006374A KR20090068222A KR 20090068222 A KR20090068222 A KR 20090068222A KR 1020097006374 A KR1020097006374 A KR 1020097006374A KR 20097006374 A KR20097006374 A KR 20097006374A KR 20090068222 A KR20090068222 A KR 20090068222A
Authority
KR
South Korea
Prior art keywords
spatial activity
image
activity metric
metric
noise
Prior art date
Application number
KR1020097006374A
Other languages
English (en)
Inventor
시아오안 루
지에푸 자이
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090068222A publication Critical patent/KR20090068222A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

전형적으로 이미지 분산, 이미지 그래디언트 또는 DCT 계수 중 하나에 기초하여, 이미지를 특성화하기 위한 공간 활동 메트릭이 설정된다. 공간 활동 메트릭은 이미지 내의 추정된 노이즈의 양만큼 감소되어 공간 마스킹과 관련한 공간 활동 메트릭에서, 필름 그레인과 같은 노이즈의 존재로 인한 마스킹되지 않은 왜곡의 가능성이 감소될 것이다. 그러한 공간 활동 메트릭의 효과는 유사한 텍스쳐의 이미지 내의 영역에 대한 공간 활동 메트릭에 의해 만들어진 측정의 유사성을 결정하고 상이한 텍스쳐의 이미지 내의 영역에 대한 공간 활동 메트릭에 의해 만들어진 측정의 차이점을 결정함으로써 결정될 수 있다.
공간 활동 메트릭, 분산, 그래디언트, DCT 계수, 공간 마스킹, 필름 그레인

Description

공간 활동 메트릭과 그 평가 방법{SPATIAL ACTIVITY METRIC AND METHOD FOR EVALUATING THE SAME}
본 출원은 35 U.S.C. 119(e)하에서 2006년 9월 29일에 출원된 미국특허 가출원번호 제60/848,296호에 대한 우선권을 주장하며, 그 교시는 본 명세서에 결합된다.
본 발명은 공간 활동 메트릭에 의한 이미지의 특성화에 관한 것이다.
이미지 프로세싱의 분야에서, 공간 활동 메트릭은 이미지의 미리정해진 영역 내에 텍스쳐의 측정을 제공한다. 이 텍스쳐의 측정을 사용하는 것은 수많은 공통 이미지 프로세싱 어플리케이션을 통해 인간 시각 시스템의 공간 마스킹 효과를 개발할 수 있게 한다. 공간의 마스킹은 인간 시각 시스템 메커니즘이 이미지의 평활한 영역보다 텍스쳐 영역으로 도입된 왜곡(introduced distortion)을 더 견딜 수 있기 때문에 발생한다. 압축을 행한 비디오 이미지의 경우에, 이미지에 도입된 왜곡은 양자화에 의해 야기된 압축 아티팩트에 대응한다. 비디오 이미지의 워터마킹의 경우에, 도입된 왜곡은 내장된 데이터에 대응한다.
다수의 이미지 프로세싱 어플리케이션은 도입된 왜곡이 덜 가시적으로 나타나는 비지(busy) 또는 텍스쳐 영역으로부터, 도입된 왜곡이 인간의 눈에 더 가시적 으로 나타나는 플랫 또는 로우-디테일(low-detail) 영역 사이에서 구별하기 위해 공간 활동 메트릭을 사용한다. 현존 공간 활동 메트릭은 애니메이션과 관련한 것 또는 낮은 필름 그레인 강도와 같은 저해상도 노이즈를 갖는 다른 것과 같은 그레인 프리(grain-free) 이미지에 대한 양호한 측정을 제공할지라도, 그러한 메트릭은 노이즈가 존재 시 공간 활동을 특성화하지 못한다. 그 결과, 노이즈를 포함하는 이미지의 경우, 공간 마스킹은 도입된 왜곡을 갖는 이미지의 부분에 마스킹될 수 없다.
현존 공간 활동 메트릭은 3개의 카테고리:(1)분산-기반; (2) 그래디언트-기반; 및 (3)DCT-기반으로 분류될 수 있다. 모두 16x16 블록에 기초하여 각각의 설명은 이하에 나타난다.
분산-기반의 메트릭
이 메트릭은 조도 분산을 이용하여 공간 활동을 측정한다. 이 카테고리의 대표적인 메트릭은 MPEC-2 참조 소프트웨어의 레이트 제어 알고리즘에 사용된 메트릭이다.
Figure 112009018608118-PCT00001
vari는 i번째 8x8 서브블록에 대한 분산이다. 이 메트릭을 사용하여, MPEG-2 참조 소프트웨어는 텍스쳐 영역에서 더 많은 왜곡과 평활화 영역에서 더 적은 왜곡을 허용하고, 따라서 동일한 비트 레이트에서 전체 화상에 대한 더 높은 시각적 품질을 획득한다.
그래디언트-기반의 메트릭
2개의 메트릭이 이 카테고리에 존재한다. 제1 메트릭
Figure 112009018608118-PCT00002
은 수평과 수직의 그래디언트를 고려한다:
Figure 112009018608118-PCT00003
Ii,j는 픽셀(i, j)에서 조도값이다. 제2 메트릭
Figure 112009018608118-PCT00004
는 대각의 방향을 고려한다:
Figure 112009018608118-PCT00005
gradi,j,n는 픽셀(i, j)[3]에서 다음의 4개의 5x5 대각의 하이패스 필터 중 하나에 의해 계산된 로컬 그래디언트이다:
Figure 112009018608118-PCT00006
DCT-기반의 메트릭
이 메트릭은 조도값의 DCT 계수의 AC 구성요소를 사용한다. 제1 메트릭은 AC 계수의 절대값을 고려한다:
Figure 112009018608118-PCT00007
F(i, j)는 주파수 (i, j)의 DCT 계수이다. 다른 것은 DC 계수에 의해 AC 계수를 정규화한다[3]:
Figure 112009018608118-PCT00008
이상의 메트릭은 필름 그레인 강도와 같이, 낮은 노이즈를 갖는 그레인-프리(grain-free) 또는 저해상도 이미지를 위한 양호한 측정을 제공한다. 그러나, 이 메트릭은 필름 그레인과 같은 노이즈를 텍스쳐로서 처리하고 필름 그레인과 같은 강한 노이즈로 주로 구성되는 평활화 영역에 비교적 높은 값을 할당한다. 따라서, 이 메트릭은 잘못하여 강한 노이즈를 갖는 평활화 영역을 텍스쳐 영역으로서 고려할 것이다. 따라서, 이러한 메트릭은 이 평활화 영역이 마스크할 수 있는 것보다 더 많은 왜곡을 도입할 것이다.
따라서, 필름 그레인과 같은 노이즈의 존재시 영역의 공간 활동을 효과적으로 측정하는 새로운 공간 활동 메트릭에 대한 요구가 존재한다.
디스플레이 이미지의 품질을 향상시키기 위해 공간 마스킹과 관련하여 공간 활동 메트릭 측정을 적용하는 경우에, 이미지의 시각적 품질은 메트릭의 효과의 측정 기능을 한다. 비디오 압축의 경우에, 디코딩된 화상은 디스플레이된 화상으로서 기능을 한다. 워터마킹 어플리케이션의 경우에, 디스플레이된 화상은 내장된 데이터를 소유할 것이다. 공간 활동 메트릭의 유효성을 측정하는 것은 광범위한 주관적인 평가를 포함한다.
평가 시간을 줄이기 위해, 공간 활동 메트릭의 성능을 평가하는 객관적인 방법에 대한 요구가 존재한다.
(발명의 요약)
간단히, 본 발명의 바람직한 실시예에 따라, 이미지를 특성화하기 위해 공간 활동 메트릭을 설정하는 방법이 제공된다. 방법은 우선 공간 활동 메트릭을 결정함으로써 시작한다. 이후에, 이미지 내의 노이즈(필름 그레인을 포함할 수 있는)가 추정된다. 공간 활동 메트릭은 추정된 노이즈의 양만큼 감소되어서, 공간 마스킹에 따라 공간 활동 메트릭을 사용하여, 필름 그레인과 같은 노이즈의 존재로 인한 마스킹되지 않은 왜곡의 가능성은 감소될 것이다.
본 발명의 다른 양상에 따라, 이미지에서 텍스쳐의 측정을 제공하는데 필요한 타입의 공간 활동 메트릭의 효과를 특성화하는 방법이 제공된다. 방법은 유사한 텍스쳐의 이미지의 영역에 대해 공간 활동 메트릭에 의해 만들어진 측정의 유사성을 결정함으로써 시작한다. 결정은 상이한 텍스쳐의 이미지 영역에 대한 공간 활동 메트릭에 의해 만들어진 측정의 차이점으로도 이루어진다. 공간 활동 측정이 유사하게 텍스쳐된 영역에 대해 유사한 측정과 상이한 텍스쳐의 영역에 대한 측정 간에 큰 스프레드를 제공하는 범위는 메트릭에 대한 고도의 성능을 반영한다.
도 1은 본 발명의 제1 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스의 단계를 플로우챠트 형식으로 도시한다;
도 2는 본 발명의 제2 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스의 단계를 플로우챠트 형식으로 도시한다;
도 3은 본 발명의 제3 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스의 단계를 플로우챠트 형식으로 도시한다;
도 4는 공간 활동 메트릭의 유효성을 특성화하기 위한 본 발명의 다른 양상에 따른 프로세스의 단계를 플로우챠트 형식으로 도시한다;
도 5는 공간 활동 메트릭이 인코더에 의해 사용된 레이트 제어 알고리즘에 관련하여 어떻게 적용할 수 있는 지를 설명하는 예시적인 비디오 인코더의 블록 개략도를 도시한다;
도 6은 도 5의 인코더에서 레이트 제어를 달성하기 위한 본 발명의 다른 양상에 따라 프로세스의 단계를 플로우챠트 형식으로 도시한다;
도 7은 비디오 품질을 분류하기 위해 공간 활동 메트릭을 적용하는 시각적 품질 분석기의 블록 개략도를 도시한다.
현존 공간 활동 메트릭이 필름 그레인 강도가 낮은 그레인-프리 또는 저해상도 이미지에 대한 양호한 측정을 제공하는 한, 메트릭은 필름 그레인의 존재시 공간 활동 뿐만아니라 밝기에 대한 강한 의존성을 나타낸다. 논의를 위해, 필름 그레인은 일반적으로 필름 현상 동안에 생성된 랜덤 텍스쳐로서 이미지 내에 나타난다. 필름 그레인은 일반적으로 추가적인, 신호-의존형 노이즈로서 간주되고, 필름 스톡(film stock), 밝기 조건 및 현상 프로세스에 따라 크기, 형상 및 강도가 상이하다. 필름 그레인의 강도는 픽셀 강도와 높게 관련되어 나타나고, 이는 현존 공간 활동 메트릭이 왜 밝기에 따라 강하게 좌우되는 지를 설명해준다.
본 발명에 따라, 밝기에 의한 의존성을 크게 줄인 공간 활동 메트릭을 설정하기 위한 방법이 제공된다. 본 발명의 방법은 (1)전형적으로 모델링을 통해 필름 그레인을 추정하고, (2)공간 활동 메트릭으로부터 필름 그레인 강도를 제거함으로써 밝기에 대한 의존성을 줄인다.
필름 그레인 추정
필름 그레인은 다음 관계에 따라 전형적으로 모델링에 의해 추정될 수 있다.
Figure 112009018608118-PCT00009
g(i, j)와 f(i, j)는 각기 위치 (i, j)에서 관측된 것과 노이즈-프리 픽셀값을 구성하고, γ는 필름 스톡과 촬영 조건에 주어진 상수이고, n(i, j)은 제로 평균 정규분포된 노이즈이다.
Figure 112009018608118-PCT00010
의 곱은 필름 그레인을 나타낸다. 통상적으로 γ는 0.3-0.7 사이에 속하고, 대부분의 경우에, 0.5 근방의 값을 갖는다. f(i, j)가 가까이 함께 있는 평활화 영역의 경우, 수학식 8로 근사될 수 있다:
Figure 112009018608118-PCT00011
,
여기서,
Figure 112009018608118-PCT00012
이다. n(i, j)는 f(i, j)와 독립적이라고 가정하면, 분산 관계는 다음과 같이 획득될 수 있다:
Figure 112009018608118-PCT00013
여기서,
Figure 112009018608118-PCT00014
및
Figure 112009018608118-PCT00015
는 각각 g(i, j), f(i, j) 및 n(i, j)의 분산이고,
Figure 112009018608118-PCT00016
은 필름 그레인의 분산이다.
필름 상에 초기에 기록되고, 이후에 고해상도 비디오로 전환되는 이미지의 경우, 대개 다수의 영역들이 플랫(flat) 또는 거의 플랫하게 나타나고, 즉, 이들은 텍스쳐가 부족하다. 이 영역의 분산은 필름 그레인에 의해 거의 좌우되며, 즉
Figure 112009018608118-PCT00017
이고
Figure 112009018608118-PCT00018
이다. 유사한 밝기를 갖는 플랫 영역의 경우, 그레인의 특성은 균일하고, 텍스쳐 영역의 분산보다 더 작은 매우 가까운
Figure 112009018608118-PCT00019
로 귀결된다. 그 결과, 분산의 히스토그램은 통상적으로 작은 피크를 갖는다. 따라서, 히스토그램 기반의 그레인 강도를 추정하는 방법은 양호한 결과를 산출할 것이다.
히스토그램 기반의 방법을 이용하기 위해, 이미지 내의 영역은 우선 개별적인 밝기 범위에 따라 다수의 그룹들로 분류를 한다. 각 그룹에 대해, 분산 히스토 그램의 계산은 제1 피크
Figure 112009018608118-PCT00020
의 식별을 가능하게 한다. 모든 밝기 범위에서
Figure 112009018608118-PCT00021
를 이용하여,
Figure 112009018608118-PCT00022
은 선형 회귀를 이용한 밝기의 선형 함수로서 도출될 수 있다.
필름 그레인의 영향을 제거하기 위해, 필름 그레인 항(film grain term)은 다음 관계식에 따라 현존 분산 기반의 메트릭
Figure 112009018608118-PCT00023
로부터 차감된다:
Figure 112009018608118-PCT00024
여기서,
Figure 112009018608118-PCT00025
은
Figure 112009018608118-PCT00026
의 함수이다. 특정 실시예에서, 필름 그레인의 영향은 필름 그레인의 분산으로 간주될 수 있고, 즉,
Figure 112009018608118-PCT00027
이다.
필름 그레인 이외의 노이즈를 고려할 경우에, 유사한 방법이 노이즈를 모델링하고 공간 활동 메트릭에 대한 영향을 제거하는데 사용될 수 있다. 예를 들면, 필름 그레인과 같은 노이즈의 영향을 다른 현존 공간 활동 메트릭으로부터 제거하는 방법을 확장하는 것은 노이즈를 갖는 화상에 대해 향상된 성능을 산출할 것이다.
도 1은 본 발명의 제1 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스의 단계를 플로우챠트 형식으로 도시한다. 도 1의 프로세스는 다양한 변수를 초기화하는 동안 단계(100)에서 개시한다. 단계(100)에 이어서, 단계(110)의 실행은 루프 인덱스 값 i가 초기에 1이 되는 Loop(1)로서 도시된 제1 반복 루프를 시작한다. 이 루프의 각각의 실행 동안, 루프 인덱스 값 i는 1씩 증가한다. Loop(1)는 단계(120)~단계(170)를 포함한다. 단계(120)는 이미지로부터 i번째 세트의 데이터 판독을 시작한다. 이후에, 단계(130)는 통상적으로 이전에 설명된 모델링 프로세스에 의해 실행을 하여 필름 그레인 추정을 행한다.
단계(140)는 단계(130)에 뒤따르고, 루프 인덱스 값 j이 초기에 1이 되는 Loop(2)로서 도시된 제2 반복 루프를 시작한다. 이 루프의 각각의 실행 동안, 루프 인덱스 값 j는 1씩 증가한다. Loop(2)는 단계(150)~단계(160)를 포함한다. 단계(150)에서 j번째 영역에 대한 공간 활동 메트릭을 계산한다. 단계(150)의 반복된 실행은 i번째 세트의 데이터에 대한 모든 영역에 대해 공간 활동 메트릭의 계산을 행한다. MPEG-4AVC와 같은 블록-기반의 비디오 압축 어플리케이션을 위해, 영역은 16x16 매크로블록을 참조한다.
단계(150) 동안 공간 활동 메트릭의 계산은 통상적으로 이전에 설명된 공지된 기술 중 하나를 이용하여, 메트릭을 초기에 설정함으로써 개시된다. 따라서, 초기에 설정된 공간 활동 메트릭은 분산-기반, 그래디언트-기반, 또는 DCT-기반의 메트릭을 구성할 수 있다. 메트릭의 초기 설정에 이어서, 통상적으로 모델링으로부터 획득된, 추정된 노이즈 예를 들면, 필름 그레인은 노이즈의 영향을 제거하기 위해 메트릭으로부터 차감된다. 단계(150) 동안 계산된 공간 활동 메트릭은 단계(160) 동안 이미지에 적용된다. 이미지에 적용될 경우에, 공간 활동 메트릭은 왜곡을 도입함으로써 공간 마스킹을 하게 하는 텍스쳐의 측정을 제공하여 도입된 왜곡이 왜곡이 인간의 눈에 보다 가시적인 플랫 영역에서 덜 가시적으로 나타나게 한다. 제2 루프(Loop(2))는 단계(170) 동안 종료한다. 달리 말하면, Loop(2) 내의 단계는 루프 변수 j가 전체 영역들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 제1 루프(Loop(1))는 단계(180) 동안 종료한다. 달리 말하면, Loop(1) 내의 단계는 루프 변수 i가 판독될 전체 데이터 세트들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 전체 프로세스는 모든 데이터 세트들에 대한 모든 영역이 프로세싱을 거친 후에 단계(190)에서 종료한다.
도 2는 본 발명의 제2 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스의 단계를 플로우챠트 형식으로 도시한다. 이하에서 더 잘 이해되는 바와 같이, 도 2의 프로세스는 도 1과 동일한 다수의 단계들을 포함한다. 그러나, 도 2의 프로세스는 모델이 동작하는 데이터 세트와 상이한 데이터 세트를 이용하여 필름 그레인을 모델링함으로써 달라진다. 특정 실시예에서, 시퀀스의 제1 n개 화상들이 필름 그레인을 모델링하기 위해 제공될 수 있지만, 모델은 시퀀스 내의 모든 화상에 적용된다.
도 2를 참조하면, 공간 활동 메트릭 어플리케이션은 초기화가 수행되는 동안 개시 단계(단계(200))의 실행을 시작한다. 이후에, 단계(210)는 필름 그레인 모델링에 사용된 데이터 세트가 판독되는 동안 실행되며, 이어서 단계(220) 동안 노이즈를 추정하기 위해 모델 파라미터의 추출(예를 들면, 그레인의 모델링)을 행한다.
단계(230)는 루프 인덱스 값 i가 초기에 1이 되는 Loop(1)로서 도시된 제1 반복 루프를 개시한다. 이 루프의 각각의 실행 동안, 루프 인덱스 값 i는 1씩 증가한다. 이 루프는 단계(240)~단계(280)를 포함한다. 단계(240)는 이미지로부터 i번째 데이터 세트의 판독을 개시한다. 단계(250)는 루프 인덱스 값 j가 초기에 1이 되는 Loop(2)로서 도시된 제2 반복 루프를 개시한다. 이 루프의 각각의 실행 동안, 루프 인덱스 값 j는 1씩 증가한다. Loop(2)는 단계(260)~단계(270)를 포함한다. 단계(260)는 j번째 영역에 대한 공간 활동 메트릭을 계산하기 위한 실행을 한다. 단계(260)의 반복 실행은 이 데이터 세트에 대한 모든 영역에 대한 공간 활동 메트릭의 계산을 보장한다.
단계(260) 동안 공간 활동 메트릭의 계산은 통상적으로 이전에 설명된 공지된 기술 중 하나를 이용하여 메트릭을 초기에 설정함으로써 개시된다. 초기에, 공간 활동 메트릭은 분산-기반, 그래디언트-기반, 또는 DCT-기반의 메트릭을 구성할 수 있다. 메트릭의 초기 설정에 이어서, 통상적으로 모델링으로부터 획득된, 추정된 노이즈 예를 들면, 필름 그레인은 메트릭에서 노이즈의 효과를 제거하기 위해 차감된다. 단계(260) 동안 계산된 공간 활동 메트릭은 단계(270) 동안 이미지에 적용된다. 공간 활동 메트릭은 왜곡을 도입함으로써 공간 마스킹을 하게 하는 텍스쳐의 측정을 제공하여 도입된 왜곡이 인간의 눈에 보다 가시적인 플랫 영역에서 덜 가시적으로 나타나게 한다. 제2 루프(Loop(2))는 단계(280) 동안 종료한다. 달리 말하면, Loop(2) 내의 단계는 루프 변수 j가 전체 영역들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 제1 루프(Loop(1))는 단계(290) 동안 종료한다. 달리 말하면, Loop(1) 내의 단계는 루프 변수 i가 판독될 전체 데이터 세트들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 전체 프로세스는 모든 데이터 세트의 모든 영역이 프로세싱을 거친 후에 단계(295)에서 종료한다.
도 1의 프로세스에 비해 도 2의 프로세스의 이점은 도 2에서의 필름 그레인의 모델링이 모델이 적용된 데이터와 상이할 가능성이 있는 데이터 세트를 이용한다는 것이다. 모델 정확성은 모델링을 위한 샘플들의 개수를 증가시킴으로써 증가한다. 모델링을 위한 모든 데이터 세트의 일부를 이용하는 것은 프로세스의 속도를 증가시킬 것이다.
도 3은 본 발명의 제3 실시예에 따라 설정된 공간 활동 메트릭을 이미지에 적용하기 위한 프로세스를 플로우챠트 형식으로 도시한다. 도 3의 프로세스는 메타데이터로서 제공된 필름 그레인 모델을 이용하여 도 1의 프로세스의 변화를 구성한다.
도 3의 프로세스는 다양한 변수가 초기화되는 동안 단계(300)에서 개시한다. 단계(300)에 뒤이어, 단계(310)에서 메타데이터로부터 필름 그레인 모델을 획득한다. 이후에, 단계(320)가 루프 인덱스 값 i이 초기에 1이 되는 Loop(1)로서 도시된 제1 반복 루프를 시작한다. 이 루프의 각각의 실행 동안, 루프 인덱스 값 i는 1씩 증가한다. 루프는 단계(330)~단계(370)을 포함한다. 단계(330)는 이미지로부터 i번째 세트의 데이터 판독을 시작한다. 단계(340)는 단계(330)에 이어서, 루프 인덱스 값 j이 초기에 1이 되는 Loop(2)에 도시된 제2 반복 루프를 시작한다. Loop(2)의 각각의 실행 동안, 루프 인덱스 값 j은 1씩 증가한다. Loop(2)는 단계(350)~단계(360)를 포함한다. 단계(350)에서 j번째 영역에 대한 공간 활동 메트릭의 계산을 시작한다. 단계(350)의 반복된 실행은 이 데이터 세트에 대한 모든 영역에 대해 공간 활동 메트릭의 계산을 행한다.
단계(350) 동안의 공간 활동 메트릭의 계산은 통상적으로 이전에 설명된 공지된 기술 중 하나를 이용하여 메트릭을 초기에 설정함으로써 개시된다. 초기에, 공간 활동 메트릭은 분산-기반, 그래디언트-기반, 또는 DCT-기반의 메트릭을 구성할 수 있다. 메트릭의 초기 설정에 이어서, 통상적으로 모델링으로부터 획득된, 추정된 노이즈 예를 들면, 필름 그레인은 메트릭에서 노이즈 효과를 제거하기 위해 차감된다. 단계(350) 동안 계산된 공간 활동 메트릭은 단계(360) 동안 이미지에 적용된다. 활동 메트릭은 왜곡을 도입함으로써 공간 마스킹을 하게 하는 텍스쳐의 측정을 제공하여서 도입된 왜곡이 인간의 눈에 보다 시각적인 플랫 영역에서 덜 시각적으로 나타나게 한다.
제2 루프(Loop(2))는 단계(370) 동안 종료한다. 달리 말하면, Loop(2) 내의 단계는 루프 변수 j가 전체 영역들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 제1 루프(Loop(1))는 단계(380) 동안 종료한다. 달리 말하면, Loop(1) 내의 단계는 루프 변수 i가 판독될 전체 데이터 세트들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행한다. 전체 프로세스는 모든 데이터 세트들에서 모든 영역들이 프로세싱을 거친 이후에 단계(390)에서 종료한다.
공간 활동 메트릭 성능 평가 방법
일반적으로, 공간 활동 메트릭은 공간 마스킹 효과를 개발하는 것을 돕는다. 예를 들면, 비디오 압축 어플리케이션에서 균등한 높은 시각적 품질을 획득하기 위해, 작은 공간 활동 메트릭 측정과 연관된 영역은 낮은 양자화 스텝사이즈(stepsize)에서 압축된다. 이와 대조적으로, 더 큰 공간 활동 메트릭 측정과 연 관된 영역은 더 높은 양자화 스텝사이즈에서 압축된다. 따라서, 공간 활동 메트릭의 성능은 디스플레이된 화상의 시각적 품질에 강하게 영향을 줄 것이다. 디스플레이된 화상의 시각적 품질을 평가하여 공간 활동 메트릭의 성능을 판단하는 것이 일반적이다. 그러한 프로세스는 광범위한 주관적인 평가를 포함한다.
본 발명의 다른 양상에 따르면, 공간 활동 메트릭의 성능을 평가하기 위한 방법이 제공된다. 이후에 설명된 바와 같이, 본 방법은 평활화와 텍스쳐 영역 모두에 대해 메트릭의 성능을 객관적으로 평가함으로써 평가를 만든다.
평활화 영역 집중
바람직하게는, 유효한 공간 활동 메트릭은 유사한 시각적 평활화를 갖는 영역에 유사한 측정을 할당하여야 하고, 즉, 공간 활동 메트릭 측정은 모든 평활화 영역에 대해 1 레벨 근방에 집중되어야 한다.
평활화와 비지 영역 간의 스프레드(spread)
비디오 압축과 같이, 주어진 이미지 프로세싱 어플리케이션이 마스킹 효과를 개발하고 텍스쳐 영역에서 더 많은 왜곡을 허용하기 위해, 공간 활동 메트릭 측정은 평활화와 텍스쳐(예를 들면, 비지 영역) 사이에 스프레드를 제공해야한다.
이상의 2개 기준으로부터, 이후에 "SBAS(Smooth Busy Area Spread)"로서 참조되는 평가가 어떻게 공간 활동 메트릭이 (1)유사한 시각적 평활화를 갖는 영역에 측정을 할당하고 (2) 비지 영역에서 평활화 영역을 분리하는 지를 정하도록 정의될 수 있다:
수학적으로, SBAS는
Figure 112009018608118-PCT00028
로 표현될 수 있고,
Figure 112009018608118-PCT00029
은 전체 화상에 대한 평균 메트릭이고,
Figure 112009018608118-PCT00030
와
Figure 112009018608118-PCT00031
은 각각 평활화 영역에서 메트릭의 평균과 표준편차이다. 평활화 영역은 수동적으로 선택되고 본 방법에 대해 시각적 힌트로서 기능을 한다는 점에 유의하라. 공간 활동 메트릭이 유사한 시각적 평활화를 갖는 영역에 유사한 측정을 할당하는 경우에,
Figure 112009018608118-PCT00032
은 작아질 것이다. 한편, 공간 메트릭이 텍스쳐 영역에서 평활화 영역을 분리하는 경우에,
Figure 112009018608118-PCT00033
은 커진다. 따라서, SBAS의 값이 커질수록, 공간 활동 메트릭은 더 효율적이다.
도 4는 본 발명의 예증적인 실시예에 따라 공간 활동 메트릭의 효율을 평가하기 위한 방법을 나타낸다. 평가 방법은 초기화가 발생하는 동안 단계(400)의 실행을 개시한다. 이후에, 단계(410)가 실행되고 이미지 데이터의 세트를 판독한다. 이미지 내의 평활화 영역의 수동 선택은 단계(420) 동안 이루어진다. 다음으로, 단계(430) 동안, 루프 인덱스 값 i가 초기에 1인 제1 루프가 개시된다. 루프는 단계(440)를 포함하고 루프의 각각의 실행 시, 인덱스 값 i는 후술된 바와 같이 모든 공간 활동 메트릭의 마지막이 분석될 때까지 증가한다.
단계(440)의 각각의 실행 동안, 수학식(11)에 관해 설명된 바와 같이 SBAS의 값은 각각의 공간 활동 메트릭 i에 대해 계산된다. 루프는 단계(450)에서 종료한 다. 달리 말하면, 루프 내의 단계들은 루프 변수 i가 평가를 받는 공간 활동 메트릭들의 개수에 대응하는 최대값에 도달할 때까지 반복 실행된다. 단계(460) 동안, 공간 활동 메트릭의 전체적인 평가가 이루어진다. 가장 큰 SBAS를 갖는 공간 활동 메트릭은 "최상의" 메트릭이 된다.
도 5는 공간 활동 메트릭이 인코더에 의해 사용된 레이트 제어 알고리즘에 관해 어떻게 적용할 수 있는 지를 설명하는 예시적인 비디오 인코더의 블록 개략도를 도시한다. 도 5의 인코더는 인커밍 비디오 신호를 버퍼링하는 프레임 오더링 버퍼(500)를 포함한다. 프레임 오더링 버퍼(500)는 합 블록(502)의 제1 입력에 연결되는 출력을 갖고 합 블록의 출력은 엔트로피 코딩 블록(510)에 의해 수행되는 엔트로피 코딩 이전에 합 블록으로부터 인커밍 비디오 신호에 대해 변환과 양자화를 수행하는 변환 및 양자화 블록(505)에 연결된다. 엔트로피 코딩 블록(510)은 합 블록(515)의 제1 입력에 연결되는 출력을 갖고 합 블록(515)의 출력은 인코더에 의해 출력되기 전에 인코딩된 비디오를 저장하는 출력 버퍼(520)에 연결된다. 합 블록의 제2 입력은 입력 메타데이터로부터 메시지를 생성하는 SEI 삽입기(518)로부터 SEI(Supplemental Enhancement Information) 메시지를 수신한다.
엔트로피 코딩 블록(510)에 의해 수행되는 코딩은 참조 화상 저장소(527)에 저장된 참조 화상에 대해 움직임 추정 블록(525)에 의해 수행되는 움직임 추정에 따라 좌우된다. 움직임 보상 블록(530)은 움직임 추정 블록(525)에 의해 설정된 움직임 추정에 필요한 움직임 보상량을 결정한다. 움직임 추정은 인터 예측 모드에서 인코더의 동작 동안 합 블록(502)의 제2 입력에 스위치(535)를 통해 인가된 다. MB(macroblock) 결정 블록(540)은 어떤 모드가 순간 매크로블록을 위한 최상의 코딩을 제공하는 지에 기초하여 인터 예측과 인트라 예측 사이에서 선택하는 스위치(535)를 제어한다.
인트라 예측 모드에서 동작하는 경우에, 스위치(535)는 합 블록(555)에 의해 제공된 바와 같이, 역변환 및 양자화 블록(550)과 매크로블록 결정 블록(540)의 출력 신호의 합에 기초하여 동일 화상 예측을 제공하는 인트라 예측 블록(545)의 출력을 결합시킨다. 역변환 및 양자화 블록(550)은 변환 및 양자화 블록(505)에 의해 생성된 출력 신호에 대해 역변환 및 양자화 동작을 수행한다. 합 블록(555)의 출력은 참조 화상 버퍼(527)에서 후속의 저장을 위한 화상에 대해 수행하는 디블록킹 필터(560)에 연결된다.
도 5의 인코더는 변환 및 양자화 블록(505)의 양자화 레벨을 제어하는 레이트 제어 블록(570)을 포함한다. 추가적으로, 레이트 제어 블록(570)은 코딩을 행한 화상의 타입을 제어하기 위해 화상 타입 결정 블록(580)을 제어하는 화상 타입 결정 블록을 또한 제어한다. 더욱이, 레이트 제어 블록(570)은 코딩된 비디오로 삽입하기 위한 합 블록에 시퀀스 설정을 공급하는 SPS(sequence parameter set)와 PPS(picture parameter set) 삽입기(590)를 또한 제어한다.
도 5에 도시된 바와 같이, 레이트 제어 블록(570)은 공간 활동 메트릭에 응답하여 동작한다. 도 6은 도 5의 인코더의 레이트 제어 블록(570) 내에 공간 활동 메트릭을 적용하기 위한 프로세스의 단계를 플로우챠트의 형식으로 도시한다. 프로세스는 초기화가 발생하는 동안 단계(600)에서 시작한다. 이후에, 단계(610)는 통상적으로 오퍼레이터의 도움으로 인코더 설정이 이루어지는 동안 실행된다. 인코더 설정은 인코딩 프로세스와 연관된 하나 이상의 파라미터의 사양 뿐만아니라 타겟 비트레이트의 설정도 포함할 수 있다. 단계(620)는 단계(610)에 뒤이어 루프를 개시하며 루프의 인덱스 값 i은 매크로블록들(MBs)의 개수에 대응한다. 초기에, 인덱스 값 i은 1이다. 루프는 단계(630)~단계(650)를 포함한다. 단계(630)의 각각의 실행 동안, i번째 매크로블록(MBi)에 대해 공간 활동 메트릭
Figure 112009018608118-PCT00034
에 대한 값이 계산된다. 단계(640)의 각각의 실행 동안, 수학식 12에 따라 i번째 매크로블록에 대해 양자화 오프셋에 대한 계산을 수행한다:
Figure 112009018608118-PCT00035
이러한 방식으로, 공간 활동 메트릭은 양자화 스텝사이즈 또는 QP 파라미터 오프셋에 맵핑할 것이다. 단계(650) 동안, 인코더는 통상적으로 MPEG-2, MPEG-4 AVC 또는 VC-1과 같은, 현존 압축 표준을 이용하여 i번째 매크로블록(MBi)을 인코딩할 것이다. 루프는 단계(660)에 종료한다. 달리 말하면, 단계는 루프 변수 i가 매크로블록의 개수에 대응하는 최대값에 도달할 때까지 반복 실행된다. 이후에, 프로세스는 단계(670)에서 종료한다.
도 7은 비디오 품질을 분류할 시 공간 활동 메트릭을 적용하는 시각적 품질 분석기의 블록 개략도를 도시한다. 비디오 품질 분석기는 입력 화상에 적용하기 위한 공간 활동 메트릭(700)을 포함한다. 공간 활동 메트릭(700)에 의해 제공된 텍스쳐의 측정은 블록(705)에 의해 수행된 공간 노이즈 마스킹을 제어한다.
입력 화상은 제1 품질 분석기(710)에 의해, 참조 화상에 관해 객관적인 품질 분석을 받는다. 제2 품질 분석기(720)는 참조 화상의 설정에 대해 대조하기 위해 블록(705)로부터의 공간 마스킹된 화상과 함께 제1 분석기의 출력을 수신한다. 제2 분석기(720)의 출력은 품질 평가 결과를 제공한다.
상술한 것은 이미지 노이즈를 고려한 공간 활동 메트릭을 이용하여 이미지를 특성화하기 위한 기술을 설명한다.

Claims (12)

  1. 이미지를 특성화하기 위한 공간 활동 메트릭을 설정하는 단계;
    상기 이미지 내의 노이즈를 추정하는 단계; 및
    상기 추정된 노이즈에 따라 상기 설정된 공간 활동 메트릭을 수정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 공간 활동 메트릭은 상기 이미지 내의 분산에 따라 설정되는 방법.
  3. 제1항에 있어서,
    상기 공간 활동 메트릭은 이미지 그래디언트에 따라 설정되는 방법.
  4. 제1항에 있어서,
    상기 공간 활동 메트릭은 이산 코사인 변환 계수에 따라 설정되는 방법.
  5. 제1항에 있어서,
    상기 공간 활동 메트릭은 설정되고 상기 노이즈는 이미지 데이터의 공통 세트로부터 추정된 노이즈인 방법.
  6. 제1항에 있어서,
    상기 공간 활동 메트릭은 설정되고 상기 노이즈는 상이한 데이터 세트로부터 추정된 노이즈인 방법.
  7. 제1항에 있어서,
    상기 노이즈는 메타데이터를 통해 획득된 모델을 이용하여 추정되는 방법.
  8. 제1항에 있어서,
    상기 이미지에 상기 공간 활동 메트릭을 적용하여 이미지 텍스쳐의 측정을 제공하는 단계; 및
    상기 공간 활동 메트릭에 따라 왜곡을 도입함으로써 상기 이미지를 공간적으로 마스킹하여 낮은 텍스쳐를 갖는 영역에서 상기 도입된 왜곡의 발생을 줄이는 단계
    를 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 설정된 공간적 활동 메트릭을 줄어든만큼 인코더에 적용하여 레이트 제어를 변경하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 설정된 공간적 활동 메트릭을 줄어든만큼 인코더에 적용하여 양자화 오프셋을 제어하는 단계를 더 포함하는 방법.
  11. 이미지에 텍스쳐를 특성화하는 공간 활동 메트릭의 효과를 특성화하는 방법으로서,
    유사한 텍스쳐의 이미지의 영역에 대해 상기 공간 활동 메트릭에 의해 만들어진 측정의 유사성을 결정하는 단계; 및
    상이한 텍스쳐의 이미지의 영역에 대해 상기 공간 활동 메트릭에 의해 만들어진 상기 측정의 차이점을 결정하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 첫번째 결정 단계는 낮은 텍스쳐를 갖는 적어도 2개의 영역들을 수동적으로 선택하는 단계를 더 포함하는 방법.
KR1020097006374A 2006-09-29 2007-09-18 공간 활동 메트릭과 그 평가 방법 KR20090068222A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US84829606P 2006-09-29 2006-09-29
US60/848,296 2006-09-29

Publications (1)

Publication Number Publication Date
KR20090068222A true KR20090068222A (ko) 2009-06-25

Family

ID=39268952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097006374A KR20090068222A (ko) 2006-09-29 2007-09-18 공간 활동 메트릭과 그 평가 방법

Country Status (7)

Country Link
US (1) US20090268981A1 (ko)
EP (1) EP2070048B1 (ko)
JP (1) JP5048071B2 (ko)
KR (1) KR20090068222A (ko)
CN (1) CN101523441B (ko)
DE (1) DE602007010493D1 (ko)
WO (1) WO2008042112A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567961B (zh) * 2010-12-30 2016-05-18 意法半导体研发(深圳)有限公司 感知块屏蔽估算系统
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
GB2513112B (en) * 2013-04-08 2020-01-08 Snell Advanced Media Ltd Video sequence processing
JP6300565B2 (ja) 2014-02-19 2018-03-28 株式会社メガチップス 動画像符号化装置、プログラム、および、集積回路
CN107980218B (zh) * 2015-07-24 2019-10-18 惠普深蓝有限责任公司 用于灰色成分替代的方法、打印设备和机器可读存储介质
EP3685578A1 (en) 2017-09-21 2020-07-29 Fraunhofer Gesellschaft zur Förderung der Angewand Concept for varying a coding quantization parameter across a picture, coding quantization parameter adjustment, and coding quantization parameter adaptation of a multi-channel picture

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960010392B1 (ko) * 1990-09-29 1996-07-31 니뽕 빅터 가부시끼가이샤 적응 양자화를 이용한 화상 신호 부호화 복호화 장치
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
US5764307A (en) * 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
US5974181A (en) * 1997-03-20 1999-10-26 Motorola, Inc. Data compression system, method, and apparatus
DE69939954D1 (de) * 1999-11-11 2009-01-02 St Microelectronics Asia Vorrichtung zur schätzung des rauschpegels in einem videosignal
US6580062B2 (en) * 2001-05-29 2003-06-17 Hewlett-Packard Development Company, L.P. Contrast focus figure-of-merit method that is insensitive to scene illumination level
US7062108B2 (en) * 2001-06-12 2006-06-13 Eastman Kodak Company Method for estimating the appearance of noise in images
CN101409835B (zh) * 2002-11-08 2014-09-17 苹果公司 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置
GB0228556D0 (en) * 2002-12-06 2003-01-15 British Telecomm Video quality measurement
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
JP4723483B2 (ja) * 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
JP2006067302A (ja) * 2004-08-27 2006-03-09 Toshiba Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
FR2893738B1 (fr) * 2005-11-18 2007-12-28 Pascal Hannequin Reduction de bruit dans une image numerique par transformee en cosinus discrete.

Also Published As

Publication number Publication date
JP2010505342A (ja) 2010-02-18
EP2070048A2 (en) 2009-06-17
DE602007010493D1 (de) 2010-12-23
CN101523441A (zh) 2009-09-02
WO2008042112A3 (en) 2008-05-29
JP5048071B2 (ja) 2012-10-17
WO2008042112A2 (en) 2008-04-10
US20090268981A1 (en) 2009-10-29
CN101523441B (zh) 2012-01-18
EP2070048B1 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
JP5844263B2 (ja) デジタル画像を再圧縮するための装置および方法
US7668397B2 (en) Apparatus and method for objective assessment of DCT-coded video quality with or without an original video sequence
JP5496914B2 (ja) 知覚上の品質を評価する方法
Tai et al. Deblocking filter for low bit rate MPEG-4 video
US20060133479A1 (en) Method and apparatus for generating a quantisation matrix that can be used for encoding an image or a picture sequence
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US10013772B2 (en) Method of controlling a quality measure and system thereof
US10134121B2 (en) Method and system of controlling a quality measure
JP2005166021A (ja) 画像中の画素を分類する方法
KR20100095833A (ko) Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
JP2006507775A (ja) 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
EP1700491A1 (en) Image and video quality measurement
EP2070048B1 (en) Spatial masking using a spatial activity metric
KR102696322B1 (ko) 비디오 압축을 위한 전처리
Zhu et al. No-reference quality assessment of H. 264/AVC encoded video based on natural scene features
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
Zhang et al. Quality assessment methods for perceptual video compression
Yu et al. HEVC encoder optimization for HDR video coding based on irregularity concealment effect
Bhat et al. A novel perceptual quality metric for video compression
Wang et al. A human visual system-based objective video distortion measurement system
Zhang et al. A novel blind measurement of blocking artifacts for H. 264/AVC video
EP2536144A1 (en) Method and device of lossy compress-encoding an image
Ben Amor et al. A perceptual measure of blocking artifact for no-reference video quality evaluation of H. 264 codec
Lopez-Rubio et al. An adaptive system for compressed video deblocking
KR100864238B1 (ko) 압축 영상의 블록킹 현상 제거 방법

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20090327

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120524

Comment text: Request for Examination of Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130729

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20131007

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130729

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I