KR20010051612A - 실시간 인간 시각 체계 동작 모델링 방법 - Google Patents

실시간 인간 시각 체계 동작 모델링 방법 Download PDF

Info

Publication number
KR20010051612A
KR20010051612A KR1020000066823A KR20000066823A KR20010051612A KR 20010051612 A KR20010051612 A KR 20010051612A KR 1020000066823 A KR1020000066823 A KR 1020000066823A KR 20000066823 A KR20000066823 A KR 20000066823A KR 20010051612 A KR20010051612 A KR 20010051612A
Authority
KR
South Korea
Prior art keywords
video signal
processed
variance
modeling method
processed video
Prior art date
Application number
KR1020000066823A
Other languages
English (en)
Other versions
KR100647146B1 (ko
Inventor
퍼거슨케빈엠.
Original Assignee
윈켈만 존 디.
텍트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윈켈만 존 디., 텍트로닉스 인코포레이티드 filed Critical 윈켈만 존 디.
Publication of KR20010051612A publication Critical patent/KR20010051612A/ko
Application granted granted Critical
Publication of KR100647146B1 publication Critical patent/KR100647146B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

기준 영상 신호(reference image signal)로부터 추출한 테스트 영상 신호(test image signal)의 손상 정도를 제공하는 실시간 인간 시각 체계 모델링(realtime human vision system modeling) 방법은 개별적인 채널에서 기준 영상 신호 및 테스트 영상 신호의 두 신호를 처리한다. 이 신호들을 휘도(luminance) 영상 신호로 바꾸고 2차 저역 필터에서 필터링한다. 그 후, 이 처리된 영상 신호를 분할하여 블록 평균을 얻고 처리된 대응 영상 신호의 화소들(pixels)에서 블록 평균을 감산한다. 분할 처리된 영상 신호에 노이즈(noise)를 주입하고 이 분할 처리된 기준 영상 신호의 분산(variance)과 함께 분할 처리된 영상 신호들 간의 차이(difference)에 대한 분산(variance)을 계산한다. 이 분할 처리된 영상 신호들 간의 차이에 대한 분산을 분할 처리된 기준 영상 신호의 분산으로 정규화하고, 테스트 영상 신호의 가시적 손상 정도로서 이 결과에 N 제곱근(Nth root)을 취한다. 이 가시적 손상 정도를 JND, MOS 등과 같은 적당한 단위로 변환할 수 있다.

Description

실시간 인간 시각 체계 동작 모델링 방법 {REALTIME HUMAN VISION SYSTEM BEHAVIORAL MODELING METHOD}
본 발명은 영상 화질 평가(video picture quality assessment)에 관한 것이고, 더욱 상세하게는 영상 압축과 같이 손실이 발생하는 방법을 통해 녹화되고 전송되는 영상 신호(video image signal)에 대한 주관적인 에러율(subjective rating of error)을 예측하기 위한 객관적 측정(measure)을 제공하는 실시간 인간 시각 체계 동작 모델링(human vision system behavioral modeling)에 관한 것이다.
인간 시각 체계 모델을 사용하여 영상 압축에서와 같이 처리 중에 손실이 발생하는 영상 신호로 유입되는 에러에 대한 관찰자의 주관적 반응을 예측하는 종래방법은 Vision Models for Target Detection and Recognition, World Scientific Publishing, River Edge, NJ 1995, pp. 245-283에 개시된 J.Lubin의 "A Visual Discrimination Model for Imaging System Design and Evaluation" 및 Digital Images and Human Vision, MIT press, Cambridge, MA 1993, PP. 162-206에 개시된 S. Daly의 "The Visible Differences Predictor: An Algorithm for the Assessment of Image Fidelity"에 기재되어 있는 것처럼 고가의 인간 시각 체계(human vision system; HVS) 모델을 포함한다. 인간 시각 모델을 사용하지 않고 주관적인 손상율(impairment rating)을 예측하기 위해 사용되는 측정은 일반적으로 고속이지만, 매우 다양한 세트의 영상 내용이 주어질 때 HVS 모델을 구비하는 방법을 이용하는 것과 같이 주관적인 손상율과 서로 연련되지 않는 ANSI/IRT 척도("Digital Transport of One-Way Signals-Parameters for Objective Performance Assistance", ANSI T1. 801.03-yyy 참조)를 포함한다.
대부분의 HVS 모델은 콘트라스트(contrast) 검출 및 판별 임계값(discrimination threshold)과 같은 일반적으로 JND(just noticeable differences)로 지칭되는 현저한(noticeable) 차이의 임계값(threshold)을 예측하는 방법에 기초하고 있다. 이런 모델의 구성요소는 임계값에서의 동작을 모방하는 것에 기초하기 때문에 이 임계값을 초과하는, 즉 초과 임계값(suprathreshold)에서의 동작을 장담할 수 없다. 이러한 HVS 모델은 다음 파라미터의 영향에 따라 증가하는 콘트라스트 검출 및 판별 임계값(contrast detection and discrimination threshold) 근처에서 실험적으로 정해진 하나 이상의 동작을 설명하는 하나 이상의 단계를 일반적으로 포함한다.
― 평균 휘도(mean luminance)
― 망막에 맺힌 목표 영상의 각도 범위(angular extent) 또는 크기
― (회전 및 목표 영상 패턴 및 마스커(masker) 양자의) 방향(orientation)
― (목표 영상 패턴 및 마스커 양자의) 공간 주파수(spatial frequence)
― (목표 영상 패턴 및 마스커 양자의) 시간적 주파수(temporal frequence)
― 환경(surround) (또는 측면 마스커 영향)
― 편심(eccentricity) (또는 시각/중심와(fovea)의 중앙으로부터의 각 거리 (angular distance))
다음에, HVS 모델에서 이러한 7개의 파라미터에 대한 하나 이상의 영향이 어떻게 고려되는지를 간략하게 설명한다.
첫째, 종래 기술의 영상 처리 순서를 고려해 볼 필요가 있다. HVS 모델에서 요구되는 처리 시간 중 대부분의 시간은 다음 두 개의 일반적인 구현 단계로 인해 발생한다.
― 필터 뱅크(filter bank)(가우스 피라미드와 같이 영상을 분해)
― 콘트라스트 이득 제어(비선형을 방해하는(masking) 콘트라스트)
이 필터 뱅크는 영상을 다양한 방향, 공간 주파수 대역, 극성 등에서의 최대 응답(response)을 가진 중간 영상(neutral image)이나 채널들로 분해하는 기술에서는 일반적이다. 실제 구현하기 위해, 두 방향(수평, 수직), 네 개의 공간 주파수 대역 및 두 극성에 대한 최소의 분해는 기준 영상 신호 및 손상된 영상 신호에 대한 처리 단계마다 2 × 4 × 2 = 16개의 영상을 필요로 한다.
일반적인 HVS 모델을 위해, 공간 주파수 함수의 응답 감도(response sensitivity)는 콘트라스트 감도 함수(contrast sensitivity function)로 간주한다. 이 모델의 콘트라스트 감도 부분은 다음 동작에 의해 달성된다.
ㆍ 저(DC)주파 에너지에 대한 고주파 에너지의 비율 또는 이에 상당하는 것으로서 공간 주파수 부대역(subband) 및 회전 방향의 고유 조합(unique combination)에 대응하는 각 필터 뱅크 채널의 각 화소에서 콘트라스트를 계산.
ㆍ 콘트라스트 값을 이 부대역 및 회전 방향에 따라 조절.
이런 콘트라스트 계산은 고역 필터와 저역 필터인 두 개의 상이한 필터, 및 각 채널의 각 화소에 대한 분할을 필요로 한다. 이러한 복잡하고 값비싼 알고리즘 단계에서도, 국부적인 평균 휘도, 및 세그멘트(segment)의 각도 범위 또는 영상의 세그멘트나 자신의 유사 영역(self-similar regions)의 각도 정도에 대한 공간 주파수 감도 함수 변화를 고려하지 않는다. 이러한 모델에서 "선형 범위(linear range)"는 이러한 모델에는 존재하지 않는다. 각도마다 한 사이클과 네 개의 사이클 사이 중 감도가 일반적으로 최대인 주파수에서, 이 콘트라스트 감도는 대략 평균 휘도의 제곱근에 비례하여 증가하고 각도 범위에 대하여도 유사하다. 따라서, 종래 기술이 매우 복잡하고 값비싼 방법을 포함하지만, 평균 휘도 및 각도 범위의 영향을 무시함에 따라 임계값 예측을 크게 잘못할 수 있다. 평균 휘도 및 각도 범위의 영향을 설명하기 위해 HVS의 각 부분에 대한 모델을 제안하였지만, 분명히 더욱 복잡해지기 때문에 다음의 전체(full) HVS 모델에 이러한 각 부류에 대한 모델을 채택하지 않는다는 것은 자명하다. 이런 모델의 콘트라스트 이득 제어 부분은 Journal of the Optical Society of America, Vol. 11, No. 6 June 1994, pp. 1710-1719에 기재된 "Human Luminance Pattern-Vision Mechanism: Masking Experiments Require a New Model"와 같은 J. Foley의 연구에 일반적으로 기초하고, 적어도 다음의 단계를 포함한다.
ㆍ 모든 채널에 대하여 조절된(scaled) 콘트라스트를 갖는 영상들의 각 화소 에너지의 합을 계산. 보다 낮은 해상도를 갖는 채널은 업-샘플(up-sample)된다. 보다 높은 해상도를 갖는 채널과 합해지도록 이런 채널 대 채널 절환은 계산 단계에서 효율적인 스루풋(throughput)을 증가시키고 동작을 보다 복잡하게 한다.
ㆍ 각 채널의 화소마다 한번의 덧셈 연산 및 한번의 나누기 연산.
M. Cannon은 Vision Models for Target Detection and Recognition, World Scientific Publishing, River Edge, NJ 1995, pp. 88-117에 기재된 "A Multiple Spatial Filter Model for Suprathreshold Contrast Perception"에서 실제로 복잡성이 증가하는 임계값 초과 영역으로 확장하는 모델을 제안했다. 그러나 더욱 더 복잡해지는 것이 자명하기 때문에 다음의 전체 HVS 모델에 적용되지 않는다는 것은 명백히 알 수 있다.
이런 모델에서 공간 주파수 감도에 대한 시간적인 영향은 거의 존재하지 않거나, 단지 불필요한(inhibitory) 영향만을 포함하거나, 또는 상대적으로 복잡해진다.
마지막으로 방향 및 환경은 직각 필터(orthogonal filter) 및 크로스-피라미드(cross-pyramid) 레벨의 마스킹이 가능할 정도로만 영향을 미치지만, 이런 방향과 환경의 영향은 일반적으로 HVS 실험 데이터와는 잘 일치(match)하지 않는다.
현재의 화질 분석기, 즉 미국 오리건주의 비버톤에 소재한 Tektronix, Inc.에 의해 제조되는 PQA-200이 미국 특허번호 제5,818,520호에 기재되어 있다. 이 발명은 미국 뉴저지주의 프린스톤에 소재한 Sarnoff Corporation의 JNDMetrixTM알고리즘에 기초하고 HVS 모델에 따라서 처리되는 차이를 얻기 위해 기준 영상 신호를 대응하는 손상 영상 신호와 비교하는 비-실시간(non-realtime) 시스템이다. 평가를 실행하기 위해서, 테스트 대상 시스템(system under test)은 이 테스트가 완료될 때까지 실질적으로 서비스를 받을 수 없다.
본 발명의 목적은 매우 간단하게 실시간 영상 환경에서 실시할 수 있는 영상 화질 평가를 위한 실시간 HVS 동작 모델링 시스템을 제공하는 것이다.
도 1은 본 발명에 따른 실시간 인간 시각 체계 동작 모델링을 이용하여 영상 화질을 평가하기 위한 시스템의 블록도이다.
본 발명은 실시간 영상 환경에서 영상 시스템의 화질을 분석하는 실시간 인간 시각 체계 동작 모델링을 제공한다.
기준 영상 신호 및 기준 영상 신호에서 추출한 테스트 영상 신호를 개별적인 채널에서 처리한다. 이 신호들을 휘도 영상 신호로 바꾸고 2차 저역 필터에서 필터링한다. 이 처리된 영상 신호를 비슷한 통계치를 가진 영역으로 분할하고, 이런 세그멘트 또는 영역의 평균을 처리된 영상 신호의 화소들(pixels)에서 감산하여 사실상 고역 필터링되는 분할 처리된 영상 신호를 얻는다.
이 분할 처리된 영상 신호에 노이즈를 주입하고 분할 처리된 기준 영상 신호의 분산(variance)과 함께 분할 처리된 영상 신호들 사이의 차이 (difference)에 대한 분산을 계산한다. 이 분할 처리된 영상 신호들 사이의 차이에 대한 분산을 분할 처리된 기준 영상 신호의 분산으로 정규화하고, 테스트 영상 신호의 가시적 손상 정도로서 이 결과에 N 제곱근을 취한다. 이런 가시적 손상 정도를 JND, MOS 등과 같은 적당한 단위로 변환할 수 있다.
본 발명의 목적, 장점, 및 다른 새로운 특징은 첨부된 청구범위와 도면을 참조하여 읽을 때 다음의 상세한 설명으로부터 명백해질 것이다.
인간 시각 체계의 다양한 노이즈 원(sources)들로부터의 영향에 대한 증거와 더불어 문헌의 데이터를 통해 밝혀진 인간 시각 체계의 동작을 테스트할 때, 다음과 같이 이루어질 수 있다.
1. 콘트라스트 감도 함수에 대한 휘도 영향이 미치는 선형 범위인 상위 공간 주파수 범위(upper spatial frequency range)에서의 진폭 감도는 평균 휘도 변화에는 민감하지 않지만, 상기 주파수의 제곱(square)으로 감소한다. 이러한 것은 2차 저역 필터에 대응한다.
2. Weber 및 Devries-Rose 영역(Oxford U. press 1989의 Taylor 등에 의한 "Contrast Detection and discrimination for Visual Models" 및 N. Graham에 의한 "Visual Pattern Analyzer" 참조) 모두는 진폭 감도가 평균 휘도 변화에 대부분 영향을 받는 하위(lower) 주파수 범위에 대응한다. 다양한 평균 휘도에서 진폭 대 주파수 곡선을 조사하여, 이 평균 휘도에 의존하는 가변 고역 필터와 유사하게 동작한다는 것을 알 수 있었다. Cornsweet 및 Yellott가 Journal of the Optical Society of America, Vol.22, No.10 1985, pp. 1769-1786의 "Intensity-Dependent Spatial Summation"에서 이런 관측과 유사한 관측에 기초한 모델을 제안하였다. Rohaly and Buchsbaum은 Journal of the Optical Society of America, Vol. 6, Feb. 1989, pp. 312-317의 "Global Spatiochromatic Mechanism Accounting for Luminance Variations in Contrast Sensitivity Functions"에서 고정 고역 필터 및 가변 저역 필터를 사용하는, 진폭과 대립되는 것으로서, 콘트라스트(contrast)에 기초한 모델을 제안하였다. 모든 경우에, 대역 통과는 저역 필터를 하나의 고정된 필터 및 평균 휘도에 대한 다른 함수를 갖는 고역 필터와 조합하거나 직렬 연결하여 이루어진다. 콘트라스트를 계산하기 위해서는 추가적인 단계를 필요로 하므로, 고정 저역 필터 및 가변 고역 필터를 수반하는 진폭 표시가 더 효과적이다.
3. 임계값 강도들 근처 사이에서의 콘트라스트 판정의 페디스털(pedestal) 효과는 공간적으로 정체된(고정된) 노이즈― 중심와(foveal location) 위치에 영향을 받지만, 시간에는 무관한 에러― 및 인간 시각 체계에서의 다른 노이즈의 증거와 일치한다. 노이즈 플로어(noise floor) 아래에서 검출하기 위한 콘트라스트 증가분은 페디스털 임계값의 증가에 따라 감소하고, 반면에 이 노이즈 플로어 위에서 이 콘트라스트 증가분을 페디스털 임계값의 증가에 따라 증가한다. 비-고정된(non-fixed) 노이즈를 제시하지만, 이러한 노이즈는 여전히 영상 신호의 가시적인 손상 정도를 예측하기 위해 이용되는 전체 HVS 모델에서 구체화시켜야 한다.
4. 각도 범위 및 콘트라스트 임계값과 판별 임계값 사이의 제곱근의 관계는 각 영상이 유사한 통계치를 가진 영역으로 분할됨으로써, 전체 영상 영역을 소위 "코히런트(coherent)" 영역이라고 하는 좀더 작은 세트로 나눈다는 것을 의미한다. 이 영역이 크면 클수록, 평균을 감산할 때 효과적인 콘트라스트 감도 고역 컷-오프 주파수(high pass cut-off frequency)는 더 작아진다.
5. 낮아진 평균 휘도, 상이한 마스킹 신호 및 감소된 패치 영역(patch area)으로 인한 콘트라스트 판정 증가분의 상승은 정합 필터(matched filter)를 사용하는 최적의 신호 검출과 유사한 처리를 수반한다. 이런 시스템에서, 처리된 기준 영상과 테스트 영상 사이의 상관 계수(correlation coefficient)를 "1(unity)"에서 감산하여 차이를 측정할 수 있다.
6. 이 상관 계수를 "1"에서 감산하여 임계값 및 판정을 양호하게 예측하더라도, 감지되는 초과 임계값 차이는 양호하게 예측하지 못한다. 임계값 위에서 감지된 콘트라스트는 거의 실제 콘트라스트의 제곱근으로 증가한다. 임계값 및 초과 임계값에서의 동작을 소정의 간단한 수학식과 동시에 일치(match)시키기 위하여 처리된 영상의 차이에 대한 정규화된 분산은 N 제곱근을 사용하며, 다음의 예에서는 4 제곱근을 사용한다.
Response = K * (var(Itest_proc - Iref_proc) / var(Iref_proc)).25
여기에서 Iref_proc 및 Itest_proc는 각각 처리되고, 필터링되며, 노이즈가 존재하는 기준 영상 및 테스트 영상이고, var()는 분산이다.
(a) 임계값에서 기대되는 동작은 거의 다음과 같다:
Response = K * (sum(Itest_proc2+ Iref_proc2- 2 * Itest_proc *
Iref_proc).25)/ (var(Iref_proc).25
Response = K * (2 - 2 * correlation(Iref_proc, Itest_proc)).25= 1
(b) 임계값 위에서 기대되는 동작은 거의 다음과 같다:
Response = K * (sum(|Itest_proc - Iref_proc|2) / var(Iref_proc)).25
그리고 플랫 필드(flat field) 영상 기준에 대해서 Iref_proc = noise 이다.
Response = K * (sum(|Itest_proc|2) / var(noise)).25
여기에서 "0"의 콘트라스트에 관하여, 콘트라스트에 대한 초과 임계값의 응답은 이 콘트라스트의 제곱근처럼 증가한다. 따라서 이 임계값 및 초과 임계값 양자의 조건은 충족된다. 편리하게도 이 실시예에서와 같이 q = 4인 세그멘트 크기(measurement)에 대하여 전체 영상을 모을 때까지 N 제곱근을 취할 필요는 없다.
대응하는 모델의 성분(component) 및 6 개의 교정 파라미터는 다음과 같다:
(a) 2 차원 무한 임펄스 응답 2차 저역 필터 교정 파라미터(two dimensional infinite impulse response second-order low-pass filter calibration parameters)는 (ⅰ) 편의상 디스플레이 모델에 정해질 수 있는(place) 입력의 크기(input scale), 및 (ⅱ) 이중 극(double pole)을 설정하는 피드백 계수(feedback coefficient)를 포함한다. 해당 기술 분야에서는 잘 알려진 바와 같이, 이것은 등가 유한 임펄스 응답 필터(equivalent finite impulse response filter)에서도 구현될 수 있다.
(b) 분할(영역 증가; region growing)은 (ⅰ) 세그멘트 블록 평균 총계에 대한 임계값 그리고 (ⅱ) 블록 분산의 적당한 세그멘트 분산의 임계값을 참고로 이루어진다. 세그멘트의 블록 평균을 이용하여, 블록 평균을 세그멘트에서의 휘도 평균으로 다시 계산하고, 그리고 각 화소(pixel)에서 국부적인 평균(대응하는 세그멘트의 평균 휘도)을 감산한다.
(c) 노이즈 생성기 및 "오브스큐어"(obscurer: 최대값 동작기) 교정은 노이즈 진폭의 선택 과정을 포함한다. 각 세그멘트에 대해 전술한 정규화된 차이 분산(처리된 기준 영상에서 손상된 테스트 영상을 뺀 분산{[var(Iref_proc - Itest_proc)]을 처리된 기준 영상의 분산[ var(Iref_proc)]으로 나눈 값}을 계산한다. 이 단계에서 교정 상수는 필요 없다.
(d) 전체 영상에 대하여, 상기 총계(aggregate measure)는 세그멘트의 정규화된 차이 분산들의 평균을 N 제곱근(이 실시예에서 N=4)하여 계산된다. 이 총계는 변환 또는 크기 계수(임계값 이상 또는 JND 단위의 K)를 가진 적당한 단위로 변환된다.
도 1은 비-HVS 모델에 비하여 효율적이고 대부분(the bulk) 정교한 HVS 모델을 조합하여 종래 기술을 향상시키는 영상 화질 평가 장치를 위한 순서도를 도시한다. 각각의 휘도 단위로 변환하기 위해 각 기준 영상 신호와 손상된(테스트) 영상 신호를 디스플레이 모델(11, 12)로 입력한다. 콘트라스트 감도 임계값 데이터에 대응하는 공간 주파수 응답은 각각의 2차 저역 필터 (13, 14) 및 하나의 내재하는(implicit) 고역 필터(단계(17, 18)에서, 단계(15, 16)를 통해 생성되는 국부적인 평균(저역 통과)을 각각의 개별 화소로부터 뺀다)로서 구현된다. 이러한 필터 조합은 각 방향, 평균 휘도, 및 세그멘트 영역에 관한 이미 기술한 문헌에서의 데이터에 의하여 제시한 요구 사항들을 만족시킨다. 필터 뱅크로부터 다수의 영상이 출력되는 종래 기술과는 대조적으로, 이 단계에서는 후속 단계에서 각 영상을 처리하기 위해 단지 하나의 영상만이 출력된다. 비선형 시간적 필터는 HVS 모델의 다수의 시간적 동작을 고려하여 다음에 삽입될 수 있지만 이 실시예에서는 도시하지 않는다.
단계(15, 16)에서 3 ×3 화소 블록과 같은 블록의 평균을 계산한다. 양 채널에서, 이 영상을 블록 평균과 다른 간단한 블록 통계에 기초하여 분할한다(20). 그러나 계산 자원(resource)을 단순화시키고 감소시키기 위해 이 단계(20)는 생략할 수 있다. 현재 분할 알고리즘에서 사용하는 블록 평균은 국부적인(블록) 평균 휘도 및 이전의 분산을 포함한다. 그러나 영역을 증가시키기 위해 간단한 최대값 및 최소값을 사용할 수 있다. 각 블록 평균은 새로운 블록 평균을 생성하기 위한 세그멘트에 대한 평균이다. 개별적인 블록의 각 화소로부터 이러한 평균을 감산하여(단계17, 18) 내재하는 고역 필터의 동작을 완료한다.
노이즈 생성기(24)로부터 발생하는 노이즈는 이 필터링된 입력 영상의 절대값 및 공간적으로 고정된 노이즈 패턴의 절대값 중에서 큰 값을 선택하여 코어링 동작(coring operation; 21, 22)을 통해 각 화소에 주입된다.
Core(A, B) = {|A|〉|B|일 때; (|A| - |B|), |A|〈|B|일 때; 0}
여기에서, A는 신호이고, B는 노이즈이다. 기준 영상 세그멘트와 테스트 영상 세그멘트 간의 차이(26)와 기준 영상 세그멘트에 대해 세그멘트 분산을 계산한다(27, 28). 기준 분산으로 테스트(차이) 채널 분산을 정규화하는(나누는) 각 세그멘트에 대해 두 채널의 세그멘트 분산 데이터 세트를 조합한다(30).
마지막으로 총계를 만들기 위하여 각 세그멘트의 정규화된 분산 평균에 대한 N 제곱근을 계산한다. N은 임의의 정수가 될 수 있고, 이 실시예에서 N은 역시 4이다. 전체값은 크기가 조절될 수 있거나, 또는 JND, MOS 등과 같은 적당한 단위로 변환될 수 있다.
따라서 본 발명은 병렬 채널에서 테스트 영상 신호와 기준 영상 신호를 처리하고, 기준 영상과 차이(기준 영상-테스트 영상) 영상의 평균 세그멘트 분산을 얻고, 이 평균 세그멘트 분산을 정규화하며, 총계를 만들기 위하여 N 제곱근을 취한 후, 적당한 단위로 최종값을 변환하여 기준 영상 신호으로부터 테스트 영상 신호의 손상 정도를 판정하기 위한 실시간 인간 시각 체계 동작 모델링을 제공한다.
본 발명은 매우 간단하게 실시간 영상 환경에서 영상 시스템의 화질을 분석하는 실시간 인간 시각 체계 동작 모델링을 제공하므로, 처리 시간 및 처리 데이터를 감소시키고 동작의 정확성을 향상시킨다.

Claims (5)

  1. 기준 영상 신호로부터 추출한 테스트 영상 신호의 가시적인 손상 정도(measure)를 얻기 위한 실시간 인간 시각 체계 동작 모델링 방법에 있어서,
    각 처리된 영상 신호를 생성하기 위해 각 영상 신호를 필터링하는 단계;
    상기 처리된 영상 신호에 각각 노이즈 신호를 주입하는 단계;
    상기 주입 단계로부터 발생하는 기준 영상 신호를 나타내는 상기 처리된 영상 신호에 대한 분산 및 상기 처리된 영상 신호들 간의 차이를 나타내는 처리된 영상 신호 차이의 분산을 계산하는 단계; 및
    상기 손상 정도를 얻기 위해 분산들을 조합하는 단계
    를 포함하는 실시간 인간 시각 체계 동작 모델링 방법.
  2. 제1항에서,
    상기 조합 단계는,
    상기 처리된 영상 신호 차이에 대한 정규화된 분산을 생성하기 위해, 상기 처리된 기준 영상 신호의 분산을 이용하여 처리된 영상 신호 차이의 분산을 정규화하는 단계; 및
    손상 정도로서 상기 정규화된 분산에 N 제곱근(Nth root)을 취하는 단계
    를 포함하는 실시간 인간 시각 체계 동작 모델링 방법.
  3. 제1항에서,
    상기 손상 정도를 적당한 단위(unit)로 변환하는 변환 단계를 추가로 포함하는 실시간 인간 시각 체계 동작 모델링 방법.
  4. 제1항에서,
    상기 필터링 단계는,
    상기 기준 영상 신호 및 테스트 영상 신호를 각 휘도 영상 신호로 변환하는 단계; 및
    상기 개별적인 휘도 영상 신호에 대한 2차원 저역 필터링을 수행하는 개별적으로 처리된 영상 신호를 생성하는 단계
    를 포함하는 실시간 인간 시각 체계 동작 모델링 방법.
  5. 제4항에서,
    상기 필터링 단계는,
    분할된 처리 영상 신호를 생성하기 위하여 상기 수행 단계에서 생성된 개별적으로 처리된 영상 신호를 유사한 통계의 영역으로 분할하는 단계;
    상기 분할된 처리 영상 각각에 대한 블록 평균을 얻는 단계; 및
    상기 주입 단계의 입력인 처리된 영상 신호로서 필터링된 영상 신호를 생성하기 위해 상기 개별적으로 처리된 영상 신호의 각 화소로부터 개별적인 블록 평균을 감산하는 단계
    를 추가로 포함하는 실시간 인간 시각 체계 동작 모델링 방법.
KR1020000066823A 1999-11-11 2000-11-10 실시간 인간 시각 체계 동작 모델링 방법 KR100647146B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/438,697 1999-11-11
US9/438,697 1999-11-11
US09/438,697 US6678424B1 (en) 1999-11-11 1999-11-11 Real time human vision system behavioral modeling

Publications (2)

Publication Number Publication Date
KR20010051612A true KR20010051612A (ko) 2001-06-25
KR100647146B1 KR100647146B1 (ko) 2006-11-17

Family

ID=23741664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000066823A KR100647146B1 (ko) 1999-11-11 2000-11-10 실시간 인간 시각 체계 동작 모델링 방법

Country Status (6)

Country Link
US (1) US6678424B1 (ko)
EP (1) EP1100278B1 (ko)
JP (1) JP3498842B2 (ko)
KR (1) KR100647146B1 (ko)
CN (1) CN1183781C (ko)
DE (1) DE60020795T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824264B1 (ko) * 2006-11-23 2008-04-24 주식회사 이노와이어리스 통신망을 거친 영상에 대한 품질측정장치 및 방법

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
US6941017B2 (en) * 2001-09-18 2005-09-06 Tektronix, Inc. Temporal processing for realtime human vision system behavior modeling
US20040036772A1 (en) * 2001-09-25 2004-02-26 Pugel Michael Anthony Method for optimizing the level of rf signals by comparing quality of the rf signals under different operation modes
US7139035B2 (en) * 2002-12-30 2006-11-21 Texas Instruments Incorporated Video noise floor estimator with impulse noise detection
US20040207643A1 (en) * 2003-04-18 2004-10-21 Bozidar Janko Attention model enhanced video waveform monitor
GB0314161D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
KR101187550B1 (ko) * 2004-02-27 2012-10-04 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
WO2005083637A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
US7405747B2 (en) * 2004-04-14 2008-07-29 Tektronix, Inc. Extended K2T measurement of video
US7356195B2 (en) * 2004-04-29 2008-04-08 Hewlett-Packard Development Company, L.P. System and method for estimating image sharpness
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7715646B2 (en) * 2005-03-25 2010-05-11 Siemens Medical Solutions Usa, Inc. Unified visual measurement of blur and noise distortions in digital images
US7801385B2 (en) * 2005-05-10 2010-09-21 Intel Corporation Perceptual filter support techniques
US8620293B2 (en) * 2005-09-15 2013-12-31 At&T Mobility Ii Llc Location-based transmitter selection and handoff
US8396468B1 (en) 2005-09-15 2013-03-12 At&T Mobility Ii Llc Assessing performance and quality of a mobile communication service
US8587630B1 (en) 2005-09-15 2013-11-19 At&T Mobility Ii Llc Assessing performance and quality of a mobile communication service
US8509761B2 (en) * 2005-09-15 2013-08-13 At&T Mobility Ii Llc Location based services quality assessment
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
EP2206334A2 (en) * 2007-09-28 2010-07-14 OCE-Technologies B.V. Method, apparatus and computer program for adaptive compensation of a mtf
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2009133879A1 (ja) * 2008-04-30 2009-11-05 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
JP5605570B2 (ja) * 2008-04-30 2014-10-15 日本電気株式会社 画質評価方法、画質評価システムおよびプログラム
US8503822B2 (en) * 2008-04-30 2013-08-06 Nec Corporation Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP5635677B2 (ja) 2010-04-19 2014-12-03 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジおよび広色範囲の画像およびビデオの品質評価
PL2508754T3 (pl) 2011-04-04 2016-10-31 System napędowy dla siłowni wiatrowej
US8743291B2 (en) 2011-04-12 2014-06-03 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
EP2573386B1 (de) 2011-09-26 2014-10-29 Siemens Aktiengesellschaft Antriebssystem für eine Windkraftanlage
CN102447945B (zh) * 2011-11-22 2013-09-25 河海大学 一种图像亮度的jnd值测定方法
CN103070671B (zh) * 2013-01-31 2014-07-30 郑州大学 啮齿类动物视觉认知行为功能自动化测评系统
CN109285146B (zh) * 2018-08-30 2021-12-10 南京邮电大学 基于恰可觉察失真的全参考图像质量评价方法
CN110399886B (zh) * 2019-07-15 2022-09-30 华侨大学 一种屏幕图像jnd模型构建方法
DE102022101854A1 (de) 2021-06-02 2022-12-22 HELLA GmbH & Co. KGaA Verfahren zur Analyse einer Leuchtdichteverteilung des von einer Beleuchtungsvorrichtungfür ein Fahrzeug ausgehenden Lichts

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918633A (en) * 1985-11-25 1990-04-17 Eastman Kodak Company Digital image noise reduction method and transmission system
US5010405A (en) * 1989-02-02 1991-04-23 Massachusetts Institute Of Technology Receiver-compatible enhanced definition television system
US5309526A (en) * 1989-05-04 1994-05-03 At&T Bell Laboratories Image processing system
US5313298A (en) * 1992-03-05 1994-05-17 Rubin, Bednarek And Associates, Inc. Video companding method and system
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5790717A (en) 1993-10-26 1998-08-04 Bell Communications Research Inc. Apparatus and method for predicting subjective quality of compressed images
US5818520A (en) * 1996-02-12 1998-10-06 Tektronix, Inc. Programmable instrument for automatic measurement of compressed video quality
US5974159A (en) 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
US5719966A (en) 1996-03-29 1998-02-17 David Sarnoff Research Center, Inc. Apparatus for assessing the visiblity of differences between two image sequences
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
GB9803580D0 (en) 1998-02-21 1998-04-15 Nds Ltd Determining visually noticeable differences between two images
US6285797B1 (en) * 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824264B1 (ko) * 2006-11-23 2008-04-24 주식회사 이노와이어리스 통신망을 거친 영상에 대한 품질측정장치 및 방법

Also Published As

Publication number Publication date
JP3498842B2 (ja) 2004-02-23
CN1183781C (zh) 2005-01-05
DE60020795D1 (de) 2005-07-21
EP1100278B1 (en) 2005-06-15
DE60020795T2 (de) 2006-05-04
EP1100278A3 (en) 2003-01-22
JP2001197527A (ja) 2001-07-19
EP1100278A2 (en) 2001-05-16
KR100647146B1 (ko) 2006-11-17
CN1296361A (zh) 2001-05-23
US6678424B1 (en) 2004-01-13

Similar Documents

Publication Publication Date Title
KR100647146B1 (ko) 실시간 인간 시각 체계 동작 모델링 방법
Damera-Venkata et al. Image quality assessment based on a degradation model
Tan et al. A multi-metric objective picture-quality measurement model for MPEG video
Heeger et al. A model of perceptual image fidelity
Brooks et al. Structural similarity quality metrics in a coding context: exploring the space of realistic distortions
Ong et al. A no-reference quality metric for measuring image blur
Wang et al. Multiscale structural similarity for image quality assessment
US5719966A (en) Apparatus for assessing the visiblity of differences between two image sequences
KR100347202B1 (ko) 이미지스트림을국부적콘트라스트단위들로분해하는방법및장치
CN100334888C (zh) 用于人类视觉系统模型的自适应时空滤波器
JP4101132B2 (ja) ビデオ・シーケンスのブレ評価方法
Masry et al. A metric for continuous quality evaluation of compressed video with severe distortions
Hu et al. Compressed image quality metric based on perceptually weighted distortion
JP2003501850A (ja) 基準映像を用いることなくデジタル映像の品質を推定する方法と装置
Winkler A perceptual distortion metric for digital color images
JP2000078618A (ja) ビデオ画像品質の評価方法
Zhang et al. Data-driven transform-based compressed image quality assessment
JP3955517B2 (ja) 実時間ヒューマン・ビジョン・システム行動モデル化方法
US20040175056A1 (en) Methods and systems for objective measurement of video quality
KR100555866B1 (ko) 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
Sheikh et al. Real-time foveation techniques for low bit rate video coding
Mantiuk et al. ColorVideoVDP: A visual difference predictor for image, video and display distortions
CN111179259A (zh) 光学清晰度测试方法和装置
US7102667B2 (en) Picture quality diagnostics for revealing cause of perceptible impairments
Avadhanam et al. Prediction and measurement of high quality in still-image coding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151026

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee