KR101089411B1 - 비디오 품질 평가 방법 및 시스템 - Google Patents

비디오 품질 평가 방법 및 시스템 Download PDF

Info

Publication number
KR101089411B1
KR101089411B1 KR1020057024367A KR20057024367A KR101089411B1 KR 101089411 B1 KR101089411 B1 KR 101089411B1 KR 1020057024367 A KR1020057024367 A KR 1020057024367A KR 20057024367 A KR20057024367 A KR 20057024367A KR 101089411 B1 KR101089411 B1 KR 101089411B1
Authority
KR
South Korea
Prior art keywords
frame
matching
test
video
video field
Prior art date
Application number
KR1020057024367A
Other languages
English (en)
Other versions
KR20060025181A (ko
Inventor
알렉산드르 장 보우레
데이비드 스네돈 핸즈
대미언 바야르트
앤드류 고오든 데이비스
Original Assignee
브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 filed Critical 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Publication of KR20060025181A publication Critical patent/KR20060025181A/ko
Application granted granted Critical
Publication of KR101089411B1 publication Critical patent/KR101089411B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 기준 시퀀스와 테스트 시퀀스 사이의 서브 필드/프레임 오정렬의 역효과를 감소시키는 자동화된 비디오 품질 평가 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 본 발명은 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 기준 비디오 필드/프레임의 서브 필드/프레임의 요소들과 개별적으로 매칭함으로써 처리될 수 있는 서브 필드/프레임 레벨로 오정렬을 낮춘다. 상기 비디오 필드/프레임 크기보다 현저히 작은 매칭 요소 크기를 사용하는 것은 과도기의 서브 필드/프레임의 오정렬을 효과적으로 트래킹하는 것을 가능하게 한다.

Description

비디오 품질 평가 방법 및 시스템{METHOD AND SYSTEM FOR VIDEO QUALITY ASSESSMENT}
본 발명은 비디오 품질의 평가 방법 및 시스템에 관한 것이며, 보다 특정적으로는 서브 필드/프레임 요소에 종속하여 비디오 품질 평가치가 생성되는 방법 및 시스템에 관한 것이다.
수년 동안 비디오 품질 테스트가 수행되어 왔다. 비디오에 대한 디지털 압축기술의 출현 이전에 비교적 안정된 표준 방법 세트를 가진 형식적인 주관적 테스트가 사용되었다. 간단히 말하면, 다수의 비전문 평가자를 선정하고, 그들의 시각적 능력을 검사하고, 일련의 테스트 장면을 약 10 내지 30분 동안 통제된 환경에서 보여주고, 다양한 방법들 중 하나로 상기 장면들의 품질에 대해 점수를 주도록 요청했다. 보통, 완전한 기준 테스트를 위해서, 먼저 기준 시퀀스를 보여주고, 다음에 테스트용 시퀀스가 제공되며, 상기 평가자에게 기준 시퀀스에 대한 테스트 시퀀스의 등급을 부여하도록 요청한다. 주관적 측정에 대한 더욱 상세한 것은 관련 표준 ITU-R BT.500 "TV 화질의 주관적 평가 방법론"에서 찾을 수 있다. 이 표준은 1974년 처음 발표되었으며 공식적으로는 CCIR Rec.500으로 알려졌고, 이 문서의 7판은 주관적 테스트에 대해 과거에 제안된 방법들을 포함한다.
인간 평가자들을 사용하는 주관적 테스트에는 몇 가지 장점들이 있는데, 유효한 결과들이 종래의 그리고 압축된 TV 시스템 모두에 대해 생성될 수 있고, 정지 영상과 동영상 응용의 넓은 범위에서 잘 적용할 수 있다는 것이다. 그러나, 세심한 테스트의 준비와 통제가 요구되는 테스트의 정확한 준비가 얻어진 결과에 영향을 미칠 수 있고, 통계적으로 의미 있는 결과를 얻기 위해서는 엄청나게 많은 인간 평가자들이 선정되어 검사를 거쳐야만 한다는 점에서 명백한 단점이 있다. 이들 단점들은 주관적 테스트를 복잡하고 시간 소모적이게 하며, 그 결과 주관적인 테스트는 개발 목적으로 적용할만하나 운영 감시나 생산라인 테스트 등에는 적합하지 않다.
따라서 전술한 바와 같은 인간의 주관적인 테스트의 단점들을 회피하기 위해서는, 자동화된 그리고 보통은 컴퓨터 기반의 비디오 비교 기술을 사용하는 비디오 품질 자동 평가를 제공하는 것이 당해 기술분야에서 알려져 있다. 자동 화질 분석을 수행하는 종래 시스템은 미국 97077 오레곤주 비버톤 사서함 500, SW 칼 브라운 14200에 주소를 둔 Tektronix Inc 사의 PQA 300 시스템이다. PQA 300은 5초 비디오 테스트 시퀀스 중 2초 부분을 측정하여 동작한다. 상기 비디오 테스트 시퀀스는 CD ROM으로부터 다운로드 되거나 비디오로부터 녹화되며, 시험 중인 시스템에 재생된다. 그 다음 시험 중인 시스템의 출력이 저장되고 이에 대한 분석이 상기 2초 시퀀스에 대해 DSP 가속 하드웨어를 가지고 수행된다. 상기 측정 결과는 "화질 등급"이라고 불리는 화질의 단일 수치가 된다. 상기 PQA 300 은 JND Metrix 로 알려진 인간 시각 시스템 모델을 채용하며 화질 등급을 생성하기 위해서 비디오 정보 의 3가지 다른 분석 즉 공간분석, 시간분석 및 전칼라분석을 수행한다. 또한, PQA 300은 애니메이티드 맵의 형태로 표시되는 PSNR 값을 제공하며 그 강도는 기준 이미지와 테스트 이미지 사이의 PSNR 차이에 관계된다. 요약하면, PQA 300은 비디오 품질 값을 생성하기 위해 PSNR 측정치뿐만 아니라 테스트 비디오 시퀀스와 기준 비디오 시퀀스를 분석할 수 있다.
그러나 상술한 품질 메트릭스(metrics)를 생성하기 위한 테스트 시퀀스와 기준 시퀀스의 단순한 비교에서 문제들이 발생할 수 있다. 예를 들면, 상기 기준 시퀀스와 테스트 시퀀스의 전부 또는 부분 사이에 공간적 시간적 오정렬이 이러한 측정에 크게 영향을 미칠 수 있으나, 인간 평가자에게는 감각적으로 중요하지 않을 수 있다. 차이 측정이 신뢰할만하고 실용적이고 완전한 기준 평가에 기여한다면 이러한 오정렬은 조정되어야 한다.
일정한 공간적 시간적 오정렬은 완전한 기준 테스트 상황에서 흔히 경험할 수 있으며, 전체 기준 또는 열화된 시퀀스에 적용된 "하나의 오프" 정렬에 의해 처리될 수 있다. 이와 같은 하나의 오프 정렬를 처리하는 종래 기술 문서의 예는 US6483538, US6259477, US5894324, US6295083, 그리고 US6271879 이다. 또한, 필드 사이에 오정렬이 변화할 수 있는 필드 기반 공간 지터(jitter) 또는 시간 지터는 필드 단위를 기반으로 적용된 유사한 기술에 의해 처리될 수 있다. 그러나, 더욱 복잡하지만 역시 지각할 수 없는 오정렬이 필드나 프레임 내에서 일어날 수도 있으며, 여기서 비디오 필드나 프레임의 다른 범위가 상이한 시프트, 스케일링, 또는 지연을 받을 수 있다. 예를 들면, 공간적 비틀림(spatial warping), 잃어버린 선(missing lines), 또는 얼어붙은 블록(frozen blocks)이 비디오 처리를 통해서 일어날 수 있으며, 인간의 주관적인 테스트 결과 대신에 사용될 수 있는지 화질 평가 메트릭(metric)이 자동적으로 생성될 것인지를 고려할 필요가 있다.
발명의 요약
본 발명은 기준 시퀀스와 테스트 시퀀스 사이의 서브 필드/프레임 오 정렬의 역효과를 감소하는 자동화된 비디오 품질 평가 방법 및 시스템을 제공함으로써 전술한 문제점을 해결한다. 보다 구체적으로는, 본 발명은 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 기준 비디오 필드/프레임의 서브 필드/프레임 요소들과 개별적으로 매칭하여(matching) 처리될 수 있는 서브 필드/프레임 레벨로 오 정렬을 저감시킨다. 상기 비디오 필드/프레임 크기보다 현저히 작은 매칭 요소 크기의 사용은 일시적인 서브 필드/프레임 오 정렬을 효과적으로 추적하는 것을 가능하게 한다.
전술한 바에 의하면, 본 발명의 제 1 형태는 비디오 품질 평가 방법으로서, 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 적어도 하나의 기준 비디오 필드/프레임의 대응하는 서브 필드/프레임 요소들과 매칭하는 단계와, 상기 테스트 비디오 필드/프레임과 기준 비디오 필드/프레임의 매칭된 서브 필드/프레임 요소들에 따라 비디오 품질 값을 생성하는 단계를 포함한다.
본 발명의 제 1 형태는 상술한 바와 같이 서브 필드/프레임 오 정렬과 다른 인공물(artefacts)이, 전체적인 비디오 품질 값이 그와 같은 오 정렬에 의해 영향을 받지 않도록, 고려될 수 있도록 한다. 이런 관점에서, 상기 서브 필드/프레임 요소들은, 인간 평가자들에게 감각적으로 거의 눈에 띌 수 없는 오 정렬과 다른 인공물들이 매칭될 수 있도록 크기를 갖도록 하는 것이 바람직하다.
바람직한 실시예에서, 상기 매칭 단계는, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소에 대해, 상기 테스트 비디오 필드/프레임에 시간적으로 대응하는 기준 비디오 필드/프레임에 대하여 정수 M1만큼 선행하는 기준 비디오 필드/프레임 및 정수 M2만큼 후행하는 기준 비디오 필드/프레임 중 적어도 하나에서 매칭 서브 필드/프레임 요소를 탐색하는 단계를 추가로 포함하며, 여기서 M1 및 M2는 정수이다. 이것은 시간상 일치하는 필드/프레임뿐만 아니라 또는 대안으로 시간상 다른 필드/프레임 내의 서브 요소들 사이에 매치가 이루어지도록 허용하며, 그리하여 블록 동결과 같은 시간상의 인공물(artefacts) 고려되도록 허용한다. 바람직한 것은 상기 시간상의 탐색 한계 M1 및 M2가 미리 정해지는 것이지만, 본 발명의 변형에서 그것들은 적응적으로 정의된다.
바람직한 실시예의 내에서, 상기 탐색단계는, 상기 테스트 서브 필드/프레임 요소가 상기 테스트 비디오 필드/프레임 내에서 차지하는 위치에 대응하는 상기 기준 필드/프레임 내의 위치를 상기 기준 비디오 필드/프레임의 공간적으로 제한된 범위 내에서 탐색하는 단계를 추가로 포함하는 것이 바람직하다. 상기 탐색의 공간적 크기를 각 필드/프레임 내로 한정함으로써 처리 요구사항이 감소하고, 추가로 인간 평가자들에게 지각적으로 거의 의미가 없는 인공물만 포함하는 서브 요소들이 매칭될 것이다. 바람직하게는 상기 탐색 영역의 공간적 크기가 미리 정해지는 것이지만, 본 발명의 변형에서는 이것이 적응적으로 정해질 수 있다.
본 발명의 실시예에서, 상기 매칭단계는 하나 이상의 매칭 통계치 및 매칭 벡터 중 적어도 하나를 계산하는 단계를 추가로 포함하는 것이 바람직하고, 여기서 상기 생성단계는 상기 계산된 매칭 통계치 및 매칭 벡터 중 적어도 하나에 추가로 종속하여 상기 비디오 품질 파라미터를 생성한다. 상기 매칭 단계로부터의 매칭 통계를 사용하는 것은 얻어지는 전체적인 비디오 품질 값을 실질적으로 개선하고 인간의 주관적인 테스팅으로부터 얻어진 비디오 품질 값에 더욱 유사하게 하는 것을 알았다. 매칭 벡터의 사용 역시 전체적인 비디오 품질 값을 개선하는 것을 알았다.
본 발명의 실시예에서, 상기 생성단계는 바람직하게는, 상기 테스트 및 기준 비디오 필드/프레임의 상기 매칭된 서브 필드/프레임 요소들에 따라 상기 테스트 및 기준 비디오 필드/프레임 중 적어도 하나의 특성에 각각 관련된 복수의 비디오 특성값을 계산하는 단계와, 상기 비디오 품질 값을 제공하기 위해 적어도 상기 계산된 비디오 특성값을 함께 통합하는 단계를 추가로 포함하는 것이다.
매칭된 서브 요소들에 종속하여 비디오 특성값을 계산하고 그와 같은 값들을 함께 통합함으로써 지각적으로 의미가 없는 비디오 인공물을 고려한 비디오 품질 값이 얻어질 수 있다. 바람직하게는 통합단계는, 상기 비디오 품질 값을 제공하기 위해 상기 매칭 통계치(들)과 상기 계산된 비디오 특성값을 통합하는 단계를 추가로 포함하는 것이다. 또한, 바람직하게는 상기 비디오 특성값들은 각각, 하나 이상의 공간 주파수 값; 하나 이상의 텍스처 값; 적어도 하나의 에지 값; 적어도 하나의 휘도(luminance) 신호대잡음비 값; 및 하나 이상의 색차(chrominance) 신호대비잡음비 값 중 적어도 하나에 대한 임의의 2개 이상인 것이다.
본 발명의 바람직한 실시예에서, 상기 에지 값을 계산하는 단계는 바람직하게는, 테스트 필드/프레임에 대해, 상기 테스트 필드/프레임의 각 서브 필드/프레임 내의 에지의 수를 계수하는 단계, 상기 테스트 필드/프레임의 서브 필드/프레임 요소들에 매칭된 상기 적어도 하나의 기준 필드/프레임의 각 서브 필드/프레임 요소 내의 에지의 수를 계수하는 단계, 및 상기 각각의 계수 값에 따라 상기 테스트 필드/프레임에 대한 에지 값을 결정하는 단계를 포함하는 것이다.
필드/프레임의 서브 요소들 내의 에지의 수를 계수함으로써 다음에 에지 위치에서 지각할 수 없는 차이가 고려될 수 있고, 결과적으로 인간의 주관적인 테스트에 의해 얻은 것과 같은 값과 더욱 근접하게 닮은 개선된 비디오 품질 값을 얻기 위해 사용될 수 있는 에지 평가 값을 제공한다.
바람직하게는, 바람직한 실시예에서 합성단계는, 각 값을 소정의 가중 인자에 의해 가중치를 부여하는 단계와, 상기 가중치가 부여된 값들을 합산하여 비디오 품질 값을 제공하는 단계를 추가로 포함하는 것이다. 상기 가중 인자들은 미리 보정(calibration)에 의해 구하고, 최종 비디오 품질 값이 인간의 주관적인 테스트로부터 얻어진 값에 더 근접하게 유사하도록 다양한 비디오 특성값들의 전체적인 통합을 조정하기 위해 사용될 수 있다. 바람직하게는 상기 가중 인자와 오프셋 값은, 비디오 필드/프레임의 각 유형에 대해 그 유형에 고유한 가중 값이 사용될 수 있도록, 테스트 및 기준 비디오 필드/프레임의 유형에 종속한다.
본 발명의 제 2 형태는, 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 적어도 하나의 기준 비디오 필드/프레임의 대응하는 서브 필드/프레임 요소들과 매칭하는 매칭수단과, 상기 테스트 및 기준 비디오 필드/프레임의 매칭된 서브 필드/프레임 요소들에 따라 비디오 품질 값을 생성하기 위한 용도로 구성된 비디오 처리수단을 포함하는 비디오 품질 평가 시스템을 제공하는 것이다.
본 발명의 제 2 형태에 의한 시스템은 본 발명의 제 1 형태에 관하여 이전에 설명된 것과 거의 같은 이점들을 제공한다. 또한, 거의 유사한 추가적인 특징들과 이점들이 제 1 형태에 관하여 설명된 것과 같이 제 2 형태에 관하여 제공될 수 있다.
본 발명의 제 3 형태는, 컴퓨터 시스템에 의해 실행될 때 컴퓨터 시스템이 선행하는 모든 청구항들의 프로세스를 수행하도록 구성된 컴퓨터 프로그램 또는 한 벌의 프로그램을 제공하는 것이다. 상기 컴퓨터 프로그램 또는 프로그램들은, 예컨대 인터넷 등의 네트워크를 통해 운반되는 신호와 같은, 상기 컴퓨터 프로그램이나 상기 한 벌의 프로그램 중 적어도 하나의 프로그램에 대응하는 데이터를 병합하는 변조된 반송 신호에 의해 구체화될 수 있다.
또한, 본 발명의 추가적인 형태는 제 3 형태에 따른 컴퓨터 프로그램이나 한 벌의 프로그램 중 적어도 하나를 저장하는 컴퓨터 판독 가능한 저장매체를 제공한다. 상기 컴퓨터 판독 가능한 저장매체는 임의의 자기, 광, 자기-광, 고체상태, 또는 컴퓨터에 의해 판독될 수 있는 다른 저장매체가 될 수 있다.
본 발명의 추가적인 특징들과 이점들은 첨부된 도면을 참조하여 이루어진 실시예에 대한 다음 설명으로부터 더욱 명백해질 것이며, 이러한 실시예들은 단지 예 시적인 것이며, 동일한 참조부호는 동일한 부분을 가리킨다.
도 1은 본 발명 시스템의 전체적인 블록도,
도 2는 본 발명의 실시예의 개개의 부분들을 도시하는 시스템 블록도,
도 3은 본 발명의 실시예에서 입력 비디오 신호를 크랍하고 오프셋하기 위해 수행되는 단계들을 도시하는 흐름도,
도 4는 본 발명의 실시예에서 서브 요소의 매칭의 효과를 도시하는 다이어그램,
도 5는 본 발명의 실시예에서 서브 필드/프레임을 매칭하기 위해 수행되는 단계들을 도시하는 흐름도,
도 6은 본 발명의 실시예에서 사용되는 공간주파수 분석기의 블록도,
도 7은 본 발명의 실시예에서 피라미드 어레이의 구성을 도시하는 다이어그램,
도 8은 실시예에서 도 7의 피라미드 어레이의 구성에서 수행되는 단계들을 도시하는 흐름도,
도 9는 본 발명의 실시예 내의 피라미드 어레이에 대한 공간적 분석을 수행하는데 수행되는 단계들을 도시하는 흐름도,
도 10은 상기 실시예에서 사용된 에지 분석기의 블록도,
도 11은 본 발명의 실시예에서 에지 분석기에 의해 수행되는 단계들을 도시하는 흐름도,
도 12는 본 발명의 실시예의 텍스처 분석기에 의해 수행되는 단계들을 도시 하는 흐름도,
도 13은 본 발명의 실시예의 통합기에 의해 수행된 단계들을 도시하는 흐름도,
도 14는 본 발명의 제 2, 소프트웨어 기반 실시예를 도시하는 다이어그램,
도 15는 무공간 오프셋에 대해 계산된 PSNR을 도시하는 그래프(3 Mb/s MPEG2 인코딩),
도 16은 2 픽셀 수평 오프셋에 대해 계산된 PSNR을 도시하는 그래프(3 Mb/s MPEG2 인코딩),
도 17은 수평 지터에 대해 계산된 PSNR을 도시하는 그래프(3 Mb/s MPEG2 인코딩),
도 18은 시간적인 필드-오정렬에 대해 계산된 PSNR을 도시하는 그래프(768 kb/s H263 CIF 인코딩),
도 19는 필드 반복에 대해 계산된 PSNR을 도시하는 그래프(3 Mb/s MPEG2 인코딩)
도 20은 시간적인 필드-오정렬에 대해 계산된 PSNR을 도시하는 그래프(3 Mb/s MPEG2 인코딩)
이제 본 발명의 실시예를 설명할 것이다.
도 1은 본 발명의 실시예의 일반적인 구성의 전체적인 시스템 블록도를 도시한다. 도 1에서 기준 시퀀스 필드/프레임들로 구성된 기준 시퀀스가 검출기 모듈 (2)로 입력된다. 마찬가지로, 비디오 필드/프레임의 테스트 시퀀스(8)(본 명세서에서는 테스트 시퀀스 또는 열화 시퀀스로 지칭됨)가 또한 검출기 모듈(2)로 입력된다. 상기 테스트 시퀀스는, 테스트 할 시스템(예컨대 비디오 녹화 장치, 방송시스템, 또는 비디오 코덱 등)에 상기 기준 시퀀스를 입력한 다음 테스트하는 시스템의 출력을 테스트 시퀀스로서 취함으로써 얻어진다. 검출기 모듈(2)은 입력 비디오 기준 필드/프레임과 테스트 비디오 필드/프레임의 다양한 비디오 특성들을 검출하는 동작을 하고 비디오 특성값을 생성하여 이것들은 통합모듈(4)로 출력한다. 통합모듈(4)은 상기 비디오 특성값들을 통합하여 예측된 비디오 품질값(10)을 출력한다.
도 2는 본 발명의 실시예들의 구성을 더욱 상세히 도시한다. 여기서, 본 발명의 시스템이 크랍/오프셋(crop and offset) 모듈(32)를 구비하는 것을 볼 수 있는데, 이것은 입력으로서 열화 비디오 시퀀스(6)와 기준 비디오 시퀀스(8)를 수신하도록 구성된다. 또한, 크랍/오프셋 모듈(32)은 2개의 소정의 오프셋 값 offsetX 와 offsetY를 입력으로서 수신한다. 크랍/오프셋 모듈(32)은 입력된 시퀀스들을 필요하다면 비인터레이스 포맷으로 변환하고, 나중에 설명하는 방법에서 필요에 따라 오프셋을 갖는 또는 오프셋이 없는 입력 시퀀스들을 크랍하는 동작을 한다. 상기 변환되고 크랍된 각각의 테스트 및 기준 시퀀스들은 그 다음 크랍/오프셋 모듈(32)로부터 시퀀스 매칭 모듈(30)로 출력된다. 또한, 도 2에 도시된 바와 같이, 크랍된 열화 비디오 시퀀스(6)가 크랍/오프셋 모듈(32)로부터 공간 주파수 분석기(22), 휘도색차 피크 신호대잡음비(luminance and chrominance peak SNR) 분석기(24), 에지 검출기(26), 및 텍스처 분석기(28)의 열화 시퀀스 입력들로서 직접 출력된다. 분석기(22 내지 28)의 목적 및 동작은 나중에 설명될 것이다.
시퀀스 매칭 모듈(30)로 돌아가면, 시퀀스 매칭 모듈(30)은, 각 테스트 비디오 필드/프레임에 대해 테스트 중인 테스트 비디오 필드/프레임의 서브 요소들에 일치하는 기준 비디오 필드/프레임들의 서브 요소들로 이루어지는 매칭된 기준 필드/프레임을 생성하기 위해, 크랍된 열화 비디오 시퀀스(6)와 기준 비디오 시퀀스(8)을 수신하고 상기 열화 비디오 필드/프레임의 서브 요소들을 기준 필드/프레임들의 매칭 서브 요소들과 매칭시킨다. 그 다음 매칭된 기준 비디오 필드/프레임(34)는 시퀀스 매칭 모듈(30)로부터 공간 주파수 분석기(22), 휘도색차 피크 신호대잡음비(luminance and chrominance peak SNR) 분석기(24), 에지 검출기(26), 및 텍스처 분석기(28) 각각의 기준 입력으로 출력된다. 또한, 매칭된 기준 필드/프레임(34)를 생성하는데 있어서, 시퀀스 매칭 모듈(30)은 매칭 통계치(XPerCent, YPerCent 및 TPerCent) - 역시 시퀀스 매칭 모듈로부터 출력됨 - 를 생성하는데 사용될 수 있는 매칭 통계자료를 생성한다. 시퀀스 매칭 모듈(30)은 또한 매칭된 피크 신호대잡음비(MPSNR) 값을 출력한다.
이제 상기 4개의 분석기 모듈(22 내지 28) 각각에 대해 간단히 설명하면, 공간 주파수 분석기(22)는 상기 입력 테스트 비디오 필드/프레임과 상기 매칭된 기준 비디오 필드/프레임을 분석하여, 상기 입력 매칭된 기준 필드/프레임과 상기 테스트 필드/프레임의 피라미드 분석으로부터 피라미드 SNR 값(PySNR(a,b))을 생성한다. 또한, 휘도색차 피크 신호대잡음비 분석기(24)는 상기 입력 매칭된 기준 필드 /프레임과 상기 입력 테스트 필드/프레임을 비교하여 휘도 및 색차 PSNR 값을 생성하여 출력한다. 마찬가지로, 에지 검출 분석기(26)는 상기 입력 매칭된 기준 필드/프레임과 상기 입력 테스트 필드/프레임을 분석하여 단일 에지 검출기 값(EDif)을 출력한다. 마지막으로, 텍스처 분석기(28)는 프레임 내의 텍스처를 지시하는 파라미터 TextureDeg를 계산하기 위해 상기 테스트 필드/프레임을 분석한다. 도 2에 도시하지 않았지만 텍스처 분석기(28)는 원래의 기준 필드/프레임(8) 중 어느 것 또는 상기 매칭된 기준 필드/프레임(34)을 수신하여, 이것들에 관련된 파라미터 TextureRef 또는 TextureMref를 생성할 수 있다는 것을 유의해야 한다. 임의의 경우에, 공간 주파수 분석기(22), 휘도색차 피크 신호대잡음비 분석기(24), 에지 검출 분석기(26), 및 텍스처 분석기(28) 각각의 동작은 나중에 더 상세히 설명될 것이다.
다시 도 1에 돌아가면, 시퀀스 매칭 모듈(30)에서 출력된 percent 와 MPSNR 값뿐만 아니라 상기 각각의 분석기(22 내지 28)의 출력은 통합기 모듈(4)에 각각 입력되며, 상기 통합기 모듈은 상기 값들을 함께 통합하여 예측 비디오 품질값(10)을 생성한다. 상기 통합기(4)의 동작도 나중에 설명한다.
다시 도 2로 돌아가서, 도시된 각각의 모듈과 분석기들의 동작을 도 3 내지 13을 참조하여 설명한다.
먼저 크랍/오프셋 모듈(32)을 설명하면, 도 3은 상기 입력 테스트 비디오 필드/프레임과 기준 비디오 필드/프레임에 대해 크랍/오프셋 모듈(32)에 의해 수행되는 단계들을 도시하는 흐름도이다.
상기 크랍/오프셋 모듈(32)에 의해서 수행되는 전체적인 절차는 먼저 입력 시퀀스들을 인터레이스(interlaced) 포맷으로부터 블록 비인터레이스(de-interlaced) 포맷으로 변환하고, 다음에 오프셋을 가지고 상기 열화 입력 시퀀스를 크랍하고 오프셋 없이 상기 기준 입력 시퀀스를 크랍한다. 도 3은 이들 작업을 완수하는 예제 루틴들을 도시한다.
도 3의 루틴은 각 입력 시퀀스(테스트 및 기준)에 별도로 적용되고, 각각의 크랍된 테스트 시퀀스와 기준 시퀀스를 생성한다. 상기 루틴의 동작은 다음과 같다.
먼저, 단계 3.2에서 FOR 처리 루프가 시작되며, 이것은 상기 크랍/오프셋 모듈이 입력 시퀀스(상기 테스트 또는 기준 시퀀스 중 하나)의 모든 필드/프레임을 처리하도록 한다. 그 다음, 단계 3.4에서 추가적인 내부 FOR 처리 루프가 개시되며, 이것은 상기 크랍/오프셋 모듈이 각 필드/프레임의 구성 성분들(예컨대 Y, U, 및 V)의 각각에 대해 처리를 수행하도록 한다.
상기 내부 FOR 루프 내에서, 수행되는 첫 번째 동작은 단계 3.6의 동작이며, 여기서 상기 입력 필드/프레임의 현재 구성 성분이 먼저, 필요하다면, 비인터레이스 포맷으로 변환된다. 예를 들면, 각각의 연속적인 필드가 다음 식에 따라 어레이 RefY, RefU, 및 RefV로 표시되도록, YUV422 인터레이스 포맷으로부터 블록 YUV444 비인터레이스 포맷으로 변환이 수행된다.
RefY(x,y) x=0...X-1, y=0...Y-1
RefU(x,y) x=0...X-1, y=0...Y-1
RefV(x,y) x=0...X-1, y=0...Y-1
여기서 X는 필드 내의 수평 픽셀의 수이고 Y는 수직 픽셀의 수이다. YUV422 입력에 대해 각 U 및 V의 값은 완전한 해상도 어레이 InUField 와 InVField를 제공하기 위해 반복되어야 한다.
다음, 단계 3.8에서 상기 현재 성분(Y,U, 또는 V)에 대한 크랍/오프셋 픽셀 값들을 유지하는 어레이가 초기화된다. 상기 어레이는, 기준 시퀀스 또는 테스트 시퀀스 중 어느 것이 현재 처리중인지 그리고 시퀀스의 현재 프레임의 구성 성분들 중 어느 것이 처리중인지에 따라, RefYfield, RefUfield , RefVfield , DegYfield, DegUfield , 또는 DegVfield 중 하나일 것이다. 각 입력 필드에 대해 완전한 세트의 Yfield , Ufield , 및 Vfield 어레이가 생성된다.
단계 3.8에 이어, 단계 3.10에서 적용할 임의의 오프셋이 있다면 이를 고려하여, 복사될 각 필드/프레임 성분의 범위가 계산된다. 이 루틴은 오프셋을 가지고 상기 열화 입력 시퀀스를 크랍하고 오프셋 없이 상기 기준 입력 시퀀스를 크랍한다. 오프렛 파라미터 OffsetX 와 OffsetY는 외부적으로 결정되며 상기 열화 시퀀스가 상기 기준 시퀀스로부터 오프셋되는 수평 및 수직 픽셀의 수를 정한다. 상기 화상 원점은 상기 이미지의 상단 좌측 코너에 있는 것으로 정해지며, 화상의 오른쪽으로 +ve 수평 증가 이동하고 아래쪽으로 +ve 수직 증가 이동한다. XOffset=2 의 값은 상기 열화 필드가 오른쪽으로 2픽셀 오프셋 된 것을 표시하고, YOffset=2의 값은 2 픽셀 아래로 오프셋 된 것을 표시한다. 적용할 오프셋 값은 이미지 정렬 기술 등에 의해 알 수 있다. 이미지 정렬 기술은 당해 기술분야에서 알려져 있으며, 앞에서 참조한 종래 기술 문헌의 일부에 설명되어 있다.
어레이 InYField, InUField, 및 InVField에 YUV444로 포맷으로 저장된 YUV 값들을 갖는 입력 필드에 대해, 크랍/오프셋 출력이 수학식 3-4 내지 3-20에 따라 계산된다.
XStart = -OffsetX
if(XStart<Cx) then XStart = Cx
XEnd = X-1-OffsetX
if(XEnd > X-Cx-1) then XEnd = X-Cx-1
YStart = -OffsetY
if(YStart < Cy) then YStart = Cy
YEnd = Y-1-OffsetY
if(YEnd > Y-Cy-1) then YEnd = Y-Cy-1
X 와 Y는 각각 수평 및 수직 필드 디멘존을 제공하고 Cx 와 Cy는 각각 왼쪽에서 오른쪽으로 그리고 위에서 아래로 크랍될 픽셀의 수를 제공한다.
625 라인 비디오 시퀀스에 대해, 다음 값들이 사용될 것이다.
X = 720, Y = 288, Cx = 30, Cy = 10
반면 525 라인 시퀀스에 대해서는, 아래의 값들이 사용될 것이다.
X = 720, Y = 243, Cx = 30, Cy = 10
이제 Xstart , Xend , Ystart 및 Yend는 복사될 각 필드의 범위를 정의한다.
이 범위 밖의 픽셀들은 수학식 3-14 내지 3-17에 따라 단계 3.12에서 초기화되며, 여기서 YField , UField 및 VField는 각각 Y, U, 및 V 값을 포함하는 X x Y의 출력 픽셀 어레이이다.
단계 3.12에서는 상기 필드의 왼쪽에서 오른쪽까지 수직 바가 다음 수학식에 따라 초기화 된다.
YField(x,y) = 0 x=0...XStart-1, XEnd + 1...X-1 y=0...Y-1
UField(x,y)=VField(x,y)=128 x=0...XStart-1,XEnd+1...X-1 Y=0...Y-1
상기 필드의 상단과 하단의 수평 바는 다음 수학식에 따라 초기화 된다.
YField(x,y)=0 x=XStart...XEnd, y=0...YStart-1,YEnd+1...Y-1
UField(x,y)=VField(x,y)=128 x=XStart..XEnd y=0..YStart-1,YEnd+1..Y-1
끝으로, 단계 3.14에서는 상기 픽셀 값들이 다음 수학식에 따라 복사된다.
Figure 112005074180537-pct00001
Figure 112005074180537-pct00002
Figure 112005074180537-pct00003
상기 열화된 입력에 대해, 크파핑(cropping)과 시프팅(shifting)은 출력 필드 어레이 DegYField, DegUField, 그리고 DegVField를 생성하는 반면, 상기 기준 시퀀스에 대해 시프팅이 없는 크라핑은 RefYField, RefUField, 그리고 RefVField를 생성한다. 이들 X x Y 2차원 어레이는 하기에 설명된 바와 같이 매칭 모듈(30)과 분석기(22 내지 28)에 대한 입력으로서 사용된다.
상기 크랍한 테스트 비디오 필드/프레임과 기준 비디오 필드/프레임들은 크랍/오프셋 모듈(32)로부터 시퀀스 매칭 모듈(30)로 출력된다. 상기 매칭 프로세스를 수행하기 위해, 시퀀스 매칭 모듈(30)은 기준 시퀀스와 테스트 시퀀스의 각각의 몇몇 필드/프레임을 수신해서, 이들 필드/프레임을 버퍼링해야 한다. 바람직하게는, 매칭 모듈(30)이 가진 버퍼 공간만큼 많은 기준 및 테스트 필드/프레임 시퀀스들이 버퍼링 되는 것이다.
상기 시퀀스 매칭 모듈(30)의 동작은 도 5에 상세히 도시되어 있다.
먼저, 단계 5.2에서 매칭 모듈(30)은 전술한 바와 같이 상기 크랍한 기준 필드/프레임 시퀀스와 테스트 필드/프레임 시퀀스를 수신하고 개별 필드/프레임을 버퍼링한다. 그 다음, 단계 5.4에서는 시간에 따라 상기 입력 테스트 필드/프레임 각각이 처리되도록 상기 테스트 비디오 필드/프레임 N 각각에 대해 처리 루프가 개시된다. 상기 처리 루프 내에서, 상기 현재 필드/프레임 N에 대한 다음 단계가 단계 5.6에서 수행되며, 상기 현재 필드/프레임은 bx x by 픽셀 블록으로 분할된다. 여기서 bx 와 by는 모두 바람직하게는 9이다. 각 픽셀 블록은 속하는 필드/프레임 N과 그 블록의 상단 좌측 좌표(x,y)에 의해 인덱스 된다. 그리고 다음 단계는, 단계 5.8에서, 각 픽셀 블록 Bdeg(N, Px, Py)을 처리하는 제 2 처리 루프를 시작하는 것이며, 여기서 N은 상기 블록이 발견되는 프레임이고, (Px, Py)는 상기 블록에서 상단 좌측 픽셀의 좌표이다.
현재의 필드/프레임 내의 각 픽셀 블록의 처리를 개시했다면, 단계 5.10에서 추가 처리 루프가 개시되며, 여기서 상기 기준 시퀀스 내의 각 필드/프레임 n (N-M1부터 N-M2까지)이 처리될 것이다. 이것은 M2 후속 필드/프레임뿐만 아니라 현재 테스트 중인 프레임 N 에 앞서서 M1 필드/프레임이 탐색되도록 한다. 다음, 단계 5.12에서는 탐색 경계 Px-Lx 와 Px+Lx 사이에서 각 수평 픽셀 위치 x를 탐색하기 위해 추가적인 처리 루프가 개시되며, 그 다음에 추가로 단계 5.14에서 또다른 처리 루프가 탐색 범위 Py-Ly 와 Py+Ly 사이에서 각 수직 픽셀 위치 y를 탐색하기 위해 개시된다. 단계 5.10, 5.12 그리고 5.14에서 개시된 처리 루프 각각의 결과는 수평 및 수직 한계 Lx 와 Ly에 의해 한정된 상기 탐색 범위에 의해서 제한된 영역이 테스트하는 상기 현재 필드/프레임에 시간상 대응하는 기준 필드/프레임에 대해 M1 선행 프레임부터 M2 후행 프레임까지 각 프레임에서 탐색되도록 하는 것이다. 이것이 도 4에 나타나 있으며, 여기서 바닥 좌측 픽셀 좌표(x,y)를 갖는 상기 열화된 시퀀스의 필드(N)에 도시된 픽셀 블록(B)은 상기 기준 시퀀스 내에 표시된 영역의 각각에서 탐색된다.
상기 기준 시퀀스의 표시된 영역 내에서 상기 픽셀 블록(B)을 탐색하기 위해 수행된 테스트는 매칭 오류(E(n,x,y))가 다음의 식에 따라 단계 5.16에서 상기 탐색된 영역 내의 각 위치에 대해 결정된다는 것이다.
Figure 112005074180537-pct00004
단계 5.16에서 결정되는 상기 매칭 오류는 나중에 사용하기 위해 n, x, 및 y의 현재 값으로 저장된다. 다음, 단계 5.18에서 y는 그 최대값에 도달하지 않았다면 증가되고, 처리는 단계 5.14로 복귀하며, 여기서 상기 매칭 오류가 y의 다음 값에 대해 결정된다. 만일 y가 그 최대값에 도달했다면, 처리는 단계 5.20으로 진행하고, 여기서 x는 그 최대값에 도달하지 않았다면 증가되고, 처리는 다시 단계 5.12로 진행한다. 만일 x가 그 최대값에 도달했다면, 처리는 단계 5.22로 진행하며, 여기서 카운터 n은 그 최대값에 도달하지 않았다면 단계 5.10에서 정의된 바와 같이 증가되며, 적절하다면 처리는 다시 단계 5.10으로 복귀한다. 만일 n이 그 최대값에 도달했다면 처리는 단계 5.24로 진행한다. 단계 5.10, 5.12 그리고 5.14의 내부 FOR 루프들의 효과는 매칭 오류(E(n,x,y))가 도 4에 도시된 탐색영역 내의 가능한 각 위치에 대해 결정된다는 것이다.
각 가능한 위치에 대해 매칭 오류(E(n,x,y))를 얻었다면, 단계 5.24에서 다음 단계는 상기 오류값이 최소인 n,x, 및 y의 값들을 찾는 것이다. 이것은 상기 최소 오류값들을 결정하기 위해 상기 저장된 매칭하는 오류값들을 정렬하고, 다음에 상기 최소값에 이르는 n,x, 및 y의 값들을 결정하는 다음 식에 의해 수행된다.
Figure 112005074180537-pct00005
이런 방법으로 일단 상기 최소 매칭 오류가 결정되었다면, 처리중인 현재 블 록(Bdeg(N,Px,Py))에 대한 매칭된 블록은 Bref(nm,xm,ym)이고, 이것은 그러면 상기 테스트 시퀀스 내에서 처리 중인 현재 블록에 대해 상기 기준 시퀀스 내의 매칭 블록이다.
상기 현재의 매칭 블록을 발견하였다면, 단계 5.26에서 상기 매칭된 블록(Bref(nm,xm,ym))은 현재 테스트 필드/프레임에 대응하는 매칭된 기준 어레이로 복사되며, 구체적으로는 블록(Bdeg(N,Px,Py))에 일치하는 위치를 갖는 상기 매칭된 기준 어레이 내의 블록으로 복사된다. 즉, 상기 기준 어레이로부터의 상기 매칭된 블록은 상기 탐색영역 어디로부터 그것이 얻어졌는지에 관계없이 테스트 중인 상기 현재 블록이 상기 현재 테스트 필드/프레임 내에 가지고 있는 것과 구성중인 상기 매칭된 기준 필드/프레임 내의 대응하는 블록으로 다음 식에 따라서 복사된다.
Mref(N,Px+j,Py+k)=ref(nm,xm+j,ym+k) j=0..bx-1,k=0..by-1
여기서 b는 상기 블록(bx 및 by)의 디멘존이다.
다음, 단계 5.28에서는 상기 현재 테스트 필드/프레임에서 다른 픽셀로 이동하도록 처리가 진행되며, 적절하다면, 여기서 다음 픽셀 블록은 상기한 바와 같이 처리된다. 상술한 바와 같은 상기 현재 테스트 필드/프레임 내의 모든 픽셀 블록의 처리 결과 상기 테스트 블록 각각에 대한 매칭 기준 블록이 발견되며, 상기 매칭 기준 블록을 상기 매칭된 기준 어레이로 복사하는 것은 상기 현재의 테스트 필드/프레임에 대해 매칭된 기준 필드/프레임이 생성되도록 한다. 이와 같이, 일단 모든 픽셀 블록이 적절히 처리되었다면(단계 5.28에서 정해진대로), 단계 5.30에서는 상기 새로 구성된 매칭된 기준 필드/프레임이 각각의 분석기(22 내지 28)에 각각에 의해 사용에 적합하도록 출력될 수 있다. 또한, 이 처리를 상기 테스트 시퀀스의 모든 필드/프레임에 대해 반복함으로써, 매칭된 필드/프레임의 시퀀스가 상기 분석기들에 의한 사용을 위해 구성될 수 있다.
생성된 블록을 상기 매칭된 기준 어레이에 복사하는 처리가 후속하는, 열화된 블록에 대한 최적의 매치를 탐색하는 상기 선행하는 매칭 처리는 상기 원하는 분석 범위의 전체에 대해 반복된다. 이 분석 범위는 다음 식들에 따라 블록 중심점 Px() 와 Py()에 의해 정해진다.
Px(h)=KX1 + KX2*h h=0..Qx-1
Py(v)=KY1 + KY2*v v=0..Qy-1
여기서 Qx 와 Qy는 수평 및 수직 분석 블록의 수를 정의하고, KX1 과 KY1은 상기 분석 블록의 초기 오프셋을 상부 좌측으로부터 각각 정의하며, KX2 와 KY2는 상기 분석 블록 시프트를 정의한다.
따라서 N번째 필드의 상기 매칭 분석은 식 (5-6)에 의해 설명되는 매칭된 기준 시퀀스와 식 (5-7)에 의한 한 세트의 최적 매치 오류 값을 생성한다.
BlockM Re f(N,Px(h),Py(v)) h=0..Qx-1 v=0..Qy-1
E(N,Px(h),Py(v)) h=0..Qx-1, v=0..Qy-1
한 세트의 오프셋 어레이들 MatT, MatX 및 MatY는 다음과 같이 정의될 수 있다.
Figure 112005074180537-pct00006
625 및 525 방송 시퀀스에 대한 상기 매칭 파라미터는 표1로 주어진다.
파라미터 625 525
Qx 87 87
Qy 33 28
KX1, KY1 12 12
KX2, KY2 8 8
Lx, Ly 4 4
bx, by 9 9
M1 4 4
M2 5 5
M 2871 2436
표 1: 매칭 처리를 위한 탐색 파라미터
식 (5-4)와 (5-5)에 의해 정해진 분석 범위는 완전한 필드 크기를 포괄하지 않는다. 따라서 MRef는 제한없이 다른 곳에서 사용될 수 있도록 식 (5-9)에 따라 초기화되어야 한다.
M Re f(x,y)=0 x=0..X-1 y=0..Y-1
그러나 상기 흐름도로 돌아가서, 상기 새로 구성된 개별 필드/프레임을 단계 5.30에서 상기 분석기들에 출력한 후, 다음에 상기 매칭모듈은 방금 수행된 상기 매칭 처리로부터 다수의 매칭 통계치와 다른 값들을 계산하기 위해 진행하고, 이들 매칭 통계치와 상기 다른 값들의 계산은 다음에 설명된다.
매칭 모듈(30)의 주된 기능은 비디오 품질 평가 시스템의 검출 모듈 내에서 사용할 매칭된 기준 시퀀스를 생성하는 것이며, 이 매칭된 기준 시퀀스의 생성은 위에서 기술되었다. 그러나, 상기 매칭 처리 내에서 유도된 일부 측정들 역시 최종 비디오 품질 값을 생성하는데 유용할 수 있다는 것도 발견되었다. 이와 같은 하나의 측정 - 상기 수평 매칭 통계치와 관련됨 - 이 이하에서 설명된다.
단계 5.32에서, 상기 매칭 처리로부터의 수평 매칭 통계치들은 상기 통합 처리에서 사용을 위해 계산된다. 이전에 상술한 바와 같이 결정된, 각 분석 블록을 위한 최적의 매치는 각 필드에 대한 막대 그래프(histX)를 다음 식에 따라 구성하는데 사용된다.
Figure 112005074180537-pct00007
여기서 어레이 histX 는 각 필드에 대해 0으로 초기화 된다. 그 다음 상기 막대 그래프는 다음 식에 따라 비율 fXPerCent를 결정하기 위해서 사용된다.
Figure 112005074180537-pct00008
각 필드에 대해, 상기 fXPerCent 비율은 상기 매칭 막대 그래프의 피크에 기 여하는 매칭된 블록의 비율(%)를 제공한다. 상기 fXPerCent 비율은, 설명되는 바와 같이 나중에 사용하기 위해, 매칭 모듈(30)으로부터 통합 모듈(4)로 출력된다.
다음, 단계 5.34에서는 매칭된 PSNR(MPSNR) 값이 매칭 모듈(30) 내에서 역시 계산된다. 여기서, 각 매칭된 블록에 대한 최소 오류(E())는 다음 식에 따라 매칭된 신호대잡음비를 계산하기 위해 사용된다.
Figure 112005074180537-pct00009
Figure 112005074180537-pct00010
상기 현재 필드/프레임에 대해 이와 같이 결정된 매칭된 PSNR은 다음에 나중에 사용하기 위해 통합 모듈(4)에 출력된다.
최종적으로, 단계 5.36에서는, 수평, 수직 및 지연 벡터가 생성되고 상기 휘도색차 피크 신호대잡음비 분석기(24)에 의해 나중 사용을 위해 다음 식에 따라 저장된다.
SyncT(h,v)=MatT(h,v)-N h=0..Qx-1, v=0..Qy-1
SyncX(h,v)=MatX(h,v)-Px(h) h=0..Qx-1, v=0..Qy-1
SyncY(h,v)=MatY(h,v)-Py(h) h=0..Qx-1, v=0..Qy-1
따라서 요약하면, 전술한 것으로부터, 상기 테스트 비디오 시퀀스의 각 필드/프레임에 대해, 매칭된 기준 필드/프레임이 상기 필드/프레임의 서브 필드/프레임을 상기 기준 비디오 시퀀스의 필드/프레임의 서브 요소들과 매칭함으로써 발견될 수 있다는 것과, 추가로 상기 매칭 처리로부터 유도된 매칭 통계치와 다른 값들이 역시 출력될 수 있으며, 이것들은 나중에 설명되는 바와 같이 통합 모듈(4)에서 사용된다는 것이 명백할 것이다.
또한, 위에서 우리는 색차(U 또는 V) 값 중 어느 하나의 휘도 값(Y)의 어느 하나에 대해서 1차원적인 매칭만을 설명했다. 그러나, 동일한 프로세스가 상기 컬러 공간의 성분들 각각에 대한 별도의 1차원 매칭된 시퀀스를 생성하기 위해 상기 Y,U, 및 V 픽셀 값들 각각에 별도로 적용된다는 것을 주목해야 한다. 이와 같이, 효과적으로, 도 5의 프로세스는 상기 Y픽셀 값, U 픽셀 값, 및 V 픽셀 값들 각각에 대해 별도로 반복된다.
대안의 실시예에서는, 물론, 단일 3차원 매칭 프로세스가 사용될 수 있지만, 현재는 상기 별도의 컬러 파라미터의 1차원 매칭이 상기 모든 매칭 프로세스를 위한 현재로서 바람직하고 테스트 된 기술이다. 물론 설명된 상기 매칭 기술은 당해 기술분야에서 자명한 약간의 수정만으로 YCbCr, 또는 RGB와 같은 다른 컬러 공간에도 적용될 수 있을 것이다.
또한 주목할 것은, 도 5의 상기 매칭 프로세스에서, 상기 현재 테스트 비디오 필드/프레임의 특정 서브 요소에 대한 탐색이 수행될 상기 기준 비디오 시퀀스 내에 상기 탐색 영역을 정의하기 위해 특정 파라미터들이 요구된다는 것이다. 더욱 구체적으로는, 현재 테스트 비디오 필드/프레임에 시간적으로 대응하는 기준 비디오 필드/프레임에 대해 기준 시퀀스에서 얼마나 많은 선행하는 그리고 후행하는 프레임들이 탐색될 것인지를 지정하는 시간 파라미터 M1 과 M2가 정의되어야 한다. 또한, 공간 파라미터 Lx 와 Ly 역시 탐색될 각각의 기준 비디오 필드/프레임 내 탐색 영역을 공간적으로 제한하기 위해 정의된다. 매칭 파라미터 Lx, Ly, M1, 및 M2의 정확한 값은 처리될 비디오 시퀀스의 특성에 따라 설정되어야 한다. 예를 들면, 발명자는 625(초당 720x576 인터레이스 50 필드)와 525(초당 720x486 인터레이스 60 필드) 방송 시퀀스에 대해 공간 파라미터 Lx 와 Ly는 4 픽셀이어야 하는 반면, 시간 파라미터 M1 과 M2는 각각 4와 5 필드로 설정되어야 한다. 또한 매칭 블록 사이즈는 9x9 픽셀이 역시 바람직하다.
도 2로 돌아가서, 시퀀스 매칭 모듈(30)로부터 출력된 매칭된 기준 시퀀스(34)는 공간 주파수 분석기(22), 휘도색차 피크 신호대잡음비 분석기(24), 및 에지 검출 분석기(26) 각각에 입력된다. 따라서, 이들 분석기 각각의 동작이 다음에 설명된다.
먼저 공간 주파수 분석기(22)를 참조하면, 도 6에 공간 주파수 분석기(22)의 내부 구성이 도시되어 있다. 여기서, 공간 주파수 분석기(22)는 테스트 비디오 필드/프레임을 입력으로 수신하도록 구성된 제 1 피라미드 변환 생성기를 내부에 포함하는 것을 알 수 있다. 또한 매칭된 기준 비디오 필드/프레임을 입력으로 수신하는 제 2 피라미드 변환 생성기(224)가 구비된다. 상기 2개의 피라미드 변환 생성기(222, 224)는 각각 동일하게 동작하여 각 입력 필드/프레임에 대한 피라미드 어레이를 생성하며, 이것은 다음에 각각의 대응하는 테스트 비디오 필드/프레임과 매칭된 기준 비디오 필드/프레임 사이에 피라미드 SNR 값을 생성하기 위해 피라미드 SNR 계산기(226)에 공급된다. 상기 피라미드 SNR을 생성하는 공간 주파수 분석기(22)의 동작을 도 7 내지 9를 참조하여 다음에 설명한다.
먼저 도 8을 참조하면, 도 8은 각각의 피라미드 어레이를 생성하는데 피라미드 변환 생성기(222 또는 224)의 어느 하나에 의해 수행되는 단계들을 도시하는 흐름도이다. 따라서, 먼저 단계 8.2 에서 상기 피라미드 변환 생성기는 각각의 시퀀스(즉 테스트 시퀀스 또는 매칭 모듈(30)로부터 출력된 매칭된 기준 시퀀스)로부터 입력 필드/프레임을 수신한다. 그 다음, 단계 8.4에서 카운터 stage가 0으로 초기화되고 상기 피라미드 어레이를 생성하기 위해 처리 루프가 개시된다. 상기 피라미드 어레이를 생성하기 위한 후속하는 일반적인 절차는 3 스테이지 2 단계 절차이며, 여기서 각 스테이지 0 내지 2에 대해 수평 분석이 수행된 다음 수직 분석이 이어진다. 수평 및 수직 분석의 어느 특정 스테이지에 포함된 단계들이 단계 8.6 내지 8.20에 관하여 다음에 설명된다.
일단 단계 8.4에서 개시된 처리 루프 내에서, 피라미드 처리의 특정 스테이지에 대해 단계 8.6에서 수행된 제 1 단계는 처리 중인 현재의 필드/프레임이 다음 식과 같이 temp 어레이로 복사되는 것이다.
PTemp(x,y)=P(x,y) x=0..X-1, y=0..Y-1
그 다음, 단계 8.8에서 수평 분석 한계가 상기 스테이지 파라미터의 현재 값의 함수로서 다음과 같이 계산된다.
Tx=X/2( stage +1)
Ty=Y/2 stage
다음, 수평 분석이 상기 계산된 한계 내에서 수행되고, 그리하여 임시 어레이의 수평 요소 쌍들의 평균 및 차이가 다음 식과 같이 상기 피라미드 어레이를 갱신하기 위해 사용될 수 있다.
P(x,y)=0.5*(PTemp(2x,y)+PTemp(2x+1,y)) x=0..Tx-1 y=0..Ty-1
P(x+Tx,y)=PTemp(2x,y)-PTemp(2x+1,y) x=0..Tx-1 y=0..Ty-1
그리고 단계 8.12에서 상기 입력 필드/프레임 값들에 상기 수평 분석의 결과들이 덮어 쓰여 진다.
그 다음 단계 8.14에서 개시되는, 현재 스테이지의 프로세싱에 대한 수직 분석이 실행되며, 입력 필드/프레임은 temp 어레이로 다시 복사된다. 그러나, 이때입력 필드/프레임 내의 값이 단계 8.12에서 수평 분석의 결과에 의해 덮어 쓰여지는 것을 주목해야 하고, 따라서 현재 스테이지의 수직 분석으로의 입력은 바로 이 전의 현재 스테이지의 수평 분석으로부터의 출력임을 알 수 있다.
그 다음, 단계 8.16에서 수직 분석 한계가 스테이지 값의 함수로서 다음 식에 의해 계산된다.
Tx=X/2 stage
Ty=Y/2( stage +1)
다음에 수직 분석이 상기 계산된 한계 내에서 다음 식에 따라 실행되고, 그리하여 단계 8.18에서 임시 어레이의 요소의 수직 쌍의 평균 및 차이가 다음 식에 따라 피라미드 어레이를 갱신하는데 사용된다.
Figure 112005074180537-pct00011
Figure 112005074180537-pct00012
단계 8.20에서 입력 필드/프레임은 입력 필드/프레임 어레이 내의 값이 공간 분석의 제 1 스테이지의 결과에 대응하도록 단계 8.18에서 실행된 수직 분석의 결과에 의해 덮어 쓰인다. 단계 8.22에서 피라미드 어레이를 생성하기 위한 공간 분석의 각 스테이지가 실행되는지의 여부를 판정하는 평가가 이루어지고, 프로세싱이 단계 8.4로 되돌아가지 않는다면, stage 값은 증가되고, 단계 8.6 내지 8.20는 다시 한번 반복된다. 각 스테이지에서의 수평 및 수직 분석의 각 단계에 대해, 프로세싱이 각 스테이지를 거쳐 한 단계씩 진행할 때, 입력 필드/프레임 어레이 내에 유지된 값이 각 레벨이 4개의 쿼드란트를 갖는 피라미드 구조로 전환되도록, 입력 필드/프레임 어레이 내의 값은 계산된 수직 및 수평 한계에 의해 덮어 쓰이는 것을 유의해야 한다. 따라서, 각 스테이지 0 ~ 2가 완료되는 시점에, 단계 8.22의 평가는 프로세싱 루프를 종료시키고, 단계 8.24에서 출력될 수 있는 피라미드 어레이가 구성된다.
각 프로세싱 스테이지의 끝에서 구성된 피라미드 어레이의 포맷은 도 7에 도시된다. 더욱 상세하게는, 도 7(a)는 스테이지 0 프로세싱의 끝 이후의 입력 필드/프레임 어레이의 콘텐츠를 도시하고, 수직 분석 단계를 뒤따르는 수평 분석 단계는 어레이가 4개의 쿼드란트 Q(stage, 0 ~ 3)로 분리시키며, 여기서 Q(0, 0)은 입력 필드/프레임의 4개 픽셀의 블록의 평균에 상응하는 값을 포함하고, Q(0, 1)은 입력 필드/프레임의 4개 픽셀의 수평 차이에 상응하는 값을 포함하며, Q(0, 2)는 4 픽셀의 블록의 수직 차이에 상응하는 값을 포함하고, Q(0, 3)은 4개 픽셀의 대각선 차이에 상응하는 값을 포함한다.
그 다음 도 7(a)에 도시된 것과 같은 스테이지 0 분석으로부터의 쿼드란트 Q(0, 0) 출력은 스테이지 1 프로세싱을 실행하기 위한 FOR 루프의 제 2 반복으로의 입력으로서 사용되고, 그 결과는 도 7(b)에 도시된다. 여기서 Q(0, 0)은 4 ×4 픽셀 블록의 분석에 관한 결과 Q(1, 0 ~ 3)에 의해 덮어 쓰여졌음을 알 수 있으나, 여기서 각 쿼드란트 Q(1, 0 ~ 3)은 스테이지 0 출력에 관하여 이전에 설명된 것과 같은 평균, 수평 차이, 수직 차이, 및 대각선 차이에 관한 값을 포함한다는 것을 알 수 있다.
도 7(b)에 도시된 것과 같은 스테이지 1 분석의 출력은 도 7(c)에 도시된 결과를 제공하기 위해 도 8의 FOR 루프의 세번째 반복에서 스테이지 2 분석으로의 입력으로서 사용되고, 여기서 쿼드란트 Q(1, 0)은 쿼드란트 Q(2, 0 ~ 3)에 의해 덮어 쓰여진 것을 알 수 있으며, 여기서 각각의 쿼드란트 Q(2, 0 ~ 3)은 각각 이전에 설명한 것과 같이 블록의 평균, 블록의 수평 차이 등과 관련된다. 3개의 스테이지 분석 이후에, 도 7(c)에 도시된 것과 같은 결과적인 피라미드 어레이는 스테이지 0(2 ×2 픽셀) 분석으로부터 3개의 블록 Q(0, 1 ~ 3), 스테이지 1(4 ×4 픽셀) 분석으로부터 3개의 쿼드란트 Q(1, 1 ~ 3), 및 스테이지 2(8 ×8 픽셀) 분석으로부터 4개의 쿼드란트 Q(2, 0 ~ 3)인 총 10개 블록의 결과를 갖는다. 도 7에 도시된 것과 같은 피라미드 어레이를 생성하는 도 8의 과정은 SNR 계산기(226)로 입력되는 각각의 피라미드 어레이 pref 및 pdge를 생성하기 위해 각각의 피라미드 변환 생성기(222, 224) 각각에 의해 실행되는 것을 유의해야 한다. 피라미드 SNR 계산기(226)의 동작은 도 9에 도시된다.
도 9를 참조하면, 먼저 단계 9.2에서 피라미드 SNR 계산기(226)는 각각 피라미드 변환 생성기(224, 222)로부터 기준 및 열화 피라미드 어레이를 수신한다. 그 다음, 단계 9.4에서 프로세싱 루프는 카운터 값 stage의 0 ~ 2 각 값을 처리하는 프로세싱 루프가 개시된다. 이것 다음에, 1 ~ 3의 값 사이에서 카운터 값 quadrant를 처리하는 두 번째, 내부 프로세싱 루프가 단계 9.6에서 개시된다. 단계 9.8에서 이들 내부 프로세싱 루프 내에서, 제곱 오류(squared error) 측정값 E(stage, quadrant)는 이하에 따라 기준 및 피라미드 어레이 사이에서 계산된다.
Figure 112005074180537-pct00013
여기서, x1, x2, y1 및 y2는 피라미드 어레이 내의 쿼드란트의 수평 및 수직 한계를 정의하고 다음 식에 따라서 계산된다.
Figure 112005074180537-pct00014
Figure 112005074180537-pct00015
Figure 112005074180537-pct00016
그 다음 각 계산된 오류 측정 E(stage, quadrant)는 단계 9.10에서 저장되고, 다음 단계 9.12 및 9.14에서 quadrant 및 stage 카운터 값이 프로세싱 루프에 적합하게 업데이트 된다. 단계 9.4 내지 9.14 및 단계 9.6 내지 9.12의 프로세싱 루프의 동작은 카운터 stage 및 카운터 quadrant의 각 값에 대한 오류 측정값을 계산하는 것이다.
제곱 오류 측정값을 계산한 후, 단계 9.16에서 0 ~ 2의 카운터 stage의 모든 이용가능한 값을 처리하는 추가 프로세싱 루프가 개시되고, 다음에 단계 9.18에서 quadrant 카운터 1 ~ 3의 값을 처리하기 위한 내부 프로세싱 루프가 개시된다. 단계 9.20에서 이들 내부 프로세싱 루프 내에서 PSNR 측정 PySNR (stage, quadrant)는 이하에 따라 계산되고, 그 다음 단계 9.22에서 저장된다.
Figure 112005074180537-pct00017
단계 9.24 및 다음 단계 9.26에서, 내부 프로세싱 루프의 결과는 각 stage의 값 및 각 quadrant의 값에 대한 PSNR 측정을 계산 및 저장하는 것이 되도록, 카운터 stage 및 quadrant의 값은 프로세싱 루프에 적합하게 증가한다. 파라미터 stage가 0 ~ 2의 값을 취할 수 있고, 파라미터 quadrant가 1 ~ 3의 값을 취할 수 있다면, 총 9개의 PSNR 측정치가 피라미드 SNR 계산기(226)에 의해 생성되고, 이들 모두가 통합 스테이지(4)로 출력된다는 것을 알 수 있다.
지금부터 도 10 및 11과 관련된 에지 검출 분석기(26)의 동작이 설명될 것이다.
도 10은 에지 검출 분석기(26)의 내부 구성을 도시한다. 더욱 상세하게는, 에지 검출 분석기(26)는 비디오 필드/프레임을 수신 및 테스트하고, 그 내부의 에지를 검출하는 제 1 에지 검출기(262), 및 매칭 모듈(30)로부터 출력된 매칭된 기준 비디오 필드/프레임을 수신하고, 그 내부의 에지를 검출하는 제 2 에지 검출기(264)를 포함한다. 에지 검출기(262, 264) 양자는 바람직하게는 알려진 에지 검출 알고리듬에 따라 동작하고 기술분야에서 이미 알려진 방식으로 에지 맵을 생성한다. 예컨대, 알려진 에지 검출 알고리듬의 예는 Laplacian 에지 검출기, Canny 에지 검출기, 및 Rothwell 에지 검출기이다. Canny 에지 검출기에 대한 C 프로그래밍 언어의 소스코드는 ftp://figment. csee . usf . edu /pub/Edge Comparison/source code/canny.src로부터, 반면 Rothwell 에지 검출기에 대한 C 프로그래밍 소스코드는 ftp://figment. csee . usf . edu /pub/Edge Comparison/source code/rothwell.src로부터 우선일 이전에 ftp를 통한 프리 다운로드를 통해 얻어질 수 있다.
에지 검출 분석기(262, 264)의 각각에 의해 생성된 각 에지 맵은 설명된 방식으로 각 에지 맵을 비교하기 위해 동작하는 블록 매칭 수단(266)으로 입력되고, 비교의 대표값인 출력 파라미터 EDif를 생성한다. 에지 분석기(26)의 동작은 도 11에서 더욱 상세히 나타난다.
도 11을 참조하면, 먼저 단계 11.2에서 각 에지 검출기(262, 264)는 각 기준 및 열화 에지 맵을 계산한다. 상기에서 설명한 바와 같이, 에지 검출기(262, 264)에 의해 사용된 에지 검출 알고리듬은 바람직하게는 Canny 에지 검출기와 같은 기술분야에서 알려진 것이다. 에지 검출기(262, 264)는 기준 및 열화 에지 맵을 블록 매칭 수단(266)으로 출력하고, 여기서 단계 11.4에서 각각 기준 및 열화 에지 맵은 N ×M 블록으로 분할된다. 그 다음, 블록 매칭 수단(266)은 기준 및 열화 에지 맵 양자의 각 블록 내의 에지의 일부를 형성하는 각 픽셀을 카운트하기 위해 동작한다. 따라서, 단계 11.6 이후에, 블록 매칭 수단(266)은 각각의 기준 및 열화 에지 맵의 각 블록에 대한 에지 픽셀의 카운트를 얻는다.
카운팅 단계 다음에, 단계 11.8에서 블록 매칭 수단(266)은 기준 및 열화 에지 맵의 대응하는 블록 사이의 각 픽셀 카운트의 차이를 계산한다. 그러므로, 단계 11.8 후에, 기준 또는 열화 에지 맵의 하나에 블록이 존재하는 만큼 많은 차이값들이 얻어질 것이다.
단계 11.8 다음에, 단계 11.10에서 블록 매칭 수단(266)은 각 차이값을 파워 Q에 대입하고(Q 제곱하고) 단계 11.12에서 결과값이 합산된다. 그러므로, 단계 11.10 이후에 기준 또는 열화 에지 맵의 하나에 블록이 존재하는 만큼의 많은 값들이 여전히 존재하나, 단계 11.12 이후에 단일 결과가 단계 11.10에서 계산된 값의 합계에 상응하여 얻어진다. 단계 11.14에서, 얻어진 합계 값은 파워 1/Q에 대입(1/Q 제곱)되고, 단계 11.16에서 이러한 계산의 결과는 EDif 파라미터로서 블록 매칭 수단(266)으로부터 출력된다. 도 2로부터 나타나는 것과 같이, EDif 파라미터는 에지 분석기(26)로부터 통합 스테이지(4)로 출력된다. 통합 스테이지 내의 EDif 파라미터의 사용은 이후에 설명될 것이다.
이는 11.6 내지 11.16의 에지 차이 단계에서 필드/프레임 에지로부터의 분석 오프셋을 고려하는 것은 어떤 상황에서 유용할 수 있고, 이 경우에 프로세싱은 이하와 같이 된다.
각 에지 맵을 생성한 이후에, 블록 매칭 수단은 각 분석 블록에서 에지-표시된 픽셀의 수의 측정을 계산하고, 여기서 nX 및 nY는 수평 및 수직 방향으로 분석될 겹쳐지지 않은 블록의 수를 정의하고 X1 및 Y1은 필드 에지로부터의 분석 오프셋을 정의한다.
Figure 112005074180537-pct00018
Figure 112005074180537-pct00019
합계 한계는 이하에 따라 결정된다.
Figure 112005074180537-pct00020
Figure 112005074180537-pct00021
여기서, "div" 연산자는 정수 나눗셈을 나타낸다.
그 다음, 전체 필드에 대한 차이의 측정이 이하에 따라 계산된다.
Figure 112005074180537-pct00022
625 방송 비디오에 대한 720 ×288 픽셀 필드에 대해:
Figure 112005074180537-pct00023
반면 525 방송 비디오에 대한 720 ×243 픽셀 필드에 대해:
Figure 112005074180537-pct00024
수학식 11-1 내지 11-7에 의해 표시된 상기 프로세싱은, 필드/프레임 에지로부터의 분석 오프셋이 고려되는 점에서 차이가 있지만, 도 11에 대해 이미 설명된 것과 실질적으로 일치하는 것을 유의해야 한다. 수학식 11-5에 의해 구해진 파라미터 EDif는 이전에 설명된 것과 동일한 방식으로 통합 스테이지(4)로 출력된다.
이제부터 도 12와 관련된 텍스처 분석기(28)의 동작이 설명될 것이다.
디지털 비디오 압축은 코딩 프로세스 내에서 사용된 DCT 계수의 양자화에 의한 이미지 내에서 텍스처 또는 상세를 감소시키는 경향이 있다. 그러므로 텍스처 분석은 이러한 압축에 대한 중요한 정보를 산출할 수 있고, 비디오 특징값 TextureDeg 및 TextureRef중 적어도 하나를 제공하기 위해 본 실시예 내에서 사용된다. 더욱 상세하게는, 텍스처 파라미터 값 TextureDeg 및 TextureRef중 적어도 하나는 수평 영상 라인을 따라서 강도 신호의 터닝 포인트의 개수를 기록함으로써 측정된다. 이는 도 12에 도시된 것과 같이 실행된다.
도 12를 참조하면, 먼저 단계 12.2에서 텍스처 분석기(28)는 처리되는 현재 테스트 필드/프레임을 수신한다. 도 2로부터 텍스처 분석기(28)는 크랍/오프셋 모듈(32)로부터 테스트 비디오 필드/프레임을 수신하나, 매칭된 기준 필드/프레임 또는 본래의 기준 필드/프레임 중의 어느 것도 수신하지 않는 것이 상기될 것이다. 그러나, 다른 실시예에서 텍스처 분석기(28)는 TextureRef 파라미터가 TextureDeg 파라미터에 관하여 이하에서 설명되는 동일한 방식으로 계산될 수 있는 매칭된 기준 필드/프레임 또는 본래의 기준 필드/프레임의 어느 하나를 수신할 수 있다.
단계 12.2 다음에, 단계 12.4에서 터닝 포인트 카운터 sum은 0으로 초기화된다. 그 다음, 단계 12.6에서 프로세싱 루프는 한계 루프 = 0 ~ Y-1 내에서 입력 비디오 필드/프레임 루프 내의 각 라인에 대해 개시되고, 여기서 Y는 비디오 필드/프레임 내의 라인의 개수이다. 프로세싱 루프 내에서, 단계 12.18에서 값 last_pos, 및 last_ neg 양자는 0으로 초기화된다. 그 다음, 단계 12.10에서 두 번째 내부 프로세싱 루프가 각 라인 y 내에서 각 픽셀 x을 처리하기 위해 개시되고, 여기서 x는 0 ~ X-2의 값을 취하고, 여기서 X는 입력 비디오 필드/프레임의 한 라인에서의 픽셀의 수이다.
상기 내부 프로세싱 루프 내에서, 단계 12.12에서 위치 x에서의 픽셀과 위치 x+1에서의 픽셀 사이에서 차이 값이 계산된다. 그 다음, 단계 12.14에서 상기 계산된 차이 값이 0보다 큰지의 여부, 또한 값 last_ neg가 값 last_ pos보다 큰 지의 여부에 관하여 판정하기 위해 평가가 실행된다. 이 논리적 조건이 충족되면, 카운터 값 sum은 증가된다. 단계 12.14 다음에, 단계 12.16에서 단계 12.12에서 계산된 차이 값이 0보다 작은지 여부, 및 값 last_ neg가 값 last_ pos보다 작은지 여부에 관하여 판정하기 위해 제 2 평가가 실행된다. 이것이 참인 경우, 카운터 값 sum은 증가된다. 단계 12.14 및 단계 12.16의 평가는 상호 배타적이고, 카운터 값 sum은 임의의 단일의 특정한 픽셀에 대해 두 번 증가되는 것이 불가능한 것임을 유의해야 한다. 단계 12.16 이후에, 단계 12.18에서 값 last_ pos가 현재 픽셀 x의 개수로 설정되는 경우 상기 계산된 차이 값이 0보다 큰지의 여부에 관하여 추가 평가가 판정된다. 선택적으로, 단계 12.20에서 카운터 값 last_ neg가 현재 픽셀 개수 x로 설정되는 경우, 상기 계산된 차이 값이 0보다 작은지의 여부에 관하여 평가하는 제 2 평가가 실행된다.
단계 12.20 다음에, 단계 12.22에서 현재 라인 내의 모든 픽셀 x가 처리되었는지 여부를 판정하기 위해 평가가 실행되고, 참이 아니라면 프로세싱은 다음 픽셀이 처리되는 단계 12.10으로 다시 진행한다. 그러나, 모든 픽셀이 처리되었다면, 프로세싱은 단계 12.24로 진행하고, 여기서 모든 라인 y가 현재의 입력 프레임내에서 처리되었는지 여부를 판정하기 위한 평가가 이루어지고, 참이 아니라면 단계 12.6으로 다시 진행하여 다음 라인의 프로세싱이 개시된다. 이들 내부 프로세싱 루프의 결과는 각 라인 상의 각 픽셀이 처리되는 것이고, 단계 12.14 및 단계 12.16의 평가가 참일 때마다, 카운터 sum은 증가된다. 그러므로, 프로세싱 루프가 완료된 이후에, 카운터 sum은 입력 필드/프레임 내의 텍스처 터닝 포인트를 나타내는 임의의 값을 포함할 것이다.
카운터 sum 내에 유지된 이 값을 사용하여, 단계 12.26에서 텍스처 파라미터가 카운터 sum에 유지된 값의 함수로서 다음과 같이 계산된다.
Figure 112005074180537-pct00025
이 같이 계산된 텍스처 파라미터는 단계 12.28에서 텍스처 분석기(28)로부터 통합 스테이지(4)로 출력될 수 있다.
상기한 바와 같이, 도 2는 열화 비디오 필드/프레임만을 수신하여, TextureDeg 파라미터 값만을 생성하는 텍스처 분석기(28)를 도시하였지만, 다른 실시예에서 텍스처 분석기(28)는 기존 비디오 필드/프레임 또는 매칭된 기준 비디오 필드/프레임 중 어느 하나를 추가로 수신할 수 있고, 여기서 상기 프로세싱 단계는 TextureRef 또는 TextureMref 파라미터를 추가로 생성하기 위해 이러한 필드/프레임에 적용될 수 있다.
휘도 색차 피크 신호대잡음비 분석기(24)의 동작이 이제부터 설명될 것이다.
도 2에 도시된 바와 같이, 휘도 색상 피크 신호대 잡음비(24)는 입력으로서 매칭된 기준 비디오 필드/프레임 및 열화 비디오 필드/프레임을 수신한다. 그 다음 이들은 강도 및 컬러 신호대잡음비 측정에서 다음과 같이 사용될 수 있고, 여기서 RefY 및 DegY는 매칭된 기준 및 열화 강도의 필드이고, RefU, DegU, RefV 및 DegV는 YUV 표준 컬러 포맷에 따른 색상의 필드이다.
Figure 112005074180537-pct00026
Figure 112005074180537-pct00027
Figure 112005074180537-pct00028
물론 RGB와 YCbCr과 같은 YUV 컬러 모델을 사용하지 않는 본 발명의 다른 실시예에서, 유사한 대응 측정이 계산될 수 있다는 것은 당업자에게 명확할 것이다.
또한, 휘도 색차 피크 신호대잡음비 모듈(24)은 매칭 모듈(30)에서 생성된 매칭 벡터의 세트를 사용하여 세그먼트 PSNR 측정 SegVPSNR을 생성하며, 이것은 YUV 컬러 모델이 사용될 때 픽셀의 V값에 관련시킨다. 보다 구체적으로는, 매칭된 신호대잡음비가 상기 식 5-14 내지 5-16에서 정의된 매칭 벡터를 사용하여 상기 픽셀의 V 값에 대해 계산된다. 매칭 벡터의 각 세트에 대해, 오류 측정 VE가 다음식에 따라 계산되고;
Figure 112005074180537-pct00029
그런 다음, 세그먼트 PSNR 측정은 다음 식에 따라 필드에 대해 계산된다.
Figure 112005074180537-pct00030
세그먼트 PSNR 측정 SegVPSNR은 후술될 나중 사용을 위해 통합 모듈(4)로 출력된다.
도 1을 다시 참조하면, 검출기 모듈(2) 내의 매칭 모듈과 분석기로부터의 여러 출력은 통합 스테이지(4)로 제공되며, 여기서 상기 여러 값들이 함께 통합되어 비디오 품질값(10)을 제공한다. 상기 통합 스테이지(4)의 동작이 도 13을 고려하여 하기에 기술될 것이다.
일반적으로, 통합 스테이지의 동작은 분석기(22-28)에 의해 생성된 비디오 특징 파라미터 값의 선택에 적절한 가중치를 부여함으로써 테스트 비디오 시퀀스의 인지된 비디오 품질의 예측을 생성하는 것이다. 사용된 파라미터 값의 특정 세트와 대응하는 가중 인자의 값은 테스트 비디오의 특정한 유형에 의존하고, 선행한 교정(calibration)에 의해 미리 결정된다. 상기 교정은 주관적인 점수(subjective score)를 알고 바람직하게는 테스트 열화 시퀀스와 유사한 특성을 가진 큰 세트의 비디오 시퀀스에 대해 수행된다. 상기 통합 과정의 일반적인 형태는 먼저 필드/프레임 검출 파라미터에 의해 필드/프레임에 시간 가중치를 부여하고, 그런 다음, 시간 가중치를 준 평균화된 값을 합쳐서 전체 비디오 품질 값인 예상되는 품질 점수를 제공한다. 이것을 달성하기 위한 프로세스가 도 13에 기술되어 있다.
먼저, 상기 통합 스테이지(4)는 단계(13.2)에서 여러 검출기와 분석기로부터의 출력된 파라미터 값을 수신하고 그것들을 저장한다. 상술한 바와 같이, 매칭 모듈(30)은 여러 PerCent와 MPSNR값을 출력하고, 공간 주파수 분석기(22)는 PySNR 값을 출력하며, 한편 휘도 색차 피크 신호대잡음비 분석기(24)는 매칭 벡터로부터 계산된 SegVPSNR 값 뿐만 아니라, 사용되는 컬러 모델에서의 휘도와 색차 특성 각각에 대한 PSNR 값을 출력한다. 또한, 에지 분석기(26)는 앞서 기술한 바와 같이 EDif 파라미터를 출력하는 반면, 텍스처분석기(28)는 최소한 상기 값들 TextureDeg을 줄뿐 아니라, 또한 적절하다면 값 TextureRef와 TextureMref을 출력한다. 특정 테스트 비디오 필드/프레임에 관하여 보다 선행한 스테이지 각각에 의해 어떠한 파라미터와 값들이 출력된다고 하더라도, 통합 스테이지는 출력 정보를 수신하고 그것을 저장한다.
다음으로, 단계(13.4)에서, 통합 스테이지는 비디오 유형을 선택하고, 그 결과로써, 상기 비디오 유형에 따라 한 세트의 통합 파라미터를 선택한다. 예를 들면, 초당 1 Mbit와 초당 5Mbit 사이에서 MPEG 인코딩 한, 필드당 720x288 픽셀의 방송 비디오에 대한 한 세트의 통합 파라미터가 하기에 주어진다.
K 파라미터 명칭 W
0 TextureDeg -0.68
1 PySNR(3,3) -0.57
2 EDif +58913.294
3 fXPerCent -0.208
4 MPSNR -0.928
5 SegVPSNR -1.529
Offset +176.486
mnk 1.0
N 400
표2 625 방송 비디오에 대한 통합 파라미터
반면 525 라인 비디오에 대한 가중치 값은:
K 파라미터 명칭 W
0 TextureDeg +0.043
1 PySNR(3,3) -2.118
2 EDif +60865.164
3 FXPerCent -0.361
4 MPSNR +1.104
5 SegVPSNR -1.264
Offset +260.773
mnk 1.0
N 480
표 3 525 방송용 비디오에 대한 통합 파라미터
여러 가중 인자의 정확한 값은 상술한 바와 같이, 교정에 의해 미리 결정된다. 또한, 통합 파라미터의 각 세트는 통합 스테이지(4) 내에서 검색테이블(look-up table)에 저장된다.
비디오 유형을 선택하고, 저장된 검색 테이블로부터 통합 파라미터를 설정한 후, 단계 13.6에서 값 0 ~ K-1 내의 각 통합 파라미터 유형 k를 처리하기 위해 처리 루프가 시작되고, 여기서, 각 파라미터(k)는 여러 분석기 또는 매칭 모듈로부터 수신된 파라미터 중 특정한 하나이다. 상기 처리 루프 내에서, 단계(13.8)에서, 먼저 시간 가중치를 준 파라미터 값들의 평균 AvD(k)가 다음 식에 따라서 계산된다.
Figure 112005074180537-pct00031
여기서, N은 필드의 수이고, D(k, n)는 'k번째 검출 파라미터의 n번째 필드이고, mnk는 가중 인자이다. 다음으로, 단계(13.10)에서, 시간 가중치를 준 평균 값 AvD(k)에 적절한 가중 인자 w(k)를 곱하고, 그 결과를 저장한다. 상기 적절한 가중 인자 w(k)는 통합 스테이지(4)에 저장된 비디오 유형에 대해 적절한 검색테이블로부터 판독된다.
단계(13.12)에서, 모든 통합 파라미터(k)가 처리되었는지 여부를 판정하기 위해 평가가 수행되고, 처리되지 않았으면, 모든 파라미터가 처리될 때까지 단계(13.6)의 처리루프가 다시 수행된다. 모든 파라미터가 처리되면, 적절하게 가중치를 준 시간 가중된 평균값이 파라미터 k의 각 유형에 대해 가용할 것이고, 이것은 다음과 같이 단계(13.14)에서 오프셋 값과 함께 합산될 것이다.
Figure 112005074180537-pct00032
여기서, K는 통합에서 사용된 파라미터의 수와 같고, 표 2와 3에 표시한 예에서는 6이다. 이것은 마지막 비디오 품질 값 PDMOS를 주고, 이것은 단계(13.16)에서 출력된다.
출력 비디오 품질 값 PDMOS는 인간 평가자에 의해 지각적으로 거의 검출될 수 없는 테스트 비디오 신호에서의 왜곡과 오류를 고려하여 만들어진 점에서, 인간 평가자에 의한 주관적 테스트로 생성된 등급과 같다. 따라서, 이러한 속성을 고려하면, 상기 비디오 품질 값은 여러 가지로 이용될 수 있다. 특히, 품질이 적합한 것을 보장하기 위해 기존의 비디오 서비스의 품질을 평가하는 데에 사용되거나, 또는 다른 비디오 코덱의 성능을 테스트하는 데에 사용될 수 있다. 또한, 상기 비디 오 품질 값은 인터넷을 통한 광대역 스타일의 비디오 서비스와 같은 새로운 비디오 서비스의 성능을 평가하는 데에 사용될 수 있다. 이러한 관점에서, 본 발명의 실시예에 의해 생성되는 비디오 품질 레벨 PDMOS는 종래 기술에 의해 만들어진 자동화된 품질 평가치와 유사하게 이용될 수 있으나, 상기 값이 지각적으로 의미없는 왜곡을 고려하기 때문에 그 이전의 종래 기술의 자동화된 비디오 품질 평가 기술에 의한 것보다 보다 주관적인 테스트를 하는 동안 인간 평가자에 의해 생성된 비디오 화질 값을 나타낼 가능성이 더 크다는 차이가 있다.
도 14는 소프트웨어로 구현된 본 발명의 제 2 실시예를 도시한다. 여기서, 본 발명이 제공하는 여러 프로세스들이 컴퓨터(140)에 의해 실행되며, 이것은 기준 비디오 시퀀스 및 테스트 비디오 시퀀스 모두를 수신하도록 구성된다. 상기 컴퓨터(140)에는 하드디스크 드라이브, 기록가능 CD 또는 DVD, 메모리 등과 같은 프로그램 저장 장치가 제공되며, 여기에는 상기 컴퓨터(140)에 의해 실행될 때, 컴퓨터가 본 발명을 실행하도록 하는 명령어들을 포함하고 있는 여러 컴퓨터 프로그램이 저장된다. 보다 구체적으로는, 동작시에 컴퓨터 사용자가 본 발명에 의한 테스트및 기준 비디오 시퀀스 처리를 시작하고, 테스트 결과를 사용자 스크린에 출력하도록 컴퓨터를 제어하도록 하는 제어 및 인터페이스 프로그램(148)이 제공된다. 그러한 제어 및 인터페이스 프로그램은 바람직하게는 그래픽기반이며, 그러한 프로그램의 구성은 당업자에게 명확하다.
또한, 통합기(integrator) 프로그램(144), 제어 및 인터페이스 프로그램(148), 텍스처 분석기 프로그램(150), 매칭 프로그램(152), 크라핑(cropping) 프로 그램(154), 공간 주파수 분석 프로그램(156), 신호대 잡음비 계산 프로그램(158), 및 에지 분석기 프로그램(160)이 제공된다. 이 프로그램들의 각 동작은 예로든 동작 상황에서 하기에 간략하게 기술될 것이다.
범용 컴퓨터(140)의 사용자가 비디오 시퀀스를 테스트하기를 원한다고 상상해보자. 상기 사용자는 먼저 제어 및 인터페이스 프로그램(148)을 시작하며, 이것은 처리될 테스트 및 기준 비디오 시퀀스를 지정할 수 있도록 사용자에게 제어수단을 제공한다. 사용자가 제어 및 인터페이스 프로그램(148)을 통해 컴퓨터(140)에게 처리를 시작하도록 지시하면, 상기 제어 및 인터페이스 프로그램(148)은 다른 여러 프로그램들을 실행시키고 적절하게 데이터를 처리하도록 함으로써 상기 컴퓨터(140)가 처리를 시작하도록 한다. 그러므로 사용자로부터 처리를 시작하도록 명령을 수신하면, 제어 및 인터페이스 프로그램(148)은 먼저 상기 크라핑 프로그램(154)이 실행되도록 하고, 이것은 이미 상기 크랍 및 오프셋 모듈(32)에서 기술된 것과 정확히 동일한 방식으로 입력 기준 및 테스트 비디오 시퀀스를 잘라내도록 동작한다. 즉, 상기 크라핑 프로그램(145)은 도 3에서 미리 기술한 것과 동일한 방식으로 입력 비디오 시퀀스를 잘라낸다. 상기 잘라낸 비디오 시퀀스는 그런 다음 데이터 저장 장치(142)의 작업 데이터 영역(146)에 저장된다.
입력 비디오 시퀀스의 크라핑 다음으로, 제어 및 인터페이스 프로그램(148)은 매칭 프로그램(152)이 실행되도록한다. 매칭 프로그램(152)은 저장장치(142)의 작업 데이터 부분에서 크랍된 기준 및 테스트 비디오 시퀀스를 액세스하고, 도 4와 5에서 이미 기술한 시퀀스 매칭 모듈(30)과 정확하게 동일한 방식으로 시퀀스 매칭 을 실시한다. 즉, 상기 매칭 프로그램(152)은 도 5의 흐름도에 따라 동작하여 매칭된 기준 시퀀스를 생성하고, 이것은 데이터 저장 장치(142)의 작업 데이터 부분(146) 내에 저장된다.
상기 매칭된 기준 시퀀스를 생성하면, 제어 및 인터페이스 프로그램(148)은 공간 주파수 분석 프로그램(156)을 시작하고, 이것은 미리 기술된 공간 주파수 분석기(22)와 정확하게 동일한 방식으로 상기 매칭된 기준 필드/프레임 및 테스트 필드/프레임에 대한 공간 주파수를 분석하고, 따라서 상기 공간 주파수 분석 프로그램(156)은 PySNR 비디오 특성값을 생성하기 위해 도 8 및 9 모두의 흐름도를 실시하고, 상기 비디오 특성값은 저장장치(142)의 작업 데이터 부분(148)에 저장된다.
다음으로, 제어 및 인터페이스 프로그램(148)은 신호대 잡음비 계산 프로그램(158)을 시작하고, 이것은 테스트 비디오 필드/프레임과 작업 데이터 부분(146) 내의 매칭된 기준 비디오 필드/프레임을 액세스하고, 이전에 기술된 방식으로 휘도 색차 신호대잡음비를 계산한다. 즉, 상기 신호대잡음비 계산 프로그램(158)은 미리 기술한 휘도 색차 피크 신호대잡음비 분석기(24)와 동일한 방식으로 동작한다. 상기 신호대잡음비 계산 프로그램(158)에 의해 계산된 결과의 휘도 색차 신호대잡음비는 저장장치의 작업 데이터 영역(146)에 저장된다.
다음으로, 제어 및 인터페이스 프로그램(148)은 텍스처 분석기 프로그램(150)을 시작한다. 상기 텍스처 분석기 프로그램(150)은 작업 데이터 영역(146)으로부터의 테스트 비디오 필드/프레임에 액세스하고, 상기 텍스처 분석기(28)에 관해 미리 기술된 것과 동일한 방식으로 TextureDeg 파라미터를 계산하도록 동작한 다. 그러므로 상기 텍스처 분석기 프로그램(150)은 도 12의 흐름도에 따라 동작한다. 필요하다면, 상기 텍스처 분석기 프로그램은 또한 동일한 방식으로 TextureRef와 TextureMref 파라미터를 추가로 계산한다.
텍스처 분석기 프로그램(150)의 동작에 이어서, 제어 및 인터페이스 프로그램(148)은 에지 분석기 프로그램(160)을 시작한다. 상기 에지 분석기 프로그램은 테스트 비디오 필드/프레임 뿐만 아니라, 저장장치(142)의 작업 데이터 영역(146) 내의 상기 매칭된 기준 필드/프레임에 액세스하도록 동작한다. 그런 다음, 상기 에지 분석기 프로그램(160)은 에지 분석기(26)에 관해 미리 기술된 것과 동일하게 동작하는데, 즉, 상기 에지 분석기 프로그램(160)은 도 11의 흐름도에 기술된 단계들을 실시한다. 상기 에지 분석기 프로그램의 출력은 EDif 파라미터이며, 이것은 작업 영역(146)에 저장된다.
제 2 실시예의 동작의 이 스테이지에서, 각 분석기 프로그램이 실행되고, 따라서 작업 영역(146)은 통합기에 대한 입력으로 사용될 수 있는 모든 비디오 특성 파라미터 값을 포함한다. 따라서, 다음의 동작은 제어 및 인터페이스 프로그램(148)이 통합기 프로그램(144)을 시작하는 것이고, 이것은 적절하게 특성 파라미터 값을 그로부터 판독하기 위해 작업영역(146)에 액세스하고, 최종 비디오 품질 값 PDMOS를 생성하기 위해 상기 파라미터들을 통합한다. 상기 통합기 프로그램(144)의 동작은 이미 기술한 통합기 스테이지(4)의 것과 거의 동일하다. 그러므로 상기 통합기 프로그램(144)은 대체로 이미 기술된 도 13의 흐름도에 따라서 동작한다.
따라서 본 발명의 제 2 실시예는 제 1 실시예에서 이미 기술한 것과 거의 동 일한 방식으로 비디오 품질 값을 생성하도록 동작하는 소프트웨어 구현을 제공한다. 그러나 기술된 제 1 실시예는 소프트웨어로, 또는 하드웨어 요소로, 또는 소프트웨어와 하드웨어의 혼용으로 구현될 수 있음에 유의하라. 이를 고려하면, 제 1 실시예는 제 2 실시예에 비해 보다 일반적인 실시예이다.
추가적인 실시예를 제공하기 위해 여러 다른 변형이 기술된 실시예들에 추가로 만들어질 수 있다. 예를 들면, 추가적인 실시예에서 상기 매칭 프로세스가 다른 블록 크키를 사용하여 실시될 수 있다. 특히, 하나 이상의 열화 블록의 매칭을 위해 일부 픽셀들이 고려되면, 재구성 블록 크기보다 더 큰 오류 최소화 블록크기는 오버래핑 윈도에 대한 오류 최소화를 제공한다. 그러한 프로세스 내에서, 상기 매칭 모듈은 테스트 비디오 필드/프레임을 미리 기술한 것과 같은 동일한 블록 수로 나누지만, 매칭될 블록의 픽셀들을 완전히 수용하는 매칭 요소를 정의할 것이며, 그러나 상기 매칭 요소는 매칭될 블록의 주변의 픽셀 역시 추가로 수용한다. 이 매칭 요소는 매칭될 블록에 대한 기준 시퀀스 내의 매칭 블록을 찾아내기 위해 오류 최소화 함수에서 사용될 것이다. 이것은 매칭의 정확성을 증가시키는 이점을 준다.
상술한 본 발명에서 사용된 매칭 프로세스는 일관되고 일정한 필드 오정렬 로부터 비틀림 및 더 많은 과도기 블록기반 열화까지 다수의 다른 유형의 왜곡의 영향을 극복할 수 있다. 여러 왜곡에 대한 PSNR의 감도와 매칭된 PSNR의 측정값 사이의 차이가 매칭 프로세스의 이점을 설명하기 위해 제시되어있다. 제시된 모든 결과는 휘도의 강도 픽셀 값에 대한 것뿐이다.
단 하나의 픽셀에 의한 공간적인 오정렬 인공물, 기준 및 열화 필드 사이의 공간적인 오정렬을 먼저 취급하는 것은, 평가자에게는 감지될 수 없지만 SNR 측정상에 중대한 영향을 줄 수 있다. 본 발명에 의해 제공된 매칭 프로세스는 상기 알고리즘 내에 설정된 지각에 기반한 탐색 한계까지 일관성있고 시변하는 공간적 오프셋 모두를 처리할 수 있다.
도 15는 3Mb/s로 MPEG2 인코딩된 625 시퀀스와, 공간적으로(그리고 시간적으로) 정렬된 기준 및 열화 시퀀스로부터 계산된 PSNR 결과를 보여준다. 상기 PSNR 플롯은 다음식에 따라 각 기준 및 열화 필드 사이에서 계산된 기본 PSNR을 도시한다.
Figure 112005074180537-pct00033
여기서, X와 Y는 필드 픽셀 디멘존이다.
상기 MPSNR 플롯은 상기 매칭된 기준 시퀀스가 SNR 모듈로의 입력으로서 기준 시퀀스를 대체할 때의 결과를 나타낸다. 이 경우, 근접한 정렬이 PSNR과 MPSNR 결과들 사이에 나타날 수 있다. 도 16은 열화 시퀀스에 대한 2 픽셀의 수평 오프셋의 효과를 나타낸다. PSNR이 7dB까지 감소된 반면, MPSNR은 변하지 않았음을 볼 수 있다.
도 17은 동일한 테스트 시퀀스에 대해 +/-4 픽셀들 사이의 랜덤한 수평 필드 지터의 효과를 도시한다. 다시, 상기 매칭된 PSNR은 상기 공간적인 지터에 의해 영향을 받지 않지만, 일반적인 PSNR은 매우 많이 변화했음을 볼 수 있다.
시간적인 오정렬을 고려하면, 상기 기준 및 열화 시퀀스의 시간상의 오정렬역시 SNR 측정에 중대한 영향을 줄 수 있다. 이 경우, 영향의 정도는 상기 비디오 시퀀스의 시간에 따라 변하는 특성에 달려있다. 공간적인 오정렬을 고려하면, 상기 매칭 프로세스는 상기 알고리듬의 지각에 기반한 탐색 한계 내에서 일정한 오프셋과 시간에 따라 변하는 시간상의 오프셋 모두를 조정할 수 있다.
본 발명에 의해 제공되는 매칭 프로세스의 이점의 흥미로운 예가 도 18에 도시되어 있는데, 여기서 625 방송 시퀀스는 CIF 해상도로 H.263 인코딩되어, 그 결과 연속적인 열화 필드들이 동일하다. 상기 PSNR 플롯은 감소된 해상도 인코딩에 따른 교호 필드에 대해 매우 많이 감소된 값을 나타내는 반면에, MPSNR은 영향을 받지 않는다.
상기 매칭 프로세스는 또한 불규칙한 시간상의 오정렬을 처리할 수 있고, 도 19는 필드의 랜덤한 고정(freezing)에 대하여 이를 도시한다. 이 예에서, 각 필드는 10%의 고정(시간상 다음 필드를 대체하는)되는 기회를 갖는다.
마지막으로, 블록레벨의 왜곡에 관련하여, 본 발명의 매칭 프로세스는 지금까지 고려된 필드 기반의 공간 및 시간의 오정렬보다 훨씬 복잡한 왜곡을 처리하도록 설계된다. 상기 필드의 전체 크기에 비해 작은 블록의 매칭은 이미지의 비틀어짐, 분실된 선, 및 블록 고정과 같은 왜곡으로 인한 원하지 않는 영향을 감소시킬수 있다.
도 20은 PSNR과 MPSNR에 대해 "블록 고정"이 가지는 영향을 도시한다. 상기 "블록 고정" 시뮬레이션은 갱신될 필드 내에서 8x8 픽셀 블록의 85%만을 랜덤하게 선택하고, 이 예에서 상기 프로세스는 25번째 필드 이후까지 시작하지 않았다. 테스트들이 지각할 수 없는 왜곡을 보여주었지만, PSNR은 상당히 감소된다는 것을 볼 수 있다. 그러나, 매칭 프로세스가 상기 고정된 블록을 추적할 수 있기 때문에, MPSNR은 거의 영향을 받지 않는다.
문맥상 명확하게 필요하지 않으면, 명세서와 청구범위 전체에 걸쳐, "포함하다(comprise)", "포함하는(comprising)" 등의 단어는 배제 또는 포함하고 있지 않다는 의미에 반대되는 것으로서 포함한다는 의미로, 즉, "포함하지만 그에 한정되지 않는다"는 의미로 해석되어야한다.
또한, 의구심을 해소하기 위해, 장래의 독자, 즉 당업자에 의해 본발명의 실시예 또는 동작을 이해시키기 위한 필요로 인해 참고문서가 종래기술 문서 또는 설명서로 주어지고, 그 내용이 전체 또는 일부로 상기 참고문서에 의해 본문에 통합되어있다.

Claims (35)

  1. 비디오 품질 평가 방법에 있어서,
    테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 하나 이상의 기준 비디오 필드/프레임의 대응하는 서브 필드/프레임 요소들과 매칭하는 단계,
    상기 테스트 비디오 필드/프레임에 대하여, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소와 매칭하는, 상기 하나 이상의 기준 비디오 필드/프레임 중의 서브 필드/프레임 요소를 포함하는 매칭된 기준 비디오 필드/프레임을 생성하는 단계,
    상기 매칭된 기준 비디오 필드/프레임에 하나 이상의 매칭 서브 필드/프레임 요소를 위치시켜, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소의 하나 이상과 상기 하나 이상의 기준 비디오 필드/프레임의 하나 이상의 매칭 서브 필드/프레임 요소 사이의 오정렬을 보상하는 단계, 및
    상기 테스트 비디오 필드/프레임과 매칭된 기준 비디오 필드/프레임의 매칭 서브 필드/프레임 요소들에 따라 비디오 품질 값을 생성하는 단계를 포함하고,
    이로써 기준 시퀀스와 테스트 시퀀스 사이의 서브 필드/프레임 요소의 오정렬의 역효과를 감소시키는 것을 특징으로 하는 비디오 품질 평가 방법.
  2. 제 1 항에 있어서,
    상기 매칭하는 단계는, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소에 대해, 상기 테스트 비디오 필드/프레임에 시간적으로 대응하는 기준 비디오 필드/프레임에 대하여 정수 M1만큼 선행하는 기준 비디오 필드/프레임 및 정수 M2만큼 후행하는 기준 비디오 필드/프레임 중 적어도 하나에서 매칭 서브 필드/프레임 요소를 탐색하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  3. 제 2 항에 있어서,
    M1 및 M2는 미리 정해지는 것을 특징으로 하는 비디오 품질 평가 방법.
  4. 제 2 항 또는 제 3 항 중 어느 한 항에 있어서,
    상기 탐색하는 단계는, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소가 상기 테스트 비디오 필드/프레임 내에서 차지하는 위치에 대응하는 상기 기준 비디오 필드/프레임 내의 위치 근방에서의, 상기 기준 비디오 필드/프레임의 공간적으로 제한된 범위 내에서 탐색하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  5. 제 4 항에 있어서,
    상기 탐색 범위의 공간적 크기는 미리 정해지는 것을 특징으로 하는 비디오 품질 평가 방법.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 매칭하는 단계는, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소에 대해,
    상기 서브 필드/프레임 요소를 포함하는 상기 테스트 비디오 필드/프레임의 부분을 구비하는 매칭 템플릿(matching template)을 정의하는 단계와,
    상기 정의된 매칭 템플릿을 사용하여, 상기 하나 이상의 기준 비디오 필드/프레임에서 매칭 서브 필드/프레임 요소를 탐색하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 매칭하는 단계는 하나 이상의 매칭 통계치 및 매칭 벡터 중 적어도 하나를 계산하는 단계를 추가로 포함하고,
    상기 생성하는 단계는 계산된 매칭 통계치 및 매칭 벡터 중 적어도 하나에 추가로 종속하여 상기 비디오 품질 파라미터를 생성하는 것을 특징으로 하는 비디오 품질 평가 방법.
  8. 제 7 항에 있어서,
    상기 계산하는 단계는,
    상기 기준 비디오 필드/프레임의 탐색된 영역에 관련된 하나 이상의 막대그래프(histogram)를 그리는 단계와,
    상기 막대그래프의 피크(peak)에 기여하는 매칭된 요소들의 비율에 관련된 각 막대그래프의 매칭 통계치를 계산하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  9. 제 8 항에 있어서,
    상기 생성하는 단계는,
    상기 테스트 및 기준 비디오 필드/프레임의 상기 매칭된 서브 필드/프레임 요소들에 따라 상기 테스트 및 기준 비디오 필드/프레임 중 적어도 하나의 특성에 각각 관련된 복수의 비디오 특성값을 계산하는 단계와,
    적어도 상기 비디오 특성값을 함께 적분하여 상기 비디오 품질 값을 제공하는 단계를 추가로 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  10. 제 9 항에 있어서,
    상기 적분을 실시하는 단계는 상기 매칭 통계치와 상기 계산된 비디오 특성값을 적분하여 상기 비디오 품질 값을 제공하는 단계를 추가로 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  11. 제 9 항에 있어서,
    상기 비디오 특성값은 각각, 하나 이상의 공간 주파수 값; 하나 이상의 텍스처 값; 하나 이상의 에지 값; 하나 이상의 휘도(luminance) 신호대잡음비 값; 및 하나 이상의 색차(chrominance) 신호대비잡음비 값 중 적어도 하나의 2개 이상의 값인 것을 특징으로 하는 비디오 품질 평가 방법.
  12. 제 11 항에 있어서,
    상기 에지 값을 계산하는 단계는, 테스트 비디오 필드/프레임에 대해,
    상기 테스트 비디오 필드/프레임의 각 서브 필드/프레임 요소의 에지의 수를 계수하는 단계,
    상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들에 매칭된 상기 하나 이상의 기준 비디오 필드/프레임의 각 서브 필드/프레임 요소 내의 에지의 수를 계수하는 단계, 및
    상기 각각의 계수 값에 따라 상기 테스트 비디오 필드/프레임에 대한 에지 값을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  13. 제 12 항에 있어서,
    상기 결정하는 단계는,
    각 계수 값들의 각각의 쌍 사이에 차이 값을 계산하는 단계,
    계산된 각 차이 값을 Q 제곱하는 단계,
    결과 값을 합산하여 합계 값을 제공하는 단계, 및
    상기 합계 값을 1/Q 제곱하여 상기 에지 값을 제공하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  14. 제 9 항에 있어서,
    상기 적분을 실시하는 단계는 미리 결정된 가중 인자에 의해 각각의 값에 가중치를 부여하는(weighting) 단계와,
    상기 가중치 부여된 값을 합산하여 상기 비디오 품질 값을 제공하는 단계를 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  15. 제 14 항에 있어서,
    상기 합산을 실시하는 단계는 상기 가중치 부여된 값과 미리 결정된 오프셋 값을 합산하는 단계를 추가로 포함하는 것을 특징으로 하는 비디오 품질 평가 방법.
  16. 제 15 항에 있어서,
    상기 가중 인자와 상기 오프셋 값은 상기 테스트 및 기준 비디오 필드/프레임의 유형에 종속적인 것을 특징으로 하는 비디오 품질 평가 방법.
  17. 삭제
  18. 삭제
  19. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 방법을 컴퓨터 시스템으로 하여금 실시하도록 하는 컴퓨터 프로그램 코드를 저장한 컴퓨터로 판독 가능한 저장매체.
  20. 비디오 품질 평가 시스템에 있어서,
    테스트 비디오 필드/프레임의 서브 필드/프레임 요소들을 하나 이상의 기준 비디오 필드/프레임의 대응하는 서브 필드/프레임 요소들과 매칭시키고, 상기 테스트 비디오 필드/프레임에 대하여, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소와 매칭하는, 상기 하나 이상의 기준 비디오 필드/프레임 중의 서브 필드/프레임 요소를 포함하는 매칭된 기준 비디오 필드/프레임을 생성하는 매칭 수단,
    상기 매칭된 기준 비디오 필드/프레임에 대하여 하나 이상의 매칭 서브 필드/프레임 요소를 시프트시켜서, 상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소의 하나 이상과 상기 하나 이상의 기준 비디오 필드/프레임의 하나 이상의 매칭 서브 필드/프레임 요소 사이의 오정렬을 보상하는 시프트 수단 및
    상기 테스트 및 매칭된 기준 비디오 필드/프레임의 상기 매칭된 서브 필드/프레임 요소들에 따라 비디오 품질 값을 생성하여, 기준 비디오 필드/프레임과 테스트 비디오 필드/프레임 사이의 서브 필드/프레임 요소의 오정렬의 역효과를 감소시키기 위해 사용되는 비디오 처리 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  21. 제 20 항에 있어서,
    상기 매칭 수단은 상기 테스트 비디오 필드/프레임에 시간적으로 대응하는 기준 비디오 필드/프레임에 대하여 정수 M1만큼 선행하는 기준 비디오 필드/프레임 및 정수 M2만큼 후행하는 기준 비디오 필드/프레임 중 적어도 하나에서 매칭 서브 필드/프레임 요소를 탐색하는 시간적 탐색 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  22. 제 21 항에 있어서,
    M1 과 M2는 미리 정해지는 것을 특징으로 하는 비디오 품질 평가 시스템.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소가 상기 테스트 비디오 필드/프레임 내에서 차지하는 위치에 대응하는 상기 기준 비디오 필드/프레임 내의 위치 근방에서의, 상기 기준 비디오 필드/프레임의 공간적으로 제한된 범위 내에서 탐색하는 공간적 탐색 수단을 추가로 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  24. 제 23 항에 있어서,
    상기 탐색의 범위의 공간적 크기는 미리 정해지는 것을 특징으로 하는 비디오 품질 평가 시스템.
  25. 제 20 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 매칭 수단은,
    상기 서브 필드/프레임 요소를 포함하는 상기 테스트 비디오 필드/프레임의 부분을 구비하는 매칭 템플릿(matching template)을 정의하는 수단과,
    정의된 매칭 템플릿을 사용하여 상기 하나 이상의 기준 비디오 필드/프레임에서 매칭 서브 필드/프레임 요소를 탐색하는 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  26. 제 20 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 매칭 수단은 하나 이상의 매칭 통계치 및 매칭 벡터 중 적어도 하나를 계산하는 계산 수단을 추가로 포함하고,
    상기 비디오 처리 수단은 추가로, 계산된 매칭 통계치 및 매칭 벡터 중 적어도 하나에 추가로 종속하여 상기 비디오 품질 파라미터를 생성하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  27. 제 26 항에 있어서,
    상기 계산 수단은,
    상기 기준 비디오 필드/프레임의 탐색된 영역에 관련된 하나 이상의 막대그래프(histogram)를 작성하는 막대그래프 작성 수단과,
    상기 막대그래프의 피크(peak)에 기여하는 매칭된 요소들의 비율에 관련된 각 막대그래프의 매칭 통계치를 계산하는 매칭 통계 계산 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  28. 제 27 항에 있어서,
    상기 비디오 처리 수단은,
    상기 테스트 및 기준 비디오 필드/프레임의 상기 매칭 서브 필드/프레임 요소들에 따라 상기 테스트 및 기준 비디오 필드/프레임의 적어도 하나의 특성에 각각 관련된 복수의 비디오 특성값을 계산하는 복수의 분석 수단과,
    적어도 계산된 비디오 특성값을 함께 적분하여 상기 비디오 품질 값을 제공하는 적분 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  29. 제 28 항에 있어서,
    상기 적분 수단은 추가로, 매칭하는 통계치를 계산된 비디오 특성값과 함께 적분하여 상기 비디오 품질 값을 제공하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  30. 제 28 항에 있어서,
    상기 비디오 특성값은 각각, 하나 이상의 공간 주파수 값; 하나 이상의 텍스처 값; 하나 이상의 에지 값; 하나 이상의 휘도(luminance) 신호대잡음비 값; 및 하나 이상의 색차(chrominance) 신호대비잡음비 값 중 적어도 하나에 대한 2개 이상의 값인 것을 특징으로 하는 비디오 품질 평가 시스템.
  31. 제 30 항에 있어서,
    에지 계산 수단을 추가로 포함하고,
    상기 에지 계산 수단은
    상기 테스트 비디오 필드/프레임의 각 서브 필드/프레임 요소 내의 에지의 수를 계수하는 수단,
    상기 테스트 비디오 필드/프레임의 서브 필드/프레임 요소들에 매칭된 상기 하나 이상의 기준 비디오 필드/프레임의 각 서브 필드/프레임 요소 내의 에지의 수를 계수하는 수단, 및
    상기 각각의 계수 값에 따라 상기 테스트 비디오 필드/프레임에 대한 에지 값을 결정하는 수단을 구비하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  32. 제 31 항에 있어서,
    상기 결정하는 수단은,
    각각의 계수 값들의 각 쌍 사이에 차이 값을 계산하고,
    계산된 각 차이 값을 Q 제곱하고,
    그 결과 값을 합산하여 합계 값을 제공하고,
    상기 합계 값을 1/Q 제곱하여 상기 에지 값을 제공하는 수학적 계산기 수단을 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  33. 제 28 항에 있어서,
    상기 적분 수단은,
    미리 결정된 가중 인자에 의해 각각의 값에 가중치를 부여하는(weighting) 가중치 부여 수단과,
    상기 가중치가 부여된 값을 합산하여 상기 비디오 품질 값을 제공하는 합산 수단을 추가로 포함하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  34. 제 33 항에 있어서,
    상기 합산 수단은 상기 가중치 부여된 값과 미리 결정된 오프셋 값을 합산하는 것을 특징으로 하는 비디오 품질 평가 시스템.
  35. 제 34 항에 있어서,
    상기 가중 인자와 상기 오프셋 값은 상기 테스트 및 기준 비디오 필드/프레임의 유형에 종속적인 것을 특징으로 하는 비디오 품질 평가 시스템.
KR1020057024367A 2003-06-18 2004-06-04 비디오 품질 평가 방법 및 시스템 KR101089411B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0314161.1A GB0314161D0 (en) 2003-06-18 2003-06-18 Edge analysis in video quality assessment
GB0314161.1 2003-06-18
PCT/GB2004/002384 WO2004114215A2 (en) 2003-06-18 2004-06-04 Method and system for video quality assessment

Publications (2)

Publication Number Publication Date
KR20060025181A KR20060025181A (ko) 2006-03-20
KR101089411B1 true KR101089411B1 (ko) 2011-12-07

Family

ID=27636815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057024367A KR101089411B1 (ko) 2003-06-18 2004-06-04 비디오 품질 평가 방법 및 시스템

Country Status (9)

Country Link
US (1) US8508597B2 (ko)
EP (1) EP1636755B1 (ko)
JP (1) JP4741483B2 (ko)
KR (1) KR101089411B1 (ko)
CN (1) CN1809838B (ko)
AU (1) AU2004250356B2 (ko)
CA (1) CA2529451C (ko)
GB (1) GB0314161D0 (ko)
WO (1) WO2004114215A2 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0314162D0 (en) 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
GB0314161D0 (en) 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
CA2525812C (en) * 2003-08-22 2011-11-22 Nippon Telegraph And Telephone Corporation Video quality assessing apparatus, video quality assessing method, video quality assessing program, video aligning apparatus, video aligning method, and video aligning program
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
US7873102B2 (en) * 2005-07-27 2011-01-18 At&T Intellectual Property I, Lp Video quality testing by encoding aggregated clips
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8861585B2 (en) * 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
JP4817246B2 (ja) * 2006-07-31 2011-11-16 Ｋｄｄｉ株式会社 映像品質の客観評価装置
US7920758B2 (en) * 2006-11-22 2011-04-05 Tektronix, Inc. Measurement apparatus and method of measurement of video spatial scale, offset and cropping
JP4789212B2 (ja) * 2007-02-22 2011-10-12 Ｋｄｄｉ株式会社 映像品質評価方法および装置
GB0706496D0 (en) 2007-04-03 2007-05-09 British Telecomm Method and system for video quality assessment
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
US20090309977A1 (en) * 2008-06-12 2009-12-17 Microsoft Corporation Benchmarking and calibrating video quality assessment tools
EP2304649B1 (en) * 2008-07-23 2017-05-10 Jastec Co Frame based video matching
KR100944125B1 (ko) * 2008-11-03 2010-02-24 한국전자통신연구원 동영상 품질 평가 장치 및 그 방법
CN101599170B (zh) * 2009-06-26 2011-09-14 东方网力科技股份有限公司 图像噪声评价方法、图像噪声评价装置
US8310548B2 (en) * 2009-10-23 2012-11-13 Contec Llc System and method for video quality parametric tests
US8456531B2 (en) * 2010-01-14 2013-06-04 Cheetah Technologies, L.P. Video alignment and calibration for video quality measurement
CN101827280B (zh) * 2010-02-04 2012-03-21 深圳市同洲电子股份有限公司 视频输出质量的检测方法和装置
CN102845071B (zh) 2010-04-19 2015-01-28 杜比实验室特许公司 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估
EP2564592A4 (en) * 2010-04-30 2015-06-17 Thomson Licensing METHOD AND APPARATUS FOR MEASURING VIDEO QUALITY USING AT LEAST ONE SEMI-SUPERVISED LEARNING RECTIFIER FOR PREDICTING AN AVERAGE OBSERVATION NOTE
CN101938760B (zh) * 2010-08-20 2013-05-01 中国电信股份有限公司 视频业务用户感知度的拨测方法和系统
KR101721224B1 (ko) * 2010-09-15 2017-03-29 삼성전자주식회사 실시간 영상 및 음성 왜곡 검출 방법 및 장치
CN102026001B (zh) * 2011-01-06 2012-07-25 西安电子科技大学 基于运动信息的视频帧重要性评估方法
WO2012142285A2 (en) 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
CN102883179B (zh) * 2011-07-12 2015-05-27 中国科学院计算技术研究所 一种视频质量客观评价方法
US8867013B2 (en) * 2012-01-26 2014-10-21 Avaya Inc. System and method for measuring video quality degradation using face detection
US8782727B1 (en) 2012-04-04 2014-07-15 Google Inc. Adaptive video stream testing
CN102819850A (zh) * 2012-08-16 2012-12-12 李勃 基于局部自适应色差阈值的彩色图像边缘检测的方法
US9369742B2 (en) * 2012-12-06 2016-06-14 Avaya Inc. System and method to estimate end-to-end video frame delays
US9417286B2 (en) * 2013-03-15 2016-08-16 The United States Of America As Represented By The Secretary Of The Navy Sensor enhancement through algorithmic acquisition using synchronization with a scan generator
CN104079925B (zh) * 2014-07-03 2016-05-18 中国传媒大学 基于视觉感知特性的超高清视频图像质量客观评价方法
CN105472385A (zh) * 2015-11-26 2016-04-06 深圳创维数字技术有限公司 一种视频解码及画面输出的质量检测方法及系统
US10277914B2 (en) * 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10185884B2 (en) * 2016-09-07 2019-01-22 Apple Inc. Multi-dimensional objective metric concentering
CN106303515B (zh) * 2016-09-26 2018-08-07 广州华多网络科技有限公司 一种在线直播视频质量测试方法和装置
US10586110B2 (en) * 2016-11-03 2020-03-10 Netflix, Inc. Techniques for improving the quality of subjective data
CN106713963B (zh) * 2016-11-28 2019-07-26 天脉聚源（北京）科技有限公司 一种对齐视频流的播放进度的方法及装置
CN107465914B (zh) * 2017-08-18 2019-03-12 电子科技大学 基于局部纹理特征和全局亮度特征的视频质量评价方法
CN107454389B (zh) * 2017-08-30 2019-04-23 苏州科达科技股份有限公司 待测系统的视频质量评价方法及系统
CN107465940B (zh) * 2017-08-30 2019-10-25 苏州科达科技股份有限公司 视频对准方法、电子设备及存储介质
CN107707907B (zh) * 2017-10-09 2020-09-11 中央电视台 一种4k信号校准方法及装置
US11205257B2 (en) * 2018-11-29 2021-12-21 Electronics And Telecommunications Research Institute Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region
CN111726554B (zh) * 2020-06-30 2022-10-14 阿波罗智能技术(北京)有限公司 图像处理方法、装置、设备和存储介质
US11363275B2 (en) 2020-07-31 2022-06-14 Netflix, Inc. Techniques for increasing the accuracy of subjective quality experiments
CN112906051B (zh) * 2021-03-02 2022-09-20 上海蓝色帛缔智能工程有限公司 智慧医疗数据处理方法、系统及数据中心

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000030366A1 (en) * 1998-11-17 2000-05-25 Koninklijke Kpn N.V. A method and an arrangement for aligning input and output video sequences for video quality measurement
WO2003010952A2 (en) * 2001-07-25 2003-02-06 Teranex, Inc. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
KR100750108B1 (ko) 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5126990A (en) * 1982-01-12 1992-06-30 Discovision Associates Method of evaluating a storage medium by recirculating a test sample of a signal
US5214508A (en) * 1992-02-14 1993-05-25 Tektronix, Inc. Spatial bandwidth testing for digital data-compressed video systems
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5838828A (en) * 1995-12-12 1998-11-17 Massachusetts Institute Of Technology Method and apparatus for motion estimation in a video signal
JP3458581B2 (ja) * 1996-01-11 2003-10-20 Ｋｄｄｉ株式会社 ディジタル画像品質評価装置
JPH10285616A (ja) * 1997-04-04 1998-10-23 Tektronix Inc ビデオ品質自動測定方法及び装置
US6363116B1 (en) * 1997-04-04 2002-03-26 Tektronix, Inc. Picture quality assessment using spatial location with or without subsampling
KR100529483B1 (ko) * 1997-05-28 2005-11-22 소니 가부시끼 가이샤 블록 왜곡 감소 방법과 장치 및 부호화 방법과 장치
US5940124A (en) * 1997-07-18 1999-08-17 Tektronix, Inc. Attentional maps in objective measurement of video quality degradation
US6400400B1 (en) * 1997-07-30 2002-06-04 Sarnoff Corporation Method and apparatus for automated testing of a video decoder
US6295083B1 (en) * 1998-02-27 2001-09-25 Tektronix, Inc. High precision image alignment detection
DE69803830T2 (de) 1998-03-02 2002-09-12 Koninkl Kpn Nv Verfahren, Vorrichtung, ASIC und deren Benutzung zur objektiven Videoqualitätbewertung
US6795580B1 (en) * 1998-09-10 2004-09-21 Tektronix, Inc. Picture quality measurement using blockiness
US6496221B1 (en) * 1998-11-02 2002-12-17 The United States Of America As Represented By The Secretary Of Commerce In-service video quality measurement system utilizing an arbitrary bandwidth ancillary data channel
US6483538B2 (en) * 1998-11-05 2002-11-19 Tektronix, Inc. High precision sub-pixel spatial alignment of digital images
US6480632B2 (en) * 1998-12-03 2002-11-12 Intel Corporation Method and apparatus to interpolate video frames
ATE251830T1 (de) * 1999-02-11 2003-10-15 British Telecomm Analyse der qualität eines videosignals
US6493023B1 (en) * 1999-03-12 2002-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for evaluating the visual quality of processed digital video sequences
US6678424B1 (en) * 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US6798919B2 (en) * 2000-12-12 2004-09-28 Koninklijke Philips Electronics, N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
US6822675B2 (en) * 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
US6577764B2 (en) * 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
US20030035581A1 (en) 2001-08-13 2003-02-20 Nokia Mobile Phones, Ltd. Method and system for measuring perceptual distortion in images
JP3945622B2 (ja) * 2001-11-02 2007-07-18 富士フイルム株式会社 画像評価方法および装置並びにプログラム
US7119854B2 (en) * 2001-12-28 2006-10-10 Koninklijke Philips Electronics N.V. Method for deriving an objective sharpness metric
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
US7099518B2 (en) * 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
JP4194029B2 (ja) * 2003-02-26 2008-12-10 Ｋｄｄｉ株式会社 画像劣化自動検出装置
US20040175056A1 (en) * 2003-03-07 2004-09-09 Chulhee Lee Methods and systems for objective measurement of video quality
GB0314161D0 (en) 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000030366A1 (en) * 1998-11-17 2000-05-25 Koninklijke Kpn N.V. A method and an arrangement for aligning input and output video sequences for video quality measurement
KR100750108B1 (ko) 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치
WO2003010952A2 (en) * 2001-07-25 2003-02-06 Teranex, Inc. Method for monitoring and automatically correcting digital video quality by reverse frame prediction

Also Published As

Publication number Publication date
EP1636755B1 (en) 2018-08-15
AU2004250356B2 (en) 2011-03-31
AU2004250356A1 (en) 2004-12-29
CA2529451C (en) 2015-11-10
CA2529451A1 (en) 2004-12-29
JP4741483B2 (ja) 2011-08-03
WO2004114215A2 (en) 2004-12-29
KR20060025181A (ko) 2006-03-20
EP1636755A2 (en) 2006-03-22
CN1809838A (zh) 2006-07-26
GB0314161D0 (en) 2003-07-23
JP2006527947A (ja) 2006-12-07
US20060152585A1 (en) 2006-07-13
US8508597B2 (en) 2013-08-13
CN1809838B (zh) 2010-04-14
WO2004114215A3 (en) 2005-02-24

Similar Documents

Publication Publication Date Title
KR101089411B1 (ko) 비디오 품질 평가 방법 및 시스템
KR101031685B1 (ko) 비디오 품질 평가의 에지 분석
US6600839B2 (en) Non-linear adaptive image filter for filtering noise such as blocking artifacts
JP4494649B2 (ja) 基準映像を用いることなくデジタル映像の品質を推定する方法と装置
US8150234B2 (en) Method and system for video quality assessment
US20040012675A1 (en) Method and apparatus for measuring the quality of video data
US8195010B2 (en) Video matching apparatus and video matching method
US20040175056A1 (en) Methods and systems for objective measurement of video quality
Ponomarenko et al. Sharpness metric for no-reference image visual quality assessment
Nadenau et al. Image-compression-related contrast-masking measurements
KR100612667B1 (ko) 예측치 보정을 이용한 동영상 화질 평가장치 및 방법
Hara et al. Flicker reduction in MPEG-2 video by post-processing
KR100574595B1 (ko) 두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치
JP2002538528A (ja) ２つの信号配列間の視程差を評価するための方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171116

Year of fee payment: 7