KR100944125B1 - 동영상 품질 평가 장치 및 그 방법 - Google Patents
동영상 품질 평가 장치 및 그 방법 Download PDFInfo
- Publication number
- KR100944125B1 KR100944125B1 KR1020080108570A KR20080108570A KR100944125B1 KR 100944125 B1 KR100944125 B1 KR 100944125B1 KR 1020080108570 A KR1020080108570 A KR 1020080108570A KR 20080108570 A KR20080108570 A KR 20080108570A KR 100944125 B1 KR100944125 B1 KR 100944125B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- frame
- color difference
- quality
- luminance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 32
- 230000002123 temporal effect Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 67
- 238000001914 filtration Methods 0.000 claims description 20
- 230000000295 complement effect Effects 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 13
- 238000003491 array Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000006866 deterioration Effects 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 5
- 230000003920 cognitive function Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 동영상 품질 평가 장치 및 그 방법에 관한 것으로, Temporal blur을 이용하여 동영상의 품질을 원본 동영상과 대비하여 결정함으로써, 방송과 영화 및 광고의 다양한 영상 콘텐츠의 서비스에서 원본 동영상 콘텐츠가 최종 서비스에서 얼마만큼의 품질 저하가 발생하는지를 정량적으로 나타낼 수 있다. 또한, 본 발명은 Temporal blur을 이용한 동영상 품질 평가 장치 및 방법을 산업 표준 형식으로 규격화하여 동영상 콘텐츠 서비스에서 적용함으로써, 기존의 PSNR이나 관찰자를 이용한 품질 평가 실험 결과를 이용한 동영상 콘텐츠의 품질 평가 방법보다 정확한 품질 평가 결과를 제시할 수 있으며, 이러한 품질 평가를 통해 콘텐츠 서비스 환경에 대한 인증을 실시할 경우 보다 고품질의 동영상 콘텐츠 서비스를 일반인들에게 제공할 수 있다.
색차, 계산, Temporal blur 필터, 품질, 평가
Description
본 발명은 동영상 품질 평가 장치 및 그 방법에 관한 것으로, 보다 상세하게 설명하면 시간 번짐(Temporal blur)을 이용하여 동영상의 품질을 원본 동영상과 대비하여 결정할 수 있는 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 정보통신표준개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-P1-26-07j52, 과제명: 디지털 영상 렌더링 및 제작 공정 표준 개발].
주지된 바와 같이, 컴퓨터와 인터넷의 사용이 일반화되어 대부분의 영상물에 대하여 디지털로 제작할 수 있고, 영상 콘텐츠 서비스 환경도 기존의 TV나 극장 상영 위주에서, 디지털 TV와 홈쇼핑과 디지털 영화와 게임 및 모바일 영상 콘텐츠 등으로 다양하게 발전하고 있다.
이러한 영상물은 영상 전문가가 뷰어들에게 가장 지각적으로 호소하는 것을 최종 목표로 정한다. 즉 최종적인 영상물의 품질이 양호한가 또는 불량한가를 결정하는 하나의 방법은 뷰어의 패널(panel)에게 임의의 영상물을 보도록 하여 그들의 의견을 제공하도록 하는 것이다.
또한, 영상물의 흐름을 분석하는 다른 방법은 영상물 품질의 양호 또는 불량을 평가하는 자동화된 메커니즘을 제공하는 것으로, 다양한 콘텐츠 서비스 플랫폼 환경 하에서 방송국, 영화감독, 기타 개인 콘텐츠 제작자들은 자신이 제작한 동영상 콘텐츠를 품질 저하없이 시청자들에게 서비스되기를 기대한다.
그러나, 상기한 바와 같이 서비스되는 동영상 콘텐츠는 네트워크나 혹은 방송 시스템 상의 오류나 장애, 또는 동영상 콘텐츠 서비스를 위한 하드웨어 시스템의 특성 상의 원인으로 인해 원래의 동영상 콘텐츠가 가지는 색감이나 품질과 동일한 품질의 동영상 콘텐츠를 시청자에게 서비스하기가 어려운 실정이다.
이러한 동영상 콘텐츠 서비스에서 콘텐츠의 품질을 평가하여 평가 결과를 콘텐츠 제작자에게 피드백하여 고품질의 콘텐츠를 서비스할 수 있도록 하기 위해 관찰자를 이용한 주관적 품질 평가나, 영상 신호에 대하여 신호 대 잡음비를 계산하여 품질 평가 방법으로 사용하여 왔으나, 주관적 방법에 의한 품질 평가는 동원할 수 있는 관찰자의 수가 한정 될 수밖에 없어 결과의 신뢰도에 문제가 생길 수 있으며, 신호 대 잡음비 계산 방법에서 특정 프레임에 대한 계산 결과를 평균하는 방법 으로 시간적으로 변하는 영상에 대한 고려가 되지 않아, 보다 객관적이고 정량적인 품질 평가 방법으로서 사용하기가 어렵다는 문제점이 있다.
이에, 본 발명의 기술적 과제는 상술한 문제점을 해결하기 위해 안출한 것으로서, 품질 평가를 수행하기 위한 동영상과 원본 동영상에 대하여 일정 구간의 샘플 동영상을 추출하고, 추출된 샘플 동영상을 프레임 단위로 분할하며, 분할된 각각의 프레임에 대하여 추출된 샘플 동영상의 샘플링 주파수와 샘플링 동영상의 길이를 입력 파라미터로 하여 시간 번짐(Temporal blur) 필터를 적용하여 필터링을 수행하고, 필터링 된 원본 프레임과 품질 평가를 수행하기 위한 테스트 프레임 사이의 색차 계산 공식을 대입하여 프레임간의 색차를 계산하고, 프레임 간의 계산 결과를 산술 평균하여 얻어지는 값을 바탕으로 동영상의 품질을 원본 동영상과 대비하여 결정할 수 있는 동영상 품질 평가 장치 및 그 방법을 제공한다.
본 발명의 일 관점에 따른 동영상 품질 평가 장치는, 원본 동영상 및 테스트 동영상 각각의 특정 영상 구간을 샘플링 구간으로 선택하여 샘플 동영상을 생성하여 프레임 별로 분리하는 프레임 별 분리부와, 분리된 샘플 동영상 프레임에 대하여 휘도 및 색도 필터링 및 프레임 복원하는 Temporal blur 필터부와, 복원된 원본 동영상 프레임과 테스트 동영상 프레임 사이의 CIE 색차를 색차 계산식 모델에 따라 계산하는 CIE 색차 계산부와, 계산된 색차 계산 결과를 기설정된 품질 판단 기준과 비교하여 품질을 결정하는 동영상 품질 결정부를 포함하는 것을 특징으로 한 다.
또한, 본 발명의 다른 관점에 따른 동영상 품질 평가 방법은, 원본 동영상 및 테스트 동영상과 샘플링 파라미터를 입력받는 단계와, 원본 동영상 및 테스트 동영상에 대하여 특정 영상 구간을 샘플링 파라미터에 따른 샘플링 구간으로 선택하여 샘플 동영상을 생성하는 단계와, 샘플 동영상을 프레임 별로 분리하는 단계와, 분리된 샘플 동영상 프레임에 대하여 휘도 및 색도 필터링 및 프레임을 복원하는 단계와, 복원된 원본 동영상 프레임과 테스트 동영상 프레임 사이의 CIE 색차를 색차 계산식 모델에 따라 계산하는 단계와, 계산 결과인 색차 계산 결과를 기설정된 품질 판단 기준과 비교하여 품질을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 Temporal blur을 이용하여 동영상의 품질을 원본 동영상과 대비하여 결정함으로써, 방송과 영화 및 광고의 다양한 영상 콘텐츠의 서비스에서 원본 동영상 콘텐츠가 최종 서비스에서 얼마만큼의 품질 저하가 발생하는지를 정량적으로 나타낼 수 있다.
또한, 본 발명은 Temporal blur을 이용한 동영상 품질 평가 장치 및 방법을 산업 표준 형식으로 규격화하여 동영상 콘텐츠 서비스에서 적용함으로써, 기존의 PSNR이나 관찰자를 이용한 품질 평가 실험 결과를 이용한 동영상 콘텐츠의 품질 평가 방법보다 정확한 품질 평가 결과를 제시할 수 있으며, 이러한 품질 평가를 통해 콘텐츠 서비스 환경에 대한 인증을 실시할 경우 보다 고품질의 동영상 콘텐츠 서비스를 일반인들에게 제공할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 동영상 품질 평가 장치(10)를 위한 블록 구성도로서, 이 동영상 품질 평가 장치(10)는 프레임 별 분리부(110)와 Temporal blur 필터부(120)와 국제 조명 위원회(이하, CIE라 함) 색차 계산부(130) 및 동영상 품질 결정부(140)를 포함한다.
프레임 별 분리부(110)는 도 2에 도시된 프레임 별 분리부(110)의 상세 구성도에서와 같이 샘플링 구간 선택부(111)와 샘플링 동영상 저장부(112)와 프레임 분리부(113) 및 프레임 저장부(114)로 이루어져 있다.
샘플링 구간 선택부(111)는 방송사, 영화사, 광고사 또는 개인이 제작한 동 영상 콘텐츠가 TV나 영화관 또는 인터넷이나 모바일 등의 서비스 환경에서 일반인들에게 서비스 될 경우, 제작자가 의도한 대로 만들어진 동영상 콘텐츠가 다양한 서비스 환경에서 품질의 저하 없이 서비스되는지 판단하기 위해서, 제작된 원본 동영상(S2)과 테스트 동영상(S3) 및 서비스 환경에서 서비스되는 동영상의 샘플링 파라미터(S1)가 입력되면, 이 입력된 샘플링 파라미터(S1)와 원본 동영상(S2) 및 테스트 동영상(S3)에 대하여 동영상 품질 평가 계산을 수행할 특정 영상 구간을 샘플링 구간으로 선택하기 위해 하나 혹은 그 이상의 샘플링 구간을 선택하여 동영상 품질 평가를 위한 입력 동영상으로 선정한 원본 동영상(S2)과 테스트 동영상(S3)에 대한 샘플 동영상을 생성하여 샘플링 동영상 저장부(112)에 제공한다.
샘플링 동영상 저장부(112)는 샘플링 구간 선택부(111)로부터 입력된 두 개의 샘플 동영상을 저장한다.
프레임 분리부(113)는 샘플링 동영상 저장부(112)에 저장된 샘플 동영상에 대하여 연속된 동영상을 정지영상 프레임으로 분리시킨 원본 동영상 프레임과 테스트 동영상 프레임을 프레임 저장부(114)에 제공한다.
프레임 저장부(114)는 프레임 분리부(113)로부터 입력된 원본 동영상 프레임(S4)과 테스트 동영상 프레임(S5)을 저장한다.
Temporal blur 필터부(120)는 도 3에 도시된 Temporal blur 필터부(120)의 상세 구성도에서와 같이, 어레이 생성부(121)와 주파수 공간 변환부(122)와 휘도(Luminance) 필터 디자인부(123)와 색도(Chrominance) 필터 디자인부(124)와 필터부(125)와 프레임 복원부(126)로 이루어져 있다.
어레이 생성부(121)는 프레임별 분리부(110)에 의해 개별 프레임으로 분리된 원본 동영상 프레임(S4)과 테스트 동영상 프레임(S5)에 대하여 동일 픽셀 위치에 해당하는 각각의 1-D 어레이를 생성한 다음에, 생성된 각각의 1-D 어레이에 저장된 RGB 값을 휘도값과 보색값으로 변환하여 각각의 1-D 어레이에 다시 저장하여 생성된 새로운 각각의 1-D 어레이를 주파수 공간 변환부(122)에 제공한다.
주파수 공간 변환부(122)는 어레이 생성부(121)로부터 입력된 휘도값과 보색값이 저장되어 있는 각각의 1-D 어레이를 퓨리에 변환을 통해 주파수 공간으로 변환하여 필터부(125)에 제공한다.
휘도 필터 디자인부(123)는 휘도 번짐(Blur) 적용을 위한 휘도값에 대한 필터를 디자인하는 경우, 인간 시각의 시간 축 상의 휘도 대비 인지 함수를 기준으로 피크 센시티비티와 컷-오프 주파수를 입력 파라미터로 결정하고 결정된 파라미터에 따라 도 6에 도시된 휘도 대비 인지 함수를 적용한 필터 파형도(S9-1)에서와 같이 필터를 생성하여 필터부(125)에 입력한다.
색도 필터 디자인부(124)는 색도 번짐(Blur) 적용을 위한 색도값에 대한 필터를 디자인하는 경우, 인간 시각의 시간 축 상의 색도 대비 인지 함수를 기준으로 피크 센시티비티와 컷-오프 주파수를 입력 파라미터로 결정하고 결정된 파라미터에 따라 도 6에 도시된 색도 대비 인지 함수를 적용한 필터 파형도(S9-2)에서와 같이 필터를 생성하여 필터부(125)에 입력한다.
필터부(125)는 주파수 공간 변환부(122)로부터 입력된 주파수 공간으로 변환된 휘도값과 보색값으로 구성된 각각의 1-D 어레이를 휘도 필터 디자인부(123)와 색도 필터 디자인부(124)로부터 생성되어 입력된 휘도 필터와 색도 필터를 이용하여 각각의 1-D 어레이의 휘도값과 휘도 필터를 이용하여 휘도 필터링을 수행하고, 각각의 1-D 어레이의 보색값과 색도 필터를 이용하여 색도 필터링을 수행하여 프레임 복원부(126)에 제공한다.
프레임 복원부(126)는 필터부(125)에 의해 필터링이 완료된 각각의 1-D 어레이에 대하여 삼자극치 값으로 변환시키고, 이어서 RGB 값으로 다시 변환된 다음에, 원래의 프레임으로 복원시킨 원본 동영상 프레임(S6)과 테스트 동영상 프레임(S7)을 CIE 색차 계산부(130)에 제공한다.
CIE 색차 계산부(130)는 도 4에 도시된 CIE 색차 계산부(130)의 상세 구성도에서와 같이, 색차 계산식 선택부(131)와 프레임별 색차 계산부(132)와 프레임별 계산결과 저장부(133)와 색차 평균 계산부(134)로 이루어져 있다.
색차 계산식 선택부(131)는 CIE에서 규정하고 있는 색차 계산 모델인 CIE DEab, CIE94, CIEDECMC, CIEDE2000, iCAM, SCIELab, CIECAM02의 7 종류의 CIE 색차 계산 모델 중 색차 계산식 모델 하나를 선택하여 프레임별 색차 계산부(132)에 제공한다.
프레임별 색차 계산부(132)는 색차 계산식 선택부(131)로부터 선택된 색차 계산식 모델에 따라 Temporal blur 필터부(120)로부터 입력된 원본 동영상 프레임(S6)과 테스트 동영상 프레임(S7) 사이의 색차를 계산하여 프레임별 계산결과 저장부(133)에 제공한다.
프레임별 계산결과 저장부(133)는 프레임별 색차 계산부(132)로부터 입력된 프레임별 색차 계산 결과를 저장한다.
색차 평균 계산부(134)는 프레임별 계산결과 저장부(133)에 저장된 프레임별 색차 계산 결과에 대하여 산술적으로 평균시킨 색차 계산 결과(S8)를 동영상 품질 결정부(140)에 제공한다.
동영상 품질 결정부(140)는 CIE 색차 계산부(130)로부터 입력된 색차 계산 결과(S8)를 기설정된 색차 계산 결과에 대응하는 품질 판단 기준에 의거하여 테스트 동영상의 품질이 어느 정도인지를 결정하고 그 결정 결과인 동영상 품질 평가 결과(S9)를 출력한다.
따라서, 본 발명은 Temporal blur을 이용하여 동영상의 품질을 원본 동영상과 대비하여 결정함으로써, 방송과 영화 및 광고의 다양한 영상 콘텐츠의 서비스에서 원본 동영상 콘텐츠가 최종 서비스에서 얼마만큼의 품질 저하가 발생하는지를 정량적으로 나타낼 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 실시 예에서 동영상 품질 평가 과정에 대하여 설명한다.
도 7a 내지 도 7b는 본 발명의 바람직한 실시 예에 따른 동영상 품질 평가 장치(10)에서의 평가 방법에 대하여 상세하게 설명한 흐름도이다.
먼저, 프레임 별 분리부(110)내 샘플링 구간 선택부(111)에서는 방송사, 영화사, 광고사 또는 개인이 제작한 동영상 콘텐츠가 TV나 영화관 또는 인터넷이나 모바일 등의 서비스 환경에서 일반인들에게 서비스 될 경우, 제작자가 의도한 대로 만들어진 동영상 콘텐츠가 다양한 서비스 환경에서 품질의 저하 없이 서비스되는지 판단하기 위해서, 제작된 동영상 품질 평가를 수행할 원본 동영상(S2) 및 테스트 동영상(S3)을 입력(S701)받는다.
다음으로, 샘플링 구간 선택부(111)에서는 주파수 공간 변환 및 필터 생성을 위한 동영상의 샘플링 파라미터(S1)를 입력(S703)받은 후, 원본 동영상(S2)과 테스트 동영상(S3) 전체에 대하여 동영상 품질 평가 계산을 수행할 특정 영상 구간을 샘플링 구간으로 선택하기 위해 하나 혹은 그 이상의 샘플링 구간을 선택하여 동영상 품질 평가를 위한 입력 동영상으로 선정한 원본 동영상(S2)과 테스트 동영상(S3)에 대한 샘플 동영상을 생성(S705)하여 샘플링 동영상 저장부(112)에 저장한다.
프레임 분리부(113)에서는 샘플링 동영상 저장부(112)에 저장된 샘플 동영상에 대하여 연속된 동영상을 정지영상 프레임으로 분리(S707)시킨 다음에, 분리된 원본 동영상 프레임(S4)과 테스트 동영상 프레임(S5)을 프레임 저장부(114)에 저장한다.
이후, Temporal blur 필터부(120)내 어레이 생성부(121)에서는 프레임별 분리부(110)에 의해 개별 프레임으로 분리된 원본 동영상 프레임(S4)과 테스트 동영상 프레임(S5)에 대하여 동일 픽셀 위치에 해당하는 각각의 1-D 어레이를 생성(S709)한 다음에, 생성된 각각의 1-D 어레이에 저장된 RGB 값을 휘도값과 보색값으로 변환(S711)하여 각각의 1-D 어레이에 다시 저장하여 생성된 새로운 각각의 1-D 어레이를 주파수 공간 변환부(122)에 제공한다.
일 예로, 도 5는 전체 프레임의 동일 픽셀 위치에 해당하는 RGB 값으로 구성 되는 1-D 어레이를 생성하기 위한 예시도로서, 도 5에 도시된 샘플링된 동영상의 길이가 t초이고 초당 프레임 수가 s로 만들어진 동영상일 경우, 이를 이용하여 생성되는 프레임 수는 t × s가 되며, 하나의 프레임의 크기가 가로 N 픽셀, 세로 M 픽셀일 경우, 생성되는 1-D 어레이의 총 개수는 N × M 이 된다.
각각의 1-D 어레이에 저장된 RGB 값은 수학식 1
을 통해 삼자극치(Tristimulus values) 값으로 변환되고, 수학식 2
를 통해 휘도값과 보색값으로 변환되어 각각의 1-D 어레이에 다시 저장된다.
그러면, 주파수 공간 변환부(122)에서는 어레이 생성부(121)로부터 입력된 휘도값과 보색값이 저장되어 있는 각각의 1-D 어레이를 퓨리에 변환을 통해 주파수 공간으로 픽셀별 변환이 완료되는지를 판단(S713)한다.
상기 판단(S713)결과, 픽셀별 변환이 완료되지 않을 경우 각각의 1-D 어레이를 생성하는 단계(S709)부터 수행한다.
반면에, 상기 판단(S713)결과, 픽셀별 변환이 완료되면, 변환이 완료된 각각 의 1-D 어레이를 필터부(125)에 제공(S715)한다.
이때, Temporal blur 필터부(120)내 휘도 필터 디자인부(123)에서는 휘도 번짐(Blur) 적용을 위한 휘도값에 대한 필터를 디자인하는 경우, 인간 시각의 시간 축 상의 휘도 대비 인지 함수를 기준으로 피크 센시티비티와 컷-오프 주파수를 입력 파라미터로 결정하고 결정된 파라미터에 따라 도 6에 도시된 휘도 대비 인지 함수를 적용한 필터 파형도(S9-1)에서와 같이 필터를 생성하여 필터부(125)에 입력(S717)한다.
그러면, 필터부(125)에서는 주파수 공간 변환부(122)로부터 입력된 주파수 공간으로 변환된 휘도값과 보색값으로 구성된 각각의 1-D 어레이를 휘도 필터 디자인부(123)로부터 생성되어 입력된 휘도 필터를 이용하여 각각의 1-D 어레이의 휘도값과 휘도 필터를 이용하여 휘도 필터링(S719)을 수행하여 프레임 복원부(126)에 제공한다.
다음으로, Temporal blur 필터부(120)내 색도 필터 디자인부(124)에서는 색도 번짐(Blur) 적용을 위한 색도값에 대한 필터를 디자인하는 경우, 인간 시각의 시간 축 상의 색도 대비 인지 함수를 기준으로 피크 센시티비티와 컷-오프 주파수를 입력 파라미터로 결정하고 결정된 파라미터에 따라 도 6에 도시된 색도 대비 인지 함수를 적용한 필터 파형도(S9-2)에서와 같이 필터를 생성하여 필터부(125)에 입력(S721)한다. 여기서, 도 6에 도시된 휘도 대비 인지 함수를 적용한 필터 파형도(S9-1)와 색도 대비 인지 함수를 적용한 필터 파형도(S9-2)로서, 각각의 파라미터는 표 1
| 휘도 대비 인지 함수 (L-CSF) | 색도 대비 인지 함수 (C-CSF) | |
| 피크 센시티비티 주파수 | 10 Hz | 50 Hz |
| 컷- 오프 주파수 | 0 Hz | 20 Hz |
과 같으며, 상황에 따라 보다 최적의 값으로 수정될 수 있다.
그러면, 필터부(125)에서는 주파수 공간 변환부(122)로부터 입력된 주파수 공간으로 변환된 휘도값과 보색값으로 구성된 각각의 1-D 어레이를 색도 필터 디자인부(124)로부터 생성되어 입력된 색도 필터를 이용하여 각각의 1-D 어레이의 보색값과 색도 필터를 이용하여 색도 필터링(S723)을 수행하여 프레임 복원부(126)에 제공한다.
프레임 복원부(126)에서는 필터부(125)에 의해 필터링이 완료된 각각의 1-D 어레이에 대하여 수학식 3
에 의해 삼자극치 값으로 변환되고, 수학식 4
에 의해 RGB 값으로 다시 변환(S725)된 다음에, 원래의 프레임으로 복원(S727)시킨 원본 동영상 프레임(S6)과 테스트 동영상 프레임(S7)을 CIE 색차 계 산부(130)에 제공한다.
CIE 색차 계산부(130)내 색차 계산식 선택부(131)에서는 CIE에서 규정하고 있는 색차 계산 모델인 CIE DEab, CIE94, CIEDECMC, CIEDE2000, iCAM, SCIELab, CIECAM02의 7 종류의 CIE 색차 계산 모델 중 색차 계산식 모델 하나를 선택(S729)하여 프레임별 색차 계산부(132)에 제공한다.
그러면, 프레임별 색차 계산부(132)에서는 색차 계산식 선택부(131)로부터 선택된 색차 계산식 모델에 따라 Temporal blur 필터부(120)로부터 입력된 원본 동영상 프레임(S6)과 테스트 동영상 프레임(S7) 사이의 색차를 계산(S731)하고, 계산된 프레임마다 색차 계산 결과를 프레임별 계산결과 저장부(133)에 저장한다.
색차 평균 계산부(134)는 프레임별 계산결과 저장부(133)에 저장된 프레임별 색차 계산 결과에 대하여 산술적으로 평균(S733)시킨 색차 계산 결과(S8)를 동영상 품질 결정부(140)에 제공한다.
동영상 품질 결정부(140)에서는 CIE 색차 계산부(130)로부터 입력된 색차 계산 결과(S8)를 표 2
| 색차 계산 결과 (△E) | 품질 판단 |
| 0∼4 | 아주 우수 |
| 4∼7 | 우수 |
| 7∼12 | 보통 |
| 12∼20 | 미흡 |
| 20∼ | 불량 |
에서와 같이 기설정된 색차 계산 결과에 대응하는 품질 판단 기준과 비교하여 테스트 동영상의 품질이 어느 정도인지를 결정(S735)하고 그 결정 결과인 동영상 품질 평가 결과(S9)를 출력(S737)한다. 여기서, 표 2에 도시된 품질판단 기준은 상황에 따라 조정될 수 있다.
따라서, 본 발명은 Temporal blur을 이용한 동영상 품질 평가 장치 및 방법을 산업 표준 형식으로 규격화하여 동영상 콘텐츠 서비스에서 적용함으로써, 기존의 PSNR이나 관찰자를 이용한 품질 평가 실험 결과를 이용한 동영상 콘텐츠의 품질 평가 방법보다 정확한 품질 평가 결과를 제시할 수 있으며, 이러한 품질 평가를 통해 콘텐츠 서비스 환경에 대한 인증을 실시할 경우 보다 고품질의 동영상 콘텐츠 서비스를 일반인들에게 제공할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 동영상 품질 평가 장치를 위한 블록 구성도,
도 2는 도 1에 도시된 프레임 별 분리부의 상세 구성도,
도 3은 도 1에 도시된 Temporal blur 필터부의 상세 구성도,
도 4는 도 1에 도시된 CIE 색차 계산부의 상세 구성도,
도 5는 전체 프레임의 동일 픽셀 위치에 해당하는 RGB 값으로 구성되는 1-D 어레이를 생성하기 위한 예시도,
도 6은 휘도 및 색도 대비 인지 함수를 적용한 필터 파형도,
도 7a 내지 도 7b는 본 발명의 바람직한 실시 예에 따른 동영상 품질 평가 장치에서의 평가 방법에 대한 상세 흐름도.
<도면의 주요부분에 대한 부호의 설명>
10 : 동영상 품질 평가 장치 110 : 프레임 별 분리부
120 : Temporal blur 필터부 130 : CIE 색차 계산부
140 : 동영상 품질 결정부
Claims (20)
- 원본 동영상 및 테스트 동영상 각각의 특정 영상 구간을 샘플링 구간으로 선택하여 샘플 동영상을 생성하여 프레임 별로 분리하는 프레임 별 분리부와,분리된 상기 샘플 동영상의 프레임에 대하여 휘도 및 색도 필터링과 프레임을 복원하는 Temporal blur 필터부와,복원된 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임 사이의 CIE 색차를 색차 계산식 모델을 통해 계산하는 CIE 색차 계산부와,계산된 상기 CIE 색차의 계산 결과에 대응하는 기설정된 품질 판단 기준에 의거하여 상기 테스트 동영상의 품질을 결정하는 동영상 품질 결정부를 포함하는 동영상 품질 평가 장치.
- 제 1 항에 있어서,상기 Temporal blur 필터부는,분리된 상기 샘플 동영상의 프레임에 대하여 동일 픽셀 위치에 해당하는 각각의 1-D 어레이를 생성하고, 생성된 상기 각각의 1-D 어레이에 저장된 RGB 값을 휘도값과 보색값으로 변환하여 상기 각각의 1-D 어레이에 다시 저장하여 새로운 각각의 1-D 어레이를 생성하는 어레이 생성부와,새롭게 생성된 상기 각각의 1-D 어레이를 주파수 공간으로 변환하는 주파수 공간 변환부와,휘도 번짐(Blur) 적용을 위한 휘도값에 대한 휘도 필터를 디자인하는 휘도 필터 디자인부와,색도 번짐 적용을 위한 색도값에 대한 색도 필터를 디자인하는 색도 필터 디자인부와,상기 주파수 공간으로 변환된 상기 각각의 1-D 어레이를 상기 휘도 필터 및 색도 필터를 이용하여 휘도 필터링과 색도 필터링을 수행하는 필터부와,상기 휘도 필터링 및 색도 필터링이 완료된 상기 각각의 1-D 어레이에 대하여 RGB 값으로 변환하여 원래의 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임으로 복원하는 프레임 복원부를 포함하는 동영상 품질 평가 장치.
- 제 2 항에 있어서,상기 어레이 생성부는,상기 각각의 1-D 어레이에 저장된 RGB 값에 대하여수학식(여기서 X,Y,Z는 삼자극치를 나타낸다.)
을 통해 삼자극치(Tristimulus values) 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 장치. - 제 2 항에 있어서,상기 어레이 생성부는,상기 각각의 1-D 어레이에 저장된 RGB 값에 대하여수학식(여기서, L은 휘도값을 나타내며, RG, BY는 보색값을 나타낸다.)
을 통해 휘도값과 보색값으로 변환되어 상기 각각의 1-D 어레이에 다시 저장되는 것을 특징으로 하는 동영상 품질 평가 장치. - 제 2 항에 있어서,상기 프레임 복원부는,상기 필터부에 의해 필터링이 완료된 상기 각각의 1-D 어레이에 대하여수학식
을 통해 삼자극치 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 장치. - 제 2 항에 있어서,상기 프레임 복원부는,상기 필터부에 의해 필터링이 완료된 상기 각각의 1-D 어레이에 대하여수학식
을 통해 RGB 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 장치. - 제 2 항에 있어서,상기 주파수 공간 변환부는, 퓨리에 변환을 통해 주파수 공간으로 변환하는 것을 특징으로 하는 동영상 품질 평가 장치.
- 제 1 항에 있어서,상기 CIE 색차 계산부는,다수의 CIE 색차 계산 모델 중 원하는 색차 계산식 모델을 선택하는 색차 계산식 선택부와,상기 색차 계산식 모델에 따라 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임 사이의 색차를 계산하는 프레임별 색차 계산부와,계산된 상기 프레임마다 색차 계산 결과를 저장하는 프레임별 계산결과 저장부와,저장된 상기 색차 계산 결과에 대하여 평균하는 색차 평균 계산부를 포함하는 동영상 품질 평가 장치.
- 제 1 항에 있어서,상기 프레임 별 분리부는,상기 원본 동영상 및 테스트 동영상 각각의 특정 영상 구간을 샘플링 구간으로 선택하여 샘플 동영상을 생성하는 샘플링 구간 선택부와,상기 샘플 동영상을 저장하는 샘플링 동영상 저장부와,상기 샘플 동영상을 정지영상의 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임으로 분리하는 프레임 분리부와,분리된 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임을 저장하는 프레임 저장부를 포함하는 동영상 품질 평가 장치.
- 제 1 항에 있어서,상기 기설정된 품질 판단 기준은,상기 CIE 색차의 계산 결과가 "0∼4(△E)"일 경우 "아주 우수"의 품질이고, "4∼7(△E)"일 경우 "우수"의 품질이고, "7∼12(△E)"일 경우 "보통"의 품질이고, "12∼20(△E)"일 경우 "미흡"의 품질이고, "20∼(△E)"일 경우 "불량"의 품질인 것을 특징으로 하는 동영상 품질 평가 장치.
- (a)원본 동영상 및 테스트 동영상과 샘플링 파라미터를 입력받는 단계와,(b)상기 원본 동영상 및 테스트 동영상에 대하여 특정 영상 구간을 상기 샘플링 파라미터에 따른 샘플링 구간으로 선택하여 샘플 동영상을 생성하는 단계와,(c)상기 샘플 동영상을 프레임 별로 분리하는 단계와,(d)분리된 상기 샘플 동영상의 프레임에 대하여 휘도 및 색도 필터링 및 프레임을 복원하는 단계와,(e)복원된 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임 사이의 CIE 색차를 색차 계산식 모델을 통해 계산하는 단계와,(f)계산된 상기 CIE 색차의 계산 결과에 대응하는 기설정된 품질 판단 기준에 의거하여 상기 테스트 동영상의 품질을 결정하는 단계를 포함하는 동영상 품질 평가 방법.
- 제 11 항에 있어서,상기 (d)단계는,(d1)분리된 상기 샘플 동영상의 프레임에 대하여 동일 픽셀 위치에 해당하는 각각의 1-D 어레이를 생성하고, 생성된 상기 각각의 1-D 어레이에 저장된 RGB 값을 휘도값과 보색값으로 변환하여 상기 각각의 1-D 어레이에 다시 저장하여 새로운 각각의 1-D 어레이를 생성하는 단계와,(d2)새롭게 생성된 상기 각각의 1-D 어레이를 주파수 공간으로 변환하는 단계와,(d3)휘도 번짐 적용을 위한 휘도값에 대한 휘도 필터를 디자인하는 단계와,(d4)색도 번짐 적용을 위한 색도값에 대한 색도 필터를 디자인하는 단계와,(d5)상기 주파수 공간으로 변환된 상기 각각의 1-D 어레이를 상기 휘도 필터 및 색도 필터를 이용하여 휘도 필터링 및 색도 필터링을 수행하는 단계와,(d6)상기 휘도 필터링 및 색도 필터링이 완료된 상기 각각의 1-D 어레이에 대하여 RGB 값으로 변환하여 원래의 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임으로 복원하는 단계를 포함하는 동영상 품질 평가 방법.
- 제 12 항에 있어서,상기 (d1)단계는,상기 각각의 1-D 어레이에 저장된 RGB 값에 대하여수학식(여기서 X,Y,Z는 삼자극치를 나타낸다.)
을 통해 삼자극치 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 방법. - 제 12 항에 있어서,상기 (d1)단계는,상기 각각의 1-D 어레이에 저장된 RGB 값에 대하여수학식(여기서, L은 휘도값을 나타내며, RG, BY는 보색값을 나타낸다.)
을 통해 휘도값과 보색값으로 변환되어 상기 각각의 1-D 어레이에 다시 저장되는 것을 특징으로 하는 동영상 품질 평가 방법. - 제 12 항에 있어서,상기 (d6)단계는,상기 필터링이 완료된 각각의 상기 1-D 어레이에 대하여수학식
을 통해 삼자극치 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 방법. - 제 12 항에 있어서,상기 (d6)단계는,상기 필터링이 완료된 각각의 1-D 어레이에 대하여수학식
을 통해 RGB 값으로 변환하는 것을 특징으로 하는 동영상 품질 평가 방법. - 제 12 항에 있어서,상기 (d2)단계에서의 주파수 공간으로 변환은, 퓨리에 변환인 것을 특징으로 하는 동영상 품질 평가 방법.
- 제 11 항에 있어서,상기 (e)단계는,(e1)다수의 CIE 색차 계산 모델 중 원하는 색차 계산식 모델을 선택하는 단계와,(e2)상기 색차 계산식 모델에 따라 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임 사이의 색차를 계산하는 단계와,(e3)계산된 상기 프레임마다 색차 계산 결과를 저장하는 단계와,(e4)저장된 상기 색차 계산 결과에 대하여 평균하는 단계를 포함하는 동영상 품질 평가 방법.
- 제 11 항에 있어서,상기 (a)단계 내지 상기 (c)단계는,(c1)상기 원본 동영상 및 테스트 동영상 각각의 특정 영상 구간을 샘플링 구간으로 선택하여 샘플 동영상을 생성하는 단계와,(c2)상기 샘플 동영상을 저장하는 단계와,(c3)상기 샘플 동영상을 정지영상의 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임으로 분리하는 단계와,(c4)분리된 상기 원본 동영상의 프레임과 상기 테스트 동영상의 프레임을 저장하는 단계를 포함하는 동영상 품질 평가 방법.
- 제 11 항에 있어서,상기 기설정된 품질 판단 기준은,상기 CIE 색차의 계산 결과가 "0∼4(△E)"일 경우 "아주 우수"의 품질이고, "4∼7(△E)"일 경우 "우수"의 품질이고, "7∼12(△E)"일 경우 "보통"의 품질이고, "12∼20(△E)"일 경우 "미흡"의 품질이고, "20∼(△E)"일 경우 "불량"의 품질인 것을 특징으로 하는 동영상 품질 평가 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080108570A KR100944125B1 (ko) | 2008-11-03 | 2008-11-03 | 동영상 품질 평가 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080108570A KR100944125B1 (ko) | 2008-11-03 | 2008-11-03 | 동영상 품질 평가 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100944125B1 true KR100944125B1 (ko) | 2010-02-24 |
Family
ID=42083758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080108570A KR100944125B1 (ko) | 2008-11-03 | 2008-11-03 | 동영상 품질 평가 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100944125B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11205616A (ja) | 1998-01-08 | 1999-07-30 | Minolta Co Ltd | 画像評価方法、及びその装置 |
| JP2005252451A (ja) | 2004-03-02 | 2005-09-15 | Sony Corp | 画質検査方法及び画質検査装置 |
| KR20060025181A (ko) * | 2003-06-18 | 2006-03-20 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 비디오 품질 평가 방법 및 시스템 |
| KR100669251B1 (ko) | 2005-11-25 | 2007-01-16 | 한국전자통신연구원 | 디지털 영상 품질 자동 분석 장치 및 방법 |
-
2008
- 2008-11-03 KR KR1020080108570A patent/KR100944125B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11205616A (ja) | 1998-01-08 | 1999-07-30 | Minolta Co Ltd | 画像評価方法、及びその装置 |
| KR20060025181A (ko) * | 2003-06-18 | 2006-03-20 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 비디오 품질 평가 방법 및 시스템 |
| JP2005252451A (ja) | 2004-03-02 | 2005-09-15 | Sony Corp | 画質検査方法及び画質検査装置 |
| KR100669251B1 (ko) | 2005-11-25 | 2007-01-16 | 한국전자통신연구원 | 디지털 영상 품질 자동 분석 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Winkler | Perceptual video quality metrics—A review | |
| Nuutinen et al. | CVD2014—A database for evaluating no-reference video quality assessment algorithms | |
| Leszczuk et al. | Recent developments in visual quality monitoring by key performance indicators | |
| Korshunov et al. | Subjective quality assessment database of HDR images compressed with JPEG XT | |
| KR101787788B1 (ko) | 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 | |
| JP5229669B2 (ja) | 移動イメージの色見えモデル分析方法及びシステム | |
| JP2006203884A (ja) | エッジに基づく画素の配置及び補間の方法 | |
| JP6163288B2 (ja) | 主観的画像品質予測値生成方法、部分劣化測定方法、映像測定装置及び部分劣化測定装置 | |
| EP2815352A2 (en) | Automated detection of video artifacts in an information signal | |
| US7738723B2 (en) | System and method for image display enhancement | |
| Pinson | Why no reference metrics for image and video quality lack accuracy and reproducibility | |
| Shishikui | Quality-of-experience evaluation of 8K ultra-high-definition television | |
| EP0862334A2 (en) | A signal processing system | |
| US8917932B2 (en) | Method of predicting perceptual differences between memory and directly viewed colors in video | |
| KR100944125B1 (ko) | 동영상 품질 평가 장치 및 그 방법 | |
| JP5026001B2 (ja) | デジタルイメージピクセルのイメージ処理のための方法及び装置 | |
| Kerofsky et al. | Improved adaptive video delivery system using a perceptual pre-processing filter | |
| Dumić et al. | Subjective quality assessment of H. 265 versus H. 264 video coding for high-definition video systems | |
| Aamir et al. | HDR-BVQM: High dynamic range blind video quality model | |
| WO2000063838A1 (en) | Automatic black level, luminosity and color compensation for digital still images and digital video | |
| KR101903428B1 (ko) | 연관 이미지간 컬러 보정 시스템 및 보정방법 | |
| Mello et al. | A Comparative Study of Objective Video Quality Assessment Metrics. | |
| Rahayu et al. | Comparison of JPEG 2000 and H. 264/AVC by subjective assessment in the digital cinema | |
| JP2019153939A (ja) | 文字スーパー合成装置及びプログラム | |
| Sugito et al. | A study of objective quality metrics for HLG-based HDR/WCG image coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130205 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140123 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150126 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20160127 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20170124 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20190125 Year of fee payment: 10 |