KR102573982B1 - 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 결정하는 방법 - Google Patents

Abstract

본 발명은 이미지 처리 동작에 의해 왜곡되고, 레퍼런스 시퀀스라 불리는 레퍼런스 하이 다이내믹 레인지 비디오 시퀀스로부터 발생된, HDR 시퀀스라 불리는 적어도 하나의 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 객관적으로 결정하는 방법에 관한 것이다. 본 발명의 방법은 신호의 전처리, 변환, 디컴포지션(decomposition)에 기초한 후속 프리퀀시를 기초로 한다. 비디오 퀄리티는 비디오를 시청하는 동안 사람의 눈의 고정 행동에 관한 공간-시간 분석(spatio-temporal analysis)에 기초하여 계산된다. 본 발명의 이점 중 하나는 과도한 계산을 포함하지 않는다는 것이다.

Description

하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 결정하는 방법{METHOD FOR DETERMINING A VISUAL QUALITY INDEX OF A HIGH DYNAMIC RANGE VIDEO SEQUENCE}

본 발명은 일반적으로 하이 비디오 레인지(HDR, High video range) 비디오 시퀀스에 관련되고, 보다 구체적으로 이미지 처리 동작들에 의해 왜곡이 이루어진 후의 HDR 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 결정하기 위한 것과 관련된다.

비쥬얼 신호 캡쳐 및 프로세싱 분야에 있어 기술의 발전은, 오늘날 멀티미디어 커뮤니케이션 시스템으로 패러다임이 이동하는 동력이 되어왔다. 그 결과, 멀티미디어 시스템 내 네트워크-중심의 서비스 퀄리티 (QoS: Quality of Service)의 개념은 경험 퀄리티 (QoE: Quality of Experience) 의 개념에 의존함으로써 확장되고 있다. 증가하는 실감 비디오(immersive video) 경험 및 최종 사용자의 종합적인 QoE의 측면에서, 새로운 기술, 예를 들어 3D, 울트라 하이 데피니션(UHD: Ultra high definition) 및 보다 최근에는 하이 다이내믹 레인지 (HDR: High dynamic Range) 이미징이 멀티미디어 신호 처리 커뮤니티에 있어 주도권을 얻어왔다. 특히 HDR은 우리가 자연스런 장면을 캡쳐하고 디스플레이하는 방법으로 회귀하는 방법이기 때문에 주의를 끌고 있다. 여기서 자연스런 장면들은 종종 넓은 범위의 조도 값(illumination)을 나타낸다는 사실이 도출된다. 하지만, 이러한 고 휘도 값은 종종 캡쳐링 및 디스플레이 장치들의 전통적인 로우 다이내믹 레인지 (LDR: Low dynamic range) 용량을 초과한다. 결과적으로, 하나의 이미지 또는 캡쳐되는 동안 하나의 비디오에서 어두운 영역과 밝은 영역을 동시에 적절하게 노출하는 것은 가능하지 않다. 이는 오버-노출 (완전히 화이트로 포화되는 픽셀들) 및/또는 언더-노출 (센서에 응답이 그의 노이즈 임계값 아래로 떨어짐에 따라 매우 어두운 또는 노이지 픽셀들)을 초래할 수 있다.

이 두가지 케이스에서, 비쥬얼 정보가 잃거나 대체된다. HDR 이미징은 이러한 손실을 최소화하는데 포커스를 맞추고 높은 콘트라스트와 휘도를 통합함으로써 디스플레이되는 픽셀들의 퀄리티를 향상시키는 것을 목적으로 한다.

결과적으로, HDR 이미징은 학계와 산업계 모두로부터 주의를 끌어왔고, 여기 HDR 비디오 프로세싱을 위한 툴/ 알고리즘들을 개발하기 위한 관심과 노력이 있어왔다. 예를 들어, 여기에 HEVC(High Efficiency Video Coding)을 HDR 에 확장하기 위한 MPEG(Moving Picture Experts Group) 내의 최근 노력들이 있다. 이와 같이, JPEG는 HDR 이미지 압축을 지원하는 오리지날 JPEG 표준을 특징지을 확장자(extensions)를 발표했다. 그러나, HDR 이미지 및 비디오 시퀀스들의 퀄리티를 평가하기 위한 몇몇 작업들에도 불구하고, 주관적 및 객관적 접근법을 모두 이용하여 HDR 비디오 퀄리티의 이러한 툴의 임팩트를 측정하고, 수량화하는 것에 대한 이러한 노력은 전체적으로 부족하다.

따라서 HDR 비디오 퀄리티 측정의 객관적인 방법을 발전시키고 주관적인 기본 참값(subjective ground truth)에 대하여 그들의 퍼포먼스를 벤치마크하는 것이 중요하다.

비쥬얼 퀄리티 측정과 관련하여, 주관적인 접근법 및 객관적인 접근법이 모두 사용될 수 있다. 전자는 사람의 주관적인 판단 및 테스트 자극의 퀄리티 비율의 사용을 포함한다. 적절한 실험 조건 및 충분한 양의 서브젝트 패널이 있으면 그것은 가장 적절한 방법이다. 후자의 퀄리티 평가 방법은 주관적인 비디오 퀄리티의 평가를 제공하는 컴퓨터 사용 모델을 채택한다. 이러한 객관적인 모델은 일반적인 시나리오 내에서 주관적인 견해들을 정확하게 모방할 수 없는 반면, 구체적인 조건들/응용에 있어 합리적으로 유용할 수 있다. 따라서, 그들은 테스팅을 자동화하고, 특히 주관적인 테스트가 실행될수 없을 때 HDR 비디오 압축, 후-처리, 역 비디오 톤 매핑, 기타 등과 같은 HDR 비디오 처리 알고리즘을 표준화하는 중요한 도구가 될 수 있다.

따라서, 여기에 HDR 비디오 압축/ 압축 해제, 후-처리, 역 비디오 톤 매핑과 같은 이미징 처리 동작들 때문에 왜곡을 겪은 HDR 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 자동으로 결정하는 툴이 필요하다.

HDR 시퀀스라 불리는 적어도 하나의 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스 결정 방법을 제안한다.

본 발명은 HDR 시퀀스라 불리는 적어도 하나의 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스 결정 방법에 있어서,

상기 HDR 시퀀스는 이미지 처리 동작들에 의해 왜곡되고, 레퍼런스 시퀀스라 불리는 레퍼런스 하이 다이내믹 레인지 비디오 시퀀스로부터 발생하며,

상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스 각각은 N_frame의 비디오 프레임들 t를 포함하고, N ≥ 2 이고 t∈ [1,…,N_frame]이며,

각 비디오 프레임 t는 행 및 열들로 조직된 다수의 픽셀들을 포함하고, 각 픽셀은 적어도 하나의 휘도 값을 가지며, 상기 방법은 다음의 단계들을 포함함:

상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t를 인지 휘도 도메인(perceived luminance domain) 내에서 얻기 위해 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 변환을 적용하는 단계, 여기서, 상기 인지 휘도 도메인 내 상기 비디오 프레임들 t의 변환된 휘도 값은, 사람의 비쥬얼 시스템에 의해 인지되는 HDR 시퀀스 및 레퍼런스 시퀀스에 대한 휘도값에 대체적으로 리니어하며,

상기 인지 휘도 도메인 내 HDR 시퀀스 및 레퍼런스 시퀀스의 프레임 t의 각 쌍에 대해, 다른 공간 스케일들 s 및 다른 공간 방향들 o에서, s∈[1,…,N_scale], o∈[1,…,N_orient]이고, 상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t 사이의 인지적 유사성(perceptual similarity)을 대표하는 N_scale × N_orient 유사도 프레임 Sim_t,s,o를 계산하는 단계 - 유사도 값은 유사도 프레임 Sim_t,s,o 의 각 픽셀에 관련되며,

상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 프레임들 t의 각 쌍에 대해, 상기 다른 공간 스케일들 s 및 상기 다른 공간 방향들 o에서 상기 계산된 유사도 프레임 Sim_t,s,o에 기초하여 글로벌 유사도 프레임 Sim_t를 계산하는 단계,

q≥2 이고, q 연속적인 글로벌 유사도 프레임 Sim_t의 각 그룹에 대해, 및 상기 q 연속적인 글로벌 유사도 프레임 Sim_t의 그룹 내 다수의 시공간 튜브들 중 각 하나에 대해, 상기 시공간 튜브들 별로 단기 에러 값을 생성하기 위해, 상기 시공간 튜브들 내 포함된 상기 픽셀들의 유사도 값을 통합하는 단계, 여기서 상기 각 시공간 튜브의 단기 에러 값들은 에러 맵 내 포함되며,

q 연속적인 글로벌 유사도 프레임들 Sim_t의 각 그룹 별로 단기 퀄리티 스코어를 생성하기 위해, 상기 각 에러 맵의 상기 단기 에러 값들의 적어도 일부를 통합하는 단계, 및

상기 단기 퀄리티 스코어에 기초하여 상기 HDR 시퀀스의 비쥬얼 퀄리티 인덱스를 계산하는 단계;를 포함한다.

본 발명에 따르면, 비쥬얼 퀄리티 인덱스는 HDR 신호 변환 및 그 이후의, 자격을 갖추게 될 (to be qualified) HDR 시퀀스 및 HDR 시퀀스가 발생되는 레퍼런스 시퀀스의 시공간적 세그먼트 또는 튜브들의 분석에 기초하여 계산된다.

본 발명의 일 실시 예에 따르면, 상기 각 에러 맵의 상기 단기 에러 값들의 적어도 일부는 상기 에러 맵의 가장 낮은 단기 에러 값 m을 포함하고, 상기 m은 상기 에러 맵 내 단기 에러 값들의 전체 개수보다 낮은 정수 값이다.

본 발명의 일 실시 예에 따르면, 상기 넘버 m은 상기 에러 맵 내 상기 단기 에러 값들의 전체 개수 중 소정의 백분율이다.

본 발명의 일 실시 예에 따르면, 상기 소정의 백분율에는 5% 내지 50% 사이가 포함된다.

본 발명의 일 실시 예에 따르면, 상기 방법은 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스를 상기 인지 휘도 도메인으로 변환하는 단계 이전에, 예비 단계를 더 포함하고,

상기 예비 단계는 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 휘도 값을 방출 휘도 값으로 변환하는 단계로 구성된다.

본 발명의 일 실시 예에 따르면, 공간 스케일 s 및 공간 방향 o에 대한 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 상기 프레임들 t 와 관련된 상기 유사도 프레임 Sim_t,s,o 는,

상기 공간 스케일 s 및 상기 공간 방향 o에서 상기 인지 휘도 도메인 내 상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t에 로그-가버 필터를 적용하는 단계;

상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t에 대한 로그-가버 필터의 결과들의 역 푸리에 변환을 계산하여 상기 HDR 시퀀스의 프레임 t에 대한 서브밴드 프레임

및 상기 레퍼런스 시퀀스의 프레임 t에 대한 서브밴드 프레임

를 생성하는 단계; 및

상기 서브밴드 프레임

및

에 기초하여 상기 유사도 프레임 Sim_tso를 계산하는 단계;에 의해서 계산된다.

본 발명의 일 실시 예에 따르면, 글로벌 유사도 프레임 Sim_t는 하기 식,

에 의해 정의된다.

본 발명의 일 실시 예에 따르면, 상기 시공간 튜브들은 비 중첩적인 시공간 튜브들이다.

본 발명의 일 실시 예에 따르면, 상기 인지 휘도 도메인 내 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t는,

상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 대해서 또는 적절한 때 상기 예비 단계에서 발생된 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 대해서,

삭제

인지적으로 균일한 엔코딩(perceptually uniform encoding)을 적용함으로써 생성된다.

본 발명은 다음의 설명, 도면들을 참고하여 더 잘 이해될 수 있고, 주어진 실시 예는 발명의 범위를 제한하지 않는다.
도 1은 본 발명의 일 실시 예에 따라 HDR 시퀀스의 비쥬얼 퀄리티 인덱스를 결정하는 방법을 수행할 때 연속적인 단계에 대한 흐름도이다.
도 2a 및 도 2b는 대수 변환 및 두 개의 다른 범위의 휘도 값 내에서 인지적으로 균일한 엔코딩을 위한 휘도값의 응답 곡선들이다.
도 3은 도 1의 흐름도의 마지막 단계를 구체화하여 설명하는 흐름도이다.
도면 내 구성요소들의 배율, 강조점 등은 필수적인 것이 아니고 본 발명의 주된 내용을 설명하기 위한 것이다.

사람의 비쥬얼 시스템 (HVS: Human visual system) 상의 주된 정보 및 하이 다이내믹 레인지 (HDR: High dynamic range) 비디오는 본 발명 및 그 내용을 적절히 이해하기 위해 제공된다. 사람은 휘도 (luminance, 제곱 미터당 칸델라로 측정됨, cd/m²) 와 눈 사이의 인터랙션을 통하여 외부의 시각적 세계를 인지한다. 먼저, 휘도는 각막을 통과한다. 그러면, 그것은 동공, 홍채에 의해 조정된 조리개, 근육 횡경막을 통과한다. 그 뒤, 광은 렌즈에 의해 굴절되고, 망막 내 광수용기에 이른다. 여기 두 종류의 타입의 광센서, 원뿔형(cones)과 장대형(rods)이 있다. 원뿔형은 대개 망막의 중심와(fovea) 내에 위치한다. 그들은 (광순응 또는 주간 시력으로 언급되는) 10^-2 cd/m² 내지 10⁸ cd/m² 사이의 휘도 레벨들에서 더 민감하다. 게다가, 색각(color vision)은 원뿔형의 세 가지 타입, 짧은, 중간 및 긴 파장의 원뿔에 달렸다. 반면, 장대형은 (암순응 또는 야간 시력인) 10^-6 cd/m² 내지 10 cd/m² 사이의 휘도 레벨들에서 민감하다. 장대형은 원뿔형보다 더 민감하지만 색각을 제공하지 않는다.

실제 세계에서 발견되는 휘도 레벨들에 관하여, 정오의 직접적인 햇빛은 10⁷ cd/m² 을 초과할 수 있는 반면, 야간의 별빛은 10^-1 cd/m²일 수 있다. 이것은 8 자릿수보다 큰 것에 대응한다. 사람의 눈과 관련하여, 그들의 다이내믹 레인지는 주어진 휘도 레벨들을 조절하거나 채택하도록 허용되는 시간에 의존한다. 장대형 및 원뿔형의 존재 덕분에, 사람의 눈은 역동적이고 (즉, 즉각적으로) 소정의 시간을 넘어 (즉, 적응 시간) 가변하는 휘도 레벨들을 조절할 수 있는 뛰어난 능력을 가진다. 충분한 적응 시간이 주어지면, 사람의 눈의 다이내믹 레인지는 약 13 자릿수를 가진다. 하지만, 적응이 없다면, 즉각적인 사람의 시력 범위는 더 작고, 그들은 용량은 역동적으로 조절되고 사람은 전체 범위를 통하여 약 5 자릿수만을 볼 수 있다.

비디오 신호들에서 전통적인 프리퀀시는 충분한 적응 시간을 허용하지 않으므로, 다이내믹 비젼 레인지 (5자릿수) 는 일반적인 HDR 비디오 프로세싱 뿐 아니라 본 발명의 내용에 더 관련 있다. 하지만, 전통적인 디지털 이미징 센서 (전통적인 단일 노출 셋팅을 가정하면) 및 LDR 디스플레이들은 현실 세계 내에서 현재 넓은 다이내믹 레인지와 같은 것을 처리할 능력을 가지지 않는다. 그리고 그들 중 대부분은 (센서들 및 디스플레이들을 캡쳐하는 것 모두) 2 자릿수 이상을 다룰 수 있다. 이러한 제한 덕분에, LDR 테크놀로지를 통하여 보여지고 캡쳐되는 장면들은 낮은 콘트라스트 (비쥬얼 세부 사항들은 포화되거나 노이즈한)를 가지거나 사람이 인지할 수 있는 무엇보다 컬러 전범위가 더 작을 것이다. 이것은 최종 사용자의 실감 경험 지수를 감소시킬수 있다.

따라서, HDR 이미징 테크놀로지는 LDR 캡쳐 및 더 나은 비디오 신호의 캡쳐, 표시 및 디스플레이를 통한 디스플레이 기술들의 불완전성을 극복하기 위해 발전해왔고, 그래서 다이내믹 레인지의 비디오는 사람의 눈의 즉각적인 범위와 더 잘 매치할 수 있다. 특히, HDR 이미징 (전통적인 LDR의 것과 비교했을 때) 의 인자(factor)를 주로 구별하는 것은 당해 장면의 물리적 휘도를 고려함으로써 가능한만큼, 본질적으로 (즉, 어떻게 그들이 현실 세계에 나타나는지) 장면들을 캡쳐링하고 디스플레이하는데 초점을 맞춘다. 하지만, 최초부터 중요한 두 가지 포인트가 언급되어야 한다. 첫 번째로, HDR 이미징에선 보통 비례적인 (절대적이지 않은) 휘도 값들을 다룬다는 점이 강조될 수 있다. 보다 구체적으로, 사전에 정확한 카메라 캘리브레이션이 없다면, HDR 비디오 파일의 휘도 값은 현실 세계 휘도부터 미지의 스케일까지 나타난다. 그럼에도 불구하고, 이것은 대부분의 목적을 달성하는데 충분하다. 두 번째로, 현재 사용가능한 HDR 디스플레이들은 하드웨어적으로 제한되는 구체적인 한계를 넘어선 휘도를 디스플레이할 수 없다. 이것은 단계 S0에서 추후 설명되는 것과 같이, 주관적인 및 객관적인 HDR 비디오 퀄리티 측정 모두를 위한 전-처리 단계를 필요로 한다. 상기 언급된 두 개의 단서들에도 불구하고, HDR 이미징은 LDR 이미징에 비교될만큼 시청자들의 경험을 상당히 향상시킬 수 있다. 그래서, 본 발명은 HDR 비디오의 객관적인 비디오 퀄리티 측정 문제를 다루는 것을 구한다.

도 1은 본 발명의 일 실시 예에 따른 방법의 단계들을 묘사하는 블록 다이어그램을 나타낸다. 그것은 HDR 시퀀스가 발생되는 것으로부터, 분석되기 위한 왜곡된 HDR 시퀀스, 알려진 HDR, 및 레퍼런스 HDR 시퀀스, 알려진 REF를 입력으로 취한다. HDR 시퀀스의 왜곡은 오리지널 시퀀스 REF 상에서 비디오 또는 이미지 처리 동작들, 예를 들어, 비디오 압축, 후-처리, 역 비디오 톤 매핑의 결과가 될 수 있다.

도 1에 도시된 바와 같이, 본 발명의 방법은 다음의 단계를 포함한다:

- 단계 S0: 시퀀스 HDR 및 REF의 본래의 입력 휘도 값(native input luminance values)을 방출 휘도 값 (emitted luminance values)으로 변환;

- 단계 S1: 시퀀스 HDR 및 REF의 방출 휘도 값을 인지 휘도 값(perceived luminance values)으로 변환;

- 단계 S2: 시퀀스 HDR의 프레임 t 및 시퀀스 REF의 프레임 t 사이의 인지적 유사성(perceptual similarity)을 대표하는 시퀀스 HDR 및 REF 의 프레임들 t의 각 쌍에 대해 유사도 맵 Sim_t를 계산;

- 단계 S3: 유사도 맵들 Sim_t 상에서 단기의 시간적 통합(short term temporal pooling);

- 단계 S4: 공간적 통합(spatial pooling); 및

- 단계 S5: 장기의 시간적 통합(long-term temporal pooling).

상기 단계 S0- S5는 다음의 단락에서 구체화된다.

단계 S0

HDR 비디오 신호 나타내기에 관한 두 개의 경험적 지식(observation)이 먼저 언급될 수 있다. 먼저, 본래의 HDR 신호 값은 일반적으로 단지 실제 장면 휘도에 비례할 뿐 그것과 동일하지 않다. 따라서, 일반적으로 각 픽셀 위치에서 정확한 장면 휘도를 알 수 없다. 둘째로, 현실 세계의 최대 휘도 값은 방대하게 다양할 수 있기 때문에, 고정된 최대 (또는 화이트 포인트)의 개념은 HDR 값에 대해 존재하지 않는다. 이러한 두 가지 경험적 지식의 관점에서, HDR 비디오 신호들은 디스플레이 디바이스에 기초하여 해석되어야만 한다. 따라서, 그들의 값은 그들을 보는데 사용되는 HDR 디스플레이 디바이스의 특성에 따라 유리하게 재측정되어야 한다. 이것은 그 형태가 더 표준화된, 예를 들어, 8-비트를 대표하는, 최대값은 255이고, 그것은 전통적으로 500 cd/m²을 초과하지 않는 피크 디스플레이 휘도에 매핑될 수 있는 LDR 비디오의 경우와 다르다. HDR 디스플레이 디바이스와 관련하여, 본질적인 하드웨어 제한은 디스플레이될 수 있는 최대 휘도 상의 제한에 있다.

따라서, HDR 비디오 신호의 전-처리는 소정의 최대 휘도 포인트가 초과되지 않는 다는 점에서 유리하게 규정될 수 있다. 구체적으로, LDR 도메인과 달리, HDR 비디오들은 일반적으로 다른 피크 휘도 및/또는 콘트라스트 비율을 가질 수 있는 HDR 디스플레이 상에서 시청된다. 따라서, 동일한 HDR 비디오에 대한 인공 선명도(artifact visibility)는 사용되는 디스플레이 디바이스에 따라 다를수 있다. 예를 들어, 피크 휘도에 따라 포화도의 레벨이 다를 수 있다.

이러한 단계 S0은 만일 HDR 데이터가 이미 디스플레이를 채택했다면 스킵될 수 있다. 따라서, 이러한 단계는 선택적이다.

이러한 전-처리 단계를 위해 리니어 스케일링과 같은 간단한 것에서부터 좀 더 복잡한 것에 이르기까지 다른 전략들이 채택될 수 있다. 이러한 전-처리는 HDR 시퀀스들에 사용되는 디스플레이 디바이스의 최대 디스플레이될 수 있는 휘도에 관하여 휘도 값을 재스케일링하는 실시 예로 구성된다. 이러한 최대 디스플레이될 수 있는 휘도는 SIM2Solar47 HDR 디스플레이 디바이스에서 4000 cd/m²과 같다.

다른 실시 예에서, 정규화 동작이 본래의 휘도값에 적용될 수 있다. 정규화 인자는 HDR 시퀀스의 모든 프레임들의 본래의 휘도 값의 상위 5% 평균의 최대값으로 결정된다. 구체적으로, 그의 구성요소들은 HDR 시퀀스의 각 프레임내 상위 5% 휘도 값의 평균을 가지는 벡터 MT₅가 계산된다.

여기서 N_v,t 는 프레임 t 에 대한 공간 위치 v에서 본래의 휘도 값들을 나타내고, N_frame은 시퀀스 HDR의 프레임들의 전체 개수이고, T₅ 는 프레임 내 가장 높은 %의 휘도 값을 가지는 셋을 나타낸다.

그리고 나서, 본래의 휘도 값 N은 방출 휘도 값 E로 다음과 같이 변환된다.

---(1)

여기서 곱 인자(multiplication factor) 179는 실제 휘도 값으로 전환을 위한 라디안스 파일 포맷 (RGBE: radiance file format)에 의해 사용되고 정의되는 동일한 에너지의 백색 광의 발광 효율(luminous efficacy)이다. 그리고 나서, 클리핑 기능(clipping function)은 양자 모두 디스플레이 특성들에 의존하는, 블랙 포인트 (가장 낮은 디스플레이가능 휘도) 및 최대 디스플레이가능 휘도에 의해 정의되는 범위로 E 값을 제한하기 위해 적용된다.

단계 S1:

단계 S1은 E_HDR 및 E_REF 로 각각 알려진, 시퀀스 HDR 및 REF의 방출 휘도 값을 P_HDR 및 P_REF로 각각 알려진, 인지 휘도 값으로 변환하는 단계이다. 이 단계는 다른 휘도 레벨들에 대한 사람의 비쥬얼 시스템의 응답으로 주어진, 인지 휘도 값 및 방출 휘도 값 사이의 비선형 관계의 존재 때문에 요구된다. 이러한 비선형성에 대해 암시되는 것은 방출 휘도 내 HDR 비디오 처리 알고리즘에 의해 유발되는 변화들은 비쥬얼 퀄리티의 실제 변위(modification)에 대한 직접적인 대응(correspondence)을 가지지 않을 수 있다는 것이다. 이는 픽셀 값이 전통적으로 감마 부호화되는 LDR의 대표 실시예의 경우와는 다르다. LDR 비디오는 장면 휘도값과 비선형적으로 (감마 곡선 때문에 발생하는 비선형성) 관련된 정보를 부호화한다. 이러한 비선형 대표 실시예의 결과, LDR 픽셀 값들 내 변화들은 HVS에 의해 인지되는 실제 변화들에 대략 선형적으로 관련될 수 있다. 이 때문에, 많은 LDR 이미지/비디오 퀄리티 측정 방법이 상기 감마 부호화된 픽셀 값을 입력으로 직접적으로 채택하고, 왜곡으로 인한 LDR 픽셀들 내 변화들(또는 이러한 픽셀들로부터 추출된 특징들에서의 변화)은 퀄리티 강등을 (레퍼런스 비디오는 항상 완벽한 퀄리티를 가진다고 가정한다) 수량화할 수 있다고 가정한다. 따라서 LDR 도메인과 같이 동일한 기능성을 달성하기 위해, 방출 휘도에 대한 HVS의 상기 비선형성은 HDR 비디오 퀄리티 평가의 목적으로 고려되어야 한다. 이러한 방법으로, 객관적인 HDR 비디오 퀄리티 측정자의 입력 값은 왜곡 때문에 유발된 변화들과 대략 선형적으로 관련될 것이 예측될 수 있다.

웨버의 법칙(Weber law)에 따르면, 저 레벨에서 휘도의 단기 증가는 고 휘도 레벨에서 동일한 증가보다 더 많이 인지된다. 따라서, 두 개의 변환들이 사용될 수 있다:

- 대수 변환, 또는

-“Extending quality metrics to full luminance range images, T. Aydin, R. Mantiuk, H. Seidel, Procedings of the SPIE, vol. 6806, 2008, pp. 68060B-68060B-10 에 개시된, 인지적으로 균일한 (PU: Perceptually Uniform) 엔코딩.

이러한 두개의 변환들은 10^-5 내지 10⁸ cd/m² 범위 내 방출 휘도 값들을 대략 인지적으로 균일한 코드 값들로 변환하는데 이용될 수 있다. 이러한 두 개의 변환들은 도 2a, 도 2b에서 도시된다. 도 2a는 1 내지 200 cd/m²의 범위 내에 있는 입력 휘도 값들에 대한 이러한 두 개의 변환들에 대한 응답을 보여주고, 도 2b는 200 내지 10000 cd/m² 의 범위 내에 있는 입력 휘도 값들에 대한 이러한 두 개의 변환들에 대한 응답을 보여준다.

도 2a를 참고하면, PU 엔코딩의 응답은 대수적인 것과 비교했을 때 저 휘도에서 상대적으로 더 리니어하다. 게다가 이를 수량화하기 위하여, 범위 1 내지 200 cm/m²에서, 오리지널 및 변환된 신호들 사이의 선형 상관관계(linear correlation)는 PU 엔코딩에서는 0.9334이고, 대수 변환에서는 0.9071 인 것이 발견된다. 한편, 도 2b에서 보이는 바와 같이, PU 및 대수 곡선 모두 고 휘도 값 (약 1000 cd/m^2)에서 동일한 응답을 가진다. 이 경우, 선형 상관관계는 PU 및 대수 변환에서 각각 0.8703 및 0.8763 이다. 따라서, PU 엔코딩이 저 휘도에서 대략적으로 리니어한 HVS의 응답에 더 근접하고, 이러한 이유로, PU 엔코딩은 HVS의 응답 및 방출 휘도 사이의 비선형 관계를 기반이 되는 더 나은 모델로 예측된다.

따라서 일 실시 예에 따르면, S1은 PU 엔코딩을 수행함으로써 수행된다. PU 엔코딩은 실질적으로 계산상 오버헤드를 증가시키지 않기 위해 룩-업 테이블 동작을 예로 하여 수행될 수 있다.

단계 S2

본 발명에 따르면, 시퀀스 HDR 및 REF의 세그먼트의 시공간 비교가 시퀀스 HDR 및 REF 의 프레임들 t의 각 쌍 별로 유사도 맵들을 생성하기 위해 수행된다. 먼저, 서브밴드 신호들은 로그-가버 필터들(log-Gabors filters)을 휘도 값 P_HDR 및 P_REF에 적용함으로써 생성된다. 이러한 로그-가버 필터들은 예를 들어 “Relations between the statistics of natural images and the response properties of cortical cells" D.Field, J.Opt.Soc.Am.A4, December 1987, 23792394에서 소개된다. 서브밴드 신호들은 다른 공간 스케일들 및 공간 방향들에서 계산된다.

로그-가버 필터들은 이미지 분석 내 넓게 사용되고, 여기 본래 장면의 고유한 특성을 비교하기 위해 사용된다. 다른 접근법에서, 로그-가버 필터들은 주파수 도메인내에서 사용되고, 극 좌표 h(f,θ) = H_f ×H_θ 에 의해 정의되고, H_f 및 H_θ는 각각 라디안(radial) 및 각(angular) 요소들이다.

---(2)

여기서, H_S,O는 공간 스케일 인덱스 s 및 방향 인덱스 o에 의해 표시되는 필터이고, f_s는 정규화된 스케일의 중앙 프리퀀시 이고, θ는 방향(orientation)이고, σ_s는 B= 인 라디안 대역폭 B를 정의하고, θ_o는 필터의 중앙 방향을 나타내고, σ_o는 각 대역폭 ΔΩ=를 정의한다.

인지 휘도 도메인 내 비디오 프레임들 P_HDR 및 P_REF는, 관계식 (2) 에서 정의되는 프리퀀시 도메인 필터를 가지는 프레임들의 DEF 곱의 역 DFT(이산 푸리에 변환, Discrete Fourier Transform)을 계산함으로써 서브밴드들의 셋으로 압축 해제된다.

그 결과 비디오 프레임들 P_HDR 및 P_REF 의 비디오 프레임들의 서브밴드 값

및

로 각각 표시된다. 여기서,s=1,2,…,N_scale, o=1,2,…,N_orient 및 t=1,2,…,N_frame 이고, N_scale 은 스케일들의 전체 개수이고, N_orient는 방향들의 전체 개수, N_frame은 시퀀스 HDR 및 REF 내 프레임들의 전체 개수이다.

그리고 나서, 서브밴드 값들

와

사이의 유사도 맵은 각 공간 스케일 s 및 각 방향 o 에서 시퀀스 HDR 및 REF 의 각 쌍의 프레임들 t 마다 다시 계산된다.

스케일 s 및 방향 o 에서 프레임 t 에 대한 유사도 맵은 다음과 같이 계산된다:

---(3)

여기서, k 는 0에 의한 나누기를 피하기 위해 추가된 작은 상수값이다. 유사도 맵은 시퀀스들 HDR 및 REF 의 프레임들 t 만큼 많은 픽셀들을 포함한다.

각 픽셀 또는 유사도 맵의 포인트는 시퀀스 HDR 및 REF 의 프레임들 t의 특정한 픽셀 P 와 관련된다. 이러한 포인트의 값은 시퀀스 HDR의 프레임 t의 픽셀 P 및 시퀀스 REF 의 프레임 t의 픽셀 P 사이의 유사도 레벨을 대표한다.

그리고 나서, 프레임 t의 글로벌 유사도 맵 Sim_t는 공간 스케일들 및 방향들을 전체에 걸쳐 통합함으로써 계산된다. 다른 방법들은, 가능한 보틀넥이(bottleneck)이 아닌 콘트라스트 민감도 펑션(CSF: contrast sensitivity function)에 기초하여 이런 것들은 원하는 CSF를 정확하게 계산하고, 특히 그것은 근사-임계값 및 앞의 임계 왜곡(supra-trashold distortions) 양자에 적용가능하며, 콘트라스트 글로벌 유사도 맵을 계산하는데 이용될 수 있다. 따라서, 일 실시 예에 따르면, 글로벌 유사도 맵 Sim_t는 다음과 같이 계산될수 있다.

---(4)

글로벌 유사도 맵 Sim_t는 시퀀스 HDR의 프레임 t 및 시퀀스 REF의 프레임 t 사이의 유사도 레벨을 대표이다. 전체 비디오 시퀀스의 유사도 맵은

과 같이 나타날 수 있다.

유사도 맵

은 프리퀀시 및 방향을 교차하는 그들의 임펙트를 평가함으로써 로컬 왜곡들의 효과의 양을 제한하는 것을 돕는다. 이러한 효과는 공간적으로 및 시간적으로 국소화된 인근의 단기 퀄리티를 계산하기 위하여 시공간 분석을 통하여 이용될 수 있고, 그 다음 다음 단계에서 설명되는 바와 같이 전체 HDR 비디오 퀄리티 스코어를 획득할 수 있다.

단계 S3

비디오 신호들은 공간적 및 시간적 차원들에 모두 정보를 전파한다. 하지만, 눈의 시각적 예민함 제한요소들 때문에, 일반적으로 망막의 중심와(fovea) 로 언급되는, 눈의 망막의 작은 영역에만 고 비쥬얼 예민함을 가지므로, 사람은 비디오를 시청할 때 로컬 영역에 그들의 주의를 고정시킨다. 이것은 망막의 중심와 내 나타나는 원뿔형 광수용기의 높은 밀도 때문이다. 결과적으로, 비쥬얼 신호의 국소화된 영역을 망막의 중심와 필드로 가져오기 위하여 사람의 눈은 그들의 시선을 급격히 이동시켜야 한다. (이러한 움직임들 사이의 시간은 고착 시간(fixation duration)이다). 따라서, 사람들은 로컬 맥락 내에서 비디오 퀄리티를 공간적 및 시간적으로 판단하는 경향이 있고, 이러한 평가에 기초하여 전체 비디오 퀄리티를 결정한다. 즉, 비디오 프레임 내 삽입된 왜곡들의 효과는 단지 공간적 차원으로 한정되는 것이 아니라 명백하게 시공간적이다.

따라서, 객관적인 비디오 퀄리티 측정을 위해 가능한 전략은 시공간적 (ST: spatio-temporal)차원 내 비디오 시퀀스를 분석함으로써, 왜곡의 임펙트가 공간적 및 시간적 축 모두를 따라 로컬라이즈될 수 있도록 하는 것이다.

다음 단계는 도 1 및 도 3을 참고하여 기술될 것이다. 따라서, 본 발명에 따르면, 유사도 맵

은 수평축 x, 수직축 y 및 일시적 데이터 포인터들 z 의 3차원 영역, 즉, 도 3에 기재된 것과 같이 x×y×z 차원을 가지는 입방형에 의해 정의되는 단기 ST (Spatio-Temporal) 튜브들로 각각 분할된다. x 축 및 y축은 공간축으로 정의되는 반면, z 축은 시간 축을 결정한다. x 및 y의 값들은 모두 고정된 부분의 영역을 함께 정의한다. 따라서, 거리, 망막의 중심와 내 비쥬얼 필드의 중심 각 및 디스플레이 해상도를 보는 것을 고려함으로써 계산될 수 있다. 반면, z의 바람직한 범위는 비디오 시퀀스를 시청할 때 평균 고착 시간 (average fixation duration)을 고려함으로써 결정될 수 있다. 이것은 내용 및/또는 왜곡들 때문에 다양할 수 있어서, 연구들은 300-500 ms (8-12 프레임) 범위의 값이 합리적인 선택이라 가리키는 비디오 시청 동안 눈-움직임의 분석과 관련된다.

단계 S3의 첫 번째는, 단기 시간적 통합이 수행된다는 것이다. 이 단계의 목적은 로컬 시공간적 인근의 데이터를 통합(pooling)하거나 융합(fuse)하는 것이다. 더 구체적으로 현재 ST 튜브들 내 데이터를 통합하거나 융합하는 것이다. 도 3에 설명되는 실시 예에 따르면, ST 튜브들은 비-중첩적인 튜브들이다. 다른 실시예에 따르면, 그들은 부분적으로 중첩될 수 있다.

목표로 명심해야 할 것은 고착화 시간 (300-500 ms)과 동등한 단기 듀레이션을 넘어선 공간적 왜곡들의 효과를 특징짓는 것이다. 표준 유사도 편향(a standard similarity deviation) 값은 각 ST 튜브들 별로 계산된다.

결과적으로, 단기 에러 값은 q 연속적인 유사도 맵 Sim_t 의 그룹의 각 ST 튜브별로 계산된다. 예를 들어 q는 10 (표준 유사도 편향은 비디오 시퀀스들 HDR 및 REF 의 10 연속적인 프레임들 별로 계산된다)일 수 있다.

x, y, z 값의 결정은 다음과 같이 수행될 수 있다. 망막의 중심와 내 비쥬얼 필드의 중심 각은 2°라고 가정된다. 그러면, 픽셀들의 수에 관하여 고정된 윈도우의 길이를 나타내는 양 W 는 다음과 같이 계산될 수 있다.

---(5)

여기서 V는 cm 의 시청 거리이고, R은 디스플레이 해상도이고, D_A는 디스플레이 영역이다. 예를 들면, V=178cm 이고, R=1080 *1920 픽셀들 및 D_A= 6100 cm². 이러한 값들을 관계식 (1)로 치환하면

가 주어진다. 계산의 노력들을 줄이기 위해, 이 방법은 (인자 2에 의해) 다운 샘플링된 비디오 프레임들 상에서 실행될 수 있고, 그러므로 고착된 윈도우의 대략적인 길이는

이다. 따라서 x 및 y 값은 더 많은 표준 블록 사이즈에 가까워지기 위해 64 픽셀의 셋일 수 있다. z를 결정하기 위해, 고착화 듀레이션 400ms는 프레임 비율 초당 25 프레임들을 가지는, z=10 프레임인 셋일 수 있다. 예를 들어, 스케일 s 및 방향 o의 수는 각각 5와 4이다. 즉, N_scale =5, N_orient =4 이다. 방향들은 45°에 의해 동등하게 정해진다.

단기 에러 값은 2D 에러 맵 내 그룹핑되고, ST_v,ts·v는 공간 좌표를 나타내고, t_s(=1, 2,…,N_frame/z)는 시공간 프레임들의 결과의 인덱스로 표시된다. 에러 맵은 각 ST 튜브의 포인트를 포함할 수 있다. 이러한 정의에 의하면, 이것이 신호 퀄리티 개선점들을 감소시킬 동안 낮은 비쥬얼 퀄리티를 가지는 비디오 시퀀스는 에러 맵 ST_v,ts 내에서 높게 로컬라이즈된 표준 값들을 가질 것이다. 따라서, 맵 ST_v,ts는 로컬 인근들 내 신호 결합 레벨(signal corerence level)의 수량화를 돕는다.

단계 S5 및 S6

다음 단계 S5 및 S6은 전체 시퀀스 HDR의 종합적인 비디오 퀄리티 스코어 HDR_VQM을 획득하기 위해, 공간적 통합 및 장기의 시간적 통합을 수행하는 것이다. 스코어 HDR_VQM은 비쥬얼 퀄리티 인덱스이다.

비디오 시퀀스 내 어노이언스(annoyance) 레벨을 수량화할 수 있는 종합적인 비디오 퀄리티 스코어를 얻기 위해, 현재 에러 맵 ST_v,ts 내 로컬 에러들은 다음의 두 단계를 통해 통합된다:

(a) 단계 S5에서 단기 퀄리티 스코어의 타임 시리즈(time series)를 생성하기 위해 공간적 통합이 수행된다.

(b) 단계 S6에서 단기 퀄리티 스코어를 종합적인 어노이언스(annoyance) 레벨을 표시하는 단수(single number)로 융합하기 위해 장기의 시간적 통합이 수행된다.

이러한 단계들은 사람들이 비디오 시퀀스를 시청하는 동안 나타나는 어노이언스 또는 단기 에러 임팩트의 계속적인 평가에 기초하여 종합적인 비디오 퀄리티를 평가한다는 전제에 기초한다. 따라서, 단계 S5의 공간적 통합은 도 3에서 설명되는 것과 같은 단기 퀄리티 스코어를 얻기 위해 에러 맵 ST_v,ts 상에서 수행된다.

그리고 나서, 단계 S6의 장기의 통합은 종합적인 비디오 퀄리티 스코어를 계산하기 위해 적용된다. 다음의 식은 단계 S5 및 단계 S6 모두를 수행하기 위해 사용된다.

---(6)

여기서, Lp는 가장 낮은 p% 값 (m 가장 낮은 값)을 가지는 셋을 표시하고, ｜｜는 셋의 카디날리티(cardinality)를 가리킨다. 단기의 공간적 통합 S5 및 장기의 시간적 통합 S6 모두 가장 낮은 p%(= m 가장 낮은 값들) 를 넘어서 완벽하게 수행된다. 이것은 HVS가 그 비쥬얼 데이터 전체를 필수적으로 처리하지 않고, 분석될 데이터의 양을 최소화하기 위해 특정한 선택들을 만들기 때문이다. 당연히, 실현하기에 하찮지 않고(non-trivial), 정확한 HVS 메카니즘과 같은 것을 객관적인 방법으로 통합하기 위한 것이다.

예를 들어, 통합 팩터 p는 5%의 셋 이지만, 그것은 결과들 내 상당한 변화들을 발생시키지 않는 5%~50% 사이가 포함될 수 있다.

이러한 방법의 결과들은 25 관측자들(주관적인 퀄리티 측정)에 의해 만들어진 퀄리티 측정들에 비교되어 왔고, 본 발명은 좋은 결과들을 보여준다.

일 실시 예들이 다양한 수정 및 대체적인 형태(alternative forms)로 접근될 수 있으며, 그 실시예들은 도면들의 예시적 방법으로 보여지고, 여기 그 세부 사항들이 기술될 것이다. 하지만, 이해되어야 할 것은, 그것은 개시된 특정한 형태의 실시 예로 제한되도록 의도되지 않았으며, 예시된 실시예들은 권리범위 내 모든 수정 사항, 동등한 것 및 대체적인 실시 예들을 모두 커버한다. 도면들의 설명을 통하여 숫자 같은 것이 구성요소 같은 것을 참조한다.

도 1 및 도 3의 흐름도에 의해 설명되는 본 발명에 따른 방법은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 디스크립션 언어, 또는 그들의 조합에 의해 실행될 수 있다. 필수적인 작업들을 수행하는 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드, 프로그램 코드 또는 코드 세그먼트들은 머신 또는 저장 매체와 같은 컴퓨터 판독가능 기록매체 내 저장될 수 있다. 프로세서는 필요한 작업들을 수행할 수 있다. 구체적인 구조 및 기능적 디테일들은 단지 여기에 본 발명의 실시 예들을 설명하기 위한 목적으로 나타난다. 하지만, 본 발명은, 많은 다른 형태로 실시되고, 단지 이전에 개시된 실시 예로 제한되는 것으로 추론되지 않아야 한다.

Claims (9)

1. HDR 시퀀스라 불리는 적어도 하나의 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스 결정 방법에 있어서,
   상기 HDR 시퀀스는 이미지 처리 동작들에 의해 왜곡되고, 레퍼런스 시퀀스라 불리는 레퍼런스 하이 다이내믹 레인지 비디오 시퀀스로부터 발생하며,
   상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스 각각은 N_frame의 비디오 프레임들 t를 포함하고, N ≥ 2 이고 t∈ [1,…,N_frame]이며,
   각 비디오 프레임 t는 행 및 열들로 조직된 다수의 픽셀들을 포함하고, 각 픽셀은 적어도 하나의 휘도 값을 가지며, 상기 방법은:
   상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t를 인지 휘도 도메인 내에서 얻기 위해 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 변환을 적용하는 단계, 여기서, 상기 인지 휘도 도메인 내 상기 비디오 프레임들 t의 변환된 휘도 값은, 사람의 비쥬얼 시스템에 의해 인지되는 HDR 시퀀스 및 레퍼런스 시퀀스에 대한 휘도값에 리니어하며;
   상기 인지 휘도 도메인 내 HDR 시퀀스 및 레퍼런스 시퀀스의 프레임 t의 각 쌍에 대해, 다른 공간 스케일들 s 및 다른 공간 방향들 o 에서, s∈[1,…,N_scale], o∈[1,…,N_orient]이고, 상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t 사이의 인지적 유사성(perceptual similarity)을 대표하는 N_scale × N_orient 유사도 프레임 Sim_t,s,o를 계산하는 단계 - 유사도 값은 유사도 프레임 Sim_t,s,o 의 각 픽셀에 관련됨;
   상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 프레임들 t의 각 쌍에 대해, 상기 다른 공간 스케일들 s 및 상기 다른 공간 방향들 o에서 상기 계산된 유사도 프레임 Sim_t,s,o에 기초하여 글로벌 유사도 프레임 Sim_t를 계산하는 단계;
   q≥2 이고, q 연속적인 글로벌 유사도 프레임 Sim_t의 각 그룹에 대해, 및 상기 q 연속적인 글로벌 유사도 프레임 Sim_t의 그룹 내 다수의 시공간 튜브들 중 각 하나에 대해, 상기 시공간 튜브들 별로 단기 에러 값을 생성하기 위해, 상기 시공간 튜브들 내 포함된 상기 픽셀들의 유사도 값을 통합하는 단계, 여기서 상기 각 시공간 튜브의 단기 에러 값들은 에러 맵 내 포함되며;
   q 연속적인 글로벌 유사도 프레임들 Sim_t의 각 그룹 별로 단기 퀄리티 스코어를 생성하기 위해, 상기 각 에러 맵의 상기 단기 에러 값들의 적어도 일부를 통합하는 단계; 및
   상기 단기 퀄리티 스코어에 기초하여 상기 HDR 시퀀스의 비쥬얼 퀄리티 인덱스를 계산하는 단계;를 포함하는 비쥬얼 퀄리티 인덱스 결정 방법.
2. 제1항에 있어서,
   상기 각 에러 맵의 상기 단기 에러 값들의 적어도 일부는 상기 에러 맵의 가장 낮은 단기 에러 값 m을 포함하고, 상기 m은 상기 에러 맵 내 단기 에러 값들의 전체 개수보다 낮은 정수 값인, 비쥬얼 퀄리티 인덱스 결정 방법.
3. 제2항에 있어서,
   상기 m은 상기 에러 맵 내 상기 단기 에러 값들의 전체 개수 중 소정의 백분율인, 비쥬얼 퀄리티 인덱스 결정 방법.
4. 제3항에 있어서,
   상기 소정의 백분율에는 5% 내지 50% 사이가 포함되는, 비쥬얼 퀄리티 인덱스 결정 방법.
5. 제1항에 있어서,
   상기 방법은 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스를 상기 인지 휘도 도메인으로 변환하는 단계 이전에, 예비 단계를 더 포함하고,
   상기 예비 단계는 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 휘도 값을 방출 휘도 값으로 변환하는 단계로 구성되는, 비쥬얼 퀄리티 인덱스 결정 방법.
6. 제1항에 있어서,
   공간 스케일 s 및 공간 방향 o 에 대한 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 상기 프레임들 t 와 관련된 상기 유사도 프레임 Sim_{t ,s,o} 는,
   상기 공간 스케일 s 및 상기 공간 방향 o 에서 상기 인지 휘도 도메인 내 상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t에 로그-가버 필터를 적용하는 단계;
   상기 HDR 시퀀스의 프레임 t 및 상기 레퍼런스 시퀀스의 프레임 t에 대한 로그-가버 필터의 결과들의 역 푸리에 변환을 계산하여 상기 HDR 시퀀스의 프레임 t에 대한 서브밴드 프레임

   

   및 상기 레퍼런스 시퀀스의 프레임 t에 대한 서브밴드 프레임

   

   를 생성하는 단계; 및
   상기 서브밴드 프레임

   

   및

   

   에 기초하여 상기 유사도 프레임 Sim_t,s,o를 계산하는 단계;에 의해서 계산되는, 비쥬얼 퀄리티 인덱스 결정 방법.
7. 제1항에 있어서,
   상기 글로벌 유사도 프레임 Sim_t는 하기 식,
   
   에 의해 정의되는, 비쥬얼 퀄리티 인덱스 결정 방법.
8. 제1항에 있어서,
   상기 시공간 튜브들은 비 중첩적인 시공간 튜브들인, 비쥬얼 퀄리티 인덱스 결정 방법.
9. 제1항에 있어서,
   상기 인지 휘도 도메인 내 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t는,
   상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 대해서 또는 예비 단계에서 발생된 상기 HDR 시퀀스 및 상기 레퍼런스 시퀀스의 비디오 프레임들 t에 대해서,
   인지적으로 균일한 엔코딩(perceptually uniform encoding)을 적용함으로써 생성되는, 비쥬얼 퀄리티 인덱스 결정 방법.