KR20110139020A - Fatigue evaluation method and apparatus for 3d video based on depth map - Google Patents

Fatigue evaluation method and apparatus for 3d video based on depth map Download PDF

Info

Publication number
KR20110139020A
KR20110139020A KR1020100059254A KR20100059254A KR20110139020A KR 20110139020 A KR20110139020 A KR 20110139020A KR 1020100059254 A KR1020100059254 A KR 1020100059254A KR 20100059254 A KR20100059254 A KR 20100059254A KR 20110139020 A KR20110139020 A KR 20110139020A
Authority
KR
South Korea
Prior art keywords
image
depth
fatigue
depth image
parameter representing
Prior art date
Application number
KR1020100059254A
Other languages
Korean (ko)
Other versions
KR101105359B1 (en
Inventor
손광훈
최재섭
김동현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100059254A priority Critical patent/KR101105359B1/en
Publication of KR20110139020A publication Critical patent/KR20110139020A/en
Application granted granted Critical
Publication of KR101105359B1 publication Critical patent/KR101105359B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PURPOSE: A method for measuring the fatigue of a 3D image based on a depth image is provided to quantify the fatigue of a 3D image which is comprised of a 2D image and a depth image. CONSTITUTION: A parameter calculation unit receives a 3D image which is comprised of 2D image and a depth image. By using a pixel value of the depth image, the parameter calculation unit calculates each parameter expressing the spatial complexity, the depth generation location, the temporal complexity, and the average motion speed of a 3D image(210). A fatigue calculation unit calculates the fatigue of 3D image which is inputted through the calculated each parameter(220).

Description

깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치{Fatigue evaluation method and apparatus for 3D video based on depth map}Fatigue evaluation method and apparatus for 3D video based on depth map}

본 발명은 3차원 영상 기술에 관한 것으로 보다 상세하게는 깊이 영상에 기반하여 3차원 영상의 피로도를 측정하는 방법 및 장치에 관한 것이다.The present invention relates to a three-dimensional imaging technology, and more particularly, to a method and apparatus for measuring fatigue of a three-dimensional image based on a depth image.

3차원 영상 기술은 기존 디지털 TV 방송의 뒤를 잇는 실감형 방송의 대표적인 기술이다. 3차원 영상은 인간이 두 눈을 사용하여 입체 공간을 인식하는 양안 시각 원리를 이용하는 기술로써 많은 전문가들이 연구하고 여러 국가들이 기술 개발에 집중하고 있다. 하지만 3차원 영상은 2차원 영상과는 달리 많은 휴먼 팩터들이 관련되어 있어 개발하는데 큰 어려움을 겪고 있다. 3차원 영상 처리 기술과 3차원 디스플레이는 빠른 속도로 연구 및 개발되고 있지만 3차원 영상에서 발생하는 피로도 때문에 3차원 영상 시장의 발전 속도는 기대에 못 미치고 있다. 3차원 영상은 초점거리와 수렴각도의 불일치, 두 눈에 제공되는 영상의 차이, 시공간적인 과도한 변화 등으로 인해 피로감과 어지럼증 등을 유발하게 되는데 이는 시청자의 안전문제와 직결된다. 특히 불완전한 기술로 제작된 영상 시청으로 인해 일본에서 발생한 광과민성발작증세 이후 안전성에 대한 관심은 더욱 커졌다. 따라서 눈에 미치는 영향을 최우선으로 고려하여 안전성을 보장할 수 있는 3차원 영상 평가 기술 개발이 매우 중요한 이슈로 떠오르고 있으며, 안전성과 관련한 화질평가 표준화 작업도 국내 외에서 활발히 진행되고 있다.3D image technology is a representative technology of immersive broadcasting that follows digital TV broadcasting. 3D imaging is a technology that uses the binocular vision principle in which humans recognize stereoscopic space using two eyes, and many experts research and various countries are focusing on technology development. However, unlike two-dimensional images, three-dimensional images have a lot of human factors, which makes them difficult to develop. Although 3D image processing technology and 3D display are being researched and developed at high speed, the development speed of the 3D image market is less than expected due to the fatigue caused by the 3D image. 3D images cause fatigue and dizziness due to mismatches in focal length and convergence angle, differences in images provided to both eyes, and excessive time and space changes, which are directly related to viewer safety. In particular, due to incomplete technology, the interest in safety has increased after the photosensitive seizure in Japan. Therefore, the development of 3D image evaluation technology that can guarantee safety by considering the effect on the eyes as a top priority has emerged as a very important issue, and the standardization of image quality evaluation related to safety is also active in Korea and abroad.

3차원 안전성 평가 연구는 3차원 영상 특성 및 디스플레이의 종류에 따른 주관적 화질 평가가 주를 이루고 있다. 그러나 대부분의 3차원 영상의 피로도 측정은 주관적인 평가에 한정되어 있고 3차원 영상의 안전성에 대한 연구가 아직 많이 부족하다.In the 3D safety evaluation research, the subjective image quality evaluation is mainly made according to the 3D image characteristics and the type of display. However, most of the fatigue measurement of 3D image is limited to subjective evaluation, and much research on the safety of 3D image is still insufficient.

본 발명이 이루고자 하는 기술적 과제는 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도를 정량화할 수 있는 3차원 영상의 피로도 측정 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a method and apparatus for measuring fatigue of a 3D image capable of quantifying the fatigue of a 3D image including a 2D image and a depth image.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 방법은, 상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 단계; 및 상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 단계를 포함하는 것을 특징으로 한다. In order to solve the above technical problem, according to the present invention, a fatigue measurement method of a three-dimensional image consisting of a two-dimensional image and a depth image, the spatial complexity of the three-dimensional image, depth generating position, Calculating each parameter indicative of temporal complexity, average motion velocity; And calculating the fatigue degree of the 3D image using the calculated respective parameters.

상기 공간적 복잡도를 나타내는 파라미터는, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산할 수 있다.The parameter representing the spatial complexity may be calculated using a variance of pixel values of the depth image of each frame.

또한, 상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구할 수 있다.In addition, in obtaining a variance of pixel values of the depth image, the variance may be obtained by dividing the depth image by regions and assigning different weights to the regions.

또한, 상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 상기 파라미터를 0에서 1 사이의 값으로 정규화시킬 수 있다.In addition, in calculating the parameter representing the spatial complexity, the parameter may be normalized to a value between 0 and 1 using the variance of the pixel value of the depth image of each frame as an exponent of the exponential function.

상기 깊이 생성 위치를 나타내는 파라미터는, 상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산할 수 있다.The parameter representing the depth generation position may be calculated by using a difference between a mean of pixel values of the depth image and a position of the 3D display at a depth level.

상기 시간적 복잡도를 나타내는 파라미터는, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산할 수 있다.The parameter representing the temporal complexity may be calculated using a variance of pixel value differences of depth images between successive frames.

또한, 상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구할 수 있다.In addition, in obtaining the variance of the pixel value difference of the depth image between the successive frames, the variance may be obtained by dividing the depth image for each region and giving different weights for each region.

상기 평균 움직임 속도를 나타내는 파라미터는, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산할 수 있다.The parameter representing the average movement speed may be calculated using an average of pixel value differences of depth images between successive frames.

상기 3차원 영상의 피로도를 계산함에 있어서, 상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산할 수 있다.In calculating the fatigue degree of the 3D image, the fatigue degree may be calculated by a linear combination of the calculated respective parameters.

상기 기술적 과제를 해결하기 위하여, 상기된 3차원 영상의 피로도 측정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above technical problem, there is provided a computer-readable recording medium recording a program for executing the above-described fatigue measurement method of the three-dimensional image.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 장치는, 상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 파라미터 계산부; 및 상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 피로도 계산부를 포함하는 것을 특징으로 한다. In order to solve the above technical problem, according to the present invention, a fatigue measurement apparatus of a three-dimensional image consisting of a two-dimensional image and a depth image, the spatial complexity of the three-dimensional image, depth generating position, A parameter calculator for calculating each parameter representing a temporal complexity and an average motion speed; And a fatigue calculator for calculating fatigue of the 3D image using the calculated respective parameters.

상기된 본 발명에 의하면, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도를 정량화할 수 있는 3차원 영상의 피로도 측정 방법 및 장치를 제공한다.According to the present invention described above, a method and apparatus for measuring fatigue of a 3D image, which can quantify the fatigue of a 3D image including a 2D image and a depth image, are provided.

도 1은 2D plus depth 영상의 일 예이다.
도 2a는 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 방법의 흐름도이다.
도 2b 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 장치의 블록도이다.
도 3은 깊이 영상의 구역별 가중치의 일 예를 나타낸다.
도 4는 comfort 영역의 개념도를 나타낸다.
도 5는 공간적 복잡도가 큰 영상과 작은 영상의 깊이 영상의 일 예이다.
도 6은 깊이 생성 위치가 다른 깊이 영상의 일 예이다.
도 7은 사용된 실험 영상의 예이다.
도 8은 본 발명의 일 실시예에 따라 측정된 피로도와 주관적 피로도를 나타낸다.
1 is an example of a 2D plus depth image.
2A is a flowchart of a method of measuring fatigue of a 3D image according to an exemplary embodiment.
2B is a block diagram of an apparatus for measuring fatigue of a 3D image according to an exemplary embodiment.
3 illustrates an example of weights for respective zones of a depth image.
4 shows a conceptual diagram of the comfort region.
5 is an example of a depth image of an image having a large spatial complexity and a small image.
6 is an example of a depth image having different depth generation positions.
7 is an example of an experimental image used.
8 illustrates fatigue and subjective fatigue measured according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

본 발명의 일 실시예에 의하면, 예컨대 도 1에 도시된 바와 같은 무안경식 다시점 디스플레이의 2D plus depth 영상, 즉 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상에 대한 피로도를 계산한다. 안경식 스테레오 디스플레이 대신 무안경식 다시점 디스플레이를 사용하는 이유는 첫째로 시역의 제한과 안경 착용의 불편함 때문이다. 일반적으로 TV는 시역에 상관없이 볼 수 있는 장치로 생각되지만 3차원 TV의 경우 입체감을 느끼기 위해 양안에 다른 영상을 제공하므로 다수의 시청자에게 영상을 제공하는 것이 어렵고, 스테레오 TV는 편광 방식을 사용하기 때문에 안경을 휴대하고 착용해야 하는 불편함이 있다. 둘째로 차세대 실감형 방송에 적용될 가능성이 크다. 스테레오 영상에서 변이 혹은 깊이를 정확히 측정하려면 알고리즘의 복잡도가 매우 크고 시간이 오래 걸린다. 그러나 2D plus depth 영상은 이미 깊이 정보를 포함하고 있기 때문에 자유 시점 TV과 같은 기술에 효과적으로 적용할 수 있다. DIBR(Depth-Map Based Rendering) 기법을 사용하여 다른 시점의 칼라 영상을 생성할 수 있다는 효용성 때문에 MPEG에서도 많이 주목하고 있다. According to an embodiment of the present invention, for example, a fatigue degree of a 2D plus depth image of an autostereoscopic multiview display as shown in FIG. 1, that is, a 3D image composed of a 2D image and a depth image is calculated. The reason why the non-glass multiview display is used instead of the stereoscopic display is firstly because of limitation of viewing area and inconvenience of wearing glasses. Generally, TV is regarded as a device that can be viewed regardless of the viewing area, but in the case of 3D TV, because it provides different images in both eyes to feel 3D, it is difficult to provide images to a large number of viewers, and stereo TV uses a polarization method. Because of the inconvenience to carry and wear glasses. Second, it is likely to be applied to next-generation realistic broadcasting. Accurately measuring disparity or depth in stereo images is very complex and time consuming. However, since 2D plus depth images already contain depth information, they can be effectively applied to technologies such as free-view TV. MPEG (Depth-Map Based Rendering) techniques can be used to generate color images at different times.

3차원 영상의 피로도는 화면 구성, 물체들의 다양하고 빠른 움직임과 같은 영상의 시공간적인 특성에 기인한다. 따라서 본 발명의 일 실시예에 의하면, 깊이 영상에서 이를 측정하여 피로도를 측정한다. The fatigue of the 3D image is due to the spatiotemporal characteristics of the image such as the screen composition and various fast movements of the objects. Therefore, according to an embodiment of the present invention, the fatigue degree is measured by measuring it in the depth image.

도 2a는 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 방법의 흐름도이고, 도 2b 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 장치의 블록도이다. 2A is a flowchart of a method of measuring fatigue of a 3D image according to an exemplary embodiment of the present invention, and FIG. 2B is a block diagram of a fatigue measuring apparatus of a 3D image according to an embodiment of the present invention.

본 실시예에 따르면, 파라미터 계산부(1010)는 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상을 입력받고, 깊이 영상의 화소 값을 이용하여 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산한다(210단계).According to the present exemplary embodiment, the parameter calculator 1010 receives a 3D image including a 2D image and a depth image, and uses the pixel values of the depth image to determine the spatial complexity, depth generation position, temporal complexity, Each parameter representing the average movement speed is calculated (step 210).

이러한 파라미터 계산부(1010)는 통상적인 컴퓨팅 환경에서의 데이터 비교 및 연산을 위한 프로세서와 작업에 필요한 데이터를 적재하고 가공할 수 있는 메모리로 구현될 수 있다. The parameter calculator 1010 may be implemented as a processor for loading and processing data necessary for a task and a processor for data comparison and operation in a typical computing environment.

그리고, 피로도 계산부(1020)는 상기 계산된 각 파라미터를 이용하여 입력된 3차원 영상의 피로도를 계산하여 그 값을 출력한다(220단계).The fatigue calculator 1020 calculates the fatigue degree of the input 3D image by using the calculated respective parameters and outputs the calculated value (step 220).

이러한 피로도 계산부(1020) 역시 통상적인 컴퓨팅 환경에서의 데이터 비교 및 연산을 위한 프로세서와 작업에 필요한 데이터를 적재하고 가공할 수 있는 메모리로 구현될 수 있다.The fatigue calculator 1020 may also be implemented as a processor for loading and processing data required for a task and a processor for data comparison and calculation in a typical computing environment.

깊이 영상의 화소 값은 물체의 구조와 위치를 반영하고 있기 때문에 직접적인 측정이 가능하고, 칼라 영상과 달리 그레이 레벨로 되어 있기 때문에 값의 조절도 용이하다. 본 발명의 일 실시예에 따라서 영상의 피로도가 측정되면 3차원 영상에 대한 안전성 모니터링 및 개선에 사용될 수가 있다.Since the pixel value of the depth image reflects the structure and position of the object, direct measurement is possible, and unlike the color image, the pixel value is easy to adjust the value. According to an embodiment of the present invention, when the fatigue level of the image is measured, it may be used for safety monitoring and improvement of the 3D image.

본 발명의 일 실시예에 따르면, 상기된 바와 같이 3차원 영상의 특성을 측정하여 피로도를 측정하기 위해서 2D plus depth 영상의 깊이 영상 정보를 사용한다. 깊이 영상은 칼라 영상과 비교해 볼 때, 물체에 따라 다른 깊이 값을 가지고 물체 내에서 대부분 동일한 깊이 값을 가지므로 따로 물체를 분리할 필요가 없기 때문에 직접적으로 물체의 움직임과 특성을 측정하는 것이 가능하다. According to an embodiment of the present invention, the depth image information of the 2D plus depth image is used to measure the fatigue degree by measuring the characteristics of the 3D image as described above. Compared to the color image, the depth image has different depth values depending on the object, and most of the depth images have the same depth value in the object. Therefore, it is possible to directly measure the motion and characteristics of the object because there is no need to separate the objects. .

본 발명의 일 실시예에서 특별한 잡음 및 왜곡이 없는 3차원 영상일 경우 2차원 컬러 영상은 피로함에 큰 영향을 미치지 않는다고 가정하고 깊이 영상의 시공간적인 특성만을 사용하여 피로도를 측정한다. 측정할 깊이 영상의 공간적, 시간적인 특성을 구분하고 각 요소의 물리적 의미를 나타내면 아래 표 1과 같다.In the exemplary embodiment of the present invention, in the case of a three-dimensional image without special noise and distortion, it is assumed that the two-dimensional color image does not have a large influence on fatigue, and fatigue is measured using only the spatiotemporal characteristics of the depth image. The spatial and temporal characteristics of the depth image to be measured and the physical meaning of each element are shown in Table 1 below.

Figure pat00001
Figure pat00001

깊이 영상의 시공간적인 특성은 물체의 개수, 깊이 값의 변화, 움직임의 속도와 같은 요소들에 의해 결정된다. 빠르게 움직이는 다수의 물체가 포함된 영상은 깊이를 합성하는데 큰 어려움을 준다. 따라서 본 발명의 일 실시예에서는 공간적/시간적인 복잡도와 더불어 디스플레이에서 영상의 깊이가 생성되는 위치와 전체적인 영상의 움직임 속도를 측정하여 3차원 영상의 피로도를 측정한다.The spatiotemporal characteristics of the depth image are determined by factors such as the number of objects, change in depth value, and speed of movement. Images with many fast moving objects present great difficulty in compositing depth. Therefore, in an embodiment of the present invention, the fatigue degree of the 3D image is measured by measuring the position where the depth of the image is generated on the display and the movement speed of the overall image in addition to the spatial / temporal complexity.

3차원 영상의 화면 구성의 공간적 복잡도를 나타내는 파라미터의 계산에 관하여 설명하면 다음과 같다. The calculation of a parameter representing the spatial complexity of the screen configuration of the 3D image will be described below.

한 장면에 매우 많은 물체가 다수의 깊이 레벨에 분포하고 있으면 동시에 깊이를 합성하기 쉽지 않다. 본 발명의 일 실시예에서는 수학식 1과 같이, 각 프레임의 깊이 영상의 화소 값의 분산을 이용하여 각 프레임에서 물체의 깊이 분포 범위와 다수의 물체가 장면에 존재하는지를 측정한다. If very many objects in a scene are distributed at multiple depth levels, it is not easy to synthesize depths at the same time. In an embodiment of the present invention, as shown in Equation 1, the depth distribution range of an object and a plurality of objects exist in a scene by using the variance of pixel values of the depth image of each frame.

또한, 공간적 복잡도는 화면 구성의 특성을 반영하는 요소이므로, 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 깊이 영상의 화소 값의 분산을 구할 수 있다. 예컨대, 도 3에 도시된 바와 같이 시선이 집중되는 부분과 그렇지 않은 부분으로 나누어 다른 가중치를 둠으로써 시선이 집중되는 부분에 더 큰 가중치를 부여하는 것이다. 도 3을 참조하면, 시선이 주로 집중되는 가운데 부분은 가중치를 1.2로 하였으며, 시선이 덜 집중되는 모서리 부분은 가중치를 0.85로 하였다. In addition, since spatial complexity is a factor reflecting the characteristics of the screen configuration, the depth image may be classified for each region and given a different weight for each region to obtain a dispersion of pixel values of the depth image. For example, as shown in FIG. 3, the weight is divided into a portion where the line of sight is concentrated and a portion that is not, and a different weight is applied to the portion where the line of sight is concentrated. Referring to FIG. 3, the center portion where the gaze is mainly concentrated is 1.2, and the corner portion where the gaze is less concentrated is 0.85.

본 발명의 일 실시예에서, 최종적인 공간적 복잡도를 나타내는 파라미터는 수학식 1과 같이 각 프레임의 깊이 영상의 화소 값의 분산의 평균이며, 또한 지수(exponential) 함수를 사용하여, 즉 각 프레임의 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 0과 1 사이의 값으로 정규화시킬 수 있다. In one embodiment of the present invention, the parameter representing the final spatial complexity is the average of the variance of the pixel values of the depth image of each frame, as shown in Equation 1, and also using an exponential function, that is, the depth of each frame The variance of the pixel values of the image can be normalized to a value between 0 and 1 using the exponential of the exponential function.

Figure pat00002
Figure pat00002

여기서, Cspatial은 3차원 영상의 공간적 복잡도를 나타내는 파라미터를, N은 영상의 프레임 수를, m, n은 깊이 영상의 크기(가로, 세로)를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, fi(x, y)는 i 번째 프레임 깊이 영상의 화소 (x, y)의 화소 값을, E(fi(x, y))는 i 번째 프레임 깊이 영상의 화소 값의 평균을 나타낸다. 그리고 σs 는 스케일 팩터로서 임의로 선택되는 상수 값이다. σs 는 N 개의 영상의 공간적 복잡도 파라미터 값이 0과 1 사이에서 고루 분포되도록 실험을 통하여 정할 수 있다. Where C spatial is a parameter representing the spatial complexity of the 3D image, N is the number of frames of the image, m, n is the size (horizontal and vertical) of the depth image, and (x, y) is the pixel coordinate of the depth image. Where w (x, y) is the weight of pixel (x, y), f i (x, y) is the pixel value of pixel (x, y) of the i-th frame depth image, and E (f i (x , y)) represents an average of pixel values of an i-th frame depth image. And [sigma] s is a constant value arbitrarily selected as a scale factor. σ s can be determined through experiments so that the spatial complexity parameter values of the N images are distributed evenly between 0 and 1. FIG.

상기된 공간적 복잡도 파라미터는, 깊이 영상 내에 다수의 물체가 다수 존재하고, 화면 구성이 조잡하며 깊이 레벨의 전 영역에 걸쳐 깊이가 생성되는 경우 0에 가까운 값을 가지게 되고, 장면이 단순하고 복잡하지 않으며 깊이 레벨의 수가 적은 경우 1에 가까운 값을 가진다. 이 특성은 영상의 전체적인 피로도에 상당히 큰 영향을 끼치는 요소이다.The spatial complexity parameter described above has a value close to zero when a large number of objects exist in the depth image, the screen configuration is coarse, and the depth is generated over the entire area of the depth level, and the scene is simple and not complicated. If the number of depth levels is small, the value is close to one. This characteristic is a significant factor in the overall fatigue of the image.

이하에서는, 3차원 영상의 깊이 생성 위치를 나타내는 파라미터의 계산에 관하여 설명한다.Hereinafter, the calculation of the parameter indicating the depth generation position of the three-dimensional image will be described.

3차원 영상에는 도 4에 도시된 바와 같이, 디스플레이를 기준으로 두 눈이 깊이를 합성하기 편안한 범위가 존재하는데 이를 comfort 영역이라 한다 comfort 영역에 관하여는 문헌 ["3D Movie Making: Stereoscopic digital cinema from script to screen," Bernard Mendiburu, FOCAL PRESS, 2009.]에 기술되어 있다. 이 comfort 영역을 벗어나게 되면 양안이 깊이를 합성하기가 힘들어 피로감을 유발하게 된다. 특히 깊이가 깊이 레벨 전 영역에 고루 분포된 경우 전경과 후경의 변이 차이가 크기 때문에 피로감을 느끼게 되고, 모든 깊이가 디스플레이 앞이나 혹은 뒤에만 분포되는 경우도 전체적으로 앞으로 돌출되거나 뒤로 함몰된 것처럼 보이게 되어 불편함을 느낀다. 따라서 깊이가 어느 위치에서 생성되는지, 즉, 깊이가 comfort 영역 안에 어느 정도 형성되는지 측정을 하는 것이 필요하다. In the 3D image, as shown in FIG. 4, there is a comfortable range for the two eyes to synthesize the depth based on the display, which is called the comfort region. [3D Movie Making: Stereoscopic digital cinema from script] to screen, "Bernard Mendiburu, FOCAL PRESS, 2009." Outside of this comfort zone, both eyes are difficult to synthesize depth, causing fatigue. In particular, if the depth is distributed evenly over the entire depth level, the difference between the foreground and the rear view is large, and you may feel fatigued. Even if all the depths are distributed in front of or behind the display, it may appear to be projected forward or recessed as a whole. I feel it. Therefore, it is necessary to measure where the depth is generated, that is, how much the depth is formed in the comfort zone.

본 발명의 일 실시예에서 깊이 생성 위치 측정은 수학식 2와 같이, 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산한다. In one embodiment of the present invention, the depth generation position measurement is calculated by using the difference between the average of pixel values of the depth image and the position of the 3D display in the depth level, as shown in Equation 2.

Figure pat00003
Figure pat00003

여기서, Aspatial은 깊이 생성 위치를 나타내는 파라미터를, N은 영상의 프레임 수를, Ddisplay는 깊이 레벨에서 3차원 디스플레이 평면의 위치(예컨대, Philips WOWvx autostreoscopic 3D Display의 경우 Ddisplay=128)를, (x, y)는 깊이 영상의 화소 좌표를, fi(x, y)는 i 번째 프레임 깊이 영상의 화소 (x, y)의 화소 값을, E(fi(x, y))는 i 번째 프레임 깊이 영상의 화소 값의 평균을 나타낸다. ρs 역시 σs와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다. 깊이 값은 0에 가까울수록 디스플레이의 뒤쪽, 255에 가까울수록 디스플레이의 앞쪽을 나타낸다. 영상이 comfort 영역에서 벗어날수록 피로감을 유발하므로 Aspatial은 0에 가까운 값을 가지고, comfort 영역 안에 위치할수록 1에 가까운 값을 가지게 된다.Where A spatial is the parameter representing the depth generation position, N is the number of frames of the image, D display is the position of the three-dimensional display plane at the depth level (e.g. D display = 128 for Philips WOWvx autostreoscopic 3D Display), (x, y) is the pixel coordinate of the depth image, f i (x, y) is the pixel value of the pixel (x, y) of the i-th frame depth image, and E (f i (x, y)) is i The average of the pixel values of the first frame depth image. s is also a constant value chosen arbitrarily as a scale factor, like s . The depth value is closer to zero, the rear of the display, and closer to 255 is the front of the display. As the image deviates from the comfort zone, it causes fatigue, so the A spatial value is close to 0, and the closer to 1 the spatial value is.

3차원 영상의 시간적 복잡도를 나타내는 파라미터의 계산에 관하여 설명하면 다음과 같다. The calculation of the parameter representing the temporal complexity of the 3D image will be described below.

화면 내에 다양한 속도의 다수의 움직임이 존재하면 다른 속도를 가지고 움직이는 각각의 물체를 동시에 합성하는 것은 쉽지 않다. 따라서 본 실시예에서는 다음 수학식 3과 같이, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 시간적 복잡도를 나타내는 파라미터를 구함으로써 화면 내에 얼마나 다양한 속도의 움직임이 있는지 측정한다. 단, 이러한 시간적인 특성을 측정함에 있어서 깊이 영상의 공간적 특성에 영향을 받지 않도록 하기 위하여, 깊이 값의 범위를 0에서 255 사이의 전 영역으로 확장하여 통일한 후 측정하는 것이 바람직하다. If there are multiple movements of various speeds on the screen, it is not easy to synthesize each object moving at different speeds at the same time. Therefore, in the present embodiment, as shown in Equation 3 below, by measuring a parameter representing the temporal complexity by using the variance of the pixel value difference of the depth image between successive frames, it is measured how the various speed movement in the screen. However, in order to not be affected by the spatial characteristics of the depth image in measuring such temporal characteristics, it is preferable to extend the range of the depth value to the whole area between 0 and 255 to unify and measure it.

시간적 복잡도 역시 시선이 화면의 중간에 집중되는 구조적인 특성이 반영되기 때문에 공간적 복잡도와 마찬가지로 도 3에 도시된 바와 같이 시선이 집중되는 부분과 그렇지 않은 부분으로 나누어 다른 가중치를 둠으로써 시선이 집중되는 부분에 더 큰 가중치를 부여할 수 있다.Temporal complexity also reflects the structural characteristics in which the line of sight is centered in the middle of the screen, so as in the case of spatial complexity, as shown in FIG. Can be given more weight.

Figure pat00004
Figure pat00004

여기서, Ctemporal은 3차원 영상의 시간적 복잡도를 나타내는 파라미터를, N은 영상의 프레임 수를, m, n은 깊이 영상의 크기(가로, 세로)를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, di(x,y)는 i번째 프레임 깊이 영상의 화소 값 fi(x,y)와 i+1번째 프레임 깊이 영상의 화소 값 fi+1(x,y)의 차이 값을 나타낸다. 그리고 σt 역시 σs와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다. Where C temporal is a parameter representing the temporal complexity of the 3D image, N is the number of frames of the image, m and n are the size (horizontal and vertical) of the depth image, and (x, y) is the pixel coordinate of the depth image. Where w (x, y) is the weight of pixel (x, y), and d i (x, y) is the pixel value f i (x, y) and i + 1 th frame depth image of the i-th frame depth image. Denotes the difference value of the pixel value f i + 1 (x, y). And σ t is a constant value arbitrarily selected as a scale factor like σ s .

영상에서 화면의 전체적인 변화와 다수의 물체가 각기 다른 속도로 움직이는 경우가 많다면 시간적 복잡도 파라미터는 0에 가까워지고, 물체들의 움직임이 적을수록 1에 가까운 값을 가지게 된다. 이러한 시간적 복잡도는 공간적 복잡도와 마찬가지로 영상의 피로도를 측정하는데 큰 비중을 차지하는 요소이다. 그러나 시간적 복잡도는 움직임의 다양성만을 측정할 수 있고 영상의 속도는 반영되지 않기 때문에 후술할 영상의 전체적인 평균 움직임 속도를 측정할 필요가 있다.In the image, when the overall change of the screen and many objects move at different speeds, the temporal complexity parameter is close to zero, and the smaller the movement of the object, the closer to one. This temporal complexity, like spatial complexity, is a major factor in measuring image fatigue. However, since temporal complexity can measure only the variety of motions and does not reflect the speed of the image, it is necessary to measure the overall average motion speed of the image to be described later.

이하에서는, 3차원 영상의 평균 움직임 속도를 나타내는 파라미터의 계산에 관하여 설명한다. Hereinafter, the calculation of the parameter indicative of the average motion speed of the three-dimensional image will be described.

영상이 시간에 따라 전체적으로 빠르게 움직이면 깊이를 합성할 시간이 부족하여 피로도를 유발하게 된다. 따라서 다음 수학식 4와 같이, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 영상의 평균 움직임 속도를 나타내는 파라미터를 구함으로써 전체적인 영상의 평균 움직임 속도를 측정한다. 이때, 시간적 복잡도와 마찬가지로 깊이 레벨의 범위를 0~255로 확장하여 측정한다. 시간적 복잡도가 움직임의 다양성을 나타낸다면 평균 움직임 속도는 움직임의 크기를 나타낸다. If the image moves quickly over time, it will cause fatigue due to lack of time to synthesize depth. Therefore, as shown in Equation 4, the average motion speed of the entire image is measured by obtaining a parameter representing the average motion speed of the image using an average of pixel value differences of depth images between successive frames. At this time, the depth level range is measured to be extended from 0 to 255 as in the time complexity. If temporal complexity represents the variety of movements, then the average movement velocity represents the magnitude of the movement.

Figure pat00005
Figure pat00005

여기서, Atemporal은 3차원 영상의 평균 움직임 속도를 나타내는 파라미터를, N은 영상의 프레임 수를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, di(x,y)는 i번째 프레임 깊이 영상의 화소 값 fi(x,y)와 i+1번째 프레임 깊이 영상의 화소 값 fi+1(x,y)의 차이 값을 나타낸다. 그리고 ρt 역시 σs와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다.Here, A temporal is a parameter representing the average moving speed of the 3D image, N is the number of frames of the image, (x, y) is the pixel coordinate of the depth image, w (x, y) is the pixel (x, y D i (x, y) is the difference between the pixel value f i (x, y) of the i-th frame depth image and the pixel value f i + 1 (x, y) of the i + 1 th frame depth image. Indicates a value. And ρt, like σ s , is a constant value that is arbitrarily chosen as a scale factor.

영상의 전체적인 속도가 빠를수록 평균 움직임 속도 파라미터는 0에 가까운 값을 가지고, 느릴수록 1에 가까운 값을 가진다.The faster the overall speed of the image, the closer the average motion speed parameter is to 0, and the slower the value to be closer to 1.

상기된 4개의 파라미터가 구해지면, 피로도 계산부(1020)는 이들 파라미터의 선형 조합으로 3차원 영상의 피로도를 계산한다. 3차원 영상의 피로도 C는 다음 수학식 5에 따라 계산할 수 있다.When the four parameters described above are obtained, the fatigue calculator 1020 calculates the fatigue degree of the 3D image by a linear combination of these parameters. The fatigue degree C of the 3D image may be calculated according to Equation 5 below.

Figure pat00006
Figure pat00006

여기서, α, β, γ, δ는 선형 조합의 계수로서, 미리 정해지는 값이다. Here, α, β, γ, and δ are coefficients of a linear combination and are predetermined values.

주관적 평가와 큰 상관도를 가지는 피로도 값을 얻기 위해 최소 자승법(least square method)을 사용하여 최적의 계수 α, β, γ, δ를 찾고, 찾아진 값을 이용하여 피로도를 계산할 수 있다. 이때 다음 수학식 6, 7을 이용할 수 있다.In order to obtain a fatigue value that has a high correlation with the subjective evaluation, the least square method is used to find the optimum coefficients α, β, γ, and δ, and the fatigue values can be calculated using the found values. In this case, the following Equations 6 and 7 may be used.

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

여기서, N은 주관적 평가 대상 3차원 영상의 개수를, X는 XT=(α β γ δ)인 4ㅧ1 파라미터 벡터를, S는 Nㅧ1의 주관적 평가 벡터를 나타낸다. Here, N denotes the number of subjective evaluation target 3D images, X denotes a 4′1 parameter vector having X T = (α β γ δ), and S denotes a subjective evaluation vector of N ㅧ 1.

본 발명의 일 실시예에 의하면, 피로도 측정 결과는 주관적 피로도 평가 결과와 유사하게 0~5 사이의 값을 가지며 그 결과는 후술한다. According to one embodiment of the present invention, the fatigue measurement results have a value between 0 and 5 similarly to the subjective fatigue evaluation results, the results will be described later.

이미 언급한 것처럼 불완전한 3차원 영상은 어지러움이나 두통과 같이 인체에 유해한 증상을 동반한다. 따라서 3차원 영상의 획득 단계나 디스플레이 단계에서 피로도를 최소화할 필요가 있다. 본 발명의 일 실시예에 따른 피로도 측정 방법은 2D plus depth 형식의 영상을 사용하기 때문에 깊이 영상을 이용하여 직접적인 측정을 할 수 있다.As already mentioned, incomplete 3D imaging is accompanied by harmful symptoms such as dizziness or headache. Therefore, it is necessary to minimize the fatigue level in the acquisition phase or display phase of the 3D image. Since the fatigue measurement method according to the exemplary embodiment of the present invention uses a 2D plus depth type image, direct measurement may be performed using the depth image.

1 view 1 depth 형식의 3차원 영상에서 피로를 유발하는 요인은 크게 세 가지로 구분할 수 있다. 첫 번째는 공간적인 복잡도가 큰 경우이다. 한 화면 안에서 다수의 물체가 존재하면 시청자는 초점거리와 수렴각도의 불일치가 일어나 피로를 느끼게 된다. 예컨대 도 5를 참조하면, (a)는 (b)에 비해 화면에 물체의 수가 더 많고 복잡한 화면 구성을 가지므로 더 큰 피로도가 발생한다. 특정 물체의 깊이에 초점을 맞추면 다른 깊이 레벨에 형성되는 물체는 중첩되거나 흐리게 보인다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 파라미터 중에서 공간적 복잡도 파라미터인 Cspatial 값이 작은 영상이라 볼 수 있다.There are three main factors that can cause fatigue in 3D image in 1 view 1 depth format. The first is a case of large spatial complexity. When a large number of objects exist in one screen, viewers may feel tired due to mismatches in focal length and convergence angle. For example, referring to FIG. 5, (a) has a larger number of objects on the screen and has a complicated screen configuration than (b), resulting in greater fatigue. When you focus on the depth of an object, objects formed at different depth levels appear superimposed or blurred. In this case, it may be regarded as an image having a small C spatial value which is a spatial complexity parameter among fatigue measurement parameters according to an exemplary embodiment of the present invention.

두 번째는 시간적인 복잡도가 큰 경우이다. 한 화면 내에 다수의 물체가 다른 속도의 움직임을 가지게 되면 시선이 분산이 되고 속도가 다른 물체는 동시에 깊이를 합성하기 어렵다. 시선이 집중되는 화면의 중간 부분과 큰 물체를 제외한 가장자리나 작은 물체의 움직임은 깊이를 인식하는데 불필요하고 눈에 거슬리는 부분이 된다. 또한 화면의 전환이 빠르고 카메라의 움직임이 동적인 경우 급격한 화면의 변화 때문에 깊이를 인식하는 시간이 부족하여 피로감을 느끼게 되고, 입체를 느끼지 못하여 마치 2차원 영상처럼 보일 수도 있다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 방법에서 시간적 복잡도 파라미터인 Ctemporal 값이 작고 평균 움직임 속도 파라미터인 Atemporal 역시 작은 값을 가지는 영상이라 할 수 있다.The second case is large time complexity. When multiple objects have different speeds in one screen, their eyes are dispersed and objects with different speeds are difficult to synthesize depth at the same time. The movement of the edges or small objects, except for the middle part of the screen where the eyes are focused, and the large objects, is unnecessary and unobtrusive to recognize the depth. In addition, when the screen is changed quickly and the camera movement is dynamic, there is a lack of time to recognize the depth due to the sudden change of the screen, and the user may feel fatigue, and may not be able to feel three-dimensional, so it may look like a two-dimensional image. In this case, in the fatigue measurement method according to an embodiment of the present invention, the temporal complexity parameter C temporal value is small and the average motion velocity parameter A temporal is also an image having a small value.

세 번째는 깊이 생성 위치가 comfort 영역을 벗어나는 경우이다. 깊이 영상은 0~255의 그레이 레벨로 되어 있는데 도 6의 (a)처럼 깊이가 전 레벨에 골고루 분포되어 있다면 전경과 후경의 수렴 각도의 차이가 커서 깊이를 동시에 느끼는데 어려움이 있다. 또한 영상의 전체적인 깊이가 도 6의 (b)와 같이 전경에 집중되어 있거나 혹은 후경에 집중되어 있는 경우 디스플레이의 특성에 의해 안정된 3차원 영상을 보여주지 못한다. 마치 부양되어 있거나 함몰된 것 같은 느낌을 받게 되고 화질의 열화도 나타나게 되어 입체감을 느끼기에 부자연스럽고 피로감을 느끼게 된다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 방법에서 깊이 생성 위치 파라미터인 Aspatial이 작은 값을 보이는 영상이라 할 수 있다. 도 6의 (c)가 디스플레이를 기준으로 comfort 영역에 깊이가 생성된 영상을 나타낸다. The third is where the depth generation location is outside the comfort zone. The depth image has a gray level of 0 to 255. If the depth is evenly distributed at the previous level as shown in FIG. 6 (a), it is difficult to feel the depth at the same time because the difference between the convergence angles of the foreground and the rearview mirror is large. In addition, when the overall depth of the image is concentrated in the foreground or the rear view as shown in (b) of FIG. 6, the 3D image may not be stable due to the characteristics of the display. You will feel as if you are buoyed or immersed, and the deterioration of image quality will also appear, making you feel unnatural and tired. In this case, in the fatigue measurement method according to an embodiment of the present invention, the depth generating position parameter A spatial may be an image showing a small value. FIG. 6C illustrates an image in which depth is generated in the comfort region based on the display.

또한 위에서 설명한 세 가지 원인과 같은 특별한 특징이 측정되지 않더라도 최종 피로도 측정 값이 기준 이하의 결과를 보인다면 이 또한 피로를 유발하는 영상이라 볼 수 있다. 따라서 본 발명의 일 실시예에 따른 피로도 측정 파라미터들의 결과를 관찰함으로써 3차원 영상의 특성을 측정할 수 있고, 피로감을 유발하는 영상을 검출하는 것이 가능하다. 이는 3차원 영상의 안전성 모니터링이 가능하다는 것을 의미하며 기존에 주관적 평가에만 의존해오던 피로도 측정이 자동적으로 가능함을 보여준다.In addition, even if the special characteristics such as the three causes described above are not measured, if the final fatigue measurement value is below the standard, it can be regarded as an image that causes fatigue. Therefore, by observing the results of the fatigue measurement parameters according to an embodiment of the present invention it is possible to measure the characteristics of the three-dimensional image, it is possible to detect the image causing the fatigue. This means that safety monitoring of three-dimensional images is possible, and that fatigue measurement, which previously relies only on subjective evaluation, is automatically possible.

이하에서는 본 발명의 일 실시예에 따른 피로도 측정 방법에 따라 3차원 영상의 피로도를 측정한 실험 결과에 관하여 설명한다. Hereinafter, the experimental results of measuring the fatigue degree of the 3D image according to the fatigue degree measuring method according to an exemplary embodiment of the present invention will be described.

3차원 영상의 피로도를 측정하기 위해서 본 실험에서는 20 인치 Philips WOWvx autostreoscopic 3D Display(해상도 1600X1200)를 사용하였다. 입력 파일 형식은 2D plus depth 영상으로 동일한 크기의 2차원 칼라 영상과 깊이 영상을 나란히 붙여 입력하여 준다.In this experiment, a 20-inch Philips WOWvx autostreoscopic 3D display (resolution 1600X1200) was used to measure the fatigue of the 3D image. Input file format is 2D plus depth image and inputs 2D color image and depth image of same size side by side.

실험 영상은 Philips사에서 제공하는 10개의 영상을 사용하였으며, 각 영상은 각기 다른 물체의 개수와 움직임의 크기를 포함하여 다른 특성을 보인다. 도 7은 사용된 실험 영상의 예로써, (a)는 공간적, 시간적 복잡도가 큰 영상 (b)는 공간적 복잡도는 크고 시간적 복잡도는 작은 영상, (c)는 공간적 복잡도는 작고 시간적 복잡도는 큰영상, (d)는 공간적, 시간적 복잡도가 작은 영상이다.The experimental images used 10 images provided by Philips, each showing different characteristics including the number of different objects and the size of the movement. 7 is an example of an experimental image used, (a) is an image of large spatial and temporal complexity (b) is an image of large spatial complexity and small temporal complexity, (c) is an image of small spatial complexity and large temporal complexity, (d) shows a small spatial and temporal complexity image.

깊이 생성 위치에 따른 피로도를 측정하기 위해 깊이 값의 범위를 스케일링하여 도 6과 같이 디스플레이 앞에서만 깊이가 생성되는 영상 세트와 comfort 영역에 위치하는 영상 세트를 추가하여 총 30개의 영상에 대해 실험하였다. In order to measure the fatigue degree according to the depth generation position, experiments were performed on a total of 30 images by scaling the range of depth values and adding an image set in which depth is generated only in front of the display and an image set located in the comfort region as shown in FIG. 6.

본 발명의 실시예에 따라 피로도 측정을 할 때 전체 실험 비디오에서 각 파라미터 별 측정값이 평균적으로 0.5가 되도록 σs=40, ρs=40, σt=10, ρt=2 로 하였고, 주관적 피로도와 유사한 결과를 볼 수 있도록 수학식 6과 7을 사용하여 얻은 계수는 α=1.7423, β=1.8103, γ=0.7304, δ=1.2379이다.According to an embodiment of the present invention, when stiffness was measured, σ s = 40, ρ s = 40, σ t = 10, ρ t = 2 so that the measured value of each parameter in the entire experimental video was 0.5 on average. Coefficients obtained using Equations 6 and 7 are α = 1.7423, β = 1.8103, γ = 0.7304, and δ = 1.2379 so that fatigue results can be similarly observed.

주관적 평가는 입체 영상을 보는데 문제가 없는 평균 26.8세의 남자 8명, 여자 2명에 대하여 실시하였으며 영상의 상영시간은 10초, 투표는 2초이다. 일반적으로 주관적 화질평가는 DSCQS (double stimulus continuous quality scale) 방식을 사용하는데 본 실험에서는 비교할 대상 영상이 없고, 시간 단축으로 피실험자의 피로도를 최소화하기 위해 ACR(absolute category rating) 방식을 선택하였다(문헌 [""Subjective assessment of stereoscopic television pictures," ITU-R Recommendation BT.1438, 2000.] 참조). 아래 표 2는 주관적 평가를 위한 피로도 평가 단계이다.Subjective evaluations were conducted on 8 males and 2 females with an average of 26.8 years of age without problems in viewing stereoscopic images. The running time of the images was 10 seconds and the vote was 2 seconds. In general, subjective quality evaluation uses the DSCQS (double stimulus continuous quality scale) method. In this experiment, there is no image to be compared, and an absolute category rating (ACR) method was selected to minimize the fatigue of the subject due to the shortening of time. See “” Subjective assessment of stereoscopic television pictures, ”ITU-R Recommendation BT.1438, 2000.]) Table 2 below shows fatigue assessment steps for subjective assessment.

Figure pat00009
Figure pat00009

도 8은 본 발명의 일 실시예에 따라 측정된 피로도와 주관적 피로도를 나타낸다. 도 8의 (a)는 깊이 생성 범위가 다른 각 영상 세트에 대한 주관적인 피로도 평가를 보여주며, (b)는 본 발명의 일 실시예에 따라 측정된 피로도를 보여준다. 분석 결과에 의하면 각각의 피로도 측정 요소는 주관적 평가와 비교해 보았을 때 영상별 특성을 확실히 구별해주고 있다는 것을 보인다(C spatial : F(4,45)=4.82, p<0.01, A spatial : F(4,45)=3.60, p<0.05, C temporal : F(4,35)=8.66, p<0.01, A temporal : F(4,45)=6.52, p<0.01, 여기서 (F(m,n)=a, p<b)는 분산분석(ANOVA) 기법으로서, m, n은 자유도를 a는 (집단 간 분산값/집단 내 분산값)을, p는 유의 수준을 나타낸다). 깊이가 comfort 영역에 존재하는 영상일수록 그렇지 않은 영상에 비해 편안하다는 것을 주관적 평가와 본 발명의 실시예에 따른 피로도 측정을 통해서 확인할 수 있다. 도 8을 참조하면, 고르게 깊이가 분포되고 화면의 전환이 적은 대부분의 영상의 경우 깊이 영상의 특성에 맞게 주관적 평가와 유사한 경향을 보이며 피로도 측정이 되는 것을 확인할 수 있다.8 illustrates fatigue and subjective fatigue measured according to an embodiment of the present invention. FIG. 8A illustrates subjective fatigue evaluation for each image set having a different depth generation range, and FIG. 8B illustrates fatigue measured according to an embodiment of the present invention. The analysis shows that each fatigue measurement element clearly distinguishes the characteristics of each image when compared with the subjective evaluation ( C spatial). : F (4,45) = 4.82, p <0.01, A spatial : F (4,45) = 3.60, p <0.05, C temporal : F (4,35) = 8.66, p <0.01, A temporal : F (4,45) = 6.52, p <0.01, where (F (m, n) = a, p <b) is the analysis of variance (ANOVA), where m and n are the degrees of freedom and a is the Value / variance in population), and p represents the significance level. It can be confirmed through subjective evaluation and fatigue measurement according to an embodiment of the present invention that the depth of the image existing in the comfort region is more comfortable than the image that is not. Referring to FIG. 8, it can be seen that most images having evenly distributed depths and low screen transitions show fatigue tendency similar to subjective evaluation according to characteristics of depth images.

상술한 본 발명에 의하면, 기존의 주관적인 평가에 한정되어 왔던 3차원 영상 피로도 실험과 달리 영상의 특성만으로 피로도를 측정할 수 있다. 특히 무안경식 디스플레이에서 2D plus depth 형식의 영상에서 깊이 영상의 특성만을 사용하여 피로도를 측정할 수 있다. 깊이 영상의 공간적, 시간적인 복잡도와 깊이 생성 위치, 영상의 전체적인 속도가 영상의 특성을 측정하기 위한 요소가 되는 것이다. 측정한 깊이 영상의 특성 요소를 선형 조합하여 주관적 화질 평가와 높은 유사성을 보이는 피로도 측정을 할 수 있다. 본 발명에 의하면 또한 객관적인 피로도 측정을 가능하게 하여 3차원 영상의 피로도를 모니터링하고 안전성을 보장할 수 있다.According to the present invention described above, the fatigue degree can be measured only by the characteristics of the image, unlike the three-dimensional image fatigue test, which has been limited to the existing subjective evaluation. In particular, in the autostereoscopic display, the fatigue can be measured using only the characteristics of the depth image in the 2D plus depth format image. The spatial and temporal complexity of the depth image, the location of the depth generation, and the overall speed of the image are factors for measuring the characteristics of the image. The linear combination of the measured characteristic elements of the depth image can be used to measure fatigue with high similarity to subjective image quality. According to the present invention, it is also possible to objectively measure the fatigue and to monitor the fatigue of the three-dimensional image and ensure the safety.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (19)

2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 방법으로서,
상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 단계; 및
상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 단계를 포함하는 것을 특징으로 하는 피로도 측정 방법.
As a fatigue measurement method of a three-dimensional image consisting of a two-dimensional image and a depth image,
Calculating each parameter representing a spatial complexity, a depth generation position, a temporal complexity, and an average movement speed of the 3D image using pixel values of the depth image; And
And calculating the fatigue degree of the 3D image using the calculated respective parameters.
제1항에 있어서,
상기 공간적 복잡도를 나타내는 파라미터는,
각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 1,
The parameter representing the spatial complexity is,
The fatigue measurement method characterized in that the calculation using the dispersion of the pixel value of the depth image of each frame.
제2항에 있어서,
상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 2,
The fatigue measurement method of claim 1, wherein the dispersion of pixel values of the depth image is obtained by dividing the depth image by regions and assigning different weights to regions.
제2항에 있어서,
상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서,
각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 상기 파라미터를 0에서 1 사이의 값으로 정규화시키는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 2,
In calculating the parameter representing the spatial complexity,
A fatigue measurement method, characterized in that the parameter is normalized to a value between 0 and 1 using the variance of the pixel value of the depth image of each frame as an exponential function.
제1항에 있어서,
상기 깊이 생성 위치를 나타내는 파라미터는,
상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 1,
The parameter representing the depth generation position is
The fatigue measurement method characterized in that the calculation using the difference between the position of the three-dimensional display in the average and depth level of the pixel value of the depth image.
제1항에 있어서,
상기 시간적 복잡도를 나타내는 파라미터는,
연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 1,
The parameter representing the temporal complexity is
A fatigue measurement method, characterized in that it is calculated using the variance of the pixel value difference of the depth image between successive frames.
제6항에 있어서,
상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 6,
The fatigue measurement method of claim 1, wherein the dispersion of the pixel values of the depth images between the consecutive frames is obtained by dividing the depth images by regions and assigning different weights to the regions.
제1항에 있어서,
상기 평균 움직임 속도를 나타내는 파라미터는,
연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 1,
The parameter representing the average movement speed is
A fatigue measurement method characterized in that the calculation using the average of the pixel value difference of the depth image between successive frames.
제1항에 있어서,
상기 3차원 영상의 피로도를 계산함에 있어서,
상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산하는 것을 특징으로 하는 피로도 측정 방법.
The method of claim 1,
In calculating the fatigue degree of the 3D image,
And calculating the fatigue degree by the linear combination of the calculated respective parameters.
제1항 내지 제9항 중 어느 한 항에 따른 3차원 영상의 피로도 측정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method for measuring fatigue of a three-dimensional image according to any one of claims 1 to 9. 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 장치으로서,
상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 파라미터 계산부; 및
상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 피로도 계산부를 포함하는 것을 특징으로 하는 피로도 측정 장치.
A fatigue measurement device of a three-dimensional image consisting of a two-dimensional image and a depth image,
A parameter calculator configured to calculate each parameter representing a spatial complexity, a depth generation position, a temporal complexity, and an average motion speed of the 3D image by using pixel values of the depth image; And
And a fatigue calculation unit for calculating the fatigue degree of the 3D image by using the calculated respective parameters.
제11항에 있어서,
상기 공간적 복잡도를 나타내는 파라미터는,
각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 11,
The parameter representing the spatial complexity is,
The fatigue measurement device, characterized in that the calculation using the dispersion of the pixel value of the depth image of each frame.
제12항에 있어서,
상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 12,
The fatigue measurement apparatus of claim 1, wherein the dispersion of pixel values of the depth image is obtained by dividing the depth image by regions and assigning different weights to regions.
제12항에 있어서,
상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서,
각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 0에서 1 사이의 값으로 정규화시키는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 12,
In calculating the parameter representing the spatial complexity,
And a variance of pixel values of the depth image of each frame as an index of an exponential function to normalize to a value between 0 and 1.
제11항에 있어서,
상기 깊이 생성 위치를 나타내는 파라미터는,
상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 11,
The parameter representing the depth generation position is
The fatigue measurement apparatus, characterized in that calculated using the difference between the position of the three-dimensional display in the average and depth level of the pixel value of the depth image.
제11항에 있어서,
상기 시간적 복잡도를 나타내는 파라미터는,
연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 11,
The parameter representing the temporal complexity is
A fatigue measurement device, characterized in that it is calculated using the variance of the pixel value difference of the depth image between successive frames.
제16항에 있어서,
상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 16,
The fatigue measurement apparatus of claim 1, wherein the dispersion of the pixel values of the depth images between the consecutive frames is obtained by dividing the depth images by regions and assigning different weights to the regions.
제11항에 있어서,
상기 평균 움직임 속도를 나타내는 파라미터는,
연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 11,
The parameter representing the average movement speed is
A fatigue measurement device, characterized in that it is calculated using the average of the pixel value difference of the depth image between successive frames.
제11항에 있어서,
상기 3차원 영상의 피로도를 계산함에 있어서,
상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산하는 것을 특징으로 하는 피로도 측정 장치.
The method of claim 11,
In calculating the fatigue degree of the 3D image,
And calculating the fatigue degree by the linear combination of the calculated respective parameters.
KR1020100059254A 2010-06-22 2010-06-22 Fatigue evaluation method and apparatus for 3D video based on depth map KR101105359B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100059254A KR101105359B1 (en) 2010-06-22 2010-06-22 Fatigue evaluation method and apparatus for 3D video based on depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100059254A KR101105359B1 (en) 2010-06-22 2010-06-22 Fatigue evaluation method and apparatus for 3D video based on depth map

Publications (2)

Publication Number Publication Date
KR20110139020A true KR20110139020A (en) 2011-12-28
KR101105359B1 KR101105359B1 (en) 2012-01-16

Family

ID=45504737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100059254A KR101105359B1 (en) 2010-06-22 2010-06-22 Fatigue evaluation method and apparatus for 3D video based on depth map

Country Status (1)

Country Link
KR (1) KR101105359B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096125A (en) * 2013-02-22 2013-05-08 吉林大学 Stereoscopic video visual comfort evaluation method based on region segmentation
WO2013105720A1 (en) * 2012-01-10 2013-07-18 에스케이플래닛 주식회사 Device and method for analyzing quality of three-dimensional stereoscopic image
KR101348930B1 (en) * 2012-07-11 2014-01-09 광운대학교 산학협력단 A method of determining disparity and image characteristics affecting on viewer's safety in watching stereo 3d video
CN104754322A (en) * 2013-12-27 2015-07-01 华为技术有限公司 Stereoscopic video comfort evaluation method and device
KR20150112461A (en) * 2014-03-28 2015-10-07 한국과학기술원 Method of image extraction based on human factors and apparatus thereof
KR20190021812A (en) * 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors
KR20200073109A (en) * 2018-12-13 2020-06-23 한국과학기술원 Method for vr sickness assessment considering neural mismatch model and the apparatus thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0446037B1 (en) * 1990-03-09 1997-10-08 AT&T Corp. Hybrid perceptual audio coding

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013105720A1 (en) * 2012-01-10 2013-07-18 에스케이플래닛 주식회사 Device and method for analyzing quality of three-dimensional stereoscopic image
KR101348930B1 (en) * 2012-07-11 2014-01-09 광운대학교 산학협력단 A method of determining disparity and image characteristics affecting on viewer's safety in watching stereo 3d video
CN103096125A (en) * 2013-02-22 2013-05-08 吉林大学 Stereoscopic video visual comfort evaluation method based on region segmentation
CN107155105A (en) * 2013-12-27 2017-09-12 华为技术有限公司 A kind of three-dimensional video-frequency Comfort Evaluation method and device
CN106973288A (en) * 2013-12-27 2017-07-21 华为技术有限公司 A kind of three-dimensional video-frequency Comfort Evaluation method and device
CN104754322A (en) * 2013-12-27 2015-07-01 华为技术有限公司 Stereoscopic video comfort evaluation method and device
CN107155106A (en) * 2013-12-27 2017-09-12 华为技术有限公司 A kind of three-dimensional video-frequency Comfort Evaluation method and device
CN107155106B (en) * 2013-12-27 2019-03-01 华为技术有限公司 A kind of three-dimensional video-frequency Comfort Evaluation method and device
CN107155105B (en) * 2013-12-27 2019-03-01 华为技术有限公司 A kind of three-dimensional video-frequency Comfort Evaluation method and device
KR20150112461A (en) * 2014-03-28 2015-10-07 한국과학기술원 Method of image extraction based on human factors and apparatus thereof
KR20190021812A (en) * 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors
KR20200073109A (en) * 2018-12-13 2020-06-23 한국과학기술원 Method for vr sickness assessment considering neural mismatch model and the apparatus thereof
US11699072B2 (en) 2018-12-13 2023-07-11 Korea Advanced Institute Of Science And Technology Method for VR sickness assessment considering neural mismatch model and the apparatus thereof

Also Published As

Publication number Publication date
KR101105359B1 (en) 2012-01-16

Similar Documents

Publication Publication Date Title
KR101105359B1 (en) Fatigue evaluation method and apparatus for 3D video based on depth map
US9916517B2 (en) Image processing method and apparatus
US8913790B2 (en) System and method for analyzing three-dimensional (3D) media content
Oskam et al. OSCAM-optimized stereoscopic camera control for interactive 3D.
KR100667810B1 (en) Apparatus for controlling depth of 3d picture and method therefor
KR101633627B1 (en) Method and system for processing an input three dimensional video signal
NL1032656C2 (en) 3-D IMAGE PROCESSING DEVICE AND METHOD.
CN108141578B (en) Presentation camera
Choi et al. Visual fatigue modeling and analysis for stereoscopic video
Choi et al. Visual fatigue evaluation and enhancement for 2D-plus-depth video
KR101502362B1 (en) Apparatus and Method for Image Processing
WO2014083949A1 (en) Stereoscopic image processing device, stereoscopic image processing method, and program
CN102474644A (en) Three-dimensional image display system, disparity conversion device, disparity conversion method, and program
JP2013172190A (en) Image processing device and image processing method and program
KR20150121127A (en) Binocular fixation imaging method and apparatus
Kim et al. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics
Kellnhofer et al. Optimizing disparity for motion in depth
JP2017011520A (en) Stereoscopic image depth conversion device and program therefor
JPWO2011030399A1 (en) Image processing method and apparatus
Oh et al. Visual fatigue relaxation for stereoscopic video via nonlinear disparity remapping
US8884951B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
Mu et al. A response time model for abrupt changes in binocular disparity
TWI491244B (en) Method and apparatus for adjusting 3d depth of an object, and method and apparatus for detecting 3d depth of an object
Mangiat et al. Disparity remapping for handheld 3D video communications
Yang et al. New stereo shooting evaluation metric based on stereoscopic distortion and subjective perception

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee