KR101105359B1 - 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치 - Google Patents

Abstract

본 발명에 따른, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 방법은, 상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 단계; 및 상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 단계를 포함하는 것을 특징으로 한다.

Description

깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치{Fatigue evaluation method and apparatus for 3D video based on depth map}

본 발명은 3차원 영상 기술에 관한 것으로 보다 상세하게는 깊이 영상에 기반하여 3차원 영상의 피로도를 측정하는 방법 및 장치에 관한 것이다.

3차원 영상 기술은 기존 디지털 TV 방송의 뒤를 잇는 실감형 방송의 대표적인 기술이다. 3차원 영상은 인간이 두 눈을 사용하여 입체 공간을 인식하는 양안 시각 원리를 이용하는 기술로써 많은 전문가들이 연구하고 여러 국가들이 기술 개발에 집중하고 있다. 하지만 3차원 영상은 2차원 영상과는 달리 많은 휴먼 팩터들이 관련되어 있어 개발하는데 큰 어려움을 겪고 있다. 3차원 영상 처리 기술과 3차원 디스플레이는 빠른 속도로 연구 및 개발되고 있지만 3차원 영상에서 발생하는 피로도 때문에 3차원 영상 시장의 발전 속도는 기대에 못 미치고 있다. 3차원 영상은 초점거리와 수렴각도의 불일치, 두 눈에 제공되는 영상의 차이, 시공간적인 과도한 변화 등으로 인해 피로감과 어지럼증 등을 유발하게 되는데 이는 시청자의 안전문제와 직결된다. 특히 불완전한 기술로 제작된 영상 시청으로 인해 일본에서 발생한 광과민성발작증세 이후 안전성에 대한 관심은 더욱 커졌다. 따라서 눈에 미치는 영향을 최우선으로 고려하여 안전성을 보장할 수 있는 3차원 영상 평가 기술 개발이 매우 중요한 이슈로 떠오르고 있으며, 안전성과 관련한 화질평가 표준화 작업도 국내 외에서 활발히 진행되고 있다.

3차원 안전성 평가 연구는 3차원 영상 특성 및 디스플레이의 종류에 따른 주관적 화질 평가가 주를 이루고 있다. 그러나 대부분의 3차원 영상의 피로도 측정은 주관적인 평가에 한정되어 있고 3차원 영상의 안전성에 대한 연구가 아직 많이 부족하다.

본 발명이 이루고자 하는 기술적 과제는 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도를 정량화할 수 있는 3차원 영상의 피로도 측정 방법 및 장치를 제공하는 데 있다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 방법은, 상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 단계; 및 상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 단계를 포함하는 것을 특징으로 한다.

상기 공간적 복잡도를 나타내는 파라미터는, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산할 수 있다.

또한, 상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구할 수 있다.

또한, 상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 상기 파라미터를 0에서 1 사이의 값으로 정규화시킬 수 있다.

상기 깊이 생성 위치를 나타내는 파라미터는, 상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산할 수 있다.

상기 시간적 복잡도를 나타내는 파라미터는, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산할 수 있다.

또한, 상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구할 수 있다.

상기 평균 움직임 속도를 나타내는 파라미터는, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산할 수 있다.

상기 3차원 영상의 피로도를 계산함에 있어서, 상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산할 수 있다.

상기 기술적 과제를 해결하기 위하여, 상기된 3차원 영상의 피로도 측정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 장치는, 상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 파라미터 계산부; 및 상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 피로도 계산부를 포함하는 것을 특징으로 한다.

상기된 본 발명에 의하면, 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도를 정량화할 수 있는 3차원 영상의 피로도 측정 방법 및 장치를 제공한다.

도 1은 2D plus depth 영상의 일 예이다.
도 2a는 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 방법의 흐름도이다.
도 2b 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 장치의 블록도이다.
도 3은 깊이 영상의 구역별 가중치의 일 예를 나타낸다.
도 4는 comfort 영역의 개념도를 나타낸다.
도 5는 공간적 복잡도가 큰 영상과 작은 영상의 깊이 영상의 일 예이다.
도 6은 깊이 생성 위치가 다른 깊이 영상의 일 예이다.
도 7은 사용된 실험 영상의 예이다.
도 8은 본 발명의 일 실시예에 따라 측정된 피로도와 주관적 피로도를 나타낸다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

본 발명의 일 실시예에 의하면, 예컨대 도 1에 도시된 바와 같은 무안경식 다시점 디스플레이의 2D plus depth 영상, 즉 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상에 대한 피로도를 계산한다. 안경식 스테레오 디스플레이 대신 무안경식 다시점 디스플레이를 사용하는 이유는 첫째로 시역의 제한과 안경 착용의 불편함 때문이다. 일반적으로 TV는 시역에 상관없이 볼 수 있는 장치로 생각되지만 3차원 TV의 경우 입체감을 느끼기 위해 양안에 다른 영상을 제공하므로 다수의 시청자에게 영상을 제공하는 것이 어렵고, 스테레오 TV는 편광 방식을 사용하기 때문에 안경을 휴대하고 착용해야 하는 불편함이 있다. 둘째로 차세대 실감형 방송에 적용될 가능성이 크다. 스테레오 영상에서 변이 혹은 깊이를 정확히 측정하려면 알고리즘의 복잡도가 매우 크고 시간이 오래 걸린다. 그러나 2D plus depth 영상은 이미 깊이 정보를 포함하고 있기 때문에 자유 시점 TV과 같은 기술에 효과적으로 적용할 수 있다. DIBR(Depth-Map Based Rendering) 기법을 사용하여 다른 시점의 칼라 영상을 생성할 수 있다는 효용성 때문에 MPEG에서도 많이 주목하고 있다.

3차원 영상의 피로도는 화면 구성, 물체들의 다양하고 빠른 움직임과 같은 영상의 시공간적인 특성에 기인한다. 따라서 본 발명의 일 실시예에 의하면, 깊이 영상에서 이를 측정하여 피로도를 측정한다.

도 2a는 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 방법의 흐름도이고, 도 2b 본 발명의 일 실시예에 따른 3차원 영상의 피로도 측정 장치의 블록도이다.

본 실시예에 따르면, 파라미터 계산부(1010)는 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상을 입력받고, 깊이 영상의 화소 값을 이용하여 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산한다(210단계).

이러한 파라미터 계산부(1010)는 통상적인 컴퓨팅 환경에서의 데이터 비교 및 연산을 위한 프로세서와 작업에 필요한 데이터를 적재하고 가공할 수 있는 메모리로 구현될 수 있다.

그리고, 피로도 계산부(1020)는 상기 계산된 각 파라미터를 이용하여 입력된 3차원 영상의 피로도를 계산하여 그 값을 출력한다(220단계).

이러한 피로도 계산부(1020) 역시 통상적인 컴퓨팅 환경에서의 데이터 비교 및 연산을 위한 프로세서와 작업에 필요한 데이터를 적재하고 가공할 수 있는 메모리로 구현될 수 있다.

깊이 영상의 화소 값은 물체의 구조와 위치를 반영하고 있기 때문에 직접적인 측정이 가능하고, 칼라 영상과 달리 그레이 레벨로 되어 있기 때문에 값의 조절도 용이하다. 본 발명의 일 실시예에 따라서 영상의 피로도가 측정되면 3차원 영상에 대한 안전성 모니터링 및 개선에 사용될 수가 있다.

본 발명의 일 실시예에 따르면, 상기된 바와 같이 3차원 영상의 특성을 측정하여 피로도를 측정하기 위해서 2D plus depth 영상의 깊이 영상 정보를 사용한다. 깊이 영상은 칼라 영상과 비교해 볼 때, 물체에 따라 다른 깊이 값을 가지고 물체 내에서 대부분 동일한 깊이 값을 가지므로 따로 물체를 분리할 필요가 없기 때문에 직접적으로 물체의 움직임과 특성을 측정하는 것이 가능하다.

본 발명의 일 실시예에서 특별한 잡음 및 왜곡이 없는 3차원 영상일 경우 2차원 컬러 영상은 피로함에 큰 영향을 미치지 않는다고 가정하고 깊이 영상의 시공간적인 특성만을 사용하여 피로도를 측정한다. 측정할 깊이 영상의 공간적, 시간적인 특성을 구분하고 각 요소의 물리적 의미를 나타내면 아래 표 1과 같다.

깊이 영상의 시공간적인 특성은 물체의 개수, 깊이 값의 변화, 움직임의 속도와 같은 요소들에 의해 결정된다. 빠르게 움직이는 다수의 물체가 포함된 영상은 깊이를 합성하는데 큰 어려움을 준다. 따라서 본 발명의 일 실시예에서는 공간적/시간적인 복잡도와 더불어 디스플레이에서 영상의 깊이가 생성되는 위치와 전체적인 영상의 움직임 속도를 측정하여 3차원 영상의 피로도를 측정한다.

3차원 영상의 화면 구성의 공간적 복잡도를 나타내는 파라미터의 계산에 관하여 설명하면 다음과 같다.

한 장면에 매우 많은 물체가 다수의 깊이 레벨에 분포하고 있으면 동시에 깊이를 합성하기 쉽지 않다. 본 발명의 일 실시예에서는 수학식 1과 같이, 각 프레임의 깊이 영상의 화소 값의 분산을 이용하여 각 프레임에서 물체의 깊이 분포 범위와 다수의 물체가 장면에 존재하는지를 측정한다.

또한, 공간적 복잡도는 화면 구성의 특성을 반영하는 요소이므로, 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 깊이 영상의 화소 값의 분산을 구할 수 있다. 예컨대, 도 3에 도시된 바와 같이 시선이 집중되는 부분과 그렇지 않은 부분으로 나누어 다른 가중치를 둠으로써 시선이 집중되는 부분에 더 큰 가중치를 부여하는 것이다. 도 3을 참조하면, 시선이 주로 집중되는 가운데 부분은 가중치를 1.2로 하였으며, 시선이 덜 집중되는 모서리 부분은 가중치를 0.85로 하였다.

본 발명의 일 실시예에서, 최종적인 공간적 복잡도를 나타내는 파라미터는 수학식 1과 같이 각 프레임의 깊이 영상의 화소 값의 분산의 평균이며, 또한 지수(exponential) 함수를 사용하여, 즉 각 프레임의 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 0과 1 사이의 값으로 정규화시킬 수 있다.

여기서, C_spatial은 3차원 영상의 공간적 복잡도를 나타내는 파라미터를, N은 영상의 프레임 수를, m, n은 깊이 영상의 크기(가로, 세로)를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, f_i(x, y)는 i 번째 프레임 깊이 영상의 화소 (x, y)의 화소 값을, E(f_i(x, y))는 i 번째 프레임 깊이 영상의 화소 값의 평균을 나타낸다. 그리고 σ_s 는 스케일 팩터로서 임의로 선택되는 상수 값이다. σ_s 는 N 개의 영상의 공간적 복잡도 파라미터 값이 0과 1 사이에서 고루 분포되도록 실험을 통하여 정할 수 있다.

상기된 공간적 복잡도 파라미터는, 깊이 영상 내에 다수의 물체가 다수 존재하고, 화면 구성이 조잡하며 깊이 레벨의 전 영역에 걸쳐 깊이가 생성되는 경우 0에 가까운 값을 가지게 되고, 장면이 단순하고 복잡하지 않으며 깊이 레벨의 수가 적은 경우 1에 가까운 값을 가진다. 이 특성은 영상의 전체적인 피로도에 상당히 큰 영향을 끼치는 요소이다.

이하에서는, 3차원 영상의 깊이 생성 위치를 나타내는 파라미터의 계산에 관하여 설명한다.

3차원 영상에는 도 4에 도시된 바와 같이, 디스플레이를 기준으로 두 눈이 깊이를 합성하기 편안한 범위가 존재하는데 이를 comfort 영역이라 한다 comfort 영역에 관하여는 문헌 ["3D Movie Making: Stereoscopic digital cinema from script to screen," Bernard Mendiburu, FOCAL PRESS, 2009.]에 기술되어 있다. 이 comfort 영역을 벗어나게 되면 양안이 깊이를 합성하기가 힘들어 피로감을 유발하게 된다. 특히 깊이가 깊이 레벨 전 영역에 고루 분포된 경우 전경과 후경의 변이 차이가 크기 때문에 피로감을 느끼게 되고, 모든 깊이가 디스플레이 앞이나 혹은 뒤에만 분포되는 경우도 전체적으로 앞으로 돌출되거나 뒤로 함몰된 것처럼 보이게 되어 불편함을 느낀다. 따라서 깊이가 어느 위치에서 생성되는지, 즉, 깊이가 comfort 영역 안에 어느 정도 형성되는지 측정을 하는 것이 필요하다.

본 발명의 일 실시예에서 깊이 생성 위치 측정은 수학식 2와 같이, 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산한다.

여기서, A_spatial은 깊이 생성 위치를 나타내는 파라미터를, N은 영상의 프레임 수를, D_display는 깊이 레벨에서 3차원 디스플레이 평면의 위치(예컨대, Philips WOWvx autostreoscopic 3D Display의 경우 D_display=128)를, (x, y)는 깊이 영상의 화소 좌표를, f_i(x, y)는 i 번째 프레임 깊이 영상의 화소 (x, y)의 화소 값을, E(f_i(x, y))는 i 번째 프레임 깊이 영상의 화소 값의 평균을 나타낸다. ρ_s 역시 σ_s와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다. 깊이 값은 0에 가까울수록 디스플레이의 뒤쪽, 255에 가까울수록 디스플레이의 앞쪽을 나타낸다. 영상이 comfort 영역에서 벗어날수록 피로감을 유발하므로 A_spatial은 0에 가까운 값을 가지고, comfort 영역 안에 위치할수록 1에 가까운 값을 가지게 된다.

3차원 영상의 시간적 복잡도를 나타내는 파라미터의 계산에 관하여 설명하면 다음과 같다.

화면 내에 다양한 속도의 다수의 움직임이 존재하면 다른 속도를 가지고 움직이는 각각의 물체를 동시에 합성하는 것은 쉽지 않다. 따라서 본 실시예에서는 다음 수학식 3과 같이, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 시간적 복잡도를 나타내는 파라미터를 구함으로써 화면 내에 얼마나 다양한 속도의 움직임이 있는지 측정한다. 단, 이러한 시간적인 특성을 측정함에 있어서 깊이 영상의 공간적 특성에 영향을 받지 않도록 하기 위하여, 깊이 값의 범위를 0에서 255 사이의 전 영역으로 확장하여 통일한 후 측정하는 것이 바람직하다.

시간적 복잡도 역시 시선이 화면의 중간에 집중되는 구조적인 특성이 반영되기 때문에 공간적 복잡도와 마찬가지로 도 3에 도시된 바와 같이 시선이 집중되는 부분과 그렇지 않은 부분으로 나누어 다른 가중치를 둠으로써 시선이 집중되는 부분에 더 큰 가중치를 부여할 수 있다.

여기서, C_temporal은 3차원 영상의 시간적 복잡도를 나타내는 파라미터를, N은 영상의 프레임 수를, m, n은 깊이 영상의 크기(가로, 세로)를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, d_i(x,y)는 i번째 프레임 깊이 영상의 화소 값 f_i(x,y)와 i+1번째 프레임 깊이 영상의 화소 값 f_i+1(x,y)의 차이 값을 나타낸다. 그리고 σ_t 역시 σ_s와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다.

영상에서 화면의 전체적인 변화와 다수의 물체가 각기 다른 속도로 움직이는 경우가 많다면 시간적 복잡도 파라미터는 0에 가까워지고, 물체들의 움직임이 적을수록 1에 가까운 값을 가지게 된다. 이러한 시간적 복잡도는 공간적 복잡도와 마찬가지로 영상의 피로도를 측정하는데 큰 비중을 차지하는 요소이다. 그러나 시간적 복잡도는 움직임의 다양성만을 측정할 수 있고 영상의 속도는 반영되지 않기 때문에 후술할 영상의 전체적인 평균 움직임 속도를 측정할 필요가 있다.

이하에서는, 3차원 영상의 평균 움직임 속도를 나타내는 파라미터의 계산에 관하여 설명한다.

영상이 시간에 따라 전체적으로 빠르게 움직이면 깊이를 합성할 시간이 부족하여 피로도를 유발하게 된다. 따라서 다음 수학식 4와 같이, 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 영상의 평균 움직임 속도를 나타내는 파라미터를 구함으로써 전체적인 영상의 평균 움직임 속도를 측정한다. 이때, 시간적 복잡도와 마찬가지로 깊이 레벨의 범위를 0~255로 확장하여 측정한다. 시간적 복잡도가 움직임의 다양성을 나타낸다면 평균 움직임 속도는 움직임의 크기를 나타낸다.

여기서, A_temporal은 3차원 영상의 평균 움직임 속도를 나타내는 파라미터를, N은 영상의 프레임 수를, (x, y)는 깊이 영상의 화소 좌표를, w(x, y)는 화소 (x, y)의 가중치를, d_i(x,y)는 i번째 프레임 깊이 영상의 화소 값 f_i(x,y)와 i+1번째 프레임 깊이 영상의 화소 값 f_i+1(x,y)의 차이 값을 나타낸다. 그리고 ρt 역시 σ_s와 마찬가지로 스케일 팩터로서 임의로 선택되는 상수 값이다.

영상의 전체적인 속도가 빠를수록 평균 움직임 속도 파라미터는 0에 가까운 값을 가지고, 느릴수록 1에 가까운 값을 가진다.

상기된 4개의 파라미터가 구해지면, 피로도 계산부(1020)는 이들 파라미터의 선형 조합으로 3차원 영상의 피로도를 계산한다. 3차원 영상의 피로도 C는 다음 수학식 5에 따라 계산할 수 있다.

여기서, α, β, γ, δ는 선형 조합의 계수로서, 미리 정해지는 값이다.

주관적 평가와 큰 상관도를 가지는 피로도 값을 얻기 위해 최소 자승법(least square method)을 사용하여 최적의 계수 α, β, γ, δ를 찾고, 찾아진 값을 이용하여 피로도를 계산할 수 있다. 이때 다음 수학식 6, 7을 이용할 수 있다.

여기서, N은 주관적 평가 대상 3차원 영상의 개수를, X는 X^T=(α β γ δ)인 4ㅧ1 파라미터 벡터를, S는 Nㅧ1의 주관적 평가 벡터를 나타낸다.

본 발명의 일 실시예에 의하면, 피로도 측정 결과는 주관적 피로도 평가 결과와 유사하게 0~5 사이의 값을 가지며 그 결과는 후술한다.

이미 언급한 것처럼 불완전한 3차원 영상은 어지러움이나 두통과 같이 인체에 유해한 증상을 동반한다. 따라서 3차원 영상의 획득 단계나 디스플레이 단계에서 피로도를 최소화할 필요가 있다. 본 발명의 일 실시예에 따른 피로도 측정 방법은 2D plus depth 형식의 영상을 사용하기 때문에 깊이 영상을 이용하여 직접적인 측정을 할 수 있다.

1 view 1 depth 형식의 3차원 영상에서 피로를 유발하는 요인은 크게 세 가지로 구분할 수 있다. 첫 번째는 공간적인 복잡도가 큰 경우이다. 한 화면 안에서 다수의 물체가 존재하면 시청자는 초점거리와 수렴각도의 불일치가 일어나 피로를 느끼게 된다. 예컨대 도 5를 참조하면, (a)는 (b)에 비해 화면에 물체의 수가 더 많고 복잡한 화면 구성을 가지므로 더 큰 피로도가 발생한다. 특정 물체의 깊이에 초점을 맞추면 다른 깊이 레벨에 형성되는 물체는 중첩되거나 흐리게 보인다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 파라미터 중에서 공간적 복잡도 파라미터인 C_spatial 값이 작은 영상이라 볼 수 있다.

두 번째는 시간적인 복잡도가 큰 경우이다. 한 화면 내에 다수의 물체가 다른 속도의 움직임을 가지게 되면 시선이 분산이 되고 속도가 다른 물체는 동시에 깊이를 합성하기 어렵다. 시선이 집중되는 화면의 중간 부분과 큰 물체를 제외한 가장자리나 작은 물체의 움직임은 깊이를 인식하는데 불필요하고 눈에 거슬리는 부분이 된다. 또한 화면의 전환이 빠르고 카메라의 움직임이 동적인 경우 급격한 화면의 변화 때문에 깊이를 인식하는 시간이 부족하여 피로감을 느끼게 되고, 입체를 느끼지 못하여 마치 2차원 영상처럼 보일 수도 있다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 방법에서 시간적 복잡도 파라미터인 C_temporal 값이 작고 평균 움직임 속도 파라미터인 A_temporal 역시 작은 값을 가지는 영상이라 할 수 있다.

세 번째는 깊이 생성 위치가 comfort 영역을 벗어나는 경우이다. 깊이 영상은 0~255의 그레이 레벨로 되어 있는데 도 6의 (a)처럼 깊이가 전 레벨에 골고루 분포되어 있다면 전경과 후경의 수렴 각도의 차이가 커서 깊이를 동시에 느끼는데 어려움이 있다. 또한 영상의 전체적인 깊이가 도 6의 (b)와 같이 전경에 집중되어 있거나 혹은 후경에 집중되어 있는 경우 디스플레이의 특성에 의해 안정된 3차원 영상을 보여주지 못한다. 마치 부양되어 있거나 함몰된 것 같은 느낌을 받게 되고 화질의 열화도 나타나게 되어 입체감을 느끼기에 부자연스럽고 피로감을 느끼게 된다. 이 경우는 본 발명의 일 실시예에 따른 피로도 측정 방법에서 깊이 생성 위치 파라미터인 A_spatial이 작은 값을 보이는 영상이라 할 수 있다. 도 6의 (c)가 디스플레이를 기준으로 comfort 영역에 깊이가 생성된 영상을 나타낸다.

또한 위에서 설명한 세 가지 원인과 같은 특별한 특징이 측정되지 않더라도 최종 피로도 측정 값이 기준 이하의 결과를 보인다면 이 또한 피로를 유발하는 영상이라 볼 수 있다. 따라서 본 발명의 일 실시예에 따른 피로도 측정 파라미터들의 결과를 관찰함으로써 3차원 영상의 특성을 측정할 수 있고, 피로감을 유발하는 영상을 검출하는 것이 가능하다. 이는 3차원 영상의 안전성 모니터링이 가능하다는 것을 의미하며 기존에 주관적 평가에만 의존해오던 피로도 측정이 자동적으로 가능함을 보여준다.

이하에서는 본 발명의 일 실시예에 따른 피로도 측정 방법에 따라 3차원 영상의 피로도를 측정한 실험 결과에 관하여 설명한다.

3차원 영상의 피로도를 측정하기 위해서 본 실험에서는 20 인치 Philips WOWvx autostreoscopic 3D Display(해상도 1600X1200)를 사용하였다. 입력 파일 형식은 2D plus depth 영상으로 동일한 크기의 2차원 칼라 영상과 깊이 영상을 나란히 붙여 입력하여 준다.

실험 영상은 Philips사에서 제공하는 10개의 영상을 사용하였으며, 각 영상은 각기 다른 물체의 개수와 움직임의 크기를 포함하여 다른 특성을 보인다. 도 7은 사용된 실험 영상의 예로써, (a)는 공간적, 시간적 복잡도가 큰 영상 (b)는 공간적 복잡도는 크고 시간적 복잡도는 작은 영상, (c)는 공간적 복잡도는 작고 시간적 복잡도는 큰영상, (d)는 공간적, 시간적 복잡도가 작은 영상이다.

깊이 생성 위치에 따른 피로도를 측정하기 위해 깊이 값의 범위를 스케일링하여 도 6과 같이 디스플레이 앞에서만 깊이가 생성되는 영상 세트와 comfort 영역에 위치하는 영상 세트를 추가하여 총 30개의 영상에 대해 실험하였다.

본 발명의 실시예에 따라 피로도 측정을 할 때 전체 실험 비디오에서 각 파라미터 별 측정값이 평균적으로 0.5가 되도록 σ_s=40, ρ_s=40, σ_t=10, ρ_t=2 로 하였고, 주관적 피로도와 유사한 결과를 볼 수 있도록 수학식 6과 7을 사용하여 얻은 계수는 α=1.7423, β=1.8103, γ=0.7304, δ=1.2379이다.

주관적 평가는 입체 영상을 보는데 문제가 없는 평균 26.8세의 남자 8명, 여자 2명에 대하여 실시하였으며 영상의 상영시간은 10초, 투표는 2초이다. 일반적으로 주관적 화질평가는 DSCQS (double stimulus continuous quality scale) 방식을 사용하는데 본 실험에서는 비교할 대상 영상이 없고, 시간 단축으로 피실험자의 피로도를 최소화하기 위해 ACR(absolute category rating) 방식을 선택하였다(문헌 [""Subjective assessment of stereoscopic television pictures," ITU-R Recommendation BT.1438, 2000.] 참조). 아래 표 2는 주관적 평가를 위한 피로도 평가 단계이다.

도 8은 본 발명의 일 실시예에 따라 측정된 피로도와 주관적 피로도를 나타낸다. 도 8의 (a)는 깊이 생성 범위가 다른 각 영상 세트에 대한 주관적인 피로도 평가를 보여주며, (b)는 본 발명의 일 실시예에 따라 측정된 피로도를 보여준다. 분석 결과에 의하면 각각의 피로도 측정 요소는 주관적 평가와 비교해 보았을 때 영상별 특성을 확실히 구별해주고 있다는 것을 보인다(C _spatial : F(4,45)=4.82, p<0.01, A _spatial : F(4,45)=3.60, p<0.05, C _temporal : F(4,35)=8.66, p<0.01, A _temporal : F(4,45)=6.52, p<0.01, 여기서 (F(m,n)=a, p<b)는 분산분석(ANOVA) 기법으로서, m, n은 자유도를 a는 (집단 간 분산값/집단 내 분산값)을, p는 유의 수준을 나타낸다). 깊이가 comfort 영역에 존재하는 영상일수록 그렇지 않은 영상에 비해 편안하다는 것을 주관적 평가와 본 발명의 실시예에 따른 피로도 측정을 통해서 확인할 수 있다. 도 8을 참조하면, 고르게 깊이가 분포되고 화면의 전환이 적은 대부분의 영상의 경우 깊이 영상의 특성에 맞게 주관적 평가와 유사한 경향을 보이며 피로도 측정이 되는 것을 확인할 수 있다.

상술한 본 발명에 의하면, 기존의 주관적인 평가에 한정되어 왔던 3차원 영상 피로도 실험과 달리 영상의 특성만으로 피로도를 측정할 수 있다. 특히 무안경식 디스플레이에서 2D plus depth 형식의 영상에서 깊이 영상의 특성만을 사용하여 피로도를 측정할 수 있다. 깊이 영상의 공간적, 시간적인 복잡도와 깊이 생성 위치, 영상의 전체적인 속도가 영상의 특성을 측정하기 위한 요소가 되는 것이다. 측정한 깊이 영상의 특성 요소를 선형 조합하여 주관적 화질 평가와 높은 유사성을 보이는 피로도 측정을 할 수 있다. 본 발명에 의하면 또한 객관적인 피로도 측정을 가능하게 하여 3차원 영상의 피로도를 모니터링하고 안전성을 보장할 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

1. 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 방법으로서,
   상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 단계; 및
   상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 단계를 포함하고,
   상기 공간적 복잡도를 나타내는 파라미터는, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산하며, 상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서,
   각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 상기 파라미터를 0에서 1 사이의 값으로 정규화시키는 것을 특징으로 하는 피로도 측정 방법.
5. 제1항에 있어서,
   상기 깊이 생성 위치를 나타내는 파라미터는,
   상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
6. 제1항에 있어서,
   상기 시간적 복잡도를 나타내는 파라미터는,
   연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
7. 제6항에 있어서,
   상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 방법.
8. 제1항에 있어서,
   상기 평균 움직임 속도를 나타내는 파라미터는,
   연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 방법.
9. 제1항에 있어서,
   상기 3차원 영상의 피로도를 계산함에 있어서,
   상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산하는 것을 특징으로 하는 피로도 측정 방법.
10. 제1항, 제4항 내지 제9항 중 어느 한 항에 따른 3차원 영상의 피로도 측정 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
11. 2차원 영상과 깊이 영상으로 이루어지는 3차원 영상의 피로도 측정 장치으로서,
    상기 깊이 영상의 화소 값을 이용하여 상기 3차원 영상의 공간적 복잡도, 깊이 생성 위치, 시간적 복잡도, 평균 움직임 속도를 나타내는 각 파라미터를 계산하는 파라미터 계산부; 및
    상기 계산된 각 파라미터를 이용하여 상기 3차원 영상의 피로도를 계산하는 피로도 계산부를 포함하고,
    상기 공간적 복잡도를 나타내는 파라미터는, 각 프레임의 상기 깊이 영상의 화소 값의 분산을 이용하여 계산하며, 상기 깊이 영상의 화소 값의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 장치.
12. 삭제
13. 삭제
14. 제11항에 있어서,
    상기 공간적 복잡도를 나타내는 파라미터를 계산함에 있어서,
    각 프레임의 상기 깊이 영상의 화소 값의 분산을 지수 함수의 지수로 사용하여 0에서 1 사이의 값으로 정규화시키는 것을 특징으로 하는 피로도 측정 장치.
15. 제11항에 있어서,
    상기 깊이 생성 위치를 나타내는 파라미터는,
    상기 깊이 영상의 화소 값의 평균과 깊이 레벨에서 3차원 디스플레이의 위치의 차이를 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
16. 제11항에 있어서,
    상기 시간적 복잡도를 나타내는 파라미터는,
    연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
17. 제16항에 있어서,
    상기 연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 분산을 구함에 있어서, 상기 깊이 영상을 지역 별로 구분하여 지역마다 서로 다른 가중치를 부여하여 상기 분산을 구하는 것을 특징으로 하는 피로도 측정 장치.
18. 제11항에 있어서,
    상기 평균 움직임 속도를 나타내는 파라미터는,
    연속적인 프레임 사이의 깊이 영상의 화소 값 차이의 평균을 이용하여 계산하는 것을 특징으로 하는 피로도 측정 장치.
19. 제11항에 있어서,
    상기 3차원 영상의 피로도를 계산함에 있어서,
    상기 계산된 각 파라미터의 선형 조합으로 상기 피로도를 계산하는 것을 특징으로 하는 피로도 측정 장치.

Images