KR101595546B1

KR101595546B1 - 시각 피로도 측정 장치, 방법 및 컴퓨터프로그램

Info

Publication number: KR101595546B1
Application number: KR1020140135208A
Authority: KR
Inventors: 박강령; 방재원; 최종석; 허환
Original assignee: 동국대학교 산학협력단
Priority date: 2014-10-07
Filing date: 2014-10-07
Publication date: 2016-02-19

Abstract

본 발명은 영상 시청에 따른 시각 피로도를 측정하는 장치, 방법 및 컴퓨터프로그램에 대한 것이다. 본 발명의 일 실시예에 따른 시각 피로도 측정 장치는 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 상기 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터를 수집하는 데이터 수집부, 상기 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치를 평가하는 가중치 평가부 및 상기 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도를 산출하는 시각 피로도 산출부를 포함할 수 있다. 본 발명은 3차원 디스플레이 시청 전과 시청 후의 입력되는 시각 피로도 측정 데이터들을 퍼지 룰을 기초로 융합하여 보다 정확한 시각 피로도를 측정할 수 있다.

Description

시각 피로도 측정 장치, 방법 및 컴퓨터프로그램{APPARATUS, METHOD AND PROGRAM FOR MEASURING VISUAL FATIGUE}

본 발명은 시각 피로도 측정 장치, 방법 및 컴퓨터프로그램에 관한 것으로서, 구체적으로는 3차원 디스플레이 시청으로 인한 시각 피로도를 측정하는 시각 피로도 측정 장치, 방법 및 컴퓨터프로그램에 관한 것이다.

3차원 산업(3차원 입체 TV, 3차원 영화, 3차원 게임 등)이 발전하면서 3차원 디스플레이 시청 시 사용자의 건강과 관련된 시각 피로도는 중요한 이슈가 되었다. 현재의 최적화되지 않은 3차원 디스플레이를 접한 사용자들이 영상 멀미, 시각 피로, 어지러움을 포함한 불편함을 호소하는 사례가 적지 않기 때문이다.

기존에도 영상 시청에 따른 시각 피로도를 측정하기 위한 시도들이 있었으나, 하나의 정보를 기반으로 판단하거나 신뢰도가 낮은 정보를 처리할 수 있는 방안이 제시되지 않아 시각 피로도 측정에 신뢰성을 부여하기 어려운 문제가 있었다.

본 발명의 배경기술은 대한민국 공개특허 제2009-0079089호 (2009.03.02 공개, 3차원 디스플레이 유발 피로감을 정량적으로 측정할 수 있는 주관적인 시각적 피로감 측정방법 및 장치) 에 개시되어 있다.

따라서, 본 발명은 시각 피로도 측정을 위한 데이터의 신뢰성을 향상하기 위해 퍼지룰 기반 시각 피로도 측정 장치, 방법 및 컴퓨터프로그램을 제공한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 시각 피로도 측정 장치가 제공된다.

본 발명의 일 실시예에 따른 시각 피로도 측정 장치는 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터를 수집하는 데이터 수집부, 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치를 평가하는 가중치 평가부 및 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도를 산출하는 시각 피로도 산출부를 포함할 수 있다.

본 발명의 일 측면에 따르면, 시각 피로도 측정 방법이 제공된다.

본 발명의 일 실시예에 따른 시각 피로도 측정 방법은 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계, 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치가 평가되는 단계 및 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도가 산출되는 단계를 포함할 수 있다.

본 발명의 일 측면에 따르면, 시각 피로도 측정 방법을 실행하는 컴퓨터프로그램이 제공된다.

본 발명의 일 실시예에 따른 시각 피로도 측정 방법을 실행하는 컴퓨터프로그램은 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계, 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치가 평가되는 단계 및 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도가 산출되는 단계를 실행할 수 있다.

본 발명은 3차원 디스플레이 시청 전과 시청 후의 입력되는 시각 피로도 측정 데이터들을 퍼지 룰을 기초로 융합하여 보다 정확한 시각 피로도를 측정할 수 있다.

또한, 본 발명은 보다 정확한 시각 피로도 측정을 제공하여 시각 피로도가 낮은 3차원 디스플레이 개발을 가능하게 한다.

도 1은 본 발명의 일 실시예에 따른 시각 피로도 측정 장치를 나타내기 위한 도면.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 시각 피로도 측정 장치에서 데이터 수집부들을 설명하기 위한 도면.
도 7 및 도 8은 본 발명의 일 실시예에 따른 가중치 평가부를 설명하기 위한 도면.
도 9는 본 발명의 일 실시예에 따른 시각 피로도 측정 방법을 설명하기 위한 도면.
도 10은 본 발명의 일 실시예에 따른 시각 피로도 데이터를 수집하는 단계를 설명하기 위한 도면.
도 11 내지 도 16은 본 발명의 일 실시예에 따른 가중치를 평가하는 단계를 설명하기 위한 도면들.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 시각 피로도 측정 장치의 블록도이다.

도 1을 참조하면, 시각 피로도 측정 장치는 데이터 수집부(200), 가중치 평가부(300) 및 피로도 산출부(400)를 포함한다.

데이터 수집부(200)는 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터들을 수집한다. 또한, 데이터 수집부(200)는 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터를 수집한다. 데이터 수집부(200)는 이하 도 2 내지 도 6에서 더욱 상세히 설명하기로 한다.

뇌파 데이터는 3차원 디스플레이 시청을 하기 전과 후의 측정 대상자의 두피에서 측정되는 뇌파의 차이 값을 나타낸다. 뇌파 데이터는 복수의 두피 지점에서 측정되는 뇌파 차이 값 중 통계적으로 가장 유의미한 값을 갖는 두피 지점의 뇌파 차이 값일 수 있다. 뇌파 데이터는 예를 들면, 13 - 30 Hz의 베타 파에 대한 데이터일 수 있으며, 3차원 디스플레이 시청을 하기 전과 후의 각 주파수 대의 뇌파의 평균 값의 합의 차이 값일 수 있다.

뇌파 데이터는 뇌파 데이터의 특징을 나타내는 뇌파 제1 특징 데이터 및 뇌파 제2 특징 데이터에 따라 가중치가 평가될 수 있다. 여기서, 뇌파 제1 특징 데이터는 통계적으로 가장 유의미한 값을 갖는 제1 두피 지점에서 측정된 제1 뇌파 값과, 통계적으로 두 번째로 유의미한 값을 갖는 제2 두피 지점에서 측정된 제2 뇌파 값의 차이 값일 수 있다. 뇌파 제2 특징 데이터는 통계적으로 가장 유의미한 값을 갖는 제1 두피 지점에서 측정된 제1 뇌파 값과, 통계적으로 세 번째로 유의미한 값을 갖는 제3 두피 지점에서 측정된 제3 뇌파 값의 차이 값일 수 있다.

뇌파 데이터는 뇌파 제1 특징 데이터 및 뇌파 제2 특징 데이터에 상관성에 의해 가중치가 평가된다. 예를 들면, 뇌파 데이터는 뇌파 제1 특징 데이터가 미리 설정된 제1 값보다 작고, 뇌파 제2 특징 데이터가 미리 설정된 제2 값보다 작은 경우, 뇌파 데이터가 상관성이 높게 출력되므로, 신뢰성이 높은 것으로 판단되어 가중치가 높게 산정될 수 있다.

눈 깜박임 데이터는 3차원 디스플레이 시청을 하기 전과 3차원 디스플레이 시청 중의 측정 대상자의 단위시간당 눈 깜박임 횟수의 차이 값을 나타낸다. 눈 깜박임 데이터는 초고속 카메라로 촬영된 이미지에서 동공을 인식하는 영상처리를 통하여 측정된다.

눈 깜박임 데이터는 눈 깜박임 데이터의 특징을 나타내는 눈 깜박임 제1 특징 데이터 및 눈 깜박임 제2 데이터에 따라 가중치가 평가될 수 있다. 여기서, 눈 깜박임 제1 특징 데이터는 그레이 이미지에서 서브 블록 매칭 법을 통하여 찾아낸 왼쪽 눈의 동공이 포함된 제1 중심 블록과 주변 블록들과의 제1 그레이 값(gray value)의 차이와, 서브 블록 매칭 법을 통하여 찾아낸 오른쪽 눈의 동공이 포함된 제2 중심 블록과 주변 블록들과의 제2 그레이 값(gray value) 차이의 차이 값이다. 눈 깜박임 제2 특징 데이터는 이미지를 흑백으로 이진화한 후, 왼쪽 눈 동공의 제1 흑색 픽셀 수와 오른 눈 동공의 제2 흑색 픽셀 수의 차이 값이다.

눈 깜박임 데이터는 눈 깜박임 제1 특징 데이터 및 눈 깜박임 제2 특징 데이터에 상관성에 의해 가중치가 평가된다. 예를 들면, 눈 깜박임 데이터는 눈 깜박임 제1 데이터가 미리 설정된 제3 값보다 크고, 눈 깜박임 제2 데이터가 미리 설정된 제4 값보다 큰 경우, 왼쪽 눈과 오른 쪽 눈에서 측정된 눈 깜박임 데이터의 차이가 크므로, 눈 깜박임 데이터의 신뢰성이 낮은 것으로 판단되어 가중치가 크지 않게 산정될 수 있다.

얼굴 온도 데이터는 3차원 디스플레이 시청을 하기 전과 후의 측정 대상자 얼굴의 특정 지점에서 측정된 온도 데이터 차이 값을 나타낸다.

얼굴 온도 데이터는 열화상 카메라로 읽혀진 얼굴의 특정 지점의 온도데이터이며, 특정 지점은 일반 카메라를 통하여 촬영된 이미지에서 읽혀진 위치를 이용할 수 있다.

얼굴 온도 데이터는 특징을 나타내는 얼굴 온도 제1 특징 데이터 및 얼굴 온도 제2 데이터에 따라 가중치가 평가될 수 있다. 여기서, 얼굴 온도 제1 특징 데이터는 얼굴 왼 쪽의 특정 지점의 제1 온도 데이터와, 얼굴 오른 쪽의 특정 지점의 제2 온도 데이터의 차이 값이다. 얼굴 온도 제2 특징 데이터는 얼굴 왼 쪽과 오른 쪽의 대칭되는 특정 지점의 틀어짐 정도 값이다.

얼굴 온도 데이터는 얼굴 온도 제1 특징 데이터 및 얼굴 온도 제2 특징 데이터에 상관성에 의해 가중치가 평가된다. 예를 들면, 얼굴 온도 데이터는 얼굴 온도 제1 특징 데이터가 미리 설정된 제5 값보다 작고, 얼굴 온도 제2 특징 데이터가 미리 설정된 제6 값보다 작은 경우, 왼 쪽과 오른 쪽의 대칭되는 특정 지점에서 측정된 데이터의 차이가 작으므로, 얼굴 온도 데이터의 신뢰성이 큰 것으로 판단되어 가중치가 크게 산정될 수 있다.

주관적 평가 데이터는 3차원 디스플레이 시청을 하기 전과 후의 측정 대상자로부터 설문을 통하여 조사된 값의 차이 값을 나타낸다. 주관적 평가 데이터는 시각 피로도에 대한 설문일 수 있으며, 예를 들면, 시청에 어려움이 있는가, 눈 주위에 이상한 느낌이 있는가, 눈이 피로함을 느끼는가, 무감각을 느끼는가, 스크린을 볼 때 어지러움이 느껴지는가 및 두통이 있는가 등에 대한 설문일 수 있다.

주관적 평가 데이터는 주관적 평가 데이터의 신뢰성에 대한 주관적 평가 제1 특징 데이터 및 주관적 평가 제2 특징 데이터에 따라 가중치가 평가될 수 있다. 여기서, 주관적 평가 제1 특징 데이터는 3차원 디스플레이 시청 선호도에 대한 제1 주관적 평가 데이터이다. 주관적 평가 제2 특징 데이터는 과거 3차원 디스플레이 시청 횟수에 대한 제2 주관적 평가 데이터이다. 주관적 평가 제1 특징 데이터 및 주관적 평가 제2 특징 데이터는 각 데이터를 1부터 10까지의 상대적인 데이터로 변환될 수 있다.

주관적 평가 데이터는 예를 들면, 주관적 평가 제1 특징 데이터가 미리 설정된 제 7값보다 작고, 주관적 평가 제2 특징 데이터가 미리 설정된 제8 값보다 작은 경우, 3차원 디스플레이 시청 선호도가 낮고, 과거 3차원 디스플레이 시청 횟수가 작으므로, 쉽게 피로도를 느낄 수 있으므로, 주관적 평가 데이터에 대한 가중치가 낮게 산정될 수 있다.

가중치 평가부(300)는 수집된 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개에 대해 각각 상응하는 제1 특징 데이터 및 제2 특징 데이터에 따라 가중치를 평가한다.

가중치 평가부(300)는 제1 특징 데이터 및 제2 특징 데이터 각각의 크기 값에 상응하여 가중치의 크기 값을 설정하는 퍼지룰 테이블을 구성한다. 여기서, 제1 특징 데이터, 제2 특징 데이터 및 가중치의 크기 값은 작음, 중간, 큼으로 각각에 미리 설정된 경계 값들에 따라 나누어질 수 있다. 이후, 가중치 평가부(300)는 퍼지 멥버쉽 함수에 제1 특징 데이터 및 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값 등을 산출한다. 가중치 평가부(300)는 산출된 퍼지 멤버쉽 함수 출력 값 들과 퍼지룰 테이블과 대비하여 출력 최소값 및 출력 최대값 들을 산출한다. 가중치 평가부(300)는산출된 출력 최소값 및 출력 최대값 들을 다시 퍼지 멤버쉽 함수의 역으로 입력하여 가중치 후보 값 들을 산출한다. 가중치 평가부(300)는 산출된 복수의 가중치 후보 값들 중 미리 설정된 기준에 따라 하나의 가중치를 선택한다. 가중치 평가부(300)는 이하 도면 7에서 더욱 상세히 설명하기로 한다.

피로도 산출부(400)는 시각 피로도 측정을 위한 데이터 중 적어도 두 개에 시각 피로도 측정을 위한 데이터 각각에 대해 선택된 가중치를 이용하여 3차원 디스플레이 시청에 대한 시각 피로도를 산출한다.

도 2 내지 도 6은 본 발명의 일 실시예에 따른 시각 피로도 측정 장치의 데이터 수집부를 설명하기 위한 도면 들이다.

도 2를 참조하면, 데이터 수집부(200)는 뇌파 데이터 수집부(210), 눈 깜박임 데이터 수집부(220), 얼굴 온도 데이터 수집부(230) 및 주관적 평가 데이터 수집부(240)를 포함할 수 있다.

뇌파 데이터 수집부는 도 3에 도시된 바와 같이, 측정 대상자의 두피에 부착될 복수의 전극 및 전극에서 측정된 신호를 주파수 대로 분석하는 전극 신호 분석기를 포함한다.

전극은 도 4에 도시된 바와 같이 두피 16 지점에서 뇌파를 측정하는 16개의 전극들을 포함할 수 있다.

전극 신호 분석기는 16개의 두피 지점에서 측정된 전극 신호들을 수집하고, 이 중 통계적으로 유의미한 값을 가지는 두피 지점 들을 순서대로 선정하고, 선정된 두피 지점 들을 이용하여 뇌파 데이터, 뇌파 제1 특징 데이터 및 뇌파 제2 특징 데이터를 수집한다. 여기서, 통계적으로 유의미한 값은 예를 들면, T- test 검정 법을 이용할 있으나, 이에 한정되는 것은 아니다. 또한, 전극 신호 분석기는 예를 들면, 13~30 Hz 범위의 베타 파에 대해 각 주파수 별로 뇌파 데이터를 수집하고, 수집된 뇌파 데이터의 평균 값을 이용할 수 있다.

눈 깜박임 데이터 수집부(220)는 이미지 촬영부 및 이미지 분석부를 포함한다.

이미지 촬영부는 단위 시간당 눈 깜박임 횟수에 관한 데이터를 수집한다.

이미지 촬영부는 도 3에 도시된 바와 같이, 예를 들면, 4메가 픽셀의 초고속 카메라일 수 있다. 이미지 촬영부는 측정 대상자의 얼굴을 촬영할 수 있으며, 예를 들면, 초당 150장의 이미지를 2048X2048 픽셀의 해상도로 수집할 수 있다.

이미지 분석부는 촬상된 이미지를 흑백으로 이진화하고, 서브 블록 템플릿을 이용하여 빠르게 매칭하여 동공부분을 찾는다. 여기서, 서브 블록 템플릿(500)은 도 5에 도시된 바와 같이, 9개의 서브 블록으로 구성될 수 있으며, 중심 블록(R0)의 그레이 값(gray value)과 주변 8개(R1 내지 R8) 블록의 그레이 값의 차이가 가장 큰 부분을 추출하여 동공부분을 찾을 수 있다.

이미지 분석부는 도 6에 도시된 바와 같이, 왼쪽 눈과 오른 쪽 눈의 동공부분(610, 620)에서의 그레이 값의 차이 값을 분석하여 눈 깜박임 제1 특징 데이터를 수집하고, 왼쪽 눈과 오른 쪽 눈의 동공부분의 흑색 픽셀수의 차이 값을 분석하여 눈 깜박임 제2 특징 데이터를 수집할 수 있다.

눈 깜박임 데이터 수집부(220)는 동공 부분의 감지 정확도를 증가시키기 위하여 예를 들면, 850nm의 근 적외선 조사기(222)가 더 포함될 수 있다.

얼굴 온도 데이터 수집부(230)는 얼굴 온도 측정부 및 얼굴 온도 분석부를 포함한다.

얼굴 온도 측정부는 도 3에 도시된 바와 같이 예를 들면, 열화상 카메라일 수 있으며, 얼굴의 온도를 감지한다. 여기서, 열화상 카메라는 50 내지 60 장의 이미지를 초당 수집할 수 있고, 14비트의 320X240 픽셀의 해상도를 가지는 열화상 이미지를 수집할 수 있으며, -20℃ 에서 100 ℃ 의 온도 범위를 감지할 수 있다.

얼굴 온도 측정부는 얼굴의 특정지점의 위치를 참조하기 위하여 일반 카메라를 더 포함할 수 있다. 여기서, 일반 카메라는 상업적인 웹 카메라가 이용될 수 있으며, 근 적외선 조사기를 이용하여 24비트의 800X600 픽셀의 해상도를 가지는 초당 30 장의 이미지를 수집할 수 있다.

얼굴 온도 분석부는 열화상 이미지에서 얼굴의 특정지점을 추출하고, 추출된 특정 지점의 온도 값을 이용하여 얼굴 온도 데이터를 수집할 수 있다.

얼굴 온도 분석부는 얼굴의 왼쪽과 오른쪽의 특정지점, 예를 들면, 기준 지점의 일정 거리 떨어진 지점에서의 일정 면적 예를 들면, 30X30mm의 얼굴 온도 데이터의 차이 값을 이용하여 얼굴 온도 제1 특징 데이터를 수집할 수 있다.

얼굴 온도 분석부는 얼굴의 대칭되는 특정지점, 예를 들면, 양 콧구멍의 중심점의 x 값 및 y 값을 비교하여 얼굴의 틀어짐 정도 값을 이용하여 얼굴 온도 제2 특징 데이터를 수집할 수 있다.

주관적 평가 데이터 수집부(240)는 주관적 평가 데이터 입력부 및 주관적 평가3차원 데이터 변환부를 포함한다.

주관적 평가 데이터 입력부는 디스플레이 시청을 하기 전과 후의 측정 대상자로부터 설문을 통하여 조사된 주관적 평가 데이터 들이 입력된다. 여기서, 주관적 평가 데이터는 시각 피로도에 대한 설문 데이터, 3차원 디스플레이 시청 선호도에 대한 데이터 및 과거 3차원 디스플레이 시청 횟수에 대한 데이터를 포함할 수 있다.

주관적 평가 데이터 변환부는 설문을 통한 주관적 평가 데이터를 상대적인 수치 데이터로 변환한다. 여기서, 상대적인 수치 데이터는 예를 들면, 1부터 10까지 정도에 따라 미리 설정된 기준에 의해 정해질 수 있다.

도 7 및 도 8은 본 발명의 일 실시예에 따른 가중치 평가부(300)를 설명하기 위한 도면이다.

도 7을 참조하면, 가중치 평가부(300)는 퍼지룰 테이블 구성부(310), 퍼지 멤버쉽 함수 적용부(320), 역퍼지화부(330) 및 가중치 선택부(340)를 포함한다.

퍼지룰 테이블 구성부(310)는 수집된 시각 피로도 측정 데이터들 중 적어도 두 개에 대한 제1 특징 데이터 및 제2 특징 데이터의 크기에 따라 가중치의 크기를 설정하는 퍼지룰 테이블을 구성한다. 여기서, 퍼지룰 테이블은 수집되는 시각 피로도 측정 데이터와 제1 특징 데이터 및 제2 특징 데이터의 특성에 따라 달리 설정될 수 있으며, 도 8에 도시된 바와 같다. 도 8을 참조하면, 제1 퍼지룰 테이블(810)은 뇌파 제1 특징 데이터(812) 및 뇌파 제2 특징 데이터(814)에 대한 가중치 평가를 위한 출력 값(816)이다. 제2 퍼지룰 테이블(820)은 눈 깜박임 제1 특징 데이터(822) 및 눈 깜박임 제2 특징 데이터(824)에 대한 가중치 평가를 위한 출력 값(826)이다. 제3 퍼지룰 테이블(830)은 얼굴 온도 제1 특징 데이터(832) 및 얼굴 온도 제2 특징 데이터(834)에 대한 가중치 평가를 위한 출력 값(836)이다. 제4 퍼지룰 테이블(840)은 주관적 평가 제1 특징 데이터(842) 및 주관적 평가 제2 특징 데이터(844)에 대한 가중치 평가를 위한 출력 값(846)이다.

퍼지룰 테이블 구성부(310)는 제1 특징 데이터 및 제2 특징 데이터의 상관성에 따라 각 시각 피로도 측정 데이터의 신뢰성을 예측하여 각 시각 피로도 측정 데이터의 가중치의 크기 값이 설정된다. 여기서, 제1 특징 데이터, 제2 특징 데이터 및 가중치의 크기 값은 작음, 중간, 큼으로 각각에 미리 설정된 경계 값들에 따라 나누어질 수 있다.

퍼지 멤버쉽 함수 적용부(320)는 미리 설정된 퍼지 멥버쉽 함수에 제1 특징 데이터 및 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 산출한다.

퍼지 멤버쉽 함수 적용부(320)는 산출된 퍼지 멤버쉽 함수 출력 값 들을 퍼지룰 테이블이 대입하여 출력 작음 값, 출력 중간 값 및 출력 큼 값에 대해 각각 최소값 및 최대값이 산출된다.

역퍼지화부(330)는 산출된 출력 작음 값, 출력 중간 값 및 출력 큼 값들이 다시 퍼지 멤버쉽 함수의 역으로 입력되어 가중치 후보 값 들이 산출된다. 여기서, 가중치 후보 값은 최초 최대 값(First of Maximum; FOM), 최후 최대값(Last of Maximum; LOM), 중간 최대값 (Middle of Maximum), 평균 최대값 (Mean of Maximum; MeOM) 및 무게중심 값(Center of Gravity; COG) 중 하나일 수 있다.

가중치 선택부(340)는 산출된 복수의 가중치 후보 값들 중 미리 설정된 기준에 따라 하나의 가중치를 선택한다. 여기서, 미리 설정된 기준은 시각 피로도 측정 데이터의 종류 및 특성에 따라 달라질 수 있으며, 임의로 설정될 수도 있다.

도 9는 본 발명의 일 실시예에 따른 시각 피로도 측정 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 단계 S910에서 시각 피로도 측정 장치는 시각 피로도 측정 데이터들을 수집한다. 여기서, 시각 피로도 측정 데이터는 뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개일 수 있다. 또한, 시각 피로도 측정 데이터는 각각에 대한 제1 특징 데이터 및 제2 특징 데이터를 포함한다. 이에 대해서는 도 10에서 더욱 상세히 설명하기로 한다.

단계 S920에서 시각 피로도 측정 장치는 수집된 시각 피로도 측정 데이터 들로부터 가중치를 평가한다. 시각 피로도 측정 장치는 각 시각 피로도 측정 데이터의 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각 시각 피로도 측정 데이터의 가중치를 평가할 수 있다. 이에 대해서는 도 11 내지 도 13에서 더욱 상세히 설명하기로 한다.

단계 S930에서 시각 피로도 측정 장치는 평가된 가중치를 이용하여 시각 피로도를 산출한다.

도 10은 본 발명의 일 실시예에 따른 시각 피로도 데이터를 수집하는 단계를 설명하기 위한 도면이다.

단계 S1010에서 시각 피로도 측정 장치는 3차원 디스플레이 영상 시청 전에 제1 주관적 평가 데이터가 입력된다.

단계 S1020에서 시각 피로도 측정 장치는 제1 눈 깜박임 데이터가 단위 시간 예를 들면, 1분 동안 수집된다.

단계 S1030에서 시각 피로도 측정 장치는 제1 뇌파 데이터와 제1 얼굴 온도 데이터가 5분간 수집된다.

단계 S1040에서 시각 피로도 측정 장치는 3차원 디스플레이 영상이 시청된다.

단계 S1050에서 시각 피로도 측정 장치는 3차원 디스플레이 시청 마지막 1분동안 제2 눈 깜박임 데이터가 입력된다.

단계 S1060에서 시각 피로도 측정 장치는 눈을 감은 채 제2 뇌파 데이터 및 제2 얼굴온도 데이터가 5분간 수집된다.

이후, 단계 S1070에서 시각 피로도 측정 장치는 3차원 디스플레이 시청 후의 제2 주관적 평가 데이터가 입력된다.

도 11 내지 도 16은 본 발명의 일 실시예에 따른 가중치를 평가하는 단계를 설명하기 위한 도면들이다.

도 11을 참조하면, 단계 S1110에서 시각 피로도 측정 장치는 퍼지룰 테이블이 구성된다. 여기서, 퍼지룰 테이블은 수집되는 시각 피로도 측정 데이터와 각각의 제1 특징 데이터 및 제2 특징 데이터의 특성에 따라 달리 설정될 수 있으며, 제1 특징 데이터 및 제2 특징 데이터의 상관성에 따라 각 시각 피로도 측정 데이터의 신뢰성을 예측하여 각 시각 피로도 측정 데이터의 가중치의 크기 값이 설정되는 테이블이다.

단계 S1120에서 시각 피로도 측정 장치는 미리 설정된 퍼지 멥버쉽 함수에 제1 특징 데이터 및 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값이 산출된다.

도 12을 참조하면, 시각 피로도 측정 장치는 3차원 디스플레이 시청 전과 후의 입력된 주관적 평가 제1 특징 데이터(feature1)(842) 및 주관적 평가 제2 특징 데이터(feature2)(844)가 입력된다. 여기서, 주관적 평가 제1 특징 데이터는 측정 대상자의 3차원 디스플레이 시청 선호도를 1부터 10까지 상대적으로 수치화시켜 변환시킨 것이다. 주관적 평가 제2 특징 데이터는 과거 측정 대상자의 3차원 디스플레이 시청 횟수를 1부터 10까지 상대적으로 수치화시켜 변환시킨 것이다.

도 13를 참조하면, 시각 피로도 측정 장치는 주관적 평가 제1 특징 데이터의 평균 값을 정규분포화 시킨 값 0.571429를 퍼지 멤버쉽 함수에 적용하여 선형함수에 대응되는 퍼지 멤버쉽 함수 작음 출력 값인 0, 퍼지 멤버쉽 함수 중간 출력 값 0.857142 및 퍼지 멤버쉽 함수 큼 출력 값 0.142858을 산출한다.

또한, 시각 피로도 측정 장치는 주관적 평가 제2 특징 데이터의 평균 값을 정규분포화 시킨 값 0.444444를 퍼지 멤버쉽 함수에 적용하여 선형함수에 대응되는 퍼지 멤버쉽 함수 작음 출력 값인 0.111112, 퍼지 멤버쉽 함수 중간 출력 값 0.888888 및 퍼지 멤버쉽 함수 큼 출력 값 0을 산출한다.

단계 S1130에서 시각 피로도 측정 장치는 산출된 퍼지 멤버쉽 함수 출력 값 들을 퍼지룰 테이블이 대입하여 작음, 중간, 큼에 대해 각각 출력 최소값 및 출력 최대값이 산출된다.

도 14를 참조하면, 시각 피로도 측정 장치는 주관적 평가 제1 특징 데이터의 출력 값들과 주관적 평가 제2 특징 데이터의 출력 값들을 퍼지룰 테이블에 대입하여 구성한다. 시각 피로도 측정 장치는 예를 들면, 도 8의 제4 퍼지룰 테이블(840)이 대입된 작음, 중간, 큼에 대해 각각 출력 최소값 및 출력 최대값이 산출된다.

단계 S1140에서 시각 피로도 측정 장치는 산출된 출력 최소값 및 출력 최대값 들이 다시 퍼지 멤버쉽 함수의 역으로 입력되어 가중치 후보 값 들이 산출된다.

도 15 및 도 16을 참조하면, 시각 피로도 측정 장치는 출력 최소값 및 출력 최대값 들이 다시 퍼지 멤버쉽 함수의 역으로 입력되어 가중치 후보 값 들이 산출된다. 여기서, 가중치 후보 값은 출력 최소값 및 출력 최대값에 대해 각각 최초 최대 값(First of Maximum; FOM), 최후 최대값(Last of Maximum; LOM), 중간 최대값 (Middle of Maximum), 평균 최대값 (Mean of Maximum; MeOM) 및 무게중심 값(Center of Gravity; COG) 중 적어도 하나일 수 있다.

단계 S1150에서 시각 피로도 측정 장치는 산출된 복수의 가중치 후보 값들 중 미리 설정된 기준에 따라 하나의 가중치를 선택한다. 여기서, 미리 설정된 기준은 시각 피로도 측정 데이터의 종류 및 특성에 따라 달라질 수 있으며, 임의로 설정될 수도 있다.

이후, 시각 피로도 측정 장치는 선택된 가중치가 상응하는 시각 피로 데이터에 각각 적용되고 시각 피로 데이터 들 중 적어도 두 개의 데이터를 이용하여 시각 피로도가 산출된다.

본 발명의 다양한 실시예에 따른 시각 피로도 측정방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 통신 단말기에서 구현되는 애플리케이션 형태로 구현될 수 있다.

또한, 본 발명에 따른 시각 피로도 측정 방법을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

200: 데이터 수집부
210: 뇌파 데이터 수집부
220: 눈 깜박임 데이터 수집부
230: 얼굴 온도 데이터 수집부
240: 주관적 평가 데이터 수집부
300: 가중치 평가부
310: 퍼지룰 테이블 구성부
320: 퍼지 멤버쉽 함수 적용부
330: 역퍼지화부
340: 가중치 선택부
400: 피로도 산출부

Claims

시각 피로도 측정 장치에 있어서,
뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 상기 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터를 수집하는 데이터 수집부;
상기 제1 특징 데이터 및 상기 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치를 평가하는 가중치 평가부; 및
상기 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도를 산출하는 시각 피로도 산출부를 포함하는 시각 피로도 측정 장치.
제 1 항에 있어서,
상기 뇌파 데이터에 상응하는 제1 특징 데이터는 복수의 두피 지점에서 측정되는 뇌파 값 중 통계적으로 가장 유의미한 값을 갖는 제1 두피 지점의 뇌파 값과, 통계적으로 두 번째로 유의미한 값을 갖는 제2 두피 지점에서 측정된 제2 뇌파 값의 차이 값이며,
상기 뇌파 데이터에 상응하는 제2 특징 데이터는 복수의 두피 지점에서 측정되는 뇌파 값 중 통계적으로 가장 유의미한 값을 갖는 제1 두피 지점의 뇌파 값과, 통계적으로 세 번째로 유의미한 값을 갖는 제3 두피 지점에서 측정된 제3 뇌파 값의 차이 값인 시각 피로도 측정 장치.
제 1 항에 있어서,
상기 눈 깜박임 데이터에 상응하는 제1 특징 데이터는 그레이 이미지에서 서브 블록 매칭 법을 통하여 찾아낸 왼쪽 눈의 동공이 포함된 제1 중심 블록과 주변 블록들과의 제1 그레이 값(gray value)의 차이와, 서브 블록 매칭 법을 통하여 찾아낸 오른쪽 눈의 동공이 포함된 제2 중심 블록과 주변 블록들과의 제2 그레이 값(gray value) 차이의 차이 값이며,
상기 눈 깜박임 데이터에 상응하는 제2 특징 데이터는 이미지를 흑백으로 이진화한 후, 왼쪽 눈 동공의 제1 흑색 픽셀 수와 오른 눈 동공의 제2 흑색 픽셀 수의 차이 값인 시각 피로도 측정 장치.
제 1 항에 있어서,
상기 얼굴 온도 데이터에 상응하는 제1 특징 데이터는 얼굴 왼 쪽의 특정 지점의 제1 온도 데이터와, 얼굴 오른 쪽의 특정 지점의 제2 온도 데이터의 차이 값이며,
상기 얼굴 온도 데이터에 상응하는 제2 특징 데이터는 얼굴 왼 쪽과 오른 쪽의 대칭되는 특정 지점의 틀어짐 정도 값인 시각 피로도 측정 장치.
제1 항에 있어서,
상기 주관적 평가 데이터에 상응하는 제1 특징 데이터는 3차원 디스플레이 시청 선호도에 대한 제1 주관적 평가 데이터이며,
상기 주관적 평가 데이터에 상응하는 제2 특징 데이터는 과거 3차원 디스플레이 시청 횟수에 대한 제2 주관적 평가 데이터인 시각 피로도 측정 장치.
제 1 항에 있어서,
상기 가중치 평가부는
상기 제1 특징 데이터 및 상기 제2 특징 데이터의 크기에 따라 가중치의 크기가 설정되는 퍼지룰 테이블을 구성하는 퍼지룰 테이블 구성부;
미리 설정된 퍼지 멥버쉽 함수에 상기 제1 특징 데이터 및 상기 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 산출된 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 상기 구성된 퍼지룰 테이블에 대입하고, 출력 작음 값, 출력 중간 값 및 출력 큼 값을 산출하는 퍼지 멤버쉽 함수 적용부;
상기 산출된 출력 작음 값, 출력 중간 값 및 출력 큼 값을 상기 퍼지 멤버쉽 함수에 역으로 입력하여 가중치 후보 값 들이 산출되는 역퍼지화부; 및
상기 가중치 후보 값 들 중 미리 설정된 기준에 따라 하나의 가중치가 선택되는 가중치 선택부를 포함하는 시각 피로도 측정 장치.
제 6 항에 있어서,
상기 퍼지 멤버쉽 함수 적용부는 상기 출력 작음 값, 출력 중간 값 및 출력 큼 값에 대한 최소값들 또는 최대값들을 산출하는 시각 피로도 측정 장치.
제 6 항에 있어서,
상기 제1 특징 데이터, 상기 제2 특징 데이터 및 상기 가중치의 크기는 각각에 미리 설정된 경계 값에 따라 작음, 중간, 큼으로 분류되는 시각 피로도 측정 장치.
시각 피로도 측정 방법에 있어서,
뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 상기 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계;
상기 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치가 평가되는 단계; 및
상기 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도가 산출되는 단계를 포함하는 시각 피로도 측정 방법.
제 9 항에 있어서,
상기 시각 피로도 측정 데이터와 상기 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계는
3차원 디스플레이 영상 시청 전에 제1 주관적 평가 데이터가 입력되는 단계;
제1 눈 깜박임 데이터가 수집되는 단계;
제1 뇌파 데이터와 제1 얼굴 온도 데이터가 수집되는 단계;
3차원 디스플레이 영상이 시청되는 단계;
3차원 디스플레이 시청 동안 제2 눈 깜박임 데이터가 입력되는 단계;
3차원 디스플레이 시청 후 제2 뇌파 데이터 및 제2 얼굴온도 데이터가 수집되는 단계; 및
3차원 디스플레이 시청 후 제2 주관적 평가 데이터가 입력되는 단계를 포함하는 시각 피로도 측정 방법.
제 9 항에 있어서,
상기 가중치가 평가되는 단계는
퍼지룰 테이블이 구성되는 단계;
미리 설정된 퍼지 멥버쉽 함수에 상기 제1 특징 데이터 및 상기 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 산출되는 단계;
상기 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 상기 퍼지룰 테이블에 대입하고, 출력 작음 값, 출력 중간 값 및 출력 큼 값을 산출하는 단계;
상기 산출된 출력 작음 값, 출력 중간 값 및 출력 큼 값을 상기 퍼지 멤버쉽 함수에 역으로 입력하여 가중치 후보 값 들이 산출되는 단계; 및
상기 가중치 후보 값 들 중 미리 설정된 기준에 따라 하나의 가중치가 선택되는 단계를 포함하는 시각 피로도 측정 방법.
제 11 항에 있어서,
상기 가중치 후보 값은
최초 최대 값(First of Maximum; FOM), 최후 최대값(Last of Maximum; LOM), 중간 최대값 (Middle of Maximum), 평균 최대값 (Mean of Maximum; MeOM) 및 무게중심 값(Center of Gravity; COG) 중 적어도 하나인 시각 피로도 측정 방법.
시각 피로도 측정 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 있어서,
뇌파 데이터, 눈 깜박임 데이터, 얼굴 온도 데이터 및 주관적 평가 데이터 중 적어도 두 개의 시각 피로도 측정 데이터와, 상기 적어도 두 개의 시각 피로도 측정 데이터 각각에 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계;
상기 제1 특징 데이터 및 제2 특징 데이터를 이용하여 각각의 시각 피로도 측정 데이터의 가중치가 평가되는 단계; 및
상기 수집된 적어도 두 개의 시각 피로도 측정 데이터와, 각각의 가중치를 이용하여 시각 피로도가 산출되는 단계를 실행하는 시각 피로도 측정 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
제 13 항에 있어서,
상기 시각 피로도 측정 데이터와 상기 상응하는 제1 특징 데이터 및 제2 특징 데이터가 수집되는 단계는
3차원 디스플레이 영상 시청 전에 제1 주관적 평가 데이터가 입력되는 단계;
제1 눈 깜박임 데이터가 수집되는 단계;
제1 뇌파 데이터와 제1 얼굴 온도 데이터가 수집되는 단계;
3차원 디스플레이 영상이 시청되는 단계;
3차원 디스플레이 시청 동안 제2 눈 깜박임 데이터가 입력되는 단계;
3차원 디스플레이 시청 후 제2 뇌파 데이터 및 제2 얼굴온도 데이터가 수집되는 단계; 및
3차원 디스플레이 시청 후 제2 주관적 평가 데이터가 입력되는 단계를 포함하는 시각 피로도 측정 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
제 13 항에 있어서,
상기 가중치가 평가되는 단계는
퍼지룰 테이블이 구성되는 단계;
미리 설정된 퍼지 멥버쉽 함수에 상기 제1 특징 데이터 및 상기 제2 특징 데이터의 변환 값을 적용하여 각각에 대해 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 산출되는 단계;
상기 퍼지 멤버쉽 함수 작음 출력 값, 퍼지 멤버쉽 함수 중간 출력 값 및 퍼지 멤버쉽 함수 큼 출력 값을 상기 퍼지룰 테이블에 대입하고, 출력 작음 값, 출력 중간 값 및 출력 큼 값을 산출하는 단계;
상기 산출된 출력 작음 값, 출력 중간 값 및 출력 큼 값을 상기 퍼지 멤버쉽 함수에 역으로 입력하여 가중치 후보 값 들이 산출되는 단계; 및
상기 가중치 후보 값 들 중 미리 설정된 기준에 따라 하나의 가중치가 선택되는 단계를 포함하는 시각 피로도 측정 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.