KR20190057592A

KR20190057592A - 생체신호 데이터 관리 분석 시스템 및 방법

Info

Publication number: KR20190057592A
Application number: KR1020170154715A
Authority: KR
Inventors: 박민철; 김민정; 황도경; 주현수
Original assignee: 한국과학기술연구원
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2019-05-29
Also published as: KR102063744B1

Abstract

실시예들은 3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하고, 상기 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 데이터베이스 관리부; 및 상기 실험 데이터 세트에 기초하여 특징 벡터를 산출하고, 상기 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 데이터 분석부를 포함하며, 상기 원시 데이터는 상기 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함하는 생체신호 데이터 관리 분석 시스템 및 상기 시스템에 의해 수행되는 생체신호 데이터 관리 방법에 관한 것이다.

Description

생체신호 데이터 관리 분석 시스템 및 방법{SYSTEM AND METHOD FOR MANAGING AND ANALYZING BIO-SIGNAL DATA}

실시예들은 생체신호 데이터 관리 분석에 관한 것으로서, 보다 상세하게는 3 D 컨텐츠 노출 실험에 대한 데이터를 저장, 관리하고, 이를 기계학습을 통해 분석하여 인체의 피로도를 평가하는 것에 관한 것이다.

최근 디스플레이 기술이 발전함에 따라, 시청자에게 보다 현실감 있는 컨텐츠를 제공하는 3D 컨텐츠 관련 기술이 급성장하고 있다. 이러한 3D 컨텐츠 관련 기술의 상용화에 있어서, 3D 컨텐츠를 시청 시 사용자가 2D 컨텐츠를 시청하는 것에 비해 쉽게 피로하게 되는 것이 가장 큰 걸림돌로 지적되고 있다.

따라서, 3D 컨텐츠를 상용화하기 위해서는 어떤 사용자가, 어떤 3D 컨텐츠를, 어떤 3D 컨텐츠 제공 수단을 사용하면 얼마나 피로한지에 대한 연구가 반드시 수행되어야 한다. 또한, 이러한 연구 결과를 종합적으로 관리하면서, 연구 결과를 기초로 피로도인지 여부를 판별하는 기술에 대한 필요성이 대두되고 있다.

종래의 기술은 3D 디스플레이 화면을 시청할 때, 특정 파라미터를 이용하여 사용자가 경험하는 주관적인 불편감(예를 들어, 생리적 피로 및 정서적 피로 등)을 평가하고 있으나, 3D 디스플레이 화면을 시청하는 것에 연관된 데이터가 종합적으로 관리되지 않아, 다양한 관점에서 시청 결과를 분석하는 것에 한계가 있다.

특허공개공보 제10-2005-0135785호

"Human factors research on the measurement of subjective three dimensional fatigue" (Li, Hyung-Chul O., Journal of Broadcast Engineering, 2010)

본 발명의 실시예들에 따르면, 3 D 컨텐츠 노출 실험에 대한 데이터를 저장, 관리하고, 이를 기초로 기계학습을 통해 인체의 피로도를 산출하는 시스템 및 방법이 제공될 수 있다.

본 발명의 일 측면에 따른 생체신호 데이터 관리 분석 시스템은 3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하고, 상기 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 데이터베이스 관리부; 및 상기 실험 데이터 세트에 기초하여 특징 벡터를 산출하고, 상기 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 데이터 분석부를 포함할 수 있다. 여기서, 상기 원시 데이터는 상기 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함할 수 있다.

일 실시예에서, 상기 데이터베이스 관리부는 원시 데이터 중 일부를 식별자로 정의하고, 상기 식별자를 이용하여 실험 데이터 세트를 생성할 수 있다.

일 실시예에서, 상기 원시 데이터는 3D 컨텐츠 노출 실험의 피험자에 연관된 피험자 데이터, 3D 컨텐츠 노출 실험에서 사용된 하드웨어에 연관된 하드웨어 데이터, 및 3D 컨텐츠 노출 실험에서 측정된 생체신호 유형에 연관된 생체신호 유형 데이터 중 적어도 하나를 더 포함하고, 상기 데이터베이스 관리부는 상기 피험자 데이터를 제1 식별자로, 상기 하드웨어 데이터를 제2 식별자로, 상기 생체신호 유형 데이터를 제3 식별자로 각각 정의할 수 있다.

일 실시예에서, 상기 데이터 분석부는 생체신호 분석 방식을 선택하고, 상기 분석 방식에 대응하는 생체신호 측정 데이터를 상기 실험 데이터 세트로부터 검색하며, 상기 생체신호 측정 데이터를 전처리하여 특징 벡터를 산출할 수 있다.

일 실시예에서, 상기 데이터 분석부는 상기 실험 데이터 세트가 주관 평가 점수 데이터를 포함하는지 검색하고, 상기 주관 평가 점수 데이터가 없는 경우 비지도 학습(Unsupervised Learning) 알고리즘을 사용하여 피로 군집을 분류하며, 상기 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류할 수 있다.

일 실시예에서, 상기 지도 학습 알고리즘은 훈련 데이터로 훈련되었고, 상기 훈련 데이터의 각 표본은 라벨링 데이터 및 상기 특징 벡터를 포함하며, 상기 라벨링 데이터는 주관 평가 점수의 변화량이 임계값 이상인지 여부를 표현할 수 있다.

본 발명의 다른 일 측면에 따른 생체신호 데이터 관리 분석 방법은 3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하는 단계; 상기 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 단계; 상기 실험 데이터 세트에 기초하여 특징 벡터를 산출하는 단계; 및 상기 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 단계를 포함할 수 있다. 여기서, 상기 원시 데이터는 상기 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함할 수 있다.

일 실시예에서, 상기 실험 데이터 세트를 생성하는 단계는 상기 원시 데이터 중 일부를 식별자로 정의하는 단계; 및 상기 식별자를 이용하여 실험 데이터 세트를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 원시 데이터는 중 3D 컨텐츠 노출 실험의 피험자에 연관된 피험자 데이터, 3D 컨텐츠 노출 실험에서 사용된 하드웨어에 연관된 하드웨어 데이터, 및 3D 컨텐츠 노출 실험에서 측정된 생체신호 유형에 연관된 생체신호 유형 데이터 중 적어도 하나를 더 포함하고, 상기 원시 데이터 중 일부를 식별자로 정의하는 단계는 상기 피험자 데이터를 제1 식별자로, 상기 하드웨어 데이터를 제2 식별자로, 상기 생체신호 유형 데이터를 제3 식별자로 각각 정의하는 단계를 포함할 수 있다.

일 실시예에서, 상기 특징 벡터를 산출하는 단계는 생체신호 분석 방식을 선택하는 단계; 상기 분석 방식에 대응하는 생체신호 측정 데이터를 상기 실험 데이터 세트로부터 검색하는 단계; 및 상기 생체신호 측정 데이터를 전처리하여 특징 벡터를 산출하는 단계를 포함할 수 있다.

일 실시예에서, 상기 생체신호 데이터 관리 분석 방법은 상기 실험 데이터 세트가 주관 평가 점수 데이터를 포함하는지 검색단계를 더 포함하고, 상기 3D 컨텐츠의 피로도를 산출하는 단계는 상기 주관 평가 점수 데이터가 없는 경우 비지도 학습(Unsupervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계; 및 상기 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계를 포함할 수 있다.

명령어를 저장하는 컴퓨터 판독가능 기록매체에는 상기 명령어가 실행되는 경우 프로세서가 실시예들에 따른 생체신호 데이터 관리 분석 방법을 수행하게 할 수 있다.

본 발명의 실시예들에 따른 생체신호 데이터 관리 분석 시스템은 3D 컨텐츠 시청 전후에 대한 변화를 측정하는 실험에 연관된 다양한 데이터를 데이터베이스 관리 시스템(DBMS, DataBase Management System)에 종합적으로 저장, 관리할 수 있다.

또한, 기계학습을 통해 사용자의 주관 평가가 없는 경우에도 3D 컨텐츠 시청으로 인한 피로 발생 정도를 즉각적이고 객관적으로 제시할 수 있어 각종 3D 디스플레이 기기 및 3D 콘텐츠에 대한 인체안정성을 평가할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 시스템의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 시스템의 블록도이다.
도 3a-3c는, 본 발명의 일 실시예에 따른, 항목별 데이터 테이블을 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 실험 데이터 세트를 예시적으로 도시한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 라벨링의 기초가 되는 주관 평가 점수를 산출하기 위한 문항을 도시한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 방법의 흐름도이다.
도 7은, 본 발명의 다른 일 실시예에 따른, 생체신호 데이터 관리 분석 방법의 흐름도이다.
상기 도면들은 단지 도시(illustration)의 목적을 위해서 본 발명의 다양한 실시예들을 묘사한다. 통상의 기술자는 본 명세서에 설명된 구조 및 방법의 대안적인 실시예가 본 명세서에 설명된 발명의 원리를 벗어나지 않고 사용될 수도 있다는 것을 다음의 설명으로부터 용이하게 인식할 수 있을 것이다.

실시예들은 여기에 첨부된 도면들을 참조하여 설명될 것이다 그러나, 여기에 개시된 원리들은 많은 상이한 형태로 구현될 수도 있으며 여기에서 기재된 실시예로 제한되어 생각되지 않아야 한다. 발명의 상세한 설명에서, 잘 알려진 특징 및 기술에 대한 상세한 설명이 실시예의 특징을 불필요하게 불명확하게 하는 것을 피하기 위해 생략될 수도 있다.

본 명세서에서 3D 컨텐츠 노출 실험은 피험자의 상태를 측정하여 실험 참가 가능 여부를 판단하는 단계, 3D 컨텐츠 노출 전 데이터(Pre-viewing data)를 획득하는 단계 및 3D 컨텐츠 노출 후 데이터(Post-viewing data)를 획득하는 단계를 포함한다. 3D 컨텐츠 노출 전/후 단계는 피험자에게 특정 자극을 가하여 특정 자극에 따른 반응 여부를 측정하는 단계(Attend-Ignore task) 또는 주관 설문을 진행하는 단계를 포함하며, 이로 인해 피험자의 다양한 생체신호 변화와 같은 객관적인 측면에서의 변화 또는 피험자의 주관적인 측면에서의 변화를 알 수 있다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 시스템의 개념도이고, 도 2는, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 시스템(1000)의 블록도이다.

상기 시스템(1000)은 데이터베이스 관리부(100)와 데이터 분석부(200)를 포함한다. 데이터베이스 관리부(100)는 관리 엔진부(120)를 포함한다.

실시예들에 따른 생체신호 데이터 관리 분석 시스템(1000)은 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 상기 시스템(1000)에 포함된 데이터베이스 관리부(100)는 특정 형식 및 내용의 데이터를 처리하거나 또는/또한 전자통신 방식으로 주고받기 위한 하드웨어 및 이에 관련된 소프트웨어를 통칭할 수 있다. 즉, 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.

일 실시예에서, 상기 데이터베이스 관리부(100)는 데이터베이스(110)를 더 포함할 수도 있다. 데이터베이스(110)는 원시 데이터 저장소(111), 피험자 테이블 저장소(112), 하드웨어 테이블 저장소(113), 생체신호 유형 테이블 저장소(114) 및 실험 데이터 세트 저장소(115)를 포함한다. 상기 실시예와 같이 상기 데이터베이스 관리부(100)가 데이터베이스(110)를 더 포함하는 경우, 저장되는 데이터베이스 정보는 외부 데이터베이스로부터 획득될 수도 있고, 사용자 입력으로부터 획득될 수도 있다. 통상의 기술자에게는 데이터베이스(110)는 여기에 명백하게 언급되지 않은 다른 데이터 저장소도 포함할 수도 있다는 것이 명백할 것이다.

3D 컨텐츠 노출 실험에 연관된 데이터는 원시 데이터 저장소(111)에 저장된 원시 데이터에 연관된다. 원시 데이터는 3D 컨텐츠 노출 실험에 연관된 다양한 데이터(예를 들어, 피험자의 나이, 피험자의 성별, 피험자가 사용한 3D 컨텐츠 재생 기기, 측정된 생체신호 유형, 3D 컨텐츠 노출 전/후 생체신호 측정치, 3D 컨텐츠 노출 전/후 주관 평가 점수 등)를 나타낸다.

3D 컨텐츠 노출 실험에 연관된 피험자는 피험자 테이블 저장소(112)에 저장된 피험자 테이블에 연관된다. 피험자 테이블은 다수의 데이터 필드(data fields)를 포함하고, 각각은 하나 이상의 생체 속성(attributes)을 설명한다. 일 실시예에서, 피험자 테이블은 성별, 나이를 설명하는 데이터를 포함한다.

또한, 피험자 테이블은 각 피험자를 식별하기 위한 식별자를 더 포함할 수 있다. 이에 대해서는 아래의 도 3a를 참조하여 상세히 서술한다.

3D 컨텐츠 노출 실험에 연관된 3D 컨텐츠 제공 기기는 하드웨어 테이블 저장소(113)에 저장된 하드웨어 테이블에 연관된다. 하드웨어 테이블은 다수의 데이터 필드를 포함하고, 각각은 하나 이상의 하드웨어 속성을 설명한다.

일 실시예에서, 하드웨어 테이블은 하드웨어 종류를 설명하는 데이터를 포함한다. 여기서 하드웨어 종류는 컴퓨터 모니터, TV, 스마트 폰, HMD(Head mounted display) 등을 포함하나, 이에 제한되지 않으며, 3D 컨텐츠를 피험자에게 제공하는 다양한 하드웨어 종류를 더 포함할 수 있다.

일부 실시예에서, 하드웨어 테이블은 크기를 설명하는 데이터를 더 포함할 수도 있다.

또한, 하드웨어 테이블은 각 하드웨어를 식별하기 위한 식별자를 더 포함할 수 있다. 이에 대해서는 아래의 도 3b를 참조하여 상세히 서술한다.

3D 컨텐츠 노출 실험에 연관된 피험자로부터 측정된 측정 생체신호 유형은 생체신호 유형 테이블 저장소(114)에 저장된 생체신호 유형 테이블에 연관된다. 생체신호 유형 테이블은 다수의 데이터 필드를 포함하고, 각각은 하나 이상의 생체신호 유형을 설명한다.

일 실시예에서, 생체신호 유형은 EEG(Electroencephalogram), EOG(Electrooculogram), EMG(Electromyography), PPG(Photo PlethysmoGraph), SKT(Skin Temperature) 및 GSR(Galvanic Skin Response Test) 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않으며 3D 컨텐츠 노출 전/후의 신체 변화를 알 수 있는 다양한 생체신호를 더 포함할 수 있다.

또한, 생체신호 유형 테이블은 각 생체신호 유형을 식별하기 위한 고유 식별자를 더 포함할 수 있다. 이에 대해서는 아래의 도 3c를 참조하여 상세히 서술한다.

또한, 일 실시예에서, 생체신호 유형 테이블은 생체신호 유형에 연관된 데이터를 더 포함할 수 있다. 예를 들어, 생체신호 유형이 EEG인 경우, 생체신호 유형 테이블은 EEG가 측정된 채널 데이터를 더 포함할 수 있다.

관리 엔진부(120)는 획득된 원시 데이터에 기초하여 실험 데이터 세트를 생성한다. 원시 데이터를 3D 컨텐츠 노출 실험별로 카테고리화(categorize)한다.

도 3a-3c는, 본 발명의 일 실시예에 따른, 항목별 데이터 테이블을 도시한 도면이다. 일 실시예에서, 관리 엔진부(120)는 획득된 원시 데이터를 항목별로 서브-카테고리화(subcategorize)하고, 각 항목별로 항목을 식별할 수 있는 식별자(identifier)를 정의한다.

도 3a를 참조하면, 관리 엔진부(120)는 16세 남자인 제1 피험자를 1로, 22세 여자인 제2 피험자를 2로, 22세 남자인 제3 피험자를 3으로, 50세 여자인 제4 피험자를 4로 정의할 수 있으며, 피험자 식별자(Sbjt_ID)는 각각 1, 2, 3, 4이다. 관리 엔진부(120)는 피험자 식별자를 포함하는 피험자 테이블을 피험자 테이블 저장소(112)에 저장할 수 있다.

도 3b를 참조하면, 관리 엔진부(120)는 3D TV를 1로, 스마트 폰을 2로, HMD를 3으로 정의할 수 있으며, 하드웨어 종류 식별자(HT_ID)는 각각 1, 2, 3이다. 관리 엔진부(120)는 하드웨어 종류 식별자를 포함하는 하드웨어 테이블을 하드웨어 테이블 저장소(113)에 저장할 수 있다.

도 3c를 참조하면, 관리 엔진부(120)는 EEG를 1로, EMG를 2로, ECG를 3으로, PPG를 4로 정의할 수 있으며, 생체신호 유형 식별자(BT_ID)는 각각 1, 2, 3, 4이다. 데이터베이스 관리부(100)는 생체신호 유형 식별자를 포함하는 생체신호 유형 테이블을 생체신호 유형 저장소(114)에 저장할 수 있다.

이러한 식별자를 부여함으로써, 실험별로 데이터를 분석할 때 정규화할 수 있다. 또한, 피험자가 두 개 이상의 실험에 참여하는 등의 경우에는 피험자 정보를 중복하여 기입하지 않고 ?머자 테이블에서 식별자만 가져다 쓰면 되어 데이터 중복 입력을 최소화할 수 있다.

상술한 실시예들에서, 각 식별자에 정의된 값은 단순한 예시로서, 다양한 값들이 식별자로 정의될 수 있음이 통상의 기술자에게 명백히 자명할 것이다.

도 4는, 본 발명의 일 실시예에 따른, 실험 데이터 세트를 예시적으로 도시한 도면이다. 일 실시예에서, 관리 엔진부(120)는 원시 데이터를 정의된 식별자로 가공하여 실험 데이터 세트를 생성한다. 실험 데이터 세트는 피험자 식별자, 하드웨어 종류 식별자, 생체신호 유형 식별자, 생체신호 측정 데이터를 포함할 수 있다. 도 4의 실험 데이터 세트는 하나의 3D 컨텐츠 노출 실험에서 제1 실험자가 HMD를 사용하여 3D 컨텐츠 시청 전/후의 EEG 신호를 8개의 채널에서 측정하였고, 제2 실험자가 HMD를 사용하여 3D 컨텐츠 시청 전/후의 EEG 신호를 1개의 채널에서 측정하였다는 데이터를 포함한다.

상술한 바와 같이, 데이터베이스 관리부(100)는 3D 컨텐츠 노출 실험 별로 식별자를 이용하여 실험 데이터 세트로 카테고리화할 수 있어, 다양한 실험이 계속되고 피험자의 수가 증가할수록 원시 데이터가 증가하는 문제를 해결할 수 있다.

실험 데이터 세트는 하나 이상의 피험자별 실험 데이터 서브 세트(이하, “서브 세트”)를 포함한다. 일 실시예에서, 실험 데이터 세트는 제1 피험자에 대한 제1 서브 세트(A)와 제2 피험자에 대한 제2 서브 세트(B)를 포함한다. 데이터베이스 관리부(100)는 데이터 분석부(200)가 피험자별 피로도 분석 작업을 수행할 수 있도록 하나의 서브 세트만을 제공하거나, 복수의 서브 세트를 제공하거나, 또는 모든 서브 세트가 포함된 실험 데이터 세트를 제공할 수 있다.

데이터베이스 관리부(100)는 실험 데이터 세트를 실험 데이터 세트 저장소(115)에 저장할 수 있다.

데이터 분석부(200)는 데이터베이스 관리부(100)로부터 제공받은 실험 데이터 세트(또는 서브 세트) 중 분석에 필요한 데이터(예를 들어, 생체신호 유형 및 생체신호 측정 데이터)를 검색하고, 다양한 생체신호 분석 방식에 따라 전처리하여 피로도 분석을 위한 특징 벡터를 산출한다.

일 예에서, 생체신호 유형이 EEG이고, 3D 컨텐츠 노출 전/후에 따른 유발뇌파의 변화를 분석하고자 하는 경우(즉, ERP(Event-related potential) 분석), 데이터 분석부(200)는 실험 데이터 세트에 포함된 생체신호 측정 데이터(즉, 3D 컨텐츠 노출 전/후 제1 자극 및 제2 자극에 대한 진폭 데이터(Pre-A_attend, Pre-A_ignore, Post-A_attend, Post-A_ignore))를 전처리한다. 여기서 ERP 분석을 위한 전처리 과정은 3D 컨텐츠 노출 전 제1 자극에 대해 반응할 때의 뇌파 진폭(A_attend)과 제2 자극에 대해 무시할 때의 뇌파 진폭(A_ignore) 간의 차이(pre-d) 및 3D 컨텐츠 노출 후 제1 자극에 대해 반응할 때의 뇌파 진폭(A_attend)과 제2 자극에 대해 무시할 때의 뇌파 진폭(A_ignore) 간의 차이(post-d)를 산출하는 것이다. 상기 예에서, 특징 벡터는 전처리된 진폭에 대한 값이다. 예를 들어, 8개의 채널에서 뇌파의 진폭이 측정된 경우, 특징 벡터는 (f1, f2, … , f8) 이다.

다른 일 예에서, 생체신호 유형이 EEG이고, 3D 컨텐츠 노출/전후에 따른 배경뇌파의 변화를 분석하고자 하는 경우, 데이터 분석부(200)는 FFT(Fast Fourier Transform)을 통해 생체신호 측정 데이터를 주파수 영역으로 변환한다. 상기 예에서, 특징 벡터는 전처리된 주파수에 대한 값이다.

일 실시예에서, 데이터 분석부(200)는 서브 세트에 주관 평가 점수 데이터가 포함되어있는지 검색하고, 주관 평가 점수 데이터가 없는 경우 특징 벡터를 비지도 학습(Unsupervised Learning) 알고리즘에 적용하여 생체신호 측정 데이터로부터 피로도를 분석할 수 있다.

일 예에서, 데이터 분석부(200)는 특징 벡터를 K-평균(K-means) 알고리즘에 적용하여 피로 군집과 비피로 군집으로 군집화할 수 있으며, 상술한 K-평균 알고리즘은 단순한 예시로서 다양한 비지도 알고리즘을 사용하여 데이터를 피로 군집과 비피로 군집으로 군집화할 수 있다.

다른 일 실시예에서, 데이터 분석부(200)는 피로도를 두 개 이상의 군집으로 분류할 수 있다. 예를 들어, 피로 군집 및 비피로 군집으로 분류하면서, 상기 피로 군집을 피로 정도에 따라 복수의 서브 군집을 형성하도록 분류할 수 있다.

일 실시예에서, 데이터 분석부(200)는 실험 데이터 세트에 주관 평가 점수 데이터가 포함되어 있는지 검색하고, 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류한다. 상기 지도 학습 알고리즘은 실험 데이터 세트 저장소에 저장된 실험 데이터 세트(또는 서브 세트)를 훈련 데이터로 훈련되었다. 상기 훈련 데이터의 각 표본은 라벨링 데이터 및 상기 특징 벡터를 포함한다. 상기 실시예에서, 훈련 데이터의 각 표본은 피험자별 실험 데이터 세트를 나타낸다.

다른 일부 실시예들에서, 훈련 데이터의 각 표본은 피험자별 실험 데이터 세트에 제한되지 않고 피로 군집을 형성하는 목적에 따라 다양한 데이터 세트로 설정될 수 있다.

도 5는, 본 발명의 일 실시예에 따른, 라벨링의 기초가 되는 주관 평가 점수를 산출하기 위한 문항을 도시한 도면이다. 도 5를 참조하면, 각 문항은 3D 컨텐츠 노출에 따른 신체 변화를 4개의 요인(시각적 스트레스, 안구 통증, 신체적 통증, 상 흐림)으로 세분화하고, 각 문항에 대해 5점 만점을 기준으로 점수 산정(score)한다.

상기 실시예에서, 3D 컨텐츠 노출 실험 전/후의 주관 평가 점수 변화량이 임계값 이상인지 여부에 따라 피로 군집을 나타내는 라벨이 라벨링된다. 예를 들어, 각 요인에 포함된 문항 점수에 기초하여 각 요인에 대한 평균점수를 산출하고, 적어도 3개 이상의 요인에서 각 평균점수가 4점 이상 상승한 경우를 피로 군집으로 양의 훈련 라벨로 라벨링된다. 상기 라벨링 결과는 실험 데이터 세트 저장소(114)로 전달될 수 있고, 데이터베이스 관리부(100)는 라벨링 결과를 실험 데이터 세트에 포함시켜 저장할 수 있다.

상기 도 5의 요인, 문항 및 점수 범위(scale)는 예시의 목적으로 도시된 것으로서, 다양하게 방식으로 변형될 수 있다. 예를 들어, 다른 실시예들에서는 도 5의 요인 및 문항 중 일부만이 사용되거나, 요인 및 문항이 상이하게 대체 및/또는 추가될 수 있다. 나아가, 상기 다른 실시예들에서 상이한 점수 범위(예컨대, 1~10)로 설정될 수 있고, 이에 따라 라벨링의 기준이 되는 평균점수의 상승폭 또한 상이하게 설정될 수 있다.

데이터 분석부(200)는 라벨링 결과 및 특징 벡터를 지도학습(Supervised Learning) 알고리즘에 적용하여 특징 벡터와 피로도 사이의 관계를 훈련할 수 있다. 그 결과, 데이터 분석부(200)는 이후 생체신호 측정 데이터에 대한 특징 벡터로부터 피로도를 분석할 수 있다.

일 예에서, 데이터 분석부(200)는 SVM(Support Vector Machine) 알고리즘을 이용하여 특징 벡터와 피로도 사이의 관계를 훈련할 수 있다.

예를 들어, 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 생성할 수 있다. 이를 위해, SVM 알고리즘은 데이터들을 분리할 수 있는 수많은 후보 평면들 가운데 마진(margin)이 최대가 되는 초평면을 찾는 과정을 수행한다. 여기에서 마진이란, 초평면으로부터 각 점(데이터)에 이르는 거리의 최소 값을 지칭한다. SVM 알고리즘은 이러한 마진을 최대화하면서 각 점들을 두 클래스(1, -1)로 분류하기 위해, 클래스 1에 속하는 점들과의 거리 중 최소값과 클래스 -1에 속하는 점들과의 거리 중 최소값이 동일하도록 초평면을 위치시킨다. 이 초평면을 최대 마진 초평면(maximum-margin hyperplane)이라 한다. 최대 마진 초평면을 기초로, 현재 저장된 데이터들을 두 클래스로 분류하며(classification), 새로 입력된 데이터가 분류된 두 클래스 중 어디에 속하는지 판단한다(prediction).

상기 일 예의 경우, 데이터 분석부(200)는 각각 산출된 특징 벡터에 대해 SVM기반의 군집 분류 과정을 반복적으로 수행하여 복수의 실험 상황을 계층적으로 피로 군집, 비피로 군집으로 분류할 수 있어, 새롭게 획득된 생체신호 측정 데이터에 대한 특징 벡터가 분류된 군집 중 어디에 속하는지 판단할 수 있다.

상술한 SVM 알고리즘은 단순한 예시로서 데이터 분석부(200)는 의사결정 트리(Decision Tree), KNN(K-nearest neighbor), 신경망(Neural Network) 알고리즘 등과 같은 다양한 지도 학습 알고리즘을 사용하여 특징 벡터와 피로도 사이의 관계를 훈련할 수 있다.

본 발명은 상술한 바와 같이 3D 컨텐츠 노출 실험에 대한 생체신호 측정 데이터 및 그에 따른 피로도를 분석할 수 있어, 3D 컨텐츠의 안정성 여부를 평가할 수 있다.

또한, 데이터 분석부(200)는 피험자를 피로 군집과 비피로 군집으로 군집화한 결과를 시각적으로 제공할 수 있다. 도 1에 도시된 시각적인 피로 군집과 비피로 군집 결과를 참조하면, 3D 컨텐츠의 안정성 평가 여부를 직관적으로 전달할 수 있다.

상기 시스템(1000)은 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.

상기 시스템(1000)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다. 일부 실시예에서, 데이터베이스 관리부(100)와 데이터 분석부(200) 사이를 연결하는 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수도 있다.

도 6은, 본 발명의 일 실시예에 따른, 생체신호 데이터 관리 분석 방법의 흐름도이다. 상기 방법은 3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하는 단계(S110), 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 단계(S120)를 포함한다.

일 실시예에서, 단계(S120)는 원시 데이터 중 일부를 식별자로 정의하는 단계 및 정의된 식별자를 이용하여 실험 데이터 세트를 생성하는 단계를 포함한다(S120). 여기서, 원시 데이터는 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함한다.

일 실시예에서, 원시 데이터 중 일부를 식별자로 정의하는 단계는 피험자 데이터를 제1 식별자로, 상기 하드웨어 데이터를 제2 식별자로, 상기 생체신호 유형 데이터를 제3 식별자로 각각 정의하는 단계를 포함한다. 여기서, 원시 데이터는 3D 컨텐츠 노출 실험의 피험자에 연관된 피험자 데이터, 3D 컨텐츠 노출 실험에서 사용된 하드웨어에 연관된 하드웨어 데이터, 및 3D 컨텐츠 노출 실험에서 측정된 생체신호 유형에 연관된 생체신호 유형 데이터 중 적어도 하나를 더 포함한다.

상기 방법은 실험 데이터 세트에 기초하여 특징 벡터를 산출하는 단계(S220); 및 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 단계(S230)를 더 포함한다.

일 실시예에서, 상기 특징 벡터를 산출하는 단계는 생체신호 분석 방식을 선택하는 단계; 상기 분석 방식에 대응하는 생체신호 측정 데이터를 상기 실험 데이터 세트로부터 검색하는 단계; 및 상기 생체신호 측정 데이터를 전처리하여 특징 벡터를 산출하는 단계를 포함한다.

일 실시예에서, 상기 방법은 실험 데이터 세트가 주관 평가 점수 데이터를 포함하는지 검색하는 단계(S231)를 더 포함한다. 이 경우, 3D 컨텐츠의 피로도를 산출하는 단계는 주관 평가 점수 데이터가 없는 경우 비지도 학습(Unsupervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계(S233); 및 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계(S235)를 포함한다. 여기서, 지도 학습 알고리즘은 훈련 데이터로 훈련되었고, 훈련 데이터의 각 표본은 라벨링 데이터 및 특징 벡터를 포함하며, 라벨링 데이터는 주관 평가 점수의 변화량이 임계값 이상인지 여부를 표현한다. 예를 들어, 주관 평가 점수의 변화량이 임계값 이상인 경우 피로 군집을 나타내며, 미만인 경우 비피로 군집을 나타내도록 라벨링될 수 있다.

일 실시예에서, 상기 방법은 피로도 산출 결과를 출력하여 시각적으로 제공할 수 있다(S250).

일 실시예에서, 상기 방법은 피로 군집 및 비피로 군집에 피로도 점수를 설정하고, 피로도 점수를 산출하는 단계를 더 포함할 수 있다. 예를 들어, 피로 군집은 1점, 비피로 군집은 0점을 설정하고, 이를 산출할 수 있다. 이 경우, 피로도 점수를 통해 피로 여부를 판단할 수 있다.

일부 실시예에서, 상기 방법은 피로 군집을 단계별로 세분화하여 하나 이상의 서브 군집을 더 생성할 수 있다. 이 경우, 피로 군집 내 각 서브 군집에 대해 피로의 단계를 각각 나타내는 하나 이상의 피로 점수가 더 설정될 수도 있다.

상기 도 6 에서 서술된 단계들은 단지 예시적인 것으로, 단계의 순서가 상이할 수도, 또는 추가적인 단계를 더 포함할 수도, 또는 생략될 수도 있다. 도 7은, 본 발명의 다른 일 실시예에 따른, 생체신호 데이터 관리 분석 방법의 흐름도로서, 생체신호 데이터 관리 분석 방법은 피험자별 피로도 분석을 개시할지 여부를 판단하는 단계(S210)를 더 포함할 수 있다. 이 경우, 상기 시스템(1000)은 피험자별 피로도 분석을 바로 시작하지 않고(S210), 원시 데이터를 획득하고(S110), 실험 데이터 세트를 생성할 수 있다(S120). 일부 실시예에서, 피험자별 피로도 분석을 바로 시작하지 않고, 획득된 원시 데이터를 확인하는 단계(미도시)를 더 포함할 수도 있다.

이상에서 설명한 실시예들에 따른 생체신호 데이터 관리 분석 시스템 및 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현될수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

또한, 본 실시예를 구현하기 위한 컴퓨터 프로그램은 상술한 컴퓨터에서 실행될 수 있는 기능적인 프로그램, 명령어, 및 코드들의 형태로 구성된다. 상기 서술된 동작 및 그들에 연관된 부(unit), 모듈 등은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합 내에서 구현될 수도 있다. 예를 들어, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 컴퓨터 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있다. 본 실시예를 구현하기 위한 기능적인 프로그램, 명령어, 및 코드는 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

또한, 생체신호 데이터 관리 분석 시스템 및 방법에 의한 동작은 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 생체신호 데이터 관리 분석 시스템 및 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하고, 상기 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 데이터베이스 관리부; 및
상기 실험 데이터 세트에 기초하여 특징 벡터를 산출하고, 상기 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 데이터 분석부를 포함하며,
상기 원시 데이터는 상기 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함하는 생체신호 데이터 관리 분석 시스템.
제1항에 있어서,
상기 데이터베이스 관리부는 원시 데이터 중 일부를 식별자로 정의하고, 상기 식별자를 이용하여 실험 데이터 세트를 생성하는 생체신호 데이터 관리 분석 시스템.
제2항에 있어서,
상기 원시 데이터는 중 3D 컨텐츠 노출 실험의 피험자에 연관된 피험자 데이터, 3D 컨텐츠 노출 실험에서 사용된 하드웨어에 연관된 하드웨어 데이터, 및 3D 컨텐츠 노출 실험에서 측정된 생체신호 유형에 연관된 생체신호 유형 데이터 중 적어도 하나를 더 포함하고,
상기 데이터베이스 관리부는 상기 피험자 데이터를 제1 식별자로, 상기 하드웨어 데이터를 제2 식별자로, 상기 생체신호 유형 데이터를 제3 식별자로 각각 정의하는 생체신호 데이터 관리 분석 시스템.
제1항에 있어서,
상기 데이터 분석부는 생체신호 분석 방식을 선택하고, 상기 분석 방식에 대응하는 생체신호 측정 데이터를 상기 실험 데이터 세트로부터 검색하며, 상기 생체신호 측정 데이터를 전처리하여 특징 벡터를 산출하는 생체신호 데이터 관리 분석 시스템.
제4항에 있어서,
상기 데이터 분석부는 상기 실험 데이터 세트가 주관 평가 점수 데이터를 포함하는지 검색하고,
상기 주관 평가 점수 데이터가 없는 경우 비지도 학습(Unsupervised Learning) 알고리즘을 사용하여 피로 군집을 분류하며,
상기 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 생체신호 데이터 관리 분석 시스템.
제5항에 있어서,
상기 지도 학습 알고리즘은 훈련 데이터로 훈련되었고, 상기 훈련 데이터의 각 표본은 라벨링 데이터 및 상기 특징 벡터를 포함하며, 상기 라벨링 데이터는 주관 평가 점수의 변화량이 임계값 이상인지 여부를 표현하는 생체신호 데이터 관리 분석 시스템.
3D 컨텐츠 노출 실험에 연관된 원시 데이터를 획득하는 단계;
상기 원시 데이터에 기초하여 실험 데이터 세트를 생성하는 단계;
상기 실험 데이터 세트에 기초하여 특징 벡터를 산출하는 단계; 및
상기 특징 벡터에 기초하여 3D 컨텐츠의 피로도를 산출하는 단계를 포함하고,
상기 원시 데이터는 상기 3D 컨텐츠 노출 실험에서 측정된 생체신호 측정 데이터를 포함하는 생체신호 데이터 관리 분석 방법.
제7항에 있어서,
상기 실험 데이터 세트를 생성하는 단계는,
상기 원시 데이터 중 일부를 식별자로 정의하는 단계; 및
상기 식별자를 이용하여 실험 데이터 세트를 생성하는 단계를 포함하는 생체신호 데이터 관리 분석 방법.
제8항에 있어서,
상기 원시 데이터는 중 3D 컨텐츠 노출 실험의 피험자에 연관된 피험자 데이터, 3D 컨텐츠 노출 실험에서 사용된 하드웨어에 연관된 하드웨어 데이터, 및 3D 컨텐츠 노출 실험에서 측정된 생체신호 유형에 연관된 생체신호 유형 데이터 중 적어도 하나를 더 포함하고,
상기 원시 데이터 중 일부를 식별자로 정의하는 단계는,
상기 피험자 데이터를 제1 식별자로, 상기 하드웨어 데이터를 제2 식별자로, 상기 생체신호 유형 데이터를 제3 식별자로 각각 정의하는 단계를 포함하는 생체신호 데이터 관리 분석 방법.
제7항에 있어서,
상기 특징 벡터를 산출하는 단계는,
생체신호 분석 방식을 선택하는 단계;
상기 분석 방식에 대응하는 생체신호 측정 데이터를 상기 실험 데이터 세트로부터 검색하는 단계; 및
상기 생체신호 측정 데이터를 전처리하여 특징 벡터를 산출하는 단계를 포함하는 생체신호 데이터 관리 분석 방법.
제7항에 있어서,
상기 실험 데이터 세트가 주관 평가 점수 데이터를 포함하는지 검색단계를 더 포함하고,
상기 3D 컨텐츠의 피로도를 산출하는 단계는,
상기 주관 평가 점수 데이터가 없는 경우 비지도 학습(Unsupervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계; 및
상기 주관 평가 점수 데이터가 있는 경우 지도 학습(Supervised Learning) 알고리즘을 사용하여 피로 군집을 분류하는 단계를 포함하는 생체신호 데이터 관리 분석 방법.
제11항에 있어서,
상기 지도 학습 알고리즘은 훈련 데이터로 훈련되었고, 상기 훈련 데이터의 각 표본은 라벨링 데이터 및 상기 특징 벡터를 포함하며, 상기 라벨링 데이터는 주관 평가 점수의 변화량이 임계값 이상인지 여부를 표현하는 생체신호 데이터 관리 분석 방법.
명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 명령어가 실행되는 경우 프로세서는 제7항 내지 제12항 중 어느 하나의 항에 따른 생체신호 데이터 관리 분석 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.