KR101339831B1 - 비시아이를 이용한 치매예방 시스템 및 그 방법 - Google Patents

비시아이를 이용한 치매예방 시스템 및 그 방법 Download PDF

Info

Publication number
KR101339831B1
KR101339831B1 KR1020110130682A KR20110130682A KR101339831B1 KR 101339831 B1 KR101339831 B1 KR 101339831B1 KR 1020110130682 A KR1020110130682 A KR 1020110130682A KR 20110130682 A KR20110130682 A KR 20110130682A KR 101339831 B1 KR101339831 B1 KR 101339831B1
Authority
KR
South Korea
Prior art keywords
information
module
unit
frame
beta
Prior art date
Application number
KR1020110130682A
Other languages
English (en)
Other versions
KR20130064196A (ko
Inventor
황보택근
모방평
은성종
김재승
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020110130682A priority Critical patent/KR101339831B1/ko
Publication of KR20130064196A publication Critical patent/KR20130064196A/ko
Application granted granted Critical
Publication of KR101339831B1 publication Critical patent/KR101339831B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 비시아이를 이용한 치매예방 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 치매와 같은 심각한 노인성 질환을 예방하기 위해 간단한 미니게임을 접목시켜 게임 대상자의 집중도를 항상시킬 수 있는 비시아이를 이용한 치매예방 시스템 및 그 방법에 관한 것으로, BCI를 이용한 치매예방 시스템은 이미지 정보를 생성하여 전송하는 카메라모듈; 상기 카메라모듈을 통한 이미지 정보 중에서 신체 정보를 추출하는 신체정보추출모듈; 베타파형을 생성하는 BCI모듈; 및 상기 신체정보추출모듈을 통한 신체 정보를 이용한 게임을 상기 베타파형에 따라 속도를 조절하여 디스플레이하는 게임모듈을 포함하며, 상기 신체정보추출모듈은 상기 신체 정보로부터 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하고, 상기 프레임 정보를 전달받아 손의 위치를 확정하며, 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정하는 것을 특징으로 한다.

Description

비시아이를 이용한 치매예방 시스템 및 그 방법{System for preventing dementia using BCI and the method thereof}
본 발명은 비시아이를 이용한 치매예방 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 치매와 같은 심각한 노인성 질환을 예방하기 위해 간단한 미니게임을 접목시켜 게임 대상자의 집중도를 항상시킬 수 있는 비시아이를 이용한 치매예방 시스템 및 그 방법에 관한 것이다.
일반적으로 BCI 연구는 1980년대 후반부터 시작되었고, 사용자의 근육에 의존하지 않고 단지 뇌의 의지(인간의 생각)만으로 기계와 의사 소통을 가능하게 하는 목적으로출발하였다. 현재 뇌파를 이용한 BCI 연구 중 자발전위(spontaneous EEG)를 이용하는 방범은 사람은 훈련을 통해 자신의 자발전위(파)의 방출량을 조절할 수있다는 것이다. Wolpaw는 이 점을 착안해서 컴퓨터와 의 의사소통채널로 이용하였다. 또 다른 최근의 연구가 들은 피험자가 특정 과제(task)를 수행하고있을 때 나오는 뇌파 신호의 인식을 패턴인식 문제로보고 해결하고 있다. 즉 기존의 신경망이나 LVQ(learning vector quatization) 또는 DSLVQ (distinctionsensitive learning vector quantization)등의 인식기로뇌와 패턴인식 문제를 해결하고 있다. 변동하는뇌파를 BCI의 입력 신호로 사용하기 위해서는 신뢰할수 있는 매개변수를 추출하는 것이 중요하다. 이를 위해 다양한 정신상태에 따른 뇌파의 특성을 구분하기 위한 연구들이 수행되어 왔으나 현재까지의 기술로는 특정 상태에 따른 뇌파의 분류가 결코 쉽지 않으며 정확도를 가져야 할 기기 조작에는 위험 부담요소가 많다.
BCI(Brain-Computer Interface)는 인간과 컴퓨터 상호 작용을 연구하는 HCI(Human-Computer Interface)의 한 분야로써, 뇌파기를 통해 특정상태의 뇌파 신호를 측정하여 특이점이나 특징을 추출하고 이를 분류한 후 일반적인 제어 신호로 변환하여 컴퓨터나 기기 등을 제어하는 시스템 관련 기술이다. 즉, BCI시스템은 뇌자체에서 발생하는 전기적인 신호를 측정하여 콘트롤 또는 통신 시스템에 접목시키는 것을 말한다. 이러한 측정들은 인간의 두피(scalp)에서 비침습식 (noninvasively)으로 측정이 이루어지고 그 결과 뇌전도(EEG, electroencephalogram)를 얻을 수 있다.
BCI 시스템은 임상에 있어서 신경학에 기반을 둔 최신의 기술 분야 일 뿐만 아니라, 뇌신경과 주변 근육의 움직임이 없이 뇌 활동 자체를 발전시킬 수 있고, 사용자가 그 자신의 생각만으로 현실의 상황을 조절할 수 있도록 만드는 가능성을 밝혀내는 뇌과학 분야에 있어서 새로운 패러다임이라 할 수 있다. 이를 이루기 위해 사용자는 단순히 제시된 몇 가지 정신 상태에 집중을 하고 EEG 상에서 그 정신상태가 몇 가지 패턴으로 반영이 되어 나타난다. 그와 동시에 BCI시스템 상에서 이 패턴들은 전등을 켜거나 휠체어를 움직임 등과 같은 행동에 관한 특징, 또는 졸리움과 같은 수면 상태나 간질이나 정신장애 같은 정신적 질환의 특징을 추출할 수 있으며 이들은 이전에 설정된 패턴들의 특징에 의해 분류된다. EEG는 대뇌피질 내의 신경세포의 전기적 활동을 두피에 부착한 전극을 통하여 기록한 것으로, 뇌파는 1∼50 Hz의 주파수와 약 10∼200?V 의 진폭을 가지며 1929년 독일의 생리학자 Hans Berger에 의해 처음으로 시도되었다. 이 전기적 활동성은 후에 EEG라고 명명하였고, EEG가 피험자의 정신적 상태에 따라 변한 다는 것을 보였다. EEG의 기본 요소로 활동(activity), 파(wave), 율동(rhythm)이 있다. 활동은 전위의 변동을 가리키며, 파는 활동의 개개 요소를 가리킨다. 율동은 거의 일정한 주기 및 파형을 가지고 반복되는 파로 이루어진 활동을 가리킨다.
종래발명의 한국특허출원 제2010-0078297호는 한국등록특허 제1068017호는 훈련 데이터가 충분하지 못한 피험자에 대한 분류 성능을 향상시킬 수 있는 뇌-컴퓨터 인터페이스를 위한 합성 공통 공간 패턴 분석 방법 및 이를 이용한 뇌파 분석 방법이 개시된다. 뇌파 분석 방법은 다른 피험자의 공분산 행렬을 함께 사용하여 소정 피험자의 뇌파의 각 분류에 해당하는 시계열 데이터의 채널들에 상응하는 합성 공분산 행렬을 생성하고, 합성 공분산 행렬의 합의 고유 분해를 산출한 후, 소정 분류에 대해 가장 큰 고유값들과 가장 작은 고유값들에 기초하여 특징 벡터를 추출하고, 추출된 특징 벡터 및 훈련 데이터에 제공된 라벨에 기초하여 분류기를 학습한다. 따라서, 훈련 데이터가 충분하지 못한 피험자에 대한 뇌파 분류 성능을 향상시킬 수 있는 것에 관한 것이다.
그러나 상술한 종래 발명들은 치매와 같은 심각한 노인성 질환을 예방하기 위한 치매의 예방 방법에는 사용할 수 없는 문제점이 있었다.
상기 문제점을 해결하기 위하여 치매와 같은 심각한 노인성 질환을 예방하기 위해 치매의 예방 방법 중 집중도를 요구하는 방법으로, 간단한 미니게임을 접목시켜 게임 대상자의 집중도를 항상 요구하게 되는 비시아이(BCI)를 이용한 치매예방 시스템 및 방법을 제안하는 데 목적이 있다.
또한 본 발명은 인식에 대한 정확도를 향상시켰고, 게임 대상자의 집중도를 항시 요구하게끔 하여 고령자 분들의 치매예방에 도움이 되는 비시아이를 이용한 치매예방 시스템 및 방법을 제공하는 데 목적이 있다.
본 발명의 비시아이를 이용한 치매예방 시스템은, 상기 이미지 정보를 생성하여 전송하는 카메라모듈, 상기 카메라모듈을 통한 이미지 정보 중에서 신체 정보를 추출하는 신체정보추출모듈, 베타파형을 생성하는 BCI모듈, 및 상기 신체정보추출모듈을 통한 신체 정보를 이용한 게임을 베타파형에 따라 속도를 조절하여 디스플레이하는 게임모듈을 포함하며, 상기 신체정보추출모듈은 상기 신체 정보로부터 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하고, 상기 프레임 정보를 전달받아 손의 위치를 확정하며, 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정하는 것을 특징으로 한다.
상기 신체정보추출모듈은 피부 정보를 추출하는 skin extract부와, 상기 skin extract부를 통해 피부 정보를 전달받아 프레임을 형성하는 frame diff부와, 상기 프레임 정보를 전달받아 손의 위치를 확정하는 hand loc부 구성되는 것을 특징으로 한다.
상기 BCI모듈은 베타파를 생성하는 beta부와, 상기 beta부에서 생성한 베타파의 주파수를 측정하는 frequency부와, 상기 주파수에 따른 스피드 정보를 생성하는 speed1부로 구성된다.
상기 게임모듈은 볼 형상을 형성하는 ball부와, 일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부와, 상기 speed1부의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부와, 상기 display부를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부로 구성된다.
본 발명의 비시아이를 이용한 치매예방 방법은 BCI(Brain Computer Interface)를 이용한 치매예방 시스템에서 카메라모듈, 신체정보추출 모듈, BCI 모듈, 및 상기 신체정보추출모듈을 통한 신체 정보를 이용한 게임을 베타파형에 따라 속도를 조절하여 디스플레이하는 게임모듈을 포함하고, 상기 BCI모듈은 베타파를 생성하는 beta부, 상기 beta부에서 생성한 베타파의 주파수를 측정하는 frequency부, 및 상기 주파수에 따른 스피드 정보를 생성하는 speed1부를 포함하며,
볼 형상을 형성하는 ball부와, 일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부와, 상기 speed1부의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부와, 상기 display부를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부로 구성된 게임모듈을 이용하는 비시아이를 이용한 치매예방 방법에 있어서,
상기 카메라모듈을 통해 이미지 정보를 생성하여 전송하는 단계; 상기 신체정보추출모듈을 통해 상기 카메라모듈을 통한 이미지 정보 중에서 신체 정보를 추출하는 단계; 상기 BCI모듈을 통해 베타파형을 생성하는 단계; 및 상기 신체정보추출모듈을 통해 상기 신체 정보로부터 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하고, 상기 프레임 정보를 전달받아 손의 위치를 확정하는 단계를 포함하며 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정한다.
본 발명에 따르면 BCI를 이용한 치매예방 시스템 및 그 방법은 치매와 같은 심각한 노인성 질환을 예방하기 위해 간단한 미니게임을 접목시켜 게임 대상자의 집중도를 항상 요구하여 치료 효과를 얻을 수 있다.
본 발명에 따르면 게임 대상자의 집중도인 베타 파형의 세기로 조절하게끔하여 게임 대상자의 집중도를 항시 요구하게끔 하여 고령자 분들의 치매예방에 도움이 된다.
본 발명에 따르면 인식에 대한 정확도를 향상시켰고, 게임 대상자의 집중도를 항시 요구하게끔 하여 고령자 분들의 치매예방에 도움이 된다.
도1은 본 발명에 따른 비시아이를 이용한 치매예방 시스템의 구성을 보여주는 도면.
도2는 본 발명의 일실시예에 따른 비시아이를 이용한 치매예방 시스템의 세부적인 구성을 보여주는 도면.
도3은 본 발명에 따른 비시아이를 이용한 치매예방 방법을 대략적으로 보여주는 플로챠트.
도4는 본 발명에 따른 비시아이를 이용한 치매예방 시스템을 이용한 단계별 결과 영상을 보여주는 도면.
도5는 본 발명에 따른 비시아이를 이용한 치매예방 시스템의 실제 적용을 위한 장비를 보여주는 도면.
도6은 본 발명에 따라 검출된 베타파에서 대비 쇼크 필터를 적용시켜 대비 개선작업을 수행한 결과를 보여주는 도면.
도7은 옵티컬 플로우란 영상 속 객체 혹은 카메라의 3차원 운동에 의해 생긴 각 픽셀의 움직임을 벡터장으로 나타낸 것을 보여주는 도면.
도8은 프레임 차 연산 정보와 허프변환을 보여주는 그래프.
도9는 5개의 번호가 부여된 점을 가진 영상으로 본 발명을 설명하는 도면.
도10은 손 영역 검출 및 추적의 전반적인 과정을 정리한 것을 보여주는 도면.
도11은 앞서 구현된 검출하여 개선된 베타파형을 게임에 접목시켜 구현한 결과를 보여주는 도면.
이하 본 발명의 실시를 위한 구체적인 내용을 도면을 참고하여 자세히 설명한다.
도1에서 보는 바와 같이 본 발명에 따른 비시아이를 이용한 치매예방 시스템은 카메라모듈(50)과 신체정보추출모듈(100)과 BCI모듈(300)과 게임모듈(200)로 크게 구성된다.
카메라모듈(50)은 이미지 정보를 생성하여 전송하는 모듈로서, 신체 정보를 추출하기 위한 가장 기본적인 이미지를 생성하는 고화소의 카메라를 장착한 모듈로서, 사용자의 전면 또는 상측면 등에 부착되는 것이 바람직하다.
신체정보추출모듈(100)은 상기 카메라모듈(50)을 통한 이미지 정보 중에서 신체 정보를 추출하는 모듈로서, 신체 정보로부터 피부 정보를 추출하는 skin extract부(102)와, 상기 skin extract부(102)를 통해 피부 정보를 전달받아 프레임을 형성하는 frame diff부(104)와, 상기 프레임 정보를 전달받아 손의 위치를 확정하는 hand loc부(106) 구성되되, 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정한다.
BCI모듈(300)은 베타파형을 생성하는 모듈로서, 각 파형에 대한 설명을 위해 아래 표1은 EEG 주파수와 상태를 분류한 것이다.
또한 상기 BCI모듈(300)은 베타파를 생성하는 beta부(302)와, 상기 beta부(302)에서 생성한 베타파의 주파수를 측정하는 frequency부(304)와, 상기 주파수에 따른 스피드 정보를 생성하는 speed1부(306)로 구성된다.
아래 표1은 EEG 주파수와 상태를 분류한 것이다.
Figure 112011097413213-pat00001
게임모듈(200)은 상기 신체정보추출모듈(100)을 통한 신체 정보를 이용한 게임을 상기 베타파형에 따라 속도를 조절하여 디스플레이하는 모듈로서, 볼 형상을 형성하는 ball부(202)와, 일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부(204)와, 상기 speed1부(306)의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부(206)와, 상기 display부(204)를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부(208)로 구성된다.
구체적으로 살펴보면, 본 발명은 크게 두가지 파트로 나누어 진행하였으며, 첫 번째로 BCI의 베타파형을 검출하여 이를 개선시켜 인식의 정확도를 높이는 작업, 두 번째로 실시간 영상처리를 통하여 손 인식으로 간단한 미니게임을 진행하는 작업으로 구성되어 진다.
본 발명의 일실시예에 따른 비시아이를 이용한 치매예방 시스템은 상술한 두 가지를 연계하여 사용자의 베타파형 신호에 기반한 치매예방 콘텐츠를 개발하였다.
즉 도 6에서 보는 바와 같이 Money와 Kang은 블러가 있는 영상에 쇼크 필터(shock filter)를 적용하여 강한 외곽선을 복원한 후, 이를 이용하여 가우시안 블러(Gaussian blur) 및 2D 벡터로 표현 가능한 블러를 추정하는 방법을 제시하였다. 본 발명은 해당 방법의 쇼크 필터를 응용하여 검출된 베타 파형의 대비 개선작업을 수행하고자 하였다.
또한 도 7에서 보는 바와 같이 옵티컬 플로우란 영상 속 객체 혹은 카메라(50)의 3차원 운동에 의해 생긴 각 픽셀의 움직임을 벡터장으로 나타낸 것이다.
밝기 항상성(Brightness Constancy)는 어떤 객체상의 픽셀은 프레임이 바뀌어도 밝기값이 변하지 않는다는 것을 말한다. 시간 지속성(Temporal Persistence)는 영상에서 객체의 움직임에 비하여 시간의 변화가 더 빠르게 진행되어 연속된 프레임사이에서 객체의 이동량이 많지 않음을 의미한다.
공간 일관성(Spatial Coherence)는 공간적으로 인접하는 점들은 동일한 객체에 속할 가능성이 높아 동일한 움직임을 갖는 것을 의미한다.
첫번째와 두번째 가정인 밝기 항상성과 시간 지속성을 수식으로 나타낼 수 있다.
[수학식3]
Figure 112011097413213-pat00002
[수학식4]
Figure 112011097413213-pat00003
편미분의 연쇄 법칙(Chain Rule)을 적용하면 아래 식을 얻을 수 있다.
[수학식5]
Figure 112011097413213-pat00004
여기서 I 는 영상 위에서의 위치에 따른 밝기의 변화율이며, t I 는 시간에 따른 밝기 변화율을 나타낸다.
도8 내지 도10 중 구체적으로, 도9에서 보는 바와 같이 (a)는 5개의 번호가 부여된 점을 가진 영상을 보여준다.
이 점들은 (b)에서 보듯이 ρθ평면에 각각 사상된다. θ값의 범위는 ±90°이며, ρ축의 범위는 ±D이다. 여기서 D는 영상의 꼭지점 사이의 거리이다.
기울기-절편 표현법 사용에 기반한 변환과는 달리 곡선들은 각각 다른 정현파 형태를 가지고 있다(점1의 사상 결과인 수평 방향의 직선은 진폭 0을 가진 정현파의 특수한 경우이다).
상기 영상의 각 끝점들이 사상되었기 때문에 영상 내 임의 점의 허프 변환은(b)에서 보인 한계사이에 있도록 사상된다. 허프변환의 동일 직선 성질을(c)에 보였다.
점A는 xy영상 평면에서 점 1(a)는 5개의 번호가 부여된 점을 가진 영상을 보여준다. 이 점들은 (b)에서 보듯이 ρθ평면에 각각 사상된다.
θ값의 범위는 ±90°이며, ρ축의 범위는±D이다. 여기서 D는 영상의 꼭지점 사이의 거리이다. 기울기-절편 표현법 사용에 기반한 변환과는 달리 곡선들은 각각 다른 정현파 형태를 가지고 있다(점1의 사상 결과인 수평 방향의 직선은 진폭 0을 가진 정현파의 특수한 경우이다). 영상의 각 끝점들이 사상되었기 때문에 영상 내 임의 점의 허프 변환은(b)에서 보인 한계사이에 있도록 사상된다.
허프변환의 동일 직선 성질을(c)에 보였다.
점A는 xy영상 평면에서 점 1,3,5에 해당하는 곡선들의 교차점을 나타낸다. 점 A의 위치는 세 점들이 원점(ρ=0)을 지나고 기울기가 -45°인 직선 위에 놓여 있음을 말해 준다.
유사한 방법으로, 변수 공간에서 점 B를 지나는 곡선은 점 2,3,4가 45°방향의 직선 위에 놓여 있고, 원점으로부터의 거리가 영상의 원점에서 반대쪽 구석까지의 대각선 거리의 1/2인 것을 말해 준다.
마지막으로, (c)는 허프 변환이 변수 공간의 오른쪽과 왼쪽 에지가 서로 이웃관계에 있다는 사실을 나타낸다. (d)에서 A,B, 그리고 C로 표시된 점에 의하여 보여준 이 성질은±90°의 경계에서 ρ와θ 의 부호를 변화 시킨 것의 결과이다.
도10은 손 영역 검출 및 추적의 전반적인 과정을 정리하여 나타내었다.
즉, YCbCr 이미지(a)가 skin binary image(b), hand side(c-1)로 검출되어, hand line(c-2)과 hand with box(d-2)가 추적된다.
도 11은 앞서 구현된 검출하여 개선된 베타파형을 게임에 접목시켜 구현한 결과이다.
즉, 본 발명에 따른 비시아이를 이용한 치매예방 시스템을 간단한 산수 또는 영어 단어 맞추기 게임에 적용하면, 먼저 도11의 동영상 안에 특정 원형 객체가 랜덤하게 움직이도록 한다.
여기에서 랜덤하게 움직이는 팩터(ex. 속도)를 조절하는 것은 본 발명에 따른 BCI B(베타)파형 데이터이다.
즉, 일정 프레임 동안 B 파형이 빈번하게 피크를 가지고 있을 경우, 이는 사용자가 집중을 하고 있다라는 증거이기 때문에 속도 팩터를 일부 줄이고, 일정 프레임 동안 B파형의 피크가 감지되지 않는다면 속도 팩터 일부를 증가시켜 게임 난이도를 높힌다.
이하 본 발명의 실시를 위한 비시아이를 이용한 치매예방 방법의 구체적인 내용을 도면을 참고하여 자세히 설명한다.
즉 상술한 BCI모듈(300)과, 볼 형상을 형성하는 ball부(202)와, 일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부(204)와, 상기 speed1부(306)의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부(206)와, 상기 display부(204)를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부(208)로 구성된 게임모듈(200)을 이용하는 비시아이를 이용한 치매예방 방법에 대해 설명한다.
먼저, 카메라모듈(50)을 통해 이미지 정보를 생성하여 전송한다.
그리고 신체정보추출모듈(100)을 통해 상기 카메라모듈(50)을 통한 이미지 정보 중에서 신체 정보를 추출한다.
계속하여 BCI모듈(300)을 통해 베타파형을 생성한다.
따라서 상기 신체정보추출모듈(100)을 통해 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하며, 상기 프레임 정보를 전달받아 손의 위치를 확정하는 단계가 더 포함되어 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정할 수 있다.
본 발명에서는 BCI의 집중도 파형이 베타 파형을 통해 간단한 미니게임에 접목시켜 게임 대상자의 집중도를 유지시키는데 초점을 두어 연구개발을 수행하였다. 수향 결과 게임 플레이 시간 동안에는 전체 시간에 비례하여 평균 72.5%의 집중도를 가지고 게임에 임한 것을 알 수 있었다. 이러한 연구내용을 기반으로 고령자의 다른 만성질환 부분에도 기능성 게임의 확장으로 연구분야를 넓혀나갈 수 있을 것으로 기대된다.
50 : 카메라모듈
100 : 신체정보추출모듈
102 : skin extract부
104 : frame diff부
106 : hand loc부
200 : 게임모듈
202 : ball부
204 : display부
206 : speed2부
208 : touch부
300 : BCI모듈
302 : beta부
304 : frequency부
306 : speed1부

Claims (5)

  1. 이미지 정보를 생성하여 전송하는 카메라모듈;
    상기 카메라모듈을 통한 이미지 정보 중에서 신체 정보를 추출하는 신체정보추출모듈;
    베타파형을 생성하는 BCI모듈; 및
    상기 신체정보추출모듈을 통한 신체 정보를 이용한 게임을 상기 베타파형에 따라 속도를 조절하여 디스플레이하는 게임모듈을 포함하며,
    상기 신체정보추출모듈은 상기 신체 정보로부터 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하고, 상기 프레임 정보를 전달받아 손의 위치를 확정하며, 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정하는 것을 특징으로 하는 비시아이를 이용한 치매예방 시스템.
  2. 제1항에 있어서,
    상기 신체정보추출모듈은,
    피부 정보를 추출하는 skin extract부;
    상기 skin extract부를 통해 피부 정보를 전달받아 프레임을 형성하는 frame diff 부; 및
    상기 프레임 정보를 전달받아 손의 위치를 확정하는 hand loc부;
    로 구성되는 것을 특징으로 하는 비시아이를 이용한 치매예방 시스템.
  3. 제1항에 있어서,
    상기 BCI모듈은,
    베타파를 생성하는 beta부;
    상기 beta부에서 생성한 베타파의 주파수를 측정하는 frequency부; 및
    상기 주파수에 따른 스피드 정보를 생성하는 speed1부;
    로 구성되는 것을 특징으로 하는 비시아이를 이용한 치매예방 시스템.
  4. 제3항에 있어서,
    상기 게임모듈은,
    볼 형상을 형성하는 ball부;
    일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부;
    상기 speed1부의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부; 및
    상기 display부를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부;
    로 구성되는 것을 특징으로 하는 비시아이를 이용한 치매예방 시스템.
  5. BCI(Brain Computer Interface)를 이용한 치매예방 시스템에서 카메라모듈, 신체정보추출 모듈, BCI 모듈, 및 상기 신체정보추출모듈을 통한 신체 정보를 이용한 게임을 베타파형에 따라 속도를 조절하여 디스플레이하는 게임모듈을 포함하고, 상기 BCI모듈은 베타파를 생성하는 beta부, 상기 beta부에서 생성한 베타파의 주파수를 측정하는 frequency부, 및 상기 주파수에 따른 스피드 정보를 생성하는 speed1부를 포함하며,
    볼 형상을 형성하는 ball부와, 일정 형상과 숫자를 포함하는 일정 정보를 디스플레이하는 display부와, 상기 speed1부의 스피드 정보를 전달받아 게임 속도를 조절하는 speed2부와, 상기 display부를 통해 디스플레이된 볼 형상을 터치하는 경우 터치 정보를 생성하는 touch부로 구성된 게임모듈을 이용하는 비시아이를 이용한 치매예방 방법에 있어서,
    상기 카메라모듈을 통해 이미지 정보를 생성하여 전송하는 단계;
    상기 신체정보추출모듈을 통해 상기 카메라모듈을 통한 이미지 정보 중에서 신체 정보를 추출하는 단계;
    상기 BCI모듈을 통해 베타파형을 생성하는 단계; 및
    상기 신체정보추출모듈을 통해 상기 신체 정보로부터 피부 정보를 추출하고, 상기 피부 정보를 전달받아 프레임을 형성하고, 상기 프레임 정보를 전달받아 손의 위치를 확정하는 단계를 포함하며, 상기 프레임은 상기 피부 정보와 미리 저장된 신체 정보와 비교 판단하여 프레임을 형성하여 손의 위치를 확정하는 것을 특징으로 하는 비시아이를 이용한 치매예방 방법.
KR1020110130682A 2011-12-08 2011-12-08 비시아이를 이용한 치매예방 시스템 및 그 방법 KR101339831B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110130682A KR101339831B1 (ko) 2011-12-08 2011-12-08 비시아이를 이용한 치매예방 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110130682A KR101339831B1 (ko) 2011-12-08 2011-12-08 비시아이를 이용한 치매예방 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130064196A KR20130064196A (ko) 2013-06-18
KR101339831B1 true KR101339831B1 (ko) 2014-02-07

Family

ID=48861206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110130682A KR101339831B1 (ko) 2011-12-08 2011-12-08 비시아이를 이용한 치매예방 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101339831B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009609A (ko) * 2004-03-31 2007-01-18 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 장치, 컴퓨터의 제어 방법 및 정보 기억 매체
KR101023249B1 (ko) * 2010-08-13 2011-03-21 동국대학교 산학협력단 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009609A (ko) * 2004-03-31 2007-01-18 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 장치, 컴퓨터의 제어 방법 및 정보 기억 매체
KR101023249B1 (ko) * 2010-08-13 2011-03-21 동국대학교 산학협력단 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
블로그.2011.02.06 *
블로그.2011.02.06*

Also Published As

Publication number Publication date
KR20130064196A (ko) 2013-06-18

Similar Documents

Publication Publication Date Title
Lee et al. Real-time “eye-writing” recognition using electrooculogram
Wang et al. An EEG-based brain–computer interface for dual task driving detection
Lee et al. A brain–computer interface method combined with eye tracking for 3D interaction
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
Hoffmann et al. Recent advances in brain-computer interfaces
Hassan et al. Video-based heartbeat rate measuring method using ballistocardiography
KR20120060978A (ko) 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
CN110263691A (zh) 基于安卓系统的头部运动检测方法
Martinovic et al. Time course of information processing in visual and haptic object classification
Lv et al. Design and implementation of an eye gesture perception system based on electrooculography
Li et al. Improving movement-related cortical potential detection at the EEG source domain
Cai et al. A novel method for EOG features extraction from the forehead
Cecotti et al. Impact of target probability on single-trial EEG target detection in a difficult rapid serial visual presentation task
Rakshita Communication through real-time video oculography using face landmark detection
Wang et al. Detecting stress from mouse-gaze attraction
Moon et al. Face direction-based human-computer interface using image observation and EMG signal for the disabled
KR101757431B1 (ko) 안면 미동 기반 심장 정보 추출 방법 및 시스템
Bang et al. Interpretable convolutional neural networks for subject-independent motor imagery classification
KR101339831B1 (ko) 비시아이를 이용한 치매예방 시스템 및 그 방법
Bhoyar et al. Implementation on visual analysis of eye state using image processing for driver fatigue detection
Tidare et al. Time-resolved estimation of strength of motor imagery representation by multivariate EEG decoding
Hosni et al. Graph-based recurrence quantification analysis of EEG spectral dynamics for motor imagery-based BCIs
Kalampratsidou et al. Sonification of heart rate variability can entrain bodies in motion
Du et al. Online vigilance analysis combining video and electrooculography features

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7