KR20170082742A - 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 - Google Patents

멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 Download PDF

Info

Publication number
KR20170082742A
KR20170082742A KR1020160001884A KR20160001884A KR20170082742A KR 20170082742 A KR20170082742 A KR 20170082742A KR 1020160001884 A KR1020160001884 A KR 1020160001884A KR 20160001884 A KR20160001884 A KR 20160001884A KR 20170082742 A KR20170082742 A KR 20170082742A
Authority
KR
South Korea
Prior art keywords
information
sensor
user
exercise
time
Prior art date
Application number
KR1020160001884A
Other languages
English (en)
Inventor
차주헌
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020160001884A priority Critical patent/KR20170082742A/ko
Publication of KR20170082742A publication Critical patent/KR20170082742A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/56—Turn-sensitive devices using vibrating masses, e.g. vibratory angular rate sensors based on Coriolis forces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L9/00—Measuring steady of quasi-steady pressure of fluid or fluent solid material by electric or magnetic pressure-sensitive elements; Transmitting or indicating the displacement of mechanical pressure-sensitive elements, used to measure the steady or quasi-steady pressure of a fluid or fluent solid material, by electric or magnetic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명 멀티 모달 센서를 이용한 신체 운동 판단 및 운동량별 소모 에너지 측정 시스템은 공간 내 거주하는 사용자에 부착되어 자세, 운동 형태에 관련된 정보 및 시간 정보를 생성하는 멀티 모달 센서부와 상기 멀티 모달 센서부로부터 수신되는 정보를 분석하여 섬, 앉음 누운 자세, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등의 운동 형태와 시간 정보를 판단하고 해당 시간에 따른 운동 종류별 기준 소모 칼로리를 적용하여 일정 시간 동안의 총 소모 칼로리를 산정하고 사용자 단말기로 전송하는 관리자 서버와 상기 관리자 서버로부터 사용자의 일정 시간 동안의 운동 형태 소모 칼로리 정보를 수신하여 표출하는 사용자 단말기 및 상기 멀티 모달 센서부, 사용자 단말기 및 관리 서버를 연결하는 네트워크로 구성되는 것을 특징으로 하는 것이다.

Description

멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템{Physical Movement Judgment by Using Multi-Modal Sensor and System thereof}
본 발명은 멀티 모달 센서를 이용하여 사용자의 일정 시간 동안의 움직임과 운동 형태를 판단하고 그에 따른 소모 칼로리를 측정하여 제공하는 것에 관한 것이다. 일반적으로 환자 또는 다이어트를 하고자하는 사용자는 일정 시간 동안의 움직임 및 운동에 따른 운동량과 소비되는 칼로리를 산정하여 관리할 필요가 있는 것으로 본원출원은 환자 또는 다이어트를 하는 자의 일정 시간 동안의 운동 형태를 센서에 의하여 파악하고 그에 따는 에너지 소비량을 산정하여 제공하는 것에 관한 것이다.
본 발명과 관련된 종래의 기술은 대한민국 등록특허 제10-117159호(2012. 08. 07. 공고)에 개시되어 있는 것이다. 도 1은 상기 종래의 3차원 가속도 센서를 이용한 칼로리 계산 방법에 대한 흐름도이다. 상기도 1에서 종래의 3차원 가속도 센서를 이용한 칼로리 계산 방법은 3차원 가속도 센서를 구비하고 설정된 시간 동안 사용자의 물리적인 행동에 따른 3축 가속도 센서의 출력 값들로부터 변환된 에너지들의 합을 구하고, 상기 구해진 에너지들의 합과 상기 사용자의 체중을 이용하여 상기 사용자의 물리적인 행동에 따른 에너지 소비량을 구하는 활동량 측정장치에 의해서 수행될 수 있는 것이다. 도시된 바와 같이, 설정된 시간 동안 사용자의 물리적인 행동에 따른 3축 가속도 센서의 출력 값들로부터 변환된 에너지들의 합을 구한다(S1). 이때, 아래의 수학식 1을 이용하여 상기 사용자의 물리적인 행동에 따른 각각의 3축 가속도 센서의 출력 값을 에너지로 변환할 수 있다.
수학식 1
Figure pat00001
이때, Ei는 사용자의 물리적인 행동에 따른 각각의 3축 가속도 센서의 출력 값에서 변환된 에너지,
Figure pat00002
는 각각 x축, y축, Z축의 가속도 센서의 출력 값이다. 그리고, i는 i번째 데이터를 나타낸다. 이후, 상기 구해진 에너지들의 합과 상기 사용자의 체중을 이용하여 상기 사용자의 물리적인 행동에 따른 에너지 소비량을 구하는 것이다. 이때, 아래의 수학식 2
Figure pat00003
를 이용하여 상기 사용자의 물리적인 행동에 따른 에너지 소비량을 구할 수 있는 것이다. 이때, E는 사용자의 물리적인 행동에 따른 에너지 소비량, A 및 B는 실수, S는 설정된 시간 동안 사용자의 물리적인 행동에 따른 3축 가속도 센서의 출력 값들로부터 변환된 에너지들의 합, W는 사용자의 체중이다. 그리고, A는 0.1002이고, B는 1.525일 수 있는 것이다. 한편 상기 3축 가속도 센서를 이용한 실시간 칼로리 계산방법은, S1 단계, 즉 3축 가속도 센서의 출력 값들로부터 변환된 에너지들의 합을 구하는 단계 이전에, 3축 가속도 센서의 영점을 보정할 수 있는 것이다.
상기와 같은 종래의 3축 가속도 센서를 이용한 칼로리 산정 방법은 센서의 출력 값을 기초로 하여 칼로리를 산정할 수 있으나 센서를 착용하고 있는 사용자의 동작 상태를 정확히 분석할 수 없는 문제점이 있으며 또한 일정 시간 동안의 사용자의 운동 형태를 분석할 수 없는 것이다. 또한 상기와 같은 종래의 방법은 운동 형태에 따른 칼로리 소모량 및 일정 시간 동안 사용자가 소비한 칼로리 량을 산정할 수 없는 문제점이 있는 것이다. 따라서 본 발명의 목적은 3축 가속도 센서를 보완하는 멀티 모달 센서를 이용하여 사용자의 운동 형태를 정확히 판단하고 운동 형태에 따른 칼로리 소비량을 산정하며 일정 시간 동안의 사용자의 운동 형태와 소비 칼로리를 판단하고 산정하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 운동량별 소모 에너지 측정 시스템은 공간 내 거주하는 사용자에 부착되어 자세, 운동 형태에 관련된 정보 및 시간 정보를 생성하는 멀티 모달 센서부와 상기 멀티 모달 센서부로부터 수신되는 정보를 분석하여 섬, 앉음 누운 자세, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등의 운동 형태와 시간 정보를 판단하고 해당 시간에 따른 운동 종류별 기준 소모 칼로리를 적용하여 일정 시간 동안의 총 소모 칼로리를 산정하고 사용자 단말기로 전송하는 관리자 서버와 상기 관리자 서버로부터 사용자의 일정 시간 동안의 운동 형태 정보 및 소모 칼로리 정보를 수신하여 표출하는 사용자 단말기 및 상기 멀티 모달 센서부, 사용자 단말기 및 관리 서버를 연결하는 네트워크로 구성되는 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템은 사용자의 일정 시간 동안의 운동 형태와 소모 칼로리를 지속적으로 수집 제공할 수 있는 효과가 있는 것이다. 또한 본 발명의 다른 효과는 멀티 모달 센서를 이용하여 사용자의 운동 형태를 정확히 판단할 수 있는 효과가 있는 것이다.
도 1은 종래의 3차원 가속도 센서를 이용한 칼로리 계산 방법에 대한 흐름도,
도 2는 본 발명 멀티 모달 센서를 이용한 신체 운동 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 전체 구성도,
도 3은 본 발명에 적용되는 멀티 모달 센서부의 상세 구성도,
도 4는 본 발명에 적용되는 관리 서버의 상세 구성도,
도 5는 본 발명 멀티 모달 센서를 이용한 사용자 운동 형태 판별 및 소모 칼로리 산정 방법에 대한 제어 흐름도,
도 6은 본 발명에 적용되는 누운 자세 구성도,
도 7은 본 발명 공간 내에서 바닥면을 기준으로 사용자의 가슴 높이가 20Cm ~ 100Cm인 경우의 고도 데이터를 나타낸 그래프,
도 8은 본 발명의 공간 재 사용자의 기울기에 따른 자이로 센서를 이용한 출력 전압을 나타내는 그래프,
도 9는 본 발명을 실험한 장소 및 측정 대상을 나타낸 사진,
도 10은 본 발명 방바닥에서 앉은 자세에서 눕는 자세로 변경하는 경우의 자이로 센서를 이용한 법선 벡터의 회전 각도 및 고도계 센서의 출력값을 나타내는 그래프,
도 11은 본 발명 침대에서 앉은 자세에서 눕는 자세로 변경하는 경우의 자이로 센서를 이용한 법선 벡터의 회전 각도 및 고도계 센서의 출력값을 나타내는 그래프,
도 12는 본 발명 공간 내 사용자가 서있던 상태에서 의자에 앉는 경우 자이로 센서의 출력값과 고도계 센서의 출력 값을 나타내는 그래프,
도 13은 본 발명 공간 내 사용자가 서있던 상태에서 소파에 앉는 경우 자이로 센서의 출력값과 고도계 센서의 출력 값을 나타내는 그래프,
도 14는 본 발명 공간 내 사용자가 서있던 상태에서 세면대에 엎드린 경우 자이로 센서 및 고도계 센서의 출력 값을 나타내는 그래프,
도 15는 본 발명에 적용되는 별도의 운동 형태별 센서 측정 기준 값의 예시표,
도 16은 본 발명에 적용되는 운동 형태별 소모 칼로리 기준 값 예시도,
도 17은 본 발명에 적용되는 사용자 행동 및 운동 형태를 판단하기 위한 신경망네트워크의 구성도,
도 18은 본 발명에 적용되는 것으로 신경망 네트워크와 센서 측정값에 대한 추론 엔진을 이용한 특정 자세 및 행동 패턴 추출 모형 블록도 이다.
상기와 같은 목적을 가진 본 발명 본 발명 다중 모드 센서를 이용한 자세 및 공간 인지 시스템을 도 2 내지 도 18 및 표 1 내지 표3을 기초로 하여 설명하면 다음과 같다.
도 2는 본 발명 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 전체 구성도이다. 상기도 2에서 본 발명 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템은 공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 서버로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 3축의 자이로 센서와 사용자의 높낮이 정보를 생성하여 서버로 전송하는 고도계 센서와 사용자의 운동 가속도 정보를 생성하는 3축의 가속도 센서와 사용자의 직진 또는 회전 정보를 생성하는 3축의 지자기 센서 및 시간 정보를 생성하는 타이머로 구성되는 멀티 모달 센서부(10)와, 상기 멀티 모달 센서부로부터 수신되는 정보를 분석하여 섬, 앉음 누운 자세, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등의 운동 형태를 판단하고 수신된 시간 정보를 기초로 해당 시간에 따른 운동 종류별 기준 소모 칼로리를 적용하여 일정 시간 동안의 총 소모 칼로리를 산정하고 사용자 단말기로 전송하는 관리 서버(20)와 상기 관리 서버로부터 사용자의 일정 시간 동안의 운동 형태 정보 및 소모 칼로리 정보를 수신하여 표출하는 사용자 단말기(40) 및 상기 멀티 모달 센서부, 사용자 단말기 및 관리 서버를 연결하는 유무선 네트워크(30)로 구성되는 것을 특징으로 하는 것이다.로 구성되는 것을 특징으로 하는 것이다. 상기에서는 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 서버로 전송하는 자이로 센서를 예시로 하였으나 기울기 센서를 이용하여 회전 방향에 대한 각도 정보를 구하여 전송할 수도 있는 것이다.
도 3은 본 발명에 적용되는 멀티 모달 센서부의 상세 구성도이다. 상기도 3에서 본 발명에 적용되는 멀티 모달 센서부는 공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 MCU로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 3축의 자이로 센서부(11)와 사용자의 높낮이 정보를 생성하여 MCU로 전송하는 고도계 센서(12)와, 사용자의 운동 가속도 정보를 생성하여 전송하는 3축의 가속도 센서(13)와, 사용자의 직진 운동 방향 및 회전 방향 정보를 생성하여 전송하는 3축의 지자기 센서(14)와, 시간 정보를 생성하여 제공하는 타이머(15)와, 상기 자이로 센서, 고도계 센서, 가속도 센서, 지자기 센서로부터 수신되는 아날로그 신호를 디지털 신호로 변환하여 출력 값을 산출하고 상기 출력 값 및 타이머에서 생성되는 시간 정보를 송수신 모듈을 통하여 관리 서버로 전송하는 MCU(16)와 상기 MCU의 제어에 의하여 출력 값 및 시간 정보를 서버로 전송하기 위한 송수신 모듈(18)로 구성된 것을 특징으로 하는 것이다.
도 4는 본 발명에 적용되는 관리 서버의 상세 구성도이다. 상기도 4에서 본 발명에 적용되는 관리 서버(20)는 멀티 모달 센서부(10)로부터 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보 및 시간 정보를 송수신부(22)를 통하여 수신하고 메모리(24)에 저장된 섬, 앉음, 누움, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등과 같은 자세 및 운동 정보에 대한 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보를 비교하여 공간 내에 거주하는 사용자가 서 있는지, 앉아 있는지 또는 누워 있는지, 달리는지, 걷는지, 윗몸일으키기를 하는지, 팔굽혀 펴기를 하는지와 같은 운동 형태를 비교 판정부로 하여금 판단하도록 하고 시간 정보와 함께 메모리에 저장하도록 하고 칼로리 산정부로 하여금 메모리에 저장된 운동 형태별 소모 칼로리를 기초로 사용자의 해당 시간에 대한 총 소모 칼로리를 산정하여 메모리에 저장하도록 제어하고 메모리에 저장된 사용자의 운동 형태 정보, 운동 형태별 운동시간 정보 및 소모 칼로리 정보를 사용자 단말기로 전송하도록 제어하는 제어부(25) 및 섬, 앉음, 누움, 달리기, 걷기, 팔굽혀펴기, 윗몸일으키기와 같은 운동 형태별 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보의 기준 정보와 운동 형태별 표준 소모 칼로리 정보를 저장하고 사용자의 실제 운동 형태 및 실제 운동 형태에 관련된 시간 정보 및 실제 운동 형태에 따른 소모 칼로리 정보를 저장할 수 있는 메모리(24), 멀티 모달 센서부 및 사용자 단말기와 데이터 송수신을 하기 위한 송수신부(22)와, 제어부의 제어에 의하여 메모리에 저장된 운동 형태별 기준 정보와 멀티 모달 센서로부터 수신되는 센서 정보를 비교하여 운동 형태를 판단하는 비교 판정부(26)와, 메모리에 저장된 실제 운동 형태 및 운동 시간을 기초로 사용자의 운동 형태 및 운동 시간에 따른 소모 칼로리를 산정하는 칼로리 산정부(23) 및 메모리에 저장된 실제 운동 형태, 운동 형태별 운동 시간 및 소모 칼로리 정보를 제공하는 표시부(28)로 구성된 것을 특징으로 하는 것이다.
도 5는 본 발명 멀티 모달 센서를 이용한 사용자 운동 형태 판별 및 소모 칼로리 산정 방법에 대한 제어 흐름도이다. 상기도 5에서 본 발명 멀티 모달 센서를 이용한 사용자 운동 형태 판별 및 소모 칼로리 산정 방법은 멀티 모달 센서부의 MCU가 센서로부터 센싱한 정보를 아날로그에서 디지털 신호로 변환하여 수신하는 단계(S11)와, 멀티 모달 센서부의 MCU가 수신한 센서 정보 및 시간 정보를 관리 서버로 전송하는 단계(S12)와, 관리 서버가 수신한 센서 정보, 시간정보 및 메모리에 저장된 운동 형태별 기준 정보를 기초로 비교 판정부로 하여금 사용자의 실제 운동 형태 및 운동 시간을 판단하고 메모리에 저장하도록 하는 단계(S13)와, 관리 서버가 메모리에 저장된 실제 운동 형태, 운동시간 및 운동 형태별 소모 칼로리 정보를 기초로 칼로리 산정부로 하여금 사용자의 일정 시간 동안의 소모 칼로리를 산정하도록 하는 단계(S14)와, 관리 서버가 메모리에 저장된 사용자의 실제 운동 형태 정보, 운동시간 정보 및 소모 칼로리 정보를 사용자 단말기로 전송하도록 하는 단계(S15)와, 사용자 단말기가 수신한 사용자의 실제 운동 형태 정보, 운동시간 정보 및 소모 칼로리 정보를 표출하도록 하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기에서 기준 자세 정보는 섬, 앉음, 누음, 달리기, 걷기, 팔굽혀펴기, 윗몸일으키기 등 다양한 운동 형태에 대한 기울기 정보, 고도 정보, 가속도 정보 및 지자기 정보인 것을 특징으로 하는 것이다.
도 6은 본 발명에 적용되는 누운 자세 구성도이다. 상기도 6은 누운 자세를 기준으로 한 정중앙 면의 법선 벡터 방향을 x 축, 수평면을 법선 벡터 방향을 y 축으로 정의하였으며 각 축의 회전방향에 의해 -90°~ +90°범위의 값을 가지게 되며 고도계 센서는 센서의 부착위치(가슴 부위)를 기준으로 인체의 섬, 앉음, 누움의 3가지 동작을 정의하여 고도를 산출할 수 있는 것임을 나타내고 있는 것이다.
도 7은 바닥면을 기준으로 피 측정자가 누웠을 때 사용자의 가슴 높이가 20Cm ~ 100Cm인 경우의 고도 데이터를 나타낸 그래프이다. 상기도 7에서 공간 내에서 사용자가 방바닥에 누었을 경우에 대한 고도계 센서의 출력 값을 나타내는 것으로 누운 자세의 높이가 20Cm에서 100Cm까지 변화하는 경우의 출력 값은 정비례 관계는 아니지만 지속적으로 상승하며 선형성을 가지는 것으로 파악된 것이다. 따라서 상기 고도계 센서의 출력 데이터를 이용하여 공간 내의 사용자의 높이를 판단할 수 있는 것이다.
도 8은 본 발명의 공간 내 사용자의 기울기에 따른 자이로 센서를 이용한 출력 전압을 나타내는 그래프이다. 상기도 8에서 공간 내에서 사용자가 기울기가 -90°~ +90°까지 상체를 기울인 경우 자이로 센서의 출력 값을 나타내고 있는 것이다. 상기도 8에서 자이로 센서의 출력은 다소 선형성이 부족하지만 일정한 2차 곡선 형태로 보간됨을 알 수 있으며 보간 방정식을 이용한 보간된 자이로 센서의 출력 값은 아래 식 (1)로 나타낼 수 있는 것이다.
Figure pat00004
여기서, y는 자이로 센서를 이용한 출력 전압을 나타내고, x는 사용자의 기울기를 나타냄.
따라서 상기에서 자이로 센서의 출력 값을 통하여 공간 내 사용자의 법선 벡터 회전 각도 값을 구할 수 있으며 상기 법선 벡터의 회전 각도는 아래 표 1과 같이 각 자세에 따라 상이하므로 상기 회전 각도 값을 통하여 공간 내 사용자의 자세를 판단할 수 있는 것이다.
도 9는 본 발명을 실험한 장소 및 측정 대상을 나타낸 사진은 침대, 화장실, 소파 및 의자에서 사용자가 자이로 센서와 고도계 센서를 부착하고 1시간 동안 진행하였으며 그 장소를 나타낸 사진인 것이다.
도 10은 본 발명 방바닥에서 앉은 자세에서 눕는 자세로 변경하는 경우의 자이로 센서를 이용한 법선 벡터의 회전 각도 및 고도계 센서의 출력값을 나타내는 그래프이다. 상기도 10에서는 방바닥에서 사용자가 앉은 자세에서 눕는 자세로 변경하는 경우의 자이로 센서와 고도계 센서의 출력 값의 변화를 나타내는 것이다. 상기와 같은 자세 변화에 따른 자이로 센서 및 고도계 센서의 출력 값을 수신하면 표 1을 이용하여 방바닥에서의 사용자의 자세를 실시간으로 판단할 수 있는 것이다. 즉 자이로 센서의 출력인 x축 회전 각도가 -10°~ +10°이고 y축 회전 각도가 -20°~ +20°이고, 고도계 센서의 출력 값이 0 ~ 40Cm 이내이면 사용자의 자세는 '누움'을 나타내고 있는 것이다. 상기도 9에서 가로축은 시간을 나타내고 있는 것이다. 또한 방바닥에서의 고도계 센서 출력 값이 20Cm에서 근접하다가 10Cm로 떨어지는 것을 확인할 수 있는 것이다.
도 11은 본 발명 침대에서 앉은 자세에서 눕는 자세로 변경하는 경우의 자이로 센서를 이용한 법선 벡터의 회전 각도 및 고도계 센서의 출력값을 나타내는 그래프이다. 상기도 11에서는 본 발명에 적용된 것으로 침대에서 앉은 자세에서 눕는 자세로 변경하는 경우 자이로 센서 및 고도계 센서의 출력 값을 나타내고 있는 것이다. 따라서 침대에서는 고도계 센서의 데이터 출력 값이 30Cm 에서 20Cm로 떨어지는 것을 확인할 수 있는 것이다. 따라서 상기도 9 및 10을 통하여 고도계 센서의 출력 값을 통하여 방바닥과 침대를 구분할 수 있는 데이터를 얻을 수 있는 것이다.
도 12는 본 발명 공간 내 사용자가 서있던 상태에서 의자에 앉는 경우 고도계 센서와 자이로 센서의 출력 값을 나타내는 그래프이다. 상기도 12는 사용자가 서있는 상태에서 의자에 앉는 자세를 나타내는 것이고, 여기서 서있던 자세에서 의자에 앉을 때 생기는 높이 차로 인하여 고도계 센서의 출력 값이 낮아지는 것을 확인할 수 있으며, 최종적인 고도계 센서의 출력 값을 살펴보면 30cm의 출력을 보이고 있는 것이다. 또한 의자에서의 기울기 데이터는 90°- 15°= 75°로 테이블 1의 SIT : standing의 x축의 각도인 +70°~ +110°에 해당함을 확인할 수 있는 것이다.
도 13은 본 발명 공간 내 사용자가 서있던 상태에서 소파에 앉는 경우 자이로 센서와 고도계 센서의 출력 값을 나타내는 그래프이다. 상기도 13은 사용자가 서있는 상태에서 소파에 앉는 자세를 나타내는 것이고, 여기서 서있던 자세에서 소파에 앉을 때 생기는 높이 차로 인하여 고도계 센서의 출력 값이 30cm의 출력 값을 보이고 있으며 소파에 앉는 자세의 기울기 데이터는 90°- 20°= 70°로 테이블 1의 SIT : lying bending의 x 축 각도인 +20°+ 60°에 근접한 범위에 속하는 것을 확인할 수 있는 것이다.
따라서 상기도 12 내지 도 13에서 알 수 있는 바와 같이 고도계 센서의 출력 값을 통하여 의자나 소파에 위치한 것을 확인할 수 있고 자이로 센서의 데이터를 통하여 현재 의자(공부방)나 소파(거실) 중 어느 곳에 앉아 있는지를 구별함으로써 현재 사용자가 집안의 어디에 위치하고 있는지 공간 인지에 대한 추론이 가능한 것이다.
도 14는 본 발명 공간 내 사용자가 세면대에서 얼굴을 세수하는 경우의 고도계 센서와 자이로 센서의 출력 값을 나타내는 그래프이다. 상기도 14에서 본 발명 공간 내 사용자가 세면대에서 얼굴을 세수하는 경우를 살펴보면 고도계 센서의 데이터 값이 40cm 에서 30cm까지 내려갔다가 다시 복귀하는 것을 확인할 수 있는 것이다. 즉 현재의 사용자가 상체의 위치가 서있는 상태에서 일정 기간 동안 상체의 높이가 내려갔다가 다시 올라간 것으로 판단할 수 있는 것이다. 또한 자이로 센서의 데이터 값은 약 +50°~ +90°사이의 변화를 확인할 수 있으며 일정시간 동안 +50°만큼 숙여있는 상태를 확인할 수 있는 것이다. 이렇게 가슴을 숙이는 행동을 반복하는 행위는 현재 사용자가 화장실에서 세안을 하고 있는 경우라고 판단할 수 있는 것이다.
상기에서 살펴본 바와 같이 본 발명을 이용하면 2차원 자이로 센서와 고도게 센서를 이용하여 주거 공간 내의 사용자의 자세, 행동 정보를 파악 인지할 수 있으며 상기 자이로 센서 및 고도계 센서의 출력 값과 각종 자세에 따는 기준 정보를 비교하면 사용자의 자세 및 행동 패턴을 판단할 수 있는 것이다.
또한 아래 표 1은 본 발명 적용되는 것으로 메모리에 저장되는 각 자세별 법선 벡터 회전 각도 정보 및 높이 정보를 나타내는 테이블이며 기본 자세 세가지와 추가로 표현된 자세에 대해 두축 기울기 값과 높이 데이터 값을 정의한 것으로 상기에서 정의된 각 자세에 대한 기울기 값과 높이 값은 각 자세를 판단하는 기준 정보를 활용될 수 있는 것이다.
[표 1]
Figure pat00005

아래 표 2는 본 발명에 적용되는 것으로 각 공간 내에서의 행태 정보 테이블이며 사용자가 생활하는 공간을 인지하기 위해 특정 장소에 따른 특별한 행위들을 정보화하여 공간을 인지하는 것으로 각 장소에 따른 가능한 행위를 정의해 놓은 것이며 사용자가 생활하는 공간에 따른 행위의 구분으로 그에 맞는 자세를 정의하고 정의된 자세에 따라 현재 사용자가 위치한 공간을 유추할 수 있는 것이다.
[표 2]
Figure pat00006

아래 표 3은 본 발명에 적용되는 것으로 각 자세에 따른 행태 정보 테이블이며 각 장소별 행위에 따른 나타날 수 있는 자세들을 정리해 놓은 것이다. 아래 표 3에서는 각 장소에 따른 행위들 중에 서로 다른 장소지만 동일한 행동이 일어날 수 있는 것을 알 수 있는 것이다. 즉 거실과 방에서는 앉기, 수면, 기대기 등의 행위가 유사하게 발생할 수 있는 것이다. 또한 아래 표 3에서 각 행위에 예상되는 자세도 비슷하게 나타날 수 있는 것이다. 즉 공부, 식사, 용변은 서로 다른 장소에서 일어나지만 동일해 보일 수 있는 자세를 가질 수 있는 것으로 볼 수 있는 것이다.
[표 3]
Figure pat00007

상기 표 1 내지 3의 표를 예를 들어 설명하면 정적 자세가 서 있는 상태로 정의하면 sitting은 거실, 방, 부엌 및 화장실에서 일어날 수 있는 자세이고, Sitting의 자세는 방에서 다리를 펴고 앉는 자세, 의자에 앉는 자제 등이 있을 수 있으며 Sitting 에 대한 자이로 센서의 x 축 출력 값은 +70°~ +110°이고, y축 출력 값은 -20°~ +20°이내이며 고도계 센서의 출력 값은 40cm ~ 60cm 범위로 나타날 수 있는 것이다.
도 15는 본 발명에 적용되는 별도의 운동 형태별 센서 측정 기준 값의 예시표이다. 상기도 15에서 운동 형태별 기준 센서 값은 예를 들어, 50m 달리기의 경우 자이로센서 x축 값이 90도, 고도계 값은 110 Cm, 가속도는 지속적으로 변화, 지자기값은 직진이고, 시간 정보는 10sec 이내 값이 기준 정보로 메모리에 저장될 수 있는 것이다.
도 16은 본 발명에 적용되는 운동 형태별 소모 칼로리 기준 값 예시도 이다. 상기도 16에서 섬의 소모 칼로리는 3.5 Kcal/min, 걷기는 5.0 Kcal/min, 달리기는 11.2 Kcal/min가 소모될 수 있는 것임을 나타내고 있는 것이다.
도 17은 본 발명에 적용되는 사용자 행동 및 운동 형태를 판단하기 위한 신경망네트워크의 구성도이다. 상기도 17에서 본 발명에 적용되는 사용자 행동 및 운동 형태를 판단하기 위한 신경망네트워크는 자이로 센서 3축 출력 값, 고도계 센서 1축 출력값, 가속도 센서 3축 출력 값, 지자기 센서 3축 출력값, 시간 1축 출력값등 총 11개 축을 입력으로 하고 출력 값을 섬, 앉음, 누움, 걷기, 달리기, 팔굽혀 펴기 및 윗몸일으키기 등으로 하여 구성된 것으로 상기 신경망 네트워크를 통하여 지속적인 학습을 하면 정확한 운동 형태를 판별할 수 있는 것이다. 상기에서 본 발명에 적용되는 Hidden Layer는 3단 이상으로 구성되는 Deep Learning을 특징으로 하는 것이다. 또한 상기 신경망 네트워크의 출력 값은 섬, 앉음, 누움, 걷기, 달리기, 팔굽혀 펴기 및 윗몸일으키기 중에서 어느 하나로 인식될 수 있는 것이다. 한편 이를 다음과 같은 다양한 영역으로 확대 적용하면 인간의 행동 및 운동 패턴을 다양하게 학습시킬 수 있는 것이다. 예를 들어, 실버타운에서의 고령자의 생활관리, 수술환자의 운동관리, 유소년의 체력관리, 독거 노인의 생활안전관리, 법인 임직원들의 지속적인 건강관리 지하 전력구, 소방, 건설 현장의 작업자 안전 관리 등으로 고유 행동 패턴을 확장 이용할 수 있는 것이다.
도 18은 본 발명에 적용되는 것으로 신경망 네트워크와 센서 측정값에 대한 추론 엔진을 이용한 특정 자세 및 행동 패턴 추출 모형 블록도 이다. 상기도 18에서 본 발명에 적용되는 것으로 신경망 네트워크와 센서 측정값에 대한 머지 수단을 이용한 특정 자세 및 행동 패턴 추출 모형은 자이로 센서, 지자기 센서, 가속도 센서, 고도계 센서 및 시간 센서의 측정값과 상기 측정값을 입력 값으로 신경망 네트워크를 이용한 학습을 통한 출력 값을 기초로 머지수단에서 사용자의 특정 자세 및 해동 패턴을 좀더 정확하게 추출할 수 있는 것이다. 상기에서 머지 수단은 신경망 네트워크의 출력 값인 섬, 앉음, 누움, 걷기, 달리기, 팔굽혀 펴기 및 윗몸일으키기 등의 행동 및 운동 형태가 서 있다가 앉은 것인지 아니면 앉았다가 서는 것인지, 앉음이 소파에 앉은 것인지 또는 화장실에 앉은 것인지와 같은 정확한 행동 및 운동 패턴을 판단할 수 있는 것이다.
10 : 멀티 모달 센서부, 11 : 자이로 센서,
12 : 고도계 센서, 13 : 가속도 센서,
14 : 지자기 센서, 20 : 관리 서버,
30 : 유무선 네트워크, 40 : 사용자 단말기,

Claims (16)

  1. 일정 시간 동안에 대한 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템에 있어서,
    상기 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템은,
    사용자의 운동 관련 정보를 센서 정보를 생성하고 시간 정보를 생성하는 멀티 모달 센서부(10)와;
    상기 멀티 모달 센서부로부터 수신되는 정보를 분석하여 운동 형태를 판단하고 수신된 시간 정보를 기초로 해당 시간에 따른 운동 종류별 기준 소모 칼로리를 적용하여 일정 시간 동안의 총 소모 칼로리를 산정하는 관리 서버(20);
    및 상기 멀티 모달 센서부, 사용자 단말기 및 관리 서버를 연결하는 유무선 네트워크(30)로 구성되는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  2. 제1항에 있어서,
    상기 멀티 모달 센서부의 센서는,
    공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 서버로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 자이로 센서와 사용자의 높낮이 정보를 생성하여 서버로 전송하는 고도계 센서와 사용자의 운동 가속도 정보를 생성하는 가속도 센서와 사용자의 직진 또는 회전 정보를 생성하는 지자기 센서로 구성되는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  3. 제1항에 있어서,
    운동 형태는,
    섬, 앉음 누운 자세, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등의 형태인 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  4. 제1항에 있어서,
    멀티 모달 센서부는,
    공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 MCU로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 자이로 센서(11)와;
    사용자의 높낮이 정보를 생성하여 MCU로 전송하는 고도계 센서(12)와;
    사용자의 운동 가속도 정보를 생성하여 전송하는 가속도 센서(13)와;
    사용자의 직진 운동 방향 및 회전 방향 정보를 생성하여 전송하는 지자기 센서(14)와;
    시간 정보를 생성하여 제공하는 타이머(15)와;
    상기 자이로 센서, 고도계 센서, 가속도 센서, 지자기 센서로부터 수신되는 아날로그 신호를 디지털 신호로 변환하여 출력 값을 산출하고 상기 출력 값 및 타이머에서 생성되는 시간 정보를 송수신 모듈을 통하여 관리 서버로 전송하는 MCU(16);
    및 상기 MCU의 제어에 의하여 출력 값 및 시간 정보를 서버로 전송하기 위한 송수신 모듈(18)로 구성된 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  5. 제1항에 있어서,
    상기 관리 서버는,
    멀티 모달 센서부(10)로부터 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보 및 시간 정보를 송수신부(22)를 통하여 수신하고 메모리(24)에 저장된 섬, 앉음, 누움, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등과 같은 자세 및 운동 정보에 대한 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보를 비교하여 공간 내에 거주하는 사용자가 서 있는지, 앉아 있는지 또는 누워 있는지, 달리는지, 걷는지, 윗몸일으키기를 하는지, 팔굽혀 펴기를 하는지와 같은 운동 형태를 비교 판정부로 하여금 판단하도록 하고 시간 정보와 함께 메모리에 저장하도록 하고 칼로리 산정부로 하여금 메모리에 저장된 운동 형태별 소모 칼로리를 기초로 사용자의 해당 시간에 대한 총 소모 칼로리를 산정하여 메모리에 저장하도록 제어하고 메모리에 저장된 사용자의 운동 형태 정보, 운동 형태별 운동시간 정보 및 소모 칼로리 정보를 사용자 단말기로 전송하도록 제어하는 제어부(25)와;
    섬, 앉음, 누움, 달리기, 걷기, 팔굽혀펴기, 윗몸일으키기와 같은 운동 형태별 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보의 기준 정보와 운동 형태별 표준 소모 칼로리 정보를 저장하고 사용자의 실제 운동 형태 및 실제 운동 형태에 관련된 시간 정보 및 실제 운동 형태에 따른 소모 칼로리 정보를 저장할 수 있는 메모리(24)와;
    멀티 모달 센서 및 사용자 단말기와 데이터 송수신을 하기 위한 송수신부(22)와;
    제어부의 제어에 의하여 메모리에 저장된 운동 형태별 기준 정보와 멀티 모달 센서로부터 수신되는 센서 정보를 비교하여 운동 형태를 판단하는 비교 판정부(26)와;
    메모리에 저장된 실제 운동 형태 및 운동 시간을 기초로 사용자의 운동 형태 및 운동 시간에 따른 소모 칼로리를 산정하는 칼로리 산정부(23);
    및 메모리에 저장된 실제 운동 형태, 운동 형태별 운동 시간 및 소모 칼로리 정보를 제공하는 표시부(28)로 구성된 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  6. 일정 시간 동안에 대한 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템에 있어서,
    상기 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템은,
    사용자의 운동 관련 정보를 센서 정보를 생성하고 시간 정보를 생성하는 멀티 모달 센서부(10)와;
    상기 멀티 모달 센서부로부터 수신되는 정보를 분석하여 운동 형태를 판단하고 수신된 시간 정보를 기초로 해당 시간에 따른 운동 종류별 기준 소모 칼로리를 적용하여 일정 시간 동안의 총 소모 칼로리를 산정하고 사용자 단말기로 전송하는 관리 서버(20)와;
    상기 관리 서버로부터 사용자의 일정 시간 동안의 운동 형태 소모 칼로리 정보를 수신하여 표출하는 사용자 단말기(40);
    및 상기 멀티 모달 센서, 사용자 단말기 및 관리 서버를 연결하는 유무선 네트워크(30)로 구성되는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.


  7. 제6항에 있어서,
    상기 멀티 모달 센서부의 센서는,
    공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 서버로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 자이로 센서와 사용자의 높낮이 정보를 생성하여 서버로 전송하는 고도계 센서와 사용자의 운동 가속도 정보를 생성하는 가속도 센서와 사용자의 직진 또는 회전 정보를 생성하는 지자기 센서로 구성되는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  8. 제6항에 있어서,
    운동 형태는,
    섬, 앉음 누운 자세, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등의 형태인 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  9. 제6항에 있어서,
    멀티 모달 센서부는,
    공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 MCU로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 자이로 센서(11)와;
    사용자의 높낮이 정보를 생성하여 MCU로 전송하는 고도계 센서(12)와;
    사용자의 운동 가속도 정보를 생성하여 전송하는 가속도 센서(13)와;
    사용자의 직진 운동 방향 및 회전 방향 정보를 생성하여 전송하는 지자기 센서(14)와;
    시간 정보를 생성하여 제공하는 타이머(15)와;
    상기 자이로 센서, 고도계 센서, 가속도 센서, 지자기 센서로부터 수신되는 아날로그 신호를 디지털 신호로 변환하여 출력 값을 산출하고 상기 출력 값 및 타이머에서 생성되는 시간 정보를 송수신 모듈을 통하여 관리 서버로 전송하는 MCU(16);
    및 상기 MCU의 제어에 의하여 출력 값 및 시간 정보를 서버로 전송하기 위한 송수신 모듈(18)로 구성된 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  10. 제6항에 있어서,
    상기 관리 서버는,
    멀티 모달 센서부(10)로부터 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보 및 시간 정보를 송수신부(22)를 통하여 수신하고 메모리(24)에 저장된 섬, 앉음, 누움, 걷기, 달리기, 윗몸일으키기, 팔굽혀펴기 등과 같은 자세 및 운동 정보에 대한 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보를 비교하여 공간 내에 거주하는 사용자가 서 있는지, 앉아 있는지 또는 누워 있는지, 달리는지, 걷는지, 윗몸일으키기를 하는지, 팔굽혀 펴기를 하는지와 같은 운동 형태를 비교 판정부로 하여금 판단하도록 하고 시간 정보와 함께 메모리에 저장하도록 하고 칼로리 산정부로 하여금 메모리에 저장된 운동 형태별 소모 칼로리를 기초로 사용자의 해당 시간에 대한 총 소모 칼로리를 산정하여 메모리에 저장하도록 제어하고 메모리에 저장된 사용자의 운동 형태 정보, 운동 형태별 운동시간 정보 및 소모 칼로리 정보를 사용자 단말기로 전송하도록 제어하는 제어부(25)와;
    섬, 앉음, 누움, 달리기, 걷기, 팔굽혀펴기, 윗몸일으키기와 같은 운동 형태별 기울기 정보, 고도 정보, 가속도 정보, 지자기 정보의 기준 정보와 운동 형태별 표준 소모 칼로리 정보를 저장하고 사용자의 실제 운동 형태 및 실제 운동 형태에 관련된 시간 정보 및 실제 운동 형태에 따른 소모 칼로리 정보를 저장할 수 있는 메모리(24)와;
    멀티 모달 센서 및 사용자 단말기와 데이터 송수신을 하기 위한 송수신부(22)와;
    제어부의 제어에 의하여 메모리에 저장된 운동 형태별 기준 정보와 멀티 모달 센서로부터 수신되는 센서 정보를 비교하여 운동 형태를 판단하는 비교 판정부(26)와;
    메모리에 저장된 실제 운동 형태 및 운동 시간을 기초로 사용자의 운동 형태 및 운동 시간에 따른 소모 칼로리를 산정하는 칼로리 산정부(23);
    및 메모리에 저장된 실제 운동 형태, 운동 형태별 운동 시간 및 소모 칼로리 정보를 제공하는 표시부(28)로 구성된 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템.
  11. 일정 시간 동안에 대한 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템에 있어서,
    상기 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템은,
    신경망 네트워크의 입력 노드의 입력 값을 제공하는 멀티 모달 센서부와;
    상기 멀티 모달 센서부의 출력값을 입력 값으로 하고 3개의 Hidden layer에 의하여 구동하여 운동 형태를 출력 값으로 하는 신경망 네트워크로 구성된 것을 특징으로 하는 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템.
  12. 제11항에 있어서,
    상기 멀티 모달 센서부는,
    공간 내 거주하는 사용자의 2차원 법선 벡터(x, y)의 회전 방향에 대한 각도 정보를 생성하여 서버로 전송하는 것으로 3개의 자이로 센서를 한 조로 하여 2조의 자이로 센서로 구성되는 자이로 센서와 사용자의 높낮이 정보를 생성하여 서버로 전송하는 고도계 센서와 사용자의 운동 가속도 정보를 생성하는 가속도 센서와 사용자의 직진 또는 회전 정보를 생성하는 지자기 센서로 구성되는 것을 특징으로 하는 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템.
  13. 제12항에 있어서,
    상기 신경망 네트워크의 출력 값은,
    섬, 앉음, 누움, 걷기, 달리기, 팔굽혀 표기 및 윗몸일으키기 중에서 하나 이상일 수 있는 것을 특징으로 하는 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템.
  14. 일정 시간 동안에 대한 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 방법에 있어서,
    상기 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 방법은,
    멀티 모달 센서부의 MCU가 센서로부터 센싱한 정보를 아날로그에서 디지털 신호로 변환하여 수신하는 단계(S11)와;
    멀티 모달 센서부의 MCU가 수신한 센서 정보 및 시간 정보를 관리 서버로 전송하는 단계(S12)와;
    관리 서버가 수신한 센서 정보, 시간정보 및 메모리에 저장된 운동 형태별 기준 정보를 기초로 비교 판정부로 하여금 사용자의 실제 운동 형태 및 운동 시간을 판단하고 메모리에 저장하도록 하는 단계(S13)와;
    관리 서버가 메모리에 저장된 실제 운동 형태, 운동시간 및 운동 형태별 소모 칼로리 정보를 기초로 칼로리 산정부로 하여금 사용자의 일정 시간 동안의 소모 칼로리를 산정하도록 하는 단계(S14)와;
    관리 서버가 메모리에 저장된 사용자의 실제 운동 형태 정보, 운동시간 정보 및 소모 칼로리 정보를 사용자 단말기로 전송하도록 하는 단계(S15);
    및 사용자 단말기가 수신한 사용자의 실제 운동 형태 정보, 운동시간 정보 및 소모 칼로리 정보를 표출하도록 하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 방법.
  15. 제14항에 있어서,
    상기 운동 형태는,
    섬, 앉음, 누움, 걷기, 달리기, 팔굽혀 표기 및 윗몸일으키기 중에서 하나 이상일 수 있는 것을 특징으로 하는 멀티 모달 센서를 이용한 사용자 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 방법.
  16. 일정 시간 동안에 대한 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템에 있어서,
    상기 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템은,
    신경망 네트워크의 입력 노드의 입력 값을 제공하는 멀티 모달 센서부와;
    상기 멀티 모달 센서부의 출력값을 입력 값으로 하고 3개의 Hidden layer에 의하여 구동하여 운동 형태를 출력 값으로 하는 신경망 네트워크와;
    상기 멀티 모달 센서부의 출력 값과 신경망 네트워크의 출력 값을 통합하여 운동 형태를 판별하는 머지 수단으로 구성된 것을 특징으로 하는 멀티 모달 센서 및 신경망 네트워크를 이용한 사용자 신체 운동 형태 판단 시스템.





KR1020160001884A 2016-01-07 2016-01-07 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템 KR20170082742A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160001884A KR20170082742A (ko) 2016-01-07 2016-01-07 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160001884A KR20170082742A (ko) 2016-01-07 2016-01-07 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템

Publications (1)

Publication Number Publication Date
KR20170082742A true KR20170082742A (ko) 2017-07-17

Family

ID=59442858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160001884A KR20170082742A (ko) 2016-01-07 2016-01-07 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템

Country Status (1)

Country Link
KR (1) KR20170082742A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047639A (ko) 2017-10-27 2019-05-08 (주)공존에스앤티 멀티센싱을 이용한 공장의 환경 모니터링 시스템 및 장치
KR20190047648A (ko) * 2017-10-27 2019-05-08 주식회사 뉴클리어스 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
CN112370050A (zh) * 2020-11-17 2021-02-19 哈尔滨理工大学 一种人体姿态与运动能量消耗识别系统及识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047639A (ko) 2017-10-27 2019-05-08 (주)공존에스앤티 멀티센싱을 이용한 공장의 환경 모니터링 시스템 및 장치
KR20190047648A (ko) * 2017-10-27 2019-05-08 주식회사 뉴클리어스 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
CN112370050A (zh) * 2020-11-17 2021-02-19 哈尔滨理工大学 一种人体姿态与运动能量消耗识别系统及识别方法

Similar Documents

Publication Publication Date Title
CN106815857B (zh) 行动辅助机器人的姿态估测方法
CN103025240B (zh) 用于身体安装的装置的自动取向校准
US9974466B2 (en) Method and apparatus for detecting change in health status
Lowe et al. Monitoring human health behaviour in one's living environment: a technological review
KR101858116B1 (ko) 자세균형 훈련 시스템
JP2012513227A (ja) 歩行モニタ
US10126108B2 (en) Apparatus and method for classifying orientation of a body of a mammal
KR101722131B1 (ko) 멀티 모달 센서를 이용한 인체의 자세 및 공간 인지 시스템
JPWO2008093406A1 (ja) 歩行能力診断システム
US20170049361A1 (en) Wearable measurement device and measurement method
EP2783630A1 (en) Human motion analysis method and device
KR20170082742A (ko) 멀티 모달 센서를 이용한 신체 운동 형태 판단 및 이를 이용한 운동량별 소모 에너지 측정 시스템
JP6649323B2 (ja) 歩行解析システム及び方法
KR20160025864A (ko) 자세 검출 상의 및 이를 이용한 자세 검출 방법
JP6322984B2 (ja) 姿勢推定装置、方法及びプログラム
JP6241820B2 (ja) 転落危険度算出システム及び通報システム
CN107982898B (zh) 康复运动的训练系统及方法
KR20170069822A (ko) 헬스케어체어 구조
CN205597923U (zh) 一种人体运动姿势评估系统
KR20120056105A (ko) 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법
KR101387896B1 (ko) 체질 및 건강 판단 장치 및 그의 체질 및 건강 판단 방법
Zhang et al. A real-time falls detection system for elderly
Sahani et al. Posture Detection and Correction System using IOT: A Survey
KR102158334B1 (ko) 사용자의 무게 중심점의 변화를 추적하여 사용자의 자세를 검출하는 장치 및 방법
JP7076281B2 (ja) 危険度推定システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application