KR102054542B1 - 신체 활동 모니터링 디바이스에 의한 게임 플레이 확장 - Google Patents

신체 활동 모니터링 디바이스에 의한 게임 플레이 확장 Download PDF

Info

Publication number
KR102054542B1
KR102054542B1 KR1020157026554A KR20157026554A KR102054542B1 KR 102054542 B1 KR102054542 B1 KR 102054542B1 KR 1020157026554 A KR1020157026554 A KR 1020157026554A KR 20157026554 A KR20157026554 A KR 20157026554A KR 102054542 B1 KR102054542 B1 KR 102054542B1
Authority
KR
South Korea
Prior art keywords
physical activity
user
monitoring device
physical
game
Prior art date
Application number
KR1020157026554A
Other languages
English (en)
Other versions
KR20150122742A (ko
Inventor
다니엘 모리스
일리아 켈너
파라 샤리프
데니스 톰
티 스코트 사포나스
엔드류 길로리
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150122742A publication Critical patent/KR20150122742A/ko
Application granted granted Critical
Publication of KR102054542B1 publication Critical patent/KR102054542B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/403—Connection between platform and handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/61—Score computation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094—Unusual game types, e.g. virtual cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Pinball Game Machines (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

신체 활동 모니터링 디바이스(physical activity monitoring device)는 게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 하나 이상의 신체 활동들의 표시를 수신하고 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성(physical activity attribute)들을 측정한다. 신체 활동 모니터링 디바이스는 신체 활동 속성들에 기초하여 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도를 결정하고, 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도의 표시를 게임 디바이스로 출력한다.

Description

신체 활동 모니터링 디바이스에 의한 게임 플레이 확장{EXTENDING GAMEPLAY WITH PHYSICAL ACTIVITY MONITORING DEVICE}
본 발명은 신체 활동 모니터링 디바이스에 의한 게임 플레이 확장에 관한 것이다.
운동 및 다른 신체 활동들이 사람의 건강 및 웰빙(wellbeing)에 아주 유익할 수 있다. 어떤 사람들은 체계적인 운동 요법(structured exercise regimen)을 통해 건강 및 웰빙을 향상시키기 위해 개인 트레이너를 이용한다. 그렇지만, 모든 사람들이 개인 트레이너를 둘 수 있는 형편은 아니다. 빈번히 개인 트레이너와 함께 훈련을 하는 사람들도 신체 활동을 할 때 항상 개인 트레이너를 보지는 않을 것이다.
신체 활동 모니터링 디바이스(physical activity monitoring device)는 게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 하나 이상의 신체 활동들의 표시를 수신하고 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성(physical activity attribute)들을 측정한다. 신체 활동 모니터링 디바이스는 신체 활동 속성들에 기초하여 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도(progress)를 결정하고, 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도의 표시를 게임 디바이스로 출력한다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 주요 특징들 또는 필수적인 특징들을 나타내기 위한 것이 아니며, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다. 게다가, 청구된 발명 요지가 본 개시 내용의 임의의 부분에서 살펴본 단점들의 일부 또는 전부를 해결하는 구현들로 제한되지 않는다.
도 1은 본 개시 내용의 일 실시예에 따른, 신체 활동 모니터링 디바이스를 착용하고 있는 사용자를 나타낸 도면.
도 2는 본 개시 내용의 일 실시예에 따른, 신체 활동 모니터링 디바이스를 나타낸 도면.
도 3은 본 개시 내용의 일 실시예에 따른, 사용자가 신체 활동에 적극적으로 참여하고 있는 기간을 결정하는 예시적인 방법을 나타낸 도면.
도 4는 본 개시 내용의 일 실시예에 따른, 운동 요법(workout regimen)의 예시적인 세그먼트(segment)의 분석을 나타낸 도면.
도 5는 본 개시 내용의 일 실시예에 따른, 신체 활동의 유형을 인식하는 예시적인 방법을 나타낸 도면.
도 6은 본 개시 내용의 일 실시예에 따른, 운동 반복을 계수(count)하는 예시적인 방법을 나타낸 도면.
도 7은 본 개시 내용의 일 실시예에 따른, 게임 경험을 증강(augment)시키는 예시적인 방법을 나타낸 도면.
도 8은 본 개시 내용의 일 실시예에 따른, 사용자를 체력 훈련시키는 예시적인 방법을 나타낸 도면.
본 개시 내용은 게임 경험을 증강시키기 위해 및/또는 운동 요법을 실시하고 모니터링하기 위해 사용될 수 있는 신체 활동 모니터링 디바이스(physical activity monitoring device; PAMD)에 관한 것이다.
운동에서, 개인은 신체 활동 또는 운동을 수행하는 데 시간을 소비할 수 있는 것은 물론, 활동으로부터 회복하는 데 시간이 소비되고, 활동을 준비하는 데 시간이 소비되며, 물을 마시는 것과 같은 비운동 활동을 수행하는 데 시간이 소비된다. PAMD가 PAMD를 착용하고 있는 사용자에 의해 수행되는 신체 활동 또는 운동을 인식하고 구별하기 위해, PAMD는 먼저 실제 운동의 시간과 비운동 활동의 시간을 구별할 수 있다. 일부 실시예들에서, PAMD는 PAMD를 착용하고 있는 사용자의 신체 활동 속성들을 측정하도록 구성된 하나 이상의 센서들을 포함하는 센서 어레이로 사용자 움직임을 샘플링한다. 샘플링된 데이터는 이어서 운동 기간과 비운동 기간으로 분할될 수 있다. 운동 기간 내에서, PAMD는 이어서 샘플링된 데이터에서 특정의 신체 활동들 또는 운동들을 나타내는 패턴들을 일의적으로 식별하고 그로써 PAMD를 착용하고 있는 사용자에 의해 수행되는 신체 활동 또는 운동을 인식하도록 훈련될 수 있다. 반복적 신체 활동 또는 운동에 대해, PAMD는 이어서 PAMD를 착용하고 있는 사용자에 의해 수행되는 주어진 반복적 신체 활동 또는 운동의 반복 횟수를 계수할 수 있다.
도 1은 본 개시 내용에 따른, 신체 활동 모니터링 디바이스(102)를 착용하고 있는 사용자(101)를 나타낸 것이다. 일부 실시예들에서, PAMD(102)는 웨어러블 암 밴드(wearable arm band)의 형태로 되어 있을 수 있다. PAMD(102)는, 사용자(101)가 운동을 하고 있거나 특정의 신체 활동을 다른 방식으로 수행하고 있는 동안, 사용자(101)에 의해 착용될 수 있다. PAMD(102)는 스마트 활동 분석(smart activity analysis)의 방법을 이용할 수 있다. 스마트 활동 분석은 PAMD가 PAMD를 착용하고 있는 사용자에 의해 수행되는 신체 활동 또는 운동을 인식하고 구별할 수 있게 할 것이고, 게다가 PAMD가 PAMD를 착용하고 있는 사용자에 의해 수행되는 신체 활동 또는 운동의 반복을 계수할 수 있게 할 것이다.
도 2는 본 개시 내용에 따른, 신체 활동 모니터링 디바이스(200)를 개략적으로 나타낸 것이다. PAMD(200)는 센서 어레이(210), 논리 머신(215), 저장 머신(217), 제어기(220), 지도형 분류자(supervised classifier)(230a), 지도형 분류자(230b), 집계기(aggregator)(240), 통신 서브시스템(250), 보고기(reporter)(260), 투표 머신(voting machine)(270) 및 디스플레이 서브시스템(280)을 포함할 수 있다.
센서 어레이(210)는 가속도계(214), GPS(212), 자이로스코프(216), 심박수 모니터(218), 및/또는 다른 적당한 센서들과 같은, 하나 이상의 센서들을 포함할 수 있다. 센서 어레이(210)로부터의 데이터는 본 디바이스가 PAMD를 착용하고 있는 사용자에 의해 수행되는 상이한 신체 활동들 또는 운동들을 자동으로 구별할 수 있게 할 것이다. 어떤 예들에서, 가속도계(214)는 사용자 움직임을 고정된 샘플링 레이트(fixed sampling rate)로 샘플링할 수 있다. 샘플링은 25 Hz의 샘플링 레이트, 또는 50 Hz와 같은 다른 적당한 샘플링 레이트로 행해질 수 있다. GPS(212)로부터의 데이터는 사용자가 옥외에서 신체 활동 또는 운동을 수행하는 속도를 학습하는 데 사용될 수 있다. 예를 들어, GPS 도출 데이터(GPS derived data)는 달리는 기간, 걷는 기간 및 자건거를 타는 기간을 구별하는 데 사용될 수 있다. 게다가, GPS는 사용자의 위치를 평가하는 데 사용될 수 있다. 이러한 위치 정보는 활동들을 구별하는 데 사용될 수 있다. 예를 들어, 사용자가 테니스 코트에 있을 때에는 테니스를 하고 있을 가능성이 있거나, 골프 코스에 있을 때에는 골프를 하고 있을 가능성이 있다. 가속도계로부터 수신된 데이터와 협력하여, GPS 데이터는 사용자의 보폭(stride)을 교정하는 데 사용될 수 있다. 이 정보가 저장되고, 옥내에서 수행될 때 또는 GPS 데이터가 다른 방식으로 이용가능하지 않을 때, 동일한 신체 활동 또는 운동을 구별하고 교정하는 데 사용될 수 있음으로써, GPS 데이터가 없을 때 정확한 거리 및 걷는 속도(pace) 정보가 계산될 수 있게 한다.
가속도계(214)는 선택적으로 3축 가속도계(3-axis accelerometer)일 수 있다. 가속도계(214)로부터 수신되는 데이터는 팔 굽혀 펴기(pushup), 윗몸 일으키기(situp), 앉았다 일어서기(squat) 등을 포함할 수 있는 상이한 반복적 신체 활동들 또는 운동들에 대한 패턴의 변동을 검출하는 데 사용될 수 있다. 이러한 반복적 신체 활동 또는 운동에 대한 신호의 반복성이 이들 및 유사한 운동들의 반복을 검출하는 데 사용될 수 있다. 가속도계(214)로부터 수신되는 데이터는 또한 월 스쿼트(wall squat), 플랭크(plank), 요가 포즈(yoga pose) 등을 포함할 수 있는 상이한 정적 신체 활동들 또는 운동들에 대한 패턴의 변동을 검출하는 데 사용될 수 있다.
거리 기반 활동들에 대해, PAMD(200)는 걷기, 조깅, 빠른 조깅(fast jogging), 및 달리기를 비롯한, 여러가지 움직임 속도들을 추가로 검출하고 구별할 수 있다. 이것은 가속도계(214)로 사용자의 발걸음(footfall)의 속도를 측정하는 것에 의해 달성될 수 있다. 이 데이터는 이어서 활동에 특유한 거리 계산을 동적으로 조절하는 데 사용될 수 있다. 예를 들어, 걷는 동안 사용자의 걸음 수는 달리는 동안 동일한 사용자의 동일한 수의 걸음보다 더 짧은 거리일 수 있다. 수많은 신체 활동 또는 운동 기간들에 걸쳐, 걷기, 조깅, 달리기 등에 대한 사용자의 실제 보폭 길이(true stride length)가 GPS(212) 및 가속도계(214)로부터의 데이터를 사용하여 학습될 수 있다.
PAMD(200)는 선택적으로 논리 머신(215) 및 저장 머신(217)의 사용을 통해 인스턴스화(instantiate)될 수 있는 제어기(220)를 추가로 포함할 수 있다. 제어기(220)는, 신체 활동 속성들에 기초하여, 사용자가 신체 활동에 적극적으로 참여하고 있는 시간 구간들을 자동으로 결정하도록 구성될 수 있다. 이 프로세스는 또한 본 명세서에서 세그먼트화(segmentation)라고 지칭될 수 있다. 하나의 예에서, PAMD(200)는 사용자가 운동으로서 팔 벌려 뛰기(jumping jack)를 수행해야 한다는 것을 표시할 수 있다. 이 표시에 따라, 사용자가 운동을 위한 준비(예를 들어, 방을 이리저리 걷는 것, 물을 한 모금 마시는 것, 또는 팔 벌려 뛰기를 시작할 자리를 잡는 것)를 하는 데 시간이 걸릴 수 있다. 세그먼트화 프로세스는 실제 운동의 기간을 신체 활동 또는 운동에 관련되지 않은 다른 활동들로부터 분리시킬 수 있다. 비운동 기간을 분석으로부터 제거하는 것은 PAMD(200)가 거짓 반복(false repetition)을 계수할 가능성을 줄일 수 있다. 이와 유사하게, PAMD(200)는, 인식 시스템이 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있는 기간으로부터의 데이터만을 분석하는 경우, 사용자가 어느 신체 활동 또는 운동에 참여하고 있는지를 더 정확하게 결정할 수 있을 것이다.
하나의 예에서, PAMD(200)는 사용자가 시간 기반 활동(예를 들어, 30 초 동안 팔 굽혀 펴기)을 수행해야 한다는 것을 표시할 수 있다. PAMD(200)는, 사용자가 팔 굽혀 펴기를 수행할 자리를 잡는 시간 동안 사용자의 신체 활동 속성들을 평가하기 시작하지 않는 경우, 30 초의 팔 굽혀 펴기를 더 정확하게 추적할 수 있다. 사용자가 팔 굽혀 펴기를 수행하고 있는 때를 정확하게 결정하는 것에 의해, PAMD(200)는 사용자 생체 측정(예를 들어, 사용자가 팔 굽혀 펴기를 수행하는 동안 몇 칼로리를 소모했는지)에 관한 정확한 설명을 할 수 있을 것이다.
PAMD(200)는 기계 학습을 통해 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있는 기간을 인식하도록 훈련될 수 있다. 이러한 세그먼트화 프로세스는 전처리(preprocessing), 특징 계산(feature computation), 분류(classification) 및 집계(aggregation)의 하위 프로세스(sub-process)들로 추가로 나누어질 수 있다.
도 3은 사용자가 신체 활동에 적극적으로 참여하고 있는 기간을 결정하기 위해 제어기(220)에 의해 사용될 수 있는 예시적인 방법(300)을 나타낸 것이다. 302에서, 방법(300)은 센서 어레이[예컨대, 센서 어레이(210)]로부터 신호 정보를 수신하는 단계를 포함한다. 이러한 신호 정보는, 예를 들어, 제어기(220)에 의해 수신될 수 있다. 신호 정보는 사용자의 신체 활동 속성들을 나타낸다. 어떤 예들에서, 이 신호 정보는 가속도계(214) 또는 자이로스코프(216)로부터의 원시 데이터(raw data)를 포함할 수 있다. 가속도계(214) 또는 자이로스코프(216) 각각은 3 개의 원시 신호(raw signal)를 출력하여, 총 6 개의 원시 입력 신호를 제공할 수 있다. 이 원시 입력 신호들은 이어서 저역 통과 필터를 통과할 수 있고, 이 저역 통과 필터의 출력은 그러면 6 개의 평활화된 신호(smoothed signal)일 수 있다.
304에서, 방법(300)은 사용자가 신체 활동에 적극적으로 참여하고 있는 시간 구간들을 결정하는 단계를 포함할 수 있다. 예를 들어, 제어기(220)는 302에서 수신되는 신호 정보를 시간 구간들을 결정하기 위한 기초로서 사용할 수 있다. 도 3에 도시된 바와 같이, 시간 구간을 결정하는 프로세스는 복수의 하위 프로세스들을 포함할 수 있다. 이러한 하위 프로세스들의 비제한적인 예는 이하에서 제공된다. 그렇지만, 본 개시 내용의 범주를 벗어남이 없이, 적극적인 참여의 시간 구간이 임의의 적당한 방식으로 결정될 수 있다는 것을 잘 알 것이다.
306에서, 방법(300)은 신호 정보를 중첩 세그먼트(overlapping segment)들로 분할하는 단계를 포함할 수 있다. 하나의 예에서, 데이터가 5 초의 길이를 갖는 윈도우(window)들로 분할될 수 있다. 각각의 윈도우는 이전 윈도우로부터 200 ms만큼 전진될 수 있고, 따라서 각각의 5 초 윈도우는 이전 윈도우 및 후속 윈도우와 4.8 초의 데이터를 공유한다.
308에서, 방법(300)은 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성들(예컨대, 센서 어레이의 가속도계에 의해 측정되는 가속도 정보의 가속도 특성)을 식별하는 단계를 포함할 수 있다. 어떤 예들에서, 제어기(220)는 각각의 5 초 윈도우의 평활화된 데이터(smoothed data)를 200 개의 신호 특성들(이 신호 특성들은 이어서 신체 활동 또는 운동을 특징지우는 데 사용됨)로 변환할 수 있지만, 더 적거나 더 많은 수의 신호 특성들이 있을 수 있다. 하나의 예에서, 6 개의 평활화된 신호가 10 개의 출력 신호로 변환될 수 있다. 10 개의 출력 신호는, 이 예에서, x 축, y 축 및 z 축에서의 평활화된 가속도계 데이터, x 축, y 축 및 z 축에서의 평활화된 자이로스코프 데이터, 각각의 샘플에서의 가속도계 신호의 크기, 각각의 샘플에서의 자이로스코프 신호의 크기, 3 차원 가속도계 신호의 그 신호의 제1 주 성분(first principal component) 상으로의 투영, y 축 및 z 축에서의 가속도계 신호의 그 자신의 주 성분 상으로의 투영, 및 3 차원 자이로스코프 신호의 그 신호의 제1 주 성분 상으로의 투영을 포함할 수 있다.
출력 신호는 PAMD의 특성들에 기초하여 선택될 수 있다. 신호 정보가 3 차원의 신호들을 포함하는 일부 실시예들에서, 3 개의 차원 중 2 개의 차원에서의 신호가 1 차원의 신호로 차원 감소될 수 있다. 예를 들어, PAMD가 사용자의 신체에 부착되는 디바이스로서 구성되어 있거나 그렇지 않고 사용자의 신체에 고정되도록 구성되어 있는 경우, x 축, y 축 및 z 축에서의 평활화된 데이터가 이들 3 개의 축에서의 사용자의 움직임을 정확히 반영하는 것으로 간주될 수 있다. 그렇지만, PAMD가, 예를 들어, 웨어러블 암 밴드로서 구성되어 있는 경우, PAMD는 사용자의 팔 또는 손목을 중심으로 한 우발적인 회전을 겪을 수 있다. 이 예에서, (예컨대, 사용자의 팔을 따른) x 축에서의 데이터는 x 축에서의 사용자의 움직임을 정확하게 반영하는 것으로 간주될 수 있지만, y 축 및 z 축에서의 데이터는, PAMD의 위치에 따라, 복수의 축들에서의 움직임을 나타낼 수 있을 것이다. 이 예에서, y 축 및 z 축에서의 가속도계 신호들의 그 자신의 주 성분 상으로의 투영이 출력 신호로서 선택될 수 있다. y 축 및 z 축에서의 신호의 차원을 감소시키는 것에 의해, 사용자의 팔을 중심으로 한 PAMD의 회전이 미지의 축들을 보다 예측 가능한 신호로 압축하여 고려될 수 있다.
이들 출력 신호 각각에 대해, 제어기(220)는 이어서 각각의 출력 신호에 대한 20 개의 신호 특성을 계산할 수 있다. 제어기(220)는 또한 더 많거나 더 적은 수의 신호 특성을 계산할 수 있다. 어떤 예들에서, 신호 특성은 자기 상관 피크(autocorrelation peak)들의 개수, 음의 자기 상관 피크(negative autocorrelation peak)들의 개수, 최대 자기 상관 값, 최대 자기 상관 값의 로그(log), 제곱 평균 제곱근(root-mean-square) 진폭, 평균, 표준 편차, 분산, 및 누적된 제곱 평균 제곱근 진폭(integrated root-mean-square amplitude)을 포함할 수 있다. 신호 특성은 또한 강한 피크(strong peak)들의 개수를 포함할 수 있고, 여기서 강한 피크는 그의 이웃 피크들보다 임계치만큼 더 크고 그의 이웃 피크들로부터 임계치 지연(threshold lag) 초과만큼 떨어져 있는 자기 상관 피크들의 개수로서 정의될 수 있다. 신호 특성은 또한 약한 피크(weak peak)들의 개수를 포함할 수 있고, 여기서 약한 피크는 그의 이웃 피크들의 임계치 높이(threshold height) 내에 있고 그의 이웃 피크들로부터 임계치 지연 미만만큼 떨어져 있는 자기 상관 피크들의 개수로서 정의될 수 있다. 신호 특성은 영 교차(zero-crossing) 이후의 첫 번째 자기 상관 피크의 값, 국소 비선형성(local non-linearity) 또는 최적선(best-fit line)이 데이터를 얼마나 잘 설명하는지의 다른 척도, 및 전력 대역(power band)들의 집합 - 여기서 크기는 센서 어레이에 의해 획득될 수 있는 주파수들의 범위에 걸쳐 확산되어 있는 각각의 선택된 대역에서의 전력 스펙트럼(power spectrum)으로부터 계산됨 - 을 추가로 포함할 수 있다. 이 예에서, 7 개의 전력 대역이 계산될 수 있지만, 더 많거나 더 적은 수의 전력 대역(예를 들어, 10 개의 전력 대역)이 있을 수 있다.
각각의 신호에 대해 부가의 신호 특성들이 계산될 수 있다. 각각의 5 초 윈도우에 대해, 신호 특성은 신호의 자기 상관의 표시, 환언하면, 데이터가 얼마나 반복적(repetitive)인지 또는 자기 유사성이 있는지(self-similar)의 표시를 제공할 수 있다. 사용자가 운동을 하고 있는 기간으로부터의 신호는 사용자가 운동을 하고 있지 않은 기간으로부터의 신호보다 더 반복적일 수 있다. 어떤 예들에서, 사용자가 빠른 동작에 참여하고 있는 기간으로부터의 신호는 비운동보다 운동에 대응할 가능성이 더 높을 수 있다.
310에서, 방법(300)은 지도형 분류자를 사용하여 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성들을 분석하는 단계를 포함할 수 있다. 도 2에 도시된 바와 같이, 제어기(220)는 지도형 분류자(230a)를 포함할 수 있다. 지도형 분류자(230a)는 사용자가 중첩 세그먼트 동안 신체 활동에 적극적으로 참여하고 있는지를 인식하도록 훈련될 수 있다. 일반적으로, 지도형 분류자(230a) 및/또는 제어기(220)의 다른 측면들이 기계 학습 프로세스를 통해 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있다는 것을 나타내는 신호 특성을 인식하도록 그리고 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있지 않다는 것을 나타내는 신호 특성을 추가로 인식하도록 훈련될 수 있다.
하나의 예에서, 지도형 분류자(230a)는 서포트 벡터 머신(support vector machine)(SVM)(예를 들어, 선형 서포트 벡터 머신)을 이용한다. 어떤 예들에서, 지도형 분류자(230a)는 기계 학습 결정 트리(machine-learning decision tree)를 이용한다. 지도형 분류자(230a)가 SVM을 이용하는 어떤 예들에서, SVM은 숫자들의 벡터를 발생시키도록 구성될 수 있고, 복수의 곱셈 곱(multiplication product)들을 획득하기 위해 미리 결정된 신호 특성을 숫자들의 벡터와 곱하도록 추가로 구성될 수 있다. SVM은 곱셈 곱들을 앞서 기술된 바와 같이 기계 학습을 통해 결정된 임계치 또는 임계치들과 비교하도록 추가로 구성될 수 있다. SVM은 이어서 임계치 초과의 값을 사용자가 신체 활동에 적극적으로 참여하고 있는 중첩 세그먼트를 나타내는 것으로 분류하고 임계치 미만의 값을 사용자가 신체 활동에 적극적으로 참여하고 있지 않은 중첩 세그먼트를 나타내는 것으로 분류하도록 구성될 수 있다.
지도형 분류자(230a)가 SVM을 포함하는 어떤 예들에서, 미리 결정된 신호 특성들을 분석하는 것은 사용자들이 신체 활동 또는 운동에 적극적으로 참여하고 있는 시간 구간들 및 사용자들이 신체 활동 또는 운동에 적극적으로 참여하고 있지 않은 시간 구간들 동안 복수의 사용자들로부터 수집된 데이터로 서포트 벡터 머신을 훈련시키는 것을 포함할 수 있다. 미리 결정된 신호 특성들을 분석하는 것은 변환 벡터들의 집합, 가중치 벡터, 및 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있다는 것을 나타내는 임계치를 발생시키는 것, 그리고 이어서 미리 결정된 신호 특성들을 변환 벡터들의 집합 및 가중치 벡터와 곱하여 복수의 곱셈 곱들을 획득하는 것을 추가로 포함할 수 있다. 미리 결정된 신호 특성들을 분석하는 것은 곱셈 곱들을 임계치와 비교하는 것, 임계치 초과의 값을 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있는 중첩 세그먼트를 나타내는 것으로 분류하는 것, 및 임계치 미만의 값을 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있지 않은 중첩 세그먼트를 나타내는 것으로 분류하는 것을 추가로 포함할 수 있다.
지도형 분류자(230a)가 각각의 중첩 세그먼트를 분류했을 때, PAMD(200)는 각각의 5 초 윈도우 동안 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있는지에 관한 단일의 최상의 추측을 작성할 수 있다.
도 2에 도시된 바와 같이, PAMD(200)는 사용자가 신체 활동에 적극적으로 참여하고 있을 가능성이 있는 복수의 분류된 중첩 세그먼트들에 의해 정의되는 시간 구간을 결정하도록 구성된 집계기(240)를 추가로 포함할 수 있다. 환언하면, 집계기(240)는 지도형 분류자(230a)의 정확도를 향상시킬 수 있거나, 운동 또는 비운동을 나타내는 보다 긴 시간 구간을 결정하기 위해 중첩 세그먼트들의 그룹들을 분석할 수 있다.
지도형 분류자(230a)에 의해 행해진 예측들이 때때로 왔다갔다할 수 있다. 하나의 예에서, 사용자는 어떤 기간 동안 여전히 서 있을 수 있고, 일부 중첩 세그먼트들은 사용자가 신체 활동 또는 운동에 참여하고 있다는 것을 나타내는 것으로 분류될 수 있다. 반대도 역시 일어날 수 있다 - 사용자는 어떤 기간 동안 운동하고 있을 수 있고, 그 기간 내의 일부 중첩 세그먼트들은 비운동을 나타내는 것으로 분류될 수 있다 -. 어떤 예들에서, 사용자는 운동의 중간에 호흡을 가다듬기 위해 잠시 멈출 수 있지만; 잠시 멈춤의 양측에 있는 중첩 세그먼트들이 실제로는 동일한 신체 활동 또는 운동을 나타낸다. 사용자가 반복적 활동의 중간에서 호흡을 가다듬기 위해 잠시 멈추는 일례에서, 잠시 멈춤의 양측에서의 반복들이 동일한 총 반복 횟수에 가산되어야 한다. 이러한 방식으로, 집계기(240)는 사용자가 신체 활동 또는 운동에 참여하고 있는 사용 가능한 시간 구간들을 출력하도록 분류자의 출력을 정정할 수 있다.
지도형 분류자(230a)의 출력을 정정하는 집계기(240)의 일례가 도 4에 도시되어 있다. 도 4는 운동 요법의 일부일 수 있는 신체 활동의 세그먼트의 일례를 나타낸 것이다. 그래프(401)는 약 1 분에 걸쳐 있는 시간 구간에 대한 지도형 분류자(230a)의 출력을 나타낸다. 각각의 플롯 점(plot point)(405)은 하나의 중첩 세그먼트를 나타낸다. 각각의 중첩 세그먼트는 1("운동"으로 분류됨) 또는 0("비운동"으로 분류됨)의 값을 부여받을 수 있다. 그래프(402)는 사용자의 실제 활동을 나타낸다. 410에 도시된 바와 같이, 사용자는 20 초의 기간 동안 윗몸 일으키기를 수행하였다. 그렇지만, 415에 도시된 바와 같이, 어떤 중첩 세그먼트들은 처음에, 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있지 않았을 때에도, "운동"으로서 분류될 수 있다. 이와 유사하게, 420에 도시된 바와 같이, 어떤 중첩 세그먼트들은, 사용자가 신체 활동 또는 운동에 적극적으로 참여하고 있을 때에도, "비운동"으로서 분류될 수 있다. 그래프(403)에 도시된 바와 같이, 집계기(240)는 사용자가 신체 활동 또는 운동에 참여하고 있는 사용 가능한 시간 구간들[시간 구간(430) 등]을 출력하도록 분류자의 출력을 정정할 수 있다.
집계기(240)는, 중첩 세그먼트들의 분류를 분석하고 사용자가 신체 활동 또는 운동에 참여할 가능성이 있는 시간 구간을 출력하기 위해, 하나 이상의 방법들을 이용할 수 있다. 하나의 예에서, 집계기(240)는 스트리크 기반 집계(streak-based aggregation)의 프로세스를 사용한다. 이 예에서, 집계기(240)는 비운동 상태를 가정하는 것으로 시작하고, 중첩 세그먼트들을 순차적으로 계속하여 분석한다. 미리 결정된 수(k1)의 중첩 세그먼트들이 "운동"으로서 분류되는 경우, 집계기(240)는, k1 개의 중첩 세그먼트들의 첫 번째 것부터 시작하여, 운동 상태를 가정하는 것으로 전환할 수 있다. 하나의 예에서, k1은 15 개의 중첩 세그먼트들로 설정될 수 있다. 환언하면, 15 개의 연속적인 중첩 세그먼트들이 "운동"으로서 분류되는 경우, 집계기(240)는 운동 상태를 가정하는 것으로 전환한다. 집계기(240)가 운동 상태를 가정하는 것으로부터 비운동 상태를 가정하는 것으로 전환해야 한다는 것을 나타내기 위해, k1과 같을 수 있거나 그렇지 않을 수 있는 다른 미리 결정된 수(k2)가 이용될 수 있다.
어떤 예들에서, 집계기(240)는 퍼센트 기반 집계(percent-based aggregation)의 프로세스를 사용한다. 이 예에서, 집계기(240)는 비운동 상태를 가정하는 것으로 시작하고, 중첩 세그먼트들을 순차적으로 분석한다. 미리 결정된 퍼센트(p1%)의 중첩 세그먼트가 미리 결정된 시간 구간(t)에 걸쳐 "운동"으로서 분류되는 경우, 집계기(240)는 "운동"으로서 분류된 중첩 세그먼트들의 첫 번째 것부터 시작하여, 운동 상태를 가정하는 것으로 전환할 수 있다. 예를 들어, p1은 75일 수 있고 t는 10일 수 있으며, 따라서 10 초에 걸쳐 중첩 세그먼트들의 75%가 "운동"으로서 분류될 때, 집계기(240)는 "운동"으로서 분류된 중첩 세그먼트들의 첫 번째 것부터 시작하여, 운동 상태를 가정하는 것으로 전환할 수 있다. 집계기(240)가 운동 상태를 가정하는 것으로부터 비운동 상태를 가정하는 것으로 전환해야 한다는 것을 나타내기 위해, p1%와 같을 수 있거나 그렇지 않을 수 있는 다른 미리 결정된 퍼센트(p2%)가 이용될 수 있다.
어떤 예들에서, 집계기(240)는 누산기 기반 집계(accumulator-based aggregation)의 프로세스를 사용한다. 이 예에서, 집계기(240)는 비운동 상태를 가정하는 것으로 시작하고, 중첩 세그먼트들을 순차적으로 분석한다. "운동"으로서 분류되는 각각의 중첩 세그먼트는 소계에 점수(point)를 추가한다. 소계가 미리 결정된 임계값(a1)을 초과할 때, 집계기(240)는 운동 상태를 가정하는 것으로 전환한다. 집계기(240)가 운동 상태를 가정하는 것으로부터 비운동 상태를 가정하는 것으로 전환해야 한다는 것을 나타내기 위해, (a1)과 같을 수 있거나 그렇지 않을 수 있는 다른 미리 결정된 임계치(a2)가 이용될 수 있다.
집계기(240)는, 지도형 분류자(230a)로부터의 데이터를 분석하고 사용자가 신체 활동 또는 운동에 참여하고 있는 시간 구간들을 출력하기 위해, 이 프로세스들 또는 다른 유사한 프로세스들 또는 다수의 프로세스들의 조합 중 하나를 사용할 수 있다. 예를 들어, 집계기(240)는 신체 활동 또는 운동의 시작 지점을 결정하기 위해 스트리크 기반 집계의 프로세스를 사용할 수 있고, 이어서 사용자가 신체 활동 또는 운동을 수행하는 것을 중단했는지를 판정하는 데 누산기 기반 집계의 프로세스를 추가로 사용할 수 있다. 일부 실시예들에서, 집계기(240)는 다수의 집계기들(예를 들어, 스트리크 기반 집계기 및 누산기 기반 집계기)을 동시에 실행하고, 다수의 집계기들 중 임의의 것이 신체 활동 또는 운동이 시작되거나 끝난다는 것을 나타낼 때, 신체 활동 또는 운동의 시작 또는 끝을 식별할 수 있다.
어떤 예들에서, 센서 어레이로부터의 초기 데이터가, 집계기(240)의 출력을 기계 학습 알고리즘들에의 입력으로서 추가로 사용하여, 지도형 분류자(230a)에 의해 앞서 기술된 바와 같이 재분석될 수 있다. 미리 결정된 상수들이 공유되거나 상이한 운동들 또는 상이한 유형의 운동들에 대해 일의적으로 할당될 수 있다(예를 들어, 팔 굽혀 펴기와 같은 반복적 운동은 조깅과 같은 비반복적 운동과 상이한 상수들을 사용할 수 있다).
제어기(220)는 또한, 신체 활동 속성들에 기초하여, 미리 결정된 시간 구간들 동안 사용자가 적극적으로 참여하고 있는 신체 활동의 유형을 자동으로 판정하도록 구성될 수 있다. 환언하면, 제어기(220)는, 사용자가 신체 활동 또는 운동에 참여하고 있는 것으로 판정된 각각의 시간 구간에서, 사용자가 어느 운동에 적극적으로 참여하고 있는지를 판정할 수 있다. 이 프로세스는 본 명세서에서 인식이라고 지칭될 수 있다. 인식 프로세스는 선택적으로 집계 프로세스를 따를 수 있고 그리고/또는 어떤 인식은 세그먼트화 및/또는 집계와 병렬로 수행될 수 있다. 일부 실시예들에서, 제어기(220)는, 결정된 시간 구간들에 대응하는 신체 활동 속성들에만 기초하여, 결정된 시간 구간들 동안 사용자가 적극적으로 참여하고 있는 신체 활동의 유형을 자동으로 판정하도록 구성될 수 있다. 환언하면, 운동 기간인 것으로 결정된 기간들 동안 센서 어레이(210)로부터 수신되는 신체 활동 속성들만이 신체 활동의 유형을 판정하는 데 사용된다.
운동의 유형의 인식은 운동 반복을 계수하는 것, 운동의 효율 또는 일률(power)을 계산하는 것, 운동 과정에 걸친 사용자의 칼로리 소모(caloric expenditure)를 측정하는 것 등을 비롯한 후속 응용(downstream application)들에서 사용될 수 있다. PAMD(200)는 또한 사용자의 신체 활동 속성들을 분석하고 사용자의 운동 경험을 향상시킬 수 있는 사용자의 자세(form) 또는 다른 정보에 관한 피드백을 사용자에게 추가로 제공하도록 구성될 수 있다. 제어기(220)는 기계 학습 프로세스를 통해 사용자의 신체 활동 속성들에 기초하여 신체 활동들의 유형들을 인식하도록 훈련될 수 있다. 어떤 예들에서, PAMD(200)는 사용자에 의해 수행될 특정의 활동을 표시할 수 있다. 이들 예에서, 인식 프로세스가 무시되고, 세그먼트화 프로세스와 결합되며, 그리고/또는 세그먼트화 프로세스에 의해 보강될 수 있다.
도 5는 신체 활동 또는 운동의 유형을 인식하는 하나의 예시적인 방법(500)을 나타낸 것이다. 502에서, 방법(500)은 센서 어레이[예컨대, 센서 어레이(210)]로부터 신호 정보를 수신하는 단계를 포함할 수 있다. 이러한 신호 정보는, 예를 들어, 제어기(220)에 의해 수신될 수 있다. 신호 정보는 가속도계(214) 또는 자이로스코프(216)로부터의 원시 데이터를 포함할 수 있다. 원시 데이터는, 평활화된 가속도계 및 자이로스코프 데이터를 산출하기 위해, 저역 통과 필터에 의해 추가로 처리될 수 있다. 신호 정보는 또한 가속도계 신호의 그 신호의 제1 주 성분 상으로의 투영을 포함할 수 있다. 신호 정보는 또한 자이로스코프 신호의 그 신호의 제1 주 성분 상으로의 투영을 포함할 수 있다.
504에서, 방법(500)은 집계기[예컨대, 집계기(240)]로부터 시간 구간들의 집합을 수신하는 단계를 포함할 수 있다. 이러한 시간 구간들의 집합은 제어기(220)에 의해 수신될 수 있고, 사용자가 신체 활동 또는 운동에 참여하고 있는 시간 구간들을 나타낼 수 있다. 506에서, 방법(500)은 시간 구간들의 집합 동안 사용자가 적극적으로 참여하고 있는 신체 활동의 유형을 판정하는 단계(예컨대, 인식)를 포함할 수 있다. 환언하면, 집계기(240)가 사용자가 신체 활동 또는 운동에 참여하고 있다는 것을 표시할 때, 인식 프로세스가 적용될 수 있다.
인식 프로세스는 복수의 하위 프로세스들을 포함할 수 있다. 이러한 하위 프로세스들의 비제한적인 예는 이하에서 제공된다. 그렇지만, 본 개시 내용의 범주를 벗어남이 없이, 인식이 임의의 적당한 방식으로 수행될 수 있다는 것을 잘 알 것이다.
508에서, 방법(500)은 신호 정보를 중첩 세그먼트들로 분할하는 단계를 포함할 수 있다. 하나의 예에서, 데이터가 5 초의 길이를 갖는 윈도우들로 분할될 수 있다. 각각의 윈도우는 이전 윈도우로부터 200 ms만큼 전진될 수 있고, 따라서 각각의 5 초 윈도우는 이전 윈도우 및 후속 윈도우와 4.8 초의 데이터를 공유한다.
510에서, 방법(500)은 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성들을 식별하는 단계를 포함할 수 있다. 하나의 예에서, 각각의 5 초 윈도우의 평활화된 데이터는 복수의 신호 특성들 - 이 신호 특성들은 이어서 신체 활동 또는 운동을 특징지우는 데 사용됨 - 로 변환될 수 있다. 하나의 비제한적인 예로서, 60 개의 신호 특성들이 사용될 수 있다. 예를 들어, 제어기(220)는 각각의 중첩 세그먼트의 3 개의 축 각각에 대해 20 개의 신호 특성들을 계산할 수 있다. 이 예에서, 신호 특성은 5 개의 균일한 간격으로 있는 자기 상관 빈(autocorrelation bin), 제곱 평균 제곱근 진폭, 균일한 간격으로 있는 전력 대역, 평균, 표준 편차, 첨도(kurtosis), 및 사분위수 범위(interquartile range)를 포함한다. 3 개의 축 각각에 대해 다른 신호 특성들이 또한 계산될 수 있다.
512에서, 방법(500)은 지도형 분류자[예컨대, 지도형 분류자(230b)]를 사용하여 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성들을 분석하는 단계를 포함할 수 있다. 지도형 분류자(230b)는 중첩 세그먼트 동안 사용자가 적극적으로 참여하고 있는 신체 활동의 유형을 인식하도록 훈련될 수 있다. 지도형 분류자(230b)는 기계 학습 프로세스를 통해 신체 활동 또는 운동의 특정의 유형을 나타내는 신호 특성들을 인식하도록 훈련될 수 있다.
어떤 예들에서, 지도형 분류자(230b)는, 지도형 분류자(230a)를 참조하여 앞서 기술된 바와 같이, 서포트 벡터 머신(SVM) 및/또는 결정 트리를 이용할 수 있다. 예를 들어, 미리 결정된 신호 특성들을 분석하는 것은 사용자들이 복수의 유형의 신체 활동 또는 운동에 참여하고 있던 시간 구간들 동안 복수의 사용자들로부터 수집된 데이터로 서포트 벡터 머신을 훈련시키는 것 및 사용자가 한 유형의 신체 활동 또는 운동에 참여하고 있다는 것을 나타내는 변환 벡터들의 집합 및 가중치 벡터를 발생시키는 것을 포함할 수 있다. 미리 결정된 신호 특성들을 분석하는 것은 미리 결정된 신호 특성들을 변환 벡터들의 집합 및 가중치 벡터와 곱하여 복수의 곱셈 곱들을 획득하는 것, 곱셈 곱들을 복수의 미리 결정된 활동들 각각을 나타내는 데이터 집합들과 비교하는 것 - 이 경우, 데이터 집합들은 기계 학습을 통해 미리 결정되었음 -, 및 중첩 세그먼트들을 한 유형의 신체 활동을 나타내는 것으로 분류하는 것을 추가로 포함할 수 있다.
도 2에 도시된 바와 같이, PAMD(200)는 투표 머신(270)을 추가로 포함할 수 있다. 투표 머신(270)은 집계기(240)가 사용자가 신체 활동에 참여하고 있는 것으로 판정한 시간 구간 동안 사용자가 적극적으로 참여하고 있을 가능성이 있는 신체 활동의 유형을 판정하도록 구성될 수 있다.
세그먼트화와 관련하여 앞서 논의된 바와 같이, 복수의 중첩 세그먼트들을 포함하는 주어진 시간 구간에 대해, 지도형 분류자는 어느 신체 활동 또는 운동이 사용자에 의해 수행되고 있는지에 관해 일치하지 않는 몇 개의 예측들을 출력할 수 있다. 사용자가 어느 신체 활동 또는 운동에 참여하고 있을 가능성이 가장 많은지를 판정하기 위해, 투표 머신(270)에 의해 투표 방식이 구현될 수 있다. 투표 머신(270)은 주어진 시간 구간에 대한 신체 활동 또는 운동을 출력할 수 있고 - 이 신체 활동 또는 운동은 사용자에게 보고될 수 있음 -, 반복적 운동의 경우에, 어느 신체 활동 또는 운동을 계수하기 위해 사용할지를 출력할 수 있다.
하나의 예에서, 투표 머신(270)은 집계기(240)가 사용자가 신체 활동에 참여하고 있는 것으로 판정한 시간 구간의 처음에서 2 초 후에 시작하는 단일의 윈도우로부터의 출력을 보고한다. 운동 기간의 시작에서의 사용자의 신체 활동 속성들은, 사용자가 여전히 적절한 자세(form)를 취하는 중일 수 있기 때문에, 신뢰할 수 없을 것이다. 이와 유사하게, 운동 기간의 끝에서의 사용자의 신체 활동 속성들도, 사용자가 속도를 줄이고 있거나 적절한 자세로부터 벗어나는 중일 수 있기 때문에, 신뢰할 수 없을 것이다. 어떤 예들에서, 투표 머신(270)은 앞서 기술된 집계 프로세스와 유사한 실제 투표 방식(true voting scheme)을 사용할 수 있다. 어떤 예들에서, 투표 머신(270)은, 사용자가 초기에 보고된 것과 상이한 신체 활동 또는 운동에 참여하고 있다는 강력한 증거가 제시되는 경우, 운동 기간 동안 그의 출력을 변경할 수 있다.
인식 투표 스테이지의 끝에서, 집계기(240)가 사용자가 신체 활동에 참여하고 있는 것으로 판정한 각각의 시간 구간이 신체 활동 또는 운동의 유형을 나타내는 것으로 분류될 수 있다. 이 정보는 신체 활동의 유형에 관한 정보를 출력하기 위해 보고기(260)로 전달될 수 있다.
PAMD(200)는 사용자가 반복적 신체 활동 또는 운동을 수행하는 반복 횟수를 결정하도록 추가로 구성될 수 있다. 환언하면, PAMD(200)는 사용자에 의해 수행되는 운동의 반복 횟수를 계수할 수 있다. 이것은 운동 요법을 완료한 후에 사용자가 검토하기 위한 활동들의 자동 추적을 가능하게 할 수 있다. 이것은 또한 실시간 목표 평가를 가능하게 할 수 있고, 여기서 PAMD(200)는 목표 반복 횟수의 완료를 표시할 수 있다. 계수는 차원 감소(dimensionality reduction) 및 피크 발견(peak-finding)을 비롯한 방법을 통해 구현될 수 있다.
하나의 예에서, 계수 프로세스(counting process)는 세그먼트화 및 인식이 제어기(220)에 의해 이미 수행된 것으로 가정할 수 있다. 계수 프로세스는 신체 활동 또는 운동의 시작 시각 및 종료 시각 둘 다가 결정된 것으로 가정할 수 있다. 프로세스는 또한 입력이 시작 시각과 종료 시각 사이의 원시 가속도계 센서 데이터 및 시간 구간의 분류를 포함하는 것으로 가정할 수 있다. 계수 데이터(counting data)의 정확도를 향상시키기 위해 자이로스코프 센서 데이터가 선택적으로 사용될 수 있는 신체 활동 또는 운동의 유형이 있을 수 있다. 어떤 예들에서, 사용자가 반복적 신체 활동 또는 운동의 반복을 적극적으로 수행하고 있는 동안 계수 프로세스가 행해질 수 있다. 하나의 예에서, 본 명세서에 기술된 방법들이 계속하여 더 큰 시간 구간들에 대해 반복적으로 이용될 수 있다. 어떤 예들에서, 계수 반복 횟수를 감소시키기 위해 중간 계수 결과들이 사용될 수 있다.
도 6은 반복적 신체 활동 또는 운동의 반복을 계수하는 예시적인 방법(600)을 나타낸 것이다. 602에서, 방법(600)은 센서 어레이[예컨대, 센서 어레이(210)]로부터 신호를 수신하는 단계를 포함할 수 있다. 이러한 신호 정보는, 예를 들어, 제어기(220)에 의해 수신될 수 있다. 604에서, 방법(600)은 신호를 센서 어레이로부터 수신되는 신호보다 적어도 하나 더 적은 수의 차원들을 가지는 차원 감소된 신호로 변환시키는 단계를 포함할 수 있다. 606에서, 방법(600)은 차원 감소된 신호(dimensionally reduced signal)의 피크들의 개수를 계수하는 단계를 포함할 수 있다. 608에서, 방법(600)은 피크들의 개수를 출력하는 단계를 포함할 수 있다.
하나의 예에서, 계수 방법는 2 개의 스테이지로 분할될 수 있다. 제1 스테이지에서, 원시 센서 데이터가 센서 어레이(210)로부터 제어기(220)에 의해 수신되고 처리되어 매끄러운 1 차원 신호로 된다. 처리는 1 차원 신호가 신체 활동 또는 운동의 반복 횟수와 거의 동일한 수의 피크들 또는 사이클들을 포함하도록 되어 있을 수 있다. 제2 스테이지는 1 차원 신호의 피크들의 개수를 계수하는 단계를 포함한다. 이 피크 개수(peak count)가 반복 횟수(repetition count)로서 출력될 수 있다.
원시 센서 데이터를 처리하여 매끄러운 1 차원 신호로 만드는 것이 본 명세서에서 신호 계산 스테이지(signal computation stage)라고 지칭될 수 있다. 신호 계산 스테이지는 원시 데이터에 대역 통과 필터를 적용하는 것을 포함할 수 있다. 대역 통과 필터는 고주파 센서 잡음은 물론, 신호에서의 저주파 변화(예를 들어, 일정한 중력 가속도로 인한 변화 등)를 제거하는 데 사용될 수 있다. 대역 통과 필터는 반복을 계수하는 것에 관련된 주파수 성분(frequency content)을 출력할 수 있다.
신호 계산 스테이지는 데이터에서 평균을 차감하는 것을 추가로 포함할 수 있다. 이것은 대역 통과 필터링 후에 남아 있는 신호에서 임의의 남아 있는 일정한 바이어스(bias)를 제거할 수 있다.
신호 계산 스테이지는 PCA(principal component analysis)를 필터링된 데이터에 적용하는 것을 추가로 포함할 수 있다. 본 명세서에서 PCA의 구현은 앞서 기술된 세그먼트화에 대한 PCA의 적용과 유사하지만, 계수 프로세스의 경우는, 고정 크기의 중첩 세그먼트와 달리, 신체 활동 또는 운동의 전체 지속기간에 대해 PCA가 계산된다. 매끄러운 1 차원 신호는 필터링된 데이터가 PCA에 의해 발견된 제1 주 성분 상으로 투영된 결과일 수 있다.
PAMD(200)가 (도 1에 도시된 바와 같이) 사용자의 손목에 착용된 디바이스인 일례에서, PCA의 사용은, 대부분의 운동에서, 사용자의 팔 동작(arm motion)의 대부분이 단일의 축을 따른 동작에 의해 요약될 수 있다는 사실을 이용할 수 있다. 예를 들어, 어깨 운동(shoulder press)의 경우, 축은 수직축 또는 상하축(up-and-down axis)일 것이다. 신호 데이터를 이러한 축 상으로 투영하는 것에 의해, 가속도계(214)로부터 수신되는 신호의 차원이 3 차원으로부터 1 차원으로 감소된다. PCA 투영은 이제 신호 피크가 반복에 대체로 대응하도록 되어 있을 수 있다.
이 예의 계수 방법은 그 다음에 계수 스테이지(counting stage)로 진행할 수 있다. 어떤 예들에서, 각각의 반복은 단일의 강한 피크에 대응할 것이고, 이 경우 피크들 각각은 유사한 형상 및 진폭을 가지며, 비교적 일정한 빈도로 발생한다. 이들 예에서, 강한 피크들을 계수하는 것은 임의의 수의 표준 신호 처리 기법들로 달성될 수 있다. 그렇지만, 모든 신호가 이들 파라미터에 적합한 것은 아닐 것이다. 반복마다 다수의 피크들이 있을 수 있고, 형상 또는 진폭에 큰 변동이 있을 수 있으며, 피크들이 일정치 않은 빈도로 일어날 수 있다.
휴리스틱 피크 계수 방법(heuristic peak counting method)이 이와 같이 넓은 범위의 신호 데이터에 걸쳐 계수 정확도(counting accuracy)를 증가시키기 위해 사용될 수 있다. 하나의 예에서, 본 방법은 다수의 스테이지들에서 진행된다. 하나의 예에서, 본 방법은 후보 피크(candidate peak)들의 집합을 결정하는 단계, 국소 기간 추정치(local period estimate)들을 사용하여 후보 피크들의 집합을 필터링하는 단계, 진폭 통계를 사용하여 후보 피크들의 집합을 필터링하는 단계, 후보 피크들의 집합으로부터 피크들의 개수를 계수하는 단계 및 피크들의 개수를 출력하는 단계를 포함한다.
하나의 예에서, 본 방법은 운동의 하나의 반복을 수행하는 데 필요한 최소 및 최대 시간의 추정치들을 이용한다. 이들 값은 본 명세서에서 minAllowedPeriod 및 maxAllowedPeriod라고 지칭될 수 있다. 이들 값은 운동별 데이터로부터 추정될 수 있다. 예를 들어, 팔 벌려 뛰기에 대한 값들이 팔 굽혀 펴기에 대한 값들과 상이한데, 그 이유는 사람들이 팔 굽혀 펴기와 상이한 속도로 팔 벌려 뛰기를 하는 경향이 있기 때문이다.
계수 방법은 후보 피크들의 집합의 계산으로 시작할 수 있다. 최종적인 계수된 피크들의 집합은 이 피크들의 집합의 부분 집합일 것이다. 후보 피크들을 계산하기 위해, 신호에서의 국소 최대치(local maximum)들이 결정될 수 있다. 이들 국소 최대치가 이어서 진폭에 기초하여 정렬될 수 있다. 국소 최대치는, 가장 가까운 이미 채택된 후보 피크로부터 적어도 minAllowedPeriod 초 떨어져 있는 한, 후보 피크로서 채택될 수 있다. 신호에서의 2 개의 피크가 서로 아주 가까운 경우(예컨대, 불과 200 ms 떨어져 있음), 그들 중 하나는 운동의 "실제" 반복이 아닐 수 있다. 이 접근 임계치(closeness threshold)는 사람이 주어진 운동을 수행할 수 있는 가장 빠른 적절한 속도에 기초하여 설정될 수 있다.
최소 간격(minimum separation)을 갖는 피크들을 계수하는 것은 MINPEAKDISTANCE 파라미터가 minAllowedPeriod로 설정된 Matlab findpeaks 함수 또는 다른 동등한 신호 처리 연산과 같은, 표준 신호 처리 연산에 의해 행해질 수 있다. 이 예에서, 이들 후보 피크는 계수 방법의 그 다음 단계에 입력된다.
앞서 논의된 바와 같이, minAllowedPeriod는 기계 학습 프로세스 동안 그 운동의 기록된 가장 빠른 반복에 기초하여 하나의 반복을 수행하는 데 필요한 최소 시간의 추정치이다. 대부분의 경우에, 이는 사용자가 반복마다 소비하는 실제 시간보다 훨씬 더 작다. 그에 따라, 실제 운동 반복마다 다수의 후보 피크들이 있을 수 있다. 이하의 단계에서, 각각의 후보 피크 주위에서의 실제 운동 기간이 추정될 수 있고, 이 추정이 후보 피크들의 집합을 세분화(refine)하는 데 사용될 수 있다.
예를 들어, 각각의 후보 피크에 대해, 피크에 중심을 둔 윈도우에서 자기 상관이 계산될 수 있다. 이 윈도우의 크기는 minAllowedPeriod의 두 배 또는 미리 결정된 지속기간(예컨대, 9 초) 중 작은 쪽으로 설정될 수 있다. 지연 범위(range of lags) [minAllowedPeriod, maxAllowedPeriod] 내에서 가장 큰 자기 상관 값이 이어서 발견될 수 있다. 최대 자기 상관 값이 지연되어 나타날 때의 그 지연은 후보 피크에 대한 운동 기간의 추정치일 수 있다. 이들 추정치를 계산했으면, 후보 피크를 채택할지를 고려할 때, minAllowedPeriod가 후보 피크와 이전에 선택된 피크 사이의 최소 허용 거리로서 사용되지 않을 수 있다는 것을 제외하고는, 앞서 기술된 필터링 프로세스가 반복될 수 있다. 오히려, 최소 허용 거리가 그 후보 피크에 대한 추정된 기간의 3/4 또는 다른 적당한 비로 설정될 수 있다. 이 감소된 후보 피크들의 집합은 계수 방법의 그 다음 단계에의 입력을 형성할 수 있다.
그 다음에, 후보 피크들의 집합이 피크 진폭에 기초하여 필터링될 수 있다. 후보 피크들 모두가 진폭에 기초하여 다시 정렬되고, 40 번째 백분위수 크기의 피크(예컨대, 10 개의 후보 피크가 있는 경우, 네 번째로 큰 피크)가 표시될 수 있다. 이 피크의 진폭의 1/2 미만의 진폭을 가지는 모든 피크들은 무시될 수 있다. 이 방법은, 운동 반복들이 큰 가속도를 갖는 동작을 수반하기 때문에, 운동 반복들이 일반적으로 큰 진폭의 피크들을 가져야 하는 것으로 가정한다. 게다가, 운동 집합(exercise set) 내에서, 반복들 모두가 거의 동일한 진폭을 가져야 하는 것으로 가정될 수 있다. 환언하면, 모든 피크들이 가장 큰 피크들 중 하나와 거의 같은 크기여야 한다.
PCA에 의해 발견된 1 차원 신호의 부호는 임의적이다. 그렇지만, 이 문제는 다수의 방식들로 해결될 수 있다. 특정 운동들에 대해, "위쪽"에 확실하게 대응하는 특정의 가속도계 축이 있을 수 있고, 각각의 반복은 이 "위쪽" 방향에서 하나의 피크를 가진다. 일례로서, 이것은 팔 벌려 뛰기에 대한 경우일 수 있고, 특정의 센서들의 집합에서 'x' 축일 수 있다. 이들 운동에 대해, PCA 투영은 투영에서의 "위쪽" 축의 부호가 양(positive)으로 되어, 피크들이, 이 예에서, 1 차원 신호로 간주될 수 있게 하도록 추가로 조작될 수 있다. 제어기(220)는 피크들의 개수를 반복 횟수로서 지정할 수 있고, 본 방법은 반복 횟수를 출력하는 단계를 추가로 포함할 수 있다.
계수 방법이 두 번 - 피크들을 계수하기 위해 한 번 그리고 밸리들을 계수하기 위해 한 번 - 실행될 수 있다. 하나의 예에서, 본 방법은 후보 밸리(candidate valley)들의 집합을 결정하는 단계, 국소 기간 추정치들을 사용하여 후보 피크들의 집합을 필터링하는 단계, 후보 밸리들의 집합을 필터링하는 단계, 후보 밸리들의 집합으로부터 후보 밸리들의 개수를 계수하는 단계, 밸리들의 개수를 피크들의 개수와 비교하는 단계, 밸리들의 개수와 피크들의 개수 중 큰 쪽을 반복 횟수로서 지정하는 단계 및 반복 횟수를 출력하는 단계를 추가로 포함할 수 있다.
사용자가 반복적 신체 활동 또는 운동에 적극적으로 참여하고 있는 기간 동안 계수 방법이 수행되는 일례에서, PCA 축들이 시간에 따라 변할 수 있고 진폭 기반 제거(amplitude-based rejection)의 기준들도 시간에 따라 달라질 수 있기 때문에, 피크 계수 방법의 출력이 하나의 프레임과 다음 프레임 사이에서 감소되는 것이 가능할 수 있다. 감소하는 반복 횟수로 사용자를 혼란스럽게 하는 것을 방지하기 위해, 본 방법은 횟수가 감소하도록 허용하지 않을 수 있다.
어떤 예들에서, 사용자는 목표 반복 횟수를 달성하기 위해 반복적 신체 활동 또는 운동을 수행하고 있을 수 있다. 이 예에서, 계수 방법은 신체 활동 속성들에 기초하여 사용자가 반복적 운동을 수행하는 것을 중단한 것으로 판정하는 단계, 계수 방법에 의해 측정된 반복 횟수를 목표 반복 횟수와 비교하는 단계, 및 계수 방법에 의해 측정된 반복 횟수가 목표 횟수로부터 임계치(예컨대, 2) 내에 있을 때 사용자가 반복적 운동을 완료했다는 것을 표시하는 단계를 추가로 포함할 수 있다.
게다가, 신체 활동 모니터링 디바이스는 게임 경험을 증강시키는 방법의 일부로서 이용될 수 있다. 이것은 사용자가 게임 콘솔 경험을 하고 그를 현실 세계로 확장할 수 있게 할 것이다. 사용자는 집안에서 게임을 플레이할 수 있고, 게임이 PAMD를 이용하는 집 밖(out of home)(또는 다른 비전통적) 활동 게임 개념을 추가로 포함할 수 있다. 이것은 사용자가 현실 세계에서 게임을 플레이할 수 있게 할 것이고, 이 경우 게임 콘솔의 바로 근처를 벗어난 곳에서의 사용자의 행동들이 궁극적으로 게임 플레이의 측면으로서 사용된다. 예를 들어, 사용자가 결정된 기간 또는 거리를 달리는 동안 사용자에 의해 소모된 칼로리 수에 기초하여, 사용자에 의해 제어되는 아바타 또는 게임 캐릭터가 더 강해질 수 있다.
도 7은 PAMD의 사용으로 게임 경험을 증강시키는 하나의 예시적인 방법(700)을 나타낸 것이다. 702에서, 방법(700)은, PAMD에서, 수행될 하나 이상의 신체 활동들의 표시를 게임 시스템으로부터 수신하는 단계를 포함할 수 있다. 신체 활동들이 게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 수 있다. 예를 들어, 게임은 사용자에게 밖에서 달리라고 지시할 수 있고, 사용자는 길을 따라서 규칙적인 거리 지표들 또는 칼로리 소모 목표들에 있는 보물들을 찾아낼 수 있고, 이는 차례로 집안에서의 게임 플레이에서 사용자의 레벨을 증가시킨다. 어떤 예들에서, 게임은 미리 결정된 횟수의 팔 굽혀 펴기를 하라고 사용자에게 지시할 수 있고, 팔 굽혀 펴기가 수행될 때 게임 플레이에서의 사용자의 게임 점수를 추가로 증가시킬 수 있다.
704에서, 방법(700)은 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성들을 측정하는 단계를 포함할 수 있다. 앞서 기술된 바와 같이, PAMD는 사용자가 신체 활동 또는 운동에 참여하고 있는 때를 자동으로 판정하도록 구성될 수 있고, 사용자가 착수하고 있는 신체 활동 또는 운동의 유형을 자동으로 판정하도록 추가로 구성될 수 있다. 이것은 게임 시스템이 각종의 신체 활동들 또는 운동들을 사용자에게 할당하는 것을 추가로 가능하게 할 수 있다.
706에서, 방법(700)은 신체 활동 속성들에 기초하여 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도를 결정하는 단계를 포함할 수 있다. 앞서 기술된 바와 같이, PAMD는 반복적 신체 활동 또는 운동의 반복을 계수하도록 구성될 수 있고, GPS 및/또는 가속도계로부터의 신호 정보를 통해 사용자가 이동한 거리를 모니터링하도록 추가로 구성될 수 있다. 이것은 PAMD가 사용자 추적 메트릭(user tracking metric)들을 제공하고 완료를 향한 사용자의 진행도를 보여주게 할 수 있을 것이다.
708에서, 방법(700)은 하나 이상의 신체 활동들의 완료를 향한 사용자의 진행도의 표시를 게임 디바이스로 출력하는 단계를 포함할 수 있다. 사용자가 하나 이상의 신체 활동들을 수행하고 있을 때, PAMD는, 예를 들어, 통신 서브시스템(250)을 사용하여, 게임 시스템과 통신할 수 있다. 이것은 게임내 피드백(in-game feedback)이 게임 디바이스로부터 사용자에게 전달될 수 있게 할 것이다. PAMD 및/또는 게임 시스템은 데이터를 개인용 컴퓨터, 휴대폰 또는 다른 디바이스들에 동기시켜, 데이터 통합 및 기록을 가능하게 하도록 추가로 구성될 수 있다.
방법(700)은 하나 이상의 신체 활동들의 완료를 향한 진행도에 의해 영향을 받는 게임의 정보를 사용자에게 알려주는 단계를 추가로 포함할 수 있다. 이것은, 사용자가 게임 시스템과 마주하고 있는 동안뿐만 아니라 게임 시스템의 근처를 벗어나 PAMD를 사용하고 있는 동안에도, 사용자가 게임 피드백을 수신할 수 있게 할 것이다. 하나의 예에서, 이것은 사용자가 그의 게임 점수 또는 게임 플레이의 다른 측면들에 영향을 미치는 성과들을 획득하면서 게임 플레이를 계속할 수 있게 할 것이다.
방법(700)은, 신체 활동 모니터링 디바이스에서, 하나 이상의 신체 활동들을 수행하는 사용자에 대한 하나 이상의 현재 생체 측정 지표(current biometric marker)들을 계산하는 단계 및/또는 하나 이상의 현재 생체 측정 지표들을 사용자에게 알려주는 단계를 추가로 포함할 수 있다. PAMD는 심박수 및 개인화된 심박수 구간들, 이동한 경로들을 보기 위한 GPS 위치 정보, 거리, 걸음 수(steps taken), 운동의 지속기간, 수행된 반복 횟수, 시각(time of day), 사용자가 하나 이상의 신체 활동들을 수행하는 것에 의해 소모된 칼로리의 양, 및 다른 관련된 현재 생체 지표(current biomarker)들에 관한 정보와 함께 신체 단련 추적(fitness tracking)에 대한 관련 피드백을 사용자에게 제공하도록 구성될 수 있다.
본 개시 내용에 따른 PAMD는 운동을 추적하고 신체 단련 메트릭(fitness metric)들을 기록하기 위해 사용자에 의해 사용될 수 있다. 게다가, PAMD는 사용자에게 운동을 지도하고 운동 동안 사용자의 진행도를 모니터링하도록 구성될 수 있다. 환언하면, 신체 활동 모니터링 디바이스는 신체 트레이너(physical trainer)로서 역할할 수 있다.
도 8은 PAMD의 사용자를 훈련시키는 방법(800)을 나타낸 것이다. 802에서, 방법(800)은, PAMD에서, 복수의 운동들을 포함하는 운동 요법을 수신하는 단계를 포함할 수 있다. 하나의 예에서, 사용자는 개인용 컴퓨터, 휴대폰, 또는 게임 콘솔 상에서 실행되는 앱(app)에서 운동을 브라우징하여 선택하고, 그 운동 요법을 [예컨대, 통신 서브시스템(250)을 통해] PAMD로 송신할 수 있다.
804에서, 운동 요법에 포함된 복수의 운동들 각각에 대해, 방법(800)은, 운동을 사용자에게 알려주는 단계를 포함할 수 있다. PAMD는 사용자에게 운동 요법을 단계별로 안내하는 정보를 표시하도록 구성되어 있는 디스플레이 서브시스템(280) 및/또는 오디오 서브시스템을 포함할 수 있다. 예를 들어, 사용자는 PAMD 상에서 운동을 선택하고 운동을 시작하라고 요청할 수 있다. PAMD는 팔 굽혀 펴기를 열 번 하는 것, 2 마일을 달리는 것 등을 하라고 사용자에게 알려줄 수 있다.
806에서, 방법(800)은 앞서 기술된 바와 같이 사용자가 착용한 PAMD를 사용하여 사용자의 신체 활동 속성들을 측정하는 단계를 포함할 수 있다. 808에서, 방법(800)은 신체 활동 속성들에 기초하여 운동의 완료를 향한 사용자의 진행도에 관한 정보를 출력하는 단계를 포함할 수 있다. 예를 들어, 사용자가 팔 굽혀 펴기를 수행하는 동안, PAMD는 활동을 인식하고 운동 요법에서의 그 운동에 대한 완료된 반복 횟수 또는 남아 있는 반복 횟수를 계수할 수 있다. PAMD는 동적으로 반복 횟수를 디스플레이하는 것은 물론, 사용자의 심박수, 소모된 칼로리, 운동하는 데 소비된 시간, 및 사용자에 의해 수행되고 있는 체력 운동 또는 신체 활동 또는 운동에 관련된 다른 메트릭들에 관한 피드백을 디스플레이할 수 있다.
사용자가 PAMD에 의해 표시된 대로 운동을 완료하는 경우, 본 방법은 운동이 완료되었다는 것을 사용자에게 알려주는 단계를 추가로 포함할 수 있다. 예를 들어, 사용자가 운동을 완료하는 경우, 청각적 경보 또는 물리적 진동이 사용자가 신체 활동 또는 운동을 완료했다는 것과 운동 요법에서의 다음 신체 활동 또는 운동으로 계속 진행할 때라는 것을 알려줄 수 있다.
810에서, 방법(800)은 운동 요법이 완료되었는지를 판정하는 단계를 포함할 수 있다. 운동 요법이 끝나지 않은 운동들을 포함하는 경우, 방법(800)은 804로 되돌아갈 수 있고, 804에서, 방법(800)은 다음 운동을 사용자에게 알려주는 단계를 포함할 수 있다. 하나의 예에서, 다음 운동을 사용자에게 알려주기 위해, 디스플레이 서브시스템(280)에 의해 디스플레이되는 정보가 변할 수 있다. 어떤 예들에서, PAMD는 청각적 단서(audible cue)를 사용자에게 제공할 수 있다. 운동 요법이 완료된 경우, PAMD는 종료될 수 있고, 추가로 운동의 종료를 사용자에게 알려줄 수 있다.
일부 실시예들에서, 앞서 기술된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 시스템에 연계될 수 있다. 상세하게는, 이러한 방법들 및 프로세스들은 컴퓨터 애플리케이션 프로그램 또는 서비스, API(application-programming interface), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 2로 돌아가서, 신체 활동 모니터링 디바이스(200)는 제어기(220), 지도형 분류자(230a), 지도형 분류자(230b), 집계기(240), 통신 서브시스템(250), 보고기(260), 투표 머신(270) 및/또는 디스플레이 서브시스템을 인스턴스화하기 위해 협력할 수 있는 논리 머신(215) 및 저장 머신(217)을 포함할 수 있다.
논리 머신(215)은 명령어들을 실행하도록 구성된 하나 이상의 물리 디바이스들을 포함한다. 예를 들어, 논리 머신은 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 객체들, 구성요소들, 데이터 구조들, 또는 다른 논리적 구성(logical construct)들의 일부인 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 작업을 수행하거나, 데이터 형식(data type)을 구현하거나, 하나 이상의 구성요소들의 상태를 변환시키거나, 기술적 효과를 달성하거나, 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
논리 머신(215)은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 그에 부가하여 또는 다른 대안으로서, 논리 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신들을 포함할 수 있다. 논리 머신의 프로세서들은 단일 코어(single-core) 또는 멀티 코어(multi-core)일 수 있고, 그에서 실행되는 명령어들은 순차, 병렬, 및/또는 분산 처리를 하도록 구성될 수 있다. 논리 머신의 개개의 구성요소들은 선택적으로, 원격지에 위치해 있을 수 있는 그리고/또는 협조 처리(coordinated processing)를 하도록 구성될 수 있는, 2 개 이상의 개별 디바이스들 간에 분산되어 있을 수 있다. 논리 머신의 측면들이 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스가능하고 네트워크화된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.
저장 머신(217)은 본 명세서에 기술된 방법들 및 프로세스들을 구현하기 위해 논리 머신에 의해 실행가능한 명령어들을 보유하도록 구성된 하나 이상의 물리 디바이스들을 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 저장 머신(217)의 상태가 - 예컨대, 다른 데이터를 보유하도록 - 변환될 수 있다.
저장 머신(217)은 이동식 및/또는 내장형(built-in) 디바이스를 포함할 수 있다. 저장 머신(217)은, 그 중에서도 특히, 광 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 머신(217)은 휘발성, 비휘발성, 동적, 정적, 판독/기입, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소화(location-addressable), 파일 주소화(file-addressable), 및/또는 내용 주소화(content-addressable) 디바이스들을 포함할 수 있다.
저장 머신(217)이 하나 이상의 물리 디바이스들을 포함한다는 것을 잘 알 것이다. 그렇지만, 본 명세서에 기술된 명령어들의 측면들은, 대안적으로, 물리 디바이스에 의해 보유되지 않는 통신 매체(예컨대, 전자기 신호, 광 신호 등)에 의해 유한한 지속기간 동안 전파될 수 있다.
논리 머신(215) 및 저장 머신(217)의 측면들이 하나 이상의 하드웨어 논리 구성요소들에 하나로 통합될 수 있다. 이러한 하드웨어 논리 구성요소들은, 예를 들어, PASIC/ASIC(program- and application-specific integrated circuit) 또는 SOC(system-on-chip)를 포함할 수 있다.
디스플레이 서브시스템(280)은 저장 머신(217)에 의해 보유된 데이터의 시각적 표현을 제시하는 데 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형태를 취할 수 있다. 본 명세서에 기술된 방법들 및 프로세스들이 저장 머신에 의해 보유된 데이터를 변경하고 따라서 저장 머신의 상태를 변환시키기 때문에, 기본 데이터의 변화를 시각적으로 표현하기 위해 디스플레이 서브시스템(280)의 상태도 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(280)은 거의 모든 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들은 공유 인클로저(shared enclosure)에서 논리 머신(215) 및/또는 저장 머신(804)과 결합될 수 있거나, 이러한 디스플레이 디바이스들이 주변 디스플레이 디바이스일 수 있다.
통신 서브시스템(250)은 PAMD(200)를 하나 이상의 다른 컴퓨팅 디바이스들과 통신 연결시키도록 구성될 수 있다. 통신 서브시스템(250)은 하나 이상의 다른 통신 프로토콜들과 호환되는 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 LAN(local-area network) 또는 WAN(wide-area network)을 통해 통신하도록 구성될 수 있다. 일부 실시예들에서, 통신 서브시스템은 PAMD(200)가 인터넷과 같은 네트워크를 통해 메시지들을 다른 디바이스들로 및/또는 그로부터 송신 및/또는 수신할 수 있게 할 것이다.
PAMD(200)가 GPS를 포함하고 그리고/또는 사용자에 관한 생체 측정 데이터를 수집하도록 구성되어 있는 예들에서, 통신 서브시스템(250)은 사용자에 관한 데이터를 하나 이상의 다른 컴퓨팅 디바이스들로 전송하도록 구성될 수 있다. 어떤 예들에서, PAMD(200) 및/또는 하나 이상의 다른 컴퓨팅 디바이스들은 수집되어 전송될 수 있는 데이터에 관하여 사용자에게 알려주도록 구성될 수 있고, 사용자가 PAMD가 사용자에 관한 데이터를 수집, 전송 또는 다른 방식으로 공유할 수 있도록 하는 동의를 제공할 수 있게 하도록 추가로 구성될 수 있다.
본 명세서에 기술된 구성들 및/또는 접근법들이 사실상 예시적인 것이라는 것과, 다양한 변형들이 가능하기 때문에, 이들 구체적인 실시예 또는 예가 제한하는 의미로 간주되어서는 안된다는 것을 잘 알 것이다. 본 명세서에 기술된 구체적인 루틴들 또는 방법들은 임의의 수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 그에 따라, 예시된 및/또는 기술된 다양한 동작들이 예시된 및/또는 기술된 순서로, 다른 순서로, 병렬로 수행될 수 있거나, 생략될 수 있다. 마찬가지로, 전술한 프로세스들의 순서가 변경될 수 있다.
본 개시 내용의 발명 요지는 본 명세서에 개시되어 있는 다양한 프로세스들, 시스템들 및 구성들과 기타 특징들, 기능들, 동작들 및/또는 특성들은 물론, 이들의 모든 등가물들의 모든 신규의(novel) 비자명한(nonobvious) 콤비네이션 및 서브콤비네이션을 포함한다.

Claims (18)

  1. 게임 경험을 증강시키는 방법에 있어서,
    신체 활동 모니터링 디바이스(physical activity monitoring device)에서, 게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 하나 이상의 신체 활동의 표시(indication)를 상기 게임 시스템으로부터 수신하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 신체 활동 모니터링 디바이스 내에 포함된 하나 이상의 센서를 포함한 센서 어레이로부터 수신되는 신호 정보에 기초하여, 상기 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성(physical activity attribute)을 측정하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 신체 활동 속성에 기초하여 상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도(progress)를 결정하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 센서 어레이로부터 수신되는 신호 정보의 차원(dimensionality)을 감소시키는 방법으로 상기 사용자에 의해 수행되는 반복적 신체 활동의 반복 횟수를 결정하는 단계; 및
    상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도의 표시를 상기 신체 활동 모니터링 디바이스로부터 상기 게임 시스템으로 출력하는 단계
    를 포함하는, 게임 경험 증강 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 신체 활동의 완료를 향한 진행도에 의해 영향을 받아 업데이트된 상기 게임의 정보를 상기 사용자에게 나타내는 단계
    를 더 포함하는, 게임 경험 증강 방법.
  3. 제1항에 있어서,
    상기 신체 활동 모니터링 디바이스에서, 상기 하나 이상의 신체 활동을 수행하는 상기 사용자에 대한 하나 이상의 현재 생체 측정 지표(current biometric marker)를 계산하는 단계
    를 더 포함하는, 게임 경험 증강 방법.
  4. 제3항에 있어서,
    하나 이상의 현재 생체 측정 지표를 상기 사용자에게 나타내는 단계
    를 더 포함하는, 게임 경험 증강 방법.
  5. 제4항에 있어서,
    상기 하나 이상의 현재 생체 측정 지표는 상기 하나 이상의 신체 활동을 수행하는 상기 사용자에 의해 소모된 칼로리의 양을 포함하는 것인, 게임 경험 증강 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 센서는 가속도계를 포함하는 것인, 게임 경험 증강 방법.
  7. 제1항에 있어서,
    상기 신체 활동 모니터링 디바이스에서, 상기 신체 활동 속성에 기초하여 상기 사용자가 상기 신체 활동에 적극적으로 참여하고 있는 시간 구간을 자동으로 결정하는 단계
    를 더 포함하는, 게임 경험 증강 방법.
  8. 제7항에 있어서,
    상기 사용자가 상기 신체 활동에 적극적으로 참여하고 있는 시간 구간을 결정하는 단계는,
    상기 사용자의 상기 신체 활동 속성을 나타내는 신호 정보를 상기 센서 어레이를 사용하여 획득하는 단계;
    상기 신호 정보를 중첩 세그먼트(overlapping segment)로 분할하는 단계;
    각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성을 식별하는 단계; 및
    상기 중첩 세그먼트 동안 상기 사용자가 상기 신체 활동에 적극적으로 참여하였는지를 인식하도록 훈련된 지도형 분류자(supervised classifier)를 사용하여 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성을 분석하는 단계를 포함하는 것인, 게임 경험 증강 방법.
  9. 제8항에 있어서,
    상기 지도형 분류자는, 서포트 벡터 머신(support vector machine)을 포함하고, 상기 미리 결정된 신호 특성을 분석하는 단계는,
    복수의 사용자가 복수의 유형의 신체 활동에 참여하고 있던 시간 구간 동안 상기 복수의 사용자로부터 수집된 데이터로 상기 서포트 벡터 머신을 훈련시키는 단계;
    하나의 유형의 신체 활동에 참여하고 있는 사용자를 나타내는 가중치 벡터 및 변환 벡터의 집합을 발생시키는 단계;
    상기 미리 결정된 신호 특성을 상기 가중치 벡터 및 변환 벡터의 집합과 곱하여 복수의 곱셈 곱을 획득하는 단계;
    상기 곱셈 곱을 복수의 미리 결정된 활동 각각을 나타내는 데이터 집합과 비교하는 단계 - 상기 데이터 집합은 기계 학습을 통해 미리 결정되었음 - ; 및
    중첩 세그먼트를 하나의 유형의 신체 활동을 나타내는 것으로 분류하는 단계
    를 더 포함하는 것인, 게임 경험 증강 방법.
  10. 제9항에 있어서,
    상기 신체 활동 모니터링 디바이스는 상기 사용자가 신체 활동에 적극적으로 참여하고 있을 가능성이 있는, 복수의 분류된 중첩 세그먼트에 의해 정의된 시간 구간을 결정하도록 구성된 집계기(aggregator)를 더 포함하는 것인, 게임 경험 증강 방법.
  11. 제1항에 있어서,
    상기 반복 횟수는,
    상기 차원 감소된 신호(dimensionally reduced signal)의 피크의 개수를 계수하는 단계; 및
    상기 피크의 개수를 출력하는 단계
    를 포함하는 계수 방법(counting method)을 통해 결정되는 것인, 게임 경험 증강 방법.
  12. 제11항에 있어서,
    상기 계수 방법은,
    후보 피크(candidate peak)의 집합을 결정하는 단계;
    국소 기간 추정치(local period estimate)를 사용하여 상기 후보 피크를 필터링하는 단계;
    피크 진폭 통계에 기초하여 상기 후보 피크를 필터링하는 단계; 및
    상기 피크의 개수를 출력하는 단계
    를 더 포함하는 것인, 게임 경험 증강 방법.
  13. 제12항에 있어서,
    상기 계수 방법은,
    후보 밸리(candidate valley)의 집합을 결정하는 단계;
    국소 기간 추정치를 사용하여 상기 후보 밸리를 필터링하는 단계;
    진폭 통계를 사용하여 상기 후보 밸리를 필터링하는 단계;
    상기 차원 감소된 신호의 밸리의 개수를 계수하는 단계;
    상기 밸리의 개수를 상기 피크의 개수와 비교하는 단계;
    상기 밸리의 개수와 상기 피크의 개수 중 큰 쪽을 반복 횟수로서 지정하는 단계; 및
    상기 반복 횟수를 출력하는 단계
    를 더 포함하는 것인, 게임 경험 증강 방법.
  14. 신체 활동 모니터링 디바이스에 있어서,
    게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 하나 이상의 신체 활동의 표시를 상기 게임 시스템으로부터 수신하도록 구성된 통신 서브시스템;
    상기 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성을 측정하도록 구성된 하나 이상의 센서를 포함한 센서 어레이;
    제어기로서, 기계 학습 프로세스에 의해,
    상기 사용자의 상기 신체 활동 속성을 나타내는 신호 정보를 상기 센서 어레이를 사용하여 획득하고,
    상기 신호 정보를 중첩 세그먼트로 분할하고,
    각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성을 식별하고,
    상기 중첩 세그먼트 동안 상기 사용자가 상기 신체 활동에 적극적으로 참여하였는지를 인식하도록 훈련된 지도형 분류자를 사용하여 각각의 중첩 세그먼트에 대한 미리 결정된 신호 특성을 분석하고,
    상기 신체 활동 속성에 기초하여 상기 사용자가 상기 신체 활동에 적극적으로 참여하고 있는 시간 구간을 자동으로 결정하고,
    상기 사용자가 상기 신체 활동에 적극적으로 참여하고 있는 시간 구간 동안의 상기 신체 활동 속성에 기초하여 상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도를 결정하도록 훈련된, 상기 제어기;
    상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도의 표시를 상기 게임 시스템으로 출력하도록 구성된 보고기(reporter)
    를 포함하는, 신체 활동 모니터링 디바이스.
  15. 제14항에 있어서,
    지도형 분류자
    를 더 포함하는, 신체 활동 모니터링 디바이스.
  16. 제15항에 있어서,
    상기 지도형 분류자는 서포트 벡터 머신을 포함하는 것인, 신체 활동 모니터링 디바이스.
  17. 제15항에 있어서,
    상기 지도형 분류자는 기계 학습 결정 트리(machine learning decision tree)를 이용하는 것인, 신체 활동 모니터링 디바이스.
  18. 게임 경험을 증강시키는 방법에 있어서,
    사용자에 의해 착용된 신체 활동 모니터링 디바이스에서, 게임 시스템 상에서 플레이되고 있는 게임의 확장으로서 수행될 하나 이상의 신체 활동의 표시를 게임 시스템으로부터 수신하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 신체 활동 모니터링 디바이스 내에 포함된 하나 이상의 센서를 포함한 센서 어레이를 사용하여 상기 신체 활동 모니터링 디바이스를 착용하고 있는 사용자의 신체 활동 속성을 측정하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 신체 활동 속성에 기초하여 상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도를 자동으로 결정하는 단계;
    상기 신체 활동 모니터링 디바이스에서, 상기 센서 어레이로부터 수신되는 신호 정보의 차원을 감소시키는 방법으로 상기 사용자에 의해 수행되는 반복적 신체 활동의 반복 횟수를 결정하는 단계;
    상기 하나 이상의 신체 활동의 완료를 향한 진행도에 의해 영향을 받은 게임 속성의 표시를 상기 사용자에게 전달하는 단계; 및
    상기 하나 이상의 신체 활동의 완료를 향한 상기 사용자의 진행도의 표시를 상기 신체 활동 모니터링 디바이스로부터 상기 게임 시스템으로 출력하는 단계
    를 포함하는, 게임 경험 증강 방법.
KR1020157026554A 2013-03-05 2014-03-04 신체 활동 모니터링 디바이스에 의한 게임 플레이 확장 KR102054542B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/785,257 US8951164B2 (en) 2013-03-05 2013-03-05 Extending gameplay with physical activity monitoring device
US13/785,257 2013-03-05
PCT/US2014/020194 WO2014138009A1 (en) 2013-03-05 2014-03-04 Extending gameplay with physical activity monitoring device

Publications (2)

Publication Number Publication Date
KR20150122742A KR20150122742A (ko) 2015-11-02
KR102054542B1 true KR102054542B1 (ko) 2019-12-10

Family

ID=50336565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157026554A KR102054542B1 (ko) 2013-03-05 2014-03-04 신체 활동 모니터링 디바이스에 의한 게임 플레이 확장

Country Status (11)

Country Link
US (1) US8951164B2 (ko)
EP (1) EP2964352B1 (ko)
JP (1) JP6564328B2 (ko)
KR (1) KR102054542B1 (ko)
CN (1) CN105142745B (ko)
AU (1) AU2014226052B2 (ko)
BR (1) BR112015020078B1 (ko)
CA (1) CA2898755C (ko)
MX (1) MX348641B (ko)
RU (1) RU2658282C2 (ko)
WO (1) WO2014138009A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
WO2014153158A1 (en) 2013-03-14 2014-09-25 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
JP6496996B2 (ja) * 2013-11-05 2019-04-10 セイコーエプソン株式会社 運動諸量算出方法、運動諸量算出装置及び携帯機器
WO2015100429A1 (en) 2013-12-26 2015-07-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
WO2015138339A1 (en) 2014-03-10 2015-09-17 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US10426989B2 (en) 2014-06-09 2019-10-01 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
US10694960B2 (en) 2014-09-29 2020-06-30 Microsoft Technology Licensing, Llc Wearable pulse pressure wave sensing device
US9848825B2 (en) 2014-09-29 2017-12-26 Microsoft Technology Licensing, Llc Wearable sensing band
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
WO2017156161A1 (en) * 2016-03-08 2017-09-14 Fotorama Usa, Llc Modular activity monitor system
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10568570B1 (en) 2019-02-14 2020-02-25 Trungram Gyaltrul Sherpa Methods and systems for providing a preferred fitness state of a user
US11344786B2 (en) * 2019-05-15 2022-05-31 Peloton Interactive, Inc. User interface with interactive mapping and segmented timeline
US11620543B2 (en) 2019-12-23 2023-04-04 Google Llc Identifying physical activities performed by a user of a computing device based on media consumption

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167801A1 (en) 2008-12-31 2010-07-01 Microsoft Corporation Kids personal health records fed into video games
JP2012108836A (ja) 2010-11-19 2012-06-07 Kddi Corp 日常計測データからの対人特性推定装置、推定方法および推定プログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2751977B2 (ja) * 1992-02-26 1998-05-18 日本電気株式会社 動的解析情報の予測算出方式
US6171218B1 (en) 1995-06-22 2001-01-09 Michael J. Shea Exercise apparatus
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
KR100526699B1 (ko) * 2001-01-17 2005-11-08 이종식 네트워크 게임방법 및 그 시스템
US20070111858A1 (en) * 2001-03-08 2007-05-17 Dugan Brian M Systems and methods for using a video game to achieve an exercise objective
US7946959B2 (en) 2002-05-30 2011-05-24 Nike, Inc. Training scripts
US7480512B2 (en) 2004-01-16 2009-01-20 Bones In Motion, Inc. Wireless device, program products and methods of using a wireless device to deliver services
US20050195094A1 (en) * 2004-03-05 2005-09-08 White Russell W. System and method for utilizing a bicycle computer to monitor athletic performance
US7543330B2 (en) 2004-04-08 2009-06-02 International Business Machines Corporation Method and apparatus for governing the transfer of physiological and emotional user data
US7503476B2 (en) * 2004-12-08 2009-03-17 Sun Coast Merchandise Corporation Pedometer and method of advertising
US8083589B1 (en) 2005-04-15 2011-12-27 Reference, LLC Capture and utilization of real-world data for use in gaming systems such as video games
US7827011B2 (en) 2005-05-03 2010-11-02 Aware, Inc. Method and system for real-time signal classification
JP2007075172A (ja) 2005-09-12 2007-03-29 Sony Corp 音出力制御装置、音出力制御方法および音出力制御プログラム
US20070123754A1 (en) 2005-11-29 2007-05-31 Cuddihy Paul E Non-encumbering, substantially continuous patient daily activity data measurement for indication of patient condition change for access by remote caregiver
DE602007001281D1 (de) 2006-01-20 2009-07-30 Yamaha Corp Vorrichtung zur Steuerung der Wiedergabe von Musik und Vorrichtung zur Wiedergabe von Musik
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
US7771320B2 (en) 2006-09-07 2010-08-10 Nike, Inc. Athletic performance sensing and/or tracking systems and methods
US8235724B2 (en) 2006-09-21 2012-08-07 Apple Inc. Dynamically adaptive scheduling system
US20080090703A1 (en) * 2006-10-14 2008-04-17 Outland Research, Llc Automated Personal Exercise Regimen Tracking Apparatus
US7853428B2 (en) 2007-01-11 2010-12-14 Yamaha Corporation Apparatus for displaying fitness exercise condition
US9044136B2 (en) * 2007-02-16 2015-06-02 Cim Technology Inc. Wearable mini-size intelligent healthcare system
FI121289B (fi) 2007-04-13 2010-09-15 Vti Technologies Oy Menetelmä ja laite liikkujan etenemisen mittaamiseksi
US8360904B2 (en) * 2007-08-17 2013-01-29 Adidas International Marketing Bv Sports electronic training system with sport ball, and applications thereof
US8221290B2 (en) 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
US20090075781A1 (en) 2007-09-18 2009-03-19 Sensei, Inc. System for incorporating data from biometric devices into a feedback message to a mobile device
US7988598B2 (en) 2008-07-08 2011-08-02 Michael Trzecieski Method and apparatus for interfacing between a wearable electronic device and a server and an article of fitness equipment
US20110137836A1 (en) 2008-09-19 2011-06-09 Hiroyuki Kuriyama Method and system for generating history of behavior
GB2465824B (en) 2008-12-03 2011-04-06 James Christopher Irlam Motion analysis device for sports
GB0901020D0 (en) 2009-01-21 2009-03-04 Birmingham City University A motion capture apparatus
US9067096B2 (en) 2009-01-30 2015-06-30 Apple Inc. Systems and methods for providing automated workout reminders
EP2398383A4 (en) 2009-02-20 2013-07-03 Univ Colorado Regents ARTICLE BASED BODY WEIGHT MONITOR AND POSITIONING INSTRUCTION, CLASSIFICATION OF BODY ACTIVITIES AND ENERGY CONSUMPTION CALCULATOR
US8105208B2 (en) 2009-05-18 2012-01-31 Adidas Ag Portable fitness monitoring systems with displays and applications thereof
US8200323B2 (en) 2009-05-18 2012-06-12 Adidas Ag Program products, methods, and systems for providing fitness monitoring services
US8500604B2 (en) 2009-10-17 2013-08-06 Robert Bosch Gmbh Wearable system for monitoring strength training
GB2492017B (en) 2010-04-06 2017-02-22 Newhula Com Inc Virtual exerciser device
KR101125672B1 (ko) * 2010-05-20 2012-03-27 원광대학교산학협력단 운동패턴 분석방법 및 이를 이용한 운동량 산출장치
US9392941B2 (en) 2010-07-14 2016-07-19 Adidas Ag Fitness monitoring methods, systems, and program products, and applications thereof
JP5126310B2 (ja) 2010-07-22 2013-01-23 株式会社村田製作所 検査用同軸コネクタ及びレセプタクル
JP5786361B2 (ja) 2011-02-22 2015-09-30 ヤマハ株式会社 報知信号制御装置
US20130052620A1 (en) 2011-08-31 2013-02-28 Striiv, Inc. Platform mechanics
US9299036B2 (en) 2011-08-31 2016-03-29 Striiv, Inc. Life pattern detection
US9352207B2 (en) 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
US20130196821A1 (en) 2012-01-31 2013-08-01 Icon Health & Fitness, Inc. Systems and Methods to Generate a Customized Workout Routine
CN102835951B (zh) * 2012-09-05 2015-07-29 刘鑫 一种移动腕带设备及其工作方法
US20140074431A1 (en) 2012-09-10 2014-03-13 Apple Inc. Wrist Pedometer Step Detection
US8670848B1 (en) 2012-09-13 2014-03-11 Mitac International Corp. Method of calculating target pace for achieving a goal on an exercise route and related portable electronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167801A1 (en) 2008-12-31 2010-07-01 Microsoft Corporation Kids personal health records fed into video games
JP2012108836A (ja) 2010-11-19 2012-06-07 Kddi Corp 日常計測データからの対人特性推定装置、推定方法および推定プログラム

Also Published As

Publication number Publication date
KR20150122742A (ko) 2015-11-02
AU2014226052B2 (en) 2017-06-22
BR112015020078A8 (pt) 2019-11-12
US8951164B2 (en) 2015-02-10
RU2658282C2 (ru) 2018-06-19
JP6564328B2 (ja) 2019-08-21
JP2016513999A (ja) 2016-05-19
BR112015020078A2 (pt) 2017-07-18
AU2014226052A1 (en) 2015-08-06
WO2014138009A1 (en) 2014-09-12
BR112015020078B1 (pt) 2022-03-15
MX348641B (es) 2017-06-22
CA2898755A1 (en) 2014-09-12
RU2015137788A (ru) 2017-03-10
CN105142745B (zh) 2018-07-03
EP2964352B1 (en) 2020-06-10
US20140257534A1 (en) 2014-09-11
CN105142745A (zh) 2015-12-09
MX2015011710A (es) 2016-01-15
CA2898755C (en) 2022-01-04
EP2964352A1 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
KR102054542B1 (ko) 신체 활동 모니터링 디바이스에 의한 게임 플레이 확장
KR102274478B1 (ko) 자동 운동 세그먼트화 및 인식
US8951165B2 (en) Personal training with physical activity monitoring device
US10802038B2 (en) Calculating pace and energy expenditure from athletic movement attributes
JP2016513999A5 (ko)
AU2020101986A4 (en) AAM-Physical Fitness: ANALYSIS OF PHYSICAL FITNESS AND ACTIVITY LEVEL USING MACHINE LEARNING, DEEP LEARNING PROGRAMMING.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant