KR101954959B1 - 운동 수행의 이미지 데이터로부터의 피드백 신호들 - Google Patents

운동 수행의 이미지 데이터로부터의 피드백 신호들 Download PDF

Info

Publication number
KR101954959B1
KR101954959B1 KR1020157028050A KR20157028050A KR101954959B1 KR 101954959 B1 KR101954959 B1 KR 101954959B1 KR 1020157028050 A KR1020157028050 A KR 1020157028050A KR 20157028050 A KR20157028050 A KR 20157028050A KR 101954959 B1 KR101954959 B1 KR 101954959B1
Authority
KR
South Korea
Prior art keywords
athlete
image
motion
images
image data
Prior art date
Application number
KR1020157028050A
Other languages
English (en)
Other versions
KR20150127193A (ko
Inventor
비크람 말호트라
Original Assignee
나이키 이노베이트 씨.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나이키 이노베이트 씨.브이. filed Critical 나이키 이노베이트 씨.브이.
Publication of KR20150127193A publication Critical patent/KR20150127193A/ko
Application granted granted Critical
Publication of KR101954959B1 publication Critical patent/KR101954959B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G06K9/00342—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/7415—Sound rendering of measured values, e.g. by pitch or volume variation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 양태들은 운동 선수의 능력을 향상시켜 그들의 신체의 움직임을 제때에 동기화시키는 것에 관한 것이다. 특정한 실시예들은 운동 선수(또는 트레이너와 같은 다른 개인)가 운동 움직임의 하나 이상의 컴포넌트들 또는 특징들의 타이밍을 파악하여 최적화시키게 하는 피드백 시스템을 제공한다. 신체적 활동을 수행하는 운동 선수의 비디오와 같은 이미지 데이터는 실시간 피드백 신호들을 생성하고 방출하여 템포의 표시를 운동 선수에게 제공하기 위해 (단독으로 또는 비이미지 데이터와 조합하여) 활용될 수 있다. 또 다른 양태들은 운동 선수의 부적절한 타이밍 및/또는 움직임들을 검출하기 위해 이미지 및/또는 다른 센서를 사용하고, 이에 응답하여, 실시간 피드백 신호들을 생성하는 것에 관한 것이다.

Description

운동 수행의 이미지 데이터로부터의 피드백 신호들{FEEDBACK SIGNALS FROM IMAGE DATA OF ATHLETIC PERFORMANCE}
관련 출원들에 대한 상호 참조
본 출원은 2013년 3월 15일에 출원된 "Feedback Signals from Image Data of Athletic Performance"이란 명칭의 미국 가특허 출원 제61/793,4722호의 이익을 주장하고, 이 출원은 인용에 의해 여기에 통합된다.
운동 선수들, 아마추어 및 프로 선수 모두는 특정한 스포츠 또는 운동 활동에 대한 그들의 수행(performance)을 향상시키기를 종종 원한다. 신체적 기량을 향상시키는 것에 부가하여, 운동 선수들은 시력, 반응 시간, 또는 다른 능력들에 관한 훈련으로 큰 스포츠-집중 향상을 알 수 있다. 장비나 디바이스들의 부적절한 사용은 운동 수행을 실제 저하시킬 수 있다. 유사하게는, 정확하지 않게 관리하는 훈련들 또는 루틴들은 또한 운동 선수가 적절하게 훈련되는 것을 방해할 수 있고 그리고/또는 운동 선수가 임계 레벨로 수행하지 않는다는 잘못된 결론을 초래할 수 있다.
따라서, 다수의 운동 선수들 및 트레이너들은 운동 선수의 운동 속성들 및 수행 레벨들을 종종 정확하게 결정할 수 없다. 이것은 운동 선수의 수행을 타인과 정확하게 비교하는 것 뿐만 아니라 운동 선수를 훈련시키는데 있어서 어려움을 초래한다. 기존의 옵션들은 운동 선수들의 능력 및 수행 레벨의 더욱 정확한 결정을 허용하는 일련의 훈련들을 실시하기 위해 운동 선수가 특정한 날짜에 특정한 시설로 (수백 마일 떨어진) 특정한 위치로 이동하는 것을 요구하는 것을 포함한다. 공교롭게도, 운동 선수는 여행을 하지 못할 수 있고 그리고/또는 특정한 날짜에 시간이 없을 수 있다. 추가로, 운동 선수는 어느 날은 표준 이하의 수행을 가질 수 있고 따라서 그들의 실제 수행 레벨의 훨씬 아래로 고려될 수 있다. 이것은 종종 운동 선수들이 이들 이벤트들에 참석하지 못하게 하여, 특정한 활동들 및 훈련들의 그들의 수행을 계속 오판하게 한다. 따라서, 과도한 트레이닝에도 불구하고, 운동 선수는 적절한 영역들에서 효율적인 방식으로 향상되지 못할 수 있다.
따라서, 상술한 관점에서, 개선된 시스템들 및 방법들이 바람직하다. 본 개시의 양태들은 이들 결점들 중 하나 이상을 다루는 신규한 시스템들 및 방법들에 관한 것이다. 다른 양태들은 종래 기술에서의 다른 단점들을 최소화하는 것에 관한 것이다.
본 개시의 일부 양태들의 기본적인 이해를 제공하기 위해 간략한 요약이 아래에 제공된다. 이 요약은 본 개시의 광범위한 개요가 아니다. 이 요약은 본 개시의 중요하거나 결정적인 엘리먼트들을 식별하거나 본 개시의 범위를 서술하도록 의도되지 않는다. 아래의 요약은 아래의 설명에 대한 서두로서 본 개시의 일부 개념들을 간략한 형태로 단지 제공한다.
본 개시의 양태들은 운동 선수의 능력을 향상시켜 그들의 신체의 움직임을 제때에 동기화시키도록 구성된 시스템 및 방법들에 관한 것이다. 특정한 실시예들은 운동 선수(또는 트레이너와 같은 다른 개인)가 운동 움직임의 하나 이상의 컴포넌트들 또는 특징들의 타이밍을 파악하여 최적화시키게 하는 피드백 시스템을 제공한다. 특정한 양태들은 운동 선수의 신체적 활동의 수행에 관하여 운동 선수에게 피드백을 제공하는 것에 관한 것이다. 피드백은 운동 선수가 운동 활동의 수행 동안 피드백을 획득할 수 있도록 실시간으로 제공될 수 있다. 일 실시예에 따르면, 운동 활동 또는 그것의 적어도 일부를 수행하는 운동 선수의 이미지 데이터가 획득될 수 있다. 일 실시예에서, 운동 선수의 신체적 활동의 수행 동안 복수의 순차적 이미지들이 획득될 수 있다. 이미지 데이터는 제1 운동 움직임의 제1 특징을 수행하는 운동 선수를 식별하기 위해 실시간으로 처리될 수 있다. 예를 들어, 골프 클럽을 스윙하는 신체 활동은 백스윙 움직임 및 포워드 스윙 움직임과 같은 여러 움직임들을 가질 수 있다. 각 움직임내에서, 여러 특징들이 식별될 수 있다.
움직임의 하나 이상의 특징들이 모션 파라미터로부터 검출될 수 있다. 예를 들어, 운동 움직임이 골프 스윙의 백스윙이면, 그 백스윙의 특징은 속도값, 가속도값, 운동 선수의 신체 부위의 위치, 또는 이미지 데이터내의 스포츠 디바이스의 위치 중 적어도 하나에 기초할 수 있다. 특정한 실시예들에서, 모션 파라미터의 결정은 속도값 또는 가속도값이 제1 임계치를 충족시킨다는 것에 적어도 부분적으로 기초하여 결정될 수 있다. 특정한 실시예들에서, 모션 파라미터는 생성된 피드백 신호를 생성하거나 변경하기 위해 사용될 수 있다. 예를 들어, 가청 피드백 신호가 야구 배트의 모션의 속도 또는 가속도에 기초하여 변조될 수 있다.
특징이 발생하였는지 결정하는 것은 이미지 데이터에 의해 표현된 객체들의 하나 이상의 움직임들이 임계 기준을 충족시키는지는 결정하는 것을 포함할 수 있다. 예시적인 기준은 움직임 기준 및 움직임 품질 기준을 포함할 수 있다. 일 실시예에서, 제1 기준은 관심이 있을 수 있는 특정한 이미지들을 식별하는 필터로서 역할을 할 수 있고, 제 2 기준은 이러한 그룹내의 어떤 데이터가 더욱 엄격한 기준을 충족하는지를 더 식별할 수 있다. 또 다른 실시예에서, 제1 및 제 2 기준들은 독립적일 수 있다. 제1 임계치는 제1 신체 부위가 이동되었는지를 검출할 수 있다. 이미지 데이터내에 표현된 운동 선수의 신체의 하나 이상의 부위들의 선택 및/또는 활용은 무엇보다도, 신체적 활동, 사용자 입력, 이력 데이터, 및 이들의 조합들에 기초할 수 있다.
하나 이상의 이미지 캡처 디바이스가 상이하거나 가변인 프레임 레이트들로 이미지들을 캡처할 수 있다. 예를 들어, 이미지 캡처 디바이스는 50과 100 초당 프레임(fps) 사이의 가변 레이트로 이미지들을 캡처할 수 있다. 따라서, 움직임(및/또는 움직임 품질)의 결정들은 불규칙한 기간으로 분리될 수 있는 데이터 프레임들 사이의 시간 간격들을 정확하게 결정하기 위해 캡처 정보의 레이트를 활용할 수 있다.
특정한 구현들에서, 랜드마크/거리 교정들이 수행의 정밀한 측정을 허용하기 위해 시간-스탬프된 이미지 데이터로부터 활용될 수 있다. 예를 들어, 이미지 데이터에 의해 표현된 객체들은 움직임 임계치들이 충족되는지를 결정하기 위해 활용될 수 있다. 예를 들어, 거리 측정치들을 교정하기 위해 (야드 라인들과 같은) 필드상의 마킹들이 사용될 수 있다. 특정한 실시예들에서, 객체들이 식별될 수 있고, 식별시에는, 교정 프로세스들에서 사용될 수 있다. 이러한 교정 기법들은 정지 객체들에 한정되지 않는다. 특정한 실시예들에서, 어느 신체 부위(들)가 활용되는지 그리고/또는 캡처된 이미지 데이터내에 표현된 바와 같은 부위(들)의 움직임이 임계치를 충족시키는지를 선택하기 위해 소정의 신체적 활동이 (전체적으로 또는 부분적으로) 사용될 수 있다. 특정한 실시예들에서, 이미지 데이터의 특징에 기초하여 상이한 신체 부위를 활용하는 시스템들 및 방법들이 구현될 수 있다.
다른 양태들은 특징(들)의 수행을 식별하는 것에 응답하여 피드백 신호를 생성하여 송신하는 것에 관한 것이다. 이 송신은 실시간일 수 있다. 특정한 실시예들에서, 이미지 데이터는 운동 선수가 제1 운동 움직임의 제 2 또는 추가의 특징들을 수행한다는 것을 나타낼 수 있다. 제 2 특징의 움직임 특성들에 기초한 가청 신호들과 같은 추가의 피드백 신호들이 송신될 수 있다. 일 구현에서, 운동 선수는 운동 활동의 제1 및 제 2 특징들의 운동 선수의 수행에 관한 가청 템포 피드백을 제공하도록 구성된 운동 움직임의 수행 동안 오디오 피드백을 수신한다. 오디오 피드백 신호는 제1 주파수에서 제1 가청 톤을 포함할 수 있고, 제 2 오디오 피드백 신호는 가청 톤을 제 2 주파수로 변조함으로써 생성될 수 있다. 또 다른 실시예들에서, 시각 및/또는 촉각 피드백 신호들이 활용될 수 있다.
특징들의 식별은 특정한 제1 신체 부위 또는 스포츠 객체 중 적어도 하나에 대응하는 픽셀들을 식별하는 것 - 제1 신체 부위 또는 스포츠 객체는 운동 선수가 수행할 소정의 신체적 활동에 기초하여 선택됨 -; 및 식별된 픽셀들에 기초하여, 픽셀 데이터가 순차적 이미지들내의 복수의 이미지들 사이에서 변경되어 이 변경이 제1 임계치를 충족하는지를 결정하는 것을 포함하는, 개시 이미지를 식별하는 것을 포함할 수 있다. 이미지 데이터를 프로세싱하는 것은 광학 흐름 프로세스의 활용을 포함할 수 있다. 광학 흐름 프로세스는 제1 이미지로부터 제 2 이미지로의 식별된 객체의 픽셀-거리 변화를 포함하는 흐름 필드 데이터를 제공하는 것; 및 신체적 활동의 수행 동안 이미지 데이터에 표현된 운동 선수의 특정한 타입의 모션을 식별하기 위해 흐름 필드 데이터를 사용하는 것을 포함하는, 모션 엔트로피 결정 프로세스에 대한 입력으로서 제공될 수 있다.
다른 실시예의 일례로서, 신체 활동은 업스윙 운동 움직임 및 후속 다운스윙 운동 움직임을 갖는 골프 스윙일 수 있다. 운동 선수가 제1 특징을 수행하는 이미지 데이터를 검출하는 것은 골프 클럽이 지표면으로부터 제1 거리내에 있다는 것을 나타내는 픽셀 데이터를 검출하는 것을 포함할 수 있고, 제 2 운동 선수가 업스윙 운동 움직임의 제 2 특징을 수행한다는 것을 결정하는 것은 골프 클럽이 지표면으로부터 제 2 거리내에 있다는 것을 나타내는 픽셀 데이터로부터 검출된다.
다른 양태들은 운동 움직임의 제1 및 제 2 특징의 검출에 기초하여 운동 선수에게 적절한 타이밍을 송신하는 것에 관한 것이다. 예를 들어, 제1 및 제 2 특징 중 적어도 하나의 검출에 기초하여, 피드백 신호는 소정의 시간에서 송신될 수 있다. 이것은 제1 또는 제 2 특징의 발생에 기초할 수 있으며, 운동 수행의 추가의 특징을 수행하기 위해 운동 선수에 대한 적절한 타이밍을 표시하도록 구성될 수 있다.
운동 선수의 수행 속성이 다른 이미지 유도 데이터 뿐만 아니라 임계 정보로부터 결정될 수 있다. 일례로서, (단독으로 또는 다른 이미지와 조합하여) 개시 이미지는 운동 선수의 적어도 하나의 수행 속성을 결정하기 위해 사용될 수 있다. 예시적인 속성들은 속도, 반응, 지구력, 및 이들의 조합을 포함할 수 있지만, 이에 한정되지 않는다.
다른 양태들이 사용자의 운동 등급(rating)을 계산하기 위해 활용될 수 있다. 특정한 실시예들에서, 등급은 스포츠-특정 운동 등급일 수 있다. 예를 들어, 단일의 운동 선수가 풋볼 및 달리기 등급 스코어에 대해 상이한 등급을 가질 수 있다.
실시예들의 이들 및 다른 양태들은 첨부한 도면들을 포함하여 본 개시 전반적으로 더욱 상세히 논의된다.
본 개시는 동일한 참조부호들이 유사한 엘리먼트들을 나타내는 첨부한 도면들에서 예로서 예시되며 제한되지 않는다.
도 1은 예시적인 실시예들에 따라 개인 훈련을 제공하고 그리고/또는 사용자의 신체 움직임들로부터 데이터를 획득하도록 구성될 수 있는 시스템의 예를 예시한다.
도 2는 도 1의 시스템의 일부일 수 있거나 그 시스템과 통신할 수 있는 예시적인 컴퓨터 디바이스를 예시한다.
도 3은 예시적인 실시예들에 따른 사용자가 착용할 수 있는 예시적인 센서 어셈블리을 도시한다.
도 4는 예시적인 실시예들에 따른 사용자가 착용할 수 있는 다른 예시적인 센서 어셈블리을 도시한다.
도 5는 사용자의 의복 위/내부에 위치된 물리적 센서들을 포함할 수 있고 그리고/또는 사용자의 2개의 움직이는 신체 부분들 사이의 관계들의 식별에 기초할 수 있는 감각 입력에 대한 예시적인 위치들을 도시한다.
도 6은 하나의 예시적인 실시예에 따른 이미지 데이터로부터 운동 속성들을 결정하기 위해 활용될 수 있는 예시적인 방법의 플로우차트이다.
도 7은 일 실시예에 따른 트리거링 이벤트를 활용하는 예시적인 구현을 도시하는 플로우차트이다.
도 8은 일 실시예에 따른 피드백 신호들을 생성하고 송신하는 예시적인 구현을 도시하는 플로우차트이다.
도 9a 및 도 9b는 예시적인 테스트 엘리먼트들을 포함하는 예시적인 활동 공간을 도시한다.
도 10은 특정한 실시예에 따른 이미지 데이터를 사용하여 운동경기 등급을 생성하기 위해 구현될 수 있는 예시적인 방법의 플로우차트이다.
본 개시의 양태들은 이미지 데이터로부터 운동선수의 운동 속성들을 결정하는 것에 관한 것이다. 하나 이상의 결정들이 객체들 또는 객체들의 일부들을 나타내는 픽셀들에서의 변경들과 같은 상이한 이미지들(또는 프레임들) 사이의 이미지 데이터의 변경들에 기초할 수 있다. 이미지 데이터는 특정한 임계치들이 충족되는지를 결정하기 위해 활용될 수 있다. 다양한 임계치 레벨들이 이미지 데이터에 표현된 하나 이상의 객체들에 적용될 수 있다. 특정한 구현들에서, 예를 들어, 스프린트 또는 민첩성 훈련, 또는 일련의 필드 기반 테스트들과 같은 운동 선수의 신체 활동의 수행이 이미지 데이터에 따라 분석될 수 있다. 특정한 구현들에서, 랜드마크들/거리 교정들이 (스프린트 또는 민첩성 기록, 수직 점프에 대한 비행 시간, 던지기를 위한 거리를 포함하지만 이에 제한되지 않는) 수행의 정밀한 측정을 허용하기 위해 시간-스탬프된 이미지 데이터로부터 활용될 수 있다. 이미지 데이터로부터 검색되거나 유도된 데이터는 운동 선수들을 스코어링하고 그리고/또는 랭킹하는데 사용될 수 있다. 이러한 데이터는 운동 선수들 또는 코치들 또는 트레이너들과 같은 다른 개인들에게 트레이닝 충고 또는 체계들을 제공하기 위해 사용될 수 있다.
다양한 실시예들의 아래의 설명에서, 본 문헌의 일부를 형성하고 본 개시가 실시될 수 있는 다양한 실시예들을 예시로서 도시하는 첨부한 도면들을 참조한다. 다른 실시예들이 활용될 수 있고 구조적 및 기능적 변경들이 본 개시의 범위 및 사상을 벗어나지 않고 이루어질 수 있다는 것을 이해해야 한다. 또한, 본 개시내의 제목들은 본 개시의 양태들을 제한하는 것으로 고려되어서는 안 된다. 본 개시의 이익을 갖는 통상의 기술자는 예시적인 실시예들이 예시적인 제목들에 제한되지 않는다는 것을 이해할 것이다.
본 개시의 양태들은 운동 선수의 신체 움직임들에 관한 운동 데이터를 획득하고, 저장하고, 그리고/또는 프로세싱하는 것을 수반한다. 운동 데이터는 능동적으로 또는 수동적으로 감지될 수 있고 그리고/또는 하나 이상의 비일시적 저장 매체들에 저장될 수 있다. 또 다른 양태들은 예를 들어, 계산된 운동 속성들, 피드백 신호들과 같은 출력을 생성하여 지도 및/또는 다른 정보를 제공하기 위해 운동 데이터를 사용하는 것에 관한 것이다. 이들 및 다른 양태들은 개인 트레이닝 시스템의 아래의 예시적인 예들의 문맥에서 논의될 것이다.
Ⅰ. 예시적인 개인 트레이닝 시스템
A. 예시적인 컴퓨팅 디바이스
본 개시의 양태들은 복수의 네트워크들에 걸쳐 활용될 수 있는 시스템들 및 방법들에 관한 것이다. 이에 관하여, 특정한 실시예들이 동적 네트워크 환경들에 적합하도록 구성될 수 있다. 다른 실시예들이 상이한 개별 네트워크 환경들에서 동작가능할 수 있다. 도 1은 예시적인 실시예들에 따른 개인 트레이닝 시스템(100)의 예를 예시한다. 예시적인 시스템(100)은 예시적인 신체 영역 네트워크(BAN; 102), 로컬 영역 네트워크(LAN; 104), 및 광역 네트워크(WAN; 106)와 같은 하나 이상의 상호연결된 네트워크들을 포함할 수 있다. 도 1에 도시된 (그리고 본 개시 전반적으로 설명된) 바와 같이, 하나 이상의 네트워크들(예를 들어, BAN(102), LAN(104), 및/또는 WAN(106))은 오버랩할 수 있거나 그렇지 않으면 서로를 포함할 수 있다. 통상의 기술자는 예시적인 네트워크들(102 내지 106)이 하나 이상의 상이한 통신 프로토콜들 및/또는 네트워크 아키텍처들을 각각 포함할 수 있고 또한 서로에 대한 또는 다른 네트워크에 대한 게이트웨이들을 갖도록 구성될 수 있는 논리 네트워크들이라는 것을 이해할 것이다. 예를 들어, BAN(102), LAN(104), 및/또는 WAN(106) 각각은 셀룰러 네트워크아키텍처(108) 및/또는 WAN 아키텍처(110)와 같은 동일한 물리적 네트워크 아키텍처에 동작가능하게 연결될 수 있다. 예를 들어, BAN(102) 및 LAN(104) 양자의 컴포넌트로서 고려될 수 있는 휴대 전자 디바이스(112)가 데이터 및 제어 신호들을, 아키텍처들(108 및/또는 110) 중 하나 이상을 통해 송신 제어 프로토콜(TCP), 인터넷 프로토콜(IP), 및 사용자 데이터그램 프로토콜(UDP)과 같은 하나 이상의 통신 프로토콜들에 따라 네트워크 메시지들로 변환하도록 구성된 네트워크 어댑터 또는 네트워크 인터페이스 카드(NIC)를 포함할 수 있다. 이들 프로토콜들은 당업계에 널리 공지되어 있어, 여기에서 더 상세히 논의하지 않는다.
네트워크 아키텍처들(108 및 110)은 예를 들어, 케이블, 섬유, 위성, 전화, 셀룰러, 무선 등과 같은 임의의 타입(들) 또는 토폴로지(들)의 하나 이상의 정보 분배 네트워크(들)를 단독으로 또는 조합(들)으로 포함할 수 있고, 이와 같이, (WiFi®, Bluetoothⓒ, 근거리 통신(NFC) 및/또는 ANT 기술들을 포함하지만, 이에 제한되지 않는) 하나 이상의 유선 또는 무선 통신 채널들을 갖는 것과 같이 다양하게 구성될 수 있다. 따라서, (휴대 전자 디바이스(112) 또는 여기에 기재된 임의의 다른 디바이스와 같은) 도 1의 네트워크내의 임의의 디바이스는 상이한 논리 네트워크들(102 내지 106) 중 하나 이상을 포함하는 것으로 고려될 수 있다. 상술한 바에 유의하여, (WAN(106)에 커플링될 수 있는) 예시적인 BAN 및 LAN의 예시적인 컴포넌트들을 설명한다.
1. 예시적인 로컬 영역 네트워크
LAN(104)은 예를 들어, 컴퓨터 디바이스(114)와 같은 하나 이상의 전자 디바이스들을 포함할 수 있다. 컴퓨터 디바이스(114), 또는 시스템(100)의 임의의 다른 컴포넌트는 전화, 음악 플레이어, 태블릿, 넷북 또는 임의의 휴대 디바이스와 같은 모바일 단말기를 포함할 수 있다. 다른 실시예들에서, 컴퓨터 디바이스(114)는 예를 들어, 미디어 플레이어 또는 리코더, 데스크탑 컴퓨터, 서버(들), Microsoftⓒ XBOX, Sony® Playstation, 및/또는 Nintendo® Wii 게임 콘솔들과 같은 게임 콘솔을 포함할 수 있다. 통상의 기술자는 이들이 단지 설명 목적을 위한 예시적인 디바이스들이며 본 개시가 임의의 콘솔 또는 컴퓨팅 디바이스에 제한되지 않는다는 것을 이해할 것이다.
통상의 기술자는 컴퓨터 디바이스(114)의 설계 및 구조가 그것의 의도하는 목적과 같은 여러 팩터들에 따라 변할 수 있다는 것을 이해할 것이다. 컴퓨터 디바이스(114)의 하나의 예시적인 구현이 컴퓨팅 디바이스(200)의 블록도를 예시하는 도 2에 제공된다. 통상의 기술자는 도 2의 개시가 여기에 개시된 임의의 디바이스에 적용가능할 수 있다는 것을 이해할 것이다. 디바이스(200)는 (여기에서 "프로세서들(202)" 또는 "프로세서(202)"로서 일반적으로 지칭되는) 프로세서(202-1 및 202-1)와 같은 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들(202)은 상호연결 네트워크 또는 버스(204)를 통해 서로와 또는 다른 컴포넌트들과 통신할 수 있다. 프로세서(202)는 단일 집적 회로(IC) 칩상에 구현될 수 있는 (여기에서 "코어들(206)로서, 또는 더욱 일반적으로는 "코어(206)"로서 지칭되는) 코어들(206-1 및 206-2)과 같은 하나 이상의 프로세싱 코어들을 포함할 수 있다.
코어들(36)은 공유 캐시(208) 및/또는 사설 캐시(예를 들어, 캐시들(210-1 및 210-2) 각각)를 포함할 수 있다. 하나 이상의 캐시들(208/210)은 프로세서(202)의 컴포넌트들에 의한 더 빠른 액세스를 위해 메모리(212)와 같은 시스템 메모리에 저장된 데이터를 로컬하게 캐시할 수 있다. 메모리(212)는 칩세트(216)를 통해 프로세서들(202)과 통신할 수 있다. 캐시(208)는 특정한 실시예들에서 시스템 메모리(212)의 일부일 수 있다. 메모리(212)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM)를 포함할 수 있지만 이에 한정되지 않고, 전자 정보를 저장하기 위해 사용될 수 있는 고체 상태 메모리, 광학 또는 자기 스토리지, 및/또는 임의의 다른 매체 중 하나 이상을 포함할 수 있다. 또 다른 실시예들은 시스템 메모리(212)를 생략할 수 있다.
시스템(200)은 하나 이상의 I/O 디바이스들(예를 들어, 일반적으로 I/O 디바이스(214)로서 각각 지칭되는) I/O 디바이스들(214-1 내지 214-3))을 포함할 수 있다. 하나 이상의 I/O 디바이스들(214)로부터의 I/O 데이터는 하나 이상의 캐시들(208 및 210) 및/또는 시스템 메모리(212)에 저장될 수 있다. I/O 디바이스들(214) 각각은 임의의 물리적 또는 무선 통신 프로토콜을 사용하여 시스템(100)의 컴포넌트와 동작적으로 통신하도록 영구적으로 또는 일시적으로 구성될 수 있다.
도 1로 가서, (엘리먼트들(116 내지 122)로서 도시된) 4개의 예시적인 I/O 디바이스들이 컴퓨터 디바이스(114)와 통신하는 것으로 도시되어 있다. 통상의 기술자는 디바이스들(116 내지 122) 중 하나 이상이 독립형 디바이스들일 수 있거나 컴퓨터 디바이스(114) 이외에도 다른 디바이스와 연관될 수 있다. 예를 들어, 하나 이상의 I/O 디바이스들은 BAN(102) 및/또는 WAN(106)의 컴포넌트와 연관될 수 있거나 그 컴포넌트와 상호작용할 수 있다. I/O 디바이스들(116 내지 122)은 예를 들어, 센서들과 같은 운동 데이터 취득 유닛들을 포함할 수 있지만 이에 한정되지 않는다. 하나 이상의 I/O 디바이스들은 사용자(124)와 같은 사용자로부터 운동 파라미터를 감지하고, 검출하고, 그리고/또는 측정하도록 구성될 수 있다. 예들은 무엇보다도 가속도계, 자이로스코프, 위치 결정 디바이스(예를 들어, GPS), 광(비가시광을 포함) 센서, (대기 온도 및/또는 체온을 포함하는) 온도 센서, 슬립 패턴 센서들, 심박수 모니터, 이미지 캡처 센서, 습도 센서, 힘 센서, 컴파스, 각속도 센서, 및/또는 이들의 조합들을 포함할 수 있지만 이에 한정되지 않는다.
다른 실시예들에서, I/O 디바이스들(116 내지 122)은 출력(예를 들어, 가청, 가시, 또는 촉각 큐우(cue))을 제공하고 그리고/또는 운동 선수(124)로부터의 사용자 입력과 같은 입력을 수신하기 위해 사용될 수 있다. 이들 예시적인 I/O 디바이스들에 대한 예시적인 사용들이 아래에 제공되지만, 통상의 기술자는 이러한 논의가 단지 본 개시의 범위내의 다수의 옵션들 중 일부를 기술한다는 것을 이해할 것이다. 또한, 임의의 데이터 취득 유닛, I/O 디바이스, 또는 센서에 대한 참조는 여기에 개시되거나 (개별적으로 또는 조합하여) 당업계에 공지된 하나 이상의 I/O 디바이스, 데이터 취득 유닛, 및/또는 센서를 가질 수 있는 실시예를 개시한다고 해석되어야 한다.
(하나 이상의 네트워크들을 통한) 하나 이상의 디바이스들로부터의 정보는 속도, 가속도, 거리, 취해진 걸음들, 방향, 특정한 신체 부위들 또는 객체들의 다른 부위들 또는 객체들로의 상대적 움직임과 같은 모션 파라미터들, 또는 각속도, 직각거리(rectilinear) 속도 또는 이들의 조합들, 칼로리, 심박수, 땀 검출, 에포트(effort), 산소 소비량, 산소 역학, 및 압력, 충격력, 키, 체중, 나이, 인구학적 정보 및 이들의 조합들과 같은 운동 선수에 관한 정보와 같은 하나 이상의 카테고리들내에 있을 수 있는 다른 메트릭들과 같은 생리학적 파라미터들을 포함하지만 이에 한정되지 않는 각종의 상이한 파라미터들, 메트릭들 또는 생리학적 특징들의 형태로 사용(또는 활용)될 수 있다.
시스템(100)은 시스템(100)내에 수집되거나 그렇지 않으면 시스템(100)에 제공된 파라미터들, 메트릭들, 또는 생리학적 특징들을 포함하는 운동 데이터를 송신하고 그리고/또는 수신하도록 구성될 수 있다. 일례로서, WAN(106)은 서버(111)를 포함할 수 있다. 서버(111)는 도 2의 시스템(200)의 하나 이상의 컴포넌트들을 가질 수 있다. 일 실시예에서, 서버(111)는 프로세서(206) 및 메모리(212)와 같은 프로세서 및 메모리를 적어도 포함한다. 서버(111)는 비일시적 컴퓨터 판독가능 매체상에 컴퓨터 실행가능 명령들을 저장하도록 구성될 수 있다. 명령들은 시스템(100)내에 수집된 미가공 또는 가공 데이터와 같은 운동 데이터를 포함할 수 있다. 시스템(100)은 에너지 소모와 같은 데이터를 사이트와 같은 소셜 네트워킹 웹사이트 또는 호스에 송신하도록 구성될 수 있다. 서버(111)는 하나 이상의 사용자들이 운동 데이터에 액세스하고 그리고/또는 비교하는 것을 허용하도록 활용될 수 있다. 이와 같이, 서버(111)는 운동 데이터 또는 다른 정보에 기초하여 통지들을 송신하고 그리고/또는 수신하도록 구성될 수 있다.
LAN(104)으로 돌아가서, 예시적인 실시예들을 참조하여 아래에서 차례로 논의되는 디스플레이 디바이스(116), 이미지 캡처 디바이스(118), 센서(120), 및 연습 디바이스(122)와 동작적으로 통신하는 컴퓨터 디바이스(114)가 도시되어 있다. 일 실시예에서, 디스플레이 디바이스(116)는 특정한 운동 움직임을 수행하도록 오디오-시각 큐우들을 운동 선수(124)에게 제공할 수 있다. 오디오-시각 큐우들은 BAN(102) 및/또는 WAN의 디바이스를 포함하여, 컴퓨터 디바이스(114) 또는 임의의 다른 디바이스상에 실행된 컴퓨터 실행가능 명령에 응답하여 제공될 수 있다. 디스플레이 디바이스(116)는 터치스크린일 수 있거나 그렇지 않으면 사용자-입력을 수신하도록 구성될 수 있다.
일 실시예에서, 데이터는 단독으로 또는 다른 디바이스들과 조합하여 운동 파라미터들 또는 저장된 정보를 검출(및/또는 측정)하기 위해 사용될 수 있는 센서(120)와 같은 다른 센서들 및/또는 이미지 캡처 디바이스(118)로부터 획득될 수 있다. 이미지 캡처 디바이스(118) 및/또는 센서(120)는 트랜시버 디바이스를 포함할 수 있다. 일 실시예에서, 센서(128)는 적외선(IR), 전자기(EM) 또는 음향 트랜시버를 포함할 수 있다. 예를 들어, 이미지 캡처 디바이스(118) 및/또는 센서(120)는 운동 선수(124)의 방향을 향하는 것을 포함하는 환경으로 파형들을 송신할 수 있고, "반사(reflection)"를 수신하거나 그렇지 않으면 이들 방출된 파형들의 변경들을 검출할 수 있다. 통상의 기술자는 상이한 데이터 스펙트럼들의 크기에 대응하는 신호들이 다양한 실시예들에 따라 활용될 수 있다는 것을 쉽게 이해할 것이다. 이와 관련하여, 디바이스들(118 및/또는 120)은 외부 소스들(예를 들어, 시스템(100)이 아님)로부터 방출된 파형들을 검출할 수 있다. 예를 들어, 디바이스들(118 및/또는 120)은 사용자(124) 및/또는 주변 환경으로부터 방출된 열을 검출할 수 있다. 따라서, 이미지 캡처 디바이스(126) 및/또는 센서(128)는 하나 이상의 열 이미징 디바이스들을 포함할 수 있다. 일 실시예에서, 이미지 캡처 디바이스(126) 및/또는 센서(128)는 범위 현상학(range phenomenology)을 수행하도록 구성된 IR 디바이스를 포함할 수 있다.
일 실시예에서, 연습 디바이스(122)는 운동 선수(124)가 예를 들어, 트레드밀(treadmill), 스텝 머신 등과 같은 신체 움직임을 수행하게 하거나 용이하게 하도록 구성가능한 임의의 디바이스일 수 있다. 디바이스가 정지형이라는 요건은 없다. 이와 관련하여, 무선 기술들은 휴대 디바이스들이 활용되게 하여, 자전거 또는 다른 모바일 연습 디바이스가 특정한 실시예들에 따라 활용될 수 있다. 통상의 기술자는 장비(122)가 컴퓨터 디바이스(114)로부터 원격으로 수행된 운동 데이터를 포함하는 전자 디바이스를 수용하기 위한 인터페이스일 수 있거나 그 인터페이스를 포함할 수 있다는 것을 이해할 것이다. 예를 들어, 사용자는 (BAN(102)과 관련하여 후술하는) 스포츠 디바이스를 사용할 수 있고, 홈 또는 장비(122)의 위치에 복귀시에, 운동 데이터를 엘리먼트(122) 또는 시스템(100)의 임의의 다른 디바이스에 다운로딩할 수 있다. 여기에 개시된 임의의 I/O 디바이스는 활동 데이터를 수신하도록 구성될 수 있다.
2. 신체 영역 네트워크
BAN(102)은 (수동 디바이스들을 포함하여) 운동 데이터의 수집을 수신하고, 송신하거나 그렇지 않으면 용이하게 하도록 구성된 2개 이상의 디바이스들을 포함할 수 있다. 예시적인 디바이스들은 I/O 디바이스들(116 내지 122)을 포함하지만, 이에 한정되지 않는, 당업계에 공지되거나 여기에 개시된 하나 이상의 데이터 취득 유닛들, 센서들, 또는 디바이스들을 포함할 수 있다. BAN(102)의 2개 이상의 컴포넌트들은 직접 통신할 수 있고, 또 다른 실시예들에서는, 통신은 BAN(102), LAN(104), 및/또는 WAN(106)의 일부일 수 있는 제 3 디바이스를 통해 실시될 수 있다. LAN(104) 또는 WAN(106)의 하나 이상의 컴포넌트들은 BAN(102)의 일부를 형성할 수 있다. 특정한 구현들에서, 휴대 디바이스(112)와 같은 디바이스가 BAN(102), LAN(104), 및/또는 WAN(106)의 일부인지 여부는 모바일 셀룰러 네트워크 아키텍처(108) 및/또는 WAN 아키텍처(110)와의 통신을 허용하는 액세스 포인트들에 대한 운동 선수들의 근접성에 의존할 수 있다. 사용자 활동 및/또는 선호도는 하나 이상의 컴포넌트들이 BAN(102)의 일부로서 활용되는지에 또한 영향을 미칠 수 있다. 예시적인 실시예들이 아래에 제공된다.
사용자(124)는 휴대 디바이스(112), 구두 장착 디바이스(126), 손목 착용 디바이스(128), 및/또는 정보를 수집하기 위해 사용되는 물리적 디바이스 또는 위치를 포함할 수 있는 센싱 위치(130)와 같은 센싱 위치와 같은 임의의 수의 디바이스들과 연관될 수 있다(예를 들어, 임의의 수의 디바이스들을 소유하고, 휴대하고, 착용하고, 그리고/또는 그 디바이스들과 상호작용할 수 있다). 하나 이상의 디바이스들(112, 126, 128, 및/또는 130)은 피트니스 또는 운동 목적을 위해 특수하게 설계되지 않을 수 있다. 실제로, 본 개시의 양태들은 운동 데이터를 수집하고, 검출하고, 그리고/또는 측정하기 위해 복수의 디바이스들로부터의 데이터를 활용하는 것에 관한 것이고, 이 복수의 디바이스들 중 일부는 피트니스 디바이스들이 아니다. 특정한 실시예들에서, BAN(102)(또는 임의의 다른 네트워크)의 하나 이상의 디바이스들은 특정한 스포츠 사용을 위해 특수하게 설계되는 피트니스 또는 스포츠 디바이스를 포함할 수 있다. 여기에서 사용되는 바와 같이, 용어 "스포츠 디바이스"는 특정 스포츠 또는 피트니스 활동 동안 사용될 수 있거나 관련될 수 있는 임의의 물리적 객체를 포함한다. 예시적인 스포츠 디바이스들은 골프 공들, 농구공들, 축구공들, 풋볼들, 하키 퍽들, 웨이트들, 배트들, 클럽들, 스틱들, 패들들, 매트들, 및 이들의 조합들을 포함할 수 있지만, 이에 한정되지 않는다. 다른 실시예들에서, 예시적인 피트니스 디바이스들은 골 네트, 링, 백보드, 중앙선, 아우터 바운더리 마커, 베이스, 및 이들이 조합들과 같은 필드의 부분들과 같은 환경 자체를 포함하여, 특정 스포츠가 발생하는 스포츠 환경내의 객체들을 포함할 수 있다.
이와 관련하여, 통상의 기술자는 하나 이상의 스포츠 디바이스들이 또한 구조의 일부일 수 있고(또는 구조를 형성할 수 있고), 반대로, 구조가 하나 이상의 스포츠 디바이스들을 포함할 수 있거나 스포츠 디바이스와 상호작용하도록 구성될 수 있다. 예를 들어, 제1 구조는 제거가능하고 골 포스트로 대체될 수 있는 농구 링 및 백보드를 포함할 수 있다. 이와 관련하여, 하나 이상의 스포츠 디바이스들은 독립적으로 또는 하나 이상의 구조들과 연관된 하나 이상의 센서들과 같은 다른 센서들과 함께 활용된 정보를 제공할 수 있는 도 1 내지 도 3과 관련하여 위에서 논의한 센서들 중 하나 이상과 같은 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 백보드는 백보드에 대한 농구공에 의한 힘 및 힘의 방향을 측정하도록 구성된 제1 센서들을 포함할 수 있고, 링은 힘을 검출하기 위한 제 2 센서를 포함할 수 있다. 유사하게는, 골프 클럽은 축상의 그립 속성들을 검출하도록 구성된 제1 센서 및 골프 공과의 충격을 측정하도록 구성된 제 2 센서를 포함할 수 있다.
예시적인 휴대 디바이스(112)를 살펴보면, 이것은 예를 들어, 캘리포니아주 쿠퍼티노 소재의 Apple, Inc.로부터 입수가능한 IPOD®, IPAD®, 또는 iPhone® 브랜드 디바이스들, 또는 워싱턴주 레드몬드 소재의 Microsoft로부터 입수가능한 Zune® 또는 Microsoft® 윈도우 디바이스들을 포함하는, 전화 또는 디지털 음악 플레이어와 같은 다목적 전자 디바이스일 수 있다. 당업계에 공지되어 있는 바와 같이, 디지털 미디어 플레이어들은 컴퓨터용의 출력 디바이스, 입력 디바이스, 및/또는 저장 디바이스로서 역할을 할 수 있다. 디바이스(112)는 BAN(102), LAN(104), 또는 WAN(106)에서의 하나 이상의 디바이스들로부터 수집된 미가공 또는 가공 데이터를 수신하는 입력 디바이스로서 구성될 수 있다. 하나 이상의 실시예들에서, 휴대 디바이스(112)는 컴퓨터 디바이스(114)의 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 휴대 디바이스(112)는 모바일 단말기를 포함하도록, 추가의 컴포넌트들을 갖거나 갖지 않는 위에서 논의한 임의의 I/O 디바이스들(116 내지 122)과 같은 디스플레이(116), 이미지 캡처 디바이스(118), 및/또는 하나 이상의 데이터 취득 디바이스들을 포함할 수 있다.
B. 예시적인 의류/액세서리 센서들
특정한 실시예들에서, I/O 디바이스들은 시계, 암밴드, 손목 밴드, 목걸이, 셔츠, 구두 등을 포함하는 사용자(124)의 의복 또는 액세서리들 내에 형성될 수 있거나 그렇지 않으면 그와 연관될 수 있다. 이들 디바이스들은 사용자의 운동 움직임을 모니터링하도록 구성될 수 있다. 이들이 컴퓨터 디바이스(102)와 사용자(124)의 상호작용 동안 운동 움직임을 검출할 수 있고 그리고/또는 컴퓨터 디바이스(102)(또는 여기에 개시된 임의의 다른 디바이스)와 독립적으로 동작할 수 있다는 것을 이해해야 한다. 예를 들어, BAN(102)에서의 하나 이상의 디바이스들은 컴퓨터 디바이스(102)와 사용자의 근접성 또는 상호작용과 관계없이 활동을 측정하는 종일 활동 모니터(an-all day activity monitor)로서 기능하도록 구성될 수 있다. 아래의 단락들에서 각각 설명되는 도 3에 도시된 감각 시스템(302) 및 도 4에 도시된 디바이스 어셈블리(400)가 단지 예시적인 예들이라는 것을 더 이해해야 한다.
ⅰ. 구두 장착 디바이스
특정한 실시예들에서, 도 1에 도시된 디바이스(126)는 여기에 개시되고 그리고/또는 당업계에 공지된 것들을 포함하지만 이에 한정되지 않는, 하나 이상의 센서들을 포함할 수 있는 신발을 포함할 수 있다. 도 3은 하나 이상의 센서 어셈블리들(304)을 제공하는 센서 시스템(302)의 하나의 예시적인 실시예를 예시한다. 어셈블리(304)는 예를 들어, 가속도계, 자이로스코프, 위치 결정 컴포넌트들, 힘 센서들, 및/또는 여기에 개시되거나 당업계에 공지된 임의의 다른 센서와 같은 하나 이상의 센서들을 포함할 수 있다. 예시된 실시예에서, 어셈블리(304)는 힘-감지 저항기(FSR) 센서들(306)을 포함할 수 있는 복수의 센서들을 통합하지만, 다른 센서(들)가 활용될 수 있다. 포트(308)가 구두의 구두창 구조내에 포지셔닝될 수 있고, 일반적으로는, 하나 이상의 전자 디바이스들과의 통신을 위해 구성된다. 포트(308)는 옵션으로는 전자 모듈(310)과 통신하도록 제공될 수 있고, 구두창 구조(309)는 모듈(310)을 수용하기 위한 하우징(311) 또는 다른 구조를 옵션으로 포함할 수 있다. 센서 시스템(302)은 포트(308)를 통해 모듈(310) 및/또는 다른 전자 디바이스와의 통신을 가능하게 하기 위해, FSR 센서들(306)을 포트(308)에 연결하는 복수의 리드들(312)을 또한 포함할 수 있다. 모듈(310)은 구두의 구두창 구조에서 우물 또는 캐비티내에 포함될 수 있고, 하우징(311)이 우물 또는 캐비티내에 포지셔닝될 수 있다. 일 실시예에서, 적어도 하나의 자이로스코프 및 적어도 하나의 가속도계가 모듈(310) 및/또는 하우징(311)과 같은 단일 하우징내에 제공된다. 적어도 다른 실시예에서, 동작가능할 때, 방향 정보 및 각속도 데이터를 제공하도록 구성된 하나 이상의 센서들이 제공된다. 포트(308) 및 모듈(310)은 연결 및 통신을 위한 상보적 인터페이스들(314 및 316)을 포함한다.
특정한 실시예들에서, 도 3에 도시된 적어도 하나의 힘 감지 저항기(306)는 제1 및 제 2 전극들 또는 전기 접점들(318 및 320), 및 전극들(318 및 320)을 함께 전기적으로 연결하기 위해 전극들(318 및 320) 사이에 배치된 힘 감지 저항 재료(322)를 포함할 수 있다. 압력이 힘 감지 저항 재료(322)에 인가될 때, 힘 감지 저항 재료(322)의 저항율 및/또는 도전율이 변화하고, 이것은 전극들(318 및 320) 사이의 전위를 변화시킨다. 저항의 변화는 센서(316)에 인가된 힘을 검출하기 위해 센서 시스템(302)에 의해 검출될 수 있다. 힘 감지 저항 재료(322)는 다양한 방식으로 압력하에서 그것의 저항을 변화시킬 수 있다. 예를 들어, 힘 감지 저항 재료(322)는, 재료가 압축될 때 감소하는 내부 저항을 가질 수 있다. 다른 실시예들은 "스마트 재료들"을 통해 구현될 수 있는 "체적-기반 저항"을 활용할 수 있다. 다른 예로서, 재료(322)는 힘 감지 저항 재료(322)의 2개의 피스들 사이 또는 힘 감지 저항 재료(322)와 전극들(318 및 320) 중 하나 또는 양자 사이에서와 같이, 면 대 면 접촉의 정도를 변화시킴으로써 저항을 변화시킬 수 있다. 일부 환경들에서, 이러한 타입의 힘 감지 저항 반응은 "접촉 기반 저항"으로서 설명될 수 있다.
ⅱ. 손목 착용 디바이스
도 4에 도시되어 있는 바와 같이, (도 1에 도시된 감각 디바이스(128)와 유사할 수 있거나 포함할 수 있는) 디바이스(400)가 예를 들어, 손목, 팔, 발목, 목 등의 주위에 사용자(124)에 의해 착용되도록 구성될 수 있다. 디바이스(400)는 디바이스(400)의 동작 동안 사용되도록 구성된 누를 수 있는 입력 버튼(402)과 같은 입력 메커니즘을 포함할 수 있다. 입력 버튼(402)은 제어기(404) 및/또는 도 1에 도시된 컴퓨터 디바이스(114)와 관련하여 논의한 엘리먼트들 중 하나 이상과 같은 임의의 다른 전자 컴포넌트들에 동작가능하게 연결될 수 있다. 제어기(404)는 내장될 수 있거나 그렇지 않으면 하우징(406)의 일부일 수 있다. 하우징(406)은 탄성중합체 성분들을 포함하는 하나 이상의 재료들로 형성될 수 있고 디스플레이(408)와 같은 하나 이상의 디스플레이들을 포함할 수 있다. 디스플레이는 디바이스(400)의 조명가능 부분으로 고려될 수 있다. 디스플레이(408)는 LED 조명들(410)과 같은 일련의 개별 조명 엘리먼트들 또는 광 부재들을 포함할 수 있다. 조명들은 어레이로 형성될 수 있고 제어기(404)에 동작가능하게 연결될 수 있다. 디바이스(400)는 전체 디스플레이(408)의 일부 또는 컴포넌트로 또한 고려될 수 있는 표시기 시스템(412)을 포함할 수 있다. 표시기 시스템(412)이 (픽셀 부재(414)를 가질 수 있는) 디스플레이(408)와 함께 또는 디스플레이(408)로부터 완전히 개별적으로 동작하고 조명할 수 있다. 표시기 시스템(412)은 예시적인 실시예에서 LED 조명들의 형태를 또한 취할 수 있는 복수의 추가의 조명 엘리먼트들 또는 광 부재들(338)을 또한 포함할 수 있다. 특정한 실시예들에서, 표시기 시스템은 예를 들어, 하나 이상의 목적들을 향한 실행을 표현하기 위해 표시기 시스템(412)의 조명 부재들의 일부를 조명함으로써 목적들의 시각 표시를 제공할 수 있다. 디바이스(400)는 디스플레이(408) 또는 표시기 시스템(412)을 통해, 사용자의 활동에 기초하여 사용자가 획득한 활동 포인트 또는 통화와 관련하여 표현된 데이터를 디스플레이하도록 구성될 수 있다.
체결 메커니즘(416)이 풀릴 수 있고, 여기서, 디바이스(400)는 사용자(124)의 팔목 또는 일부 주위에 위치될 수 있으며, 그 후에 체결 메커니즘(416)은 맞물린 위치에 배치될 수 있다. 일 실시예에서, 체결 메커니즘(416)은 디바이스(120 및/또는 112)와 같은 컴퓨터 디바이스(114) 및/또는 디바이스들과의 동작적 상호작용을 위해 USB 포트를 포함하지만 이에 제한되지 않는 인터페이스를 포함할 수 있다. 특정한 실시예들에서, 체결 부재는 하나 이상의 자석들을 포함할 수 있다. 일 실시예에서, 체결 부재는 이동 부분들이 없을 수 있고 자기력에 전체적으로 의존할 수 있다.
특정한 실시예들에서, 디바이스(400)는 센서 어셈블리(도 4에 미도시)를 포함할 수 있다. 센서 어셈블리는 여기에 개시되고 그리고/또는 당업계에 공지된 것들을 포함하여, 복수의 상이한 센서들을 포함할 수 있다. 예시적인 실시예에서, 센서 어셈블리는 여기에 개시되거나 당업계에 공지된 임의의 센서를 포함할 수 있거나 그 임의의 센서에 대한 동작적 연결을 허용할 수 있다. 디바이스(400) 및/또는 그것의 센서 어셈블리는 하나 이상의 외부 센서들로부터 획득된 데이터를 수신하도록 구성될 수 있다.
ⅲ. 의류 및/또는 신체 위치 감지
도 1의 엘리먼트(130)는 센서, 데이터 취득 유닛, 또는 다른 디바이스와 같은 물리적 장치와 연관될 수 있는 예시적인 감각 위치를 도시한다. 또 다른 실시예들에서, 이것은 예를 들어, 이미지 캡처 디바이스(예를 들어, 이미지 캡처 디바이스(118))를 통해 모니터링되는 신체 부위 또는 영역의 특정한 위치일 수 있다. 특정한 실시예들에서, 엘리먼트(130)는 센서를 포함할 수 있어서, 엘리먼트들(130a 및 130b)은 운동복과 같은 의류에 통합된 센서들일 수 있다. 이러한 센서들은 사용자(124)의 신체의 임의의 원하는 위치에 배치될 수 있다. 센서들(130a/b)은 BAN(102), LAN(104), 및/또는 WAN(106)의 (다른 센서들을 포함하는) 하나 이상의 디바이스들과 (예를 들어, 무선으로) 통신할 수 있다. 특정한 실시예들에서, 수동 감지 표면들은 이미지 캡처 디바이스(118) 및/또는 센서(120)에 의해 방출된 적외광과 같은 파형들을 반사할 수 있다. 일 실시예에서, 사용자(124)의 의류에 위치한 수동 센서들은 파형들을 반사시킬 수 있는 유리 또는 다른 투명 또는 반투명 표면들로 이루어진 구형 구조들을 일반적으로 포함할 수 있다. 의류의 상이한 클래스들이 활용될 수 있고, 여기서, 의류의 소정의 클래스는 적절하게 착용할 때 사용자(124)의 신체의 특정한 부분에 근접하게 위치되도록 구성된 특정한 센서들을 갖는다. 예를 들어, 골프 의류는 제1 구성으로 의류상에 위치된 하나 이상의 센서들을 포함할 수 있고, 다른 축구 의류는 제 2 구성으로 의류상에 위치된 하나 이상의 센서들을 포함할 수 있다.
도 5는 감각 입력에 대한 예시적인 위치들(예를 들어, 감각 위치들(130a 내지 130o) 참조)을 도시한다. 이와 관련하여, 센서들은 사용자의 의복상에/내에 위치된 물리적 센서들일 수 있고, 또 다른 실시예들에서, 센서 위치들(130a 내지 130o)은 2개의 이동하는 신체 부분들 사이의 관계들의 식별에 기초할 수 있다. 예를 들어, 센서 위치(130a)는 이미지 캡처 디바이스(118)와 같은 이미지 캡처 디바이스로 사용자(124)의 모션들을 식별함으로써 결정될 수 있다. 따라서, 특정한 실시예들에서, 센서는 (센서 위치들(130a 내지 1306o) 중 하나 이상과 같은) 특정한 위치에 물리적으로 위치되지 않을 수 있지만, 예를 들어, 이미지 캡처 디바이스(118)로 그 위치의 특성들 또는 다른 위치들로부터 수집된 다른 센서 데이터를 감지하도록 구성된다. 이와 관련하여, 사용자의 신체의 전체 형상 또는 일부는 특정한 신체 부분들의 식별을 허용할 수 있다. 이미지 캡처 디바이스가 활용되는지 그리고/또는 사용자(124)상에 위치하고 그리고/또는 (감각 시스템(302)과 같은) 다른 디바이스들, 디바이스 어셈블리(400) 및/또는 여기에 개시되거나 당업계에 공지된 임의의 다른 디바이스 또는 센서로부터의 데이터를 사용하는 물리적 센서가 활용되는지에 관계없이, 센서들은 신체 부위의 현재 위치를 감지할 수 있고 그리고/또는 신체 부위의 움직임을 추적할 수 있다. 일 실시예에서, 위치(130m)에 관한 감각 데이터가 사용자의 중력 중심(무게 중심으로 또한 알려짐)의 결정에서 활용될 수 있다. 예를 들어, 위치(들)(1306m-1306o) 중 하나 이상에 관하여 위치(130a)와 위치(들)(1306f/1301) 사이의 관계들이, 사용자의 중력 중심이 (예를 들어, 점프 동안) 수직 축을 따라 상승되었는지 또는 사용자가 그들의 무릎을 굽히고 수축시킴으로써 점프를 "페이크(fake)"하려 시도하는지 결정하기 위해 활용될 수 있다. 일 실시예에서, 센서 위치(1306n)는 사용자(124)의 흉골(sternum) 근처에 위치될 수 있다. 유사하게, 센서 위치(146o)는 사용자(124)의 배꼽(navel)에 근접하게 위치될 수 있다. 특정한 실시예들에서, 센서 위치들(130m-130o)로부터의 데이터는 사용자(124)에 대한 중력 중심을 결정하기 위해 (단독으로 또는 다른 데이터와 조합하여) 활용될 수 있다. 다른 실시예들에서, 센서 위치들(130m 내지 130o)과 같은 다중의 여러 센서 위치들 사이의 관계들은 사용자(124)의 배향 및/또는 사용자(124)의 몸통의 비틀기와 같은 회전력을 결정하는데 활용될 수 있다. 또한, 위치(들)와 같은 하나 이상의 위치들이 순간 위치의 중심으로서 활용될 수 있다. 예를 들어, 일 실시예에서, 위치(들)(130m 내지 130o) 중 하나 이상은 사용자(124)의 순간 위치의 중심에 대한 포인트로서 작용할 수 있다. 다른 실시예에서, 하나 이상의 위치들은 특정한 신체 부위들 또는 영역들의 모멘트의 중심으로서 작용할 수 있다.
Ⅱ. 이미지 데이터로부터 운동 속성들을 결정하는 시스템들 및 방법들
본 개시의 양태들은 운동 선수의 능력을 향상시켜 그들의 신체의 움직임을 제때에 동기화시키도록 구성된 시스템 및 방법들에 관한 것이다. 특정한 실시예들은 운동 선수(또는 트레이너와 같은 다른 개인)가 운동 움직임의 하나 이상의 컴포넌트들 또는 특징들의 타이밍을 파악하여 최적화시키게 하는 피드백 시스템을 제공한다.
본 개시의 양태들은 사용자가 운동 속성들을 결정하기 위해 운동 활동을 수행하면서 취해진 데이터를 프로세싱하는 것에 관한 것이다. 신체적 활동을 수행하는 운동 선수의 비디오와 같은 이미지 데이터는 실시간 피드백 신호들을 생성하고 방출하여 템포의 표시를 운동 선수에게 제공하기 위해 활용될 수 있다. 다른 양태들은 운동 움직임의 컴포넌트 또는 하나 이상의 특징들의 적절한 타이밍을 운동 선수에게 경고하는 실시간 피드백 신호들을 생성하고 방출하기 위해, 이미지 데이터를 포함하지만 이에 한정되지 않는 데이터 및/또는 도 1을 참조하여 논의한 것들을 포함하는 여기에 개시된 임의의 센서를 사용하는 것에 관한 것이다. 또 다른 양태들은 운동 선수의 부적절한 타이밍 및/또는 움직임들을 검출하기 위해 이미지 및/또는 다른 센서를 사용하고, 이에 응답하여, 실시간 피드백 신호들을 생성하는 것에 관한 것이다. 이들 및 다른 양태들은 예들을 제공하는 것으로 의미되는 아래의 예시적인 예들의 문맥에서 논의될 것이지만, 본 개시의 범위를 제한하지 않는다.
도 6은 본 개시의 특정한 실시예에 따라 활용될 수 있는 예시적인 구현의 플로우차트(600)를 도시한다. 도 6의 일부 또는 본 개시의 다른 부분으로서 제공되는 방법들의 하나 이상의 양태들은 개인의 운동 속성을 결정하기 위해 활용될 수 있다. 특정한 실시예들에서, 하나 이상의 운동 움직임들의 템포가 결정될 수 있다. 이와 관련하여, 도 6의 하나 이상의 양태들은 피드백 시스템을 제공하여 운동 움직임 동안 어느 템포, 체력, 속도, 또는 다른 모션 파라미터가 우수한 결과들과 상관되는지 운동 선수가 식별하게 하기 위해 사용될 수 있다. 다른 양태들이 사용자의 운동 등급을 계산하기 위해 활용될 수 있다. 특정한 실시예들에서, 등급은 스포츠-특정 운동 등급일 수 있다. 예를 들어, 단일의 운동 선수가 골프 및 풋볼에 대해 상이한 등급을 가질 수 있다. 다른 실시예들에서, 등급은 스포츠내의 활동의 위치 또는 타입에 특정될 수 있다. 예를 들어, 제1 골프 등급은 클럽 스윙의 템포에 관한 것일 수 있고, 제 2 등급은 퍼터 스윙의 템포에 관한 것일 수 있다. 다른 예로서, 축구 등급에 대해, 제1 등급은 포워드 위치에 관련될 수 있고 제 2 등급은 골키퍼 위치에 관련될 수 있다. 풋볼 등급에 대해, 제1 등급은 쿼터백 위치에 관련될 수 있고 제 2 등급은 러닝 백 위치에 대한 것일 수 있다. 유사하게, 달리기 스포츠에서, 제1 등급은 스프린트 등급일 수 있는 반면에 다른 등급은 더 긴 거리와 관련될 수 있다.
블록(602)은 신체적 활동을 수행하는 운동 선수의 복수의 순차적 이미지들을 수신하도록 개시될 수 있다. 일 실시예에서, 순차적 이미지들은 실시간으로 수신될 수 있다. 통상의 기술자는 "라이브" 또는 실시간 데이터에 대해서도, 수신 데이터를 수신하고, 저장하고, 그리고/또는 프로세싱하는데 고유 지연들이 존재할 수 있다는 것을 이해할 것이다. 신체적 활동은 운동 선수의 임의의 신체적 움직임을 포함할 수 있고, 스포츠내의 운동 선수의 참여 또는 다른 참여자들과의 활동을 포함할 수 있다. 통상의 기술자는 대부분의 신체적 활동들이 단순한 단일 움직임들이 아니다는 것을 이해한다. 대신, 대부분의 활동들은 다중의 운동 움직임들을 포함한다. 일례로서, 골프 스윙은 운동 활동일 수 있다. 골프 스윙은 그것의 가장 단순한 형태에서, 골퍼로부터 적어도 2개의 개별 움직임들: 백스윙 및 골프 공과 접촉하는 후속 포워드 스윙을 요구하는 것으로 알려져 있다. 또한, 백스윙 움직임은 종종 균일하지 않지만, 시작점, 클럽이 후방으로 뻗을 때 가속 양태, 및 포워드 스윙이 시작되는 종료점과 같은 여러 개별 특징들을 포함한다. 유사하게는, 농구 점프 슛은 운동 선수가 코트에서 몰고 나가는 것, 팔꿈치들을 구부리는 것, 및 손목의 움직임들과 같은 복수의 움직임들을 포함한다. 상이한 실시예들하에서, 점프 슛의 이들 양태들 각각은 움직임 또는 특정한 움직임의 특징 또는 컴포넌트로서 분류될 수 있고, 그럼에도 불구하고, 운동 선수에게 이들 양태들에 관한 그들의 템포의 표시를 제공하는 것이 유익하다. 따라서, 하나 이상의 실시예들은 이미지 데이터를 포함하는 복수의 순차적 이미지들의 수신을 포함한다.
이미지 데이터는 휴대 엔터테인먼트 디바이스, 입체 카메라, 적외선 카메라, 게임 콘솔 카메라, 및 이들의 조합들, 또는 도 1과 관련하여 설명한 이미지 캡처 디바이스(118), 센서(120), 컴퓨터 디바이스(114), 및/또는 휴대 디바이스(112)를 포함하지만 이에 한정되지 않는 당업계에 공지된 다른 디바이스 중 어느 하나 이상을 포함하는 이미지 캡처 디바이스로부터 캡처될 수 있다. 위에서 논의한 바와 같이, 이미지 데이터는 예를 들어, 운동 선수가 운동 활동의 수행 동안 피드백을 획득하는 것을 허용하기 위해 실시간으로 캡처되고 그리고/또는 수신될 수 있다. 일 실시예에서, 블록(602)은 복수의 이미지들을 캡처하고, 여기서, 적어도 제1 이미지가 소정의 신체적 활동의 수행을 개시하기 이전의 운동 선수의 이미지 데이터를 포함하고, 복수의 후속 이미지들이 소정의 신체적 활동을 수행하는 운동 선수의 이미지 데이터를 포함한다. 이미지 데이터는 픽셀 데이터를 포함할 수 있다.
일 실시예에서, 컴퓨터 디바이스(114) 및/또는 디바이스(112)는 이미지 캡처 디바이스(예를 들어, 도 1에 도시된 이미지 캡처 디바이스(118) 및 센서(120)를 참조)를 포함할 수 있고, 트리거가 (디바이스와 집적되거나 로컬하게 또는 다양한 네트워크 아키텍처(예를 들어, 셀룰러 네트워크 아키텍처(108) 및/또는 WAN 아키텍처(110)를 통해 연결되는 것과 같이) 디바이스 자체에 직접 연결될 수 있는 스피커, 디스플레이, 또는 발광 디바이스(예를 들어, 도 1에 도시된 디스플레이 디바이스(115) 및/또는 도 4에 도시된 디바이스(400)의 디스플레이(408)) 중 적어도 하나로부터 송신될 수 있다. 또 다른 실시예들은 예를 들어, 하나 이상의 감지 디바이스들을 통해 개별 및 별개의 디바이스, 객체 또는 (인간 생성 입력들, 예를 들어, 인간 음성을 포함하는) 물건으로부터 송신된 트리거를 수신하고 그리고/또는 해독하기 위해 구성된 디바이스(128) 또는 컴퓨터 디바이스(114)와 같은 전자 디바이스를 포함할 수 있다.
하나 이상의 실시예들은 트리거링 이벤트에 기초하여 이미지 데이터의 캡처를 트리거할 수 있다. 트리거링 이벤트들은 예를 들어, 운동 선수에게 점프 슛의 슛팅, 골프 클럽의 스윙 또는 임의의 다른 신체적 활동과 같은 신체적 액션을 수행하도록 지시하기 위해 사용자로부터의 액션을 이끌어내도록 활용될 수 있다. 특정한 실시예들에서, 트리거링 이벤트들은 테니스 라켓 또는 다른 클럽, 배트 또는 다른 스포츠 디바이스의 백스윙 또는 포워드 스윙을 단지 수행하는 것과 같은, 액션의 일부를 이끌어내기 위해 활용될 수 있다. 여기에서 사용되는 바와 같이, 용어 "스포츠 디바이스"는 특정 스포츠 동안 사용될 수 있거나 관련될 수 있는 임의의 물리적 객체를 포함한다. 예시적인 스포츠 디바이스들은 골프 공들, 농구공들, 축구공들, 풋볼들, 하키 퍽들, 웨이트들, 배트들, 클럽들, 스틱들, 패들들, 매트들, 및 이들의 조합들을 포함할 수 있지만, 이에 한정되지 않는다. 다른 실시예들에서, 예시적인 피트니스 디바이스들은 골 네트, 링, 백보드, 중앙선, 아우터 바운더리 마커, 베이스, 및 이들이 조합들과 같은 필드의 부분들과 같은 환경 자체를 포함하여, 특정 스포츠가 발생하는 스포츠 환경내의 객체들을 포함할 수 있다. 이와 관련하여, 통상의 기술자는 하나 이상의 스포츠 디바이스들이 또한 구조의 일부일 수 있고(또는 구조를 형성할 수 있고), 반대로, 구조가 하나 이상의 스포츠 디바이스들을 포함할 수 있거나 스포츠 디바이스와 상호작용하도록 구성될 수 있다. 예를 들어, 제1 구조는 제거가능하고 골 포스트로 대체될 수 있는 농구 링 및 백보드를 포함할 수 있다. 이와 관련하여, 하나 이상의 스포츠 디바이스들은 독립적으로 또는 하나 이상의 구조들과 연관된 하나 이상의 센서들과 같은 다른 센서들과 함께 활용된 정보를 제공할 수 있는 도 1 내지 도 5와 관련하여 위에서 논의한 센서들 중 하나 이상과 같은 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 백보드는 백보드에 대한 농구공에 의한 힘 및 힘의 방향을 측정하도록 구성된 제1 센서들을 포함할 수 있고, 링은 힘을 검출하기 위한 제 2 센서를 포함할 수 있다. 유사하게는, 골프 클럽은 축상의 그립 속성들을 검출하도록 구성된 제1 센서 및 골프 공과의 충격을 측정하도록 구성된 제 2 센서를 포함할 수 있다.
스포츠 디바이스들은 가속도를 검출하기 위해 구성되는 가속도계 모듈과 같은 착탈식 센서를 포함할 수 있다. 가속도계 모듈은 다른 센서(즉, 압력 센서)로 대체될 수 있다. 착탈식 센서들을 사용하는 것은 센서가 축구 공들, 파워볼들, 풋볼들과 같은 여러 다른 디바이스들과 사용되게 할 수 있고, 그리고/또는 사용자가 새로운 센서를 획득하지 않고도 고장 센서를 업그레이드하거나 대체할 수 있게 한다. 특정한 실시예들에서, 하나 이상의 센서들(201)의 배치는 포함된 센서들의 중량이 스포츠 디바이스의 밸런스 또는 무게 중심을 변화시키지 않도록 구성될 수 있다.
특정한 실시예들에서, 하나 이상의 센서들이 사용자에 의해 홀딩되고, 부착되거나 착용될 수 있다. 예시적인 "개인" 디바이스들은 무엇보다도, 구두, 셔츠, 쇼트 팬츠, 글로브, 모자와 같은 의복, 또는 시계, 전화, 및 미디어 플레이어와 같은 전자 디바이스들을 포함할 수 있다. 일 실시예에서, 센서들은 사용자의 구두에 부착가능할 수 있다. 다른 실시예에서, 디바이스는 시계, 링에 의해 유사하게 수행되는 것과 같이 사용자의 팔에 부착가능할 수 있거나, 모바일 단말기 디바이스들 및/또는 개인 미디어 플레이어들을 포함하는 임의의 핸드헬드 전자 디바이스와 같이 손으로 움켜쥘 수 있다. 통상의 기술자는 본 개시의 이익으로, 하나 이상의 개인 디바이스들이 스포츠 디바이스, 또는 여기에서의 임의의 다른 컴포넌트를 포함할 수 있다는 것을 쉽게 이해할 것이다. 유사하게, 하나 이상의 구조들은 하나 이상의 개인 디바이스들을 포함할 수 있거나 그와 상호작용하도록 구성될 수 있다.
트리거링 이벤트들은 신체적 액션을 수행하는 운동 선수의 이미지 데이터의 캡처를 트리거링하는데 활용될 수 있다. 도 7은 도 6의 블록(602)의 일부와 같이, 또는 블록(602)과 별개로 수행될 수 있는 하나의 방법의 예시적인 플로우차트를 제공한다. 도 7을 살펴보면, 트리거링 이벤트를 개시할지 여부를 결정하기 위해 판정(702)이 구현될 수 있다. 판정(702) 또는 여기에서의 임의의 다른 판정에 대한 입력들은 그 중에서도, 사용자 입력, 센서 값, 및 이들의 조합들에 기초할 수 있다. 예를 들어, 일 실시예에서, 트리거링 이벤트는 신체적 활동의 수행을 개시할 것을 운동 선수에게 지시하거나 나타내기 위해 구성될 수 있다(예를 들어, 블록(704) 참조). 따라서, 트리거링 이벤트를 구현할지 여부 및/또는 트리거링 이벤트의 일부로서 어떤 트리거(들)가 활용될 수 있는지는 신체적 활동, 트리거 및/또는 사용자의 위치, 사용자 입력, 비일시적 컴퓨터 판독가능 매체상에 위치된 미리 정의된 컴퓨터 실행가능 명령들, 또는 이들의 조합들에 의존할 수 있다. 플로우차트(700)가 판정(702)으로 시작하는 것으로 도시되어 있지만, 통상의 기술자는 플로우차트(700)가 판정(702) 또는 임의의 다른 판정으로 개시되는 것을 요구하지 않는다는 것을 이해할 것이다. 또한, 판정(702) 또는 여기에 개시된 임의의 다른 판정 또는 블록은 자연 법칙에 의해 금지되지 않으면, 여기에 개시된 임의의 다른 프로세스들 이전에, 이후에 또는 그 동안 부분적으로 또는 전체적으로 구현될 수 있다.
트리거(블록(704) 또는 여기에 개시된 임의의 다른 프로세스 또는 시스템에서 활용되는지 여부)는 오디오, 비디오, 촉각, 또는 이들의 조합들일 수 있다. 실제로, 통상의 기술자는 임의의 인간-감지가능한 트리거가 본 개시에 따라 활용될 수 있다는 것을 이해할 것이다. 트리거는 소정의 신체적 활동을 수행할 것을 사용자에게 나타내거나 지시할 수 있다. 예를 들어, 사용자에게는 전자 디바이스로부터 플래시를 볼 때 200미터 달리기를 개시하도록 지시될 수 있다. 또 다른 실시예에서, 사용자에게는 가청 큐우를 들을 때 특정한 스포츠에 대해 특정된 훈련을 수행하도록 지시될 수 있다. 트리거 자체는 명령들을 제공할 수 있지만, 다른 실시예들에서, 사용자에게는 트리거를 수신하기 이전에 어떤 활동을 실시할지 통지될 수 있다. 이와 관련하여, 단순한 플래시 광 또는 가청 잡음이 특정한 실시예들에서 충분할 수 있다. 일 실시예에서, 인간 감지가능한 트리거는 신체적 활동을 수행하는 사용자의 적어도 하나의 이미지를 캡처하도록 구성되는 제1 카메라에 동작가능하게 연결된 디바이스로부터 송신된다. 통상의 기술자는 다중의 트리거들이 단일 프로세스내에서 활용될 수 있다는 것을 더 인식할 것이다.
복수의 트리거들 중 적어도 하나가 다른 트리거와는 상이한 타입일 수 있다. 예를 들어, 제1 트리거는 가청 트리거일 수 있고 제2 트리거는 촉각 트리거일 수 있다. 다른 예로서, 제1 트리거는 제1 가청 트리거일 수 있고 제 2 트리거는 예를 들어, 상이한 사운드, 피치, 볼륨, 지속기간, 및/또는 이들의 조합들에 의해 상이한 가청 트리거일 수 있다. 또한, 상이한 트리거들이 상이한 횟수들로 구현될 수 있고 그리고/또는 운동 선수로부터 상이한 액션들을 얻기 위해 활용될 수 있다. 예를 들어, (블록(704)에서 구현된 것과 같은) 제1 트리거는 제1 소정의 신체적 활동의 수행을 개시하도록 운동 선수를 프롬프트하기 위해 구성될 수 있다. 또 다른 실시예에서, 제 2 트리거는 제 2 신체적 활동을 수행하도록 운동 선수에게 지시하거나 큐우하기 위해 구현될 수 있다. 블록(704)과 유사하거나 동일한 프로세스가 (판정(702)과 같은) 판정에 기초하는 것을 포함하여, 제 2 트리거를 구현하기 위해 구현될 수 있다. 일례에서, 신체적 활동의 수행 동안 소정의 움직임을 수행하도록 운동 선수에게 나타내기 위해, (제 2 경우에 대해 구현된 제1 트리거와 유사하거나 동일할 수 있는) 제 2 트리거가 신체적 활동의 수행 동안 소정의 움직임을 수행하도록 운동 선수에게 큐우하거나 지시하기 위해 구현될 수 있다. 유사하게는, 트리거 플래그가 제 2 이미지(또는 복수의 이미지들)와 연관될 수 있다. 일 실시예에서, 제 2 트리거 플래그는 제 2 트리거링 이벤트의 타이밍에 상관하는 복수의 이미지들내의 이미지와 연관될 수 있다. 하나 이상의 플래그들이 트리거(들)에 응답하는 운동 선수들의 활동들의 수행과 연관될 수 있다. 이러한 플래그들은 픽셀 데이터로부터의 인지된 모션들 또는 결정된 액션들에 기초한 이미지들과 연관될 수 있다. 도 6의 블록들(604 및 606) 및 도 8의 블록들(804 및 806)을 포함하지만 이에 한정되지 않는, 이미지들을 프로세싱하는 예시적인 방법들이 설명된다. 통상의 기술자는 다른 구현들이 본 개시의 범위내에 있다는 것을 이해할 것이다.
특정한 실시예들에서, (도 6의 블록(602), 도 7의 블록(706), 또는 임의의 다른 프로세스의 일부와 같은) 이미지 데이터의 캡처링이 (플로우차트(700)의 일부로서 구현된 트리거와 같은) 트리거에 응답할 수 있다. 예를 들어, 트리거는 전자 디바이스에 의해 수신될 수 있거나 그렇지 않으면 감지될 수 있다. 일 실시예에서, 운동 선수의 이미지 데이터를 캡처하기 위해 구성된 이미지 캡처 디바이스는 트리거를 검출하고, 감지하고, 그리고/또는 측정할 수 있고, 이에 응답하여, 이미지들의 캡처링을 자동으로 개시할 수 있다(예를 들어, 블록(706) 참조). 다른 실시예들에서, 적어도 하나의 이미지가 적어도 하나의 트리거링 이벤트 이전에 캡처된다. 이것은 예를 들어, 사용자가 트리거를 기대하는 것과 같이 트리거를 "점프"하였는지 결정하는데 유용할 수 있다. 이미지 데이터가 트리거링 이벤트(예를 들어, 블록(706) 이전 또는 이후에 캡처되었는지에 관계없이, 트리거 플래그는 복수의 이미지내의 임지와 연관될 수 있다(예를 들어, 블록 708). 예를 들어, 비일시적 컴퓨터 판독가능 매체가 프로세서에 의해 실행될 때, 대응하는 이미지 데이터와 트리거링 이벤트의 타이밍을 상관시키는 트리거 플래그를 연관시키도록 구성되는 컴퓨터 실행가능 명령들을 포함할 수 있다. 통상의 기술자는 전자적으로 저장된 이미지 데이터를 플래그하거나 그렇지 않으면 마킹하는 다수의 방식이 있다는 것을 이해할 것이고, 따라서, 이들은 여기에 더 상세히 설명하지 않는다. 아래에 더욱 상세히 설명하는 바와 같이, 하나 이상의 트리거 플래그들은 하나 이상의 운동 속성들의 결정에 활용될 수 있다.
본 개시의 다른 양태들은 블록(602)의 일부로서 캡처된 이미지 데이터와 같은 이미지 데이터를 프로세싱하는 것에 관한 것이다. 위에서 논의한 바와 같이, 데이터의 캡처링 및/또는 수신은 실시간으로 실시될 수 있다. 다른 실시예들은 이미지 데이터의 실시간 프로세싱을 또한 포함한다. 일례로서, 블록(604)은 신체적 활동 동안 제1 운동 움직임의 제1 특징을 수행하는 제1 운동 선수의 이미지 데이터를 식별하기 위해 복수의 이미지들 중 적어도 일부를 프로세싱하도록 개시될 수 있다. 특정한 실시예들에서, 운동 선수의 신체 부위의 위치, 또는 이미지 데이터내의 스포츠 디바이스의 위치(절대 위치 또는 운동 선수와 같은 다른 객체에 대한 이미지 데이터에 의해 표현된 임의의 다른 객체)는 특정한 움직임들의 하나 이상의 특징들의 수행을 검출하기 위해 사용될 수 있다. 예를 들어, 신체적 활동이 업스윙 운동 움직임 및 후속 다운스윙 운동 움직임을 갖는 골프 스윙인 경우에, 예시적인 검출은 골프 클럽이 지표면으로부터 제1 거리내에 있다는 것을 나타내는 픽셀 데이터를 검출하는 것을 포함할 수 있다. 다른 실시예에서, 운동 선수가 업스윙 운동 움직임의 제 2 특징을 수행하는 이미지 데이터는 골프 클럽이 지표면으로부터 제 2 거리내에 있다는 것을 나타내는 픽셀 데이터로부터 검출된다.
또 다른 실시예에서, 특징이 수행된다는(또는 수행되었다는) 표시는 모션 파라미터의 검출을 포함할 수 있다. 예를 들어, 속도값 또는 가속도값 중 적어도 하나는 특징의 개시 또는 발생을 결정하기 위해(또는 특징이 곧 발생할 것이라는 가능성을 나타내기 위해) 활용될 수 있다. 모션 파라미터들은 (예를 들어, 상이한 이미지들 사이의 픽셀 데이터 변화들을 결정하는 것과 같은) 이미지 데이터로부터 전체적으로 결정될 수 있다. 다른 구현들에서, 모션 파라미터들은 이미지 데이터를 사용하지 않고 결정될 수 있다. 예를 들어, 도 1 내지 도 5와 관련하여 상술한 센서들 중 하나 이상은 단독으로 또는 다른 센서들과 조합하여 활용될 수 있다. 또 다른 실시예들에서, 하나 이상의 모션 파라미터들이 이미지 데이터 및 다른 센서 데이터 양자로부터 결정될 수 있다. 통상의 기술자는 위치, 모션 데이터, 센서 데이터(이미지 및 미이미지(non-image) 기반 양자)가 운동 움직임내의 특징(또는 운동 움직임 자체)의 발생을 검출하기 위해 사용될 수 있다는 것을 쉽게 이해할 것이다.
도 8은 특정한 실시예에 따른 하나 이상의 특징들 또는 운동 움직임들을 검출하기 위해 활용될 수 있는 예시적인 방법의 플로우차트(800)이다. 특정한 실시예들에서, 플로우차트(800)의 하나 이상의 엘리먼트들은 도 6의 블록(604)의 일부로서 구현될 수 있다. 또 다른 실시예들에서, 플로우차트의 하나 이상의 엘리먼트들은 블록(604)과 완전히 독립적으로 구현될 수 있다. 특정한 실시예들에 따르면, 이미지 데이터는 이미지 데이터에 의해 표현된 객체들의 하나 이상의 움직임들이 임계 기준을 충족시키는지는 결정하기 위해 프로세싱될 수 있다(예를 들어, 블록(804/806) 참조). 예시적인 기준은 움직임 기준 및 움직임 품질 기준을 포함할 수 있다(예를 들어, 블록(804 및 806) 각각을 참조). 일 실시예에서, 제1 움직임 임계 기준과 같은 제1 기준은 관심이 있을 수 있는 특정한 이미지들을 식별하는 필터로서 역할을 할 수 있고, 제 2 기준은 (동일한 그룹내에 있을 수 있는) 어떤 데이터가 더욱 엄격한 기준을 충족하는지를 더 식별한다. 제 2 기준은 움직임 품질 임계치일 수 있다(예를 들어, 블록(612) 참조). 또 다른 실시예에서, 제1 및 제 2 기준들은 독립적으로 실시될 수 있고, 또 다른 실시예들에서, 복수의 기준들 중 하나만이 활용될 수 있다. 특정한 실시예들에서, 기준들은 하나 이상의 움직임 임계 기준, 하나 이상의 임계 품질 임계 기준, 및/또는 다른 기준들을 포함할 수 있다.
일 구현에서, 블록(804)이 구현될 수 있고, 블록(804)의 결과는 블록(806) 또는 다른 프로세서를 구현할지(또는 어떻게 구현할지)의 결정으로서 적어도 부분적으로 사용될 수 있다. 또 다른 실시예에서, 제1 및 제 2 기준들은 독립적으로 실시될 수 있다. 예를 들어, 블록들(806)은 동시에 또는 서로의 결과에 관계없이 상이한 시간에 구현될 수 있다. 또 다른 실시예들에서, 복수의 기준들 중 하나만이 활용될 수 있다. 예를 들어, 블록들(804 및 806) 중 하나(또는 그것의 일부)만이 구현될 수 있다.
하나의 제한하지 않는 예로서, 블록(804)은 움직임 임계치를 충족하는 데이터를 식별하기 위해 이미지 데이터를 프로세싱하도록 구현될 수 있다. 일례에서, 복수의 수신 이미지들 중 하나 이상은 제1 움직임 임계치를 적어도 충족하는 이미지들의 제1 범위를 식별하기 위해 활용될 수 있다. (이미지들 전체 또는 일부들을 포함할 수 있는) 이미지 데이터가 이미지 데이터내에 표현된 객체의 움직임의 제1 임계 레벨을 식별하기 위해 분석될 수 있다. 객체는 공, 배트, 퍽 또는 글러브와 같은 스포츠 디바이스일 수 있다. 객체는 또한 운동 선수 또는 운동 선수의 일부일 수 있다. 특정한 실시예들에서, 픽셀 데이터는 제1 임계 레벨을 충족하는 캡처된 이미지들의 일부에서 픽셀들의 양을 식별하기 위해 분석될 수 있다.
임계 레벨은 객체의 움직임을 나타내도록 구성될 수 있다. 제한하지 않는 예로서, 블록(804) 또는 여기에 기재된 임의의 다른 프로세스의 일부로서 활용된 하나 이상의 임계치들은 수평 움직임(예를 들어, 달리기) 또는 수직 움직임(예를 들어, 공을 덩크하는 것), 또는 양자와 관련될 수 있다. 이러한 임계 레벨은 여기에 개시된 하나 이상의 추가의 임계 레벨들과 완전히 상이할 수 있다. 예를 들어, 제1 움직임 임계치는 운동 선수의 팔 움직임에 의해 트리거링될 수 있고, 제 2 임계치는 다른 팔, 다리 등과 같은 다른 신체 부위 또는 영역과 관련된 특정한 움직임들을 선택할 수 있다. 다른 예로서, 제1 움직임 임계치는 골프 클럽 헤드와 연관될 수 있는 반면에 다른 것은 운동 선수의 팔 움직임에 의해 트리거링된다. 일 실시예에서, 제1 임계치는 제1 신체 부위가 이동되었는지 그리고/또는 신체 부위가 특정한 축을 따라 이동되었는지를 검출할 수 있다. 여기에서 사용된 바와 같이, "신체 부위"는 이미지(예를 들어, 픽셀) 데이터내에 표현된 사용자의 신체의 임의의 하나 이상의 섹션들, 영역들, 시스템들, 또는 부위들일 수 있다. 일 실시예에서, 이미지 데이터는 단일 부속물(예를 들어, 다리 또는 팔), 부속물들의 그룹(예를 들어, 팔과 다리 또는 2개의 팔들), 또는 이들의 일부들과 상관될 수 있다. 특정한 실시예들에서, 신체 부위는 상부 다리 및/또는 내부 팔 영역들과 같은 다중의 부속물들의 일부에 대응할 수 있고, 또 다른 실시예에서, 이 부위는 부속물들이 없다. 다른 실시예들에서, 제1 영역(예를 들어, 상부 영역)은 다른 영역(예를 들어, 하부 영역)과 구별될 수 있다. 본 개시의 이익을 갖는 통상의 기술자는 (적어도 하나의 픽셀과 같은) 이미지 데이터에 의해 표현된 신체의 임의의 부위가 특정한 실시예들에 따라 "신체 부위"로서 작용할 수 있다는 것을 이해할 것이다. 블록(806)과 관련하여 움직임 품질 임계치들을 참조하는 것을 포함하여, 임계 레벨들의 다른 논의들이 아래에 논의될 것이다. 이들 논의들은 여기에 그리고 본 개시 전반적으로 통합된다.
일 실시예에서, 복수의 이미지들 또는 이들의 일부들과 같은 이미지 데이터의 적어도 일부가 개시 이미지를 식별하기 위해 프로세싱될 수 있다(예를 들어, 블록(804a) 참조). 일 실시예에서, 개시 이미지는 특징이 먼저 식별되는 프레임 또는 이미지일 수 있다. 일 실시예에서, 이것은 운동 선수가 먼저 움직이는 이미지일 수 있다. 또 다른 실시예에서, 개시 이미지는 사용자가 움직이는지에 관계없이, 게임 또는 활동이 개시되는 이미지일 수 있다. 예를 들어, 일 실시예에서, 다른 스프린터의 움직임이 이벤트의 시작을 시그널링할 수 있다. 다른 실시예에서, 이벤트가 개시되었다는 것을 나타내는 웨이빙(waving) 플래그, 또는 신호포 방출 연기의 발사 뿐만 아니라 이미지에 의해 캡처가능한 다른 액션들이 다양한 실시예들에 따라 개시 이미지를 나타내기 위해 사용될 수 있다. 일 실시예에서, 제1 기준은 특정한 운동 선수와 연관된 움직임들에 관한 것일 수 있다. 특정한 구현들에서, 개시 이미지는 사용자가 개시 이미지를 나타내는 UI 엘리먼트를 선택하는 것과 같이, 사용자 입력에 기초하여 결정된다. 예를 들어, 운동 선수를 기록하는 사용자는 운동 선수가 특정한 액션을 수행할 때 개시 이미지를 실시간으로 플래그하기를 원할 수 있다. 예를 들어, 농구 플레이어가 공을 덩크하려 시도하기 직전의 이미지가 개시 이미지로서 식별될 수 있다. 특정한 실시예들에서, 개시 이미지의 식별은 상이한 프레임 레이트에서 이미지 데이터의 캡처링을 발생시킬 수 있다. 통상의 기술자는 다른 미움직임 이벤트들이 특정한 실시예들과 함께 또한 사용될 수 있다는 것을 이해할 것이다. 예를 들어, (도 6 및 도 7과 관련하여 상술한 바를 포함하지만 이에 한정되지 않는) 하나 이상의 사운드들, 촉각 입력들, 또는 다른 정보가 하나 이상의 실시예들과 함께 활용될 수 있다. 제 2 움직임 임계치가 움직임이 임계 기준을 충족시키는지 검출하기 위해 구현될 수 있다.
특정한 구현들에서, 랜드마크/거리 교정들이 기록의 정밀한 측정을 허용하기 위해 시간-스탬프된 이미지 데이터로부터 활용될 수 있다. 예를 들어, 이미지 데이터에 의해 표현된 객체들은 움직임 임계치들이 충족되는지를 결정하기 위해 활용될 수 있다(예를 들어, 블록(804b)). 예를 들어, 거리 측정치들을 교정하기 위해 (야드 라인들과 같은) 필드상의 마킹들이 사용될 수 있다. 특정한 실시예들에서, 객체들이 식별될 수 있고, 식별시에는, 교정 프로세스들에서 사용될 수 있다. 예를 들어, 다수의 스포츠 필드들, 트랙들, 코드들 등이 고정된 치수들을 갖는다. 유사하게, 농구 링들, 골포스트들, 골 네트들, 및 다른 객체들이 특정한 공지된 치수들로 종종 사이징된다. 무엇보다도, 수직 점프를 위한 비행 시간, 던지기를 위한 거리, 킥 거리 및 체력, 2개의 거리들 사이의 스프린트 시간을 포함하지만, 이에 한정되지 않는, 이들 치수들은 임계치들을 식별하고 그리고/또는 특정한 임계치들이 충족되었는지를 결정하기 위해 사용될 수 있다. 이러한 교정 기법들은 정지 객체들에 한정되지 않는다. 예를 들어, 공들, 퍽들, 및 다른 스포츠 디바이스들이 거리들을 교정하기 위해 사용될 수 있다. 이와 관련하여, 농구공은 알려진 형상 및 사이즈를 갖는다. 이러한 치수들은 측정치들을 교정하기 위해 사용될 수 있다. 이들 교정 기법들이 블록(604)과 관련하여 설명되었지만, 통상의 기술자는 이러한 기법들이 이에 제한되지 않는 대신에, 블록(806)을 포함하여, 여기에 설명하는 임의의 시스템 및 방법에 적용될 수 있다는 것을 이해할 것이다. 임계치들의 다른 양태들이 바로 아래에 설명된다.
특정한 시스템들 및 방법들이 다중의 임계치들 또는 기준들이 충족되는지와 같이, 추가의 데이터가 요구되는지를 결정하기 위해 판정(606)의 활용을 포함할 수 있다. 예를 들어, 다시 도 8을 살펴보면, 플로우차트(800)의 블록(806)은 이미지 데이터(예를 들어, 픽셀 데이터)가 블록(804)의 움직임 임계치(들)에 관련되지 않을 수 있는 다른 임계치를 충족하지 결정하기 위해 구현될 수 있다. 따라서, 블록(804)은 블록(806)과 독립적으로 실행될 수 있고, 그 반대의 경우도 가능하다. 특정한 실시예들에서, 도 8에 도시된 블록(806)의 하나 이상의 프로세스들은 도 6에 도시된 블록(604)에 관하여 병렬 또는 직렬 방식으로 구현될 수 있다. 일 구현에서, 블록(806)은 제1 움직임 품질 임계치를 충족하는 운동 선수의 제1 신체 부위를 식별할 수 있다. 또한, 통상의 기술자는 다양한 블록들(예를 들어, 804 및 806)의 일부들이 다른 컴포넌트들과 독립적으로 구현될 수 있다는 것을 이해할 것이다. 예를 들어, 서브-블록(804a)이 블록(804)과 완전히 별개로 수행될 수 있다. 또한, 대안의 실시예들에서, 블록들(804 및 806)(또는 도 8의 임의의 다른 블록)의 하나 이상의 부분들이 결합될 수 있다. 예를 들어, 서브-블록(804a)은 블록(806)의 일부로서 활용될 수 있고 서브-블록들(806a 내지 806c) 중 하나 이상이 블록(804)내에서 활용될 수 있다.
이미지 데이터내에 표현된 운동 선수의 신체의 하나 이상의 부위들의 선택 및/또는 활용은 무엇보다도, 신체적 활동, 사용자 입력, 이력 데이터, 및 이들의 조합들에 기초할 수 있다. 일 실시예에서, 블록(806)은 서로 독립적으로 실시될 수 있는 하나 이상의 서브-부분들을 포함할 수 있지만, 다른 실시예들에서는, 블록(706)의 다른 서브부분 또는 다른 메커니즘에 적어도 부분적으로 의존할 수 있다. 예를 들어, 어느 신체 부위(들)가 활용되는지 그리고/또는 캡처된 이미지 데이터내에 표현된 바와 같은 부위(들)의 움직임이 품질 임계치를 충족시키는지를 선택하기 위해 소정의 신체적 활동이 (전체적으로 또는 부분적으로) 사용될 수 있다(예를 들어, 블록들(806a 및 806b) 참조). 블록(806a)에서 신체 부위를 식별하는 일례로서, 제1 실시예는 소정의 신체적 활동이 200미터 스프린팅 이벤트를 포함하거나 그것으로 구성되는지와 같이, 운동 선수의 다리들과 연관된 이미지 데이터를 활용할 수 있다. 또 다른 실시예는 운동 선수의 다리들 뿐만 아니라 그들의 팔들의 적어도 일부와 연관된 이미지 데이터를 활용할 수 있다. 또 다른 실시예들에서, 사용자 입력은 어느 이미지 데이터가 활용되는지를 선택하기 위해 옵션으로 제공될 수 있다. 사용자 입력은 복수의 옵션들로부터 옵션을 선택하도록 구성될 수 있지만, 다른 구현들에서는, 사용자는 활용될 임의의 부위 또는 부분을 선택할 수 있다.
이미지 데이터 자체의 특징에 기초하여 이미지 데이터내에 표현된 상이한 신체 부위 또는 객체를 활용하는 시스템들 및 방법들이 구현될 수 있다. 예를 들어, 카메라로부터 제1 거리에 위치하는 운동 선수를 표현하는 픽셀 데이터는 이미지 데이터를 캡처한 카메라에 관하여 제1 거리 보다 더 먼 제 2 거리에 위치한 동일한 운동 선수를 표현하는 픽셀 데이터 보다 더욱 정확하고 그리고/또는 정밀할 수 있다. 또한, 줌밍, 조명 조건들 또는 다른 파라미터들이 운동 선수가 운동 활동을 수행함에 따라 캡처된 이미지 데이터의 품질을 변경시킬 수 있다. 따라서, 부위를 선택하는 것(예를 들어, 806a) 및/또는 품질 임계치를 선택하는 것(예를 들어, 806b)은 무수한 팩터들에 기초할 수 있고, 이 팩터들 중 일부는 다른 것들 보다 가중될 수 있다. 특정한 실시예들에서, 하나 이상의 프로세싱 단계들에서 이미지 데이터의 어느 부분이 활용되는지를 선택하고 그리고/또는 스위칭하는 것은 자동일 수 있어서, 운동 선수 또는 카메라의 조작자는 선택을 하지 않아도 된다. 이것은 실시간으로 수행될 수 있어서, 객체들의 선택 및/또는 스위칭은 이미지 데이터가 캡처됨에 따라 이미지 데이터에 표현된다.
다른 예로서, 운동 선수는 활동의 수행 동안 4차원 공간을 통해 이동할 수 있다. 따라서, 운동 선수의 카메라(들) 원금감이 이미지 데이터의 캡처 동안 변경될 수 있다. 다른 실시예들에서, (다른 능력들을 가질 수 있는) 다중의 카메라들이 이미지 데이터를 제공할 수 있다. 이들 및 다른 변수들은 활용될 상이한 부위들 또는 결정될 품질 임계치들을 발생시킬 수 있다. 예를 들어, 일 실시예에서, 제1 거리에서 달리는 스프린터를 포함하는 이미지 데이터는 운동 선수의 다리들(또는 그것의 일부)을 표현하는 픽셀들을 포함하는 이미지 데이터를 적어도 활용할 수 있다. 그러나, 사용자가 이미지 캡처 디바이스로부터 멀리 떨어져 이동함에 따라, 운동 선수의 다리들(또는 그것의 일부)을 표현하는 픽셀들의 수는 감소할 수 있고, 따라서, 일 실시예에서, 다른 신체 부위가 이러한 픽셀 데이터의 감소를 보상하기 위해 활용될 수 있다. 일례로서, 판정(808)은 활용된 픽셀 데이터에 의해 표현된 운동 선수의 부위(들)를 변경하고, 업데이트하고, 스위칭하거나 그렇지 않으면 조정할지(예를 들어, 블록(806a)) 및/또는 운동 선수의 부위들이 어떻게 활용되는지(예를 들어, 블록(806b))를 결정하기 위해 구현될 수 있다. 특정한 실시예들에서, 블록(806)은 블록(806) 및/또는 블록(806)의 움직임 임계치, 및/또는 다른 임계치들과 연관된 파라미터들을 조정할지 결정하기 위해 구현될 수 있다.
예를 들어, 블록(806)의 하나 이상의 파라미터들을 조정하는 제한하지 않는 예로서, 운동 선수의 다리들로부터의 픽셀 데이터는 제1 움직임 품질 임계치에 대한 이미지 데이터를 식별하기 위해 예를 들어, 블록(806a)을 통해서 초기에 활용될 수 있지만, 운동 선수의 팔들로부터의 픽셀 데이터는 (예를 들어, 블록(806a)을 통해서) 다리들을 표현하는 픽셀 데이터의 활용을 보완하거나 대체할 수 있다. 따라서, 특정한 실시예들에서, 활용된 신체 부위들 또는 객체들의 선택 및 스위칭은 반복 프로세스일 수 있다. 또한, 이들 신체 "부위들" 중 하나 이상에 대한 임계 레벨들은 상이한 이미지들에 대한 이미지 데이터의 품질에 기초하여 변경될 수 있다. 특정한 실시예들에서, 움직임 품질 임계치는 운동 선수의 신체의 다중의 부위들의 움직임을 비교할 수 있고 2개 이상의 부위들이 서로에 관하여 움직이는지를 결정할 수 있다. 예를 들어, 어느 것이 소정의 신체적 활동을 가장 정확하게 반영하는지를 결정하기 위해 팔 스윙 데이터가 다리 움직임 데이터와 비교될 수 있다.
일 실시예에 따르면, (블록(806a)으로부터와 같이) 관련 신체 부위들을 표현하는 이미지 데이터가 식별될 수 있다. 관련 신체 부위들을 표현하는 이미지 데이터는 분리될 수 있다. 특정한 실시예들에서, 주위 픽셀 데이터가 활용될 수 있다. 또 다른 구현들에서, 이미지 데이터의 전체 프레임들이 하나 이상의 임계치 제한들이 충족되었는지를 결정하기 위해 활용될 수 있다. 특정한 구현들에서, 광학 흐름 알고리즘이 이미지 데이터(예를 들어, 픽셀 데이터)를 분석하고 신체 부위들의 움직임들을 결정하기 위해 활용될 수 있다. 이와 관련하여, 하나 이상의 이미지 캡처 디바이스들이 상이하거나 가변인 프레임 레이트들로 이미지들을 캡처할 수 있다. 예를 들어, 이미지 캡처 디바이스는 50과 240 초당 프레임(fps) 사이의 가변 레이트로 이미지들을 캡처할 수 있다. 따라서, 움직임의 결정들은 불규칙한 기간으로 분리될 수 있는 데이터 프레임들 사이의 시간 간격들을 정확하게 결정하기 위해 캡처 정보의 레이트를 활용할 수 있다. 다른 예로서, 제1 이미지 캡처 디바이스는 100 fps의 레이트로 이미지들을 캡처할 수 있고, 제 2 이미지 캡처 디바이스는 70 fps의 레이트로 이미지 데이터를 캡처할 수 있다. 따라서, 이들 2개의 이미지 캡처 디바이스들로부터의 데이터는 픽셀 움직임들 사이의 시간의 변동들을 설명하기 위해 정규화될 수 있다. 일 실시예에서, 복수의 순차적 이미지들 중 적어도 일부는 약 1/60초를 각각 나타내고, 또 다른 실시예에서는, 복수의 순차적 이미지들 중 적어도 일부는 1/60초 이하를 각각 나타낸다. 데이터의 여러 프레임들이 일부 실시예들에서 매 초 캡처되고 분석될 수 있기 때문에, 실질적인 지연없이 실시간 분석이 운동 선수에게 제공될 수 있다. 특정한 실시예들에서, 제1 프레임 레이트를 갖는 이미지와 제 2 시간 프레임을 갖는 이미지 사이의 정확한 시간이 결정될 수 있다. 정확한 시간은 하나 이상의 프로세스들에서 활용될 수 있다. 여러 실시예들에서, 2개의 이미지들로부터의 데이터는 데이터의 2개의 프레임들 사이의 움직임을 결정하기 위해 프로세싱될 수 있다. 일 실시예에서, 픽셀 움직임은 2개의 후속 이미지들로부터 보간될 수 있다. 특정한 실시예들에서, 다중의 카메라들이 활용될 수 있다. 일례로서, 동일한 프레임 레이트를 갖는 2개의 카메라들이 동기화된 오프셋을 갖도록 구성될 수 있다. 동기화된 오프셋을 사용하는 것은 더 높은 유효 프레임 레이트가 획득되게 할 수 있다. 예를 들어, 제1 카메라가 50fps로 설정되고 50fps로 또한 설정된 제 2 카메라 이전에 1/100초에서 시작하는 이미지들을 캡처하는 경우에, 일괄적으로, 이들 2개의 카메라들로부터의 이들 이미지들은 100fps의 유효 프레임 레이트를 획득하기 위해 활용될 수 있다. 다중의 카메라들을 사용하는 것은 특정한 실시예들에 따라 임의의 부정확한 데이터를 정정하기 위해 또한 활용될 수 있다. 예를 들어, 50fps를 캡처하도록 구성된 제1 카메라는 48 또는 49fps만을 캡처할 수 있고, 따라서, 제 2 카메라로부터의 데이터는 관련 기간 동안 정확한 이미지 데이터를 제공하기 위해 사용될 수 있다.
식별된 파라미터들을 사용하여, 이미지 데이터(예를 들어, 픽셀 데이터)는 제1 신체 부위 움직임 품질 임계치가 충족된다는 것을 결정하기 위해 활용된다 (예를 들어, 블록(806c) 참조). 일 실시예에서, 인간의 형태를 표현하는 이미지 데이터가 운동 선수를 표현하는 픽셀들 또는 다른 이미지 데이터를 식별하기 위해 활용될 수 있다. 다수의 운동 선수들이 프레임들내에 존재하면, 특정한 관심 운동 선수가 분리될 수 있다. 일 실시예에서, 운동 선수는 운동 선수의 알려진 파라미터들(예를 들어, 키, 몸무게, 의복 색깔)에 기초하여 분리될 수 있다. 다른 실시예에서, 사용자 입력은 어느 픽셀 데이터가 운동 선수를 표현하는지 나타낼 수 있다. 또 다른 실시예들에서, 운동 선수는 적어도 하나의 전자 디바이스에 의해 검출하도록 구성된 검출가능 마커를 착용할 수 있다. 통상의 기술자는 이들이 단지 예들이라는 것을 쉽게 이해할 것이다.
특정한 구현들은 픽셀들의 움직임과 같은, 이미지 데이터 움직임을 결정하기 위해 활용된 광학 흐름 알고리즘 또는 다른 프로세스들로부터 발생하는 하나 이상의 파라미터들을 가중할 수 있다. 이와 관련하여, 본 개시의 양태들은 신규한 모션 엔트로피 알고리즘들에 관한 것이다. 특정한 실시예들에서, 복수의 이미지들 사이의 픽셀 움직임들로부터의 데이터가 모션을 타입들을 식별하기 위해 활용될 수 있다. 일례로서, 광학 흐름 프로세스로부터 제공되거나 유도된 데이터가 사용될 수 있다. 예시적인 데이터는 하나의 프레임 또는 이미지로부터 다른 프레임 또는 이미지까지의 식별된 객체의 픽셀-거리 변화(때때로, "흐름 필드"로서 당업계에서 지칭됨)를 포함할 수 있다. 이들은 모션의 특정한 타입들을 식별하는 파라미터들에서 활용될 수 있다. 특정한 실시예들에서, 이들 출력들은 세그멘테이션 및 모션 식별을 위해 사용될 수 있다. 일 실시예에서, 대규모의 모션이 먼저 식별될 수 있고, 그 후, 더욱 상세한 모션들이 식별될 수 있다. 일례로서, 제1 프로세스는 운동 선수가 달리고 있다는 것을 결정할 수 있고, 이에 응답하여, 그 후 하나 이상의 프로세스들이 손 모션을 구체적으로 검출하여 그것을 특징화하기 위해 사용될 수 있다. 식별되거나 유도될 수 있는 다른 모션들은 활동의 개시, 가속도, 속도, 반응, 템포, 객체가 이동한 거리, 또는 활동의 완료를 포함한다. 다른 실시예들은 세그멘테이션, 스케일링, 또는 다른 특징들 중 어느 것이 구현될 수 있는지, 또는 이들이 활용되는 범위를 결정하기 위해 하나 이상의 프로세스들을 활용할 수 있다.
이들 또는 다른 프로세스들은 특정한 모션이 각각의 프레임(들)에서 발생하였다는 것을 추론하는 출력을 제공하기 위해 사용될 수 있다. 일 실시예에서, 운동 움직임(또는 움직임의 특징)은 속도값, 가속도값, 운동 선수의 신체 부위의 위치, 또는 이미지 데이터내의 스포츠 디바이스의 위치 중 적어도 하나에 기초한 모션 파라미터로부터 검출될 수 있다. 임계치가 충족된다는 결정은 모션 파라미터에 적어도 부분적으로 기초할 수 있다. 예를 들어, 모션 파라미터의 결정은 속도값 또는 가속도값이 제1 임계치를 충족시킨다는 것을 결정하는 것에 적어도 부분적으로 기초하여 결정될 수 있다. 이들 속성들 중 하나 이상은 이미지 데이터로부터 전체적으로 결정될 수 있다. 그러나, 위에서 논의한 바와 같이, 다른 센서 데이터가 독립적으로 또는 이미지 데이터와 함께 사용될 수 있다.
이와 관련하여, 본 개시의 양태들은 운동 선수의 특정한 신체적 움직임 또는 활동에 상관되는 (특정한 이미지들과 같지만 이에 한정되지 않는) 이미지 데이터를 식별하는 것에 관한 것이다. 예를 들어, 특정한 실시예들은 운동 활동의 개시, 운동 움직임의 수행, 및/또는 움직임 특징의 발생을 검출할 수 있다. 제한하지 않는 예로서, 이미지 데이터는 무엇보다도, 활동의 개시, 가속도, 속도, 반응, 및/또는 템포의 레벨들, 객체가 이동한 거리, 활동의 완료를 포함하는 하나 이상의 액션들을 식별하기 위해 사용될 수 있다. 위에서 논의한 바와 같이, 객체들(정지 또는 모션 중)은 움직임 품질 임계치들에 관한 것들을 포함하여, 측정치들을 교정하기 위해 활용될 수 있다.
따라서, 블록(810)은 예를 들어, 개시 이미지, 종료 이미지, 또는 여기에 개시된 시스템들 또는 방법들에 기초하여 식별될 수 있는 모션 데이터를 포함하는 임의의 다른 이미지를 포함하지만, 이에 한정되지 않는 (특정한 프레임들 또는 이미지들을 포함하는) 이미지 데이터를 식별하기 위해 구현될 수 있다. 개시 이미지 및/또는 종료 이미지는 하나 이상의 운동 움직임들, 움직임의 운동 특징들, 또는 이들의 조합들에 대해 식별될 수 있다. 블록들(806 및 810)을 활용하는 실시예의 일례로서, 블록(806)은 변경이 특정한 제1 신체 부위(예를 들어, 상부 팔) 움직임 품질 임계치를 충족시키도록 픽셀 데이터가 2개의 후속 이미지들 사이에서 변경되는지를 결정하기 위해 활용될 수 있다. 상술한 바와 같이, 2개의 연속 이미지들 사이의 이미지 데이터는 보간될 수 있거나 기존의 이미지 데이터로부터 유도될 수 있다. 따라서, 충족되는 제1 신체 부위 품질 임계치에 기초하여, 제1 신체 부위 품질 임계치가 먼저 발생한 각각의 이미지가 개시 이미지로서 식별되거나 플래그될 수 있다. 일 실시예에서, 블록(810)의 구현은 임의의 운동 결정들에서 개시 이미지로 여겨질 수 있는 것에 후속하는 후속 이미지들을 활용할 수 있다. 예를 들어, 복수의 후속 프레임들의 분석이 운동 선수가 특정한 활동에 참여하고 있다는 것을 더 나타내면, 하나의 실시예는 특정한 액션이 시작된 곳을 식별하기 위해 과거의 프레임들(또는 그것의 일부들)을 분석할 수 있다. 다중의 프레임들이 초 내에서 캡처될 수 있기 때문에, 특정한 실시예들은 과도한 지연없이 10개의 이미지들을 분석할 수 있다. 또 다른 실시예들에서, 시스템들 및 방법들은 이미지 및/또는 그 이미지에 선행하는 이미지들에만 기초하여 개시 이미지(또는 다른 이미지)를 식별할 수 있다. 유사하게는, 종료 이미지는 충족되지 않은 특정한 임계치(또는 복수의 임계치들)에 기초하여 식별될 수 있다. 다른 실시예들에서, 종료 이미지는 예를 들어, 상이한 신체 부위 움직임 품질 임계치와 같은, 충족되는 제 2 임계치에 기초하여 식별될 수 있다. 일 실시예에 따르면, 운동 선수의 몸통의 움직임은 공을 던지는 야구 선수의 개시 이미지의 식별로서 사용될 수 있지만(예를 들어, 블록(804a)), 운동 선수의 던지는 팔의 움직임의 품질에 관한 움직임 품질 임계치는 운동 선수가 공을 던지고 그리고/또는 공을 놓는다는 것을 결정하기 위해 사용될 수 있다(예를 들어, 블록(806)). 특정한 실시예들에서, 공이 포수의 미트 또는 배트에 부딪혔다는 것을 나타내는 이미지 데이터는 던지기의 종료 이미지를 나타낼 수 있다. 그러나, 블록(804)에서 설명된 것과 같지만 이에 한정되지 않는 다른 임계치들이 단독으로 또는 신체 움직임 품질 임계치와 조합으로 또한 활용될 수 있다.
따라서, 이미지는 단독으로 또는 다른 이미지와 조합하여, 운동 선수의 수행 속성을 식별하기 위해 활용될 수 있다. 일례로서, (단독으로 또는 다른 이미지와 조합하여) 특징의 개시 이미지는 운동 선수의 적어도 하나의 수행 속성을 결정하기 위해 사용될 수 있다. 예시적인 속성들은 속도, 반응, 지구력, 및 이들의 조합을 포함할 수 있지만, 이에 한정되지 않는다. 다른 실시예들에서, (블록(들)(804 및/또는 806)의 하나 이상의 프로세스들에서 획득된 데이터로부터 블록(810)에서 식별될 수 있는) 특징을 완료하는 속성의 이미지 데이터를 포함하는 완료 이미지가 활용될 수 있다. 일 구현에서, 개시 이미지 및 완료 이미지에 기초한 신체적 활동 지속기간이 계산될 수 있다. 이러한 정보는 속도, 가속도, 템포, 페이스, 또는 이들의 조합을 결정하기 위해 사용될 수 있다. 아래에 설명하는 바와 같이, 이러한 정보는 수행 등급에 관한 하나 이상의 계산들에서 또한 사용될 수 있다.
속성의 결정들은 이미지 데이터를 캡처하기 위해 사용되지 않는 하나 이상의 다른 센서들로부터 획득된 데이터를 활용할 수 있다. 특정한 실시예들에 따르면, 외부 자극에 반응한 이미지 데이터의 변경들이 고려될 수 있다. 일 실시예에서, 트리거링 이벤트와 연관되는 플래그된 이미지들이 활용될 수 있다. 일례로서, 운동 선수의 반응 값이 트리거 플래그와 연관된 이미지와 개시 이미지 사이의 시간의 지속기간에 기초하여 결정될 수 있다. 예를 들어, 가청 또는 시각 큐우와 같은 외부 자극은 경주의 시작의 나타낼 수 있고, 따라서, 연관된 이미지(들)가 제1 트리거링 이벤트에 상관되는 것으로서 플래그될 수 있다(예를 들어, 블록(708)). 여기에(예를 들어, 블록들(804 및 806)) 상술한 바와 같은 충족되는 하나 이상의 임계치들에 기초하여, 사용자가 소정의 활동을 개시하였다는 것이 결정될 수 있다. 특정한 실시예들에서, 활동은 스포츠-특정 활동일 수 있다. 따라서, 사용자의 반응 시간은 트리거링 이벤트의 플래그된 이미지 및 개시 이미지로부터 결정될 수 있다.
블록(704)과 관련하여 위에서 논의한 바와 같이, 하나 이상의 트리거링 이벤트들은 운동 선수의 신체적 활동의 수행 이전, 동안 또는 이후에 발생할 수 있다. 일 실시예에서, 제 2 트리거링 이벤트는 신체적 활동의 수행 동안 소정의 움직임을 수행하는 것을 운동 선수에게 나타내기 위해 활용될 수 있다. 제 2 트리거 플래그가 (블록(708) 또는 다른 프로세서와 같은) 제 2 트리거링 이벤트의 타이밍에 상관되는 이미지와 연관될 수 있다. 다른 플래그가 소정의 움직임을 수행하는 운동 선수에 상관된 이미지와 연관될 수 있다. 이러한 일 실시예에서, 제 2 트리거 플래그와 연관된 이미지와 움직임을 수행하는 운동 선수와 상관된 임지 사이의 지속기간에 기초한 운동 선수에 대한 제 2 반응 값이 계산될 수 있다.
다른 실시예들에서, (비이미지 센서 데이터를 포함하는) 센서 데이터가 여기에 설명한 임의의 결정들, 유도들 또는 계산들에서 활용될 수 있다. 센서 데이터는 손목 착용 센서, 신발 착용 센서, 휴대 엔터테인먼트 전자 디바이스, 및 이들의 조합들을 포함하지만, 이에 한정되지 않는 센서들로부터 캡처될 수 있다. 일 실시예에 따르면, 센서 데이터는 복수의 이미지들 중 적어도 일부에 대한 이미지 안정화를 실시하기 위해 활용될 수 있다. 일 구현에서, 센서 데이터는 운동 선수에게 동작가능하게 부착되며, 이미지 안정화, 캡처된 이미지 데이터내의 복수의 객체들로부터 운동 선수의 식별, 이미지들을 캡처할 때의 결정들, 어떤 이미지 데이터를 프로세싱할지의 결정들, 및/또는 다른 활용들을 위해 사용된 센서로부터 수신될 수 있다.
본 개시의 다른 양태들은 피드백 신호들을 운동 선수에게 송신하는 것에 관한 것이다(예를 들어, 도 6의 블록(608)). 피드백 시호들은 검출된 운동 데이터 및/또는 그 운동 데이터에 기초한 특정한 운동 움직임들에 대한 최적의 타이밍에 기초할 수 있다. 여기에서 사용되는 바와 같이, 피드백 신호는 진동 또는 펄싱 촉각 디바이스, 명멸하고, 컬러를 변화시키고, 밝기를 변경하는 등의 광학 디바이스(예를 들어, LED 또는 다른 조명), 똑딱 소리, 경적, 및/또는 연속적이고 순차적인 리듬 특성들을 포함할 수 있고 그리고/또는 다른 특성을 나타낼 수 있는 음악 또는 다른 오디오 효과들과 같은 사운드를 방출하는 오디오 디바이스와 같이, 오디오, 시각, 및/또는 촉각일 수 있다. 제한하지 않는 예들로서, 특정한 실시예들은 햅틱 피드백을 제공하는 전기활성 폴리머들(EAPs) 및/또는 진동 모터들을 활용할 수 있다. 특정한 실시예들에서, 하나 이상의 피드백 디바이스들이 신체에 착용될 수 있거나 그렇지 않으면 신체와 (직접적으로 또는 간접적으로) 접촉할 수 있다. 피드백은 조정가능하고 그리고/또는 제어가능할 수 있다.
일례로서 도 8의 플로우차트(800)를 사용하여, 블록(812)은 실시간 피드백 신호를 운동 선수에게 송신하기 위해 구현될 수 있다. 피드백은 활동의 수행(예를 들의 클럽의 스윙), 활동의 움직임(예를 들어, 백스윙) 또는 특정한 움직임의 특징(예를 들어, 백스윙의 개시, 또는 백스윙 동안 클럽의 속도/위치), 또는 이들의 조합을 식별하는 것에 응답하여 송신될 수 있다. 예를 들어, 일 실시예에서, (블록(702)의 일부와 같이) 임계치가 충족되었거나 신체 또는 장비에 대한 위치가 도달되었고 그리고/또는 (블록(810)의 일부와 같이) 이미지 데이터가 특정한 움직임에 상관되었다는 결정은 백스윙의 제1 특징이 발생하였거나 방금 발생하였다는 결정을 발생시킨다. 일례로서, 신체의 일부 부위의 위치, 또는 만약 있다면, 사용중에 장비의 위치/3D 배향이 특징 결정에 대한 트리거일 수 있다. 결정에 기초하여, 가청 톤과 같은 피드백 신호가 운동 선수에게 송신될 수 있다.
다수의 운동 선수들은 (언제 특징이 개시되거나 종료되는지와 같은) 단일 데이터 포인트 이상의 것을 알기를 원한다. 이와 관련하여, 다중의 데이터 포인트들을 사용하는 것이 다수의 경우들에서 더욱 유익할 수 있다. 예를 들어, 움직임으로 다수의 특징들을 검출하고 상이한 특징들 사이의 구별을 허용하는 피드백을 운동 선수에게 송신하는 것과 같은 다수의 데이터 포인트들을 사용하는 것이 매우 유익할 수 있다. 예를 들어, 골프 스윙(또는 테니스 스윙과 같은 임의의 다른 액션)에 크게 영향을 미칠 수 있는 일 양태가 스윙 자체의 속도이다. 너무 느린 스윙들은 공으로의 적은 에너지 전달을 발생시킬 수 있고, 너무 빠른 스윙들은 골퍼가 스윙시에 제어 및 일관성을 유지하지 못하게 할 수 있다. 스윙의 "템포", 또는 다시 말해, 백스윙 및 포워드 스윙의 타이밍이 스윙의 다른 양태들 뿐만 아니라 스윙의 속도 및 일관성에 대해 심한 영향을 또한 미칠 수 있다.
따라서, 블록(812)은 골프 스윙의 템포에 대한 피드백을 제공하기 위해 다양한 주파수들에서 오디오 피드백을 송신하도록 개시될 수 있다(또는 이미지 데이터에 기초하여 반복될 수 있다). 예를 들어, 판정(814)은 실시간 데이터에 기초한 다중의 피드백 신호들의 송신을 초래하도록 구현될 수 있다. 특정한 실시예들에서, 이전에 기록된 데이터가 분석될 수 있다. 이미지 데이터는 (예를 들어, 백스윙 동안 클럽의 속도, 가속도, 및/또는 위치에 기초하여) 특징들을 검출할 수 있고, 그 결과, 상이한 톤들(또는 톤의 주파수들)이 템포의 표시를 제공하기 위해 송신될 수 있다. 상이한 운동 선수들이 상이한 최적의 스윙 템포들을 가질 수 있다. 따라서, 미믹(mimic)에 일반적 템포를 제공하는 것은 운동 선수를 보조할 수 없다. 이와 관련하여, 단일 골퍼가 상이한 클럽들에 대해 상이한 최적의 스윙 템포들을 가질 수도 있다. 예를 들어, 골퍼는 드라이버 또는 다른 우드 클럽에 대해 하나의 최적의 스윙 템포, 롱 아이언들에 대해 다른 스윙 템포, 숏트 아이언들에 대해 다른 스윙 템포, 및 퍼팅에 대해 다른 스윙 템포를 가질 수 있다. 그러나, 골퍼가 자신의 최적의 스윙 템포(들)를 결정하는 것은 어려울 수 있고, 골퍼가 실시 및/또는 플레이 동안 최적의 스윙 템포(들)를 유지하는 것이 추가적으로 어려울 수 있다.
운동 선수 마다 널리 적용되도록 만든 접근방식에 적용시키려 시도하는 것 보다, 운동 선수 자신의 수행의 이미지 데이터에 적어도 부분적으로 기초한 실시간 피드백을 제공하는 것이 운동 선수를 더욱 쉽게 향상시키게 할 수 있다. 예를 들어, 특정한 실시예들에서, 제1 특징의 검출에 기초하여 실시간으로 제1 오디오 피드백 신호(또는 임의의 다른 타입의 피드백 신호)를 전송한 이후에, 제 2 특징의 움직임 특성들에 기초한 제 2 오디오 피드백 신호가 전송될 수 있어서, 운동 선수는 운동 활동의 제1 및 제 2 특징들의 운동 선수의 수행에 관하여 가청 템포 피드백을 제공하도록 구성된 운동 움직임의 수행 동안 오디오 피드백을 수신한다.
이와 관련하여, 예시적인 실시예들은 이미지 데이터를 획득하기 위해 비디오 또는 이미지 시퀀스들을 통해 활동(예를 들어, 구성 움직임들 및/또는 그것의 하나 이상의 컴포넌트들)과 연관된 움직임을 캡처하는 것을 예상하고, 그 이미지 데이터를 분석하고, 그 분석된 데이터가 분석된 데이터를 사용자에게 제공된 피드백으로 변환하는 기능에 대한 입력이다. 피드백은 사용자가 활동에서 그들의 움직임(들)을 "그루브(groove)"할 수 있게 하는 것, 예를 들어, 그들의 자체 스윙을 그루브할 수 있게 하는 것에 관한 것이다. "그루브"하는 것은 다른 참여자(예를 들어, 프로)의 움직임(들)(예를 들어, 스윙)을 재현하도록 시도하지도 않고 일부 이론적 또는 이상적 움직임을 획득하도록 반드시 시도하지도 않는다는 것을 나타낸다(예를 들어, 이러한 이상은 이러한 사용자에 대해 단순히 생리학적으로 획득될 수 없다). 오히려, 사용자는 "그루브된" 움직임(들)의 일관된 재현을 가능하게 하는 것을 포함하는, 자신에게 자연스러운 움직임(들)(예를 들어, 스윙)을 찾아 자기 것으로 하도록 시도한다. 그루브된 움직임은 타임 바운드(time bound)일 수 있고, 즉, 사용자의 현재 환경들에 관하여 적용가능하다.
통상의 기술자는 피드백 신호가 임의의 전기, 기계, 또는 전기-기계 디바이스에 의해 송신될 수 있다는 것을 이해할 것이다. 일 실시예에서, 도 1 내지 도 4와 관련하여 설명한 바와 같은, 컴퓨터 실행가능 명령들을 저장하는 메모리 및 메모리와 통신하는 프로세서를 포함하는 전자 디바이스가 활용될 수 있다. 프로세서는 다수의 액션들을 수행하기 위해 비일시적 컴퓨터 판독가능 매체상에서 컴퓨터 실행가능 명령들을 실행하도록 구성될 수 있다. 디바이스(예를 들어, 프로세서)는 특정한 피드백 신호 또는 신호들(예를 들어, 데이터가 분석될 때의 복수의 오디오 신호들)의 입력을 수신하고, 피드백 신호(들)에 대한 오디오 톤 또는 파일을 식별할 수 있다. 따라서, 특정한 실시예들에서, 복수의 톤들은 운동 선수의 움직임의 템포에 상관되는 템포를 나타낸다. 따라서, 특정한 양태들은 피드백 신호를 제공하는 템포 표시 디바이스에 관한 것이다. 템포 표시 디바이스는 출력에 대한 정보를 수신하는 입력, 하나 이상의 상이한 타입의 피드백 신호들을 방출하도록 구성된 출력을 포함할 수 있다.
일 실시예에서, 템포 표시 디바이스는 사용자에게 인식가능한 포맷으로, 리듬으로 또한 칭하는, 규칙적이고 운율의 비트들의 시퀀스를 사용자에게 방출하도록 구성가능한 임의의 디바이스일 수 있다. 예를 들어, 리듬을 방출하는 포맷은 진동 또는 펄싱 촉각 디바이스, 명멸하고, 컬러를 변화시키는 등의 광학 디바이스(예를 들어, LED 또는 다른 조명), 똑딱 소리, 경적 등과 같은 리듬 사운드, 또는 리듬 특성들을 포함할 수 있는 음악 또는 다른 오디오 효과들을 방출하는 오디오 디바이스와 같이, 오디오, 시각, 및/또는 촉각을 포함할 수 있다. 템포 표시 디바이스는 예를 들어, 검출된 운동 데이터에 기초하여, 사용자에게 방출되는 리듬의 템포(즉, 비트 주파수)를 변화시키기 위해 조정가능하고 그리고/또는 제어가능할 수 있다. 일례로서, 제1 오디오 피드백 신호는 제1 주파수에서 제1 가청 톤일 수 있고, 시스템들 및 방법들은 가청 톤을 제 2 주파수로 변조함으로써 제 2 오디오 피드백 신호를 생성하기 위해 이용될 수 있다.
본 개시의 다른 양태들은 검출된 운동 활동 데이터에 기초하여 이벤트들의 적절한 또는 최적의 타이밍에 관한 피드백을 제공하는 것에 관한 것이다(예를 들어, 816 참조). 예를 들어, 위에서 언급한 시스템들 및 방법들 중 하나 이상은 운동 선수의 활동들의 양태들을 먼저 식별하기 위해 사용될 수 있다. 일례로서 골프 스윙을 사용하여, 이미지 프로세싱 방법들은 (단독으로 또는 비이미지 기반 센서들로부터의 데이터와 조합하여) 운동 선수의 백스윙 및/또는 포워드 스윙의 타이밍 및/또는 템포를 검출하기 위해 사용될 수 있다. 이와 관련하여, 예시적인 실시예들은 활동, 구성 및/또는 컴포넌트들(예를 들어, 골프 스윙) 동안, 착용가능 센서들로부터 데이터를 캡처하는 것을 예상하고, 이러한 데이터는 취득된 데이터(예를 들어, 이미지 데이터)의 분석을 강화하고, 차례로 (더욱 정확하거나 유익한 오디오 피드백에 의해) 사용자에 대한 피드백을 강화하도록 (예를 들어, 상승작용 특징 기능을 제공하기 위해) "센서 퓨전"에서 이용된다.
피드백 시스템들은 예를 들어, 골프 스윙의 템포를 나타내기 위해 위에 논의한 바와 같이 운동 선수에게 피드백 신호들을 제공하도록 구현될 수 있다. 그러나, 추가의 실시예들에서, 백스윙 또는 포워드 스윙 중 하나 이상의 특징들의 검출에 기초하여, 추가의 피드백 신호가 공과 접촉하는 것과 같이, 운동 수행의 추가의 특징을 수행하기 위해 운동 선수에 대한 적절한 타이밍을 나타내도록 구성된 소정의 시간에서 송신될 수 있다. 추가의 "최적의 타이밍" 피드백 신호의 송신 및/또는 속성들은 움직임의 하나 이상의 특징들의 발생에 기초할 수 있다. 특정한 실시예들에서, 백스윙의 특징들은 추가의 특징(예를 들어, 공과의 접촉)의 추가의 피드백 신호를 송신할 시간(또는 심지어 송신할지)을 결정하기 위해 활용될 수 있다. 따라서, 운동 선수는 그들의 백스윙 및 그들의 포워드 스윙의 템포를 나타내는 다양한 가청 톤들과 같은 피드백을 수신할 수 있고, 포워드 스윙의 템포에도 불구하고, 추가의 피드백 신호는 검출된 백스윙의 특성들에 기초하여, 공과 접촉하도록 최적의 시간 포인트의 타이밍을 마킹할 수 있다. 또 다른 실시예들은 상이한 움직임들(예를 들어, 백스윙 및 포워드 스윙 양자)로부터의 다중의 특징들에 관한 데이터를 사용할 수 있다. 따라서, 특정한 실시예들은 사용자의 현재 운동 움직임의 피드백 뿐만 아니라 현재 운동 움직임들의 관점에서 적절한 그리고/또는 정확한 타이밍 이벤트들에 기초한 피드백을 제공할 수 있다.
여기에서 논의한 바와 같이, 피드백 생성 시스템들 및 방법들은 오디오 피드백을 포함할 수 있다. 일례에서, 하나 이상의 톤들에는 복수의 스윙 특징들과 연관된 출력 데이터가 할당될 수 있다. 톤들은 임의의 다양한 스키마를 사용하여 할당될 수 있다. 일례로서, 할당가능한 톤은 특징과 연관된 하나 이상의 속도들, 가속도들, 회전들 등과 연관될 수 있다. 예를 들어, 각 톤 할당은 속도, 가속도, 또는 회전 중 하나만에 기초할 수 있다. 대안으로는, 각 톤 할당은 속도, 가속도, 및 회전 중 하나 이상의 조합, 또는 다른 조합들에 기초할 수 있다.
다른 예로서, 복수의 이미지 또는 비디오 프레임들 각각은 다수의 (할당된) 톤 유닛들을 가질 수 있다. 따라서, 특징이 이러한 이미지 또는 프레임에서 검출되면, 특징의 톤이 모든 이러한 톤 유닛들을 위해 사용될 수 있다. 톤 할당들은 일반적으로 또는 구체적으로 특징들에 관한 것일 수 있다. 예를 들어, 2개의 특징들이 속도들 등의 적용된 조합에 관하여 동일한 파라미터들을 갖는 경우에, 일반적인 할당 방식이 동일한 톤을 특징들 모두에 할당할 수 있는 반면에, 특정한 할당 방식은 제1 톤을 하나의 특징에 할당하고 제 2 상이한 톤을 다른 특징에 할당한다.
특정한 실시예들에서, 하나 보다 많은 특징이 스윙의 이미징의 임의의 소정의 이미지 또는 프레임에서 검출될 수 있다. 예를 들어, 제1 이론적 프레임에 대해, 신체 회전 움직임이 클럽 움직임에 따라 검출될 수 있다. 따라서, 이러한 이미지 또는 프레임과 연관된 피드백에 관하여, 피드백 생성기는 각각의 이러한 검출된 스윙 파라미터에 대한 톤(예를 들어, 신체 움직임에 대한 하나 및 클럽 움직임에 대한 하나)을 할당할 수 있다. 이와 같이, 이러한 연관된 피드백은 톤들의 조합일 수 있다. 실제로, 프레임 마다, 검출된 특징들의 조합들이 변할 수 있어서, 톤들의 조합이 변할 수 있다.
다른 예로서, 피드백 생성 시스템들 및 방법들은 소정의 피드백 주기 동안 피드백으로서 톤을 사용자에게 제공할 수 있다. 이 피드백 주기는 다양하게 제공될 수 있다. 일례로서, 피드백 주기는 특징이 검출되는 이미지 또는 프레임의 기간에 대응할 수 있고; 이 경우에, 톤은 이러한 이미지 또는 프레임과 연관된 톤 유닛들에 대해 제공될 수 있다. 다른 예로서, 피드백 주기는 이러한 이미지 또는 프레임의 기간 뿐만 아니라 일부 추가의 기간, 예를 들어, 다수의 구성된 후속하는 인접 톤 유닛들을 포함할 수 있다.
다양한 실시예들에 따르면, (이러한 후속 톤 유닛들을 포함하든 안하든) 임의의 피드백 주기 동안, 톤은 톤 엔벨로프(tone envelope)에 영향을 받을 수 있다. 톤 엔벨로프는 어택(attack) 주기, 감쇠(decay) 주기, 유지(sustain) 주기, 및 방출(release) 주기("ADAR 엔벨로프")를 포함할 수 있다. 톤 엔벨로프는 홀드 주기를 또한 포함할 수 있고: 예를 들어, 특징이 검출되지 않은 임의의 이미지 또는 프레임("널 주기")이 존재하면, 직전 이미지 또는 프레임(또는 특징을 갖는 그 이전의 이미지 또는 프레임)과 연관된 하나 이상의 톤들은 널 주기를 브리징하도록 유지 주기에 따라 홀딩될 수 있다. 홀드 주기는 초기 이미지 또는 프레임에는 적용불가능할 수 있다.
다양한 실시예들에 따르면, 톤들의 조합이 다양하게 구현될 수 있다. 예를 들어, 복수의 톤들의 각 톤은 특징의 지속기간 동안 다른 톤들과 단순히 조합될 수 있다. 이러한 조합에서, 이러한 각 톤은 그것의 각각의 지속기간 동안 소정의 진폭을 갖고, 전체 진폭은 이러한 톤들의 진폭들의 합이다. 대안으로서, 전체 진폭은 최대치에 영향을 받을 수 있어서, 톤들은 각 톤이 이러한 전체 진폭에 동일하게 기여하도록 조합될 수 있다. 또 다른 대안으로서, 톤들은 조합된 톤들 중에서 변하는 음향 조정치들과 조합될 수 있다. 일례로서, 음향 조정치는 예를 들어, 연관된 스윙 컴포넌트의 (할당된) 값에 응답하는 우선순위들 또는 다른 가중치에 기초할 수 있고, 이러한 값은 예를 들어, 결과들과 관련된다. 예시하기 위해, 최고 우선순위의 톤이 변경되지 않을 수 있는 반면에, 하위 우선순위의 톤은 최고 우선순위 톤에 대한 우선순위 기반의 감소된 진폭에서; 또는 (그것의 기음(fundamental)을 유지하거나 유지하지 않고) 그것의 고조파 컨텐츠를 조정한 이후에; 또는 그것의 ADSR 엔벨로프로의 변경들 이후에; 또는 하나 이상의 다른 음향 특징들에서 변경들 이후에 조합될 수 있다.
특정한 실시예들에서, 하나의 이미지 또는 프레임과 연관된 음향 특징들이 프레임의 후속 이미지와 상이한 경우에, 그 사이의 천이는 사용자 인지 관점으로부터, 천이가 음향 어필을 강화시키기 위해 소프트해지고, 평활화되거나 그렇지 않으면 조정되도록 컨디셔닝될 수 있다.
특정한 실시예들에서, 최종 검출된 특징과 연관된 이미지 또는 프레임 이후의 기간 동안, 피드백 생성기는 종료 피드백을 제공할 수 있다. 이러한 종료 피드백은 검출된 특징의 최종 이미지 또는 프레임의 톤(들)을 포함할 수 있다. 일례로서, 이러한 종료 피드백은 홀드 주기(예를 들어, 상기의 ADSR 엔벨로프를 참조)를 적용하고 그리고/또는 연장하는 것을 통해 구현될 수 있다. 이러한 종료 피드백은 (예를 들어, 이러한 최종 이미징의 임의의 이미지들 또는 프레임들에서 특징이 검출되지 않는 경우에도) 스윙의 임의의 최종 이미징을 통해 계속될 수 있다. 이러한 종료 피드백은 스윙의 이미징 이후에 선택된 시간 동안 계속될 수 있다.
톤들은 다양하게 구현되고 결정될 수 있다. 각 톤은 시스템 결정 기본 고조파 및 고조파 컨텐츠를 통해 구현될 수 있다. 더욱이, 사용자 가용 톤들의 영역은 샘플링 기술들을 포함하여, 사운드 신시사이저(synthesizer) 기술들을 통해 구현될 수 있다. 이러한 신시사이저 기술들은 다양하게 구현될 수 있다. 일례로서, 상술한 모바일 앱은 사용자가 예를 들어, 특징들을 구성하는 것, 음성들을 선택하는 것(또는 선택해제하는 것), 진폭들을 세팅하거나 ADSR 및/또는 홀드 주기 파라미터들을 변경하는 것, 사운드들을 샘플링하는 것 등과 같은 동작을 선택/구성할 수 있게 하는 GUI와 함께, 이러한 기술들을 포함할 수 있다. 피드백 생성 및 관리에 관한 이들 설명들은 여기에 논의한 임의의 피드백에 적용된다.
다른 양태들은 스포츠 디바이스와 같은 다른 물리적 객체에 대한 운동 활동이 갖는 효과에 기초하여 운동 선수에게 피드백을 제공하는 것에 관한 것이다. 예를 들어, 피드백 신호들은 운동 선수의 골프 클럽과 접촉한 이후에 골프 공의 비행의 궤적 및/또는 속성들에 기초하여 제공될 수 있다. 다른 실시예에서, 농구 플레이어들의 슛이 플레이어에게 피드백을 제공하기 위해 사용될 수 있다. 일 실시예에서, 객체에 대한 운동 선수의 영향이 결정될 수 있다(예를 들어, 블록(610) 참조). 일례로서, 블록(610)은 복수의 이미지들을 프로세싱하여 물리적 객체와 (직접적으로 또는 간접적으로) 접촉하는 제1 운동 선수의 이미지 데이터를 식별하기 위해 블록(604 및/또는 802)과 관련하여 설명한 하나 이상의 시스템들을 활용할 수 있다. 다른 실시예들에서, 접촉된 이후와 같은, 모션 중의 객체의 이미지 데이터가 활용될 수 있다. 모션 데이터는 운동 선수가 이미지 데이터내에 있지 않더라도 활용될 수 있다. 또 다른 실시예들에서, 미이미지 센서 데이터가 모션 중에 배치되거나 운동 선수와 접촉한 객체에 기초하여 모션 데이터를 획득하기 위해 사용될 수 있다. 예를 들어, 일 실시예에서, 야구공은 투수가 던지고 그리고/또는 타자가 친 이후의 공의 속도, 스핀, 가속도, 또는 다른 모션 파라미터들을 결정하기 위해 사용될 수 있는 가속도계를 포함할 수 있다. 가속도계로부터의 데이터는 단독으로 또는 이미지 기반 데이터와 함께 활용될 수 있다. 유사하게, 타자의 배트와 같은 스포츠 디바이스는 적어도 하나의 센서를 포함할 수 있다. 이와 관련하여, 블록(401)의 데이터를 수집하고 그리고/또는 분석하는 것은 도 6 내지 8에 설명한 바와 같을 포함하지만 이에 한정되지 않는, 여기에 개시된 임의의 및 모든 시스템들 및 방법들을 통합할 수 있다. 특정한 실시예들에서, 블록(410)의 일부로서 수집되고 그리고/또는 분석된 데이터는 운동 움직임의 특징을 수행하는 운동 선수(예를 들어, 블록(404))에 관하여 수집된 데이터와 완전히 구별된다. 그러나, 통상의 기술자는 특정한 실시예들에서, 블록(410)이 특징 또는 움직임이 발생하였는지 그리고/또는 수행된 특징 또는 움직임의 속성을 결정하기 위해 활용될 수 있다는 것을 이해할 것이다. 이와 관련하여, 특정한 실시예는 블록(608)의 구현 이전 또는 그 동안에 블록(610)을 통합할 수 있다.
이러한 블록(610)을 통해 물리적 객체에 대한 운동 선수의 영향을 결정시에, 피드백 신호들이 운동 선수에게 송신될 수 있다. 일 실시예에서, 블록(608)은 피드백 신호를 운동 선수에게 제공하기 위해 개시(또는 변경)될 수 있다. 피드백 신호들은 이전 또는 현재 특징 또는 움직임의 운동 선수의 수행에 관한 피드백 신호들과 동일한 포맷 및 타입일 수 있다. 예를 들어, 오디오 신호들이 운동 선수의 수행의 속성들을 전달하기 위해 사용된 경우에, 오디오 신호들은 (특징의 수행과 관련되지 않을 수 있는) 물리적 객체에 대한 운동 선수의 영향의 피드백에 관한 데이터로부터 속성들의 피드백을 전달하기 위해 또한 활용될 수 있다. 일 실시예에서, 가청 톤이 골퍼의 스윙의 속성들에 기초하여 변조될 수 있고, 제 2 가청 톤이 클럽으로 히트시에 공의 속성들에 기초하여 변조될 수 있다. 일례에서, "슬라이스된(sliced)" 공이 제1 변조 신호를 발생시킬 수 있고, "훅된(hooked)" 공이 제 2 변조 신호의 송신을 발생시킬 수 있다. 특정한 실시예들에서, 충격력, 속도, 가속도, (지면과 같은) 표면에 대한 위치, 또는 다른 속성들이 어떤 피드백 신호가 활용되는지(그리고/또는 피드백 신호가 하나 이상의 속성들에 기초하여 어떻게 변경될 수 있는지)의 결정들에서 사용될 수 있다.
본 개시의 다른 양태들은 캡처된 이미지 데이터 및/또는 이미지 데이터로부터 유도된 데이터에 기초한 운동 스코어를 계산하는 것에 관한 것이다. 예시적인 실시예들은 피드-포워드, 즉, 코칭을 제공하기 위해, 이미지 데이터, 센서 데이터, 또는 스윙 결과 데이터의 임의의 조합으로, 캡처된 데이터를 분석하는 것을 예상한다. 이러한 피드-포워드는 휴대 전자 디바이스의 GUI, 예를 들어, 카메라를 제공하는 스마트폰일 수 있는 휴대 디바이스(112)와 같은 디바이스상에 실행하는 비일시적 컴퓨터 판독가능 매체에 대한 앱 또는 임의의 컴퓨터 실행가능 명령들의 GUI를 통해 제공될 수 있다. 예를 들어, 피드-포워드 오디오가 제공될 수 있다. 이러한 피드-포워드는 근육 메모리 트레이닝에 유익할 수 있다. 또한, 이미지 센서를 통해 캡처된 스윙 또는 다른 구성으로, 운동 선수에 대해 생성된 피드백은 저장된 비디오로 응답을 위해 저장될 수 있다. 그 후, 이러한 저장된 비디오는 근육 메모리 발달을 위해, (예를 들어, 스윙이 특별히 양호한 스윙 결과 데이터를 갖는 경우에) 반복을 포함하여, 추후에 플레이백될 수 있다.
일 실시예에서, 스포츠 특정 알고리즘은 운동 선수에 대한 스포츠 특정 스코어를 결정하기 위해 활용될 수 있다. 일 실시예에서, 이미지 데이터 및 옵션으로는 다른 수행 속성으로부터 적어도 부분적으로 유도된 반응값이 운동 선수에 대한 단일 운동 스코어를 획득하기 위해 스포츠 특정 랭킹 알고리즘에서 활용될 수 있다. 스코어는 (예를 들어, 블록들(604, 804 및/또는 806)에서 수집된 데이터를 통해서) 운동 선수의 수행의 속성들을 (블록(610)에서 수집된 데이터와 같은) 결과와 상관시킬 수 있다. 예를 들어, 골퍼의 스윙 데이터는 타격된 골프 공의 속성들과 비교될 수 있다. 예를 들어, 스윙의 특정한 템포들이 골프 공에 대한 운동 선수의 영향에 기초하여 스코어링될 수 있다. 특정한 실시예들에서, 스코어는 각각의 운동 스코어들에 따라 운동 선수 및 제 2 운동 선수를 랭킹하기 위해 사용될 수 있다. 특정한 실시예들에서, 트레이너, 코치, 또는 운동 선수는 단지 신체적 활동을 수행하는 운동 선수의 (비디오와 같은) 이미지 데이터를 송신해야 할 수 있다. 시스템은 운동 스코어를 제공하기 위해 (예를 들어, 여기에 설명한 프로세스들 중 하나 이상을 구현함으로써) 이미지 데이터를 분석하도록 구성될 수 있다. 일 실시예에서, 이미지 데이터는 이미지 데이터내에 표현된 소정의 신체적 활동을 식별하기 위해 분석될 수 있다. 다른 실시예들에서, 시스템들 및 방법들은 트레이닝 지시를 제공하기 위해 수행 속성(들), 등급(들), 및/또는 이미지 데이터를 활용할 수 있다.
신체적 활동들은 운동 협응(motor coordination)을 나타낸다. 운동 협응은 (공간 방향과 같은) 운동학 및 운동(힘) 파라미터들로 생성된 신체 움직임들의 조합이다. 운동 협응은 참여자의 신체 및/또는 신체 부위들에 관하여, 초기 포지셔닝들/배향들, 초기 움직임들, 초기 움직임들의 후속 부분들, 및 후속 움직임들의 시퀀스를 실시함으로써 달성된다. 운동 협응은 예를 들어, 움직임들 중의 적절한 타이밍, 효율적인 움직임, 및 움직임 사이의 평활한 천이들을 특징으로 하는 잘 구성된 방식으로 이러한 시퀀스를 실시함으로써 강화된다. 신체적 활동들에 대해 일반적으로 기초이지만, 운동 협응은 임의의 특정한 신체적 활동의 일부 구성들에 관하여 상승된 값을 가질 수 있다. 이러한 구성들에 관하여, 뛰어난 운동 협응은 이러한 엘리먼트 뿐만 아니라 신체적 활동 전체에 관하여 뛰어난 수행을 전달할 수 있다. 예들로서, 운동 협응은 예를 들어, 야구 배트들, 테니스 라켓들, 하키 스틱들, 라크로스 스틱들, 및 임의의 각종 골프 클럽들을 포함하는 임의의 운동 장비를 스윙하는 것에 관하여 상승된 값을 가질 수 있다. 다른 예들로서, 운동 협응은 예를 들어, 야구공을 던지는 것, 풋볼을 던지는 것, 농구공을 슛팅하는 것, 축구공을 차는 것, 배구공을 스파이크하는 것, 짧은 퍼팅하는 것, 또는 투창을 던지는 것을 포함하는 임의의 운동 장비를 론칭하는데 있어서 상승된 값을 가질 수 있다. 다른 예들로서, 운동 협응은 전달하고, 던지거나, 그렇지 않으면, 예를 들어, 다이빙, 높이뛰기, 재주 넘기, 댄스, 스핀, 한 발 돌려차기 또는 펀치 중 어느 하나를 수행하는데 있어서 상승된 값을 가질 수 있다. 여기에서, 용어들 "피드백 테스트", "수행 테스트" 또는 "테스트", 또는 이들의 변형들이 예들로서, (여기에 설명한 바와 같은) 이미징의 취득, 이러한 이미징의 분석, 및/또는 이러한 피드백의 생성/제공과 같은, (예를 들어, 운동 협응 또는 임의의 하나 이상의 특징들에 관한 피드백을 포함하는) 참여자 피드백에 관한 것을 지칭할 수 있다는 것이 이해된다. 예에서, 여기서, (ⅰ) 용어 "신체적 활동"은 위에서 또는 그렇지 않으면 여기에서 참조되는 스포츠 및 다른 활동들 중 임의의 것을 포함하지만 제한하지 않는 운동 협응을 수반하는 임의의 신체적 활동을 예상하고; (ⅱ) 용어 "구성"은 임의의 이러한 신체적 활동의 임의의 부위, 부분, 엘리먼트, 또는 다른 구성 움직임 또는 움직임들을 예상하며; (ⅲ) 여기에서의 임의의 특정한 설명이 임의의 하나의 구성 또는 임의의 하나의 신체적 활동을 참조할 수 있더라도, 이러한 설명은 단지 설명, 평이함 또는 예를 위한 것이고 그 설명들을 이러한 구성 또는 활동에 제한하지 않아서, 예를 들어, 용어들 "스윙" 또는 "스윙하는"이 여기에 사용되는 경우에, 이들 용어들은 (사용자가 스윙하는 임의의 장비에 관계없이) 모든 스윙하는 타입의 구성들 뿐만 아니라, 상술한 스윙하지 않는 구성들 모두를 포함하지만 이에 제한되지 않는 모든 스윙하지 않는 움직임/움직임들을 설명하기 위해 사용된다.
예시적인 실시예들에서, 구성은 컴포넌트(들) 및 활동 공간을 예상할 수 있다. 활동 공간은 그것의 하나 이상의 구성들을 포함하는 신체적 활동과 연관된 신체적 컨텍스트를 나타내고, 이러한 신체적 컨텍스트는 일반적으로 테스트 엘리먼트들을 포함한다. (경계들, 영역(들), 장비 등과 같은) 예를 들어, 하나 이상의 테스트 엘리먼트들을 포함하는 활동 공간은 다양하게 구현될 수 있다. 컴포넌트는 예를 들어, 참여자의 신체 위치, 참여자의 신체 배향, 하나 이상의 신체 부위들의 움직임, 또는 참여자를 수반하는 다른 액션, 또는 동일한 것들 중 어느 것의 부재 또는 실질적 부재; 또는 동일한 것들 중 어느 것에 관한 변화; 또는 활동 또는 하나 이상의 구성의 참여자의 수행에 관한 테스트 엘리먼트의 상태의 변화(예를 들어, 스윙되고, 방출되고 그리고/또는 착지되는 것과 같은 장비 변화 상태) 중 어느 것을 예상할 수 있다. 참여자의 신체 위치 또는 배향을 예상하는 컴포넌트는, 참여자의 신체 또는 신체 부위들에 관하여, 2개 이상의 신체 부위들 중에서 상대적 포지셔닝 또는 배향, 또는 하나 이상의 테스트 엘리먼트들에 대한 신체 또는 신체 부위(들)의 포지셔닝 또는 배향, 또는 이들이 조합들을 포함할 수 있다.
도 9a 및 도 9b는 예시적인 테스트 엘리먼트들을 포함하는 예시적인 활동 공간들을 도시한다. 도 9a를 참조하면, 활동 공간(900)은 예시적인 테스트 엘리먼트들을 예시한다. 활동 공간(900)은 화살촉 민첩성 수행 테스트와 연관되고, 이 테스트는 테스트 엘리먼트들에 관하여 다양하게 구성될 수 있다. 테스트 엘리먼트들에 관하여, 활동 공간(900)은 영역(902), 장비(906A-F), 및 스타트-피니쉬 라인(908)(때때로, 여기서 "스타트-스탑 라인"으로 지칭됨)을 포함할 수 있다. 영역(902)은 경계(904)를 가질 수 있고, 이 경계는 참여자에 의해 정의되거나 정의되지 않을 수 있고, 구획되거나 구획되지 않을 수 있거나, 또는 그렇지 않으면 관찰가능/알려질 수 있거나 관찰불가능/알려지지 않을 수 있다(이하, 용어들 "참여자", "운동 선수", "사용자" 등이 이용될 수 있고, 특정한 사용이 다르게 언급하거나 나타내지 않는 한, 용어들은 구성(들)의 이미징이 여기에서 설명한 목적들을 위해 획득되는 사람을 지칭하기 위해 사용된다). 영역(902)내에서, 장비(906A-F)는 규정된 위치들에 포지셔닝될 수 있고, 이 장비는 이에 의해 테스트를 수행하는데 있어서 방향 또는 활동들의 변화들에 대한 다양한 위치들을 운동 선수에게 나타낼 수 있다. 장비(906A-F)는 스타트-스탑 라인(908)을 운동 선수에게 나타낼 수 있다. 일례에서, 장비(906A-F)는 소정의 포메이션으로 배열된 콘들과 같은 마커들을 포함하고: (ⅰ) 4개의 콘들(906A, B, C, E)이 10미터 변들을 갖는 정사각형을 형성하도록 포지셔닝되고; (ⅱ) 콘(906F)이 콘들(906C 및 906E) 사이의 라인의 중심에 있고; (ⅲ) 콘(906D)이 콘들(906A, B)로부터 멀리, 906F로부터의 거리, 예를 들어, 5미터에서 콘들(906C, 906F 및 906E)에 의해 형성된 라인에 수직한 라인상에 포지셔닝된다. 영역(902)은 예를 들어, 수행 테스트의 운동 선수의 적절한 수행을 적절하게 지원하는 야드, 필드, 파크, 스포츠 필드, 주차장, 또는 임의의 다른 영역의 일부에 확립될 수 있다. 이러한 예에서, 영역(902)은 평평하고, 단단하고, 미끄럽지 않은 표면 등인 것으로 이해되거나 적어도 실질적으로 그러하다(예를 들어, 리지들, 상승된 장애물들, 홀들, 늪, 진흙, 매끄러운 영역 등이 없음). 예시적인 실시예들에서, 활동 공간(900)은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 테스트 엘리먼트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
도 9a를 더 참조하면, 활동 공간(900)은 상술한 것들 이외에 다양한 테스트 엘리먼트들을 포함할 수 있다. 예시적인 실시예들에서, 테스트 엘리먼트들은 예를 들어, (ⅰ) 운동 선수가 스타트-스탑 라인(908) 상에서 또는 뒤에서 시작하는 것(예를 들어, 자세의 모든 포인트들이 스타트-스탑 라인(908) 상에 또는 뒤에 있지만 넘지는 않음); (ⅱ) 터치되거나 그렇지 않으면 언제가 방해될 수 있는 콘이 없는 것; (ⅲ) 스타트-스탑 라인(908)으로부터 각각의 런 상에서, 콘들(906F, 906E, 및 906D)이 도 9a에 도시된 방향들로 그 순서로 라운드되고, 각 콘은 스텝 오버되지 않는 것; (ⅳ) 스타트-스탑 라인(908)으로부터 각각의 런 상에서, 콘들 (906F, 906D, 및 906D)이 도시된 방향들로 그 순서로 라운드되고, 각 콘은 스텝 오버되지 않는 것; (ⅴ) 스타트-스탑 라인(908)을 향해 콘(906D)으로부터 각각의 런 상에서, 런이 도 9a에 도시된 바와 같이, 콘들(906F 및 906E) 사이 또는 콘들(906F 및 906C) 사이에 있는 것; (ⅵ) 소정의 수의 반복들이 수행되는 것(예를 들어, 4회 반복들, 각 방향으로 2회); 및/또는 (ⅶ) 각 반복 사이에서, 소정의 레이턴시('회복 간격')가 이용되는 것(예를 들어, 최소 회복 주기를 갖거나 갖지 않고 각 반복 사이에서 최대 5분) 중 하나 이상을 포함할 수 있다. 예시적인 실시예들에서, 테스트 엘리먼트들은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 테스트 엘리먼트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
다양한 구현들에서, 활동은 다양한 구성들을 예상할 수 있고, 각 구성은 활동 공간에서 수행된 다양한 컴포넌트들을 예상할 수 있다. 활동이 화살촉 민첩성 훈련인 일례에서, 구성들 또는 컴포넌트들은 예를 들어, (ⅰ) 운동 선수가 규정된 초기 위치를 가정하는 것(예를 들어, 4-포인트 스프린터의 자세, 3-포인트 풋볼 자세, 2-포인트 러너의 자세); (ⅱ) 운동 선수가 자세에서, 활동 또는 구성 시작 이전에 규정된 시간(예를 들어, 1초 이상, 또는 다른 시간, 및 그 목적들을 지원하기 위한 임의의 경우에, 여기에 설명한 일부 예들에서, 이미지 프로세싱에서) 동안 모션없음 또는 실질적으로 모션없음으로 있는 것(예를 들어, 앞뒤 흔들림, 전방 기울임 또는 반대 움직임 없음); (ⅲ) 운동 선수의 제1 움직임 또는 실질적인 움직임이 테스트 시작을 정의하는 것(예를 들어, 특정한 신체 부위의 움직임, 또는 복수의 신체 부위들의 움직임, 또는 복수의 신체 부위들 사이의 상대적 움직임, 또는 종합 신체 움직임); (ⅳ) 스타트-스탑 라인(908)으로부터 콘(906F)의 라운딩의 개시까지의 운동 선수의 시간; (ⅴ) 콘(906F)을 라운딩하는 동안, 2개 이상의 신체 부위들 사이의 상대적 포지셔닝 또는 배향, 또는 콘(906F) 및/또는 지면에 대한 신체 또는 신체 부위(들)의 포지셔닝 또는 배향, 또는 이들의 조합들(예를 들어, 최대값들 또는 최소값을 찾거나, 컴포넌트에 관한 다른 통계적 표시); (ⅵ) 콘(906F)으로부터 콘(906E)까지의 운동 선수의 시간(예를 들어, 콘(906F)의 라운딩의 완료로부터 콘(906E)의 라운딩의 개시까지의 시간); (ⅶ) 콘(906E)을 라운딩하는 동안, 2개 이상의 신체 부위들 사이의 상대적 포지셔닝 또는 배향, 콘(906E) 및/또는 지면에 대한 신체 또는 신체 부위(들)의 포지셔닝 또는 배향, 또는 이들의 조합들(예를 들어, 최대값들 또는 최소값을 찾거나, 컴포넌트에 관한 다른 통계적 표시); (ⅷ) 콘(906E)으로부터 콘(906D)까지의 운동 선수의 시간(예를 들어, 콘(906E)의 라운딩 완료로부터 콘(906D)의 라운딩의 개시까지의 시간); (ⅸ) 콘(906d)을 라운딩하는 동안, 2개의 신체 부위들 사이의 상대적 포지셔닝 또는 배향, 또는 콘(906D) 및/또는 지면에 대한 신체 또는 신체 부위(들)의 포지셔닝 또는 배향, 또는 이들의 조합들(예를 들어, 최대값들 또는 최소값을 규정하거나, 컴포넌트에 관한 다른 통계적 표시); (ⅹ) 콘(906D)으로부터 스타트-스탑 라인(908)까지의 운동 선수의 시간(예를 들어, 콘(906D)의 라운딩의 완료로부터 스타트-스탑 라인(908)에 도달까지의 시간); 및/또는 (ⅹⅰ) 운동 선수가 스타트-스탑 라인(908)을 가로질렀을 때 테스트 완료(예를 들어, 이러한 가로지름은 임의의 신체 부위, 특정한 신체 부위(들) 또는 전체 신체가 이러한 라인과 교차하였거나, 콘(906D)으로부터 먼 방향으로 이러한 방향을 넘어 전체적으로 통과했을 때 일 수 있음) 중 하나 이상을 포함할 수 있다. (상기에 따라, 테스트 시작과 테스트 완료 사이의 임의의 중간 또는 개재 포인트를 때때로 "테스트 이정표(milestone)"로 여기서 지칭할 수 있다). 화살촉 민첩성 훈련의 예시적인 실시예들에서, 구성 및/또는 컴포넌트들은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 구성들/컴포넌트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
예시적인 화살표 민첩성 훈련에 관하여, (후술하는 바와 같은) 테스트 결과들은 테스트 시작(상기 참조: 수행 테스트의 운동 선수의 개시와 연관된 제1 움직임)으로부터 테스트 완료(상기 참조: 스타트-스탑 라인(908)을 가로지름)까지의 총 경과 시간으로부터 평가될 수 있다. 다른 테스트 결과들은 다른 리스트된 또는 대안의 또는 추가의 구성들 및/또는 컴포넌트들 중 하나 이상으로부터, 단독으로 또는 임의의 조합으로 평가될 수 있거나 평가되지 않을 수 있다.
도 9a 및 도 9b를 더 참조하면, 활동 공간(910)은 다른 예시적인 테스트 엘리먼트들을 예시한다. 활동 공간(910)은 닐링 파워 볼 체스트 론치 훈련(kneeling power ball chest launch exercise)과 연관되고, 이 훈련은 테스트 엘리먼트들에 관하여 다양하게 구성될 수 있다. 테스트 엘리먼트들에 관하여, 활동 공간(910)은 영역(912), 장비(916A-E), 및 론치 라인(918)을 포함할 수 있다. 장비(916B)는 파워 볼(예를 들어, 규정된 웨이트의 메디신 볼과 같은 피트니스 볼)일 수 있다. 장비(916A)는 론치 라인(918)을 운동 선수에게 나타낼 수 있다. 더욱이, 예시적인 실시예들에서, 장비(916A)는 아래 표면에 대해 평탄하거나 굴곡질 수 있는 패드, 깔개, 또는 다른 표면을 포함할 수 있고, 이 위에서, 운동 선수는 테스트를 수행하기 위해, 즉, 파워 볼(916B)을 론치하기 위해 (예를 들어, 편안하게) 무릎을 댈 수 있다. 영역(912)은 경계(914)를 가질 수 있고, 이 경계는 일반적으로 선으로 구획된 바와 같이 도 9a의 예시적인 실시예에 도시되어 있지만, 이 경계는 다른 실시예들에서는, 운동 선수에 의해 정의될 수 있거나 정의되지 않을 수 있고, 선으로 구획될 수 있거나 선으로 구획되지 않을 수 있거나, 그렇지 않으면, 관측가능하고/알려질 수 있거나 관측가능하지 않고/알려지지 않을 수 있다. 도시되어 있는 바와 같이, 영역(912)내에서, 경계는 규정된 위치들에 위치된 장치(916A 및 916C-E)에 의해 일반적으로 선으로 구획되고, 이에 의해, 장비는 테스트를 수행함에 있어서 공이 던져질 수 있는 경계(914)를 나타낸다. 장비(916C-E)는 장비(916A 및/또는 론치 라인(918)으로부터 규정된 거리(들)에 배치된 콘들을 포함할 수 있다(예를 들어, 거리들은 하나 이상의 방사상 거리들일 수 있어서, 장비(916A, 916C, 및 916E)는 각도를 설명하고, 이 각도는 장비(916A)와 장비(916D) 사이에 형성된 라인에 의해 2등분될 수 있다). 영역(912)은 예를 들어, 수행 테스트의 운동 선수의 적절한 수행을 적절하게 지원하는 야드, 필드, 파크, 스포츠 필드, 주차장, 또는 임의의 다른 영역의 일부에 확립될 수 있다. 예시적인 실시예들에서, 활동 공간(910)은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 테스트 엘리먼트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
도 9a를 더 참조하면, 활동 공간(910)은 상술한 것들 이외에 다양한 테스트 엘리먼트들을 포함할 수 있다. 예시적인 실시예들에서, 테스트 엘리먼트들은 예를 들어; (ⅰ) 초기 닐링 위치에서, 운동 선수의 무릎은 론치 라인(918) 위 또는 뒤에 있을 수 있지만 넘지는 않을 수 있고; (ⅱ) 그렇게 닐링하면, 운동 선수의 무릎은 평행하고, 운동 선수의 발은 발바닥을 굽히고, 즉, 론치 방향으로부터 떨어져 포인팅되고, 발가락들이 포인팅되거나 실질적으로 포인팅된 지면과 수평하고(예를 들어, 발가락들은 지면에 추가의 긴장력을 제공하도록 컬(curl)되지 않을 수 있음); (ⅲ) 공은 양손으로 쥐어지고, 손은 공의 직경과 정렬되고 공의 반대측에 위치되고; (ⅳ) 무릎은 적어도 공의 방출 전까지(예를 들어, 공의 완전 방출, 운동 선수의 신체의 어느 부위와 접촉하는 공이 남아 있지 않음) 지면 또는 닐패드와 접촉을 유지하고; (ⅴ) 공(916B)은 경계(914)내에 착지하며; (ⅵ) 운동 선수의 신체 또는 신체의 부위는 공이 완전하게 방출될 때까지 론치 라인을 크로스하지 않을 수 있는 것 중 하나 이상을 포함할 수 있다. 예시적인 실시예들에서, 테스트 엘리먼트들은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 테스트 엘리먼트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
도 9a 및 도 9b를 참조하면, 닐링 파워 볼 체스트 론치 훈련은 활동 공간(910)에서 수행된 다양한 구성들 및/또는 컴포넌트들을 예상할 수 있다. 예를 들어, 구성들 또는 컴포넌트들은 예를 들어, (ⅰ) 운동 선수가 머리 위로 (공(916B)을 포함하는) 팔을 홀딩하면서, 규정된 초기 위치를 가정하고(예를 들어, 닐링하고, 백 이렉트(back erect) 및 장비(916C-E)를 향해 마주보고); (ⅱ) 초기 닐링 위치에서, 운동 선수는 테스트 시작 이전의 규정된 시간(예를 들어, 1초 이상, 또는 이러한 다른 시간, 및 임의의 경우에, 운동 등급에서 모션없음의 목적을 지원하기 위해, 그리고 여기에 설명한 일부 예들에서, 이미지 프로세싱에서) 동안 모션없음 또는 실질적으로 모션없음(예를 들어, 흔들림 또는 유사한 움직임 없음)을 유지하고; (ⅲ) 운동 선수의 제1 움직임 또는 실질적인 움직임(예를 들어, 엉덩이를 뒤꿈치로 가져가면서 공이 체스트로 내려감); (ⅳ) 공을 방출 포인트 앞으로 그리고 위로 옮기는 것에 관한, 특정한 신체 부위들의 운동 선수의 움직임, 또는 복수의 신체 부위들의 움직임, 또는 복수의 신체 부위들의 상대적 움직임, 또는 종합 신체 움직임; (ⅴ) 운동 선수가 한 팔로 조력하지 않고, 팔의 던지기 회전없이 그리고 스핀을 중심으로 한 회전 없이 양손으로 공을 론치하는 것; (ⅵ) 테스트 시작, 즉, 운동 선수의 공의 방출; 및 (ⅶ) 테스트 완료, 즉, 예를 들어, 장비(916C-E)를 향한 방향에서 론치 라인(918)으로부터 거리에서 착지점(920)에서 공 착지 중 하나 이상을 포함할 수 있다. 닐링 파워 볼 체스트 론치 훈련의 예시적인 실시예들에서, 구성들 및/또는 컴포넌트들은 상술한 것 모두를 포함하여, 상술한 것 중 어느 하나 이상을 제외할 수 있거나, 하나 이상의 대안 또는 추가의 구성들/컴포넌트들과 조합하여 상술한 것 중 어느 하나 이상을 포함할 수 있다.
닐링 파워 볼 체스트 론치 훈련에 관하여, (후술하는 바와 같은) 테스트 결과들은 론치 라인(918)(예를 들어, 장비(916C-E)의 방향으로 에지)과 착지점(920)(예를 들어, 공이 먼저 착지하는 중심점) 사이의 거리로서 평가될 수 있다. 이러한 테스트 결과들은 공의 방출과 공 착지 사이의 경과 시간으로부터 획득될 수 있다. 추가적으로 또는 대안으로, 이러한 테스트 결과들은 방출로부터 착지까지 비행 시간에 따른 계산에 의해 획득될 수 있다. 다른 테스트 결과들은 다른 리스트된 또는 대안의 또는 추가의 구성들 및/또는 컴포넌트들 중 하나 이상으로부터, 단독으로 또는 임의의 조합으로 평가될 수 있거나 평가되지 않을 수 있다.
활동 공간들(900 및/또는 910)과 연관된 일부 테스트 엘리먼트들이 도 9a에 도시되어 있지만, 다른 것들은 도시되어 있지 않다. 추가의 테스트 엘리먼트들은 예를 들어, 풍속 및 방향, 지면 조건, 비 또는 강수량, 온도, 습도 등과 같은 대기 조건들을 포함할 수 있다. 이들 조건들 중 하나 이상의 위반들은 테스트를 취소할 수 있거나 취소하지 않을 수 있다. 예시적인 실시예들에서, 조건들은 테스트 결과들에 주석을 달기 위해 이용될 수 있다. 다른 예들에서, 조건들은 예를 들어, 비교를 위해 테스트 결과들을 조정하거나 비조정된 테스트 결과들을 이용하여 스코어링 또는 등급을 변경하는 것을 포함하는, 수행 테스트로 팩터화될 수 있다.
예시적인 실시예들에서, 수행 테스트(들)의 운동 선수의 수행은 측정되고 그리고/또는 그렇지 않으면 대표적인 데이터로 변환된다(여기서, 이러한 측정 및/또는 변환은 때때로 용어 "측정" 뿐만 아니라 그것의 파생어들로 지칭되고, 이러한 대표적인 데이터는 때때로 용어 "테스트 결과들"로 지칭된다). 예시적인 실시예들에서, 측정치들은 예를 들어, 시간(예를 들어, 달리기, 점프 또는 민첩성 테스트의 경과 시간, 또는 던져진 공의 비행의 경과 시간), 거리(예를 들어, 객체의 비행의 거리), 각도(예를 들어, 방향 변화의 각도), 및/또는 위치(다른 신체 부위 또는 지면 또는 장애물과 같은 기준에 대한 하나의 신체 부위)와 같은 차원 메트릭들을 포함할 수 있다. 예시적인 실시예들에서, 측정치들은 예를 들어, 카운트들과 같은 비차원 메트릭들을 포함할 수 있다. 이러한 비차원 메트릭들은 예를 들어, (ⅰ) 반복들, 예를 들어, 수행 테스트에서 구성(들) 및/또는 컴포넌트(들)의 실행들의 카운트(예를 들어, 실행이 적절하든 안하든, 고정 시간에 실행된 푸쉬-업들의 총 수); 및/또는 (ⅱ) 파울들, 예를 들어, 수행 테스트에서 에러들의 카운트(예를 들어, 운동 선수가 그들의 체스트를 지면에서 튕기는 푸쉬-업들의 총 수)에 적용될 수 있다.
파울들 및 임의의 연관된 파울 메트릭들은 수행 테스트내에서 다양하게 구현될 수 있다. 구현된 "파울들"은 예를 들어, 하나 이상의 컴포넌트들 또는 구성들의 운동 선수의 부적절한 실행 및/또는 활동 공간으로부터 운동 선수의 부적절한 이탈과 연관될 수 있다. 컴포넌트 또는 구성의 운동 선수의 부적절한 실행은 예로서, 셔플(shuffle) 움직임 동안 다리/발의 크로싱(예를 들어, 적절한 셔플은 반복적으로 분리된 후 크로싱없이 합쳐지는 다리/발을 통한 움직임을 예상한다); 신체 부위들 중에서 임계 각도에 도달하거나 초과하기 실패(예를 들어, 런지 또는 스쿼트에서 무릎 굽힘); 및/또는 덤블링 또는 신체 제어의 다른 전체 손실을 포함할 수 있다. 활동 공간으로부터 운동 선수의 부적절한 이탈은 예들로서, 그 내부에서 수행 테스트가 수행되는 임의의 영역 또는 경계 외부로 이동하는 것(예를 들어, 닐링 론치 테스트에서, 경계(14) 외부에서 공 던지기); 테스트 엘리먼트를 방해하는 것(예를 들어, 민첩성 코스에서 콘을 뒤집는 것(upending)); 테스트 엘리먼트와 적절한 상호작용 실패(예를 들어, 이러한 터치가 테스트 엘리먼트일 때 콘을 터치하는 것 실패; 또는 테스트 엘리먼트들 터치하지 않을 때 콘을 터치하는 것; 또는 콘을 돌거나 콘 내부 또는 외부에 머무르는 것 실패, 등); 테스트 엘리먼트를 지속하는 것 실패(예를 들어 설정 시간 동안 움직임 없음과 같은 규정된 시간 조건들을 유지하거나, 레이턴시 주기 및/또는 회복 간격이 만료된 이후에 반복을 실행하는 것 실패); 및/또는 테스트 엘리먼트를 부적절하게 이용하는 것(예를 들어, 테스트의 방향 변화에 대한 반동력으로서 코스 마커를 밀거나 끌어당김, 또는 푸쉬-업에서 상향 움직임에 대한 반동력으로서 체스트를 지면에 튕기기)을 포함할 수 있다.
예시적인 실시예들에서, 파울(들) 및 임의의 연관된 메트릭(들)은 결과적으로 발생할 수 있다. 결과들은 예를 들어, (a) (예를 들어, 테스트에서 불공평한 어드밴티지를 전달하는 위치를 가정하여, 닐링 파워 볼 체스트 론치 테스트에서 부정 출발, 도움닫기, 부적절한 공 잡기 또는 흔들림 움직임; 소정의 임계치를 초과하는 파울; 및/또는 소정의 임계치를 초과하는 종합 파울 카운트 중 임의의 것에 응답하는 것과 같이) 테스트 결과의 실격(배제로도 알려짐); (b) 시간 메트릭을 통해 측정된 테스트 결과에 시간 양의 가산 - 예를 들어, 이러한 시간 양은 가능하면 페널티(예를 들어, 각 뒤집어진 콘에 대해 0.02초, 여기서 운동 선수의 시간에 대한 이점은 각 이러한 뒤집어진 콘에 대해 0.01초인 것으로 사전 결정되고, 0.01초는 페널티로서 평가됨)와 함께 부적절한 움직임으로 인해 생기는 시간 이점에 응답함 -; 또는 (c) 거리 메트릭을 통해 측정된 테스트 결과에 대한 소정의 거리 양의 감산, - 예를 들어, 이러한 거리 양은 가능하면 페널티와 함께 부적절한 움직임으로 인해 생기는 이점에 응답함 - 을 포함하는 결과들이 다양하게 구현될 수 있다. 예시적인 실시예들에서, 결과적인 테스트 결과들은 (예를 들어, 실격, 가산, 감산, 또는 그 외를 통한) 임의의 조정에 영향을 받을 때, 측정으로부터의 테스트 결과들이다.
예시적인 실시예들에서, 결과적인 파울들만이 취급되거나 그렇지 않으면 테스트 결과들에 포함되거나 테스트 결과들과 포함되는 것에 관하여 보고되는 것과 같이, 검출되고, 측정되고 작용된다. 예시적인 실시예들에서, 결과적인 파울들은 테스트 결과들을 무효로 함으로써 작용될 수 있다. 예시적인 실시예들에서, 비결과적인 파울들이 (단독으로 또는 결과적인 파울들과 함께) 검출될 수 있고, 이 검출은 운동 선수에게 이러한 파울들을 다루는 것을 명령하기 위한 것과 같이, 예를 들어, 코치하는 것 또는 다른 지시를 위해 작용될 수 있어서, 테스트 결과들의 향상을 가능하게 한다.
예시적인 실시예들에서, 운동 선수는 예를 들어, 하나 이상의 휴대 전자 디바이스(들)(924A, 924B)의 사용을 통해 여기에 설명한 바와 같은 참여자 피드백을 입증하는 이미지 데이터를 획득할 수 있게 되고, 이 디바이스(들)는 여기에 더 설명하는 능력들을 지원하고, 이 능력들은 이미지 프로세싱을 위한 충분한 이미지 데이터가 예를 들어, 참여자 피드백의 제공을 차례로 가능하게 하는 출력들을 산출할 수 있게 하도록 취득 파라미터들을 갖는 이미지 취득 능력들, 특히, 이미지들의 시퀀스의 취득(예를 들어, 이미지들의 이러한 시퀀스는 비디오 프레임들 및/또는 정지 이미지들을 포함함)을 포함하지만 이에 제한되지 않는다. 예시적인 실시예들에서, 이러한 휴대 전자 디바이스(들)는 스마트폰(예를 들어, HTC One X+)과 같은 범용 디바이스를 포함할 수 있거나, (예를 들어, 여기에서의 설명들에 따른 시스템 및/또는 방법을 구체적으로 제공하기 위해 능력들을 집적한) 특수용 디바이스일 수 있다. 예시적인 실시예들에서, 각각의 이러한 디바이스의 이미지 취득 능력들은 하나 이상의 구성들 뿐만 아니라 그것의 컴포넌트들에 관한 것을 포함하여, 활동의 이미지들을 취득하기 위해 사용된다. 도 9a에 도시되어 있는 바와 같이, 휴대 전자 디바이스(924A/B)는 각각의 활동 공간(900, 910)과 관련하여 운동 선수에 의해 또는 운동 선수를 위해 배열될 수 있다. 이렇게 배열되면, 휴대 전자 디바이스(924A/B)는 활동에 관하여 운동 선수의 실시의 이미지들을 취득할 수 있게 된다.
디바이스(924)가 예를 들어, 탑재 또는 핸드헬드에 의한 것을 포함하여, 다양한 방식들로 이러한 이미지 취득을 가능하게 하도록 배열될 수 있다. 도 9a에 도시되어 있는 바와 같이, 운동 선수는 휴대 전자 디바이스(924B)가 제 2 사람(예를 들어, 친구, 팀메이트 또는 자신의 수행 테스트들을 또한 스스로 지시하는 다른 운동 선수 등)에 의해 소유되도록 휴대 전자 디바이스(924B)를 배열할 수 있다. 또한 도 9a에 도시되어 있는 바와 같이, 운동 선수는 트리패드(926)상의 탑재를 통해 휴대 디바이스(924A)를 배열할 수 있고, 이에 의해, 탑재는 이미지 취득을 위한 디바이스의 시야(934A)가 각각의 수행 테스트를 커버하도록 향하게 할 수 있다. 대안으로는 그리고 이러한 이미지 취득이 가능하게 되면, 운동 선수는 예를 들어, (ⅰ) 잔디 또는 지면상에 직접 배치(예를 들어, 활동 공간이 경기장과 같은 실외 필드인 경우); (ⅱ) 코트상에 직접 배치(예를 들어, 활동 공간이 농구, 배구 또는 다른 실내 코트인 경우); (ⅲ) 백 포켓에 삽입; 또는 (ⅳ) 활동 공간과 연관하여 위치된 아이템상에 탑재(예를 들어, 나무, 농구 포스트, 풋볼 포스트, 램프 포스트, 벽 등)를 통하는 것을 포함하여, 다른 탑재들 또는 다른 고정 디바이스들(여기서, 용어 "탑재" 및 그것의 파생어들로 일괄적으로 지칭함)을 통해 디바이스(924)를 배열할 수 있다. 대안으로는, 트레이너, 코치, 친구, 동료, 또는 다른 사람일 수 있는 다른 개인(928)이 휴대 디바이스(824)를 소유하고 그리고/또는 동작시킬 수 있다.
이들 배열들 중에서, 디바이스(924)에는 더 적거나 더 큰 안정성이 제공될 수 있다. 트리패드(926)를 통해 배열되면, 디바이스(924)에는 통상적으로 실질적인 안정성이 제공된다. 트리패드(926) 이외의 탑재를 통해 배열되면, 디바이스(924)에는 통상적으로, 적어도 핸드-헬드 배열과 비교하여 강화된 안정성의 레벨이 아직 제공된다. 반면에, 핸드-헬드 배열에서, 디바이스(924)에는 탑재된 배열과 비교하여, 적은 안정성 또는 일관되지 않은 안정성이 제공될 수 있다.
예를 들어, 트리패드(926)를 통해 안정하게 배열되면, 디바이스(924)는 수행 테스트의 이미지 취득 동안, 이동하지 않거나 실질적으로 이동하지 않는 경향이 있다. 이러한 안정한 배열은 취득된 이미지들 및 연관된 이미지 데이터에 관하여 비실질적인 충격없이 또는 비실질적인 충격을 갖고 이미지 취득을 가능하게 한다. 덜 안정적인 배열 - 또는 최소 임계치 아래의(주변 조건들 하의) 안정성을 제공하는 배열은 취득된 이미지들 및 연관된 이미지 데이터가 상당한 충격에 영향을 받게 하는 경향이 있다. 이러한 충격은 예를 들어, 이미징에서 객체들의 비정상적인 모션을 포함할 수 있다. 예로서, 디바이스의 물리적 움직임은 객체의 대응하는 물리적 아이템이 이미지들의 취득 동안 정지일 수 있음에도 불구하고, 객체로 하여금 이미지들 중에서 모션을 갖고 나타나게 할 수 있다. 다른 예로서, 객체의 대응하는 물리적 아이템이 이미지들의 취득 동안 실제로 이동하는 경우에는, 객체는 대응하는 아이템의 실제 물리적 움직임 보다 크거나 작은 모션을 갖는 것으로 나타날 수 있다. 디바이스의 물리적 움직임(예를 들어, 디바이스의 이미징 취득 능력들, 특히, 이미징 칩의 물리적 움직임)에 의해 초래된 객체들의 비정상적인 모션으로, 이미지들의 모든 객체들이 충격을 받는다. 따라서, 예시적인 실시예들에서, 시스템들 및 방법들은 이러한 비정상적인 모션을 검출하고, 추정하고, 그렇지 않으면 다루는 이미지 프로세싱 기술들의 이용을 예상하고, 이 기술들은 여기에서 예상되는 바와 같은 수행 테스트들에 관한 이미지-기반 측정치들과 호환성을 위해서 뿐만 아니라 이러한 다루는 역할의 능력들을 위해 선택될 수 있다.
도 9a를 참조하여 이전에 설명한 바와 같이, 휴대 전다 디바이스(924A, 924B)는 디바이스가 수행 테스트에 관하여 이미지들을 획득할 수 있도록 배열될 수 있다. 예시적인 실시예들에서, 이미지들을 취득하는데 있어서, 휴대 전자 디바이스는 일반적으로 이미지 취득을 가능하게 하기 위해 배열될 뿐만 아니라 적절한 이미지 취득을 제공하기 위해 포지셔닝된다(즉, 이미지 취득은 이미지 프로세싱 기술들이 수행 테스트들에 관하여 이미지-기반 측정을 가능하게 하는 출력들을 산출하게 할 수 있다). 이러한 포지셔닝은 예를 들어, (ⅰ) 적용가능한 테스트의 활동 공간(예를 들어, 물리적 차원들) 및 (ⅱ) 디바이스의 이미징 렌즈의 초점 거리, 조리개, 및 품질 뿐만 아니라 이미징에 적용가능한 포맷/해상도를 포함하는 다양한 팩터들에 응답할 수 있다. 일반적으로, 렌즈의 초점 거리는 디바이스의 시야(934A,B)를 나타내고(즉, 반비례하고), 초점 거리/조리개는 필드의 깊이를 나타낸다. 이미징의 포맷/해상도는 이미지 뎅터의 양을 나타낸다.
도 9a를 참조한 예로서, 휴대 전자 디바이스(924A)는 디바이스의 시야(934A)가 운동 선수가 화살촉 민첩성 훈련을 실시할 때 운동 선수의 이미지 취득을 가능하게 하도록 포지셔닝될 수 있다. 이러한 포지셔닝에서, 시야(934A)는 테스트 전반적으로 운동 선수의 활동들 모두의 이미지징을 가능하게 하도록 활동 공간(900) 전체를 커버한다. 그러나, 시야(934A)내의 전체를 커버하기 위해, 디바이스(924)는 활동 공간(900)으로부터 떨어져 포지셔닝될 수 있고, 이 거리는 이미징의 배경(930)을 향해 또는 이미징의 배경(930)에서 더욱 효과적으로 활동 공간(900)을 갖는다. 또한, 디바이스(924)는 이미징의 배경(930)에서 부분적으로 그리고 이미징의 전경(932)에서 부분적으로 활동 공간(900)을 갖는 거리에 포지셔닝될 수 있다. 어느 경우에서나, (운동 선수에 대응하는 객체와 같은) 하나 이상의 객체들은 불충분하게 이미징될 수 있어서, 불충분한 이미지 데이터가 구성들 및/또는 컴포넌트들에 관한 이미지-기반 측정을 가능하게 하는 출력들을 산출하기 위해 이미지 프로세싱 기술들에 대해 이용가능하여서, 특정한 피드백의 제공을 지원한다. 예시적인 실시예들에서, 시스템들 및 방법들은 예를 들어, 운동 선수에게 재-포지셔닝을 통지하는 것을 포함하여, 부적절한 포지셔닝을 검출하는 이미지 프로세싱 기술들의 이용을 예상한다.
도 9a에 도시되어 있는 바와 같이, 휴대 전다 디바이스(924A, 924B)는 시야(934A, 934B)가 수행 테스트 전체를 커버하는지에 따라 적절하게 포지셔닝될 수 있다. 일례로서, 도 9a에 도시되어 있는 바와 같이, 디바이스(924A)는 적절하게 포지셔닝될 수 있고, 화살촉 민첩성 수행 테스트에 관하여 활동 공간(900) 전체를 커버하는 시야(934A)를 갖는다. 그러나, 이렇게 포지셔닝된 디바이스(924A)는 도 9a에 도시된 활동 공간(910)의 전체를 커버하지 않는 시야(934A)를 갖고, 이 공간(910)은 닐링 파워 볼 체스트 론치 수행 테스트와 연관된다. 시야(934A)에 의해 커버되지 않는 활동 공간(910)의 적어도 일부에 관하여, 그것의 시야(934B)를 통해, 제 2 휴대 전자 디바이스(924B)가 닐링 파워 볼 체스트 론치 수행 테스트의 전체 커버리지를 제공하기 위해 이용될 수 있다. 따라서, 예시적인 실시예들에서, 시스템들 및 방법들은 복수의 휴대 전자 디바이스들을 다양하게 조정하기 위해(예를 들어, 교정, 셔터 동기화 및/또는 오프셋), 통신/제어 기술들 및/또는 이미지 프로세싱 기술들의 이용을 예상할 수 있고 취득된 이미지들의 이러한 디바이스의 복수의 시퀀스들 중에서 프로세싱할 수 있다(모자이크 프로세싱).
예시적인 실시예들에서, 휴대 전자 디바이스(924A, 924B)는 이미지 취득 능력들을 포함한다. 예시적인 실시예들에서, 휴대 전자 디바이스(924A, 924B)는 이미지 취득 능력들 뿐만 아니라 예를 들어, (ⅰ) 프로세싱 능력들; (ⅱ) 통신 능력들(예를 들어, 휴대 전자 디바이스들(924) 뿐만 아니라 다른 센서, 전자 또는 컴퓨터 디디바이스들 사이에서 통신/제어를 위한 무선 통신 지원); (ⅲ) 네트워킹 능력들(예를 들어, 신체 영역 네트워크(BAN), 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN) 및 광역 네트워크(WAN)와 같은 어느 하나 이상의 네트워크들에서 통신을 위한); (ⅳ) (예를 들어, 하나 이상의 가속도계(들), 자이로스코프(들), 컴퍼스(들), 다른 자력계(들), 바로미터(들), 다른 압력 센서(들), 온도계(들), 다른 온도 센서(들), 마이크로폰(들), 다른 음파 센서(들)(예를 들어, 초음파 센서(들)), 적외선(iR) 센서(들), 및 다른 전자기 방사 센서(들)와 같은, 디바이스(924) 내부 또는 외부의 하나 이상의 센서들을 통한) 데이터 취득 능력들; (ⅴ) (예를 들어, 물리적 버튼들, 터치 스크린을 통해 인에이블된 논리 버튼들, 음성 입력 제어, 및/또는 다른 입력 제어를 통하는 것을 포함하는) 입력/제어 능력들; (ⅵ) (예를 들어, LED 조명(들), 디스플레이, 터치 감지 디스플레이, 스피커(들), 다른 오디오 트랜스듀서를 통한) 출력/통지 능력들; 및/또는 (ⅶ) 조합(들) 및/또는 다른 디바이스(들)(924)와의 조합(들)을 포함하여, 장비, 의류, 신발 및/또는 액세서리들, 및/또는 다른 디바이스(들)(924)에 내장된 센서들, 트랜시버들, 또는 다른 전자 디바이스들로부터 취득된 데이터를 통하는 것을 포함하여, GPS, AGPS 신호 분석, 신호 강도 측정, 또는 다른 기술들에 의한 것과 같이, 다른 디바이스들(924), 또는 센서들, 장비, 또는 디바이스들, 또는 테스트 장비 또는 활동 공간에 대한 위치(들)를 식별하기 위한) 위치 검출 능력들 중 하나 이상을 포함하는 다른 능력들을 포함한다.
프로세싱 능력들을 포함하는 예시적인 실시예들에서, 이러한 프로세싱 능력들은 예를 들어, 모바일 소프트웨어 애플리케이션(들) 및/또는 내장 애플리케이션들, 및/또는 운영 시스템(들)을 포함하는, 소프트웨어 명령들의 하나 이상의 세트들을 실행하거나 실행되게 하도록 구현될 수 있다. 하나 이상의 이러한 소프트웨어 명령 세트(들)를 실행하는 이러한 프로세싱 능력들은 이러한 이미지 취득 능력들을 전체적으로 또는 부분적으로 제어하도록 구현될 수 있다(이러한 소프트웨어 명령 세트(들)는 여기에서 때때로 용어 '이미지 취득 소프트웨어'로 지칭된다). 이러한 프로세싱 능력들 및 이미지 취득 소프트웨어는 예들로서, 이미지들의 하나 이상의 시퀀스들의 취득(예를 들어, 스틸 이미지들 및/또는 비디오 프레임들의 시퀀스, 이러한 이미지들 및/또는 프레임들의 시퀀스들은 여기에서 때때로 용어 "이미지들" 또는 "이미징"으로 지칭됨); (예를 들어, 복수의 디바이스의 이미징 취득 능력들 중에서 조정을 포함하는) 각각의 이러한 시퀀스의 시작 및 중지의 제어; 임의의 시퀀스에 적용가능한 레이턴시(예를 들어, 시퀀스들 및/또는 레퍼런스에 대한 것과 같은 취득을 시작하는 시간 오프셋 사이 또는 복수의 디바이스의 이미지 취득 능력들 사이의 지연)의 제어; 취득 주파수의 제어(예를 들어, 단위 시간 당 취득된 프레임들 및 이미지들); 이미징에 적용가능한 해상도 및/또는 포맷팅의 제어(예를 들어, 이미지 또는 프레임 당 총 픽셀들, 및/또는 이미지 또는 프레임 당 라인들의 수 및 라인 당 픽셀들의 수); 취득된 이미지 데이터의 임의의 프로세싱의 제어(예를 들어, 이미저 노이즈 감소, 콘트라스트 제어 등); 및/또는 다른 이미징 파라미터들의 제어 또는 선택 중 하나 이상을 단독으로 또는 함께 인에이블할 수 있다.
프로세싱 능력들을 포함하는 예시적인 실시예들에서, 이러한 프로세싱 능력들은 하나 이상의 이미지 프로세싱 기술들을 구현하는 하나 이상의 비일시적 컴퓨터 판독가능 매체들상에서 컴퓨터 실행가능 명령들의 하나 이상의 세트들을 실행하거나 실행되게 하도록 구현될 수 있다(이러한 예시적인 명령 세트들은 여기에서 때때로 용어 "이미지 프로세싱 소프트웨어"로 지칭된다). 예시적인 실시예들에서, 이러한 이미지 프로세싱 소프트웨어는 하나 이상의 구성들 및/또는 컴포넌트들에 관하여 취득된 이미지들의 하나 이상의 시퀀스들로부터 정보를 프로세싱하고, 분석하고, 그리고/또는 그렇지 않으면 추출하는 것에 관한 이미지 프로세싱 기술들을 포함한다. 예시적인 실시예들에서, 이러한 이미지 프로세싱 소프트웨어는 예를 들어, 컴퓨터 비전의 또는 컴퓨터 비전에 관한 다양한 기술들 중 임의의 것을 포함하는 하나 이상의 기술들을 구현할 수 있다. 예시적인 실시예들에서, 이러한 이미지 프로세싱 소프트웨어는 때때로 다른 용어들중에서, 순차 프레임 분석; 순차 이미지 분석; 이미지 시퀀스 분석, 비디오 시퀀스 분석, 스틱셀(stixel) 모션 분석; 광학 흐름 분석; 모션 벡터 분석; 프레임 모션 분석; 모션 추정; 특징-기반 모션 추정; 모션 검출; 변화 검출; 프레임 차이(frame differencing); 순차 이미지 차이; 세그멘테이션; 특징 (기반) 세그멘테이션; 객체 세그멘테이션; 컬러 세그멘테이션; 강도 세그멘테이션; 모션 (기반) 세그멘테이션; 변화 검출 세그멘테이션; 특징 추출; 객체 인식; 패턴 인식; 패턴 매칭; 위치 추정; 배경 감산; 이미지 필터링; 및 (예를 들어, 에고-모션(ego-motion)을 무효로 하는) 글로벌 모션 검출/제거로 때때로 참조되는 하나 이상의 이미지 프로세싱 기술들을 구현할 수 있다. 상술한 기술들의 리스트가 포괄적이지는 않다는 것이 이해된다. 상술한 기술들의 리스트가 각각의 종류 중에서 하나 이상의 일반적인 것, 및/또는 어느 하나의 컴포넌트들을 포함할 수 있다는 것이 이해된다. 상술한 기술들의 리스트가 동일하거나, 실질적으로 동일하거나, 중복되는 기술들에 대한 하나 이상의 용어들을 포함할 수 있다는 것이 이해된다. 임의의 이용된 이미지 프로세싱 소프트웨어에서, 하나 이상의 반복들/회귀들/업데이트들에서, 이러한 리스트된 기술들 중 제1 리스트된 기술의 출력(들)이 이러한 제1 또는 하나 이상의 제 2 리스트된 기술에 대한 입력(들)일 수 있고, 차례로, 이러한 제 2 리스트된 기술 또는 기술들로부터의 출력(들)이 이러한 제 2 리스트된 기술들 또는 이러한 제1 리스트된 기술에 대한 입력(들)일 수 있다는 것이 이해된다. 이러한 기술들을 지원하는 이러한 소프트웨어가 (예를 들어, 활동, 구성 및/또는 컴포넌트의 실시에 대한 획득의 충분하게 이른 시작 및 충분하게 늦은 종료를 통한) 이미징 시퀀스들의 취득 및 (예를 들어, 객체들 및 서브-객체들 중의 단계들에서, 제1 단계에서, 운동 선수의 신체와 같은 일반 움직임에 관한 분석, 및 제 2 단계에서 운동 선수의 신체, 머리, 몸통, 팔, 다리, 장비 등의/중에서 특정한 또는 상대적 움직임의 분석을 포함하는 객체들 중의 세그멘테이션/검출/모션 추정을 향상시키기 위해) 여기에 설명한 바와 같은 이미징의 분석 양자를 향상시키도록 수행 테스트의 선험 지식(예를 들어, 테스트 엘리먼트들(예를 들어, 골프 클럽의 타입), 구성들, 컴포넌트들, 운동 선수 키 및/또는 다른 운동 선수 특징들, 예상 테스트 지속기간(들) 등)을 이용하도록 구성될 수 있다는 것이 또한 이해된다. 임의의 이미지 프로세싱 기술들이 (ⅰ) 스틸 이미지들(개별적으로 또는 일부 세트 또는 시퀀스로서), (ⅱ) 비디오 또는 비디오들 (예를 들어, 복수의 비디오 클립들, 이러한 클립들은 수행 테스트 중의 알려진 관계를 가짐); 및/또는 (ⅲ) 스틸 이미지(들), 비디오, 및/또는 비디오들의 임의의 조합의 프로세싱을 일반적으로 제공한다는 것이 또한 이해된다. (임의의 이러한 이미지 프로세싱 기술들을 통하는 것과 같이 임의의 이러한 프로세싱은 여기에서 때때로 용어 "이미지 프로세싱"으로 지칭될 수 있다).
예시적인 실시예들에서, 이미지 프로세싱 소프트웨어를 실행하는 이러한 프로세싱 능력들은 예를 들어, 하나 이상의 구성들 및/또는 컴포넌트들에 대한 참여자 피드백의 제공을 인에이블하는 출력들을 산출하는 하나 이상의 수행 테스트들에 관하여 취득된 이미지들의 하나 이상의 시퀀스들을 (예를 들어, 디바이스의 하나 이상의 운영 시스템(들) 또는 내장 소프트웨어 명령 세트들을 통해) 프로세싱하거나 프로세싱되게 하도록 구현될 수 있다. 다양한 예시적인 실시예들에서, 이미지 프로세싱 소프트웨어를 실행하는 프로세싱 능력들은 하나 이상의 구성들 및/또는 컴포넌트들에 관하여 취득된 이미지들의 하나 이상의 시퀀스들을 (예를 들어, 디바이스의 하나 이상의 운영 시스템(들) 또는 내장 소프트웨어 명령 세트들을 통해) 프로세싱하거나 프로세싱되게 하도록 구현될 수 있고, 여기서, 이러한 프로세싱은 하기의 동작들, 예를 들어, (ⅰ) 여기에 설명한 운동 선수의 선택된 구성(들) 및/또는 컴포넌트(들)와 연관된 이미지들을 식별하는 것; (ⅱ) 이미징을 통해 테스트 엘리먼트들을 검출하고, 확인하고 그리고/또는 모니터링하는 것(예를 들어, 적절한 위치들 및 분리들로 콘들의 배열을 확인하고; 장애물들 평평함 및 부재, 주변 조건들 등을 확인하는 것); (ⅲ) 이미징을 통해 컴포넌트들을 식별하고, 검출하고, 확인하고 그리고/또는 모니터링하는 것(예를 들어, 운동 선수가 규정된 초기 위치를 가정하고, 초기 위치에서, 운동 선수가 테스트 시작 이전에 규정된 시간 동안 모션없음 또는 실질적으로 모션없음을 유지하는 것을 확인하는 것; 테스트 이전, 테스트 시작에서, 또는 테스트의 실시 동안 2개의 이상의 신체 부위들 중에서 상대적 포지셔닝 또는 배향을 통해서와 같이 운동 선수 형태를 확인하는 것; 테스트 이전, 테스트 시작에서, 또는 테스트의 실시 동안 테스트 엘리먼트에 대한 운동 선수의 신체 또는 특정한 신체 부위(들)의 상대적 포지셔닝 또는 배향을 확인하는 것); (ⅳ) 여기에 설명한 바와 같이, 파울들을 검출하고, 측정하고 그에 대해 작용하는 것(예를 들어, 결과적 및/또는 비결과적 파울들을 검출하는 것); (ⅴ) 이미징 객체들의 비정상적인 모션(예를 들어, 휴대 전자 디바이스의 이미지 취득 능력들의 물리적 움직임에 의해 초래된 비정상적인 모션)을 검출하고, 추정하고, 그렇지 않으면 다루는 것; 및/또는 (ⅵ) 구성 또는 컴포넌트에 관한 이미지 취득 능력들의 이용에서 휴대 전자 디바이스(924A, 924B)의 부적절한 포지셔닝을 검출하는 것 중 하나 이상에 관한 것일 수 있다. 일부 예시적인 실시예들에서, 이미지 프로세싱 소프트웨어를 실행하는 프로세싱 능력들은 상술한 동작들 모두를 포함하여, 상술한 동작들 중 어느 하나 이상을 제외하도록 구현될 수 있거나, 하나 이상의 대안 또는 추가의 동작과 조합하여 상술한 동작들 중 어느 하나 이상을 포함할 수 있다.
프로세싱 능력들을 포함하는 예시적인 실시예들에서, 이러한 프로세싱 능력들은 하나 이상의 피드백 프로세싱 기술들을 구현하는 하나 이상의 비일시적 컴퓨터 판독가능 매체들상에서 컴퓨터 실행가능 명령들의 하나 이상의 세트들을 실행하거나 실행되게 하도록 구현될 수 있다(이러한 명령 세트(들)는 여기에서 때때로 용어 "피드백 프로세싱 소프트웨어"로 지칭된다). 이러한 프로세싱 소프트웨어를 실행하는 이러한 프로세싱 능력들은 이미지 프로세싱 소프트웨어의 출력들로부터, 여기에 설명한 바와 같은, 하나 이상의 이러한 수행 테스트들에 대한 테스트 결과들 및/또는 하나 이상의 구성들 및/또는 컴포넌트들에 관한 피드백 중 하나 및 양자를 제공하기 위해 구현될 수 있다. 예시적인 실시예에서, 수행 테스트의 실시에서 테스트 시작 및 테스트 완료와 각각 연관된 이미지들을 검출하는 이미지 프로세싱 소프트웨어에 기초하여, 피드백 프로세싱 소프트웨어는 테스트 시작으로부터 테스트 완료까지 이미지들의 수를 식별하고, 취득 주파수에 기초하여, 경과 시간으로서 이러한 실시에 대한 테스트 결과들을 계산하기 위해 구현될 수 있다. 예시적인 실시예에서, 수행 테스트의 실시에서 발생하는 테스트 이정표들과 각각 연관된 이미지들을 검출하는 이미지 프로세싱 소프트웨어에 기초하여, 피드백 프로세싱 소프트웨어는 테스트 시작으로부터 하나 이상의 선택된 테스트 이정표들까지, 임의의 선택된 테스트 이정표로부터 임의의 다른 선택된 테스트 이정표들까지, 그리고/또는 임의의 하나 이상의 선택된 테스트 이정표들로부터 테스트 완료까지 이미지들의 수를 식별하고, 취득 주파수에 기초하여, 경과 시간으로서 이러한 실시에 대한 테스트 결과들을 계산하기 위해 구현될 수 있다. 예시적인 실시예에서, 수행 테스트의 실시에서 발생하는 테스트 이정표들과 각각 연관된 이미지들을 검출하는 이미지 프로세싱 소프트웨어에 기초하여, 피드백 프로세싱 소프트웨어는 임의의 테스트 이정표와 연관되거나, 선택된 테스트 이정표들 중에서, 또는 임의의 선택된 테스트 이정표 및 테스트 시작 및/또는 테스트 완료 중에서 이미지들을 프로세싱하기 위해 구현될 수 있고, 이러한 이미지 프로세싱은 예를 들어, 폼의 이슈들을 식별하거나, 수행을 향상시키기 위한 기회들을 식별하거나, 그렇지 않으면, 코치하거나, 셀프-코치하거나, 코치, 트레이너 등으로부터 지원과 같은 수행을 강화시키는 것에 관한 것이다. 예시적인 실시예에서, 수행 테스트의 실시에서 (그것의 컴포넌트들 중 하나 이상을 포함하는) 구성 각각과 연관된 이미지들을 검출하는 이미지 프로세싱 소프트웨어에 기초하여, 피드백 프로세싱 소프트웨어는 예를 들어, 참여자 피드백을 제공하거나 폼의 이슈들을 식별하는 이러한 이미지들을 프로세싱하거나, 수행을 향상시키기 위해 기회들을 식별하거나, 코치하는 것, 셀프-코치 또는 코치, 트레이너 등으로부터 지원을 통해 수행을 강화시키기 위해 구현될 수 있다. 예를 들어, 폼에 관한 이러한 이미지 프로세싱 및 분석은 2개 이상의 신체 부위들 중에서 운동 선수의 신체 또는 신체 부위들, 상대적 포지셔닝 또는 배향, 또는 예를 들어, 테스트 이정표들, 테스트 시작 및/또는 테스트 완료 중에서 하나 이상의 테스트 엘리먼트들에 대한 신체 또는 신체 부위(들)의 포지셔닝 또는 배향에 관하여 식별하고, 확인하고, 평가하거나, 그렇지 않으면 분석하는 것에 관한 것이다.
휴대 전자 디바이스(924)를 이용하는 여기에 설명한 예시적인 실시예들 중 하나 이상에서, 이러한 예시적인 실시예들은 휴대 전자 디바이스(924) 이외에 디바이스(들)를 추가적으로 또는 대안으로 이용하도록 구현될 수 있다는 것이 이해된다. 여기에 설명한 예시적인 실시예들 중 하나 이상에 관하여, 휴대 디바이스(924)는 범용 아키텍처(즉, 여기에 설명한 이미징-관련 동작들과 상이하고, 그에 부가하거나, 그의 부재시에 잠재적으로 동작들을 지원하는 하드웨어, 소프트웨어 등)를 통해, 또는 응용 주문형 아키텍처(즉, 여기에 설명한 동작들만을 지원하는 하드웨어, 소프트웨어 등)를 통해, 또는 디바이스가 하나 이상의 다른 디바이스들과의 일부 조합에 의해 여기에 설명한 동작들을 인에이블하도록 다른 접근방식을 통해 구현될 수 있다는 것이 또한 이해된다. 여기에 프로세싱을 설명하는 예시적인 실시예들 중 하나 이상에 관하여, 이러한 프로세싱은 예들로서, (ⅰ) 휴대 전자 디바이스(924)를 통해(예를 들어, 이러한 디바이스의 내부 프로세싱 능력들을 통해); (ⅱ) 휴대 전자 디바이스들(924) 중에서(예를 들어, 통신 및/또는 네트워크 능력들을 통해); (ⅲ) 임의의 이러한 디바이스(924) 외부의 하나 이상의 프로세싱 능력들과 조합하여 하나 이상의 휴대 전자 디바이스들(924) 중에서; (ⅳ) 임의의 이러한 디바이스(924) 외부의 프로세싱 능력들(예를 들어, 하나 이상의 센서들과 연관하여 또는 디바이스(924) 이외의 운동 선수의 디바이스에 의해, 또는 하나 이상의 원격 프로세싱 센서(들)를 통해, 또는 클라우드 서비스들을 통해 제공된 프로세싱 능력들)을 통해 - 이들 중 하나 이상은 운동 선수의 BAN, PAN, LAN 또는 WAN을 통해 액세스될 수 있음 -; 또는 (ⅴ) 임의의 시간에 그리고 시간을 통해, 이들 중 어느 하나에 의해, 또는 이들의 임의의 조합 중에서(예를 들어, 프로세싱 볼륨, 시간 제약, 완료 프로세싱 제약/우선순위, 전력/에너지 요구/용량, 프로세싱 전력 등에 관하여 그리고 그렇지 않으면 그에 응답하여 조정되어)를 포함하여 다양하게 실행될 수 있다.
도 10을 참조하면, 이미징을 통해, 피드백 및/또는 테스트 결과들을 생성하는 예시적인 방법(1000)이 예시된다. "시작"으로 라벨링된 단계(1002)에서, 방법이 개시될 수 있다. 예로서, 방법은 예를 들어, 운동 선수가 수행 테스트를 실시하는 것을 결정하는 것에 의해 개시될 수 있다. 다른 예로서, 방법은 예들로서, (ⅰ) 운동 선수가 일련의 수행 테스트들을 연속으로 실시하는 것을 결정하는 경우; (ⅱ) 임의의 수행 테스트에 관하여, 테스트의 복수의 반복들이 규정되는 것; (ⅲ) 임의의 수행 테스트의 실시 동안 취득된 이미지들로부터, 이미지 프로세싱이 파울, 또는 테스트를 무효로 하고 다시 시작하는 자극을 주는 다른 환경들을 검출하는 것; 및/또는 (ⅳ) 다시 시작하는 자극을 주기 위해, 부적절한 조건이 검출되는 것(예를 들어, 스프린팅 수행 테스트가 예상될 때 뒷바람)을 포함하여 반복적으로 개시될 수 있다. 예시적인 실시예들에서, 운동 선수는 임의의 디바이스(924) 등을 이용하거나 이용하지 않고 결정할 수 있다. 즉, 운동 선수는 수행 테스트들을 실시하는 것에 전념함으로써 결정할 수 있다.
단계(1004)에서, 수행 테스트가 식별될 수 있다. 예시적인 실시예들에서, 운동 선수는 임의의 디바이스의 도움없이 수행 테스트를 식별할 수 있다. 다른 실시예들에서, 운동 선수는 (예를 들어, 디스플레이를 갖고 비일시적 컴퓨터-판독가능 매체상에서 컴퓨터 실행가능 명령들(예를 들어, 모바일 소프트웨어 애플리케이션(들)을 실행하는) 휴대 전자 디바이스(924)를 이용할 수 있어서, 식별은 그래픽 사용자 인터페이스를 통할 수 있다. 이러한 그래픽 사용자 인터페이스는 예들로서, 지원된 테스트들 사이에서 운동 선수가 선택하는 것을 가능하게 하도록 지원된 테스트들을 디스플레이하는 것, (스포츠, 활동, 구성 및/또는 컴포넌트에 의해) 테스트들을 디스플레이하는 것, (스포츠, 활동, 구성 및/또는 컴포넌트에 의해) 배터리들로서 테스트들을 디스플레이하는 것, (예를 들어, 일련의 테스트들을 통해) 운동 선수를 가이드하도록 일련의 테스트들에서 현재 테스트를 디스플레이하는 것, 운동 선수가 이전에 실시하였거나 실시하는데 있어서 관심을 나타낸 테스트들을 디스플레이하는 것 등을 포함하여, 식별을 지원하기 위해 다양한 사용자 인터페이스 설비들(메뉴들) 중 임의의 것을 이용할 수 있다. 예시적인 실시예들에서, 이러한 단계(1004)에서, 운동 선수는 활동, 구성 및/또는 컴포넌트를 거부하고, 선택하거나 확인할 수 있다.
단계(1006)에서, 활동 공간이 설정될 수 있다. 예시적인 실시예들에서, 운동 선수는(단독으로 또는 도움을 받아) 테스트의 영역, 경계, 장비 또는 다른 규정된 테스트 엘리먼트들 중 어느 하나 이상에 관한 것을 포함하여, 활동 공간을 물리적으로 확립하고, 배치하고, 획득하거나 그렇지 않으면 셋업할 수 있다. 예시적인 실시예들에서, 운동 선수는 복수의 디바이스(들)(924)의 사용을 통해, 또는 디바이스(들)(924)의 조합의 사용을 통해, 또는 연관된 메커니즘들의 이용을 통해 상술한 바를 행하도록 인에이블될 수 있고, 이 메커니즘들은 현실적으로 전자적일 수 있거나 아닐 수 있다. 전자 메커니즘들은 컴퍼스, 신호 강도, 레이저 레인징, 또는 다른 설비들을 통하는 것을 포함하여, 레인징 및 배향 능력들을 포함하거나 지원할 수 있다. 비전자적 메커니즘들은 정의된 사이즈 또는 마킹들을 갖는 것을 통해 레인징 및 배향 능력들을 포함하거나 지원할 수 있다. 전자적 메커니즘들 및/또는 복수의 디바이스들(924)의 사용에 관하여, 디바이스들(924) 및 전자적 메커니즘들은 신호 강도 계량 또는 그 사이의 다른 레인징, 및 예를 들어, 컴파싱을 통한 배향을 통해 거리들을 결정하기 위해 조정할 수 있다. 비전자적 메커니즘들의 사용에 관하여, 디바이스들(924)은 이미징에 의해, 즉, 후보 위치(들)에서 비전자적 메커니즘(들)의 실제 사이즈에 이미징된 비율에 의해 거리들 및 배향들을 결정할 수 있고, 이러한 위치들은 예를 들어, 디바이스의 컴파스를 통해 배향된다.
단계(1008)에서, 휴대 전자 디바이스(들)(1024)가 이미지 취득을 위해 배열/포지셔닝된다. 여기에 설명한 바와 같이, 이러한 디바이스(들)는 다양한 탑재들을 통해 또는 헬드-헬드되어(예를 들어, 운동 선수가 선택한 사람에 의해) 배열될 수 있다. 이러한 단계에서, 이러한 디바이스(들)는 활동 공간의 영역/경계와 관련하여 포지셔닝될 수 있다. 이러한 포지셔닝은, 이 포지셔닝이 이미징 취득(예를 들어, 아래의 단계(1012)에 관한 것을 포함하여, 여기에 설명하는 바와 같이, 이미징 전경(1032)에서 활동 공간을 포지셔닝하는 것)을 향상시키기 위해 조정될 수 있다는 점에서 예비 단계일 수 있다.
단계(1010)에서, 소프트웨어 명령들의 하나 이상의 세트들을 실행하거나 실행되게 하는 휴대 전자 디바이스(1024)를 이용하는 예시적인 실시예들에 관하여, 이러한 명령 세트(들) 중 하나 이상이 론치될 수 있다. 예시적인 실시예들에서, 이러한 명령 세트(들)는 여기에 설명하는 바와 같은, 참여자 피드백(들)을 지원하는 것에 관한 것이다. 예시적인 실시예들에서, 단계(1010)에서, 론치는 예를 들어, 다른 모바일 소프트웨어 애플리케이션(들) 및/또는 내장 애플리케이션들, 및/또는 운영 시스템(들) 중 하나 이상과 조합하는 것을 포함하여, 단독으로 또는 조합으로, 이미지 취득 소프트웨어, 이미지 프로세싱 소프트웨어, 및/또는 피드백 프로세싱 소프트웨어 중 하나 이상에 관한 것일 수 있다. 예시적인 실시예들에서, 이러한 이미지 취득 소프트웨어, 이미지 프로세싱 소프트웨어, 및/또는 피드백 프로세싱 소프트웨어는 (예를 들어, 피드백 프로세싱 "앱"으로서) 통합될 수 있다.
단계(1010)에서, 휴대 전자 디바이스(1024)를 이용하는 예시적인 실시예들에 관하여, 이러한 론치는 다양하게 제공될 수 있다. 디바이스(1024)가 (예를 들어, 스마트 폰과 같은) 범용 아키텍처를 통해 구현되는 예시적인 실시예에서, 론치는 터치 스크린 디스플레이상의 아이콘을 터치하는 운동 선수(또는 보조자)를 통해 제공될 수 있고, 이 아이콘은 적용가능한 소프트웨어를 나타낸다. 디바이스(1024)가 응용 주문형 아키텍처를 통해 구현되는 예시적인 실시예에서, 론치는 예를 들어, 운동 선수(또는 보조자)가 디바이스를 파워 온할 때 제공될 수 있다. 어느 경우나, 단계(1010)를 통한 론치는 여기에 설명한 바와 같이, 단계(1004)에서, 운동 선수가 디바이스(1024)를 통해 테스트를 식별한 경우에 생략될 수 있다.
단계(1012)에서, 시야가 활동 공간에 관한 이미지 취득을 위해 설정된다. 이미지 취득 능력들이 휴대 전자 디바이스(들)(1024)를 통해 제공되는 예시적인 실시예들에서, 운동 선수는 휴대 디바이스(들)(1024)를 배열/포지셔닝할 수 있어서, 시야(1034)는 여기에 설명한 바와 같이, 각각의 수행 테스트와 연관된 활동 공간 중 일부 또는 모두를 커버하는 것에 관한 것이다.
그러나, 시야에 관하여 디바이스(들)(124)를 이렇게 배열/포지셔닝하면, 디바이스(124)는 활동 공간(1000)으로부터 일정 거리에 배열/포지셔닝될 수 있고, 이 거리는 하나 이상의 이미징된 객체들(예를 들어, 운동 선수에 대응하는 이미징 시퀀스의 객체)가 적절한 이미지 프로세싱을 위해 불충분하게 이미징되는 위험에 관하여 충분히 크다. 예들로서, (ⅰ) 조명 문제들(예를 들어, 태양광 또는 다른 밝은 광, 또는 그림자들 또는 다른 약한 광, 또는 적절한 이미지 취득을 방해할 수 있는 다른 조명)을 도입하는 포지셔닝; (ⅱ) 하나 이상의 이미징된 객체들이 전혀 취득되지 않거나 완전히 취득되지 않는 위험을 초래하는 활동 공간에 충분히 인접하거나 활동 공간내의 포지셔닝(예를 들어, 운동 선수의 닐링의 검출이 추구되더라도, 인접한 포지셔닝은 이미징으로 하여금 운동 선수의 무릎에 대응하는 객체들을 생략하게 할 수 있음); (ⅲ) 카메라 움직임이 실질적으로 또는 과도하게 높은 배열(들)(예를 들어, 핸드-헬드 이미징 디바이스에 관하여, 디바이스 움직임으로부터 소싱된 이미지 모션들은 제거하거나 그렇지 않으면 다루기가 실질적으로 또는 너무 어려울 수 있음); 및/또는 (ⅳ) 이미지들의 시퀀스에 존재하는 과도한 또는 너무 혼란한 모션의 원인을 보여주는 환경들(예를 들어, 운동 선수 이외에, 다른 활동중인 사람들이 시야내에, 특히, 활동 공간의 전경내에, 충분한 수로 그리고/또는 그 안의 이미지 프로세싱 또는 신뢰를 방해하는 것에 관하여 충분한 활동 레벨(들)에 있음)을 포함하는, 다른 포지셔닝, 배열 또는 다른 물리적 스테이징(staging) 문제들이 또한 발생할 수 있다.
포지셔닝, 배열 또는 그렇지 않으면 이미지 취득에 관하여 디바이스를 물리적으로 스테이징하는 것에 관하여 발생하는 문제들에 응답하여, 예시적인 실시예들은 단계(1012)에서, 임의의 이미징 문제들을 검출하고; 문제들을 특징화하고; 운동 선수에게 문제들을 알리고; 문제들을 다루기 위한 잠재적 솔루션들 또는 다른 수단을 제안하고; 문제(들) 중 일부 또는 모두가 해결되거나 충분하게 해결될 때까지를 포함하여, 동작 중에 다음 단계들을 보류하거나 종료하고; 이들 중 어느 하나 이상을 반복하고; 그리고/또는 셧다운하는 것 중 하나 이상을 향해 사전-테스트 이미지 프로세싱을 구현할 수 있다. 여기에 설명한 바와 같이, 예시적인 실시예들에서, 디바이스(924)는 디바이스의 재-포지셔닝을 제안할 수 있다.
예시적인 실시예들에서, 단계(1012) 또는 다른 사전-테스트 단계에서, 주변 조건들이 여기에 설명한 바와 같이, 검출되고, (예를 들어, 테스트 엘리먼트들에 대해) 분석되고 작용될 수 있다. 이러한 주변 조건들은 예를 들어, (ⅰ) 센서들(이러한 센서들이 운동 선수의 의류, 신발 또는 액세서리들에 통합되거나 운동 선수의 인스턴트 BAN, PAN, 또는 LAN내의 다른 디바이스들에 제공되는 것과 같이, 디바이스(들)(924) 내부 또는 외부에 있든지); (ⅱ) 데이터 소스들(이 데이터 소스들은 LAN 또는 WAN에 기초하여 디바이스(들)(924)에 액세스가능할 수 있음)(예를 들어, 디바이스(들)(924)가 스마트 폰을 포함하는 경우에, 날씨 서비스 엔터티들이 셀룰러 또는 Wi-Fi 접속을 통해 현재 지역 조건들을 제공할 수 있거나, 다른 소프트웨어가 이러한 데이터가 획득되게 할 수 있는 특징(들)/기능(들)을 포함할 수 있음)을 통하는 것을 포함하여, 디바이스(들)(924)를 통해 검출될 수 있다. 예시적인 실시예들에서, 주변 조건들은 테스트를 배제하거나 무효로 하고, 또는 활동 공간의 셋업의 변화를 통지하는 확률들에 의해 분석되고 작용될 수 있다(예를 들어, 스프린트가 주로에 수직으로 향하는 바람으로 달리도록 테스트 엘리먼트들을 재-포지셔닝한다).
판정(1014)에서, 예시적인 실시예들은 "취득 준비" 이벤트 테스트를 구현할 수 있다. 이러한 단계(1014)에서, 취득 준비 이벤트가 검출되거나 검출되었으면, 이미지 취득이 진행된다. 이러한 준비 이벤트가 검출되지 않거나 검출되지 않았으면, 이미지 취득은 진행되지 않는다. 후자의 경우에, 예시적인 실시예들은 준비 이벤트가 검출될 때까지 반복될 테스트를 제공할 수 있다. 다른 예시적인 실시예들은 하나 이상의 구성된 임계치(들), 예를 들어, 반복들의 수, (예를 들어, 론치 또는 다른 레퍼런스로부터 시작하는) 타이머 만료, 등이 충족되거나 초과될 때까지 반복될 테스트를 제공할 수 있다. 이러한 다른 예시적인 실시예들은 (ⅰ) 상술한 단계들 중 어느 것, 또는 상술한 단계들의 컴포넌트들의 반복(들)(예를 들어, 수행 테스트의 식별, 또는 이전에 식별된 수행 테스트의 확인, 또는 사전-테스트 이미지 프로세싱, 또는 주변 조건 검출), 또는 (ⅱ) 동작들의 종료, 또는 (ⅲ) 제1 임계치(판정(1016)에서 T1)에 영향을 받는 반복들을 갖고 제 2 임계치(판정(1018)에서 T2)에 영향을 받는 동작들을 재시작하거나 종료하는 것을 제공할 수 있다. 재시작은 예들로서, 디바이스들의 출력/통지 능력들(예를 들어, LED 광을 통하는 것과 같은 가시 경고 신호; 디스플레이상에 스플래시된 경고 스크린; 스피커(들)에 의해 사운드된 가청 경고 신호, 또는 이들의 조합)을 통한 운동 선수에 대한 통지를 포함할 수 있다. 대안으로는, 프로세스는 임계치가 판정(1018)에서 T2 보다 큰 경우에 종료될 수 있다.
예시적인 실시예들은 "취득 준비" 이벤트가 다양하게 구현될 수 있다. 예들로서, 준비 이벤트는 예들로서, (ⅰ) 단계들(1004 내지 1012) 중 어느 것, 또는 이들의 컴포넌트들을 적절하게 종료하는 것; (ⅱ) 이미지 프로세싱을 인에이블하도록 적절하게 재-포지셔닝하는 것; (ⅲ) 운동 선수에 의해 보유될 수 있는 디바이스(924)(예를 들어, 도 1의 디바이스(112))를 통하는 것을 포함하여, 디바이스(들)(1024)의 규정된 입력/제어 능력들을 관여시키는 것(예를 들어, 규정된 물리적 또는 논리 버튼을 누르거나, 음성 입력 제어들에 관하여 규정된 음성 커맨드를 똑똑하게 발음하는 것); 및/또는 (ⅳ) 규정된 행동(들)을 (운동 선수에 의해 또는 보조자에 의한 것과 같이 운동 선수를 위해) 수행하는 것(이러한 행동(들)은 (예를 들어, 이미지 취득 능력들을 통한 수신을 위한 규정된 신체 제스처를 나타내거나, 의류, 신발, 및/또는 액세서리들에 내장된 센서들을 통해 규정된 제스처를 이슈하는) 이미지 취득 또는 데이터 취득 능력들을 통한 검출을 따라야 함)으로 구현될 수 있다.
단계(1022)에서, 이미지들이 취득될 수 있다. 여기에 설명한 바와 같이, 이러한 이미지들은 다양하게 취득될 수 있다. 예시적인 실시예들에서, 일반적으로, 이미지 취득은 여기에 설명한 목적들을 위해 이미지 프로세싱을 인에이블하고, 강화하고, 최적화하거나 그렇지 않으면 제공하도록 구성될 수 있는 파라미터들에 영향을 받는다. 여기에 설명한 바와 같은 예시적인 실시예들에서, 이미지들은 하나 또는 복수의 디바이스들(924)을 통해 취득될 수 있다. 복수의 디바이스들(924)의 예로서, 2개의 디바이스들이 이용되고, 여기서, (ⅰ) 이러한 디바이스들은 (예를 들어, 알려진 교정 접근방식들을 통해) 함께 동작을 위해 교정되어, (ⅱ) 하나의 디바이스(924)가 테스트 시작과 연관된 이미지들을 취득할 수 있고, (ⅲ) 제 2 디바이스(924)가 테스트 완료와 연관된 이미지들을 취득할 수 있다. 2개의 디바이스들(924)을 이용하는 다른 예로서, 디바이스들(924) 양자는 테스트 시작 및/또는 테스트 완료를 캡처할 수 있어서, 각각으로부터의 이미지들이 전체적으로 또는 부분적으로 조합될 수 있거나, 그렇지 않으면 강화된 이미지 프로세싱, 이에 의해, 개시 이미지 및/또는 완료 이미지의 강화된 평가(및/또는 셔터 오프셋들을 통해, 강화된 타이밍 정밀도), 및 차례로, 강화된 테스트 결과들 및/또는 피드백을 획득할 수 있다.
판정(1024)에서, 예시적인 실시예들은 "이미지 보존" 이벤트 테스트를 구현할 수 있다. 판정(1024)에서, 이미지 보존 이벤트가 검출되거나 검출되었으면, 이미지 취득 동작들은 계속되고, 동작들은 예를 들어, 판정(1026)으로 진행한다. 이러한 이벤트가 검출되지 않거나 검출되지 않았으면, 이미지 취득 동작들은 계속되지만, 예시적인 실시예들은 이미지 폐기 프로세스(1028)를 구현할 수 있다.
예시적인 실시예들에서, 이미지 보존 이벤트는 예를 들어, 테스트 시작이 지연에 영향을 받는 경우에, (예를 들어, 관련 이미지들에 대한 이미지 저장 공간을 보존하기 위해) 합리적인 수의 이미지들의 보존을 또한 제공하면서, 수행 테스트를 위한 다가오는 테스트 시작을 기대하면서 이미지들의 취득을 가능하게 하도록 구현될 수 있다. 예로서, 이미지 취득이 진행중이지만, 운동 선수가 아직 활동 공간에 진입하지 않은 경우에는, 이미지 보존은 가치가 없을 수 있다. 다른 예로서, 이미지 취득이 진행중이고, 운동 선수가 활동 공간에 진입하였지만 수행 테스트 실시의 개시를 진행하지 않고 있는 경우에는, 이미지 보존은 가치가 없을 수 있다. 다른 예로서, 이미지 취득이 진행중이고, 운동 선수가 아직 활동 공간에 진입하였을 뿐만 아니라 수행 테스트 실시의 개시를 진행하고 있는 경우에는, 이미지 보존은 가치가 있을 수 있다.
이미지 보존 이벤트는 다양하게 구현될 수 있다. 예시적인 실시예들에서, 이미지 보존 이벤트는 예들로서, (ⅰ) 운동 선수에 의해 보유될 수 있는 디바이스(924)(예를 들어, 도 1의 디바이스(112))를 통하는 것을 포함하여, 디바이스(들)(924)의 규정된 입력/제어 능력들을 운동 선수가 관여시키는 것(예를 들어, 보조자에 의해 관여되는 것)(예를 들어, 규정된 물리적 또는 논리 버튼을 누르거나, 음성 입력 제어들에 관하여 규정된 음성 커맨드를 똑똑하게 발음하는 것); (ⅱ) 운동 선수가 규정된 행동(들)을 수행 (또는 보조자에 의해 수행)하는 것(이러한 행동(들)은 (예를 들어, 이미지 취득 능력들을 통한 수신을 위한 규정된 신체 제스처를 나타내거나, 의류, 신발, 및/또는 액세서리들에 내장된 센서들을 통해 규정된 제스처를 이슈하는) 이미지 취득 또는 데이터 취득 능력들을 통한 검출을 따라야 함); 및/또는 (ⅲ) 운동 선수가 수행 테스트를 실시하기 위해 활동 공간을 준비하는 것(이러한 실시 준비는 이미지 취득 능력들에 의한 검출에 따라야 할 수 있음)으로 구현될 수 있거나 그와 연관되도록 구현될 수 있다.
이미지 보존 이벤트로서 실시 준비에 관하여, 예시적인 실시예들은 이미지 프로세싱을 통해 임의의/선택된 이러한 이벤트들을 검출하도록 구현될 수 있다. 이러한 검출을 위해 이미지 프로세싱을 구성하는데 있어서, 운동 선수가 활동 공간을 준비하고, 이와 같이, 취득된 이미지들이 운동 선수에 대응하는 객체(들)를 포함하는 것으로 예상될 수 있으며, 적어도 이러한 객체(들)가 이미지들 중에서, 예를 들어, 이미지 마다 순차적으로 모션(들)을 나타낼 수 있다는 것이 이해된다. 이러한 이해로, 이미지 보존 이벤트는 일례로서, 선택된 이미지 보존 임계치를 충족하는(예를 들어, 만족시키거나 초과하는) 모션이 검출되는 경우에 발생하는 것으로 여겨질 수 있다. 이러한 예시적인 접근방식에서, 이러한 검출은 선택된 수의 연속적인 이미지들 걸친 모션을 순차적으로 평가할 수 있거나, 선택된 수의 비연속적인 이미지들에 관하여 순차적으로 적용될 수 있다.
규정된 행동(들)에 관하여, 이러한 행동(들)이 하나 이상의 컴포넌트들을 포함하는 예시적인 실시예들이 구현될 수 있다. 예들로서, 이러한 행동(들)은 (위에서 설명한 바와 같은) "초기 위치"일 수 있거나, 선행 또는 후속 운동 선수 활동과 조합된 "초기 위치"일 수 있다. 예시하기 위해, 여기에 설명한 바와 같은, 화살촉 민첩성 훈련이 다양한 구성들을 포함할 수 있고, 각 구성은 다양한 컴포넌트들을 포함할 수 있어서, 규정된 행동(들)으로서 기능하거나 규정된 행동(들)을 나타내기 위한 다른 컴포넌트들 중에서, 이러한 행동은 (ⅰ) 초기 위치로서 규정된 자세 및 (ⅱ) 테스트 시작 이전에 이러한 자세에서 모션없음 또는 실질적인 모션없음의 규정된 기간 중 하나/양자일 수 있다. 다른 예시로서, 여기에 설명한 바와 같은, 닐링 파워 볼 체스트 론치 훈련이 다양한 구성들을 포함할 수 있고, 각 구성은 다양한 컴포넌트들을 포함할 수 있어서, 규정된 행동(들)으로서 기능하거나 규정된 행동(들)을 나타내기 위한 다른 컴포넌트들 중에서, 이러한 행동은 (ⅰ) 초기 위치로서 규정된 닐링 자세 및 (ⅱ) 테스트 시작 이전에 이러한 자세에서 모션없음 또는 실질적으로 모션없음의 규정된 기간 중 하나/양자일 수 있다.
선택된 컴포넌트(들)가 이벤트를 시그널링하도록 기능하는 이미지 이벤트 보존 테스트에 대해, 예시적인 실시예들은 이러한 컴포넌트들을 검출하고, 이러한 검출시에, 동작들이 진행할 수 있게 하기 위해 구현된다. 이러한 검출을 위해 이미지 프로세싱을 구성하는데 있어서, 운동 선수가 활동 공간을 준비하고, 이와 같이, 취득된 이미지들이 운동 선수 및/또는 장비에 대응하는 객체(들)를 포함하는 것으로 예상될 수 있으며, 적어도 이러한 객체(들)가 이미지들 중에서, 예를 들어, 이미지 마다 순차적으로 모션들을 나타낼 수 있다는 것이 이해된다. 이러한 이해와 이미지 프로세싱을 이용하여, 이미지 보존 이벤트는 예로서, 시퀀스의 모션이 선택된 임계치에 접근하거나 선택된 임계치를 통과하는 것(예를 들어, 이러한 모션 값이 "초기 위치"와 연관된 규정된 모션없음에 따르거나 그와 연관될 수 있는 경우에, 낮은 임계치 아래를 통과하는 것)으로 검출되는 경우에 발생하는 것으로 여겨질 수 있다. 상기에 더하여, 이미지 보존 이벤트는 예로서, 시퀀스에서의 모션이 선택된 임계치에 접근하거나 선택된 임계치를 통과할 뿐만 아니라 (예를 들어, "초기 위치"에서 운동 선수 모션없음의 규정된 기간에 관한 시간 기간 동안) 선택된 임계치 주위의 일부 범위에 또는 그 근처에, 또는 그 내에 유지되는 것으로 검출되는 경우에 발생하는 것으로 여겨질 수 있다. 이러한 예시적인 접근방식에서, 이러한 검출은 예들로서, 선택된 수의 연속적인 이미지들 걸친 모션을 순차적으로 평가하는 것을 포함하여 다양한 방식으로 구현될 수 있거나, 선택된 수의 비연속적인 이미지들에 관하여 순차적으로 적용될 수 있다.
예시적인 실시예들은 상술한 접근방식들의 조합을 통해 이미지 보존 이벤트를 검출하기 위해 구현될 수 있다. 예로서, 이미지 프로세싱은 시퀀스의 모션이 예를 들어, 이러한 모션 값이 상대적으로 높거나 낮은 모션 값에 선행하고 그리고/또는 후속한다는 조건을 포함하여, 선택된 임계치에 접근하거나 선택된 임계치를 통과할 때 이미지 보존 이벤트를 검출하기 위해 이러한 실시예들에서 이용될 수 있다.
상술한 예시적인 접근방식들에서, 이러한 검출은 운동 선수 및/또는 특정한 장비에 대응하는 객체(들)에 관한 모션의 검출에 제한될 수 있거나 제한되지 않을 수 있다(예를 들어, 관련 모션이 전체적으로 프레임들 중에 있을 수 있다). 이와 같이, 이미지 보존 이벤트 검출은 (예를 들어, 프레임 차이를 통해) 상대적으로 높은 레벨에서 이미지 프로세싱을 통해 구현될 수 있다.
이미지 보존 이벤트가 검출되지 않는 환경하에서, 예시적인 실시예들은 이미지 폐기 프로세시를 포함할 수 있고, 이 프로세스는 다양하게 구현될 수 있다. 예를 들어, 이미지 폐기 프로세스는 (ⅰ) 구성된 단계(예를 들어, 단계(1014)에서 준비 이벤트와 같은 판정(1026) 또는 이전 단계)로서 취득된 모든 이미지들을 폐기하고; (ⅱ) (예를 들어, 다수의 이미지들을 통해, 또는 이미지들의 총 수의 퍼센티지에 관하여, 이러한 수 또는 퍼센티지는 예를 들어, 수행 테스트 실시에 대한 서두의 활동들과 연관될 수 있는 취득 주파수 및 통상의 기간들을 포함하여, 다양한 이해들, 추정치들 또는 다른 팩터들을 통해 결정됨) 이미지들의 구성된 양을 폐기하거나; (ⅲ) (예를 들어, 이미지 메모리 사이즈, 이미지 취득 시간, 이미지 취득 주파수, 이미지 해상도, 이미지들의 수, 추정된 이미징 지속기간들, 안전 마진들 등에 기초하여) 이미지들의 계산된 수를 폐기하는 것과 같이, 이미지들을 (예를 들어, 이미지 메모리로부터) 폐기할 수 있다. 예시적 실시예들에서, 이미지 폐기 프로세스는 이미지 보존 이벤트에 대한 잠재적 관련성의 이미지들에 선행하는 이미지들을 폐기한다. 예시적인 실시예들에서, 이미지 폐기 프로세스는 (예를 들어, 전체를 폐기하기 않거나, 예를 들어, 구성된 시간 동안 버퍼에 보존함으로써) 이미지 보존 이벤트의 검출에 잠재적으로 관련된 이미지들을 보호한다.
이미지 보존 이벤트로부터, 판정(1026)에서, 동작들은 "확인" 이벤트 테스트로 진행한다. 확인 이벤트가 검출되거나 검출되었으면, 이미지 취득은 계속되고, 동작들은 예를 들어, 판정(1034)으로 진행한다. 이러한 확인 이벤트가 검출되지 않거나 검출되지 않았으면, 이미지 취득은 계속되고, 동작들은 판정들(1030, 1032)에서 대기 프로세스로 진행한다.
예시적인 실시예들은 대기 프로세스는 다양하게 구현될 수 있다. 예시적인 대기 프로세스가 판정들(1030 및 1032)을 통해, 도 10에 도시되어 있다. 판정(1030)에서, 확인 이벤트가 검출되지 않거나 검출되지 않았으면, 제1 시간 조건이 테스트될 수 있고, 이 시간 조건은 타이머를 제1 시간 임계치(TP1)에 비교함으로써 구현될 수 있다. 판정(1032)에서, 확인 이벤트가 검출되지 않거나 검출되지 않았으면, 제 2 시간 조건이 테스트될 수 있고, 이 시간 조건은 타이머를 제 2 시간 임계치(TP2)에 비교함으로써 구현될 수 있다. 제1 및 제 2 시간 조건들은 동일한 타이머 및/또는 동일한 기간 임계치 중 하나 또는 양자를 공유할 수 있거나 공유하지 않을 수 있다. 제1 및/또는 제 2 타이머는 예들로서, (ⅰ) 이미지 보존 이벤트의 검출시에; (ⅱ) 수행 테스트를 위한 이미지 취득의 개시시에; 또는 (ⅲ) 일부 다른 이벤트시에 또는 일부 다른 구성(예를 들어, 트리거, 큐우, 등)을 통해 시작될 수 있다(또는 재시작될 수 있다). 제1 타이머는 상술한 것 중 하나와 동시에 시작될 수 있고, 제 2 타이머는 동시에 또는 다르게 시작될 수 있다. 기간 임계치들(TP1 및 TP2)은 가변 이미지 메모리, 이미지 취득 주파수, 이미지 해상도, 수행 테스트를 실시하기 위한 예상 시간 지속기간, 및/또는 다른 파라미터들/조건들 중 하나 이상에 응답하는 것을 포함하여, 다양하게 구성될 수 있다. 예시적인 실시예들에서, TP2는 TP1 보다 크다.
도 10에 도시된 예시적인 대기 프로세스에서, 판정(1030)에서, 제1 타이머가 제1 기간 임계치(TP1)를 충족시키는데(예를 들어, 만족시키거나 초과하는데) 실패하면, 동작들은 판정(1026)의 확인 이벤트로 복귀한다. 판정(1030)에서, 제1 타이머가 TP1을 충족시키면, 동작들은 판정(1032)으로 진행한다. 판정(1032)에서, 제 2 타이머가 제 2 기간 임계치(TP2)를 충족시키는데(예를 들어, 만족시키거나 초과하는데) 실패하면, 동작들은 단계(1028)에서 이미지 폐기 프로세스로 진행하고, 이미지 폐기 프로세스로부터, 단계(1022)에서 이미지 획득 프로세스로 진행한 후, 판정(1024)에서 이미지 보존 이벤트 테스트로 진행한다. 이와 같이, 제 2 타이머가 TP2를 충족시키지 않고 제1 타이머가 TP1을 충족시키면, 이미지들이 폐기될 수 있다. 더욱이, 이전에 검출된 기존의 이미지 보존 이벤트가 효과가 없어져서(즉, 그 이미지 보존 이벤트가 검출되지 않았던 것처럼), 이미지 보존 이벤트 테스트는 재개된다. 판정(1032)에서, 제 2 타이머가 제 2 기간 임계치(TP2)를 충족시키면, 동작들이 종료된다.
예시적인 실시예들에서, 확인 이벤트는 예를 들어, 수행 테스트의 긴박한 운동 선수의 개시가 지연에 영향을 받는 경우에, (예를 들어, 관련 이미지들에 대한 이미지 저장 공간을 보존하기 위해) 합리적인 수의 이미지들의 보존을 또한 제공하면서, 수행 테스트의 긴박한 운동 선수의 개시를 기대하면서 이미지들의 연속 취득을 가능하게 하도록 구현될 수 있다. 예시적인 실시예들에서, 확인 이벤트는 이미지 보존 이벤트를 후속하고, 이 이미지 보존 이벤트는 예를 들어, 수행 테스트 실시에 대한 서두의 운동 선수 활동을 검출하는 것에 관한 이미지 프로세싱을 통해, 이전에 폐기된 바와 같이, 검출될 수 있다. 그러나, 이미지 보존 이벤트의 검출 이후에, 운동 선수는 전혀 또는 시기 적절하게, 수행 테스트를 개시할 수 있거나 개시하지 않을 수 있다. 따라서, 예시적인 실시예들에서, 확인 이벤트는 운동 선수에 관한 것을 포함하여, 동작들에 관하여 연습의 레벨을 강화하도록 구현될 수 있다.
확인 이벤트는 다양하게 구현될 수 있다. 예시적인 실시예들에서, 확인 이벤트는 예들로서, (ⅰ) 운동 선수에 의해 보유될 수 있는 디바이스(924)(예를 들어, 도 1의 디바이스(112))를 통하는 것을 포함하여, 디바이스(들)(924)의 규정된 입력/제어 능력들을 운동 선수가 관여시키는 것(예를 들어, 보조자에 의해 관여되는 것)(예를 들어, 규정된 물리적 또는 논리 버튼을 누르거나, 음성 입력 제어들에 관하여 규정된 음성 커맨드를 똑똑하게 발음하는 것); (ⅱ) 운동 선수가 규정된 행동(들)을 수행 (또는 보조자에 의해 수행)하는 것(이러한 행동(들)은 (예를 들어, 이미지 취득 능력들을 통한 수신을 위한 규정된 신체 제스처를 나타내거나, 의류, 신발, 및/또는 액세서리들에 내장된 센서들을 통해 규정된 제스처를 이슈하는) 이미지 취득 또는 데이터 취득 능력들을 통한 검출을 따라야 함); (ⅲ) 운동 선수가 수행 테스트를 실시하기 위해 활동 공간에 준비하는 것(이러한 실시 준비는 이미지 취득 능력들에 의한 검출에 따라야 할 수 있음); (ⅳ) 운동 선수가 수행 테스트의 실시를 개시하는 것(예를 들어, 여기에 설명한 바와 같은, "테스트 시작"); 및/또는 (ⅴ) 이들의 하나 이상의 조합으로 구현될 수 있거나 그와 연관되도록 구현될 수 있다.
이미지 보존 이벤트를 검출하기 위한 이미지 프로세싱에 관한 여기에서의 설명들은 확인 이벤트를 검출하는 이미지 프로세싱을 통지한다. 확인 이벤트를 검출하기 위한 이미지 프로세싱에서, 운동 선수가 활동 공간에 존재하고 적어도 가끔은 활동 공간에서 이동한다는 것 뿐만 아니라 운동 선수가 수행 테스트 실시, 예를 들어, 테스트 시작을 임박하여 개시할 수 있거나 개시하였을 수 있다는 것이 이해된다. 이와 같이, 취득된 이미지들은 운동 선수에 대응하는 객체(들)를 포함하는 것으로 예상되고, 이 객체(들)는 이미지 시퀀스에서 이미지들 중에서 모션들을 나타낸다. 이러한 이해로, 확인 이벤트는 일례로서, 선택된 확인 이벤트 임계치를 충족하는(예를 들어, 만족시키거나 초과하는) 이미징 시퀀스에서의 모션이 검출되는 경우에 발생하는 것으로 여겨질 수 있다. 예시적인 실시예들에서, 이러한 확인 이벤트 임계치는 이미지 보존 이벤트 임계치 보다 클 수 있고, 이 더 큰 값은 초기 위치/모션없음 보다는, 테스트 시작을 포함할 수 있는 검출과 조화된다(예를 들어, 더 큰 운동 선수 움직임은 그 움직임의 이미징에서 더 큰 객체 모션에 대응하는 경향이 있다).
운동 선수가 확인 이벤트로서 규정된 행동(들)을 수행하는 것에 관하여, 규정된 행동(들) 하나 이상의 컴포넌트들을 사용하여 나타나는 예시적인 실시예들이 구현될 수 있다. 예시적인 실시예들에서, 이러한 행동(들)은 예를 들어, "테스트 시작"; 운동 선수 움직임을 함축하는 다른 컴포넌트(들); (이전에 설명한 바와 같은) "초기 위치"; 또는 이들의 하나 이상의 조합들을 포함할 수 있다. 이러한 행동(들)을 나타내는데 있어서 임의의 이러한 컴포넌트들을 이렇게 이용하여, 예시적인 실시예들은 예를 들어, 이미지 보존 이벤트를 검출하는 것에 관한 설명들에 의해 통지된 이미지 프로세싱을 포함하는, 이미지 프로세싱을 통해 확인 이벤트를 검출하도록 구현될 수 있다.
확인 이벤트가 테스트 시작의 이미지 프로세싱의 검출을 통해 식별되면, 이러한 검출은 실제로, 수행 테스트의 운동 선수의 개시에 대응하는 이미징 시퀀스의 특정한 이미지를 식별할 수 있다(이러한 특정한 이미지를 때때로 여기에서 "초기 이미지"로 지칭한다). 유사하게는, 이러한 확인 이벤트 검출은 (예를 들어, 디바이스(들)(924) 및/또는 센서들의 데이터 취득, 통신 및/또는 프로세싱 능력들을 통해) 이미지 프로세싱 이외의 수단으로부터 발생할 수 있고, 이 검출은 특정한 이미지를 태그할 수 있고, 이러한 특정한 이미지는 이러한 검출에 대응하여 한번에 취득된다. 더욱이, 이러한 확인 이벤트 검출은 이미지 프로세싱 검출과 이러한 수단의 조합으로부터 발생할 수 있다. 이러한 특정한 이미지(들)는 일부 환경들에서, (예를 들어, 이미지 데이터가 수행 테스트의 운동 선수의 개시가 이미징 시퀀스에서 2개의 연속 이미지들 사이에 발생하였다는 것을 나타내는 경우에) 개시 이미지를 브라켓(bracket)하는 2개의 이미지들 중 하나일 수 있어서, 개시 이미지는 2개의 이미지들의 보간을 통해 분해될 수 있다. 예시적인 실시예들에서, 이러한 특정한 이미지(들)는 개시 이미지를 결정하는 추가 이미지 프로세싱을 위한 플레이스홀더(들)로서 취급될 수 있고, 예를 들어, 추가의 이미지 프로세싱은 개시 이미지를 결정하기 위해 더욱 강력한 프로세싱 방법들을 이용한다.
일부 예시적인 실시예들에서, 판정(1024)에서와 같은, 이미지 보존 이벤트 테스트는 판정(1026)에서와 같은, 확인 이벤트 테스트를 위해 생략될 수 있거나, 그렇지 않으면 확인 이벤트 테스트와 조합될 수 있다.
확인 이벤트 테스트로부터, 판정(1034)에서, 동작들은 종료 이벤트 테스트로 진행한다. 종료 이벤트가 검출되거나 검출되었으면, 동작들은 단계(1036)에서, 취득 이미지 종료 프로세스로 진행할 수 있다. 예시적인 실시예들에서, 종료 이벤트가 검출되지 않거나 검출되지 않았으면, 이미지 취득은 종료 이벤트가 검출될 때까지 계속된다. 다른 예시적인 실시예들에서, 종료 이벤트가 검출되지 않거나 검출되지 않았으면, 동작들은 대기 프로세스(미도시)로 진행하도록 구현될 수 있다. 임의의 종료 이벤트 대기 프로세스는 판정들(1030 및 1032)에 나타낸 확인 이벤트 대기 프로세스와 동일하게 또는 유사하게 구성될 수 있다. 예로서, 종료 이벤트 대기 프로세스는 최대 기간 임계치에 기초하여 구현될 수 있다(예를 들어, 이 시간 동안, 테스트는 완료되어야 하고, 이러한 기간은 수행 테스트의 선험적 지식 및/또는 (적절하게) 실시된 이러한 테스트를 갖는 운동 선수들로부터 어셈블링된 전체 또는 이력 데이터로부터 구성된다). 이러한 예에서, 종료 이벤트 대기 프로세스는 최대 기간 임계치와 비교되는 타이머를 포함하여서, 타이머가 임계치를 충족시킬 때 종료 이벤트가 검출되거나 검출되었으면, 동작들은 단계(1036)에서, 획득 이미지 종료 프로세스로 진행한다.
예시적인 실시예들에서, 종료 이벤트는 불필요하거나 관련없는 이미지들이 취득되지 않도록 이미지 취득의 중단을 가능하게 하기 위해 구현될 수 있다. 예시적인 실시예들에서, 이미지 취득은 운동 선수의 테스트의 완료에 후속하여 종료될 수 있다.
종료 이벤트는 다양하게 구현될 수 있다. 예시적인 실시예들에서, 종료 이벤트는 예들로서, (ⅰ) 운동 선수에 의해 보유될 수 있는 디바이스(1024)(예를 들어, 도 1의 디바이스(112))를 통하는 것을 포함하여, 디바이스(들)(1024)의 규정된 입력/제어 능력들을 운동 선수가 관여시키는 것(예를 들어, 보조자에 의해 관여되는 것)(예를 들어, 규정된 물리적 또는 논리 버튼을 누르거나, 음성 입력 제어들에 관하여 규정된 음성 커맨드를 똑똑하게 발음하는 것); (ⅱ) 운동 선수가 규정된 행동(들)을 수행 (또는 보조자에 의해 수행)하는 것(이러한 행동(들)은 (예를 들어, 이미지 취득 능력들을 통한 수신을 위한 규정된 신체 제스처를 나타내거나, 의류, 신발, 및/또는 액세서리들에 내장된 센서들을 통해 규정된 제스처를 이슈하는) 이미지 취득 또는 데이터 취득 능력들을 통한 검출을 따라야 함); (ⅲ) 운동 선수 또는 장비, 또는 양자가 장비, 운동 선수의 의류, 신발, 및/또는 액세서리들, 또는 운동 선수가 소유한 디바이스(1024), 이들의 조합(들), 및/또는 다른 디바이스들(1024) 및/또는 운동 선수의 인스턴트 BAN, PAN, 또는 LAN내의 다른 센서들, 트랜시버들 또는 다른 전자 디바이스들(1024)과의 조합(들)에 내장된 센서들로부터 취득된 데이터를 통해 결정될 때, (예를 들어, 하나 이상의 테스트 엘리머트들에 대한) 활동 공간에서 또는 활동 공간에 관한 규정된 위치(들)에 도달하거나 규정된 위치(들)를 통과하는 것(이러한 위치(들)는 GPS, AGPS, 시그널링, 신호 강도 측정치 등을 포함하는 다양한 수단들 중 임의의 것을 통해 결정됨); (ⅳ) 운동 선수가 예를 들어, 운동 선수의 컴포넌트의 완료, 운동 선수의 테스트 엘리먼트와의 상호작용(예를 들어, 결승선 통과) 또는 여기에서 설명한 바와 같은 규정된 상태 변화(예를 들어, 운동 선수가 던진 공은 비행으로부터 착지까지 천이함)를 통해 수행 테스트의 실시를 완료하거나 수행 테스트의 완료를 초래하는 것(예를 들어, 이러한 완료는 이전에 설명한 바와 같이, 때때로, 용어 "테스트 완료"로 여기에서 지칭됨); (ⅴ) 운동 선수가 수행 테스트에 관련된 신체적 활동없이 활동 공간을 물리적으로 벗어나거나, 활동 공간에 머무르는 것; 및/또는 (ⅵ) 이들 중 하나 이상의 조합이도록 또는 이와 연관되도록 구현될 수 있다.
이미지 보존 이벤트 및/또는 확인 이벤트를 검출하기 위한 이미지 프로세싱에 관한 여기에서의 설명들은 종료 이벤트를 검출하는 이미지 프로세싱을 통지한다. 종료 이벤트를 검출하기 위한 이미지 프로세싱에서, (ⅰ) 운동 선수가 활동 공간에 존재하고 적어도 가끔은 활동 공간에서 이동한다는 것 뿐만 아니라 (ⅱ) 운동 선수가 수행 테스트의 실시를 완료하거나, 테스트가 완료되고(예를 들어, 테스트 완료), 차례로, 활동 공간내의 운동 선수의 신체적 움직임이 (예를 들어, 적어도 테스트에 관하여) 감소하거나 종료될 수 있다는 것이 이해된다. 또한, (사이즈, 형상, 예상 위치(들)를 포함하는) 이용된 임의의 장비, 운동 선수와 장비(및 테스트내의 상대적 타이밍) 사이의 임의의 관련 상호작용들 및 (예를 들어, 그 움직임들, 및 이러한 움직임(들)에서의 변화 또는 종료를 포함하는) 장비에 관한 예상 상태 변화들을 포함하는, 수행 테스트의 본질이 알려진다. 이와 같이, 취득된 이미지들은 운동 선수 및/또는 장비에 대응하는 객체(들)를 포함하는 것으로 예상되고, 이 객체(들) 중 적어도 일부는 이미들 중에서, 예를 들어, 시퀀스에서 이미지 마다 모션(들)을 나타낸다. 이러한 이해들로, 종료 이벤트는 예로서, 수행 테스트의 완료와 일관되는 운동 선수 활동 및/또는 장비 활동에 대응하는 객체들 및 객체의 모션(들)이 검출되는 경우에 발생하는 것으로 여겨질 수 있다. 예들은 이미지 프로세싱이 예를 들어, (ⅰ) 테스트 완료(예를 들어, 렌즈가 라인상에 또는 그로부터 원격으로 그리고/또는 그에 대한 각도로 포지셔닝되든지, 이러한 라인(1008)을 물리적으로 선으로 구획하는 콘(들)과 연관된 수직 평면을 임의의 신체 부위가 크로싱하는 것과 같이, 운동 선수가 스타트-스탑 라인(1008)을 크로싱); (ⅱ) 활동 공간의 부재 또는 실질적인 부재를 포함하여, 활동 공간으로부터 벗어나거나 활동 공간으로의 움직임 및/또는 활동 공간 주변에서의 어슬렁거림에 관한 운동 선수 활동(예를 들어, 이들 중 임의의 것 단독으로 또는 함께 운동 선수가 움직임 및/또는 테스트의 실시를 중지하였다는 것을 나타낼 수 있음); 및/또는 (ⅲ) (예를 들어, 알려진 장비에 관하여 테스트에 대해 예상되는 바와 같은) 장비에 대한 (최종) 상태 변화를 검출할 수 있는 것을 포함한다.
종료 이벤트가 테스트 종료의 이미지 프로세싱의 검출을 통해 식별되면, 이러한 검출은 실제로, 수행 테스트의 종료점에 대응하는 이미징 시퀀스의 특정한 이미지를 식별할 수 있다(이러한 특정한 이미지를 때때로 여기에서 "완료 이미지"로 지칭한다). 유사하게는, 이러한 종료 이벤트 검출은 (예를 들어, 디바이스(들)(924) 및/또는 센서들의 데이터 취득, 통신 및/또는 프로세싱 능력들을 통해) 이미지 프로세싱 이외의 수단으로부터 발생할 수 있고, 이 검출은 특정한 이미지를 태그할 수 있고, 이러한 특정한 이미지는 이러한 검출에 대응하여 한번에 취득된다. 더욱이, 이러한 종료 이벤트 검출은 이미지 프로세싱 검출과 이러한 수단의 조합으로부터 발생할 수 있다. 이러한 특정한 이미지(들)는 일부 환경들에서, (예를 들어, 이미지 데이터가 운동 선수의 수행 테스트의 완료가 이미징 시퀀스에서 2개의 연속 이미지들 사이에서 발생하였다는 것을 나타내는 경우에) 완료 이미지를 브라켓하는 2개의 이미지들 중 하나일 수 있어서, 완료 이미지는 2개의 이미지들의 보간을 통해 분해될 수 있다. 예시적인 실시예들에서, 이러한 특정한 이미지(들)는 개시 이미지에 관하여 이전에 논의한 바와 같이, 완료 이미지를 결정하는 추가 이미지 프로세싱을 위한 플레이스홀더(들)로서 취급될 수 있고, 예를 들어, 추가의 이미지 프로세싱은 완료 이미지를 결정하기 위해 더욱 강력한 프로세싱 방법들을 이용한다.
판정(1034)에서 종료 이벤트의 검출(또는 종료 이벤트 대기 프로세스)에 응답하여, 동작들은 단계(1036)에서, 취득 이미지 종료 프로세스로 진행한다. 취득 이미지 종료 프로세스에서, 이미지 취득이 종료된다. 이러한 종료는 다양하게 구현될 수 있다. 예시적인 실시예들에서, 이러한 종료는 종료 이벤트의 검출시에 실시될 수 있다. 다른 예시적인 실시예들에서, 이러한 종료는 (예를 들어, 관련된 추가 이미지들을 기록하거나 이미지 프로세싱에 관련될 수 있는) 종료 이벤트의 검출로부터 구성된 기간이 경과한 이후에 실시될 수 있다. 이러한 구성된 기간은 예를 들어, 수행 테스트; 이미지 메모리 사이즈; 이미지 취득 주파수; 이미지 해상도; 이미지들의 수; 안전 마진들 등을 포함하여, 다양한 이해들, 추정치들 또는 다른 팩터들에 응답할 수 있다.
단계(1036)에서 이미지 획득의 종료로부터, 동작들은 판정(140)으로 진행하고, 여기서, 획득된 이미지들을 이미지 프로세싱에 제출할지 여부의 결정이 이루어진다. 단계(1036)에서의 결정이 제출하지 않는 것이면, 동작들은 단계(1044)로 진행하고, 이 단계에서, 동작들은 (ⅰ) (예를 들어, 테스트의 규정된 수의 반복들에 대한 현재의 수행 테스트를 반복하거나, 현재 수행 테스트가 상주하는 일련의 테스트들에서 다음 수행 테스트로 전진하거나, 새로운 일련의 테스트들 또는 개별 테스트를 선택하기 위해) 다른 수행 테스팅을 계속하도록 재시작되거나, (ⅱ) 종료될 수 있다. 단계(1036)에서 결정이 이미지 프로세싱을 위해 제출하는 것이면, 동작들은 단계(1040)에서 이미지 프로세싱으로 진행하고, 이미징 프로세싱으로부터 단계(1042)에서 테스트 결과/피드백 프로세스로 진행한다.
단계(1040)에서, 이미지 프로세싱이 수행될 수 있다. 예시적인 실시예들에서, 이미지 프로세싱은 구성(들)의 다양한 컴포넌트들을 포함하여, 구성(들)과 연관된 이미지 데이터에 관하여 구현될 수 있다. 예시적인 실시예들에서, 여기에 설명한 바와 같이, 이미지 프로세싱은 테스트 시작, 테스트 이정표(들), 및/또는 테스트 완료 중 하나 이상과 연관된 이미지들을 검출하기 위해 구현될 수 있다. 여기에 설명한 바와 같이, 이미지 프로세싱은 테스트 시작에 대응하는 개시 이미지; 테스트 완료에 대응하는 완료 이미지; 및/또는 테스트 이정표 각각에 대응하는 이정표 이미지를 산출할 수 있다. 여기에 설명한 바와 같이, 이미지 프로세싱은 테스트 시작, 테스트 완료 및/또는 테스트 이정표 중 어느 하나 이상에 대응하는 하나 보다 많은 이미지를 산출할 수 있다. 즉, 이미지 프로세싱은, 일부 환경들에서, 예를 들어, 이미지 데이터가 물리적 이벤트가 이미징 시퀀스에서 2개의 연속 이미지들 사이에서 발생하였다는 것을 나타내는 경우에, 물리적 이벤트를 브라켓하는 2개의 이미지들을 산출할 수 있고, 이 경우에, 이미지 프로세싱은 보간된 이미지, 즉, 2개의 이미지들을 분해하는 이미지를 산출할 수 있다.
예시적인 실시예들은 이미지 프로세싱은 반복적으로 수행될 수 있다. 예로서, 이미지 프로세싱은 모든 객체들 중에서 단계들에서 수행되도록 구현될 수 있고, 객체(들)는 운동 선수에 대응하고: (ⅰ) 제1 단계에서, 이미지 프로세싱은 이미징에서 캡처된 모든 또는 실질적으로 모든 신체적 움직임에 대응하는 모션(들)(예를 들어, 이미지 시퀀스에서 프레임들 중에서 이미지 데이터에 존재하는 전체 모션)에 관하여 분석할 수 있고; (ⅱ) 제 2 단계에서, 이미지 프로세싱은 운동 선수의 신체의 전체 움직임에 대응하는 모션(들)에 관하여 분석할 수 있다. 다른 예로서, 이미지 프로세싱은 운동 선수에 대응하는 객체(들) 중에서 단계들에서 수행되도록 구현될 수 있고: (ⅰ) 제1 단계에서, 이미지 프로세싱은 운동 선수의 신체의 전체 움직임에 대응하는 모션(들)에 관하여 분석할 수 있고; (ⅱ) 제 2 단계에서, 이미지 프로세싱은 운동 선수의 머리, 몸통, 팔, 다리 등 중의/중에서 움직임 또는 상대적 움직임에 대응하는 모션(들)에 관하여 분석할 수 있다. 상술한 예들 중 어느 것에서나, 운동 선수의 신체, 신체 부위들 및 신체 움직임들에 대응하는 객체들 및 모션들은 이러한 객체들 및 모션들이 테스트 엘리먼트(들)(예를 들어, 클럽, 공 또는 스타트/스탑 라인)에 대응하는 객체에 상대적인 것을 포함하여, 집합 모션 또는 상대적 모션과 같은, 조합(들)으로 분석되도록 구현될 수 있다. 다른 예로서, 이미지 프로세싱은 하나 이상의 테스트 엘리먼트들(예를 들어, 골프 클럽 및 골프 골)에 대응하는 객체(들) 뿐만 아니라 운동 선수에 대응하는 객체(들) 중에서 단계들에서 수행되도록 구현될 수 있고: (ⅰ) 제1 단계에서, 이미지 프로세싱은 운동 선수의 신체 및 장비의 전체 움직임에 대응하는 모션(들)에 관하여 분석할 수 있고, (ⅱ) 제 2 단계에서, 이미지 프로세싱은 운동 선수의 머리, 몸통, 팔, 다리 등의/중에서 움직임 또는 상대적 움직임, 및 이러한 운동 선수의 신체 부위(들) 중 하나 이상에 관한 하나의 피스의 장비(예를 들어, 골프 클럽)의 상대적 움직임에 대응하는 모션(들)에 관하여 분석할 수 있으며, (ⅲ) 제 3 단계에서, 이미지 프로세싱은 또 다른 테스트 장비(들)(예를 들어, 야디지(yardage) 및/또는 방향 표시기들)에 관한 다른 피스의 장비에 관하여(예를 들어, 골프 공의 비행 및 착지에 관하여) 움직임/상태의 변화에 대응하는 모션(들)에 관하여 분석할 수 있다. 이들 접근방식들 중 어느 것에 관하여, 이미지 프로세싱은 디바이스의 이미징 취득 능력들, 특히, 디바이스의 이미징 칩의 물리적 이동과 연관된 것과 같은, 비정상적인 모션을 다루기 위해 구현될 수 있다.
예시적인 실시예들에서, 단계(1040)에서 이미지 프로세싱은 이미지 취득 동안 개시되도록 구현될 수 있다. 이러한 실시예들에서, 이러한 이미지 프로세싱은 다른 프로세스와 동시에 실행할 수 있거나 협력하여 실행할 수 있다. 이러한 실시예들에서, 예를 들어, 이미지 프로세싱은 개시 이미지를 검출하는 판정(1026)에서의 확인 이벤트 테스트, 및 완료 이미지를 검출하는 판정(1034)에서의 종료 이벤트 테스트와 같은, 조기의 단계들에서 이용될 수 있다. 여기에 설명한 바와 같이, 판정(1026)에서의 이러한 확인 이벤트 테스트 및 판정(1034)에서의 이러한 종료 이벤트 테스트는 다른 이미지 프로세싱용을 포함하여, 개시 이미지 및/또는 종료 이미지에 관한 플레이스홀더 이미지들을 식별할 수 있다. 이러한 경우에, 이러한 다른 이미지 프로세싱은 단계(1036)에서 이미지 취득의 임의의 종료로 또는 종료없이, 이러한 테스트들과 동시에 또는 이러한 테스트들에 후속하여 개시될 수 있다. 더욱이, 이러한 다른 이미지 프로세싱은 더욱 강력한 프로세싱 방법들을 이용할 수 있다.
단계(1040)에서의 이미지 프로세싱은 운동 선수로부터의 입력을 허용하도록 구현될 수 있다. 예로서, 이미지 프로세싱은 모바일 애플리케이션과의 연결을 포함하여, 휴대 전자 디바이스(들)(924)를 통해 구현될 수 있다. 이러한 모바일 애플리케이션을 실행하는 이러한 디바이스는 사용자 인터페이스 경험을 제공할 수 있고, 이에 의해, 운동 선수(또는 보조자)는 이러한 입력을 제공하기 위해, 디바이스의 입력/제어 능력들을 관여시킨다(예를 들어, 규정된 물리적 또는 논리 버튼을 누르거나, 음성 입력 제어에 관하여 규정된 음성 커맨드를 똑똑히 발음한다). 예로서, 이러한 사용자 인터페이스 경험을 통해, 운동 선수는 예를 들어, (ⅰ) 이미징의 관련없는 부분들, 예를 들어, 서두 및/또는 사후-완료 활동들을 식별하고, (ⅱ) 하나 이상의 후보 이미지들을 테스트 시작, 테스트 완료, 및/또는 테스트 이정표(들) 중 하나 이상과 연관시키고(예를 들어, 운동 선수는 운동 선수가 수행 테스트 또는 그것의 임의의 테스트 이정표의 운동 선수의 개시 또는 완료에 대응하는 이미지를 디스플레이하기 위해 고려하는 프레임을 선택함), 및/또는 (ⅲ) 이미지에서 객체(들)를 식별하도록(예를 들어, 터치 감지 디스플레이를 통해, 운동 선수는 장비의 피스 및/또는 운동 선수의 신체 또는 선택된 신체 부위들 선택하거나 제한할 수 있고, 이 중 어느 하나 이상은 이러한 객체(들)에 대해 발견된 이미지 프로세싱을 강화시킬 수 있음), 운동 선수의 구성 실시와 연관된 이미지 시퀀스의 모두 또는 일부를 리뷰하는데 관여될 수 있다. 운동 선수를 이렇게 관여시키기 위해, 사용자 인터페이스 경험은 운동 선수로부터 적절한/적시의 입력을 지시하기 위해 문의들, 요청들, 명령들, 지도 또는 다른 피드포워드를 디스플레이할 수 있다.
예시적인 실시예들에서, 단계(1040)에서의 이미지 프로세싱은 단계(1042)에서, 테스트 결과/피드백 프로세스에 제공되는 출력들을 산출할 수 있다. 이러한 출력들은 (예를 들어, 운동 선수 또는 타인들에 대한 디스플레이를 위해) 개시, 완료, 및 이정표 이미지들 중 어느 하나 이상을 포함할 수 있다. 이러한 출력들은 단계(1042)에서, 테스트 결과/피드백 프로세스를 통해 제공된 측정에 적절한, 포맷 및 컨텐츠를 포함하여, 측정을 가능하게 하는 데이터를 또한 포함할 수 있다. 예로서, 이러한 출력 데이터는 프레임 번호들, 프레임 횟수들, 또는 다른 프레임 어드레싱을 포함할 수 있고, 이 중 임의의 것은 절대적일 수 있거나 기준에 대해 반대일 수 있다. 이러한 출력 데이터는 이미지 취득 데이터, 임의의 시간 오프셋들(예를 들어, 복수의 이미저들 중에서 셔터 오프셋) 등과 함께 또한 제공될 수 있다. 이러한 출력 데이터는 포맷 및 컨텐츠를 통해, 예를 들어 시간 차이들의 측정을 가능하게 하고, 이 시간 차이들은 테스트 결과들일 수 있거나 테스트 결과들의 계산을 가능하게 할 수 있다. 예로서, 화살촉 민첩성 훈련에 대해, 이미지 프로세싱 출력은 초당 프레임들에서 개시 이미지, 완료 이미지 및 이미지 취득 주파수를 포함할 수 있고, 개시 이미지는 프레임 #F1으로 표기되고, 완료 이미지는 프레임 #F2로 표기되며, 이미지 취득 주파수는 FPS로 표기되어, 테스트에 대한 경과 시간의 측정치는 (#F2-#F1)/FPS이다. 이러한 경우에, #FP1=0, #FP2=3000, 및 FPS=50fps인 경우에, 측정치는 (3000-0)/50=60초이다. 다른 예로서, 파워 볼 체스트 론치 훈련에 대해, 유사한 출력들이 제공될 수 있고, 측정치는 볼의 비행을 캡처하는 경과 시간을 산출하고, 공의 알려진 무게 및 운동 선수의 알려진 프로파일(키 등)과 함께 이러한 경과 시간은 공의 비행의 거리를 측정하는 소정의 탄도학 공식에 적용될 수 있다.
특정한 다른 서술적 실시예들에서, 본 개시의 양태들은 운동 선수의 신체 움직임들에 관한 운동 데이터를 획득하고, 저장하고, 그리고/또는 프로세싱하는 것을 수반한다. 움직임들은 하나 이상의 활동들 중 일부일 수 있다. 이러한 용어가 여기에서 사용될 수 있을 때, 활동은 예로서 골프를 포함할 수 있다. 이러한 용어가 여기에서 사용될 때, 구성은 예로서, 골프 드라이버의 스윙(이하, 때때로 "스윙"으로 지칭함)을 포함할 수 있다. 골프 드라이버 스윙의 컴포넌트들은 알려져 있고, 그 일부가 여기에 설명된다. 다른 예시적인 활동들에서, 구성은 또한 스윙일 수 있지만, 다른 관련 장비일 수 있다. 구성은 하나 이상의 컴포넌트들을 포함하는 움직임이다. 구성, 및 각 컴포넌트는 예를 들어, 다양한 속도들, 가속도들, 회전들, 지속기간들 등을 포함하는 물리적 특징들을 갖는다. 예시적인 실시예들에서, (위에서 개시한 특징과 동등할 수 있는) 구성, 예를 들어, 스윙이 하나 이상의 이미지 취득 디바이스들(이하, 이러한 각각의 디바이스를 "카메라"로 지칭할 수 있음)을 통해 이미지 데이터(예를 들어, 시퀀스 또는 비디오에서의 이미지들)에서 캡처될 수 있다. 카메라는 HTC One X+와 같은 스마트폰에 제공될 수 있다. 스윙을 캡처하는데 있어서, 이미지 데이터는 골프 클럽과 같은 장비 뿐만 아니라 사용자의 신체 및 신체 부위들의 움직임을 캡처한다. 신체, 신체 부위들 및 장비는 이미지 데이터에서 객체들로서 캡처될 수 있다. 스윙(및/또는 이미지 데이터에서 임의의 객체들)의 움직임들은 이미지 데이터에서 모션으로서 캡처된다. 스윙의 컴포넌트들은 이미지 데이터에서 스윙 특징들로서 캡처된다. 예를 들어, 임의의 소정의 시간에, 하나 보다 많은 컴포넌트(예를 들어, 신체 부위 움직임 및 클럽 움직임)가 발생할 수 있어서, 하나 보다 많은 스윙 특징이 발생할 수 있다.
활동, 움직임 또는 스윙과 같은 움직임의 구성들, 구성의 컴포넌트들, 및 컴포넌트들의 속도들, 가속도들, 회전들의 이미징은 하나 이상의 선택된 축들(예를 들어, 이미지들에서, 좌표계 및/또는 회전축들이 제공될 수 있음) 및/또는 기준점(들)에 관하여 참조될 수 있다. 이미징은 이미지-캡처링 디바이스의 셔터(예를 들어, fps)에 대해 절대적(크로노그래피) 또는 상대적을 포함하여, 또한 다양하게 타이밍될 수 있다.
일례로서 골프 스윙을 사용하면, 모든 컴포넌트들, 특징들 등이 다양한 실시예들의 목적들에 관련되지 않을 수 있다. 컴포넌트들의 관련성은 무엇보다도, 스윙 결과들에 대한 관계(예를 들어, 컴포넌트에서의 변화들이 골프 공의 비행에 대한 거리 또는 정확도에 큰, 중간 또는 작은 영향을 가질 수 있음); (속도들, 가속도들, 회전들 및 임의의 다른 특징들에 관한 것을 포함하여) 움직임의 복잡성; 및/또는 이러한 컴포넌트/특징의 이미징 또는 분석과 연관된 도전과제들에 응답할 수 있다. 이미징 및 이미징 분석 도전과제들은 예를 들어, 가용 컴퓨팅 파워(예를 들어, 로컬, 분산, 및 시간 기반); 자원(에너지) 소모 문제들; 및 이미징 문제들(예를 들어, 해상도, fps 등)에 관련될 수 있다. 컴포넌트는, 이러한 컴포넌트가 복수의 스윙들, 예를 들어, 통상의 사용자의 백에서 발견되는 골프 클럽들과 연관된 다양한 스윙들 및/또는 상이한 스포츠의 스윙들 중에 존재하기 때문에 관련이 있을 수 있다. 이와 같이, 관련이 없는 컴포넌트들과 연관된 이미지 데이터는 분석되지 않을 수 있다. 더욱이, 스윙 특징들은 이미지 데이터 시퀀스에서 연속적일 수 있거나 연속적이지 않을 수 있다. 이미지 데이터 시퀀스에서 임의의 선택된 스윙 특징은: 하나 이상의 다른 스윙 특징들과 동시일 수 있고(즉, 정확히 동일한 이미지들 또는 비디오 프레임들에 나타날 수 있고); 다른 것들과 오버랩할 수 있고(즉, 이미지들 또는 비디오 프레임들 모두가 아닌 일부에 나타날 수 있고); 다른 것들과 연속할 수 있고(즉, 선택된 특징의 최종 프레임이 다른 특징의 제1 프레임 직전의 프레임이고); 또는 모든 다른 특징들로부터 분리될 수 있다. 모든 스윙 특징들은 캡처된 스윙 이미징과 연관된 모든 관련 이미지 데이터를 함께 포함할 수 있다.
구성의 하나 이상의 컴포넌트들은 다양한 실시예들을 실시하는데 있어서 관련되지 않을 수 있거나 전반적으로 관련되지 않을 수 있다. 이와 같이, 이들 컴포넌트들은 (ⅰ) 분석의 일부가 전혀 아닐 수 있거나 (ⅱ) 항상 분석의 일부인 것은 아니다(예를 들어, 컴포넌트는 일부 경우들에서, 다른 컴포넌트가 이미징될 수 없는 경우에 백업 데이터 소스인 것과 같이 관련될 수 있다). 관련성은 그 컴포넌트의 분석의 복잡성 및/또는 자원 요구에 기초할 수 있다. 관련성은 그 분석으로부터 축소 리턴들(diminishing returns)에 기초하여 결정될 수 있다. 관련성은 다른 팩터들, 또는 이들의 임의의 조합들에 기초할 수 있다. 골프 스윙에서 축소 리턴들에 관하여, 예를 들어, 사용자의 몸통 회전(각속도 및/또는 범위)은 일 시간에서는 상대적으로 중요할 수 있고(따라서, 하나 이상의 다른 컴포넌트들의 배제를 아마도 포함하여, 이미지 도메인에서 분석되고), 다른 시간에서는 상대적을 중요하지 않을 수 있다(따라서, 예를 들어, 이전에 배제된 컴포넌트들 중 하나 이상을 포함하여, 하나 이상의 다른 컴포넌트들에 이제 포커싱하는 분석으로부터 아마도 배제된다).
분석은 이미지 데이터 전체, 스윙 특징-바이-스윙 특징, 또는 스윙 특징 데이터의 시퀀스일 수 있다. 상기에 따라, 이미지는 센서 데이터 및/또는 스윙 결과 데이터와 같은 다른 데이터와 조합하여 또는 그렇지 않으면 그에 응답하여 분석될 수 있다. 분석 출력들은 단독으로 또는 다른 입력과 함께(예를 들어, 다른 입력은 결과 데이터, 사용자 입력 등일 수 있음) 피드백 생성 함수에 입력된다. 피드백 생성 함수는 여기에 설명한 바를 포함하는, 비일시적 컴퓨터-판독가능 매체상의 하나 이상의 컴퓨터-구현 명령들의 일부로서 제공될 수 있고, 그리고/또는 서비스(예를 들어, 웹-서비스 등) 또는 일부 조합으로서 제공될 수 있다. 피드백 생성기는 피드백 신호(들)를 생성하고, 이 피드백 신호들은 사용자에게 제공된다. 피드백 신호(들)는 예들로서, 추가의 하드웨어 및/또는 소프트웨어 함수들, 또는 하나 이상의 트랜스듀서들, 또는 조합을 통하는 것을 포함하여, 다양하게 제공될 수 있다. 예들은 HTC One X+의 네이티브 기능들, 예를 들어, ETC One X+ 스피커들 및/또는 카메라 LED들을 사용하는 것을 포함한다.

Claims (20)

  1. 신체적 활동(physical activity)의 수행 동안에 운동 선수에게 가청(audible) 피드백을 제공하는 컴퓨터 구현 방법에 있어서,
    운동 선수의 신체적 활동의 수행 동안에 복수의 순차적 이미지들을 실시간으로 수신하는 단계;
    상기 신체적 활동 동안에 제1 운동(athletic) 움직임의 제1 특징을 수행하는 제1 운동 선수의 이미지 데이터를 식별하기 위해 상기 복수의 순차적 이미지들을 실시간으로 프로세싱하는 단계;
    상기 제1 특징의 수행을 식별하는 것에 응답하여, 제1 오디오 피드백 신호를 실시간으로 송신하는 단계;
    상기 실시간 프로세싱의 일부로서, 상기 제1 운동 선수가 제1 운동 움직임의 제2 특징을 수행한다는 것을 나타내는 복수의 이미지들 내의 이미지 데이터를 검출하는 단계;
    상기 운동 선수의 운동 활동의 상기 제1 및 제2 특징들의 수행에 관한 가청 템포 피드백을 제공하도록 구성된 운동 움직임의 수행 동안에 상기 운동 선수가 오디오 피드백을 수신하도록, 상기 제2 특징의 움직임 특성들에 기초하여 제2 오디오 피드백 신호를 실시간으로 출력하는 단계; 및
    상기 제1 및 제2 특징들 중 적어도 하나의 검출에 기초하여, 상기 운동 선수에게 상기 신체적 활동의 수행의 추가적인 특징을 수행할 타이밍을 나타내도록 구성된 상기 제1 또는 제2 특징의 발생에 기초하여 미리 정해진 시간에 제 3 가청 피드백 신호를 송신하는 단계
    를 포함하고,
    상기 제1 오디오 피드백 신호는 제1 주파수에서의 제1 가청 톤이고, 상기 제2 오디오 피드백 신호를 생성하는 것은 상기 가청 톤을 제2 주파수로 변조하는 것을 포함하는, 컴퓨터 구현 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제1 특징을 식별하는 것은, 개시 이미지를 식별하는 것을 포함하고,
    상기 개시 이미지를 식별하는 것은,
    특정한 제1 신체 부위 또는 스포츠 객체 - 상기 제1 신체 부위 또는 스포츠 객체는 상기 운동 선수가 수행할 미리 정해진 신체적 활동에 기초하여 선택됨 - 중 적어도 하나에 대응하는 픽셀들을 식별하는 것; 및
    상기 식별된 픽셀들에 기초하여, 픽셀 데이터가 상기 순차적 이미지들 내의 복수의 이미지들 사이에서 변경되어 상기 변경이 제1 임계치를 충족시키는지 여부를 결정하는 것을 포함하는 것인 컴퓨터 구현 방법.
  4. 제 1 항에 있어서,
    상기 복수의 이미지들을 프로세싱하는 것은, 광학 흐름 프로세스를 활용하는 것을 포함하는 것인 컴퓨터 구현 방법.
  5. 제 4 항에 있어서,
    상기 광학 흐름 프로세스의 출력이 모션 엔트로피 결정 프로세스에 대한 입력으로서 제공되고,
    상기 모션 엔트로피 결정 프로세스는,
    제1 이미지로부터 제2 이미지로 식별된 객체의 픽셀-거리 변화를 포함하는 흐름 필드 데이터를 제공하는 것; 및
    상기 신체적 활동의 수행 동안에 상기 이미지 데이터에서 표현된 상기 운동 선수의 특정한 타입의 모션을 식별하기 위해 상기 흐름 필드 데이터를 사용하는 것을 포함하는 것인 컴퓨터 구현 방법.
  6. 제 5 항에 있어서,
    상기 제2 특징은, 속도값, 가속도값, 상기 운동 선수의 신체 부위의 위치, 또는 상기 이미지 데이터 내의 스포츠 디바이스의 위치 중 적어도 하나에 기초한 모션 파라미터로부터 검출되는 것인 컴퓨터 구현 방법.
  7. 제 6 항에 있어서,
    상기 모션 파라미터를 결정하는 것은, 상기 속도값 또는 상기 가속도값이 제1 임계치를 충족시킨다라고 결정하는 것에 적어도 부분적으로 기초하여 결정되는 것인 컴퓨터 구현 방법.
  8. 제 6 항에 있어서,
    상기 제2 오디오 피드백 신호의 생성에 있어서 상기 모션 파라미터를 활용하는 단계를 더 포함하는 컴퓨터 구현 방법.
  9. 신체적 활동(physical activity)의 수행 동안에 운동 선수에게 가청(audible) 피드백을 제공하는 컴퓨터 구현 방법에 있어서,
    운동 선수의 신체적 활동의 수행 동안에 복수의 순차적 이미지들을 실시간으로 수신하는 단계;
    상기 신체적 활동 동안에 제1 운동(athletic) 움직임의 제1 특징을 수행하는 제1 운동 선수의 이미지 데이터를 식별하기 위해 상기 복수의 순차적 이미지들을 실시간으로 프로세싱하는 단계;
    상기 제1 특징의 수행을 식별하는 것에 응답하여, 제1 오디오 피드백 신호를 실시간으로 송신하는 단계;
    상기 실시간 프로세싱의 일부로서, 상기 제1 운동 선수가 제1 운동 움직임의 제2 특징을 수행한다는 것을 나타내는 복수의 이미지들 내의 이미지 데이터를 검출하는 단계; 및
    상기 운동 선수의 운동 활동의 상기 제1 및 제2 특징들의 수행에 관한 가청 템포 피드백을 제공하도록 구성된 운동 움직임의 수행 동안에 상기 운동 선수가 오디오 피드백을 수신하도록, 상기 제2 특징의 움직임 특성들에 기초하여 제2 오디오 피드백 신호를 실시간으로 출력하는 단계
    를 포함하고,
    상기 복수의 이미지들을 프로세싱하는 것은, 광학 흐름 프로세스를 활용하는 것을 포함하며,
    상기 광학 흐름 프로세스의 출력이 모션 엔트로피 결정 프로세스에 대한 입력으로서 제공되고,
    상기 모션 엔트로피 결정 프로세스는,
    제1 이미지로부터 제2 이미지로 식별된 객체의 픽셀-거리 변화를 포함하는 흐름 필드 데이터를 제공하는 것; 및
    상기 신체적 활동의 수행 동안에 상기 이미지 데이터에서 표현된 상기 운동 선수의 특정한 타입의 모션을 식별하기 위해 상기 흐름 필드 데이터를 사용하는 것을 포함하고,
    상기 신체적 활동은 업스윙 운동 움직임 및 후속 다운스윙 운동 움직임을 갖는 골프 스윙이고, 상기 제1 운동 선수가 상기 제1 특징을 수행한다고 하는 상기 이미지 데이터를 검출하는 것은, 골프 클럽이 지표면으로부터 제1 거리 내에 있다는 것을 나타내는 픽셀 데이터를 검출하는 것을 포함하고, 제2 운동 선수가 상기 업스윙 운동 움직임의 제2 특징을 수행한다고 하는 상기 이미지 데이터를 검출하는 것은, 상기 골프 클럽이 상기 지표면으로부터 제2 거리 내에 있다는 것을 나타내는 픽셀 데이터로부터 검출되는 것인 컴퓨터 구현 방법.
  10. 삭제
  11. 운동 선수의 운동 속성을 결정하는 컴퓨터 구현 방법에 있어서,
    복수의 순차적 이미지들을 수신하는 단계로서, 적어도 제1 이미지가 미리 정해진 신체적 활동의 수행을 개시하기 이전의 운동 선수의 이미지 데이터를 포함하고, 상기 복수의 순차적 이미지들은 상기 미리 정해진 신체적 활동을 수행하는 상기 운동 선수의 이미지 데이터를 포함하는 것인, 복수의 순차적 이미지들을 수신하는 단계;
    상기 제1 이미지 이후에 위치된 이미지들의 제1 범위를 식별하기 위해 상기 복수의 순차적 이미지들의 적어도 일부를 프로세싱하는 단계로서, 상기 식별은 상기 이미지들에서 객체의 움직임이 발생하였다는 것을 나타내는 제1 임계 레벨에 도달한 상기 순차적 이미지들에서의 픽셀들의 임계량에 대한 픽셀 데이터에 기초하는 것인, 상기 복수의 순차적 이미지들의 적어도 일부를 프로세싱하는 단계;
    알려진 치수를 갖는 객체를 위치시키기 위해 상기 이미지 데이터를 프로세싱하고, 상기 이미지 데이터를 교정하기 위해 상기 알려진 치수를 사용하는 단계;
    상기 신체적 활동의 제1 특징의 개시 이미지를 식별하기 위해 상기 이미지들의 제1 범위 내에서 이미지들을 프로세싱하는 단계로서,
    상기 운동 선수의 특정한 제1 신체 부위 - 상기 제1 신체 부위는 상기 미리 정해진 신체적 활동에 기초하여 선택됨 - 에 대응하는 상기 이미지들의 제1 범위에서 픽셀들을 식별하는 것;
    상기 식별된 픽셀들에 기초하여, 상기 픽셀 데이터가 변경되어 상기 변경이 제1 신체 부위 움직임 품질 임계치를 충족시키는지 여부를 결정하는 것; 및
    상기 운동 선수가 상기 제1 특징을 수행하였다고 결정하는데 있어서 개시 이미지 및 상기 제1 신체 부위 움직임 품질 임계치의 상기 결정을 활용하는 것을 포함하는 것인, 이미지들을 프로세싱하는 단계; 및
    상기 제1 특징의 수행을 식별하는 것에 응답하여, 제1 피드백 신호를 실시간으로 송신하는 단계를 포함하는 컴퓨터 구현 방법.
  12. 제 11 항에 있어서,
    상기 제1 피드백 신호는 제1 오디오 피드백 신호인 것인 컴퓨터 구현 방법.
  13. 제 11 항에 있어서,
    상기 제 1 이미지 이후에 순차적으로 위치된 완료 이미지를 위치시키기 위해 상기 복수의 순차적 이미지들 중 적어도 일부를 프로세싱하는 단계를 더 포함하고, 상기 완료 이미지는 상기 미리 정해진 신체적 활동의 상기 제 1 특징의 완료 즉시의 상기 운동 선수의 이미지 데이터를 포함하는 것인 컴퓨터 구현 방법.
  14. 제 13 항에 있어서,
    상기 위치된 개시 이미지 및 위치된 종료 이미지에 기초하여 신체적 활동 지속기간을 계산하는 단계를 더 포함하는 컴퓨터 구현 방법.
  15. 제 14 항에 있어서,
    상기 복수의 이미지들을 프로세싱하는 것은, 광학 흐름 프로세스를 활용하는 것을 포함하고, 상기 광학 흐름 프로세스의 출력은 모션 엔트로피 결정 프로세스에 대한 입력으로서 제공되고,
    상기 모션 엔트로피 결정 프로세스는,
    제1 이미지로부터 제2 이미지로 식별된 객체의 픽셀-거리 변화를 포함하는 흐름 필드 데이터를 제공하는 것; 및
    상기 미리 정해진 신체적 활동의 수행 동안에 상기 이미지 데이터에서 표현된 상기 운동 선수의 특정한 타입의 모션을 식별하기 위해 상기 흐름 필드 데이터를 사용하는 것을 포함하는 것인 컴퓨터 구현 방법.
  16. 제 12 항에 있어서,
    상기 실시간 프로세싱의 일부로서, 상기 운동 선수가 제1 운동 움직임의 제2 특징을 수행한다는 것을 나타내는 복수의 이미지들 내의 이미지 데이터를 검출하는 단계; 및
    운동 활동의 상기 제1 및 제2 특징들의 상기 운동 선수의 수행에 관한 가청 템포 피드백을 제공하도록 구성된 운동 움직임의 수행 동안에 상기 운동 선수가 오디오 피드백을 수신하도록, 상기 제2 특징의 움직임 특성들에 기초하여 제2 오디오 피드백 신호를 실시간으로 출력하는 단계를 더 포함하는 컴퓨터 구현 방법.
  17. 제 16 항에 있어서,
    상기 제1 오디오 피드백 신호는 제1 주파수에서의 제1 가청 톤이고, 상기 제2 오디오 피드백 신호를 생성하는 것은 상기 가청 톤을 제2 주파수로 변조하는 것을 포함하는 것인 컴퓨터 구현 방법.
  18. 제 11 항에 있어서,
    상기 제1 특징을 식별하는 것은 개시 이미지를 식별하는 것을 포함하고,
    상기 개시 이미지를 식별하는 것은,
    특정한 제1 신체 부위 또는 스포츠 객체 - 상기 제1 신체 부위 또는 스포츠 객체는 상기 운동 선수가 수행할 미리 정해진 신체적 활동에 기초하여 선택됨 - 중 적어도 하나에 대응하는 픽셀들을 식별하는 것; 및
    상기 식별된 픽셀들에 기초하여, 상기 픽셀 데이터가 상기 순차적 이미지들 내의 복수의 이미지들 사이에서 변경되어 상기 변경이 제1 임계치를 충족시키는지 여부를 결정하는 것을 포함하는 것인 컴퓨터 구현 방법.
  19. 제 16 항에 있어서,
    상기 제2 특징은, 속도값, 가속도값, 상기 운동 선수의 신체 부위의 위치, 또는 상기 이미지 데이터 내의 스포츠 디바이스의 위치 중 적어도 하나에 기초한 모션 파라미터로부터 검출되는 것인 컴퓨터 구현 방법.
  20. 제 19 항에 있어서,
    상기 모션 파라미터를 결정하는 것은, 상기 속도값 또는 상기 가속도값이 제1 임계치를 충족시킨다고 결정하는 것에 적어도 부분적으로 기초하여 결정되는 것인 컴퓨터 구현 방법.
KR1020157028050A 2013-03-15 2014-03-11 운동 수행의 이미지 데이터로부터의 피드백 신호들 KR101954959B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361793472P 2013-03-15 2013-03-15
US61/793,472 2013-03-15
PCT/US2014/023313 WO2014150457A2 (en) 2013-03-15 2014-03-11 Feedback signals from image data of athletic performance

Publications (2)

Publication Number Publication Date
KR20150127193A KR20150127193A (ko) 2015-11-16
KR101954959B1 true KR101954959B1 (ko) 2019-03-07

Family

ID=50483509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028050A KR101954959B1 (ko) 2013-03-15 2014-03-11 운동 수행의 이미지 데이터로부터의 피드백 신호들

Country Status (6)

Country Link
US (1) US11263919B2 (ko)
EP (1) EP2973215B1 (ko)
JP (1) JP6366677B2 (ko)
KR (1) KR101954959B1 (ko)
CN (1) CN105210084B (ko)
WO (1) WO2014150457A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168242A (ko) 2021-06-15 2022-12-23 동국대학교 산학협력단 인공지능을 이용한 비대면 코칭 시스템
KR20230033182A (ko) 2021-08-30 2023-03-08 동국대학교 산학협력단 스포츠 영상 디스플레이 시스템

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023163A1 (en) * 2008-08-27 2012-01-26 Jeffrey Mangold System and Method for Optimizing the Physical Development of Athletes
US9072930B2 (en) * 2012-04-11 2015-07-07 Icon Health & Fitness, Inc. System and method for measuring running efficiencies on a treadmill
JP6326711B2 (ja) * 2012-08-07 2018-05-23 セイコーエプソン株式会社 システムおよび移動記録制御方法
US10223926B2 (en) 2013-03-14 2019-03-05 Nike, Inc. Skateboard system
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
WO2014152601A1 (en) * 2013-03-14 2014-09-25 Nike, Inc. Athletic attribute determinations from image data
US12073740B2 (en) 2013-03-14 2024-08-27 Nike, Inc. Skateboard system
US20160328839A1 (en) * 2013-12-24 2016-11-10 Sony Corporation Image processing apparatus and image processing method
US9403047B2 (en) 2013-12-26 2016-08-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US20150375083A1 (en) 2014-06-05 2015-12-31 Zih Corp. Method, Apparatus, And Computer Program Product For Enhancement Of Event Visualizations Based On Location Data
US9759803B2 (en) 2014-06-06 2017-09-12 Zih Corp. Method, apparatus, and computer program product for employing a spatial association model in a real time location system
WO2015191445A1 (en) 2014-06-09 2015-12-17 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
US10668353B2 (en) 2014-08-11 2020-06-02 Icuemotion Llc Codification and cueing system for sport and vocational activities
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US10180974B2 (en) * 2014-09-16 2019-01-15 International Business Machines Corporation System and method for generating content corresponding to an event
US10258828B2 (en) 2015-01-16 2019-04-16 Icon Health & Fitness, Inc. Controls for an exercise device
US20160260340A1 (en) * 2015-02-07 2016-09-08 Alan Discount Automated sports training workflow, delivery and tracking system
KR20170106289A (ko) * 2015-02-11 2017-09-20 주식회사 퓨처플레이 피드백을 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160314712A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and associated methods
US20160314717A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
CA3030958C (en) * 2015-07-16 2019-11-05 Blast Motion Inc. Integrated sensor and video motion analysis method
US10953305B2 (en) 2015-08-26 2021-03-23 Icon Health & Fitness, Inc. Strength exercise mechanisms
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10198969B2 (en) 2015-09-16 2019-02-05 KindHeart, Inc. Surgical simulation system and associated methods
US20170116886A1 (en) * 2015-10-23 2017-04-27 Regents Of The University Of California Method and system for training with frequency modulated sounds to enhance hearing
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
KR101920468B1 (ko) * 2016-03-04 2018-11-20 한국전자통신연구원 이중 촬영 방식 저속카메라 기반 객체 자동 인식 장치 및 그 방법
US10561894B2 (en) 2016-03-18 2020-02-18 Icon Health & Fitness, Inc. Treadmill with removable supports
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10293211B2 (en) 2016-03-18 2019-05-21 Icon Health & Fitness, Inc. Coordinated weight selection
TWI617193B (zh) * 2016-04-13 2018-03-01 愛普瑞股份有限公司 主動式錄攝系統及其控制方法
US10252109B2 (en) 2016-05-13 2019-04-09 Icon Health & Fitness, Inc. Weight platform treadmill
CN106333666A (zh) * 2016-05-25 2017-01-18 郑州动量科技有限公司 一种运动灵敏性监测与评估方法及其系统
US10471299B2 (en) 2016-07-01 2019-11-12 Icon Health & Fitness, Inc. Systems and methods for cooling internal exercise equipment components
US10441844B2 (en) 2016-07-01 2019-10-15 Icon Health & Fitness, Inc. Cooling systems and methods for exercise equipment
US10097959B2 (en) * 2016-07-13 2018-10-09 Play Impossible Corporation Capturing smart playable device and gestures
EP3495985A4 (en) * 2016-08-05 2020-03-25 Tendyron Corporation DATA COMMUNICATION METHOD AND DATA COMMUNICATION SYSTEM
WO2018033782A1 (en) * 2016-08-19 2018-02-22 Aryeh Haim Katz Physical activity measurement and analysis
US20180082033A1 (en) * 2016-09-22 2018-03-22 At&T Intellectual Property I, L.P. Method and apparatus for controlling an artificial respiratory device via a network
US10722775B2 (en) * 2016-09-27 2020-07-28 Adidas Ag Robotic training systems and methods
US20180093131A1 (en) * 2016-09-30 2018-04-05 Ali C. Barnes Rhythmic athletic training systems and methods
US10500473B2 (en) 2016-10-10 2019-12-10 Icon Health & Fitness, Inc. Console positioning
US10207148B2 (en) 2016-10-12 2019-02-19 Icon Health & Fitness, Inc. Systems and methods for reducing runaway resistance on an exercise device
US10376736B2 (en) 2016-10-12 2019-08-13 Icon Health & Fitness, Inc. Cooling an exercise device during a dive motor runway condition
CN106422210B (zh) * 2016-10-13 2018-07-20 北京昊翔信达科技有限公司 一种基于图像处理的人体运动状态检测方法及系统
TWI646997B (zh) 2016-11-01 2019-01-11 美商愛康運動與健康公司 用於控制台定位的距離感測器
US10661114B2 (en) 2016-11-01 2020-05-26 Icon Health & Fitness, Inc. Body weight lift mechanism on treadmill
US20180129254A1 (en) * 2016-11-07 2018-05-10 Toyota Motor Engineering & Manufacturing North Ame rica, Inc. Wearable device programmed to record messages and moments in time
US10521669B2 (en) * 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
JP6303155B1 (ja) * 2016-11-30 2018-04-04 住友ゴム工業株式会社 ゴルフスイングの安定性の評価方法
TWI680782B (zh) 2016-12-05 2020-01-01 美商愛康運動與健康公司 於操作期間抵銷跑步機的平台之重量
CN106581974B (zh) * 2017-02-13 2019-11-08 张琛 基于球拍运动轨迹的击球姿势训练装置及方法
GB201703243D0 (en) * 2017-02-28 2017-04-12 Pro Sport Support Ltd System, method, apparatus and marker for assessing athletic performance
EP3649633A4 (en) * 2017-07-06 2021-03-10 Icuemotion LLC SYSTEMS AND PROCESSES FOR DATA-DRIVEN MOVEMENT SKILLS TRAINING
JP6871379B2 (ja) * 2017-07-07 2021-05-12 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
TWI756672B (zh) 2017-08-16 2022-03-01 美商愛康有限公司 用於抗馬達中之軸向衝擊載荷的系統
EP3694616A4 (en) * 2017-10-12 2021-07-07 Ballogy, Inc. BASKETBALL EVALUATION SYSTEM AND PROCEDURE
US11839805B2 (en) 2017-10-12 2023-12-12 Ballogy, Inc. Computer vision and artificial intelligence applications in basketball
WO2019116255A1 (en) * 2017-12-12 2019-06-20 Mindmaze Holding Sa System, apparatus and method for activity classification
EP3730196A4 (en) * 2017-12-19 2021-06-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US10729965B2 (en) 2017-12-22 2020-08-04 Icon Health & Fitness, Inc. Audible belt guide in a treadmill
JP2019138812A (ja) * 2018-02-13 2019-08-22 日本電信電話株式会社 距離測定装置、距離測定システム及び距離測定方法
US11364418B2 (en) 2018-10-08 2022-06-21 John Piazza Device, system and method for automated global athletic assessment and / or human performance testing
US10708501B2 (en) * 2018-10-17 2020-07-07 Sony Corporation Prominent region detection in scenes from sequence of image frames
CN109489611A (zh) * 2018-10-22 2019-03-19 江苏经贸职业技术学院 一种跳远中起跳动作的检测方法和系统
CN109635638B (zh) * 2018-10-31 2021-03-09 中国科学院计算技术研究所 用于人体运动的特征提取方法及系统、识别方法及系统
US11044404B1 (en) * 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
CN109787740B (zh) * 2018-12-24 2020-10-27 北京诺亦腾科技有限公司 传感器数据的同步方法、装置、终端设备及存储介质
CN110052002A (zh) * 2019-05-08 2019-07-26 韦耀竣 一种篮球投篮训练辅助系统
CN110314361B (zh) * 2019-05-10 2021-03-30 新华智云科技有限公司 一种基于卷积神经网络的篮球进球得分判断方法及系统
WO2021086370A1 (en) * 2019-10-31 2021-05-06 Visa International Service Association Systems and methods to identify an entity using a 3d layout
US11977095B2 (en) 2020-03-05 2024-05-07 Pg Tech, Llc Method and system for analyzing an athletic throwing motion by an individual
GB202006410D0 (en) * 2020-04-30 2020-06-17 Huma Therapeutics Ltd Monitoring device
CN111583282B (zh) * 2020-05-18 2024-04-23 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
CN113297883A (zh) * 2020-07-03 2021-08-24 阿里巴巴集团控股有限公司 信息处理方法、分析模型的获得方法、装置及电子设备
CN114259720B (zh) * 2020-09-15 2022-10-18 荣耀终端有限公司 动作识别方法及装置、终端设备、运动监测系统
TWI779488B (zh) * 2021-02-09 2022-10-01 趙尚威 特徵辨識方法及其系統
US20220393722A1 (en) * 2021-06-04 2022-12-08 Nxp B.V. Near-field wireless device
WO2022118094A1 (en) * 2021-09-03 2022-06-09 Bagheri Hamed Hamed sd: sport, ai-based doctor for all
KR102393241B1 (ko) * 2022-03-30 2022-05-02 최준석 교습방법 및 이를 구현하기 위한 프로그램이 저장된 기록매체
US11691051B1 (en) 2022-07-26 2023-07-04 PD Golf LLC Golf swing training device
KR102494551B1 (ko) 2022-09-23 2023-01-31 최명우 저작력 향상을 위한 단두종 개 사료 및 이의 제조 방법
WO2024081781A1 (en) * 2022-10-13 2024-04-18 Aurasense Tech Corporation Rehab and training interactive and tactile projections of sound and light
CN116392800B (zh) * 2023-04-23 2024-07-02 电子科技大学 一种基于目标检测和图像处理的立定跳远测距方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008528195A (ja) * 2005-01-26 2008-07-31 ベントレー・キネティクス・インコーポレーテッド 運動動作の分析及び指示のための方法及びシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4289307A (en) * 1979-02-09 1981-09-15 Cbs Inc. Riding toy with sound effects
EP1130570B1 (en) * 2000-01-11 2007-10-10 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
JP4283145B2 (ja) * 2004-03-26 2009-06-24 Ｓｒｉスポーツ株式会社 ゴルフスウィング計測システム
JP4283147B2 (ja) * 2004-03-26 2009-06-24 Ｓｒｉスポーツ株式会社 ゴルフスウィング計測方法
US20060204045A1 (en) * 2004-05-27 2006-09-14 Antonucci Paul R A System and method for motion performance improvement
US7219033B2 (en) 2005-02-15 2007-05-15 Magneto Inertial Sensing Technology, Inc. Single/multiple axes six degrees of freedom (6 DOF) inertial motion capture system with initial orientation determination capability
JP2007075172A (ja) * 2005-09-12 2007-03-29 Sony Corp 音出力制御装置、音出力制御方法および音出力制御プログラム
US8430770B2 (en) * 2006-10-07 2013-04-30 Brian M. Dugan Systems and methods for measuring and/or analyzing swing information
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
JP5424841B2 (ja) * 2009-12-08 2014-02-26 ダンロップスポーツ株式会社 ゴルフスイング診断システム
US8600171B2 (en) * 2009-12-10 2013-12-03 Canon Kabushiki Kaisha Image labeling using parallel processing
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
JP2012044564A (ja) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
US20120242567A1 (en) * 2011-03-24 2012-09-27 Smile Technology Co., Ltd. Hand-held displaying device
JP6120837B2 (ja) * 2011-06-27 2017-04-26 スウィング・プロファイル・リミテッド スポーツ動作のビデオを解析する方法
KR101860083B1 (ko) 2011-06-29 2018-05-23 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
US8696450B2 (en) * 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
US8995755B2 (en) * 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
WO2014042121A1 (ja) * 2012-09-12 2014-03-20 独立行政法人産業技術総合研究所 動作評価装置及びそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008528195A (ja) * 2005-01-26 2008-07-31 ベントレー・キネティクス・インコーポレーテッド 運動動作の分析及び指示のための方法及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168242A (ko) 2021-06-15 2022-12-23 동국대학교 산학협력단 인공지능을 이용한 비대면 코칭 시스템
KR20230033182A (ko) 2021-08-30 2023-03-08 동국대학교 산학협력단 스포츠 영상 디스플레이 시스템

Also Published As

Publication number Publication date
CN105210084B (zh) 2019-03-12
US11263919B2 (en) 2022-03-01
WO2014150457A2 (en) 2014-09-25
US20160027325A1 (en) 2016-01-28
CN105210084A (zh) 2015-12-30
KR20150127193A (ko) 2015-11-16
JP6366677B2 (ja) 2018-08-01
JP2016511113A (ja) 2016-04-14
EP2973215A2 (en) 2016-01-20
EP2973215B1 (en) 2023-05-17
WO2014150457A3 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
KR101954959B1 (ko) 운동 수행의 이미지 데이터로부터의 피드백 신호들
US11862334B2 (en) Flight time
US10121065B2 (en) Athletic attribute determinations from image data
US10607349B2 (en) Multi-sensor event system
JP5994306B2 (ja) 情報処理装置、情報処理システムおよびプログラム
US20180036616A1 (en) System for Interactive Sports Training Utilizing Real-Time Metrics and Analysis
US20240042276A1 (en) Systems and methods for measuring and analyzing the motion of a swing and matching the motion of a swing to optimized swing equipment
US20240252917A1 (en) Player monitoring systems and methods for efficiently processing sensor data
CN111316201A (zh) 借助器材支持锻炼者的运动锻炼的系统、方法及计算机程序产品
JP2017022727A (ja) 情報処理装置、情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right