KR102529604B1 - 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치 - Google Patents

정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치 Download PDF

Info

Publication number
KR102529604B1
KR102529604B1 KR1020217025868A KR20217025868A KR102529604B1 KR 102529604 B1 KR102529604 B1 KR 102529604B1 KR 1020217025868 A KR1020217025868 A KR 1020217025868A KR 20217025868 A KR20217025868 A KR 20217025868A KR 102529604 B1 KR102529604 B1 KR 102529604B1
Authority
KR
South Korea
Prior art keywords
djs
student
athlete
model
image
Prior art date
Application number
KR1020217025868A
Other languages
English (en)
Other versions
KR20210127936A (ko
Inventor
양쉐인
리차드 케이. 윌리엄스
Original Assignee
양쉐인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양쉐인 filed Critical 양쉐인
Publication of KR20210127936A publication Critical patent/KR20210127936A/ko
Application granted granted Critical
Publication of KR102529604B1 publication Critical patent/KR102529604B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

인공 지능(AI) 엔진 또는 이미지 프로세서에 의해 실현되는 증강된 인지 방법을 사용하여 정신운동 학습을 향상시키기 위한 크기 조정 가능한 동적 연결된 골격(DJS) 모델을 생성하는 신규한 방법으로서, 이 방법은 운동선수, 교사, 또는 전문가의 비디오 파일의 라이브 모션 이미지로부터 DJS 모델을 추출하여 훈련에 사용하기 위한 크기 조정 가능한 기준 모델을 생성하는 것을 포함하며, 이에 의해 AI 엔진은 팔 길이, 길이, 몸통 길이를 포함하는 주체의 물리적 속성을 추출할 뿐만 아니라 위치, 자세, 클럽 위치, 스윙 속도 및 가속도, 비틀기 등을 포함하는 골프 클럽을 스윙하는 것과 같은 운동 스킬의 연속적인 움직임을 캡처한다.

Description

정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치
관련 출원에 대한 상호 참조
본 출원은 2019년 1월 15일자로 출원된 가출원 제62/792,875호의 우선권을 주장하며, 이는 그 전체가 본 명세서에 참조로 포함된다.
연구들은 학생이 적극적으로 교육 과정에 능동적으로 참여하는 "능동 학습"에 의해 학습 속도, 능숙도, 유지율(retention)이 향상된다는 것을 보여준다. 이러한 원리는 정신운동 학습(Psychomotor Learning) 또는 운동학으로 알려진 바와 같이 시각과 움직임의 조화를 수반하는 새로운 기술을 획득할 때 특히 적용된다. 운동 훈련에서 또는 신경수술 학습과 같은 전문화된 정신운동 기술의 개발에서, 신속한 피드백은 학습 과정에서 중요한 요소이다. 이 원리는, '수용(receiving)'(2)을 수반하는 수동 학습, '참가(participatiing)'(3)를 수반하는 능동 학습 및 '실행(doing)'(4)을 수반하는 능동 학습을 포함하는 다양한 레벨의 학습 및 유지율을 예시하는 도 1의 유지율 피라미드(1)로 표현될 수 있다(https://en.wikipedia.org/wiki/learning#/media/file:learning_retention_pyramid.jpg).
수용(2)을 수반하는 수동적 학습에서, 참여자는 강의, 읽기 또는 시청각 프리젠테이션을 통해 학습한다. 유지율은 20% 내지 75% 사이에서 변하지만 전형적으로 40% 미만이다. 그리고 공부는 그들이 무엇을 하고 있는 지를 학생이 더 잘 이해하도록 도울 수 있지만, 과제가 "어떻게" 수행되어야 하는 지를 밝히는 것은 거의 향상시키지 않는다. 학생이 스스로 "시도할" 기회를 갖지 않기 때문에, 수용은 눈-손 조화를 수반하는 정신운동 기술을 교육하는데 특히 비효율적이다.
낮은 레벨의 능동적 학습인 참여(3)는 학생이 시연에 의해 또는 온라인 과정에 능동적으로 참여하는 것을 통해 배운 후 시험을 치거나 경기 및 연습하도록 격려하는 것을 수반한다. 유지율은 수신(2)보다 우수하지만, 좀처럼 75%를 초과하지 못한다. 스포츠 또는 매뉴얼 작업을 위한 정신운동 훈련에서, 학생은 여전히 실제 모션을 실행할 수 없어서 학습을 저해한다. 예를 들어, 포환던지기는 온라인 시험으로 학습될 수 없다. 포환을 들 때까지, 그것이 얼마나 무거운지 또는 자신이 부상당하지 않고 그것을 어떻게 던지는지를 상상하는 것은 어렵다. 컴퓨터 기반 훈련을 이용하여 비행기를 조종하기 위한 학습과 같은 과제는 조종실 계기의 동작을 모방할 수 있지만, 실제 비행기 또는 전문 비행 시뮬레이터에서 조종사가 느끼는 가속력이 여전히 부족하다.
더 큰 학습 유지율 및 더 빠른 학습은 일반적으로 코칭(coaching) 또는 라이브 트레이너(live trainer)의 지도에 이어서 적시의 연습을 통한 실행(4)에 의한 학습 과정에 학생이 능동적으로 참여하는 것을 수반한다. 실행 기반 학습에서, 학생은 '해야 할 일'을 보여주는 코칭 강사 사이를 번갈아 가며 코치가 있을 때 학생이 행동을 모방하려고 시도하고 학생이 혼자 있을 때 다시 행동한다. 실행(4)을 통한 코칭 또는 개인 트레이너 지도는 일반적으로 학생 또는 운동선수의 진행 속도를 가속시키면서 유지율을 75% 이상으로 개선하지만, 높은 비용과, 약속 일정 잡기 및 강사 이용 가능성의 불편함, 및 단독 연습 시간 동안의 피드백의 부족을 겪는다.
교사 실연의 반복된 적용에 이은 동일한 모션을 반복하려는 학생의 시도는, "...보기-실행 시퀀스"와 비교하여 오늘날 능동적인 정신운동 학습을 위한 기초를 형성한다. 주장에 의하면 코치 하에서의 반복적 자연 훈련은 뇌에서의 자극 반응(SR: stimulus response) 패턴의 신경 프로그래밍을 통해 행동을 주입한다. 정신운동 학습을 용이하게 하는 신경 프로그래밍(일반적으로 "근육 기억"으로 지칭됨)은 (i) 인지 단계, (ⅱ) 연관 단계, 및 (ⅲ) 자율 단계를 포함하는 3개 단계로 일어난다. 인지 단계에서, 교육자-코치는 그럴듯한 시연으로 과제를 설명하고 기술하며, 학생은 그들의 제1 시도를 실행한다.
연관 단계에서, 학생은 코칭 또는 교사 개입의 정도를 감소시키면서 자세를 연습한다. 정신운동 학습에서 가장 긴 간격을 포함하는 연관 단계는, 초보 운동선수가 동작을 부정확하게 연습할 수 있는 위험이 있다. 즉. 문제가 신속하게 검출되고 정정되지 않으면 정정하기 어려울 수 있는 나쁜 습관을 학습할 위험이 있다. 자율 단계에서, 학생은 기술을 내재화하였고 무의식적으로 그 정신운동 과제를 수행할 수 있다. 그러나 연관 단계 동안 기술을 부정확하게 학습했다면, 자율 단계에서 취소 및 정정하는 것은 거의 불가능하다. 이 사실은 "오래된 개에게 새로운 트릭을 가르칠 수 없다"는 옛말에서 지지된다.
연관 단계 동안 학생이 나쁜 정신운동 행동을 발달시킬 위험을 감소시키기 위한 해결책은 가장 많이 필요할 때 평가 및 능동 피드백의 빈도를 증가시키는 것이다. 이러한 전제는 이론적으로는 흠이 없어 보이지만, 실용적으로 말하면 용이하게 하는 것은 거의 불가능하다. 예를 들어, 훈련 캠프 후 신입 풋볼 선수가 코치 플레이 및 전략적 "시스템"을 막 학습하고 그들이 학습한 것을 가장 잘 활용할 수 있을 때, 갑자기 프리시즌 게임들이 시작되고 코칭 스태프는 특정 선수의 요구에 집중할 시간이 없다. 기본적으로, 이 신입은 가장 많은 지도가 필요할 때 스스로 연습해야 한다.
타이밍은 학습 및 유지율에서 주요 인자이다. 교육 및 훈련에서의 연구는 학습 과정이 2개의 반대 메커니즘을 수반한다는 것을 보여준다 - "학습 곡선" 및 "망각 곡선". 망각은 교육이 정지하는 순간 시작된다. 예로서, 도 2는 58.2% 초기 유지율(11)로 시작하여 31일 후 21.1% 유지율(12)까지 감소하는 유지율에서의 지수적 감소(10)를 보여준다(http://www.elearningcouncil.com/learning-theory/overcomingebbinghaus-curve-how-soon-we-forget/). 에빙하우스(Ebbinghaus)에 의해 처음 제안된 간단한 지수적 감쇠 모델로서, 이 모델은 원래의 유지율(11)의 1/e 또는 대략 37% 크기를 나타내는 유지율 레벨(13)까지의 감쇠를 나타내는 단일 시간상수(τ)를 사용하여 망각을 특징짓는다. 도시된 예에서, 이 시간상수(τ)는 대략 7시간이고, 이 값은 초기 학습 및 유지율의 강도에 따라 변한다.
유지율은 도 3에 도시된 바와 같이 반복에 의해 향상될 수 있는데, 도 3에서 초기 망각곡선(16)은 100%의 초기 유지율(15)로부터 값(17)으로 감쇠한 후 '복습(refresher)'에 의해 기억(18)이 복구되어(https://twitter.com/davidwees/status/ 984131508058243072) 새로운 망각곡선(19)이 이어지며, 이후 망각곡선(20)이 반복된다. "연습 세션들" 사이의 기간이 길수록, 학생의 유지율은 망각 곡선을 따라 아래로 더 멀리 떨어져서, 이전에 힘들게 학습 곡선을 올려놓은 효과를 제거한다. 훈련 세션들이 강사 이용가능성 때문에 드물게 발생하는 경우, 능동적 학습 교육의 결과들은 수동적 학습보다 크게 우수하지 않다.
도 4는 교실 훈련(33) 및 코칭(30)에 의한 학습을 포함하는, 다양한 유형의 학습 유지율 곡선들 및 그들의 연관된 망각곡선을 예시한다(https://www.researchgate.net/publication/288000042_the_need_for_a_standardized_and_common_way_of_process_training). 도시된 예에서, 교실 학습(33)은 유지율(34)에 의해 도시된 더 높은 정도의 학습을 달성하였지만, 피크 유지율(31) 및 더 느린 망각곡선(35)을 초래하는 코칭(30)을 통한 학습보다 망각곡선(32)으로 도시된 더 빠른 감쇠를 경험했다. 코치들에 의해 사용된 하나의 공통 솔루션은 학습 과정의 일부로서 오디오-비디오 이미지들 및 e-훈련으로 그들의 개인 지도를 보충하는 것이다. 도시된 바와 같이, 피크 유지율(31)은 '36'으로 감쇠될 수 있고, 그 후 유지율(37)으로 상승될 수 있다. 전체 학습은 유지율(38)로 감쇠할 수 있지만 코칭만 하는 망각곡선(35)보다 훨씬 높게 유지된다.
학생들의 개인화된 훈련을 보충하기 위해 비디오를 시청하게 함으로써 가장 간단한 형태의 전자적 훈련이 수행된다. 이 방법은 TED 토크와 같은 시사적이고 개념적인 주제를 학습하는데 유용할 수 있지만, 상기 방법은 정신운동 학습에서 덜 유용하다. 톰 브래디(Tom Brady)가 패스하는 비디오, 타이거 우즈(Tiger Woods)가 티샷을 하는 비디오, 또는 비너스 윌리엄스(Venus Williams)가 테니스 공을 서브하는 비디오를 시청하는 것은 프로의 폼 또는 기술을 연구하는 것이 통찰력이 있을 수 있지만, 학생은 자신을 볼 수 없기 때문에 비디오를 시청하면서 그들의 움직임을 적절하게 연습할 수 없다. 이러한 경우들에, 훈련생은 비디오 시연을 시청하고 그들이 학습한 것을 연습하는 것을 교대로 해야 한다. 그러나 동시에 비교하는 능력이 없다면, 학생 또는 훈련생이 정신운동 기술을 부정확하게 학습할 수 있는 더 큰 위험이 있다.
비디오의 사용을 통해, 전문 운동선수의 움직임과 훈련생의 라이브 이미지의 나란한 이미지 비교가 2개의 비디오 이미지를 사용하여 함께 중첩될 수 있고, 표면적으로, 모션을 반복적으로 재생하면서 프로 운동선수 위에 또는 옆에 학생의 모션 이미지를 중첩시킴으로써 동시 시각화 수단을 용이하게 한다. A-B 비교를 위한 비디오 이미지 오버레이는 도 5에 도시된 흔히 이용 가능한 디스플레이 매체, 예를 들면 평판 TV 및 모니터(40), 가상현실(VR) 고글(41), 또는 헤드업 디스플레이(42)로서 프로젝션 또는 미러를 갖는 안경을 사용하여 디스플레이될 수 있다. 이 아이디어는 매력적인 것 같지만, 이들 비디오-기반 이미지 오버레이들은 무수한 이유들로 정신운동 훈련에서 잘 작동하지 않으며, 가장 중요한 것 중 하나는 두 사람의 신장이 일치할 가능성이 없어서, 의미 있는 또는 유용한 방식으로 이미지들을 오버레이하는 것을 어렵게 한다는 사실이다. 이러한 신장 불일치 문제는 도 6에 도시되어 있으며, 이 도면에서 170cm의 신장을 갖는 골퍼(50)는 201cm 신장의 제2 골퍼와 나란히 디스플레이된다. 도시된 바와 같이, 두 골퍼의 신장 차이는, 척추 길이(51, 61) 및 허리 높이(57, 67)을 포함하여 모든 주요 신체 특징이 그 길이가 다르기 때문에 유익한 비교를 어렵게 한다.
더욱이, 상이한 신장의 운동선수는 상이한 크기의 장비가 필요하다. 더 작은 골퍼(50)가 더 큰 골퍼(60)가 골프 클럽(62)으로 달성하는 각도(66)와 동일한 골프 클럽(52)과 지면(59) 사이의 원하는 각도(θ)를 유지하기 위해, 즉, 각도(56, 66)를 일치시키기 위해, 클럽(52)의 길이(55)가 클럽(62)의 길이(65)보다 짧아야 한다. 클럽(62, 52) 사이의 다른 차이점은 그립의 길이, 헤드의 형상, 및 클럽의 구성을 포함한다. 따라서, 2개의 이미지는 단순히 중첩될 수 없으며 치수가 크기 조정(scaling) 되어야 한다.
기준 비디오를 라이브 카메라 뷰에 일치시키기 위한 단순한 선형 크기 조정이 또한 문제가 될 수도 있다. 예를 들어, 도 7에서, 아마도 골프 토너먼트에서 일정 거리에서 찍은 프로 골퍼(71)의 비디오(70)는 라이브 골퍼에 대한 A-B 비교를 용이하게 하기 위해 더 큰 치수로 크기 조정되어야 한다. 그러나 원래 비디오의 이미지의 해상도가 불충분하면(더 오래된 비디오에서 흔함), 프로 골퍼(71)의 이미지를 더 큰 크기(72)로 크기 조정하는 것은 항상 이미지 '픽실레이션(pixilation)'을 야기하여, 공부에 쓸모없는 흐릿한 이미지를 초래할 것이다. 해상도 문제 외에, 원래의 기준 비디오 소스의 각도가 문제가 될 수도 있다. 도 8에 도시된 바와 같이, 비디오 카메라(76)의 시선(77)은 골퍼(75)의 배면의 이미지만을 캡처할 수 있다. 이러한 경우에, 훈련생은 스윙 전에 골퍼(75)가 무엇을 하고 있는지를 볼 수 없어, A-B 비디오 비교를 쓸모없게 만든다.
프로 골퍼의 기준 비디오가 적절한 카메라 각도를 이용하고 픽실레이션 없이 크기 조정하기에 해상도가 충분한 경우에도, 비디오 이미지 오버레이는 문제가 될 수 있다. A-B 이미지 비교에 의존하는 골프 스윙 훈련(http://oukas.info/?u=ben+hogans+golf+swing+secret)은 비슷한 신장의 골퍼들에 대해서도 서도 다른 신체 비율에 의해 악화할 수 있다. 예를 들어, 도 9는, 유사한 신장을 갖지만 상이한 신체 비율을 가진 두 골퍼, 골퍼 훈련생(80) 및 골퍼 기준(85)의 이미지를 도시한다. 예를 들어, 훈련생(88)은 약간 더 긴 몸통(81), 더 짧은 다리 길이(83), 및 더 낮은 허리(82)를 갖는 반면, 기준 골퍼(85)는 더 짧은 몸통(86), 더 긴 다리 길이(87), 및 더 높은 허리(88)를 갖는다. 상이한 비율 때문에, 기준 골퍼(85)의 신장이 훈련생(80)과 완벽하게 일치되도록 선형적으로 크기 조정되더라도, 능동 학습을 위한 의미 있는 시각적 오버레이는 달성하기 어렵다. 선형 크기 조정(linear scaling)은 모든 치수가 원래의 치수로부터 동일한 비율로 크기 조정되는 것을 의미한다. 예를 들어, 10% 선형 수축은 이미지 높이가 몸통, 팔, 다리 등의 길이와 같이 원래의 것의 90%로 크기 조정되는 것을 의미한다.
그러나 선형 이미지 크기 조정은 인간의 신체 및 부속물의 길이가 그들의 신장에 비례한다고 가정한다. 도 10은 그러나 이러한 단순화 가정이 정확하지 않다는 것을 예시한다. 신장이 작아지는 순서로 실루엣 90a부터 90f까지 단조롭게 순위가 부여된 신체 실루엣들의 샘플은 선들(91a, 91e 및 91f)로 예시된, 인간 종들에 걸쳐 존재하는 다양한 범위의 신장을 보여준다. 예를 들어, 실루엣(90e)의 머리의 최상부에 대응하는 높이(91e)는 실루엣(90c, 90d)의 두개골 부분과 교차하면서 실루엣(90a, 90b)의 목 부분과 교차한다. 가장 짧은 실루엣(90f)의 머리의 최상부에 대응하는 높이(91f)는 실루엣(90d)의 어깨를 간신히 커버하고 실루엣(90b, 90c, 90d)의 몸통에만 도달한다. 따라서, 실루엣(90a)의 신체 구조를 갖는 골퍼의 모션을 실루엣(90f)의 모션과 비교하는 쉬운 방법이 없다. 또한, 사람의 흉부(트렁크), 팔, 및 다리의 길이는 반드시 그들의 신장에 비례하여 크기 조정되는 것은 아니다.
골프에서 하나의 중요한 자질은 골프 스윙 동안 척추의 회전이다. 흉추로 알려진 척추의 상부 12개의 척추골이 40°만큼 비틀릴 수 있지만, 척추의 하위 부분, 즉 척추의 하부 S1 내지 S5 척추골에 대응하는 골반 및 천골의 최상부에 부착된 요추는 과다-연장의 위험 없이 단지 약 12° 회전할 수 있다(https://experiencelife.com/article/expert-ansres-on-spine-rotation/). 척추의 이러한 비가요성 부분은 척추의 비틀림 능력을 제한하기 때문에, 지면으로부터 요추의 높이는 개인의 골프 스윙을 결정하고 제한하는데 중요한 인자이다. 이러한 고려사항은 키 큰 골퍼를 기준으로 사용하여 키 작은 골퍼를 훈련하도록 잘못 권고될 수 있다는 것을 의미한다. 사람의 다리 및 엉덩이 길이의 간접적인 측정으로서, 요추의 높이는 반드시 운동선수의 신장에 비례하여 변하지는 않는다. 예를 들어, 실루엣(90b)의 요추 높이(92b)는 그들의 대응하는 신장 차이에도 불구하고 실루엣(90a)과 매우 유사하다. 유사하게, 실루엣(90e)의 요추 높이(92e)는 그들의 신장 차이에도 불구하고 실루엣(90c, 90d)과 유사하다. 실루엣(90f)의 요추 높이(92f)는 도시된 다른 실루엣들 대부분의 다리 길이보다 짧다.
다른 고려사항은 골퍼의 손과 지면 사이의 거리이다. 이 높이는 그들의 스윙에 영향을 미치고 또한 그들의 적절한 골프 클럽 선택에 영향을 미친다. 예를 들어, 손(93a)의 높이(94a)는 실루엣(90a)의 엉덩이에 대응하고, 손(93e)의 높이(94e)는 실루엣(90f)의 엉덩이 위에 있는 반면, 손(93f)의 높이(94f)는 실루엣(90f) 엉덩이 아래에 있다. 따라서, 사람의 팔, 다리, 흉부, 또는 신장의 길이에 대한 미리 정의된 가정이 없을 수 있으며, 이는 기준 이미지의 위에 라이브 이미지를 중첩하는 동시 시각화를 달성하기 위해 선형 이미지 크기 조정이 사용될 수 없다는 것을 의미한다.
테니스 서브나, 야구공을 던지거나, 골프공을 치는 데 운동선수들에 의해 요구되는 복잡한 모션들은 비디오 이미지 오버레이를 크기 조정하는 문제를 더 악화시킨다. 도 11의 이미지(98a 내지 98f)에 도시된 골프 드라이브는, 클럽을 정렬하고(98a); 백스윙을 시작하고(98b); 머리 뒤로 클럽을 완전히 펼치고(98c); 다운스윙을 시작하고(98d); 다운스잉의 바닥에서 접촉에 접근하고(98e); 볼을 타격하고(98f); 및 클럽 모멘텀에 의해 운반된 스윙을 편안하게 완료하는(98g) 것을 포함하는 복잡한 모션을 도시한다. 전술한 크기 조정 문제 외에, 이러한 복잡한 모션은 특히 비디오 루프에 동기화되어 모방하기 매우 어렵다.
도 12는 곡선들(101b, 102b, 103b, 104b)에 각각 대응하는 골퍼의 골반(101a), 흉부(102a), 팔(103a) 및 클럽(104a)의 회전 속도(°/s로 표시됨)를 추적함으로써 골퍼(100)의 묘사된 골프 스윙의 모션을 순서대로 그래픽으로 도시한다. 그래프에서, 백스윙 모션은 음수로서 표현되고, 양수는 다운스윙을 표현한다. 시간으로 도시된 0의 회전 속도(105)는 도 11의 위치(98c)로 도시된 위치인, 다운스윙을 시작하기 바로 전의 백스윙의 최대 높이 연장에 대응한다. 이 분석은 백스윙에서의 가속에 이어서 시간(105)에서 방향이 변경되는 짧은 순간 다음에 빠른 전방 가속을 보여준다.
특히 비디오가 무한으로 반복될 때, 골퍼가 기준 비디오의 프로 골퍼의 스윙에 일치시키려고 시도하는 도전은 복잡하다. 이 문제는 훈련생이 모방하고 싶은 기준 스윙에 대해 이른 스윙 및 늦은 스윙을 비교하는 도 13의 그래프에 의해 예시된다. 이른 스윙에서, 훈련생이 비디오 골퍼가 시작하기 전에 스윙을 시작하여 시간(106a)에 도시된 백스트로크의 최대 범위에 도달한 후, 기준 비디오 골퍼가 시간(105)에서 스윙의 동일한 지점에 도달한다. 훈련생이 시간(106a)에서 잠재적으로 부상을 야기하는 동작인 그의 스윙을 중단하지 않는 한, 훈련생의 다운스윙은 기준 다운스윙(104b) 이전에 시작할 것이며 비디오보다 앞에서 완료하고 비교를 쓸모없게 한다. 도시된 늦은 스윙 예의 경우에, 훈련생은 기준 스윙에 상대적으로 동기화되어 그들의 백스윙을 수행하지만, 시간(107a)에서 다운스윙을 시작하는데 더 오래 걸리고 기준 스윙(104b) 이후까지 피크 양의 가속도(107b)에 도달하지 않는다. 스윙이 늦게 종료되기 때문에, 골퍼가 비디오 루프에서 다음 연습 스윙을 놓칠 가능성도 있으며, 이는 훈련생이 아직 지난 스윙을 완료하고 있는 동안 비디오가 다음 루프를 시작할 것이기 때문이다. 요컨대, 훈련생을 정적 비디오 루프에 자연적으로 동기화할 방법이 없다.
정신운동 훈련을 위한 시각적 오버레이들에서의 또 다른 문제들은 비디오 콘텐츠와 실제 이미지를 오버레이하는 수단에서 발생한다. 도 14에 도시된 바와 같이, 훈련생(110a) 및 기준 비디오(110b)의 원시 비디오 이미지들은 스크린 상에 또는 VR 고글 내에 나란히 디스플레이된다. 기준 비디오에서 나무들의 색상, 크기, 위치, 골퍼의 자세의 각도는 모두 라이브 비디오 스트림과 다르기 때문에, 훈련생이 이미지들을 자연적으로 인지하거나 동작들을 비교할 방법이 실제로 없다. 본질적으로, 이 방법은 2개의 상이하지만 유사한 영화들을 동시에 시청하는 것과 같다. 이러한 A-B 비디오 이미지 오버레이 시각화 방법의 유일한 결과는 골퍼가 두통을 느끼는 것일 것이다. 이러한 접근법이 갖는 문제점은, 두 이미지 모두 골퍼가 관심없는 정보(나무들과 같이)를 보여주지만, 이미지들을 어지럽게 하여 선명한 시각과 훈련생이 보기를 원하는 중요 정보(즉, 비교를 통한 신체 움직임)를 모호하게 하는 것이다.
골퍼의 배경에 대해 골퍼를 강조하기 위해 광학 처리를 사용하는 것도 실제로 도움을 주지 않는다. 예를 들어, 이미지 콘트라스트를 개선하기 위한 시도에서, 처리된 이미지(111a)는 에지 검출을 위한 수학적 연산을 수행한 후 원시 이미지(110a)의 콘텐츠를 포함한다. 상기 과정이 골퍼의 부분들을 인지하지만, 목(113a)의 부분이 골프 코스 나무들의 이미지로 병합되고, 선(112a)과 같은 클럽 각도를 나타내는데 사용되는 표시자 선(indicator line)도 배경 이미지에서 손실되고, 다리(114a)의 일부는 모두 손실된다(임의의 에지 검출이 없는 부분을 명확하게 하기 위해 점선이 추가됨). 비디오가 더욱 나빠질 수 있다는 점을 제외하고는, 원시 기준 비디오(110b)로부터 처리된 에지 검출 이미지(111b)에 대해서도 동일한 문제가 발생한다. 연애 비디오에서와 같이 골퍼의 등(113b) 및 표시자 선(112b)의 일부가 배경 풍경으로 합쳐지고, 다리(114a)의 일부가 누락되고, 심지어 골프 클럽(112c)의 일부도 사라진다.
고스트 비디오 이미지 오버레이, 즉 도 15의 이미지(120)에 도시된 바와 같이 병합된 이미지 배경 상에 중첩된 2명의 골퍼들(121a 및 121b)의 투명 복제를 사용하는 것은, (i) 골퍼들을 시인하기 더 어렵게 하고, (ⅱ) 배경들이 함께 병합되어 이미지 콘트라스트를 더 감소시키는 점에서 문제를 더 악화시킬 뿐이다. 처리된 이미지(122)를 생성하기 위해 에지 검출을 적용하는 것은 완전히 실패하여, 골퍼의 등(123a), 머리(124b), 다리(125a), 팔(126b), 및 심지어 클럽(127a, 127b)의 부분들을 식별할 수 없다. 이와 같이, 에지 검출은 고스트 비디오 이미지 오버레이들을 처리하는데 쓸모없다.
요약하면, A-B 이미지 오버레이는 다음을 포함하는 다양한 정정 불가능한 조건에서 정신운동 학습에 유용하지 않다:
Figure 112021103950825-pct00001
학생의 신체 크기는 전문가의 크기와 일치하지 않는다. 예를 들어, 한 사람은 키가 더 크거나, 체격이 더 크거나 등등;
Figure 112021103950825-pct00002
전문가의 이용 가능한 비디오들은 불량 해상도에 제한될 수 있고 먼 거리에서 촬영될 수 있다. 즉, 더 큰 크기로 크기 조정될 수 없는 작은 이미지 크기를 포함한다;
Figure 112021103950825-pct00003
전문가의 이용 가능한 비디오들은 훈련에 이용 가능한 정면 모션 이미지들을 생성할 수 없는 각도에서 촬영될 수 있다;
Figure 112021103950825-pct00004
전문가의 신체적 특징은 학생과 비교하여 불균형적이어서, 신장이 조정되더라도, 다리, 팔 또는 몸통은 학생과 일치하지 않는다. 즉, 이미지가 비례적으로 크기 조정되지 않는다.
Figure 112021103950825-pct00005
비디오를 사용하는 시각적 오버레이는 전문가와 학생의 모션 이미지를 동기화할 수 있는 능력이 부족하여, 불편할 정도로 학생이 속도 및 반복률에서 비디오를 모방하게 한다.
Figure 112021103950825-pct00006
비디오는 전문가의 모션과 학생 시도의 측정항목(metrics)이 부족하고, 이 둘을 정량적으로 비교하는 수단을 제공하지 않는다.
전술한 제한들의 영향은 비디오 기반 시각적 오버레이들이 정신운동 학습에서 제한된 유용성을 갖는다는 것이다. 비디오 게임들(즉, 증강 현실)로부터 개조된 헤드업 디스플레이들 및 증강 현실 안경의 사용은 소스 자료, 즉 프로 및 전문가의 비디오가 형태와 기능 둘 다에서 정신운동 학습에 적합하지 않다는 사실을 정정하지 않는다.
학생의 정신운동 훈련 진행에 관한 정보를 모으기 위한 다른 시도는 복장 또는 조끼에 내장된 센서의 사용을 수반하였다. 센서들은 간단한 모션 추적을 위한 힘(가속) 측정을 위해 사용될 수 있다. 영화 제작으로부터 적응된 혁신인 모션 추적은 영화 반지의 제왕에서 골룸(Gollum)과 같은 인간이 아닌 캐릭터들의 움직임을 보다 현실적으로 모방하기 위해 광범위하게 사용되어 왔다. 모션 추적 복장들은 폐쇄된 영화 세트의 통제된 환경 내에서 영화 제작에 적합할 수 있지만, 이러한 방법들을 야외 스포츠 및 경쟁적 운동에 적응시키는 것은 비용, 복잡성, 내구성(파손), 및 불편함을 포함하는 많은 이유로 인해 여전히 문제가 있다. 더욱이, 복장은 골퍼의 스윙, 투수의 투구, 및 러닝백(running back)의 이동성 등에 영향을 미치는 운동선수의 동작 범위를 제한한다. 광고에 불구하고, 웨어러블 전자기기는 상업적으로 성공하지 못했다. 웨어러블 전자기기는 세척하고 위생적으로 유지하기 어려울 뿐만 아니라, 기기들의 필드 고장율(field failure rate)은 강체 용기 전자기기보다 훨씬 더 높다.
정신운동 훈련을 위한 능동 피드백 데이터를 얻기 위한 다른 방법은 스포츠 장치에 센서를 설치하는 것을 포함한다. 예를 들어, 무선 송신기 및 센서를 골프공, 야구공, 축구공 등에, 또는 골프 클럽, 야구 배트, 크리켓 라켓, 하키 스틱 등에, 또는 아이스 스케이트, 스키, 돛 등에 센서를 배치하는 것이다. 이러한 전략은 또한 많은 문제를 일으킨다. 예를 들어, 센서를 공에 추가하는 것은 공의 궤적을 변경할 수 있다. 센서가 없는 볼로 게임을 수행하면서 센서 볼을 사용하는 훈련은 실제 경기에서 운동선수의 퍼포먼스(performance)에 부정적으로 영향을 줄 수 있다. 또한, 어떤 스포츠 팀이 공 또는 클럽에 센서의 사용을 허용하는 아이디어를 수용할 것인지도 분명하지 않다. 팀들이 이 아이디어를 좋아하더라도, 센서의 사용이 대회 규정들을 위반하는지 여부는 여전히 분명하지 않다. 학교 및 프로 스포츠 경기에서의 능동 센서의 사용은 또한 데이터 해킹의 가능성을 제공한다. 이러한 시나리오에서, 해킹된 센서 데이터는 공식 판결에 도전하거나, 게임의 승자에 의심을 품거나, 또는 소송으로 이끌기 위해 사용될 수도 있다. 해킹된 센서 데이터는 또한 적법 및 불법 스포츠 북(sport books)에서 도박에 영향을 미치기 위해 사용될 수도 있다.
요약하면, 정신운동 훈련 및 학습을 개선하는데 매우 적합한 현재 이용 가능한 기술은 없다. 필요한 것은 개인 코치, 트레이너, 강사의 필요 없이, 또는 어떤 복잡하고 고가이거나 침습적인 장치 또는 센서의 필요 없이 정신운동 학습을 사용하여 새로운 기술을 학습하거나 자율적으로 자신의 퍼포먼스를 향상시키기 위해 노력하는 학생 또는 운동선수에게 능동 피드백을 제공하는 편리하고 효과적인 수단이다.
요약하면, 인공 지능(AI) 엔진 또는 이미지 프로세서에 의해 실현되는 증강된 인지 방법을 사용하여 정신운동 학습을 향상시키기 위한 크기 조정 가능한(scalable) 동적 연결된 골격(DJS: dynamic jointed skeleton) 모델을 생성하는 신규한 방법이 설명된다. 이 방법은 운동선수, 교사, 또는 전문가의 비디오 파일의 라이브 모션 이미지로부터 DJS 모델을 추출하여 훈련에 사용하기 위한 크기 조정 가능한 기준 모델을 생성하는 것을 포함하며, 이에 의해 AI 엔진은 팔 길이, 길이, 몸통 길이를 포함하는 주체의 물리적 속성을 추출할 뿐만 아니라 위치, 자세, 클럽 위치, 스윙 속도 및 가속도, 비틀기 등을 포함하는 골프 클럽을 스윙하는 것과 같은 운동 스킬의 연속적인 움직임을 캡처한다. 연습 중에, 훈련 중인 학생 또는 운동선수의 라이브 이미지가 비디오 카메라 또는 스마트폰에 의해 캡처되고, 인공 지능(AI) 엔진에 의해 처리되고, 라이브 선수의 이미지의 크기 및 형상, 즉 물리적 속성에 일치하도록 DJS 모델을 크기 조정하는데 필요한 모델 파라미터를 추출하기 위해 분석된다.
DJS 모델은 그 후 크기가 조정되고 라이브 운동선수의 실시간 비디오 이미지 상에 오버레이된 프레임 단위로 영화처럼 동적으로 재생된다. DJS 모델 재생과 운동선수의 라이브 카메라 이미지의 복합 이미지는 유선 또는 무선 링크를 통해 연결된 헤드업 디스플레이, 서있는 스크린, 증강 현실 안경 또는 다른 시각 장치 상에 오버레이되고 디스플레이되어, 학생이 기준 모델의 동작과 비교하여 자신의 모션을 관찰할 수 있게 하고, 실시간 시각 피드백을 제공함으로써, 특히 반복된 시도를 포함하는 연습 동안 학습을 가속화한다. 향상된 실시간 퍼포먼스를 위해, 디스플레이를 위해 전송된 운동선수의 라이브 이미지는 저해상도 이미지 또는 심지어 불빛(glow) 또는 실루엣을 포함할 수 있는 한편, DJS 모델의 골격은 백색 또는 수축 컬러 이미지를 포함할 수 있다. 필터링되지 않은 고해상도 카메라 데이터는 나중에 더 상세한 분석을 위해 데이터베이스에 보유죄고 업로드될 수 있다.
반복된 순환(loop) 훈련에서, DJS 모델은 동작을 시작하는, 예를 들어, 백스윙을 시작하는 운동선수에 의해 트리거될 때 각각의 재생 사이클로 반복적으로 순환될 수 있다. 불연속 동작들에 대한 동기화를 위해 사용되는 다른 실시형태에서, DJS 모델 재생은 둘 이상의 이벤트에 의해 트리거될 수 있는데, 예를 들어 골퍼의 백스윙의 시작에 대응하는 제1 재생 시퀀스를 개시하고, 불확정 기간 동안 스윙의 최상부에서 재생을 중지하고, 그 후 다운스잉의 시작에서 시작하는 드라이브의 제2 DJS 재생 시퀀스를 트리거한다.
학생이 정신운동 훈련 시스템으로부터 학습하는 동안 AI 엔진이 학생에 대해 학습하는 향상된 인지의 방법을 사용하면, AI 엔진은 초기에 학생의 움직임에 더 근접하게 일치하도록 적응한 다음 기준 DJS 모델의 스윙 재생으로 점진적으로 변화하여 전문가의 스트로크를 더 정확하게 반영할 수 있다. 스윙의 동적 조정에 더하여, DJS 모델은 또한 라이브 이미지 소스의 카메라 각도에 근접하게 일치되도록 360°의 범위에서 회전될 수 있다. 다른 실시형태에서, 라이브 이미지는 다수의 카메라들로부터의 비디오 이미지들을 포함할 수 있다. 또한, L1DAR 또는 초음파를 사용하는 공 발사 모니터를 포함하는 비디오 카메라 이외의 소스로부터, 또는 공 위치, 클럽 속도, 및 틸트(토크)를 검출하는 센서로부터 다른 정보가 수집될 수도 있다. 이 정보는 DJS 모델 재생의 교육적 가치를 개선하고, 각도에 안 맞게 공을 치는(예를 들어, 한쪽으로 깍듯이 침) 것과 같은 체계적인 오류를 보상하기 위해 사용될 수 있다.
다른 실시형태에서, 스윙 역학 및/또는 공 궤적은 운동선수의 퍼포먼스를 평가하거나, 공이 코스에서 착륙할 곳을 프로젝트를 추정하거나, 게임 또는 토너먼트에서 전문가 또는 다른 골퍼들과 비교하여 채점하기 위해 사용될 수 있다. 상기 퍼포먼스 기준은 또한 게임화(gamification) 또는 도박 애플리케이션에서 또는 참여하는 골프 코스 또는 선수 리그에서 교환 가능한 크레딧 또는 토큰을 얻는 데 사용될 수 있다.
정신운동 학습을 위한 증강된 인지의 동일한 방법은 테니스 또는 야구와 같은 다른 스포츠에 적용될 수 있거나, 또는 수술과 같은 기술적 운동 스킬에서 학생을 훈련시키는데, 척추지압 방법, 제품 조립 또는 심지어 엔진 수리에서도 사용될 수 있다.
도 1은 학습 유지율 피라미드의 다이어그램이다.
도 2는 에빙하우스 망각 곡선의 그래프를 도시한다.
도 3은 반복 학습이 있는 에빙하우스의 망각 곡선의 그래프를 도시한다.
도 4는 다양한 학습 및 망각 곡선의 그래프를 도시한다.l
도 5는 시각적 디스플레이 장치의 예이다.
도 6은 상이한 신장의 골퍼들의 비교를 도시한다.
도 7은 이미지 크기조정으로부터 발생하는 픽실레이션을 도시한다.
도 8은 나쁜 각도의 기준 이미지 캡처를 도시한다.
도 9는 두 명의 유사한 크기의 골퍼의 비교를 도시한다.
도 10은 높이 및 비율에서 다양한 신체 유형의 비교를 도시한다.
도 11은 단계적 골프 스윙을 도시한다.
도 12는 골프 스윙의 회전 속도의 그래프이다.
도 13은 다양한 골프 스윙의 회전 속도의 그래프이다.
도 14는 원시 이미지 및 에지 검출을 포함하는 나란한 A-B 비디오 이미지 오버레이를 도시한다.
도 15는 원시 이미지들 및 에지 검출을 포함하는 A-B 고스트 이미지 비디오 오버레이를 도시한다.
도 16은 증강된 인지를 포함하는 수정된 학습 유지율 피라미드의 다이어그램이다.
도 17은 이미지 캡처 시퀀스 및 모델 추출의 흐름도이다.
도 18은 비디오 이미지로부터 불필요한 콘텐츠를 제거하기 위해 사용되는 필터링을 도시한다.
도 19는 인간의 DJS 모델 추출을 도시한다.
도 20은 인간 모션 모델링에 유용한 대안적인 DJS 모델들을 도시한다.
도 21은 보행을 모방하는 단순한 연결된 골격 모델의 시연을 도시한다.
도 22a는 골프 스윙의 비디오 캡처를 동적 연결된 골격 시퀀스로의 변환을 도시한다.
도 22b는 매끄러운 연속-모션 스윙에 대한 골프 클럽 속도의 그래프이다.
도 22c는 백스윙과 다운스윙 사이에 가변 지연을 갖는 불연속-모션 스윙에 대한 골프 클럽 속도의 그래프이다.
도 23은 간결한 동적 모델을 생성하기 위한 DJS 모델 파라미터의 추출을 도시한다.
도 24는 측정된 데이터에 대한 다양한 수학적 모델의 곡선 맞춤을 도시한다.
도 25는 추출된 DJS 모델, 코스 맵, 및 파일 데이터와 함께 기준 비디오를 포함하는 파일 생성을 도시한다.
도 26는 회전 및 프레임 보간을 포함하는 AI 기반 모델 시각화 UX를 도시한다.
도 27은 연결된 골격 모델의 회전을 도시한다.
도 28은 지형 데이터를 포함하는 DJS 모델의 시뮬레이션을 도시한다.
도 29는 DJS 모델 유도된 궤적 애니메이션을 도시한다.
도 30은 이미지 DJS 오버레이 및 증강된 인지 시스템 및 과정의 블록도.
도 31은 라이브 비디오 및 발사 센서 데이터를 결합하는 데이터 획득 및 채점의 블록도이다.
도 32는 DJS 모델 유도 궤적 시뮬레이션에 기초한 공 낙하 위치 및 채점을 도시한다.
도 33은 결합된 비디오 및 초음파 발사 센서 데이터 캡처를 도시한다.
도 34는 비디오 및 초음파 발사 센서 데이터로부터 토크 데이터 추출을 도시한다.
도 35는 MEMs 센서 위치, 속도 및 토크 데이터 추출을 도시한다.
도 36은 골프공 드라이브 위치 및 속도 MEMs 센서 데이터를 도시한다.
도 37a는 공 센서 데이터 획득을 도시한다.
도 37b는 클럽 센서 데이터 획득을 도시한다.
도 38a는 실시간 DJS 오버레이의 그래픽 구성요소를 도시한다(정면도).
도 38b는 실시간 DJS 오버레이의 그래픽 구성요소를 도시한다(배면도).
도 38c는 비례 및 그래픽 에지 방법을 사용하여 DJS 모델의 그래픽 구성요소를 상이한 크기로 크기조정하는 것을 도시한다.
도 39는 골프 코스에서의 이미지 캡처 및 DJS 스크린 디스플레이를 도시한다.
도 40은 고해상도 비디오의 DJS 모델, 저해상도 비디오, 및 실루엣 비디오로의 AI-기반 분리를 도시한다.
도 41은 실루엣 비디오와 전문가 DJS 모델의 오버레이 비교를 도시한다.
용어정의
AR 안경: 보통 안경처럼 착용되고 사용자의 시야에서 가상 정보를 물리적 정보와 병합하는 웨어러블 증강 현실(AR: Augmented Reality) 장치. 스마트 안경으로도 알려진 AR 안경은 보통 전통적인 안경처럼 착용되거나 보통의 안경에 장착된다.
인공 지능(AI: Artificial Intelligence): 컴퓨터에서 지능적 행동의 시뮬레이션을 다루는 컴퓨터 과학의 분야, 또는 지능적 인간 행동을 모방하는 기계의 능력. 튜링 시험은 AI의 성공적인 실현을 측정하는 하나의 방법이다.
증강된 인지(Augmented Cognition): 사용자와 컴퓨터 사이의 긴밀한 결합이 사용자의 인지 상태의 생리학적 및 신경생리학적 감지를 통해 또는 시청각 감지 및 피드백을 통해 달성되는 인간-시스템 상호작용의 형태.
증강 현실(AR: Augmented Reality): 컴퓨터-생성된 이미지를 실세계의 사용자의 뷰에 중첩시켜, 복합적인 뷰를 제공하는 기술.
인지(Cognition): 생각, 경험 및 감각을 통해 지식 및 이해를 획득하는 정신 행동 또는 과정. 인지는 뇌에서 생물학적으로 달성될 수 있거나 인공 지능을 통해 모방될 수 있다.
동시 피드백(contemporaneous feedback): 모니터링 또는 측정되는 동작 또는 이벤트로부터 실시간으로 즉 최소 지연을 가지고 발생하는 전기적, 시각적, 청각적, 또는 다른 감각 메커니즘들을 포함하는 정보 피드백.
헤드업 디스플레이( HUD : Heads-up display): 사용자가 자신이 자연적으로 보고 있는 곳으로부터 시선을 이동시킬 것을 요구하지 않는 투명하거나 소형화된 디스플레이 기술. HUD는 사용자의 시야를 방해하지 않아야 한다. 전부가 아닌 일부 AR 안경은 HUD로 간주될 수 있다.
이미지 캡처(Image Capture): 카메라 또는 카메라 폰과 같은 시각 센서로부터 디지털 이미지를 획득하는 과정. 일반적으로, 이것은 일련의 비디오 프레임들을 캡처하고, 이미지의 아날로그 값들(그레이 스케일)을 디지털로 변환하고, 파일들을 컴퓨터 메모리로 또는 통신 네트워크를 통해 전송하는 프레임 그래버(frame grabber)로 알려진 하드웨어 인터페이스를 수반한다. 변환 과정은 종종 이미지 압축을 수반한다.
이미지 오버레이(Image Overlay): 다수의 이미지들을 비디오 스크린 상에, 또는 VR 헤드셋 또는 AR 안경을 통해 디스플레이되는 공통 그래픽 표현으로 결합하는 일종의 과정 또는 기술. 동적 이미지 오버레이는 고속 또는 실시간 재생을 위해 프레임 단위로 이미지 오버레이를 수행한다.
운동감각(Kinesthesia): 생물학에서, 근육, 힘줄 및 관절에 위치하고 신체 운동 및 긴장에 의해 자극되는 수용체에 의해 매개된 감각, 또는 로봇공학에서 기계적 부속물 또는 보철물의 운동을 제어하기 위한 감각 데이터의 적용. 또한, 근육 운동 지각 또는 운동감각 제어로도 알려짐. 운동감각 기반 학습은 또한 정신운동 학습으로 지칭된다.
레이턴시 (Latency): 컴퓨터 및 통신 네트워크에서, 데이터의 전송 명령 후 전송의 시작 전 시간 지연의 양. 불연속 또는 산발적 과정에서, 레이턴시는 시동 지연으로 간주될 수 있다.
학습(learning): 경험, 연구, 교육, 및 훈련을 통한 지식 또는 기술의 획득.
기계 학습(Machine Learning): 명시적으로 프로그래밍되지 않고 경험으로부터 자동으로 학습하고 개선하는 능력을 시스템에 제공하는 인공 지능(AI)의 응용.
모델 파라미터(Model Parameters): 수학적 모델을 측정된 데이터에 일치시키고 행동, 자극-반응 패턴, 및 운동감각을 예측하기 위해 사용되는 변수.
근육 기억(Muscle Memory): 운동선수 또는 학생이 그들의 학습된 행동을 의식적으로 인지하지 않고 운동 또는 기술을 일관되게 반복할 수 있는 정신운동 기술의 학습 및 반복된 강화. 반복 연습 및 정신운동 학습, 체조선수, 드럼 연주자, 골퍼 및 야구 투수 및 타자는 근육 기억을 보여준다.
전파 지연(Propagation Delay): 컴퓨터 및 통신 네트워크에서, 신호가 소스 또는 송신자로부터 수신자로 이동하는데 걸리는 시간의 양. 이는 링크 길이와 특정 매체에 대한 전파 속도 사이의 비율로서 계산될 수 있다. 전파 지연은 통신 링크 또는 네트워크를 통한 데이터 패킷의 전송 시간으로 간주될 수 있으며 일반적으로 레이턴시를 포함하지 않는다.
정신운동 제어(Psychomotor Control): 근육 및 운동의 폐쇄 루프 제어로서, 구심성 신경이 골격근 운동, 위치, 또는 힘을 검출하고, 말초 신경계(PNS) 및 중추 신경계(CNS)를 통한 신경 전달을 통해 뇌에 근육 작용을 알리며, 뇌는 운동을 조정하기 위해 동일한 근육 조직상의 상응하는 구심성의 신경에 지시를 전송함으로써 자극에 인지적으로 반응한다.
정신운동 학습(Psychomotor Learning): 운동 활동에 사용되거나 도구 또는 기구의 작동에 필요한 운동, 조정, 조작, 재주, 우아함, 강도, 및 속도와 같은 운동 기술을 개발하는데 수반되는 학습의 과정.
튜링 시험(Turing Test): 컴퓨터가 인간과 같이 생각할 수 있는지 여부를 결정하기 위한 인공 지능(AI)에서의 질의 방법. 튜링은 컴퓨터가 특정 조건에서 인간 반응을 모방할 수 있다면 인공 지능을 소유한다고 제안한다.
가상현실(VR: Virtual Reality): 특수 전자 장비, 예컨대 내부에 스크린을 갖는 헬멧 또는 센서들이 장착된 장갑을 사용하는 사람에 의해 외관상 실제 또는 물리적 방식으로 상호작용될 수 있는 3차원 이미지 또는 환경의 컴퓨터-생성된 시뮬레이션. 또한, "인공 현실"로도 지칭된다.
VR 헤드셋: 몰입형 3D 경험을 위해 눈을 완전히 덮는 머리에 착용하는 장치. VR 헤드셋은 또 가상현실 안경 또는 고글로 지칭된다.
학생 또는 훈련생의 크기 및 비율을 기준 또는 전문가의 움직임 또는 타이밍에 일치시키는 비디오 이미지 오버레이들을 생성하는 데 있어서 무수한 문제들이 주어지면, 크기 조정되거나 조정되지 않은 비디오 이미지들의 적용은 정신운동 학습에 적용가능하지 않거나 유용하지 않다. 더욱이, 그러한 비디오 콘텐츠는 훈련생이 강사, 기준, 또는 코치 동작들의 움직임들을 명확하게 관찰하기 위한 콘트라스트 또는 카메라 각도가 부족하다. 기록된 비디오는, 사실상, 중요한 콘텐츠를 불분명하게 하고 이미지 향상 기술의 사용을 방해하는 나무, 풍경, 군중, 날씨 및 다른 인공물과 같은 불필요한 이미지를 포함한다.
본 명세서에 기술된 바와 같이, 본 발명자들은 AI-기반 증강된 인지 기술에 의해 향상된 동적 연결된 골격(DJS: dynamic jointed skeleton) 모션 모델링 및 미러링의 적용을 통해 정신운동 학습을 위한 동시 피드백을 달성하기 위한 진보된 방법 및 장치를 제안하며, 본 방법은 훈련 절차를 사용자의 학습에 적응시키기 위해 사용된다. 도 16을 참조하면, 수정된 유지율 피라미드(190)에 의해 도시된 바와 같이, 동시적 정신운동 학습의 가능성은 학습 유지율을 개선하면서 새로운 기술의 획득을 가속화한다. 훈련 과정 효율을 개선하는 것이 인공 지능 및 기계 학습에 의해 가능할 때, 정신운동 학습을 위한 동시 피드백은 최상부 피라미드 부분(191)에 의해 예시된 바와 같이, 85% 내지 90%를 초과하는 유지율의 개선 가능성을 제공한다. 이러한 의미에서, 학생이 시스템으로부터 학습함에 따라, 시스템은 적응하고, 학생의 행동을 학습하고 그에 대해 훈련 과정을 적응시킨다. 예를 들어, 골퍼가 다른 골퍼보다 스윙의 최상부에서, 즉 클럽이 머리 위에 있는 상태에서, 더 긴 기간을 소비하면, 시스템은 그들의 행동을 알아차리고 다운스윙 시연을 매우 신속하게 개시하지 않을 것이다. 이러한 방식으로, 골퍼는 정신운동 학습에 필요한 유익한 훈련 이미지로 조급함이나 불편함을 느끼지 않는다.
증강된 인지를 통한 정신운동 학습을 위한 동시 피드백의 방법은 2개의 기본적인 단계를 수반한다. 본 명세서에서 "이미지 캡처 및 모델 추출"로 지칭되는 제1 단계에서, 일반적으로 전문가 또는 코치(coach)의 비디오인 기준 콘텐츠가 행동 모델로 변환되고 추후에 또는 가능하게는 동시 사용을 위해 모델 라이브러리에 저장된다. 이 과정 동안, 전문가 또는 코치의 기준 비디오는 인공지능(AI) 엔진에 의해 동적 연결된 골격(DJS: dynamic jointed skeleton) 모델- 강사의 동작들 및 모션들의 필수적인 요소들을 기술하는 이미지들의 시퀀스를 생성할 수 있는 물리적 및 행동 적 모델 -로 변환된다. 충분한 정보가 없는 경우, AI 엔진은 그 입력, 일반적으로 비디오 콘텐츠의 품질이 주어지면 그 능력의 최선의 모델을 추출한다. 이전 모델 추출들의 라이브러리에 대한 액세스로, AI 엔진은 기계 학습(ML)을 사용하는 모델 추출 알고리즘들을 적응시켜 시간에 따른 모델의 효율성 및 정확도를 개선한다.
물리학-기반 모델들 및 장비 사양 라이브러리들의 추가는 추출 과정에서 사용되는 AI의 지능을 더 개선한다. 결과적인 모델은 학생의 크기 및 비율에 일치하도록 확장 가능한 전문가 또는 강사의 행동의 운동학적 설명을 나타낸다. 본 명세서에서 "동적 연결된 골격" 또는 "DJS"로서 설명되는 이러한 하나의 모델에서, 모델 파라미터들은 하나의 에지의 다른 에지로의 허용된 모션들을 정의하는 가변 길이 에지들 및 정점들의 그래프 요소들로 변환된다. 상기 모델 파라미터들은 동적 연결된 골격의 수학적 모델을 측정된 데이터에 일치시키기 위해 사용되는 수치 변수들을 포함한다. 일단 모델 정확도를 최대화하기 위해 교정되면, DJS 모델은 복잡한 움직임을 시각적으로 묘사하고, 운동감각 행동 및 자극-반응 패턴을 예측하기 위해 사용될 수 있다. 본 개시가 DJS 모델의 사용에 의존하지만, 개시된 방법은 다른 형태의 동적 모션 모델들, 예를 들어 홀로그래픽 3D 모델들(이용 가능하게 되는 경우)에 적응될 수도 있다.
본 명세서에서 "이미지 DJS 오버레이 및 증강된 인지"로 지칭되는 제2 단계에서, 운동선수의 라이브 또는 처리된 이미지가 동적 연결된 골격의 상호작용 이미지 또는 다른 적용 가능한 이미지 렌더링(홀로그램과 같은)과 중첩되는 시각화 장치에 디스플레이되고, 이에 의해 훈련생은 기준 모델의 행동들을 모방할 수 있고, 동적 모델은 훈련생의 신체의 정확한 비율로 크기 조정된다. 상기 동적 모델은 이벤트 트리거들을 포함하고 동기화 방법들을 이용하며, 훈련생의 행동들에 동기화하기 위해 모델의 움직임을 적응시키고, 훈련생과 모델이 둘 다 기준 모델을 생성하기 위해 사용되는 훈련자 또는 전문가들의 행동들에 따라 동일한 행동들을 실행할 때까지 전문가의 행동들로 모델을 점증적으로 조정한다. 이미지 DJS 오버레이가 동적이기 때문에, 즉, 기준 DJS 모델 및 훈련생 모두의 움직임을 수반하기 때문에, AI 시각화 시스템은 훈련생을 단계별로 더 잘 지도하기 위해 그 수업 방법들을 적응시킨다.
학생을 교육하는 AI-기반 강사의 양방향 데이터 흐름과 AI 강사가 수업하는 방식에 영향을 미치는 학생의 행동들에 기초한 AI 시스템의 기계 학습은 본 명세서에서 "증강된 인지"로서 지칭된다. 더욱이, 이미지 DJS 오버레이가 실시간으로 발생하므로, 즉, 훈련생에 대한 "동시적 피드백"을 포함하므로, 학습 곡선은 가속되고, 후속적인 망각 곡선 깊이 및 지속기간은 라이브 코치의 연장된 부재에서도 최소화된다. 시각 기반 이미지 DJS 오버레이를 통해 증강된 인지를 동시 피드백에 적응시키는 개시된 방법을 사용하면, 정신운동 학습이 가속화된다. 촉각, 청각 또는 다른 방법을 포함하는 훈련생에 대한 피드백의 다른 형태가 또한 채용될 수 있다.
진보된 형태에서, AI 엔진의 진화는 궁극적으로 AI 패턴 각인 동안 기계학습(ML) 시스템을 교육하는데 사용되는 분야의 전문가를 능가하는 AI 기준 모델의 복합으로 이어질 수 있다. 이후에, 이러한 동일한 행동 모델들은 로봇의 행동을 지시하는데 사용될 수 있으며, 예를 들어, 전문 기술을 가진 로봇 골퍼 또는 테니스 플레이어를 제공한다.
이미지 캡처 시퀀스 및 모델 추출 - 정신운동 학습의 증강된 인지를 위한 개시된 방법 및 장치에서의 제1 단계는 행동 모델의 추출을 수반한다. 도 17의 흐름도에 도시된 바와 같이, 과정은 기준 비디오(200)로서 전문가, 트레이너 또는 코치의 비디오로 시작한다. 비디오 콘텐츠는 미리 기록되거나, 시연, 교수 세션, 교육을 기록하는 카메라로부터, 또는 라이브 경기로부터의 라이브 비디오 스트림을 포함할 수 있다. 그 후 디지털 필터 과정(201)은 이미지를 선택적으로 수정하여 콘트라스트를 개선하고 관련 없는 배경 특징들의 존재를 제거 또는 감소시킴으로써 프레임 단위로 이미지들을 향상시킨다. 예를 들어, 도 18에 도시된 디지털 필터링은 골퍼(207)의 이미지로부터 배경 콘텐츠(208)를 완전히 제거하여 공백 배경(209)을 남길 수 있다.
이 필터링 과정(201)의 출력은 그 후 A1 프로세서 동작(202)으로 공급되어 DJS 모델 파일(203), 기준 이미지 특히 전문가 또는 코치 및 모션에 관련된 임의의 연관된 장비의 주요 특징들을 캡처하는 동적 연결된 골격을 추출한다. 도 19에 예시된 바와 같이, 인공지능의 사용은 인체(210)의 형상을 식별할 수 있고, 머리(211a), 견관절(211b), 팔꿈치(211c), 손(211d), 고관절(211e), 무릎(211f), 발목(211g) 및 발가락(211h)을 포함하는 인체 부분을 식별할 수 있다. 일단 추출되면, 결과적인 DJS 모델(220)은 식별된 관절들을 목뼈(212a); 견갑골 또는 어깨뼈(212n); 위팔뼈 또는 상완골(212c); 전완골(212d), 척추 및 흉곽(212e); 둔부 뼈 또는 골반(212f); 대퇴골 또는 상부 다리 뼈(212g); 경골 및 비골을 포함하는 하부 다리 뼈(212h), 및 발(212i)을 집합적으로 포함하는 다양한 뼈들과 같은 비가요성 구성요소들을 나타내는 커넥터들과 연결한다. 관절을 포함하는 스틱 또는 골격 모델을 식별하기 위해, 뼈들 사이의 관절이 명시적으로 식별된다는 것을 강조하기 위해 골격 모델(220)을 "관절" 골격으로 지칭한다.
파라미터 추출 과정 동안, 이들 물리적 속성들은 파라미터화된다. 즉, 신체 부분들의 치수들은 기준 운동선수의 신체 형상을 정의하는 수치 변수들로 변환된다. 그 후, 각각의 파라미터 값의 치수가 측정되고, 기준 이미지에 정확하게 일치되는 크기 조정되지 않은 모델에 대해 파일이 생성된다. 이들 파라미터는 예를 들어 제한 없이 다음을 포함할 수 있다:
Figure 112021103950825-pct00007
견갑골(212b)의 폭을 기술하는 변수 Xsb
Figure 112021103950825-pct00008
상완(212) 의 길이를 나타내는 변수 Xua ,
Figure 112021103950825-pct00009
팔뚝(212d) 길이를 설명하는 변수 Xfa,
Figure 112021103950825-pct00010
견갑골(212b)부터 허리(212f)까지 측정된 신체의 몸통의 길이를 설명하는 변수 Xt,
Figure 112021103950825-pct00011
부착된 사두근 근육에 의해서도 지칭되는 상부 다리(212g)의 길이를 설명하는 변수 Xul,
Figure 112021103950825-pct00012
부착된 종아리 근육에 의해서도 지칭되는 하부 다리(212h)의 길이를 설명하는 변수 Xll.
이 변수들은 운동선수의 신체 부분의 상대적 크기 및 그 전체 크기를 정의하는데 사용된다. 설명된 바와 같이 DJS 모델을 파라미터화함으로써, 크기 조정 가능 모델이 생성된다 - 임의의 운동선수의 크기 및 형상에 일치하도록 조정될 수 있는 모델. 상기 크기 조정 가능 모델을 전통적인 물리학과 조합하면, 상기 방법은 원래의 기준 모델로부터 운동선수의 물리적 속성의 변화의 영향을 예측할 수 있다. 예를 들어, 운동선수의 다리가 더 짧은 경우, 상기 모델은 티-오프 동안 골프공의 힘 및 발사 각도의 변화를 예측하고, 골퍼가 기준 모델을 생성하는데 사용된 전문가보다 더 크거나 더 짧다는 사실에도 불구하고, 그에 따라 스윙을 조정하여 전문가와 동일한 결과를 생성할 수 있다.
따라서, 상기 모델은 운동선수의 크기에 대해 단순히 조정되지 않고, 원하는 성능을 달성하기 위해 물리학에 따라 조정되어야 하고, 임의의 크기 변화를 보상한다. 본질적으로, 질문은 단순히 "만약 신장이 나와 같다면 타이거 우즈는 어떻게 클럽을 스윙할까?"가 아니라, 더 중요하게는, "만일 타이거 우즈의 신장이 나와 같다면 동일한 결과를 생성하기 위해 그는 스윙을 어떻게 조정해야 할까?"이다. 단지 전문가의 움직임, 즉 그들의 동역학을 동적 연결된 골격 모델로 단순화함으로써, 최소의 계산을 사용하여 간결하고 신속한 방식으로 힘, 클럽 가속도 및 볼 속도가 모델링될 수 있다.
수학적 구어에서, DJS 모델의 관절들은 '정점(vertices)'으로 지칭되고 연결 뼈는 '에지(edges)'로 정의된다. 뉴턴 역학, 즉 고전 물리학이 적용되는 물리적 시스템에서와 같이, 정점에서 에지의 움직임 관계는 힘 또는 토크에 대한 물리적 운동 법칙의 영향을 받는다. 이와 같이 물리학은 시간에 따른 상기 모델의 동적 움직임을 지배하기 위해 사용될 수 있고, 따라서 DJS는 '동적' 연결된 골격('dynamic' jointed skeleton)에 대한 약어이다. DJS가 물리학에 의해 지배되는 경우, 추출된 모델은 정점 및 다른 에지들에 대한 그래프 에지들의 시간 움직임을 분석함으로써 선형 및 각도 위치, 속도 및 가속도에 대해 분석될 수 있다. 분석에서 힘을 추출하기 위해, (https://en.wikipedia.org/wiki/Newton%27s_laws_of_motion), 선형 운동에 대한 선형 벡터 방정식
Figure 112021103950825-pct00013
(여기서, m은 질량이고,
Figure 112021103950825-pct00014
는 가속도 벡터이고,
Figure 112021103950825-pct00015
는 벡터 힘임)를 기술하는 뉴턴의 제2 법칙을 이용해야 한다. 대안으로, 골프 클럽 또는 야구 배트를 스윙하는 것과 같은 각도 또는 회전 운동에 대해, 제2 법칙의 회전 버전인
Figure 112021103950825-pct00016
를 사용하는 것이 편리하며, 여기서 τ는 토크 벡터이고, I는 관성 모멘트이고,
Figure 112021103950825-pct00017
는 각도 가속도 벡터이다(https://brilliant.org/wiki/ rotational-form-of-newtons-second-law/). 도 17에 도시된 장비 사양 라이브러리(206)에 특정된 장비의 재료의 질량 및 밀도 조성과, 자신의 체중을 아는 것에 의해 도출된 운동선수에 대한 체질량의 설명이 주어지면, AI 과정(204)은 추가 분석을 위한 벡터 힘 모델 파라미터들(205)을 추출하기 위해 인공지능을 이용한다. 관련 힘 모델 파라미터들은 수행되는 동작에 의존한다. 예를 들어, 골프 티-오프에서, 추출된 힘 분석은 공이 타격되는 힘과 클럽이 공을 타격하는 힘을 포함한다. 물리학의 사용을 통해, 이러한 정보는 한 운동선수의 성과를 다른 운동선수와 비교하거나 공이 주어진 코스에서 어떻게 이동할 것인지를 평가하는데 사용될 수 있다. 골프 클럽의 질량이 운동량 전달 및 공 발사 속도에 영향을 미치기 때문에, 정확한 중량 특성은 간결한 동적 DJS 모델(225)에서 사용되는 벡터 힘 모델 파라미터(205)의 절대 정확도를 개선하기 위해 장비 사양 라이브러리(207)으로부터 다운로드될 수 있다.
일반적으로, 모든 운동은 명시적으로 식별된 관절에서 발생한다. 도 19에 도시된 DJS 묘사에서, 운동이 관절에서만 발생한다는 규칙에 대한 2가지 예외가 언급되어야 한다. 무엇보다도, 목뼈(212a)와 견갑골(212) 사이의 식별되지 않은 가상 목-어깨 관절(213)은 제한된 정도의 회전 움직임을 허용한다. 운동선수의 팔뚝(Xfa)의 길이, 상완(Xua)의 길이, 견갑골의 폭(Xsb), 몸통의 길이(Xt), 상부 다리의 길이(Xul), 및 하부 다리의 길이(Xll)를 포함하는 임의의 신체 치수를 특정하기 위해 변수들이 사용될 수 있다. 정확한 물리적 설명은 움직임을 예측하는데 필요하지 않다. 예를 들어, 척추-흉곽(212e)은 단일의 식별되지 않은 가상의 둔부-척추 관절(214)에서 둔부 뼈(212f)와 만나는 삼각형으로 그래픽으로 도시되어 있으며, 이에 의해 제한된 범위의 회전이 허용된다. 대안적인 표현이 도 20에 도시되며, 이 도면에서 목-어깨 관절(213) 및 둔부-척추 관절(214)은 DJS 모델(221)에 명시적으로 도시된다. 보다 정확한 DJS 모델(222)은 척추 및 흉곽(212e)을 2개의 구성요소, 즉 상부 흉추 및 흉곽(212m), 및 하부 척추 또는 요추(212n)로 명백하게 분리한다.
더 많은 정점들의 추가는 DJS 모델을 복잡하게 하여, 시뮬레이션 및 실시간 애니메이션을 느리게 한다. 따라서, 움직임을 적절하게 모델링할 필요가 없는 한 정점을 추가하지 않도록 주의해야 한다. 예를 들어, 발을 모델링하는 것은 모델 정확도를 향상시킬 수도 있고 그렇지 않을 수도 있다. 과도하게 복잡한 모델은, 파라미터 추출 및 모델 생성 과정에서 더 많은 변수가 사용될 것을 요구하기 때문에, 시기적절한 계산을 어렵게 하고 반드시 정확도를 향상시키는 것은 아니다.
일단 추출되면, DJS 파일은, 도 21에 도시된 보행에 대한 DJS 모델과 같은 모션 또는 액션의 비디오 파일을 생성할 수 있는 운동학적 모델로서 임의의 사람의 모션을 모방하는데 사용될 수 있다. 움직이는 스틱 모델의 방법론이 1929년의 월트 디스니(Walt Disney)에 의해 처음 실현되었지만(https://www.youtube.com/watch?v=oyrGwRWKtJg), 사진을 자동으로 분석하고 다중-연결된 골격 모델을 추출하는 지능은 "골격화(skeletonization)로 지칭되는 디지털 세선화 알고리즘(digital thinning algorithm)으로 지칭되는 과정에서 1990년대에 로봇 시야의 개발까지 발생하지 않았다(http://homepages.inf.ed.ac.uk/rbf/HIPR2/skeleton.htm). 인간, 동물, 또는 기계의 구성요소를 식별하고 골격을 추출하기 위해 인공 지능을 사용하는 AI-기반 골격화의 과정은 최근이며 심층학습 연구의 주제로서 여전히 진행 중이다(https://www.youtube.com/watch?v=3ZhQKmSbNug).
그러나 본 명세서에 개시된 정신운동 학습을 위한 동적 연결된 골격(DJS) 모델의 추출은, 물리적 법칙에 따라 특정 결과를 위한 정밀 이동에 영향을 미치는 물리적 특성을 추출하고 모델에서 이러한 미묘한 차이를 보존하기 위한 추출을 필요로 하기 때문에, 독특하다. 예를 들어, 골프 클럽을 스윙하는 사람의 간단한 모델을 생성하는 것은 애니메이션과 다르지 않지만, 성과를 예측하기 위해 운동선수의 액션을 모델링하는 것은 물리학 기반 모델을 요구한다. 대조적으로, 애니메이션은 물리 법칙을 따를 필요가 없다. 그러나 정신운동 학습을 위한 운동학적 모델이 유용하기 위해서는, 이는 물리적으로 정확해야 한다.
테니스 프로 운동선수, 마스터 골프 프로, 또는 세계적인 신경외과 의사의 정밀한 움직임들을 캡쳐하는 것은 액션에 관련된 임의의 연관된 장비 사양들과 함께 저장된, 정밀한 움직임들의 고해상도 추출을 요구한다. 예를 들어, 골프 클럽 또는 테니스 라켓의 길이 및 중량은 원하는 운동을 정확하게 예측하는데 어느 DJS 모델이 필요한 지에 영향을 미친다. 메스의 형상은 성공적인 수술과 신경을 부주의하게 절단하는 것 사이의 차이일 수 있다.
그리고 우수한 DJS 모델의 라이브러리는 고급 정신운동 훈련에서 주요 요소이지만, 단독으로는 충분하지 않다. 시작 및 중지 "트리거"로 식별된 불연속 시간 세그먼트에 의한 중단과 매끄러운 이동의 간격을 분리하여 이동하는 것도 중요하다.
골프 스윙의 모션 캡쳐는 도 22a의 연속적인 이미지들에 도시되며, 이미지들(98a, 98b, 및 98c)에 각각 대응하는 시작(A), 백스윙(B), 및 톱 오브 스윙(C)을 포함한다. 이미지(98c)에서의 백스윙의 결론은, 클럽의 속도가 0인, 즉 v = 0인 t = 0 이전의 순간인, t = 0-으로 지칭되는 시간에 발생한다.
백스윙과 분리된 움직임으로서, 다운스윙은, 이미지(98c)에 의해 역시 표현된, t=0에서 백스잉의 완료 후에 t=0+로 불리는 순간에서 시작한다. 톱 오브 스윙(C)에 이어서, 다운스윙은 다운스윙(D)을 통과하여 드라이브(E)로 이어지고 이때 클럽이 공을 타격하고 폴로스루(follow-through)(E)와 궁극적으로 피니시(finish)(G)로 진행하며, 이 시퀀스는 각각 이미지(98c, 98d, 98e, 98f 및 98g)로 표현된다. 등가의 동적 연결된 골격은 클럽(253)과 함께 어깨(250), 좌측 팔(251a), 좌측 다리(252a), 우측 팔(251b) 및 우측 다리(252b)를 포함한다. 도시된 바와 같이, 비디오 시퀀스(98a 내지 98g)는 골격 모델(240a 내지 240g)에 각각 대응한다.
이 위치들에 대응하는 골프 클럽 속도는 도 22b에 도시되어 있으며, 여기서 속도(241a)는 음의 속도(v<0) 및 음의 시간(t<0, 즉 t=0 이전의 시간)에 의해 표현되는 백스윙(242)의 개시를 나타내며, 이는 위치(240a)에 대응한다. 속도(241b)는 위치(240b)에 대응하고, 속도(241c)는 시간 t=0에서 위치(240c), 시간 t=0-에서 백스잉(241)의 완료 직후 및 시간 t=0+에서 다운스윙(243)의 시작 직전에 대응한다.
t=0에서, 클럽 속도(미적분학에서, 위치의 제1시간 도함수)는 음에서 양으로 극이 변화하고, 클럽 가속도(미적분학에서 위치의 제2시간 도함수 또는 속도의 제1 도함수)은 음(백스윙의 최상부에서 감속)에서 양(다운스윙 시작에서 가속)으로 변화한다. 이와 같이, 속도 또는 가속도 데이터 어느 하나는 연속적인 비디오 프레임들로부터 추출될 수 있고, 백스윙 종료하거나 다운스윙이 시작되는 순간을 식별하는데 사용될 수 있다. 따라서, 다운스윙(243)은 위치(240e)에 대응하는 피크 속도(241e)와 스윙 폴로스루가 완료될 때 속도(241g)로 종료하는 양의 값들(v>0)에 의해 그래프로 표현된다. 이와 같이, 백스윙(242) 및 다운스잉(243)은 방향 및 가속도에서의 극성 반전에 의해 분리되는 2개의 매끄러운 액션으로서 모델링될 수 있다. 이러한 극성 전환은 동기화를 위해 모델 재생을 제어하는데 유리한 "트리거"로서 사용될 수 있다.
트리거된 DJS 모델에 대한 필요성의 일 예는 불연속 움직임을 수용하는 것이다. 예를 들어, 일부 골퍼들은 다운스윙을 하나의 연속적인 모션으로서 즉시 개시하기보다는, 다운스잉을 개시하기 전에 백스윙의 최상부에서 잠시 정지한다. 이 경우는 도 22c에 도시된 그래프에 나타나 있는데, 이 그래프에서 다운스윙(243)은 백스윙을 즉시 따르지 않지만, 대신에 지속기간(△td)의 지연 간격(244)만큼 지연된다. 이 지연은 100 ms(거의 순간)에서 10초까지의 범위에서 운동선수에 따라 극적으로 변한다.
자기 스윙의 최상부에서 5초 동안 기다리는 것에 편안함을 느끼는 운동선수는 자기 스윙의 최상부에서 자기 클럽을 1초 미만 동안 유지하고 있는 운동선수의 비디오를 시청하는 것으로부터 정신운동 기량을 편안히 배울 수 없는데, 그 이유는 이들이 비디오를 따라잡기 위해 조급함을 느낄 것이기 때문이다. DJS 모델을 이벤트 트리거에 의해 정의된 연속적인 움직임의 개별 조각들로 분할함으로써, 지연 및 움직임 중단이 학생의 요구에 일치될 수 있다. 도 22b와 일치되게, 도 22c에서 시간 t=0은 백스윙(242)의 끝을 나타낸다. 따라서, 백스윙은 트리거 1에 대응하는 시간 t=-tbs에서 시작하고(속도(241a)가 0일 때), 시간 t=0에서 종료된다. 그러나 다운스윙(243)은 간격(244)으로 도시된 가변 지연(△td) 후 트리거 2까지 시작하지 않는다. 0과 동일한 속도(245)를 시작으로, 다운스윙(242)은 따라서 시간 t=△td까지 시작하지 않는다. 지속 기간(△tds) 동안 다운스윙(242)은 속도(242g)가 0에 도달하는 시간 t=△td+△tds까지 종료하지 않는다. 따라서, 트리거 1 및 트리거 2의 DJS 모델에의 통합은, 조건 예를 들어 학생이 자신의 다운스윙을 개시하고 트리거 2를 활성화함으로써 재생을 개시하는 것을 검출함으로써 특정되는 가변 지연(244)에 의해 분리되는 두 부분의 백스윙(242) 및 다운스윙(243)으로 모델 재생이 분할되는 것을 허용한다. 이러한 방식으로, 학생은 다른 운동선수의 기준 비디오와 일치시키려고 조급해지거나 압박감을 느꼈다.
트리거 기반 불연속 재생의 동일한 원리는, 절개가 하나의 연속적인 움직임보다는 2개의 스트로크로 이루어지는 수술과 같은 다른 정신운동 스킬을 학습하도록 적응될 수 있다.
도 23의 예시적인 비디오 프레임 및 추출된 골격 모델에 도시된 바와 같이, 간결한 동적 연결된 골격 모델(225)은, 도 24에 도시된, 캡처된 모션 시퀀스(255)에서의 모든 각각의 움직임을 예측하는데 있어서의 오류를 최소화한다. 곡선(255)의 실제 측정된 데이터를 설명하기 위한 수학적 모델은 곡선(256a)에 의해 도시된 선형 모델(A), 곡선(256b)에 의해서 도시된 지수 모델(B), 및 곡선(256c)에 의해서 도시된 다항 모델(C), 그리고 곡선(256d)에 의해 도시된 고차 다항 모델(D)을 포함한다. 수학적 모델의 상수들은 곡선(255)에 의해 표현되는 실제 데이터에 대해 곡선 맞춤 정확도를 최대화하기 위해 전체 오류를 최소화하도록 조정된다. 오류를 최소화하기 위한 모델 곡선 맞춤 파라미터의 조정은 파라미터 추출로 지칭된다. 파라미터 추출은, 제한된 범위에 걸친 곡선 맞춤의 정확도가 전체 간격에 걸친 정확도를 희생함으로써 증가될 수 있거나 그 반대일 수 있는 불완전한 과정이다. 그러나 일련의 그래픽 이미지들을 해석하기 위해 인공 지능 엔진을 사용하면, 반복된 이벤트들 또는 비디오 소스들에 걸쳐 오류가 최소화될 수 있어서, 시스템이 보고 있는 것을 더 잘 "학습"하도록 허용한다.
도 25에 도시된 바와 같이, 일단 간결한 동적 DJS 모델(225)이 추출되면, 그 기준 소스 비디오(200), 즉 소스 데이터 파일(260)은 파일 생성 프로세스(263)에서 GPS 3D 지형 코스 맵(262) 및 파일 소스 데이터 정보(261) 결합되어 클라우드 파일 저장소(264)에 저장된다. 소스 데이터 정보(260)는 운동선수의 이름, 특정 골프 코스, 이벤트의 이름, 이벤트의 날짜뿐만 아니라, 각 홀에서 운동선수의 점수(홀의 기준 타수에 대해 측정된) 등을 포함할 수 있다. 지형 정보(262)가 또한 포함될 수 있고 시간에 따른 바람 정보를 선택적으로 포함할 수 있다(비록 이 데이터는 날씨 정보가 이용 가능하지 않은 미리 기록된 파일들로부터 추출하기 어렵지만).
도 26에 도시된 바와 같이, 저장된 파일들의 재생은 사용자(268)가 사용자 인터페이스(265)를 통해 클라우드 파일 저장소(264)로부터 특정 전문가 파일을 선택하는 것을 포함한다. 다운로드는 간결한 모델(225) 및 코스 맵(262)을 포함한다. UI/UX 제어(265)는 인공 인터페이스(AI) 엔진(267)을 사용하여 데이터 및 모델을 처리하도록 DJS 모델 시각화기(266)에 명령한다. AI 처리는 3D 회전, 지형, 애니메이션, 파라미터, 및 성능 평가의 계산, 즉 채점(scoring)을 포함한다. DJS 모델(225)로부터 생성된 비디오는 샘플링된 프레임들(240c, 240d, 240e, 240f)과, DJS 모델로부터 생성된 240z와 같은 보간된 프레임들을 포함할 수 있다. 상기 모델은, 시간에 따라 프레임 단위로 움직임의 평가를 실행함으로써, 영화처럼 "재생"될 수 있다. 이 모델은 라이브 비디오 트리거에 동기화되거나 자율적으로 실행될 수 있다.
도 27에 도시된 AI 엔진(267)을 갖는 DJS 모델(225)의 다른 특징은 측면도(240x) 또는 배면도(rear view)(240y)를 위한 이미지(240d)의 3D 회전을 포함한다. 물리적 모델들에 기초하여, 단일 카메라만이 비디오 이미지를 캡처하기 위해 사용되더라도 회전이 수행될 수 있다. 이러한 방식으로, DJS 모델은 항상 임의의 이용 가능한 비디오 소스와 일치되도록 회전되거나 또는 심지어 다수의 비디오 소스와 비교될 수 있다.
도 28에서, AI 엔진(267)은 DJS 모델(240g)을 지형(268)과 결합할 수 있다. 골프 코스 지형을 DJS 모델과 결합함으로써, 학생은 전문가가 특정 홀을 어떻게 플레이했는지를 분석할 수 있다
유익하게는, 학생은 홀을 홀로 플레이할 수 있고, 전문가와 자신의 성능을 비교할 수 있다.
도 29에서, DJS 모델(240f)은 볼 궤적(269)을 디스플레이하기 위해 드라이브 애니메이션(271)과 결합된다. 임의의 비디오의 분석은 궤적 결과(272)를 슬라이스(slice), 후크(hook), 페이드(fade), 드로우(draw), 푸시(push), 풀(pull) 또는 완전한 "퓨어(pure)" 스트로크로서 파라미터에 의해 분류할 수 있다(270). 채점이 드라이브에 할당되어 경쟁 성과를 평가하는 데 사용될 수도 있다.
이미지 오버레이 및 증강된 인지 - A-B 이미지 DJS 오버레이를 통한 동시 피드백을 갖는 운동학적 DJS 모델을 사용하여 정신운동 학습을 수행하는 증강된 인지의 과정 및 장치가 도 30에 도시되어 있다. 도시된 바와 같이, 골프 코스(300) 상의 골퍼(301)는, 예를 들어, 프로가 어떻게 동일한 코스에서 플레이했는지를 학습하기를 원한다. 골퍼의 스윙을 모니터링하기 위해 삼각대 상에 스마트폰(302)을 배치함으로써, 라이브 비디오 파일(304)은, 바람직하게는 스마트폰(30) 내에서 구현된, AI 엔진(310) 내의 지능형 이미지 처리를 사용하는 인공 지능에 의해 처리되지만, 별개의 또는 전용 AI 프로세서 엔진이 사용될 수도 있다. AI 엔진(310) 내의 동작들은 라이브로, 즉 실시간으로 발생하며, 다음과 같은 복잡하고 독창적인 동작들의 시퀀스를 수반한다:
Figure 112021103950825-pct00018
AI-엔진(310)은 훈련 목적으로 선택된 전문가의 DJS 모델 파일(203)을 다운로드한다.
Figure 112021103950825-pct00019
Al-엔진(310)은 연속적인 입력으로서 골퍼(301)의 라이브 비디오 스트리밍 파일(304)을 수신한다.
Figure 112021103950825-pct00020
즉시, 즉 연속적으로, AI 엔진(310)은 라이브 비디오 스트리밍 파일(304)로부터 골프 코스(300)의 불필요한 배경 콘텐츠를 제거한다.
Figure 112021103950825-pct00021
선택적으로, 발사 모니터(launch monitor)(316)는 골프 티-오프로부터 파라미터 데이터를 측정하고 그 측정치를 Al-엔진(310)에 제공한다.
Figure 112021103950825-pct00022
엔진(310)은 인공지능 기반 패턴 인식을 이용하여 비디오 스트림에서 골퍼(301)의 이미지를 식별한다.
Figure 112021103950825-pct00023
비디오 스트리밍 파일(304)로부터의 비디오 이미지의 샘플을 분석하여 골프 클럽, 상부 및 하부 다리 및 팔의 길이, 몸통 길이 등을 포함하는 골퍼(301)의 신장 및 신체 비율을 추출한다.
Figure 112021103950825-pct00024
AI 엔진(310)에 로딩된 모델 라이브러리로부터 선택된 DJS 모델(203)을 조정하여 골퍼(301)의 신장 및 신체 비율에 일치되도록 한다.
Figure 112023004983238-pct00025
한 세트의 벡터 힘 모델 파라미터들(205)(임의의 장비 관련 사양을 포함함)이 Al-엔진(310)에 로딩되고 DJS 모델은 원래의 기준 라이브러리 전문가의 퍼포먼스와 동일한 힘 및 볼 궤적을 계산하는데 필요한 적절한 가속도를 위해 조정된다.
Figure 112023004983238-pct00026
실시간으로, AI 엔진(310)은 골퍼(301)와 크기 및 신체 비율이 동일하지만 모션이 DJR 기준 라이브러리에서 전문가의 퍼포먼스와 일치하는 골퍼(301)의 라이브 이미지 및 DJS 모델(203)의 크기 조정된 버전을 포함하는 오버레이(311)를 출력한다.
Figure 112021103950825-pct00027
DJS 오버레이(311)는 골퍼(301)에 의해 착용된 시각화 장치(313)에 무선으로 송신되어, 운동선수가 자신의 모션을 자신의 라이브 비디오 이미지 상에 오버레이된 DJS 골격 이미지와 비교할 수 있게 한다.
Figure 112021103950825-pct00028
DJS 모델의 이미지 오버레이(311)는 예를 들어 백스윙의 시작을 포함하는 골퍼의 모션들에 의해 그리고 다시 다운스잉의 시작에서 트리거되는, 골퍼의 모션들에 동기화된다. DJS 모델 재생은 골퍼의 다음 스윙까지 중단된다. Al-엔진(310)은 기준 모델에서 캡처된 전문가와 점진적으로 더 근접하게 일치되도록 자신의 교육 이미지들을 동적으로 변경한다.
Figure 112023004983238-pct00029
Al-엔진(310)은 또한 피드백 분석(314)을 출력하는데, 이는 골퍼의 퍼포먼스를 요약하는 보고서이거나, 이미지 오버레이(311)의 일부로서 디스플레이되는 클럽 각도, 스윙 평면 등과 같은 실시간 분석 데이터를 포함할 수 있다.
도 31에 도시된 바와 같이, AI 엔진(310)은 선택적으로 발사 센서(316) 데이터 및 비디오 스트리밍 파일(304)로부터 피드백 분석을 채점하며, 여기서 계산된 점수(315)는 골퍼의 스윙을 전문가의 스윙과 비교하는 것을 포함하여 골퍼의 퍼포먼스를 측정하는데 사용될 수 있다. 측정된 데이터는 또한 일부 평가 기준(예를 들어, 각도, 속도, 계산된 드라이브 거리 등)에 대해 골퍼의 티-오프 퍼포먼스(322)를 측정하는데 사용될 수 있다. 평가 기준의 사용은 다음 특징을 포함하는 운동선수의 퍼포먼스의 정량화 가능한 측정을 제공한다:
Figure 112021103950825-pct00030
채점(315)은 경쟁, 토너먼트, 게임화(gamification), 보상(rewards), 토큰화(tokenization), 및 도박을 위해 골퍼들(331a 및 331b)을 비교하기 위해 데이터 클라우드(330)에 업로드 될 수 있다.
Figure 112021103950825-pct00031
도 32에 도시된 맵 상세들과 결합될 때, 발사 분석은 또한, 코스에서 공 궤적(332)을 계산하고, 홀(336)까지의 거리, 그린(335a) 안에 또는 밖에 또는 러프(333b 또는 335c)에 착륙, 물 또는 벙커(334d)에 착륙 등을 포함하는 공의 최종 목적지(334)에 대해 파라미터적으로 채점(315) 하기 위해, 사용될 수 있다.
퍼포먼스 평가는 실제 골프 코스에서 사용될 수 있다. 대안으로, 평가 방법은 골프 시뮬레이터에 적용될 수 있으며, 시뮬레이터에서 운동선수는 공을 네트에 타격함으로써 연습하지만, 시스템은 마치 운동선수가 실제 골프 코스 상에 있는 것처럼 티-오프 퍼포먼스를 평가한다. 이러한 방식으로, 골퍼는 DJS 모델에 의해 묘사된 프로 또는 전문가의 액션을 따름으로써 연습할 수 있지만, 시뮬레이터를 사용하여 코스 또는 다른 골퍼에 대해 자신의 퍼포먼스을 평가할 수 있다.
인공 지능과 결합된 스마트폰 또는 비디오 카메라가 운동선수의 퍼포먼스를 평가하는데 사용될 수 있지만, 다른 센서들이 또한 개시된 정신운동 학습 시스템과 조합하여 사용될 수 있다. 예를 들어, 도 33에 도시된 발사 센서(340)는 비디오 이미지(342)를 차동 초음파 또는 L1DAR(레이저 광 기반 레이더) 신호(341a, 341b)와 결합하여, 비디오만이 추출할 수 있는 것보다 골퍼의 스윙을 더 정밀하게 측정한다. Al-엔진(310)에 의해 처리되는 경우, 발사 센서(340) 데이터는 손-각도(344) 및 클럽 위치(343), 어깨 위치(346), 팔 위치(345), 및 허리 각도(347)를 정밀하게 검출하는데 사용될 수 있다. 시간 경과에 따른 프레임들의 시퀀스를 분석함으로써, 위치 데이터는, 도 34에 도시된 바와 같이 유효한 및 인가된 팔 토크(351a, 351b), 유효한 및 인가된 손목 토크(352a, 352b), 및 어깨 토크(350)를 포함하여, 스윙 속도 및 토크를 계산하는데 사용될 수 있다.
카메라에 의해 광학적으로 측정된 토크, 가속도, 및 위치 데이터는, 편리하게 모니터링되지만, 정확도가 부족하다. 공, 클럽 및 다른 장비 내에 마이크로전자 기계(MEMs) 센서를 포함함으로써 추가적인 정확도가 얻어질 수 있다. 도 35에 도시된 바와 같이, MEMs 센서(360)는 시간에 대한 위치, 속도, 가속도, 및 토크를 포함하는 다수의 파라미터(361)를 측정할 수 있다. 상기 센서는 저전력 블루투스, 저전력 WiFi(802.11ah와 같은)를 이용하여, 또는 4G/LTE 또는 5G 통신 프로토콜의 저 대역폭 절전 모드들을 이용하여 전화로 저전력 RF 링크(362) 및 내부 안테나(363)를 통해 수신기로 자신의 데이터를 중계한다. 도 36에서, 신호 지연, 공기압 등을 포함하는 MEMs 센서 데이터(360a)를 사용하여 골프공(364)의 사정지역(down-range) 비행 궤적(269)이 검출될 수 있고, RF 통신을 사용하여 수신기로 다시 중계될 수 있다. 골프공(364)은 딤플형이지만 균일한 표면(구형 대칭)을 갖기 때문에, 토크 정보는 공의 궤적을 예측하는데 중요하지 않다. 이와 같이, 센서(360a)는 회전 속도가 아닌 상대 위치 및 가속도만을 검출할 필요가 있다.
그러나 도 37a에 도시된 바와 같이, 야구공(365)은 그 스티칭(stitching) 때문에 구형으로 대칭이 아니다. 야구공 센서(360b)는 공 궤적을 예측하기 위해 토크를 측정해야 한다. 이러한 정보는 카메라를 사용하여 측정하기 어렵다. 도 37b에 도시된 바와 같이, 골프 클럽(366) 내의 센서(360c, 360d) 및 야구 배트(367) 내의 센서 (360e, 360f)는 공의 궤적을 정밀하게 기술하기 위해 토크를 검출해야 한다.
설명된 바와 같이, AI-기반 시스템은 증강된 인지를 보여주며, 이에 의해 골퍼의 행동은 전문가의 퍼포먼스에 부합하도록 훈련되는 한편, AI-엔진은 골퍼의 퍼포먼스를 점진적으로 개선하는 방법을 최상으로 학습한다. 설명된 시스템에서, 골퍼는 실시간 DJS 오버레이를 사용하여 그들의 동작을 전문가 기준과 비교할 수 있다. 도 38a에 도시된 바와 같이, 정면도(front view)는 DJS 기준 모델(370a)을 라이브 필터링된 비디오(372a), 예를 들어 실루엣 이미지와 결합하여, 실시간 DJS 오버레이(373a)를 생성한다.
DJS 모델을 라이브 운동 선수 또는 학생에 대해 크기 조정하는 과정은 높이 Xh(ref)를 갖는 크기 조정되지 않은 원래의 DJS 모델(370a)이 라이브 운동선수 이미지(372a)의 높이(Xhf(라이브))에 맞도록 크기가 조정되는 것을 허용한다. 따라서, 결과적인 복합 이미지 즉 오버레이(373a)는 라이브 운동선수(372a)의 대표 이미지를,라이브 선수 이미지(372a)의 높이(Xh(라이브))와 각각 일치하는 DJS 기준 모델(370c)의 전체 크기 및 크기 조정된 버전으로 포함한다. 인공 지능을 사용하여 이러한 크기 조정이 라이브 세션의 개시 시에 한번 수행되거나, 또는 각각의 연습 세션 동안 모델의 정확도 및 맞춤을 점진적으로 개선하기 위해 동적으로 그리고 반복적으로 수행될 수 있다.
후방-뷰 카메라가 없는 경우에도, AI 시스템은 또한 도 38b에 도시된 바와 같이 실시간으로 골퍼의 후방 뷰 이미지를 계산하고 디스플레이할 수 있으며, DJS 기준 이미지(370b)의 180°회전을 회전된 이미지(372b)와 결합하여, 실시간 DJS 오버레이(373b)를 생성할 수 있다. 이와 같이, DJS 모델은 비디오 이미지가 할 수 없는, 라이브 비디오 피드(feed) 임의의 이미지 관점과 일치되도록 쉽게 회전될 수 있다.
이미지 회전에서의 이점 이외에, Al-기반 그래픽 프로세서는 여러 방식으로 학생 운동선수의 라이브 이미지 또는 비디오 피드를 일치시키기 위해 DJS 모델의 크기 조정을 실행할 수 있다. 도 38c에 도시된 바와 같이, 크기 조정되지 않은 DJS 모델(370a)은 그래픽 에지들, 즉 골격 정점들 사이의 세그먼트를 사용하여 비례적으로 또는 단편적으로 크기 조정될 수 있다. 비례적 크기 조정에서, 팔, 다리 및 몸통을 포함하는 모든 DJS 모델 요소들은 동일한 비례 인자(
Figure 112021103950825-pct00032
)에 의해 크기 조정되고, 이에 의해 지면으로부터 모델의 허리 높이(Xw(기준))는 값(
Figure 112021103950825-pct00033
(기준))으로 크기 조정되고 총 높이는 값(Xh(기준))으로부터
Figure 112021103950825-pct00034
(기준)으로 크기 조정된다. 골프 클럽 길이(Xc(기준)) 또한 비례적으로 크기 조정되거나 대안으로 제조 데이터 시트에 의해 특정된 바와 같이 클럽의 실제 길이와 일치하도록 크기 조정될 수 있다.
그래픽 에지 크기 조정된 DJS 모델에서, 모델의 모든 에지는 라이브 운동선수의 비디오 프레임과 일치되도록 개별적으로 크기 조정되고, 이에 의해 지면으로부터의 모델의 허리 높이(Xw(기준))는 값(
Figure 112021103950825-pct00035
(기준))의 값으로 스케일링되고 총 높이는 상부 및 하부 다리, 몸통, 및 상부 팔 및 하부 팔에 대해 개별 크기 조정 인자들을 포함하는 값(Xh(기준))으로부터
Figure 112021103950825-pct00036
(기준)으로 크기 조정된다. 심지어 골프 클럽은 Xc(기준)으로부터
Figure 112021103950825-pct00037
(기준)으로 별도로 크기 조정될 수 있다.
필터링된 비디오 이미지들(372a 및 372b)이 실루엣들, 그림자 또는 빛으로서 편리하게 디스플레이되지만, 이 필터링된 이미지는 또한 골퍼의 윤곽, 저해상도 비디오, 또는 애니메이션 묘사(animated depiction)를 포함할 수 있다. 오늘날 임의의 이용가능한 훈련 보조기에 비해 이 접근법의 주요 이점은 다음을 포함한다:
Figure 112021103950825-pct00038
DJS 기준 모델은 골퍼 또는 운동 훈련생에 대해 크기가 조정된다. 기준 비디오들은 특히 소스 데이터가 비디오 아카이브로부터 올 때 쉽게 크기 조정될 수 없으며, 일부 비디오들은 수십 년 전으로 거슬러 올라간다.
Figure 112021103950825-pct00039
DJS 기준 모델은 골퍼 또는 운동 훈련생의 라이브 이미지의 카메라 각도에 일치하도록 회전될 수 있다.
Figure 112021103950825-pct00040
DJS 모델은 골퍼 또는 운동 훈련생의 라이브 이미지 위에 오버레이되므로, 운동 선수는 2개의 이미지들 사이에서 눈이 앞뒤로 움직이는 것을 요구하는 2개의 나란한 이미지들을 비교할 필요가 없다.
Figure 112021103950825-pct00041
DJS 모델 골격은, 오버레이를 혼란스럽게 하고 움직임의 상세를 불명료하게 할 수 있는 전문 운동선수의 기준 이미지의 불필요한 세부 세항(모발, 모자, 의복 등)를 제거한다.
Figure 112021103950825-pct00042
비디오 표현은, 비디오를 혼란스럽게 하고 움직임의 세부 사항을 모호하게 할 수 있 라이브 운동선수의 불필요한 세부 사항(모발, 모자, 의복 등과 같은)을 제거한다.
도 39에 도시된 일 실시예에서, 오버레이 이미지(373b)의 디스플레이는 서있는 비디오 디스플레이(402)를 사용하여 편리하게 실현될 수 있다. 오버레이를 생성하기 위해 사용되는 골퍼(403)의 라이브 비디오는 전면 카메라(400)를 사용하여 캡처될 수 있지만, 선택적으로 배면 카메라를 포함할 수 있다.
도 40에 도시된 바와 같이, 실시간 통신의 대역폭 제한을 극복하면, 카메라(400)로부터의 고해상도 비디오(410)는 비휘발성 메모리(411)에 국부적으로 기록 및 저장될 수 있는 한편, Al-엔진(413)은 데이터 스트림을 필터링하여 안테나(418 및 420)를 통해 RF 증폭기(417)와 RF 수신기(421) 사이의 제한된 대역폭 전송(419)을 위한 (i) 저해상도 비디오 및 (ⅱ) 실루엣 비디오(416) 중 하나 이상을 생성한다. Al-엔진(413)은 또한 DJS 모델(414)에 기초하여 실시간 DJS 오버레이 비디오(373b)를 생성할 수 있다. 따라서, 디스플레이(402)는 비디오 소스들의 임의의 조합을 디스플레이하는데 사용될 수 있다.
특히, 도 41에 도시된 라이브 골퍼의 실루엣(416) 및 기준 또는 전문가의 골격 모델(430)의 DJS 오버레이는, 운동선수가 그들이 무엇을 잘못하고 있는지 그리고 그들의 움직임이 마스터 운동선수와 어떻게 상이한지, 예를 들어 학생의 클럽 위치(431)와 전문가의 클럽(432) 위치 사이의 차이(433)를 즉시 알 수 있게 한다. 동시 피드백의 가치는 학생 또는 훈련생이 각각의 시도로 자신의 스윙 또는 스트로크를 개선할 수 있다는 것이다. 반복 비디오와 달리, 전문가는 학생이 자신의 클럽을 스윙할 때에만 스윙한다. 움직임은 자연스럽고, 여기서 전문가의 스윙은 t=0-에서 최상부에서 일시정지하고, t=0+에서 학생의 다운스윙의 시작에 의해 트리거될 때까지 재개하지 않는다. 훈련의 시작 시에, Al-엔진은 학생의 느린 속도를 수용하여, 학생에게 무엇이 편안한가를 학습한다. 그러나 점진적으로, Al-엔진은 학생이 기술을 학습할 때까지 전문가의 타이밍 및 퍼포먼스에 일치할 때까지 속도를 점진적으로 가속시킨다.
도 42에 도시된 바와 같이, DJS 오버레이 이미지(444)는 프로젝터(441) 또는 다른 헤드업 또는 홀로그래픽 디스플레이 기술을 사용하여 헤드업 디스플레이(440)에 디스플레이될 수 있다(443).
증강된 인지를 이용한 정신운동 학습에서의 동시적 피드백의 이점은 다이빙, 스케이팅, 스키, 골프, 테니스, 농구, 하키, 역도, 양궁, 및 야구와 같은 스포츠뿐만 아니라 자동차 수리, 수술, 수어(수화)와 같은 정밀 전문 기술, 및 사격술, 무술 등과 같은 방어 관련 활동을 포함하는 광범위한 활동에 적용 가능하다.

Claims (21)

  1. 학생 운동선수에게 정신운동 기술을 교육하는 방법으로서,
    상기 정신운동 기술을 수행하는 전문가의 동적 연결된 골격(DJS: Dynamic Jointed Skeleton) 기준 이미지를 생성하는 단계;
    상기 DJS 기준 이미지가 생성된 후, 카메라를 사용하여 상기 정신운동 기술을 수행하는 상기 학생 운동선수의 실루엣 이미지를 생성하는 단계;
    상기 학생 운동선수가 정신운동 기술을 수행하고 상기 실루엣 이미지가 생성되고 있을 때, 상기 학생 운동선수에게 복합 이미지를 디스플레이하는 단계로서, 여기서 상기 복합 이미지는 정신운동 기술을 수행하는 학생 운동선수의 상기 실루엣 이미지에 에워싸여 위에 놓인 상기 정신운동 기술을 수행하는 전문가의 DJS 기준 이미지를 포함함으로써, 상기 학생 운동선수가 자신의 위치 및 움직임을 상기 DJS 기준 이미지에 기록된 전문가의 위치 및 움직임과 동시에 실시간으로 시각적 비교를 수행할 수 있게 하는, 단계;
    를 포함하는, 방법.
  2. 제1항에 있어서,
    DJS 기준 이미지를 생성하는 상기 단계는 상기 학생 운동선수의 키에 비례하여 상기 전문가의 DJS를 크기 조정하는 것을 포함하는, 방법.
  3. 제1항에 있어서,
    DJS 기준 이미지를 생성하는 상기 단계는 상기 전문가의 신체 부위를 나타내는 각 그래프 에지가 상기 학생 운동선수의 해당 신체 부위의 치수와 일치하게 조정되도록 상기 전문가의 DJS를 크기 조정하는 것을 포함하는, 방법.
  4. 제3항에 있어서,
    상기 정신운동 기술은 골프 클럽을 스윙하는 것을 포함하고, 여기서 상기 학생 운동선수는 상기 DJS 기준 이미지에 표시된 공 발사 속도 및 각도와 동일한 공 발사 속도 및 각도를 생성하기 위해 스윙하는 동안 상기 골프 클럽의 가속도를 조정하는, 방법.
  5. 제1항에 있어서,
    상기 복합 이미지는 대조적인 색상의 DJS 기준 이미지에 의해 오버레이된 상기 학생 운동선수의 실루엣 이미지를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 복합 이미지는 상기 학생 운동선수의 실루엣 이미지와 상기 DJS 기준 이미지에 중첩된 골프 코스의 그래픽 이미지 표현을 포함하는, 방법.
  7. 제1항에 있어서,
    트리거 이벤트가 발생할 때까지 상기 DJS 기준 이미지를 일시 중지하는 단계를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 정신운동 기술은 골프 클럽을 스윙하는 것이고 상기 트리거 이벤트는 백스윙의 시작인, 방법.
  9. 제7항에 있어서,
    상기 정신운동 기술은 골프 클럽을 스윙하는 것이고 상기 트리거 이벤트는 다운스윙의 시작인, 방법.
  10. 제7항에 있어서,
    상기 트리거 이벤트는 상기 정신운동 기술을 수행하는 상기 학생 운동선수의 실루엣 이미지에서 도출되는, 방법.
  11. 제1항에 있어서,
    상기 정신운동 기술은 장비의 사용을 포함하며 상기 장비에 관한 정보는 상기 DJS 기준 이미지를 생성하는 데 사용되는, 방법.
  12. 제1항에 있어서,
    지정된 기준 목록에 대해 상기 학생 운동선수의 퍼포먼스를 평가하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    게임에서 상기 학생 운동선수의 퍼포먼스 등급을 사용하여 순위 또는 포상(meritorious awards)을 결정하는 단계를 포함하는, 방법.
  14. 제1항에 있어서,
    상기 학생 운동선수가 상기 정신운동 기술을 수행할 때 실시간으로 상기 학생 운동선수가 볼 수 있는 시각적 디스플레이에 상기 복합 이미지를 전송하는 단계를 포함하는, 방법.
  15. 제1항에 있어서,
    상기 정신운동 기술은 골프 클럽을 스윙하는 것을 포함하는, 방법.
  16. 제14항에 있어서,
    상기 시각적 디스플레이는 헤드업 디스플레이 또는 증강 현실 안경을 포함하는, 방법.
  17. 제14항에 있어서,
    상기 시각적 디스플레이는 TV 또는 모니터를 포함하는, 방법.
  18. 제1항에 있어서,
    추후 검색 및 분석을 위해 상기 정신운동 기술을 수행하는 상기 학생 운동선수의 실루엣 이미지를 유지하는 단계를 포함하는, 방법.
  19. 학생 운동선수에게 정신운동 기술을 교육하는 방법으로서,
    정신운동 기술을 수행하는 전문가의 동적 연결된 골격(DJS: Dynamic Jointed Skeleton) 모델을 생성하는 단계로서, 상기 DJS 모델은 에지들에 의해 연결된 정점들로 구성되고, 상기 정점들은 상기 전문가의 관절을 나타내며, 상기 에지들은 상기 전문가의 골격을 나타내는, 단계;
    상기 정신운동 기술을 수행하는 상기 학생 운동선수의 실루엣 이미지를 생성하는 단계;
    DJS 오버레이를 생성하는 단계로서, 상기 DJS 오버레이는 상기 정신운동 기술을 수행하는 상기 학생 운동선수의 실루엣 이미지 위에 오버레이된 상기 정신운동 기술을 수행하는 전문가의 상기 DJS 모델을 포함하며, 상기 전문가의 DJS 모델은 상기 DJS 오버레이에서 상기 학생 운동선수의 실루엣 이미지 내에 완전히 에워싸이는, 단계; 및
    상기 학생 운동선수가 상기 정신운동 기술을 수행할 때 상기 DJS 오버레이를 상기 학생 운동선수에게 디스플레이하여, 상기 학생 운동선수가 자신의 위치 및 움직임을 상기 DJS 모델에 기록된 전문가의 위치 및 움직임과 동시에 실시간으로 시각적 비교를 수행할 수 있게 하는, 단계;
    를 포함하는, 방법.
  20. 제19항에 있어서,
    상기 DJS 모델은 상기 전문가의 상완골, 전완골, 상부 다리뼈 및 하부 다리뼈를 각각 나타내는 에지들을 포함하는, 방법.
  21. 제20항에 있어서,
    상기 DJS 모델은 상기 전문가의 어깨 관절, 팔꿈치, 무릎 및 발목을 각각 나타내는 정점을 포함하는, 방법.
KR1020217025868A 2019-01-15 2020-01-15 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치 KR102529604B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962792875P 2019-01-15 2019-01-15
US62/792,875 2019-01-15
PCT/US2020/013647 WO2020150327A1 (en) 2019-01-15 2020-01-15 Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning

Publications (2)

Publication Number Publication Date
KR20210127936A KR20210127936A (ko) 2021-10-25
KR102529604B1 true KR102529604B1 (ko) 2023-05-08

Family

ID=71516275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025868A KR102529604B1 (ko) 2019-01-15 2020-01-15 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치

Country Status (6)

Country Link
US (2) US11638853B2 (ko)
EP (1) EP3911423A4 (ko)
KR (1) KR102529604B1 (ko)
AU (1) AU2020209768A1 (ko)
SG (1) SG11202107737WA (ko)
WO (1) WO2020150327A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6497530B2 (ja) * 2017-02-08 2019-04-10 パナソニックＩｐマネジメント株式会社 泳者状態表示システムおよび泳者状態表示方法
WO2019082376A1 (ja) * 2017-10-27 2019-05-02 株式会社アシックス 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム
EP3966834A4 (en) 2019-05-21 2023-02-08 Smith&Nephew, Inc. PHYSICAL ACTIVITY AND EXERCISE RATING
US11295527B2 (en) * 2019-08-30 2022-04-05 Sprongo, LLC Instant technique analysis for sports
US20210093920A1 (en) * 2019-09-26 2021-04-01 True Adherence, Inc. Personal Fitness Training System With Biomechanical Feedback
US11850498B2 (en) * 2019-12-13 2023-12-26 Rapsodo Pte. Ltd. Kinematic analysis of user form
WO2021148943A1 (en) * 2020-01-21 2021-07-29 Trackman A/S System and method for tracking sports balls
US11636777B2 (en) * 2020-01-21 2023-04-25 Roy Shteren System and method for improving exercise performance using a mobile device
US10898757B1 (en) 2020-01-21 2021-01-26 Topgolf Sweden Ab Three dimensional object tracking using combination of radar speed data and two dimensional image data
WO2021158688A1 (en) * 2020-02-05 2021-08-12 Rayem Inc. A portable apparatus, method, and system of golf club swing motion tracking and analysis
US11606617B2 (en) * 2020-03-11 2023-03-14 Augusta National, Inc. Method, apparatus and computer program product for presenting a sporting event
US11645873B1 (en) * 2020-03-20 2023-05-09 18Birdies Llc Systems, media, and methods providing a golf swing coach
US11729490B2 (en) * 2020-06-04 2023-08-15 Hole-In-One Media, Inc. Autonomous digital media processing systems and methods
WO2022056271A1 (en) * 2020-09-11 2022-03-17 University Of Iowa Research Foundation Methods and apapratus for machine learning to analyze musculo-skeletal rehabilitation from images
CN112308952B (zh) * 2020-10-15 2022-11-18 复旦大学 模仿给定视频中人物动作的3d角色动作生成系统和方法
KR102241414B1 (ko) * 2020-10-23 2021-04-19 아이디어링크 주식회사 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
KR102501811B1 (ko) * 2020-10-23 2023-02-21 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11794073B2 (en) 2021-02-03 2023-10-24 Altis Movement Technologies, Inc. System and method for generating movement based instruction
US20220245836A1 (en) * 2021-02-03 2022-08-04 Altis Movement Technologies, Inc. System and method for providing movement based instruction
WO2022197932A1 (en) * 2021-03-18 2022-09-22 K-Motion Interactive, Inc. Method and system for training an athletic motion by an individual
US20220319045A1 (en) * 2021-04-01 2022-10-06 MohammadSado Lulu System For Posture Detection Using The Camera Of A Hand-Held Device
US20220335849A1 (en) * 2021-04-20 2022-10-20 ProMentor, Inc. Digital video sharing, analysis, and aggregation
KR102501300B1 (ko) * 2021-05-03 2023-02-21 (주)릴리어스 동작 평가 방법
WO2022241280A1 (en) * 2021-05-14 2022-11-17 Boosta, Inc. Systems and methods for sports and movement training
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis
WO2022256912A1 (en) * 2021-06-07 2022-12-15 Xonic Golf Inc. System and method for analyzing golf swing videos and generating effective golf advice using artificial intelligence
CN115644804B (zh) * 2022-09-29 2023-08-18 浙江浙大西投脑机智能科技有限公司 一种基于钙成像恢复算法的双光子成像方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177930A1 (en) 2013-11-21 2017-06-22 Mo' Motion Ventures Jump Shot and Athletic Activity Analysis System
US20180261010A1 (en) 2017-03-07 2018-09-13 vGolf, LLC Mixed reality golf simulation and training system
US20190019321A1 (en) 2017-07-13 2019-01-17 Jeffrey THIELEN Holographic multi avatar training system interface and sonification associative training
US20200005544A1 (en) 2018-06-29 2020-01-02 Ssam Sports, Inc. Analyzing 2d movement in comparison with 3d avatar

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090221019A1 (en) 2005-06-22 2009-09-03 Koji Nakanishi Core-Modified Terpene Trilactones From Ginkgo Biloba Extract and Biological Evaluation Thereof
WO2008023250A1 (en) * 2006-08-25 2008-02-28 The Sports Production Company Limited Motion coaching device, method and system
WO2009061283A2 (en) * 2007-11-09 2009-05-14 National University Of Singapore Human motion analysis system and method
US8755569B2 (en) 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20110276153A1 (en) * 2010-04-06 2011-11-10 Allen Joseph Selner Method and system for facilitating golf swing instruction
US10086249B2 (en) * 2010-12-06 2018-10-02 Full-Swing Golf, Inc. Method and apparatus for simulated golf

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177930A1 (en) 2013-11-21 2017-06-22 Mo' Motion Ventures Jump Shot and Athletic Activity Analysis System
US20180261010A1 (en) 2017-03-07 2018-09-13 vGolf, LLC Mixed reality golf simulation and training system
US20190019321A1 (en) 2017-07-13 2019-01-17 Jeffrey THIELEN Holographic multi avatar training system interface and sonification associative training
US20200005544A1 (en) 2018-06-29 2020-01-02 Ssam Sports, Inc. Analyzing 2d movement in comparison with 3d avatar

Also Published As

Publication number Publication date
AU2020209768A1 (en) 2021-09-09
WO2020150327A1 (en) 2020-07-23
EP3911423A4 (en) 2022-10-26
US20230218948A1 (en) 2023-07-13
SG11202107737WA (en) 2021-08-30
US11638853B2 (en) 2023-05-02
US20200222757A1 (en) 2020-07-16
KR20210127936A (ko) 2021-10-25
EP3911423A1 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
KR102529604B1 (ko) 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
Akbaş et al. Application of virtual reality in competitive athletes–a review
US9878206B2 (en) Method for interactive training and analysis
US20200314489A1 (en) System and method for visual-based training
Hughes et al. Notational analysis of sport: Systems for better coaching and performance in sport
Miles et al. A review of virtual environments for training in ball sports
Vignais et al. Which technology to investigate visual perception in sport: Video vs. virtual reality
Wu et al. Spinpong-virtual reality table tennis skill acquisition using visual, haptic and temporal cues
US5904484A (en) Interactive motion training device and method
US6126449A (en) Interactive motion training device and method
US20180374383A1 (en) Coaching feedback system and method
JP6544551B1 (ja) スイング判定装置、スイング判定方法、および、プログラム。
US20160049089A1 (en) Method and apparatus for teaching repetitive kinesthetic motion
WO1998028053A9 (en) Interactive motion training device and method
Tisserand et al. Preservation and gamification of traditional sports
Brault et al. Virtual kicker vs. real goalkeeper in soccer: a way to explore goalkeeper’s performance
Kojima et al. Training archived physical skill through immersive virtual environment
Liebermann et al. The use of feedback-based technologies
Reid et al. Tennis science: how player and racket work together
Zhang et al. Research on the Relationship between Motion Performance and User Experience of Golf Virtual Simulation Putting Simulator
US20220288457A1 (en) Alternate reality system for a ball sport
CA2444492C (en) Processing system for interactive, personal and idiosyncratic control of images and devices
Oagaz Motor Skill Training in Virtual Reality and Skill Transfer via Effective Feedback Modalities
Farzinnejad et al. The Effect of an Exergame on the Shadow Play Skill Based on Muscle Memory for Young Female Participants: The Case of Forehand Drive in Table Tennis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant