KR20220029856A - 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치 - Google Patents

골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치 Download PDF

Info

Publication number
KR20220029856A
KR20220029856A KR1020200110884A KR20200110884A KR20220029856A KR 20220029856 A KR20220029856 A KR 20220029856A KR 1020200110884 A KR1020200110884 A KR 1020200110884A KR 20200110884 A KR20200110884 A KR 20200110884A KR 20220029856 A KR20220029856 A KR 20220029856A
Authority
KR
South Korea
Prior art keywords
player
fencing
attack
control unit
smart
Prior art date
Application number
KR1020200110884A
Other languages
English (en)
Inventor
유승수
Original Assignee
주식회사 멀틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 멀틱스 filed Critical 주식회사 멀틱스
Priority to KR1020200110884A priority Critical patent/KR20220029856A/ko
Publication of KR20220029856A publication Critical patent/KR20220029856A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/02—Training appliances or apparatus for special sports for fencing, e.g. means for indicating hits
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2214/00—Training methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 건물 또는 구조물 바닥에 직립 스탠딩되는 키오스크 몸체부(10)와; 상기 키오스크 몸체부(10)에 구비되어 선택 모드(Mode)의 생성, 터치 정보 연산, 컨츠 영상 제어를 수행하는 소프트웨어 및 프로세서를 구비한 처리 및 제어부(20)과; 상기 키오스크 몸체부(10)의 상부에 구비되어 선수에 전달될 신호(예를들어, 공격 시작 신호) 및 컨텐츠 영상을 표시하는 디스플레이부(30);를 포함하여 구성되고, 상기 처리 및 제어부(20)가 디스플레이부(30)에 상대 선수 역할을 하는 컨텐츠를 제공하고, 선수가 디스플레이부(30) 영역을 펜싱 검으로 가격하는 방식으로 구성되는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 관한 것이다.

Description

골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치 { Smart Fencing Simulation for Personal Training }
본 발명은 펜싱 선수 훈련용 또는 일반인 게임용으로 사요될 수 있는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 관한 것이다.
등록 특허 제10-1723011호는 펜싱 경기를 녹화한 영상 자료에서 상대 선수의 동작과 펜싱 검의 움직임 상태를 분석하여 사용자가 상대 선수에 따라 대응훈련을 실행하기 위한 시스템으로서, 펜싱 시합을 녹화한 다수의 영상 자료 및 선수에 대한 정보를 저장하는 데이터베이스, 상기 데이터베이스에 저장된 다수의 영상 자료에서 선택된 상대 선수에 대한 움직임 정보에서 상대 선수에 대한 공격부위를 판정하는 서버, 상기 서버에서 전송된 공격부위에 대한 정보를 상기 사용자가 인식할 수 있도록 표시하는 사용자 단말기를 포함하는 것을 특징으로 하는 펜싱 훈련 관리 시스템을 개시한다.
KR 10-0547966호는 검도게임장치에 관한 것으로, 더욱 상세하게는 게임플레이어가 죽도 등과 같은 타격도를 이용하여 디스플레이수단에서 표시하는 타격순서에 따라 피타격체의 타격타켓을 타격하면 타격포인트가 적산되고, 적산된 타격포인트가 기준이하로 미달될 경우 게임플레이어가 메고 있는 경고수단이 작동되어 게임플레이어의 등을 타격하도록 구성됨으로써 신체부위의 부상없이 남녀노소 누구나 즐길 수 있으면서 스트레스를 충분히 해소할 수 있는 검도게임장치를 제공함에 그 목적이 있으며, 목적을 달성하기 위하여 몸체의 높낮이조절수단과 좌우구동수단에 의해 피타격체가 상하좌우로 구동되도록 설치되고, 디스플레이수단에서 표시하는 타격순서에 따라 타격도로 피타격체를 타격하면 프로그램연산부와 제어부에서 타격포인트로 각각 환산 적산하도록 구성되는 검도게임장치에 있어서, 상기 피타격체의 각 장착홈에 구비되어 상기 디스플레이수단에서 표시하는 타격순서에 따라 발광전구가 점등되면서 게임플레이어가 투명탄성캡을 타격하면 충격감지용기가 안내봉을 따라 탄성후진되면서 다수의 충격감지센서와 접촉하도록 구성되는 타격타켓과; 게임플레이어가 등에 메도록 구성하되, 게임플레이어의 타격포인트가 설정된 기준타격포인트보다 낮은 경우 상기 제어부에 의해 제어되는 구동모터가 구동되어 크랭크축상의 크랭크암이 회전되면 링크바에 의해 연결된 구동로드가 전후진되면서 안마글러브가 순차적으로 게임플레이어의 등을 타격하도록 구성되는 경고수단을 포함하는 것을 특징으로 하는 검도게임장치를 개시한다.
본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 펜싱 선수들의 개인 훈련을 목적으로 개발된 키오스크형태의 훈련시스템으로 기존에 사용하는 훈련 장비와 차별화 된 보다 세밀화 및 전문화 된 훈련 프로그램 기능과 뎁스 또는 RGB 카메라를 장착하여 현실감 있는 가상의 상대와 대결 훈련, 훈련 양과 정확도 등 선수의 훈련 DB기록이 체계적 관리가 가능한 시뮬레이션 장치를 제공하기 위함이다.
본 발명은 선수 골격의 2D 좌표 또는 3D 좌표를 가공하여 만든 파라미터를 이용하여 라이브러리 정보(미리 저장된 공격방어 동작의 특성) 또는 인공지능을 이용하여 동작의 종류를 분류하고, 선수의 동작을 선택분류 된 하나의 동작으로 보고 그 매칭 동작에 해당하는 단계별 표준특징 데이터와 비교하여 공격방어에 성공 여부를 판별하고 디스플레이에 반영할 수 있는 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치를 제공하기 위함이다.
본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 건물 또는 구조물 바닥에 위치하는 키오스크 몸체부(10)와; 상기 키오스크 몸체부(10)에 구비되어 선택 모드(Mode)의 생성, 터치 정보 연산, 컨츠 영상 제어를 수행하는 소프트웨어 및 프로세서를 구비한 처리 및 제어부(20)과; 상기 키오스크 몸체부(10)로부터 선수에 전달될 신호(예를들어, 공격 시작 신호) 및 컨텐츠 영상을 표시하는 디스플레이부(30);를 포함하여 구성되고, 상기 처리 및 제어부(20)가 디스플레이부(30)에 상대 선수 역할을 하는 컨텐츠를 제공하고, 선수가 디스플레이부(30) 영역을 펜싱 검으로 가격 또는 터치하는 것을 특징이다.
디스플레이부(30)는, 리지드한 표출면에 투명재질의 보호커버를 구비한 통상의 디스플레이 장치, 영상의 투사에 의해 이미지를 표출하는 유연성 피투사수단, 또는, 공중에 영상을 생성하는 무형의 디스플레이 수단 중에서 선택되는 하나 인 것이 바람직하다.
본 발명의 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치는 뎁스 또는 RGB 카메라(51)를 이용하여 선수의 훈련 동작 영상을 촬영하여 제1 시간 간격(예를들어, △T1 = 1 /10 ~ 1 / 100) sec)으로 2D 또는 3D 좌표를 제공하는 선수 영상 생성부(50);를 더 포함하여 구성되고, 상기 선수 영상 생성부(50)의 3차원 좌표 생성 알고리즘(55)은, 상기 선수 영상 이미지로부터 인체의 골격 정보를 추출하고, 인체의 관절점(joints)들 또는 골반의 위치를 지시하는 3차원 좌표를 해당 프레임(Frame)별로 생성하여 프레임별(Ft, t = 0, -1, -2,...,) 인체 주요점 3차원 좌표(Xti, Yti, Zti, i = 1, 2, 3, ..., N)를 상기 처리 및 제어부(20)에 제공하고,
상기 처리 및 제어부(20)는, 상기 인체 주요점 2차원 또는 3차원 좌표(Xi, Yi, Zi)에 기초하여 생성된 "선수 특징 데이터(PVT_선수)"를 이용하여 "동작의 종류(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어)"를 판별한다.
본 발명의 본 발명의 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 처리 및 제어부(20)는, "동작의 종류가 판별"된 상기 "선수 특징 데이터(Data_선수)"를 데이터베이스(25)에 미리 저장된 "동작 단계별, 표준 특징 데이터(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어, Data_표준)"와 비교하여, 선수의 동작(공격, 방어)이, 인터페이스에 의해 미리 입력된 단계(수준, 중급, 상급, 초급)의 "동작 단계별 표준 특징 데이터( Data_표준)"를 만족하는 경우 성공으로 판별하고, 그 단계의 "동작 단계별 표준 특징 데이터"를 만족하지 못하는 경우 실패(공격 실패 방어 실패)로 판정한다.
본 발명에 따르는 경우, 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 펜싱 선수들의 개인 훈련을 목적으로 개발된 키오스크형태의 훈련시스템으로 기존에 사용하는 훈련 장비와 차별화 된 보다 세밀화 및 전문화 된 훈련 프로그램 기능과 뎁스 또는 RGB 카메라를 장착하여 현실감 있는 가상의 상대와 대결 훈련, 훈련 양과 정확도 등 선수의 훈련 DB기록이 체계적 관리가 가능한 시뮬레이션 장치가 제공된다.
본 발명에 따르는 경우은 선수 골격의 3D(2D) 좌표 또는 3D(2D) 좌표를 가공하여 만든 파라미터를 이용하여 라이브러리 정보(미리 저장된 공격방어 동작의 특성) 또는 인공지능을 이용하여 동작의 종류를 분류하고, 선수의 동작을 선택분류된 하나의 동작으로 보고 그 매칭 동작에 해당하는 단계별 표준특징 데이터와 비교하여 공격방어에 성공 여부를 판별하고 디스플레이에 반영할 수 있는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치를 제공된다.
도 1(a, b)은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치 전체구성도.
도 2는 본 발명의 동작인식 및 성공여부 판별 설명도.
도 3은 본 발명의 동작단계별 표준특징 데이터 세부설명도.
도 4는 선수의 동작 데이터와 표준특징 데이터를 비교 판별 설명도.
도 5는 본 발명의 동작인식 대상이 되는 선수의 좌표 및 골격 설명도.
도 6, 도7은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치의 모드 설명도.
도 8은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치 중 트레이너모드 설명도.
이하에서 본 발명의 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치 전체구성도, 도 2는 본 발명의 동작인식 및 성공여부 판별 설명도, 도 3은 본 발명의 동작단계별 표준특징 데이터 세부설명도, 도 4는 선수의 동작 데이터와 표준특징 데이터를 비교 판별 설명도, 도 5는 본 발명의 동작인식 대상이 되는 선수의 좌표 및 골격 설명도, 도 6, 도7은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치의 모드 설명도이고, 도 8은 본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치 중 트레이너모드 설명도이다.
<하드웨어적 부분>
본 발명의 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 건물 또는 구조물 바닥에 위치하는 키오스크 몸체부(10)와, 상기 키오스크 몸체부(10)에 구비되어 선택 모드(Mode)의 생성, 터치 정보 연산, 컨츠 영상 제어를 수행하는 소프트웨어 및 프로세서를 구비한 처리 및 제어부(20)과, 상기 키오스크 몸체부(10)로부터 선수에 전달될 신호(예를들어, 공격 시작 신호) 및 컨텐츠 영상을 표시하는 디스플레이부(30);를 포함하여 구성된다. 처리 및 제어부(20)가 디스플레이부(30)에 상대 선수 역할을 하는 컨텐츠를 제공하고, 선수가 디스플레이부(30) 영역을 펜싱 검으로 가격 또는 터치하는 것이다. 키오스크 몸체부(10)는 건물 또는 구조물 바닥에 직립 스탠딩된다. 펜싱 칼 끝에 우레탄 볼을 장착하여 부상위험 및 기기 스크린 파손 방지할 수 있다.
디스플레이부(30)는 선수의 전방에 위치한다. 뎁스 또는 RGB 카메라(51)는 전측방 사선 또는 측방에 위치한다. 디스플레이부(30)는, 리지드한 표출면에 투명재질의 보호커버를 구비한 통상의 디스플레이 장치, 영상의 투사에 의해 이미지를 표출하는 유연성 피투사수단, 또는, 공중에 영상을 생성하는 무형의 디스플레이 수단 중에서 선택되는 하나 일수 있다.
처리 및 제어부(20)는 키오스크 몸체부(10)에 구비되어 선택 모드(Mode)의 생성, 터치 정보 연산, 컨츠 영상 제어를 수행하는 소프트웨어 및 프로세서를 구비한다. 디스플레이부(30)는 키오스크 몸체부(10)의 상부에 구비되어 선수에 전달될 신호(예를들어, 공격 시작 신호) 및 컨텐츠 영상을 표시한다.
본 발명이 공지기술과 구별되는 주된 특징 중 하나는 특징은 처리 및 제어부(20)가 디스플레이부(30)에 상대 선수 역할을 하는 컨텐츠를 제공하고, 선수가 디스플레이부(30) 영역을 펜싱 검으로 가격하는 방식으로 구성되는 것이다.
본 발명은 투명재질의 보호커버(40)를 더 포함하며 보호커버(40)은 디스플레이부(30)의 전방에 부착 또는 이격되어 위치하고, 선수가 펜싱 검을 찌르는 타켓이 되며 펜싱 검의 접촉을 감지하는 기능이 구비된다. 본 발명의 일실시에 따른 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 있어서 보호커버(40)는, 키오스크의 화면 파손을 방지하는 기능 또는 유리의 취성을 개선한 구비된 강화 유리(tempered glass) 또는 투명재질의 유리섬유강화플라스틱(glass fiber reinforced plastic )으로 구성된다.
본 발명의 일실시에 따른 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 있어서 선택 모드(Mode)는, 1) 난이도 조절 가능한 스탠드, 공격, 반격, 스탭 트레이닝의 4가지 모드를 포함하여, 이중에서 하나의 모드를 선택하여 훈련이 가능 트레이닝 모드(선수 훈련용)와, 2) 플레뢰, 에페, 사브르 경기 모드 선택 메뉴를 포함하여 하나의 경기 모드를 선택하여 처리 제어부가 생성한 가상의 상대 선수와 토너먼트 방식의 대련하는 어드밴스 모드를 포함하여 구성되는 것이 바람직하다.
본 발명의 일실시에 따른 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 보호커버(40)의 전방에 펜싱 검의 접촉을 감지하는 터치 센서부(45)가 더 구비되는 것이 바람직하다. 터치센서부(45)는 IR (적외선) 방식 또는 정전용량 방식 중에서 선택되는 하나이고, 보호커버(40)와 터치센서부(45)는 조립 및 해체가 용이하도록 일체형이 아닌 분리형으로 구성된다. 이에 더하여 보호커버(40)의 전면에 펜싱 칼의 밀림을 방지하는 투명보호필름(47)이 더 구비되는 것이 바람직하다.
본 발명의 일실시에 따른 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 처리 및 제어부(20)는, 개인 프로필 관리(DB화)를 훈련량 조절 및 취약점 확인이 가능하여 트레이닝 효과를 높이고 훈련기록관리가 가능한훈련용 스마트 펜싱 시뮬레이션 프로그램을 포함한다.
여기서 훈련용 스마트 펜싱 시뮬레이션 프로그램은, 개인 프로필 관리(DB화), 개인 프로필 저장(선수 이름, 프로필 사진, 오른손/왼손 선택), 일별 훈련 결과 확인(훈련시간, 훈련 횟수, 훈련별 평균 정확도, 순발력)월별 통계 정보 표시(누적 훈련시간, 각 훈련별 평균 정확도, 순발력)스파링 모드 대전 결과 표시(전적 표시 및 올림픽 모드 메달 획득 표시),하는 기능을 구비한다.
또한, 감독 또는 코치가 트레이닝 결과를 트레이너 모드를 통해 확인할 수 있어서, 훈련량 조절 및 훈련 취약점 확인을 통한 트레이닝 효과 극대화할 수 있게 구성된다.
<동작 인식 및 승패의 결정>
도 2, 도 3, 도 4에 도시된 바와 같이, 본 발명의 일실시에 따른 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 뎁스 또는 RGB 카메라 (51)를 이용하여 선수의 훈련 동작 영상을 촬영하여 제1 시간 간격(예를들어, △T1 = 1 /10 ~ 1 / 100) sec)으로 2D 또는 3D 좌표를 제공하는 선수 영상 생성부(50);를 더 포함하여 구성된다.
여기서, 선수 영상 생성부(50)의 3차원 좌표 생성 알고리즘(55)은, 상기 선수 영상 이미지로부터 인체의 골격 정보를 추출하고, 인체의 관절점(joints)들 또는 골반의 위치를 지시하는 3차원 좌표를 해당 프레임(Frame)별로 생성하여 프레임별(Ft, t = 0, -1, -2,...,) 인체 주요점 2차원 또는 3차원 좌표(Xti, Yti, Zti, i = 1, 2, 3, ..., N)를 상기 처리 및 제어부(20)에 제공한다.
도 2, 도 3, 도 4에 도시된 바와 같이, 처리 및 제어부(20)는, 인체 주요점 3차원 좌표(Xi, Yi, Zi)에 기초하여 생성된 "선수 특징 데이터(PVT_선수)"를 이용하여 "동작의 종류(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어)"를 판별한다.
도 2, 도 3, 도 4에 도시된 바와 같이, 본 발명의 일실시에 따른 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 처리 및 제어부(20)는, "동작의 종류가 판별"된 상기 "선수 특징 데이터(Data_선수)"를 데이터 베이스(25)에 미리 저장된 "동작 단계별, 표준 특징 데이터(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어, Data_표준)"와 비교한다.
여기서, 선수의 동작(공격, 방어)이, 인터페이스에 의해 미리 입력된 단계(수준, 중급, 상급, 초급)의 "동작 단계별 표준 특징 데이터( Data_표준)"를 만족하는 경우 성공으로 판별하고, 그 단계의 "동작 단계별 표준 특징 데이터"를 만족하지 못하는 경우 실패(공격 실패 방어 실패)로 판정한다.
도 2, 도 3, 도 4에 도시된 바와 같이, 본 발명의 일실시에 따른 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 선수 특징 파라미터(Data_선수)는, 절대 변위(위치, Position) 또는 상대 변위(위치), 이동 속도(Velocity), 경과 시간(Time)으로 구성된다.
변위(위치, X, Y, Z)는 키오스크 몸체부(10)로부터 골반(몸의 중심)의 절대 변위 및 골반을 기준으로 한 관절들 및 펜싱검 선단부의 상대변위(Position, 변위)이다. 속도는 골반, 좌 우 손목(양손),좌 우 발목(양발), 양 어깨 관절점, 머리, 및 펜싱 검 선단의 이동속도(Velocity, 속도)이다.
경과 시간(Time)은 처리 및 제어부(20)가 디스플레이부(30)에 직접 또는 가상의 상대 선수 컨텐츠 영상을 통해 생성한 신호가 표출되는 시작 순간((디스플레이 영상으로 표시되는 가상의 상대 선수가 공격 개시 또는 방어 동작을 취하는 순간, 또는 디스플레이에 적색등 녹색등이 표시되는 순간, T_0)부터 경과된 시간을 말한다.
도 2, 도 3, 도 4에 도시된 바와 같이, 본 발명의 일실시에 따른 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 처리 및 제어부(20)는, 1) 선수의 동작이 공격으로 판별되는 경우, 2) 선수 특징 파라미터(Data_선수) 중, 동작 스트림(프레임의 시계열적 배열) 중에서 연산된, 손목의 최대 이동 속도(V_max, 손목), 팬싱 검 선단의 최대 전진 속도(V_max, 손목), 발목의 최대 이동 속도(V_max, 손목), 골반의 최대 이동 속도(V_max, 손목) 중에서 선택된 적어도 하나 최대 속도가, 동작 단계별 표준 특징 데이터( Data_표준)에 미리 저장된 손목의 최대 이동 속도(V_max, 손목), 팬싱 검 선단의 최대 전진 속도(V_max, 손목), 발목의 최대 이동 속도(V_max, 손목), 골반의 최대 이동 속도(V_max, 손목) 중 하나의 값을 초과 하는 경우, 공격 성공으로 판정한다.
또한 처리 및 제어부(20)는, 1) 선수의 동작이 공격으로 판별되는 경우, 2) 선수 특징 파라미터(Data_선수) 중 신호 발생부터 디스플레이 검 터치까지 걸린 경과 시간인, 검 터치 경과 시간(T_검 터치)가 동작 단계별 표준 특징 데이터( Data_표준)에 미리 저장된 신호 발생부터 검 터치까지의 경과 시간(T_검 터치)보다, 작은 경우 공격 성공으로 판정할 수 있다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 일실시에 따른 개인 훈련용 스마트 펜싱 AR 시뮬레이션 장치에 있어서, 펜싱 검의 단부에 가속도를 계측하여 처리 및 제어부(20)에 무선 전송하는 는 가속도 센서가 더 부착되는 것이 바람직하다.
여기서, 처리 및 제어부(20)는 상기 가속도 센서에서 전송된 검 선단의 가속도 값이 임계값 이상인 경우, 이를 트리거 신호로 하여 상기 선수 영상 생성부(50)에 스피드 업 신호를 인가하여, 전후 프레임의 시간 간격을 제2 시간 간격(예를들어, △T2 = 1 /30 ~ 1 / 200) sec)으로 단축 또는 3D 좌표 생성 주파수를 증가시킨다.
또한 처리 및 제어부(20)는, 동작 스트림에서 처리하는 프레임 간의 시간 간격을 가속도 트리거일 신호가 없을 보다 1/2 ~ 1/10로 줄여서 동작의 고속 진행에 의한 위치 궤적 또는 최대속도 정보의 누설을 방지하게 된다.
본 발명에 따르는 경우 터치스크린, 화면보호, 강화유리, 내부장착형 고성능PC, AR카메라, 스텝용센서 또는 카메라 인식 등으로 구성된 키오스크형 AR시뮬레이션 시스템을 제공한다. 또한 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치는 키오스크 형태의 기기에서 구현이 되는 장비로서 실제 펜싱 선수의 훈련방법을 고려하여 설계되었으며, 펜싱 선수 및 코치의 경험을 반영한 시스템을 제공한다. AR 카메라와 가상 캐릭터를 접목하여 현실감 있는 훈련과 실제 선수가 사용하는 펜싱 검을 기기 화면에 직접 찌르기(터치)하는 방식을 사용하여 훈련이 가능하다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
10 : 키오스크 몸체부
20 : 처리 및 제어부
30 : 디스플레이부
40 : 보호커버부

Claims (9)

  1. 건물 또는 구조물 바닥에 위치하는 키오스크 몸체부(10)와;
    상기 키오스크 몸체부(10)에 구비되어 선택 모드(Mode)의 생성, 터치 정보 연산, 컨츠 영상 제어를 수행하는 소프트웨어 및 프로세서를 구비한 처리 및 제어부(20)과;
    상기 키오스크 몸체부(10)로부터 선수에 전달될 신호(예를들어, 공격 시작 신호) 및 컨텐츠 영상을 표시하는 디스플레이부(30);를 포함하여 구성되고,
    상기 처리 및 제어부(20)가 디스플레이부(30)에 상대 선수 역할을 하는 컨텐츠를 제공하고, 선수가 디스플레이부(30) 영역을 펜싱 검으로 가격 또는 터치하는 것을 특징으로 하는 스마트 펜싱 AR 시뮬레이션 장치.
  2. 제1항에 있어서,
    상기 디스플레이부(30)는,
    리지드한 표출면에 투명재질의 보호커버를 구비한 통상의 디스플레이 장치,
    영상의 투사에 의해 이미지를 표출하는 유연성 피투사수단,
    또는, 공중에 영상을 생성하는 무형의 디스플레이 수단 중에서 선택되는 하나 인 것을 특징으로 하는 스마트 펜싱 AR 시뮬레이션 장치.
  3. 제1항에 있어서,
    상기 선택 모드(Mode)는,
    1) 난이도 조절 가능한 스탠드, 공격, 반격, 스탭 트레이닝의 4가지 모드를 포함하여, 이중에서 하나의 모드를 선택하여 훈련이 가능 트레이닝 모드(선수 훈련용)와,
    2) 플레뢰, 에페, 사브르 경기 모드 선택 메뉴를 포함하여 하나의 경기 모드를 선택하여 처리 제어부가 생성한 가상의 상대 선수와 토너먼트 방식의 대련하는 어드밴스 모드,
    를 포함하여 구성되는 것을 특징으로 하는 스마트 펜싱 AR 시뮬레이션 장치.
  4. 제1항에 있어서,
    뎁스 또는 RGB 카메라 (51)를 이용하여 선수의 훈련 동작 영상을 촬영하여 제1 시간 간격(예를들어, △T1 = 1 /10 ~ 1 / 100) sec)으로 2D 또는 3D 좌표를 제공하는 선수 영상 생성부(50);를 더 포함하여 구성되고,

    상기 선수 영상 생성부(50)의 3차원 좌표 생성 알고리즘(55)은, 상기 선수 영상 이미지로부터 인체의 골격 정보를 추출하고, 인체의 관절점(joints)들 또는 골반의 위치를 지시하는 2차원 또는 3차원 좌표를 해당 프레임(Frame)별로 생성하여 프레임별(Ft, t = 0, -1, -2,...,) 인체 주요점 좌표(Xti, Yti, Zti, i = 1, 2, 3, ..., N)를 상기 처리 및 제어부(20)에 제공하고,

    상기 처리 및 제어부(20)는,
    상기 인체 주요점 2차원 또는 3차원 좌표(Xi, Yi, Zi)에 기초하여 생성된 "선수 특징 데이터(PVT_선수)"를 이용하여 "동작의 종류(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어)"를 판별하는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치.
  5. 제4항에 있어서,
    상기 처리 및 제어부(20)는,
    "동작의 종류가 판별"된 상기 "선수 특징 데이터(Data_선수)"를 데이터 베이스(25)에 미리 저장된 "동작 단계별, 표준 특징 데이터(좌측 공격, 우측 공격, 상체 공격, 하체 공격, 좌측 방어, 우측 방어, 상체 방어, 하체 방어, Data_표준)"와 비교하여,
    선수의 동작(공격, 방어)이, 인터페이스에 의해 미리 입력된 단계(수준, 중급, 상급, 초급)의 "동작 단계별 표준 특징 데이터( Data_표준)"를 만족하는 경우 성공으로 판별하고, 그 단계의 "동작 단계별 표준 특징 데이터"를 만족하지 못하는 경우 실패(공격 실패 방어 실패)로 판정하는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치.
  6. 제4항에 있어서,
    상기 선수 특징 파라미터(Data_선수)는,
    키오스크 몸체부(10)로부터 골반(몸의 중심)의 절대 변위 및 골반을 기준으로 한 관절들 및 펜싱검 선단부의 상대변위(Position, 변위)
    골반, 좌 우 손목(양손),좌 우 발목(양발), 양 어깨 관절점, 머리, 및 펜싱 검 선단의 이동속도(Velocity, 속도),
    상기 처리 및 제어부(20)가 디스플레이부(30)에 직접 또는 가상의 상대 선수 컨텐츠 영상을 통해 생성한 신호가 표출되는 시작 순간((디스플레이 영상으로 표시되는 가상의 상대 선수가 공격 개시 또는 방어 동작을 취하는 순간, 또는 디스플레이에 적색등 녹색등이 표시되는 순간, T_0)부터 경과된 경과 시간(Time),
    을 포함하여 구성되는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치.
  7. 제4항에 있어서,
    상기 처리 및 제어부(20)는,
    1) 선수의 동작이 공격으로 판별되는 경우,
    2) 선수 특징 파라미터(Data_선수) 중, 동작 스트림(프레임의 시계열적 배열) 중에서 연산된, 손목의 최대 이동 속도(V_max, 손목), 팬싱 검 선단의 최대 전진 속도(V_max, 손목), 발목의 최대 이동 속도(V_max, 손목), 골반의 최대 이동 속도(V_max, 손목) 중에서 선택된 적어도 하나 최대 속도가,
    동작 단계별 표준 특징 데이터( Data_표준)에 미리 저장된 손목의 최대 이동 속도(V_max, 손목), 팬싱 검 선단의 최대 전진 속도(V_max, 손목), 발목의 최대 이동 속도(V_max, 손목), 골반의 최대 이동 속도(V_max, 손목) 중 하나의 값을 초과 하는 경우, 공격 성공으로 판정하는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치,
  8. 제4항에 있어서,
    상기 처리 및 제어부(20)는,
    1) 선수의 동작이 공격으로 판별되는 경우,
    2) 선수 특징 파라미터(Data_선수) 중 신호 발생부터 디스플레이 검 터치까지 걸린 경과 시간인, 검 터치 경과 시간(T_검 터치)이,
    동작 단계별 표준 특징 데이터( Data_표준)에 미리 저장된 신호 발생부터 검 터치까지의 경과 시간(T_검 터치)보다,
    작은 경우 공격 성공으로 판정하는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치.
  9. 제1항에 있어서,
    펜싱 검의 단부에 가속도를 계측하여 처리 및 제어부(20)에 무선 전송하는 는 가속도 센서가 더 부착되고,

    처리 및 제어부(20)는 상기 가속도 센서에서 전송된 검 선단의 가속도 값이 임계값 이상인 경우, 이를 트리거 신호로 하여 상기 선수 영상 생성부(50)에 스피드 업 신호를 인가하여, 전후 프레임의 시간 간격을 제2 시간 간격(예를들어, △T2 = 1 /30 ~ 1 / 200) sec)으로 단축 또는 3D 좌표 생성 주파수를 증가시키며,

    상기 처리 및 제어부(20)는, 동작 스트림에서 처리하는 프레임 간의 시간 간격을 가속도 트리거일 신호가 없을 보다 1/2 ~ 1/10로 줄여서 동작의 고속 진행에 의한 위치 궤적 또는 최대속도 정보의 누설을 방지하는 것을 특징으로 하는 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 AR 시뮬레이션 장치.
KR1020200110884A 2020-09-01 2020-09-01 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치 KR20220029856A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110884A KR20220029856A (ko) 2020-09-01 2020-09-01 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110884A KR20220029856A (ko) 2020-09-01 2020-09-01 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치

Publications (1)

Publication Number Publication Date
KR20220029856A true KR20220029856A (ko) 2022-03-10

Family

ID=80816503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110884A KR20220029856A (ko) 2020-09-01 2020-09-01 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치

Country Status (1)

Country Link
KR (1) KR20220029856A (ko)

Similar Documents

Publication Publication Date Title
US12002293B2 (en) Systems and methods for evaluating player performance in sporting events
US9370704B2 (en) Trajectory detection and feedback system for tennis
US9886624B1 (en) Systems and methods for tracking dribbling in sporting environments
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
JP6983172B2 (ja) スポーツ用品の運動解析を行うための方法及び装置
KR102045439B1 (ko) 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법
CN103959094B (zh) 用于辅助运动训练的系统和方法
KR101048089B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US20070021199A1 (en) Interactive games with prediction method
US20070021207A1 (en) Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method
US11040287B2 (en) Experience-oriented virtual baseball game apparatus and virtual baseball game control method using the same
US9454825B2 (en) Predictive flight path and non-destructive marking system and method
CN101991949B (zh) 一种基于计算机的虚拟乒乓球运动控制方法及系统
JP5584961B2 (ja) ゴルフクラブの試打システムおよびゴルフクラブの試打方法
US20110256914A1 (en) Interactive games with prediction and plan with assisted learning method
WO2020010040A1 (en) Systems and methods for determining reduced player performance in sporting events
US11458398B2 (en) Trampoline video game
KR20080098136A (ko) 퍼팅연습이 가능한 스크린골프 시스템과 이를 이용한연습방법
JP5446572B2 (ja) 画像生成システム、制御プログラム、及び記録媒体
KR101912126B1 (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
KR20100124899A (ko) 입체 영상을 이용한 스크린 골프 시스템
KR102152848B1 (ko) 개인 훈련용 스마트 펜싱 ar 시뮬레이션 장치
CN111672089B (zh) 一种针对多人对抗类项目的电子计分系统及实现方法
JP2002248187A (ja) ゴルフ等運動練習目標達成システム及びゴルフ練習装置
KR20220029856A (ko) 골격 정보 기반 처리 알고리즘을 갖는 스마트 펜싱 ar 시뮬레이션 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application