KR20220135819A - 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템 - Google Patents

다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템 Download PDF

Info

Publication number
KR20220135819A
KR20220135819A KR1020210041993A KR20210041993A KR20220135819A KR 20220135819 A KR20220135819 A KR 20220135819A KR 1020210041993 A KR1020210041993 A KR 1020210041993A KR 20210041993 A KR20210041993 A KR 20210041993A KR 20220135819 A KR20220135819 A KR 20220135819A
Authority
KR
South Korea
Prior art keywords
striking
moving
detected
sport
impact
Prior art date
Application number
KR1020210041993A
Other languages
English (en)
Inventor
김종성
양성일
윤민성
장시환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210041993A priority Critical patent/KR20220135819A/ko
Priority to US17/509,615 priority patent/US20220319151A1/en
Publication of KR20220135819A publication Critical patent/KR20220135819A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템에 관한 것이다.
본 발명은 타격체와 이동체로 이루어진 대상체의 상단에 설치되어, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득하는 고속 스테레오 카메라 장치; 상기 획득한 스테레오 영상 시퀀스에서 객체를 검출하는 객체 검출부; 상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식하는 이동체 인식부; 상기 이동체 인식부를 통해 이동체를 인식하면, 이동체를 제외한 객체를 타격체로 검출하는 타격체 검출부; 검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적하는 대상체 추적부; 및 상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여, 대상체의 3차원 모션 정보를 분석하는 모션 분석부를 포함한다.

Description

다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템{Impact motion recognition system for screen-based multi-sports coaching}
본 발명은 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템에 관한 것이다.
종래의 스크린 스포츠를 위한 임팩트 동작 분석 기술은 특허출원 제10-2015-0082121호, 제10-2015-0108014호, 제10-2017-0009057호 등과 같이 골프 클럽과 같은 도구에 가속도 센서, 자이로 센서 등으로 구성된 모션 측정 센서를 부착하여 스윙 속도 및 궤적 등을 분석하는 부착형 센서 방식과, 특허등록 제10-1300374호 등과 같이 타석에 적외선 센서, 초음파 센서 등으로 구성된 모션 감지 센서를 부착하여 임팩트 순간을 인식한 후 스윙 속도 등을 분석하는 바닥형 센서 방식이 존재한다.
이러한 부착형 센서 또는 바닥형 센서 방식의 임팩트 동작 인식 기술은 스크린 스포츠 시스템과 별도로 코칭을 위해서 특수한 센서를 신체나 도구에 부착하거나 타석에 설치해야 하는 어려움이 있으며, 스포츠 종목마다 서로 다른 센서를 부착하거나 또는 설치하는 어려움 때문에 다종목 스크린 스포츠 코칭 용도로는 큰 제약이 있다.
본 발명은 종래 문제점을 해결하기 위한 것으로, 다종목 스크린 스포츠 시스템을 위해서 사용될 수 있는 고속 스테레오 카메라를 통해서 획득되는 영상만을 이용하여 움직이는 객체를 검출한 후 임팩트 동작을 인식하고, 사용자가 타격체로 이동체를 타격하는 임팩트 순간의 시간 정보와 임팩트 순간의 이동체와 타격체의 3차원 궤적, 속도, 각도, 스핀 등 3차원 모션 정보를 스포츠 종목에 관계없이 자동으로 분석하여 제공할 수 있는 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템은 타격체와 이동체로 이루어진 대상체의 상단에 설치되어, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득하는 고속 스테레오 카메라 장치; 상기 획득한 스테레오 영상 시퀀스에서 객체를 검출하는 객체 검출부; 상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식하는 이동체 인식부; 상기 이동체 인식부를 통해 이동체를 인식하면, 이동체를 제외한 객체를 타격체로 검출하는 타격체 검출부; 검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적하는 대상체 추적부; 및 상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여, 대상체의 3차원 모션 정보를 분석하는 모션 분석부를 포함한다.
상기 고속 스테레오 카메라 장치는, 300fps 이상의 촬영 속도를 갖는 것이 바람직하다.
상기 객체 검출부는, 상기 획득한 스테레오 영상 시퀀스에서 명도 차이를 통해 배경과 대상체를 분류하고, 배경을 제거하는 것이 바람직하다.
상기 이동체 인식부는, 검출된 객체들 중에서 정지해 있는 객체는 제외하고, 움직임이 있는 객체들 중에서 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체인지 판단하고, 움직임이 있는 이동체가 있다면 임팩트 동작이 발생한 것으로 판단하는 것이 바람직하다.
상기 타격체 검출부는, 검출된 타격체의 모션 분석을 위해 검출된 타격체의 특징점 만을 데이터로 저장하는 것이 바람직하다.
상기 모션 분석부는, 삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석하는 것이 바람직하다.
상기 고속 스테레오 카메라 보정 데이터는, 각각의 초점 길이, 광중심, 3차원 방향 및 3차원 위치 정보를 포함한다.
또한, 본 발명은 고휘도의 적외선 조명을 대상체에 제공하는 적외선 조명 장치를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법은 타격체와 이동체로 이루어진 대상체의 상단에 설치된 고속 스테레오 카메라 장치에 의해, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득하는 단계; 객체 검출부에 의해, 상기 획득한 스테레오 영상 시퀀스에서 움직임을 갖는 객체를 검출하는 단계; 이동체 인식부에 의해, 상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식하는 단계; 타격체 검출부에 의해, 임팩트 동작을 인식을 통해 이동체를 제외한 객체를 타격체로 검출하는 단계; 대상체 추적부에 의해, 상기 검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적하는 단계; 및 모션 분석부에 의해, 상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여 대상체의 3차원 모션 정보를 분석하는 단계를 포함한다.
상기 이동체를 인식하는 단계는, 검출된 객체들 중에서 정지해 있는 객체는 제외하고, 움직임이 있는 객체들 중에서 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체인지 판단하고, 움직임이 있는 이동체가 있다면 임팩트 동작이 발생한 것으로 판단한다.
상기 모션을 분석하는 단계는, 삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석한다.
본 발명의 일 실시예에 따르면, 실내에서 다종목 스크린 스포츠 시스템을 통해서 안전하고 쉽게 스크린 스포츠를 배우고자 하는 사용자를 코칭하기 위해서 부착형 센서 또는 바닥형 센서를 사용하지 않고서 다종목 스크린 스포츠 시스템을 위해서 사용될 수 있는 고속 스테레오 카메라를 통해서 획득되는 영상만을 통해 스포츠에서 가장 중요한 축구 킥, 야구 배팅, 골프 스윙 임팩트 동작을 인식한 후 사용자가 타격체로 이동체를 타격하는 임팩트 순간의 시간 정보와 임팩트 순간의 이동체와 타격체의 3차원 궤적, 속도, 각도, 스핀 등 3차원 모션 정보를 스포츠 종목에 관계없이 자동으로 분석하여 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템을 설명하기 위한 구성블록도.
도 2는 도 1에 도시된 스테레오 카메라 장치의 설치 예를 설명하기 위한 참고도.
도 3는 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템에서 야구공과 배트를 촬영한 스테레오 영상 시퀀스의 예를 설명하기 위한 참고도.
도 4은 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템에서 축구공과 신발을 촬영한 스테레오 영상 시퀀스의 예를 설명하기 위한 참고도.
도 5는 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템에서 골프공과 골프체를 촬영한 스테레오 영상 시퀀스의 예를 설명하기 위한 참고도.
도 6a 내지 도 6f는 본 발명의 일 실시예에서 스테레오 영상 시퀀스에서 이동체와 타격체가 촬영된 예를 설명하기 위한 참고도.
도 7은 본 발명의 일 실시예에 중 야구공의 이동체와 배트의 타격체에 대한 3차원 모션을 분석하는 예를 설명하기 위한 참고도.
도 8은 본 발명의 일 실시예에 중 축구공의 이동체와 신발의 타격체에 대한 3차원 모션을 분석하는 예를 설명하기 위한 참고도.
도 9은 본 발명의 일 실시예에 중 골프공의 이동체와 골프체의 타격체에 대한 3차원 모션을 분석하는 예를 설명하기 위한 참고도.
도 10는 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템을 설명하기 위한 구성블록도이다.
도 1은 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템은 스테레오 카메라 장치(100), 객체 검출부(200), 이동체 인식부(300), 타격체 검출부(400), 대상체 추적부(500) 및 모션 분석부(600)를 포함한다.
고속 스테레오 카메라 장치(100)는 도 2에 도시된 바와 같이, 타격체와 이동체로 이루어진 대상체의 상단에 설치되어, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득한다. 고속 스테레오 카메라 장치(100)는 스포츠 시뮬레이션에 필요한 3차원 모션 정보 분석을 위해 좌측 고속 카메라와 우측 고속 카메라 2대로 구성이 되며, 임팩트 순간에 신발, 배트, 클럽 등과 같은 타격체와 축구공, 야구공, 골프공 등과 같은 이동체를 포함하는 스테레오 영상 시퀀스를 실시간 고속으로 획득한다. 일 예로, 도 3는 이동체가 야구공이고, 타격체인 배트를 촬영한 스테레오 영상 시퀀스이고, 도 4은 이동체가 축구공이고, 타격체인 신발을 촬영한 스테레오 영상 시퀀스이며, 도 5는 이동체가 골프공이고, 타격체인 골프체를 촬영한 스테레오 영상 시퀀스이다. 이를 위해, 고속 스테레오 카메라 장치(100)는 300fps 이상의 촬영 속도를 갖는 것이 바람직하다. 적외선 조명 장치(110)는 고휘도의 적외선 조명을 대상체에 제공할 수 있다.
객체 검출부(200)는 상기 획득한 스테레오 영상 시퀀스에서 객체를 검출한다. 객체 검출부(200)는 도 4a에 도시된 바와 같이, 상기 획득한 스테레오 영상 시퀀스에서 명도 차이를 통해 대상체(O1)와 배경(B)를 분류하고 배경(B)을 제거한다.
이동체 인식부(300)는 상기 검출된 객체를 이용한 임팩트 동작 발생 여부 판단을 통해 이동체를 인식한다. 이동체 인식부(300)는 객체 검출부(200)를 통해 검출된 객체들 중에서 정지해 있는 객체는 제외하고, 도 4b에 도시된 바와 같이, 움직임이 있는 객체(Mo1, Ho1)가 검출되면, 움직이는 객체(Mo1, Ho1) 중 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체(Mo1)인지 판단한다. 만약, 이동체 인식부(300)는 움직임이 있는 이동체(Mo1)가 있다면 임팩트 동작이 발생한 것으로 판단하는 것이 바람직하다.
타격체 검출부(400)는 도 6b에 도시된 바와 같이, 이동체 인식부(300)를 통해 이동체(Mo1)가 인식되면, 이동체(Mo1)를 제외한 움직이는 다른 객체(Ho1)를 타격체로 판단한다. 여기서, 타격체 검출부(400)는, 검출된 타격체의 모션 분석을 위해 검출된 타격체의 특징점 만을 데이터로 저장하는 것이 바람직하다.
대상체 추적부(500)는 도 6c 내지 도 6e에 도시된 바와 같이, 검출된 이동체(Mo1)와 타격체(Ho1)의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 도 6f에 도시된 바와 같이, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적한다.
모션 분석부(600)는 도 7에 도시된 바와 같이, 대상체 추적부(500)를 통해 검출한 이동체(Mo1) 중심점과 타격체(Ho1)의 특징점, 고속 스테레오 카메라(100) 각각의 초점 길이, 광중심, 3차원 방향, 3차원 위치 등을 포함하는 카메라 보정 데이터를 이용하여 대상체의 3차원 모션 정보를 분석한다. 모션 분석부(600)는 고속 스테레오 카메라(100), 이동체(Mo1), 타격체(Ho1)간 삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석할 수 있다.
예를 들면, 축구의 경우 킥과 같은 임팩트 발생 시 축구공을 타격한 축구화의 임팩트 속도 및 각도, 축구화와 축구공이 충돌한 임팩트 포인트 및 디딤발의 위치, 임팩트 직후 축구공이 날아가는 초기 속도, 각도 및 스핀 등을 분석할 수 있고, 이러한 축구공의 초기 모션 값을 이용한 축구 시뮬레이션을 통해 축구공의 최종 궤적, 이동 거리, 골인 여부 등을 예측함으로써 축구 코칭에 활용할 수 있다.
또한, 야구의 경우 배팅과 같은 임팩트 발생 시 야구공을 타격한 배트의 임팩트 속도, 어택 앵글 및 파워, 배트와 야구공이 충돌한 임팩트 포인트 및 배트의 궤적, 임팩트 직후 야구공이 날아가는 초기 속도, 각도 및 스핀 그리고 이러한 야구공의 초기 모션 값을 이용한 야구 시뮬레이션 최종 궤적, 이동 거리, 안타, 파울, 홈런 여부 등을 예측함으로써 야구 코칭에 활용할 수 있다.
그리고, 골프의 경우 드라이브 샷, 아이언 샷과 같은 임팩트 발생 시 골프공을 타격한 클럽의 임팩트 순간 클럽 헤드의 속도 및 페이스 각도, 클럽과 골프공이 충돌한 임팩트 포인트 및 클럽 헤드의 스윙 궤적, 임팩트 직후 골프공이 날아가는 초기 속도, 발사각, 방위각, 백스핀, 사이드스핀 등을 분석할 수 있고, 이러한 골프공의 초기 모션 값을 이용한 골프 시뮬레이션 최종 궤적, 비거리, 슬라이스, 훅 여부 등을 예측함으로써 골프 코칭에 활용할 수 있다.
또한, 본 발명의 모션 분석부(600)는 도 8에 도시된 바와 같이, 축구공의 이동체와 축구화의 타격체에 대한 3차원 모션 정보를 분석할 수 있고, 도 9에 도시된 바와 같이 골프공의 이동체와 골프체의 타격체에 대한 3차원 모션 정보를 분석할 수 있다.
본 발명의 일 실시예에 따르면, 실내에서 다종목 스크린 스포츠 시스템을 통해서 안전하고 쉽게 스크린 스포츠를 배우고자 하는 사용자의 임팩트 순간만을 분석할 수 있는 효과가 있다.
따라서, 본 발명은 다종목 스크린 스포츠 시스템에서 사용될 수 있는 고속 스테레오 카메라를 통해서 획득되는 영상만을 통해 스포츠에서 가장 중요한 축구 킥, 야구 배팅, 골프 스윙 임팩트 동작을 인식한 후 사용자가 타격체로 이동체를 타격하는 임팩트 순간의 시간 정보와 임팩트 순간의 이동체와 타격체의 3차원 궤적, 속도, 각도, 스핀 등 3차원 모션 정보를 스포츠 종목에 관계없이 자동으로 분석하여 제공할 수 있는 효과가 있다.
이하, 하기에서는 본 발명의 일 실시예에 따른 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법에 대하여 도 10를 참조하여 설명하기로 한다.
먼저, 타격체와 이동체로 이루어진 대상체의 상단에 설치된 고속 스테레오 카메라 장치에 의해, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득한다(S100). 상기 고속 스테레오 카메라 장치는 300fps 이상의 촬영 속도를 갖는 것이 바람직하다. 또한, 본 발명은 고휘도의 적외선 조명을 대상체에 제공하는 적외선 조명 장치를 더 포함할 수 있다.
이어서, 객체 검출부에 의해, 상기 획득한 스테레오 영상 시퀀스에서 움직임을 갖는 객체를 검출한다(S200). 상기 객체를 검출하는 단계(S200)는 상기 획득한 스테레오 영상 시퀀스에서 명도 차이를 통해 배경과 대상체를 분류하고, 배경을 제거한다.
이동체 인식부에 의해, 상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식한다(S300). 상기 이동체를 인식하는 단계(S300)는 검출된 객체들 중에서 정지해 있는 객체는 제외하고, 움직임이 있는 객체들 중에서 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체인지 판단한다.
이후, 타격체 검출부에 의해, 이동체를 제외한 다른 객체의 움직임을 통해 임팩트 동작이 발생하는지 검출한다(S400).
이어서, 타격체 검출부에 의해, 이동체를 제외한 움직이는 객체를 타격체로 인식한다(S500). 상기 타격체를 검출하는 단계(S500)는 검출된 타격체의 모션 분석을 위해 검출된 타격체의 특징점 만을 데이터로 저장한다.
대상체 추적부에 의해, 상기 검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적한다(S600). 상기 대상체를 추적하는 단계는 이동체와 타격체를 각각 독립적으로 추적하고, 이동체 중심점 데이터와 타격점 특이점 데이터를 각각 독립적으로 추적하는 것이 바람직하다.
이후, 모션 분석부에 의해, 상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여 대상체의 3차원 모션 정보를 분석한다(S700). 상기 모션을 분석하는 단계(S600)는 삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석한다. 여기서, 상기 고속 스테레오 카메라 보정 데이터는 각각의 초점 길이, 광중심, 3차원 방향, 3차원 위치 정보를 포함한다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (16)

  1. 타격체와 이동체로 이루어진 대상체의 상단에 설치되어, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득하는 고속 스테레오 카메라 장치;
    상기 획득한 스테레오 영상 시퀀스에서 객체를 검출하는 객체 검출부;
    상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식하는 이동체 인식부;
    상기 이동체 인식부를 통해 이동체를 인식하면, 이동체를 제외한 객체를 타격체로 검출하는 타격체 검출부;
    검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적하는 대상체 추적부; 및
    상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여, 대상체의 3차원 모션 정보를 분석하는 모션 분석부를 포함하는 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  2. 제1항에 있어서,
    상기 고속 스테레오 카메라 장치는,
    300fps 이상의 촬영 속도를 갖는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  3. 제1항에 있어서,
    상기 객체 검출부는,
    상기 획득한 스테레오 영상 시퀀스에서 명도 차이를 통해 배경과 대상체를 분류하고, 배경을 제거하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  4. 제1항에 있어서,
    상기 이동체 인식부는,
    검출된 객체들 중에서 정지해 있는 객체는 제외하고, 움직임이 있는 객체들 중에서 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체인지 판단하고, 움직임이 있는 이동체가 있다면 임팩트 동작이 발생한 것으로 판단하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  5. 제1항에 있어서,
    상기 타격체 검출부는,
    검출된 타격체의 모션 분석을 위해 검출된 타격체의 특징점 만을 데이터로 저장하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  6. 제1항에 있어서,
    상기 모션 분석부는,
    삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  7. 제1항에 있어서,
    상기 고속 스테레오 카메라 보정 데이터는,
    각각의 초점 길이, 광중심, 3차원 방향 및 3차원 위치 정보를 포함하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  8. 제1항에 있어서,
    고휘도의 적외선 조명을 대상체에 제공하는 적외선 조명 장치;를 더 포함하는 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템.
  9. 타격체와 이동체로 이루어진 대상체의 상단에 설치된 고속 스테레오 카메라 장치에 의해, 상기 타격체와 이동체가 촬영된 스테레오 영상 시퀀스를 획득하는 단계;
    객체 검출부에 의해, 상기 획득한 스테레오 영상 시퀀스에서 움직임을 갖는 객체를 검출하는 단계;
    이동체 인식부에 의해, 상기 검출된 객체에서 임팩트 동작 발생 여부 판단을 통해 이동체를 인식하는 단계;
    타격체 검출부에 의해, 임팩트 동작을 인식을 통해 이동체를 제외한 객체를 타격체로 검출하는 단계;
    대상체 추적부에 의해, 상기 검출된 이동체와 타격체의 특성을 이용하여 후속 스테레오 영상 시퀀스에서 연속으로 이동체의 중심점과 타격체의 특징점을 검출하고, 그에 해당하는 이동체 중심점 및 타격체 특징점이 검출되지 않을 때까지 연속으로 추적하는 단계; 및
    모션 분석부에 의해, 상기 대상체 추적부를 통해 검출한 이동체 중심점과 타격체의 특징점, 고속 스테레오 카메라 보정 데이터를 이용하여 대상체의 3차원 모션 정보를 분석하는 단계를 포함하는 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  10. 제9항에 있어서,
    상기 고속 스테레오 카메라 장치는,
    300fps 이상의 촬영 속도를 갖는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  11. 제9항에 있어서,
    상기 객체를 검출하는 단계는,
    상기 획득한 스테레오 영상 시퀀스에서 명도 차이를 통해 배경과 대상체를 분류하고, 배경을 제거하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  12. 제9항에 있어서,
    상기 이동체를 인식하는 단계는,
    검출된 객체들 중에서 정지해 있는 객체는 제외하고, 움직임이 있는 객체들 중에서 중심점 및 반경 기반 원형 모델 피팅 기법을 이용하여 검출된 객체가 이동체인지 판단하고, 움직임이 있는 이동체가 있다면 임팩트 동작이 발생한 것으로 판단하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  13. 제9항에 있어서,
    상기 타격체를 검출하는 단계는,
    검출된 타격체의 모션 분석을 위해 검출된 타격체의 특징점 만을 데이터로 저장하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  14. 제9항에 있어서,
    상기 모션을 분석하는 단계는,
    삼각측량 기법을 통해 이동체 및 타격체의 3차원 궤적을 복원하고, 복원된 3차원 궤적으로부터 3차원 속도, 각도, 스핀 등 3차원 모션 정보를 분석하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  15. 제9항에 있어서,
    상기 고속 스테레오 카메라 보정 데이터는,
    각각의 초점 길이, 광중심, 3차원 방향, 3차원 위치 정보를 포함하는 것인 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
  16. 제9항에 있어서,
    고휘도의 적외선 조명을 대상체에 제공하는 적외선 조명 장치;를 더 포함하는 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 방법.
KR1020210041993A 2021-03-31 2021-03-31 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템 KR20220135819A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210041993A KR20220135819A (ko) 2021-03-31 2021-03-31 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템
US17/509,615 US20220319151A1 (en) 2021-03-31 2021-10-25 Impact motion recognition system for screen-based multi-sport coaching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041993A KR20220135819A (ko) 2021-03-31 2021-03-31 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템

Publications (1)

Publication Number Publication Date
KR20220135819A true KR20220135819A (ko) 2022-10-07

Family

ID=83448183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041993A KR20220135819A (ko) 2021-03-31 2021-03-31 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템

Country Status (2)

Country Link
US (1) US20220319151A1 (ko)
KR (1) KR20220135819A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8408982B2 (en) * 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
WO2015087172A2 (en) * 2013-12-09 2015-06-18 Playsight Interactive Ltd. Controlling cameras in sport events
JP6663848B2 (ja) * 2014-08-04 2020-03-13 パナソニック株式会社 移動体追跡方法および移動体追跡装置
KR101744042B1 (ko) * 2016-01-14 2017-06-07 주식회사 골프존뉴딘 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
US20180053308A1 (en) * 2016-08-22 2018-02-22 Seiko Epson Corporation Spatial Alignment of Inertial Measurement Unit Captured Golf Swing and 3D Human Model For Golf Swing Analysis Using IR Reflective Marker
US10643741B2 (en) * 2016-11-03 2020-05-05 RightEye, LLC Systems and methods for a web platform hosting multiple assessments of human visual performance
JP7072590B2 (ja) * 2017-12-22 2022-05-20 トラックマン・アクティーゼルスカブ スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法
CN114728194B (zh) * 2019-11-22 2024-04-02 索尼集团公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
US20220319151A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US20210166010A1 (en) Systems and methods for determining reduced player performance in sporting events
US10010778B2 (en) Systems and methods for tracking dribbling and passing performance in sporting environments
US10471328B2 (en) Systems and methods for coordinating radar data and image data to track a flight of a projectile
US9886624B1 (en) Systems and methods for tracking dribbling in sporting environments
TWI654016B (zh) 用於棒球練習裝置的感測裝置及感測方法、利用該感測裝置及感測方法的棒球練習裝置及其控制方法
US10987567B2 (en) Swing alert system and method
KR101048089B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
US11612801B2 (en) System and method for determining impact characteristics of sports ball striking element
US20070021242A1 (en) Method and system for optimiza of baseball bats and the like
US20070213139A1 (en) Golf ball flight monitoring system
AU2018404876B2 (en) Golf ball tracking system
CN112969513B (zh) 用于确定体育赛事中降低的运动员表现的系统和方法
JP2002535102A (ja) ゴルフボール飛行モニタシステム
KR102144764B1 (ko) 스포츠 코트에서의 인아웃 판정 방법 및 장치
KR20220135819A (ko) 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템
KR102439549B1 (ko) 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
US20230285832A1 (en) Automatic ball machine apparatus utilizing player identification and player tracking
KR20230016070A (ko) 이동하는 볼의 센싱을 위한 영상분석방법 및 이를 이용한 센싱장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal