KR102238085B1 - 동작분석 장치 및 방법 - Google Patents

동작분석 장치 및 방법 Download PDF

Info

Publication number
KR102238085B1
KR102238085B1 KR1020180098855A KR20180098855A KR102238085B1 KR 102238085 B1 KR102238085 B1 KR 102238085B1 KR 1020180098855 A KR1020180098855 A KR 1020180098855A KR 20180098855 A KR20180098855 A KR 20180098855A KR 102238085 B1 KR102238085 B1 KR 102238085B1
Authority
KR
South Korea
Prior art keywords
motion
information
posture
analysis
motion information
Prior art date
Application number
KR1020180098855A
Other languages
English (en)
Other versions
KR20200022788A (ko
Inventor
황영배
이주리
최정윤
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180098855A priority Critical patent/KR102238085B1/ko
Publication of KR20200022788A publication Critical patent/KR20200022788A/ko
Application granted granted Critical
Publication of KR102238085B1 publication Critical patent/KR102238085B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예들은 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하여 골격모델을 생성하고 골격모델을 기초로 자세정보를 추정하여 동작정보를 분석하는 동작분석 장치 및 방법을 제공한다.
이에, 본 발명의 실시예들은 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있도록 한다.

Description

동작분석 장치 및 방법{DEVICE AND METHOD FOR ANALYZING MOTION}
본 발명은 사람의 골격모델을 기초로 동작정보를 분석하는 동작분석 장치 및 방법에 관한 것이다.
동작분석이란 특정한 시간 동안의 자세변화를 알아내는 것을 의미하고 자세란 특정시각에서의 각 신체부위의 형태로서 관절의 위치로 표현될 수 있다.
동작분석은 사람의 몸에 센서를 부착하거나 사람을 카메라로 촬영한 영상을 분석함으로써 이루어질 수 있는데 센서를 부착하는 방법은 신체이동이 불편할 수 있고 센서구매비용이 높으므로 영상분석에 의한 동작분석이 널리 사용되고 있다. 이하, 영상분석을 통한 동작분석에 대해 살펴본다.
영상분석을 통한 동작분석은 주로 재활치료, 체감형 게임 또는 스포츠 동작 연습을 위해서 이용되고 있다.
그런데, 최근에는 스포츠 경기에서 판정시비가 증가함에 따라 스포츠 선수의 동작을 판정하는 방법으로 영상분석을 통한 동작분석을 이용할 필요성이 증가하고 있다.
구체적으로, 스포츠 경기에서 선수가 빠른 동작을 수행하거나 심판이 볼 수 없는 사각지대 또는 심판으로부터 먼 곳에서 판정의 대상이 되는 동작을 수행하는 경우에 심판이 육안으로 선수의 동작이 정확한지를 판정하는 것은 어렵다.
이러한 문제를 보완하기 위해 카메라로 선수를 촬영한 후에 심판이 비디오 판독을 하는 규정을 두지만 정확한 판정을 하기에 불충분하다. 따라서, 정확한 판정을 위해 영상분석을 통한 동작분석이 필요하다.
이와 관련하여 종래기술을 살펴보면 다음과 같다.
한국등록특허 제10-1298902호는 골프 스윙 자세 분석 시스템 및 그 운용 방법에 관한 것으로, 더욱 상세하게는 골퍼의 각 방향에서 획득된 영상 정보를 토대로 골프 스윙 자세를 분석함에 따라 골프 스윙 자세 분석에 대한 정확도를 향상시킬 수 있도록 한 시스템 및 그 운용 방법에 관한 것이다.
그러나, 종래기술은 스포츠 경기에서 선수의 동작을 정확하고 빠르게 분석하여 공정한 판정을 할 수 있는 방법을 제시하지 못한다.
본 발명은 입력영상으로부터 생성된 사람의 골격모델을 기초로 자세정보 또는 동작정보를 분석하고 동작을 기준동작과 비교하여 판단하거나 동작을 가이드하는 동작분석 장치 및 방법을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예는 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 관절정보추출부; 상기 관절정보를 기초로 골격모델을 생성하는 골격모델생성부; 및 상기 골격모델을 기초로 자세정보를 추정하고 상기 자세정보를 기초로 동작정보를 분석하는 동작정보분석부를 포함하는 동작분석 장치를 제공한다.
일 실시예에서, 상기 동작분석 장치는, 하나 이상의 PTZ 카메라로 사람을 트래킹하면서 촬영하는 촬영부를 포함하고, 상기 관절정보추출부는 상기 촬영부에 의해 촬영된 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출할 수 있다.
일 실시예에서, 상기 동작분석 장치는 상기 PTZ 카메라가 사람의 움직임을 트래킹할 수 있도록 카메라의 촬영각도 및 줌기능을 제어하는 카메라제어부를 포함할 수 있다.
일 실시예에서, 상기 동작정보분석부는 상기 골격모델을 구성하는 하나 이상의 뼈대의 각도를 상기 자세정보로 추정할 수 있다.
일 실시예에서, 상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보가 기 설정된 기준동작을 만족하는지 판단하거나 상기 자세정보를 기초로 상기 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하거나 상기 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
일 실시예에서, 상기 동작분석 장치는 사용자에 의해 모드가 설정되는 모드설정부를 포함하고, 상기 모드가 판정모드로 설정되면 상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보가 기 설정된 기준동작을 만족하는지 판단할 수 있다.
일 실시예에서, 상기 동작분석 장치는 사용자에 의해 모드가 설정되는 모드설정부를 포함하고, 상기 모드가 훈련모드로 설정되면 상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
일 실시예에서, 상기 동작정보분석부는 상기 자세정보를 기초로 속도 또는 자세변화에 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
일 실시예에서, 상기 동작분석 장치는 상기 동작정보를 분석한 분석결과를 출력하는 분석결과출력부를 포함하고, 상기 분석결과출력부는 상기 동작정보 버전, 상기 동작정보의 슬로우 버전, 상기 동작정보와 기준동작의 중첩 버전, 상기 골격모델 버전, 상기 골격모델과 동작정보의 중첩 버전, 프레임별 자세분석 버전, 구간분석 버전 중 하나 이상을 출력할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 관절정보추출단계; 상기 관절정보를 기초로 골격모델을 생성하는 골격모델생성단계; 및 상기 골격모델을 기초로 자세정보를 추정하고 상기 자세정보를 기초로 동작정보를 분석하는 동작정보분석단계를 포함하는 동작분석 방법을 제공한다.
일 실시예에서, 상기 동작분석 방법은 사용자에 의해 모드가 설정되는 모드설정단계를 포함할 수 있다.
이상과 같이, 본 발명의 실시예들은 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 관절정보추출부, 관절정보를 기초로 골격모델을 생성하는 골격모델생성부 및 골격모델을 기초로 자세정보를 추정하고 자세정보를 기초로 동작정보를 분석하는 동작정보분석부를 포함하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 하나 이상의 PTZ 카메라로 사람을 트래킹하면서 촬영하는 촬영부를 포함하고, 관절정보추출부는 촬영부에 의해 촬영된 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 PTZ 카메라가 사람의 움직임을 트래킹할 수 있도록 카메라의 촬영각도 및 줌기능을 제어하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 골격모델을 구성하는 하나 이상의 뼈대의 각도를 자세정보로 추정하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 자세정보를 기초로 동작정보가 기 설정된 기준동작을 만족하는지 판단하거나 자세정보를 기초로 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하거나 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 사용자에 의해 모드가 설정되는 모드설정부를 포함하고, 모드가 판정모드로 설정되면 동작정보분석부는 자세정보를 기초로 동작정보가 기 설정된 기준동작을 만족하는지 판단하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하고 효율적으로 분석하고 공정하게 판정할 수 있다.
또한, 본 발명의 실시예들은 사용자에 의해 모드가 설정되는 모드설정부를 포함하고, 모드가 훈련모드로 설정되면 동작정보분석부는 자세정보를 기초로 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하게 분석하여 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하게 분석하여 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 동작정보를 분석한 분석결과를 출력하는 분석결과출력부를 포함하고, 분석결과출력부는 동작정보 버전, 동작정보의 슬로우 버전, 동작정보와 기준동작의 중첩 버전, 골격모델 버전, 골격모델과 동작정보의 중첩 버전, 프레임별 자세분석 버전, 구간분석 버전 중 하나 이상을 출력하는 동작분석 장치를 제공함으로써, 사람의 동작을 정확하게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 관절정보추출단계, 관절정보를 기초로 골격모델을 생성하는 골격모델생성단계 및 골격모델을 기초로 자세정보를 추정하고 자세정보를 기초로 동작정보를 분석하는 동작정보분석단계를 포함함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
또한, 본 발명의 실시예들은 사용자에 의해 모드가 설정되는 모드설정단계를 포함함으로써, 사람의 동작을 정확하고 빠르게 분석하고 공정하게 판정할 수 있으며 동작을 효율적으로 훈련할 수 있다.
이상의 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작분석 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 동작분석 장치를 나타낸 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 골격모델을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 사람의 자세정보를 나타낸 도면이다.
도 6 및 도 7은 일 실시예에 따른 피겨스케이팅 동작을 나타낸 도면이다.
도 8은 일 실시예에 따른 러츠와 플립의 동작 차이를 비교한 표이다.
도 9는 본 발명의 일 실시예에 따른 사람의 동작정보를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 기준동작정보를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 사람의 동작정보를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 동작분석 방법을 나타낸 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
이하의 실시예들에서 개시되는 동작분석 장치 및 방법에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 동작분석 시스템을 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 동작분석 시스템(100)은 촬영부(300) 및 동작분석 장치(400)를 포함하여 구성될 수 있다.
촬영부(300)는 하나 이상의 카메라로 구성될 수 있고 통신 네트워크를 통해 동작분석 장치(400)와 연결될 수 있다. 여기에서, 카메라는 사람을 트래킹하면서 촬영할 수 있는 PTZ 카메라일 수 있고 PTZ 카메라는 회전(PAN), 수직방향기울기(Tilt), 줌(Zoom) 조정이 가능한 카메라를 의미할 수 있다. PTZ 카메라의 제어방법은 카메라제어부(450)에서 살펴본다.
또한, 촬영부(300)는 사람을 다양한 각도에서 촬영할 수 있도록 경기장 또는 훈련장 등과 같은 공간 내에서 여러 각도에 배치된 카메라로 구성될 수 있다.
또한, 촬영부(300)는 사람을 촬영한 영상을 통신 네트워크를 통해 동작분석 장치(400)에 전송할 수 잇다. 여기에서, 통신 네트워크는 유선 또는 무선 통신망을 포함하는 넓은 개념의 네트워크를 의미할 수 있다.
이 때에, 촬영부(300)는 RGB 영상을 전송할 수도 있고 RGB 정보에 깊이 정보를 더 측정한 RGBD 영상을 전송할 수도 있다.
동작분석 장치(400)는 통신 네트워크를 통해 촬영부(300)와 연결될 수 있고 서버, PC, 노트북, 휴대폰, 스마트 폰(2G/3G/4G/LET, smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant) 및 타블렛 PC(Tablet PC) 중 어느 하나일 수 있다. 동작분석 장치(400)의 세부적인 구성은 도 2와 관련하여 살펴본다.
도 2는 본 발명의 일 실시예에 따른 동작분석 장치를 나타낸 블록 구성도이다.
도 2를 참조하면, 일 실시예에 따른 동작분석 장치(400)는 입력부(410), 관절정보추출부(420), 골격모델생성부(430), 동작정보분석부(440), 카메라제어부(450), 모드설정부(460), 분석결과출력부(470), 송수신부(480), 데이터베이스(490) 및 제어부(495)를 포함하여 구성될 수 있다.
입력부(410)는 촬영부(300)에 의해 촬영된 입력영상을 송수신부(480)를 통해 촬영부(300)로부터 전송받거나 입력영상이 저장된 데이터베이스(490)로부터 입력받을 수 있다.
관절정보추출부(420)는 입력부(410)로부터 입력영상을 전달받아서 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출할 수 있다.
여기에서, 사람을 인식한다는 것은 입력영상에서 사람의 영상부분을 전경으로 분리한다는 것을 의미할 수 있다.
또한 여기에서, 프레임별로 관절정보를 추출한다는 것은 일련의 입력 프레임 중에서 전체 혹은 일부의 프레임에 대해 각 프레임을 구별하여 관절정보를 추출하는 것일 수 있다.
관절정보란 좌표계를 기준으로 하는 특정 관절별 관절위치정보일 수 있고 관절정보를 추출하기 위해서 본 발명에서 기술하는 방법 이외에 다양한 방법이 사용될 수 있다.
골격모델생성부(430)는 관절정보추출부(420)에 의해 추출된 관절정보를 기초로 골격모델을 생성할 수 있다. 골격모델과 관련하여 도 3에서 살펴본다.
도 3은 본 발명의 일 실시예에 따른 골격모델을 나타낸 도면이다.
도 3을 참조하면, 골격모델생성부(430)는 관절별 관절위치정보를 이용하여 관절을 연결함으로써 어깨뼈(B1), 왼팔상부뼈(B2a), 오른팔상부뼈(B2b), 왼팔하부뼈(B3a), 오른팔하부뼈(B3b), 골반뼈(B4), 왼쪽다리상부뼈(B5a), 오른쪽다리상부뼈(B5b), 왼쪽다리하부뼈(B6a), 오른쪽다리하부뼈(B6b), 왼발뼈(B7a), 오른발뼈(B7b), 척추하부뼈(B8), 척추상부뼈, 목뼈 및 머리뼈를 포함하여 구성되는 골격모델을 생성할 수 있다.
도 3의 골격모델에서 각 뼈대는 빼대와 직접 연결되는 관절의 위치정보로 표현될 수 있으므로 골격모델이란 실질적으로 뼈대(B1 등)별로 뼈대(B1 등)와 직접 연결된 관절위치정보에 해당할 수 있다.
즉, 골격모델생성부(430)는 관절정보추출부(420)에 의해 추출된 관절정보에서 뼈대(B1 등)별로 뼈대(B1 등)와 직접 연결된 관절위치정보를 분류함으로써 골격모델을 생성할 수 있다.
동작정보분석부(440)는 골격모델생성부(430)에 의해 생성된 골격모델을 기초로 자세정보를 추정하고 자세정보를 기초로 동작정보를 분석할 수 있다.
첫번째로 자세정보를 추정하는 방법을 살펴본다.
동작정보분석부(440)는 골격모델을 구성하는 각 뼈대의 형태를 자세정보로 추정할 수 있다. 여기에서, 자세정보란 어느 순간의 사람의 자세를 의미할 수 있고 도 4 및 도 5에서 구체적으로 살펴본다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 사람의 자세정보를 나타낸 도면이다.
도 4 및 도 5를 참조하면, 동작정보분석부(440)는 골격모델을 구성하는 뼈대 (B1 내지 B8)와 직접 연결된 두 개의 관절의 3차원 위치좌표(X1, Y1, Z1, X2, Y2 및 Z2)로 사람의 자세정보를 표현할 수도 있고 각 뼈대(B1 내지 B8)를 벡터에 대응시키고 벡터의 직교좌표계(X, Y 및 Z)로 사람의 자세정보를 표현할 수도 있다.
동작정보분석부(440)는 도 5와 달리 각 뼈대(B1 내지 B8)를 벡터로 대응시키고 벡터의 구면좌표계(벡터의 크기, Z축과의 사잇각 및 XZ평면에 대한 회전각)로 사람의 자세정보를 표현할 수도 있다.
여기에서, 각 뼈대를 벡터로 표현한 경우에 벡터의 방향은 뼈대의 기울기에 해당할 수 있고 벡터의 크기는 뼈대의 길이에 해당할 수 있다.
또한, 동작정보분석부(440)는 골격모델을 구성하는 하나 이상의 뼈대의 각도를 자세정보로 추정할 수 있다. 여기에서, 뼈대의 각도란 뼈대가 지면과 이루는 각도를 의미할 수도 있고 뼈대가 다른 뼈대와 이루는 각도를 의미할 수도 있다.
그런데, 동작정보분석부(440)가 뼈대의 각도로 자세정보를 추정하더라도 뼈대의 각도는 뼈대와 연결된 관절위치좌표를 통해 산출될 수 있으므로 동작정보분석부(440)는 도 4 또는 도 5와 같이 표현된 자세정보를 이용하여 뼈대의 각도로 표현되는 자세정보를 추정할 수 있다.
두번째로 동작정보를 분석하는 방법을 살펴본다.
동작정보분석부(440)는 자세정보를 기초로 특정한 시간동안의 자세정보 변화에 해당하는 동작정보가 기 설정된 기준동작을 만족하는지 판단하거나 자세정보를 기초로 특정한 시간동안의 자세정보 변화에 해당하는 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
여기에서, 가이드한다는 것은 동작정보분석부(440)가 동작정보와 기준동작을 각 동작을 이루는 일련의 자세별로 비교하여 일치정도를 분석하는 것을 의미할 수 있다.
즉, 동작정보분석부(440)는 특정한 시간동안의 일련의 자세정보와 미리 설정된 특정한 시간동안의 일련의 기준자세정보를 비교하여 일치정도를 판단할 수 있다. 여기에서, 특정한 시간동안의 일련의 자세정보는 동작정보에 해당할 수 있고 특정한 시간동안의 일련의 기준자세정보는 기준동작정보에 해당할 수 있다.
여기에서, 기준동작정보는 비교의 기준이 되는 동작정보로서 스포츠 규정의 일련의 정자세일 수 있고 기준동작정보의 일련의 정자세는 전술한 자세정보와 같은 형식으로 표현될 수도 있고 “왼쪽다리하부뼈(B6a)가 왼쪽으로 기울어짐”과 같이 특정 뼈의 상대적 기울기로 간단하게 표현될 수도 있다.
구체적으로, 동작정보분석부(440)는 미리 정해진 일련의 기준자세정보로 구성된 하나 이상의 기준동작정보 중에서 특정한 기준동작정보를 동작정보로 설정하거나 자세정보와 하나 이상의 기준동작정보를 비교하여 자세정보에 대응되는 기준동작정보를 동작정보로 설정하고, 기준동작정보를 구성하는 일련의 기준자세정보와 일련의 자세정보를 비교하여 분석할 수 있다.
이와 관련하여, 도 6 내지 도 9를 살펴본다.
도 6 및 도 7은 일 실시예에 따른 피겨스케이팅 동작을 나타낸 도면이다.
도 6 및 도 7을 참조하면, 피겨스케이팅의 점프동작 중에서 러츠(도 6)와 플립(도 7)은 미리 정해진 일련의 기준자세(P1 내지 P9)로 구성된 동작정보로서 모두 도약기(L), 회전기(M) 및 착지기(N)로 구성되고 도약기(L)에서는 후진하다가 뒤로 뺀 오른발로 토픽을 찍고 왼발로 도약(P2)하여 회전기(M)에 회전한 후에 착지기(M)에 오른발로 착지(P8)하는 점프로서 매우 유사하다. 러츠(도 6)와 플립(도 7)의 차이점은 도 8에서 살펴본다.
도 8은 일 실시예에 따른 러츠와 플립의 동작 차이를 비교한 표이다.
도 8을 참조하면, 러츠는 왼발 아웃 엣지로 도약하는 자세를 가져야 한다. 즉, 왼발 뒤쪽에서 왼발 앞쪽을 향해 바라보면 왼쪽하부다리뼈(B6a)가 왼쪽으로 기울어진 자세를 가져야 한다. 따라서, 도 6의 P2에서 기준자세정보는 왼발 뒤쪽에서 왼발 앞쪽을 향해 바라보면 왼쪽하부다리뼈(B6a)가 왼쪽으로 기울어졌다는 사항을 포함할 수 있다.
또한, 러츠는 오른발 아웃 엣지로 착지하는 자세를 가져야 한다. 즉, 오른발 뒤쪽에서 오른발 앞쪽을 향해 바라보면 오른쪽하부다리뼈(B6b)가 오른쪽으로 기울어진 자세를 가져야 한다. 따라서, 도 6의 P8에서 기준자세정보는 오른발 뒤쪽에서 오른발 앞쪽을 향해 바라보면 오른쪽하부다리뼈(B6b)가 오른쪽으로 기울어졌다는 사항을 포함할 수 있다.
반면에, 플립은 왼발 인 엣지로 도약하는 자세를 가져야 한다. 즉, 왼발 뒤쪽에서 왼발 앞쪽을 향해 바라보면 왼쪽하부다리뼈(B6a)가 오른쪽으로 기울어진 자세를 가져야 한다. 따라서, 도 7의 P2에서 기준자세정보는 왼발 뒤쪽에서 왼발 앞쪽을 향해 바라보면 왼쪽하부다리뼈(B6a)가 오른쪽으로 기울어졌다는 사항을 포함할 수 있다.
또한, 플립은 오른발 아웃 엣지로 착지하는 자세를 가져야 한다. 즉, 오른발 뒤쪽에서 오른발 앞쪽을 향해 바라보면 오른쪽하부다리뼈(B6b)가 오른쪽으로 기울어진 자세를 가져야 한다. 따라서, 도 7의 P8에서 기준자세정보는 오른발 뒤쪽에서 오른발 앞쪽을 향해 바라보면 오른쪽하부다리뼈(B6b)가 오른쪽으로 기울어졌다는 사항을 포함할 수 있다.
한편, 도 6 내지 도8과 같이 피겨스케이팅에서 러츠와 플립은 도약시에 왼쪽하부다리뼈(B6a)가 기울어진 방향에 미세한 차이가 있으므로 심판이 사람의 자세를 보고 러츠인지 플립인지 또는 기준자세를 위반하여 감점사유인지를 육안 또는 비디오 판독으로 정확히 판단하기 어렵다.
그러나, 동작정보분석부(440)는 사람의 자세정보를 통해 이를 정확히 판단할 수 있다. 이와 관련하여, 도 9에서 살펴본다.
도 9는 본 발명의 일 실시예에 따른 사람의 동작정보를 나타낸 도면이다.
도 9를 참조하면, 동작정보분석부(440)는 사람의 자세정보로부터 산출된 왼쪽하부다리뼈(B6a) 벡터와 왼발뼈(B7a)의 벡터를 수직으로 XY 평면에 투영시킨 벡터 u 및 벡터 v를 계산하여 왼쪽하부다리뼈(B6a)가 기울어진 방향을 알 수 있다. 여기에서, 왼발뼈(B7a) 벡터의 방향은 왼발 뒤쪽에서 왼발 앞쪽을 향하는 것으로 정할 수 있다.
즉, 동작정보분석부(440)는 왼쪽하부다리뼈(B6a) 벡터를 XY 평면에 수직으로 투영시킨 벡터 u를 구할 수 있고 왼발뼈(B7a)의 벡터를 XY 평면에 수직으로 투영시킨 벡터 v를 구할 수 있으며 u 및 v 가 일직선을 이루지 않으면 어느 한쪽으로 기울어진 것으로 판단할 수 있다.
구체적으로, 동작정보분석부(440)는 아래의 수학식을 이용하여 벡터 u 와 벡터 v 사이의 각도를 구하여 각도가 0이면 왼쪽하부다리뼈(B6a)가 기울어지지 않은 것으로 판단할 수 있고 각도가 양의 값이면 왼쪽하부다리뼈(B6a)가 왼쪽으로 기울어진 것으로 판단할 수 있으며 각도가 음의 값이면 왼쪽하부다리뼈(B6a)가 오른쪽으로 기울어진 것으로 판단할 수 있다.
수학식 1
Figure 112018083841872-pat00001
다만, 이와 같은 방법에 한정되는 것은 아니고 동작정보분석부(440)는 이와 다른 다양한 방법으로 뼈가 어느 쪽으로 기울어졌는지 또는 뼈의 기울기 값을 판단할 수 있다.
동작정보분석부(440)는 위와 같이 어느 뼈가 어느 방향으로 기울어졌는지를 판단하는 것 외에도 뼈 사이의 각도를 기준으로 자세를 판단할 수도 있다. 뼈 사이의 각도를 판단하는 방법은 수학식 2에서 살펴본다.
한편, 동작정보분석부(440)는 미리 정해진 일련의 기준자세정보로 구성된 도 6의 러츠 또는 도 7의 플립과 같은 하나 이상의 동작정보 중에서 특정한 동작정보를 기준동작정보로 설정하고 기준동작정보를 구성하는 일련의 기준자세정보와 일련의 사람의 자세정보를 비교하여 분석할 수 있다.
여기에서, 일련의 사람의 자세정보란 프레임별로 산출된 사람의 자세정보일 수 있다.
또한, 동작정보분석부(440)는 사람의 자세정보와 도 6의 러츠 또는 도 7의 플립과 같은 하나 이상의 기준동작정보를 비교하여 사람의 자세정보에 대응되는 기준동작정보를 검색하고 기준동작정보를 구성하는 일련의 기준자세정보와 일련의 사람의 자세정보를 비교하여 분석할 수 있다.
예를 들면, 동작정보분석부(440)는 도 6(러츠)에서 기준자세 P2와 같은 자세를 가지는 사람의 사람의 자세정보를 계산한 경우에 사람의 자세정보에 대응하는 기준동작정보를 찾기 위해 사람의 자세정보를 러츠 또는 플립을 구성하는 기준자세정보들(도 6 및 도 7의 P1 내지 P9)과 비교할 수 있고 사람의 자세정보와 가장 잘 매칭되는 도 6(러츠)의 기준자세 P2를 찾은 후에 러츠를 기준동작정보로 설정할 수 있다.
이후에, 동작정보분석부(440)는 러츠를 구성하는 도 6의 P1 내지 P9에 해당하는 기준자세정보와 프레임별로 계산된 사람의 자세정보를 비교하여 일치정도를 계산할 수 있다.
여기에서, 일치정도는 기준자세정보와 사람의 자세정보의 뼈 사이의 각도 차이를 합산하여 구할 수 있다. 뼈 사이의 각도를 구하는 방법은 후술할 수학식 2에서 살펴본다. 다만, 이러한 방법에 한정되는 것은 아니다.
한편, 동작정보분석부(440)는 사람의 일련의 자세정보 중에서 사람의 일련의 자세정보에 대응하는 기준동작정보를 구성하는 일련의 기준자세정보와 매칭되는 키프레임을 순서대로 검색하고 키프레임에서 시간적으로 인접하는 제1키프레임 및 제2키프레임을 기초로 제1키프레임 및 제2키프레임 사이의 일련의 사람의 자세정보가 기준동작정보에 속하는지를 분석할 수 있다. 이와 관련하여, 도 10 및 도 11을 살펴본다.
도 10은 본 발명의 일 실시예에 따른 기준동작정보를 나타낸 도면이고 도 11은 본 발명의 일 실시예에 따른 사람의 일련의 자세정보를 나타낸 도면이다.
도 10을 참조하면, 기준자세정보는 R1과 R2이고 R1 자세 이후에 R2 자세가 이루어져야만 올바른 기준동작정보로 판정될 수 있다.
도 11을 참조하면, 사람의 자세정보는 F1, F2 및 F3이고 F1 및 F3는 기준자세정보 R1 및 R2와 순서대로 매칭되지만 F2는 R1 및 R2와 매칭되지 않는다.
이 때에, 동작정보분석부(440)는 F1, F2, F3의 일련의 사람의 자세정보에서 기준동작정보를 구성하는 기준자세정보 R1, R2와 매칭되는 키프레임 F1, F3을 순서대로 검색할 수 있다.
또한, 동작정보분석부(440)는 키프레임에서 시간적으로 인접하는 제1키프레임 F1 및 제2키프레임 F3를 기초로 제1키프레임 F1 및 제2키프레임 F3 사이의 사람의 자세정보 F2가 기준동작정보에 속하는지를 분석할 수 있다.
구체적으로, 동작정보분석부(440)는 F1과 F3에서 왼쪽상부다리뼈(B5a)와 왼쪽하부다리뼈(B6a)가 이루는 각도 r1 및 r3를 계산하고 F2에서 동일한 뼈 사이의 각도 r2가 r1과 r3 사이의 값에 해당하면 F2가 F1 및 F3와 동일한 동작정보에 속하는 것으로 판단할 수 있다.
동작정보분석부(440)는 척추하부뼈(B8)와 오른쪽상부다리뼈(B5b)가 이루는 각도 s1, s2 및 s3를 계산하여 s2가 s1과 s3 사이에 속하는 값인지를 더 계산하여 F2가 F1 및 F3와 동일한 동작정보에 속하는 것으로 판단할 수 있다.
여기에서, 동작정보분석부(440)는 시간적으로 인접한 키프레임 F1과 F3에서 뼈사이의 각도 값의 변화가 큰 뼈(예를 들면, B5a와 B6a 및 B8과 B5b)를 선택하고 선택된 뼈 사이의 각도(예를 들면, r1과 r3 및 s1과 s3)를 기준으로 키프레임 사이의 F2가 F1 및 F3와 동일한 동작정보에 속하는 것인지를 판단할 수 있다.
또한 여기에서, 뼈 사이의 각도는 다음의 수학식을 이용하여 구할 수 있다.
수학식 2
Figure 112018083841872-pat00002
다만, 이와 같은 방법에 한정되는 것은 아니고 동작정보분석부(440)는 이와 다른 다양한 방법으로 기준프레임에서 시간적으로 인접하는 제1키프레임 및 제2키프레임을 기초로 제1키프레임 및 제2키프레임 사이의 일련의 사람의 자세정보가 기준동작에 속하는지를 판단할 수 있다.
이와 같이, 동작정보분석부(440)는 기준동작정보를 구성하는 기준자세정보와 일치하는 키프레임을 검색하고 키프레임 사이의 사람의 자세정보가 기준동작정보에 속하는 것인지를 판단할 수 있으므로 기준자세정보와 정확히 일치하지 않는 부가적인 자세정보가 있더라도 부가적인 사람의 자세정보가 사람의 동작정보에 속하는 것인지 또는 어떤 자세정보가 잘못된 것인지를 판단할 수 있다.
한편, 동작정보분석부(440)는 일련의 사람의 자세정보로부터 사람이 특정한 동작정보를 반복한 횟수를 분석할 수 있다. 예를 들면, 러츠(도 6)와 플립(도 7)은 회전기(M)에 회전한 횟수에 따라서 더블, 트리플, 쿼드러플로 동작정보의 명칭 및 배점이 달라지는데 동작정보분석부(440)는 사람이 회전한 횟수를 판단할 수 있다.
구체적으로, 도 6에서 P1 내지 P2가 기준자세정보가 아니라 사람의 자세정보라고 가정하면, 동작정보분석부(440)는 회전기(M)의 시작 시점인 P2에서 사람의 어깨뼈(B1)의 방향을 기준으로 회전기(M) 동안 어깨뼈(B1)의 방향을 추적하여 회전기(M)의 종료 시점인 P8까지 어깨뼈(B1)가 회전한 각도를 계산할 수 있다.
한편, 동작정보분석부(440)는 어깨뼈(B1)가 아니라 골반뼈(B4)를 이용하여 회전한 횟수를 구할 수도 있고 기타 다른 방법으로 회전 횟수를 구할 수 있다. 또한, 동작정보분석부(440)는 회전에만 한정되어 반복횟수를 구할 수 있는 것은 아니고 기타 반복되는 여러 종류의 동작정보를 수행하는 횟수를 구할 수 있다.
또한, 동작정보분석부(440)는 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
여기에서, 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석한다는 것은 사람이 특정 동작을 수행할 때 준비 동작의 타이밍, 속도 또는 자세에 따라 다음 동작의 정확도가 어떻게 달라지는지 분석하는 것을 의미할 수 있다.
또한 여기에서, 가이드한다는 것은 동작정보분석부(440)가 동작정보와 기준동작을 각 동작을 이루는 일련의 자세별로 비교하여 일치정도를 분석하는 것을 의미할 수 있다.
이와 같이, 동작정보분석부(440)는 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드함으로써, 사람의 동작을 정확하게 분석하여 동작을 효율적으로 훈련할 수 있다.
또한, 동작정보분석부(440)는 사람의 자세정보를 시간별 또는 구간별로 분석할 수 있다.
여기에서, 구간은 사용자로부터 특정한 시점을 미리 입력받아 설정되거나 도 6 또는 도 7의 기준자세(P1 내지 P9)로 구간을 나누도록 미리 설정될 수도 있고 사람의 자세정보의 변화율이 큰 시점을 기준으로 구간이 나뉠 수도 있다.
또한 여기에서, 사람의 자세정보의 변화율이 큰 시점이란 특정 뼈의 기울기가 크게 변하는 부분을 의미할 수 있다.
카메라제어부(450)는 촬영부(300)와 통신 네트워크를 통해 연결되고 촬영부(300)에 포함된 하나 이상의 PTZ 카메라가 사람의 움직임을 트래킹할 수 있도록 카메라의 촬영각도 및 줌기능을 제어할 수 있다.
구체적으로, 카메라제어부(450)는 촬영부(300)에 의해 촬영된 입력영상을 분석하여 사람의 위치 또는 속도 등에 따라 PTZ 카메라를 상하 또는 좌우로 회전하여 PTZ 카메라의 촬영각도를 변경하거나 줌인 또는 줌아웃할 수 있다.
이 때에, 카메라제어부(450)는 입력영상으로부터 사람의 위치 또는 속도 등을 계산하기 위해 관절정보추출부(420)에 의해 추출된 관절정보 또는 골격모델생성부에 의해 생성된 골격모델을 이용할 수도 있다.
구체적으로, 관절정보 또는 골격모델을 이용하여 특정한 관절 또는 뼈대의 위치 변화를 계산하여 적절한 방향으로 PTZ 카메라를 회전시키거나 줌인 또는 줌아웃할 수 있다.
이와 같이, 카메라제어부(450)는 PTZ 카메라를 제어하여 사람을 높은 해상도로 촬영할 수 있도록 함으로써, 사람의 동작을 정확히 분석할 수 있다.
모드설정부(460)는 모드를 결정하는 저장공간을 포함하여 구성될 수 있고 사용자에 의해 모드가 설정될 수 있도록 사용자 인터페이스를 제공할 수 있다. 여기에서, 모드는 판정모드, 훈련모드 등 중에서 선택된 어느 하나일 수 있고 사용자는 판정모드, 훈련모드 등 중에서 어느 하나를 임의로 선택할 수 있다.
모드설정부(460)에서 사용자에 의해 수동으로 모드가 설정되거나 특정한 이벤트 또는 프로그램에 의해 자동으로 모드가 설정되면, 동작정보분석부(440)는 설정된 모드에 따라서 분석 내용이 달라질 수 있다.
구체적으로, 모드가 판정모드로 설정되면 동작정보분석부(440)는 자세정보를 기초로 동작정보가 기 설정된 기준동작을 만족하는지 판단할 수 있다. 반면에, 모드가 훈련모드로 설정되면 동작정보분석부(440)는 자세정보를 기초로 동작정보를 분석하거나 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다. 여기에서, 구체적인 분석 내용은 동작정보분석부(440)에서 살펴본 바와 같다.
이와 같이, 모드설정부(460)에서 수동 또는 자동으로 설정된 모드에 따라서 분석 내용이 달라지도록 함으로써, 동작분석 장치(400)는 다양한 목적으로 사용될 수 있고 목적에 따라 효율적으로 사용될 수 있다.
분석결과출력부(470)는 동작정보를 분석한 분석결과를 출력할 수 있고 동작정보 버전, 동작정보의 슬로우 버전, 동작정보와 기준동작의 중첩 버전, 골격모델 버전, 골격모델과 동작정보의 중첩 버전, 프레임별 자세분석 버전, 구간분석 버전 중 하나 이상을 출력장치에 출력하거나 송수신부(480)를 통해 다른 단말로 출력하거나 데이터베이스(490)에 저장할 수 있다.
여기에서, 분석결과에는 시간별, 또는 구간별 기준자세와 일치정도 또는 회전수와 같이 특정 동작을 반복한 횟수 등이 포함될 수 있다.
또한 여기에서, 다른 단말이란 PC, 노트북, 휴대폰, 스마트 폰(2G/3G/4G/LET, smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant) 및 타블렛 PC(Tablet PC) 중 어느 하나일 수 있다.
송수신부(480)는 통신 네트워크로 연결된 촬영부(300)로부터 입력영상을 수신하여 입력부(410)에 전달하거나 카메라제어부(450)로부터 전달받은 제어정보를 통신 네트워크를 통해 연결된 PTZ 카메라에 송신하거나 분석결과출력부(470)로부터 전달받은 출력 데이터를 통신 네트워크를 통해 연결된 다른 단말에게 송신할 수 있다.
데이터베이스(490)는 촬영부(300)로부터 수신한 입력영상, 동작정보분석부(440)에 의해 분석된 분석결과 또는 분석결과출력부(470)에 의해 출력된 출력 데이터 등을 저장할 수 있다.
이러한 데이터베이스(490)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스의 범주안에 포함된다.
마지막으로, 제어부(495)는 동작분석 장치(400)의 전체적인 동작을 제어하고, 입력부(410), 관절정보추출부(420), 골격모델생성부(430), 동작정보분석부(440), 카메라제어부(450), 모드설정부(460), 분석결과출력부(470), 송수신부(480), 데이터베이스(490) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 12는 본 발명의 일 실시예에 따른 동작분석 방법을 나타낸 순서도이다.
도 12를 참조하면, 일 실시예에 따른 동작분석 방법(500)은 입력단계(S510), 관절정보추출단계(S520), 골격모델생성단계(S530), 동작정보분석단계(S540) 및 분석결과출력단계(S550)를 포함할 수 있다.
입력단계(S510)에서, 동작분석 장치(400)는 촬영부(300)에 의해 촬영된 입력영상을 촬영부(300)로부터 전송받거나 입력영상이 저장된 데이터베이스(490)로부터 입력영상을 입력받을 수 있다.
관절정보추출단계(S520)에서, 동작분석 장치(400)는 입력부(410)로부터 입력영상을 전달받아서 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출할 수 있다.
골격모델생성단계(S530)에서, 동작분석 장치(400)는 관절정보추출단계(S520)에서 추출된 관절정보를 기초로 골격모델을 생성할 수 있다.
동작정보분석단계(S540)에서, 동작분석 장치(400)는 골격모델생성단계(S530)에서 생성된 골격모델을 기초로 자세정보를 추정하고 자세정보를 기초로 동작정보를 분석할 수 있다.
여기에서, 자세정보 추정과 관련하여, 동작분석 장치(400)는 골격모델을 구성하는 각 뼈대의 형태를 자세정보로 추정하거나 골격모델을 구성하는 하나 이상의 뼈대의 각도를 자세정보로 추정할 수 있다.
또한 여기에서, 동작정보 분석과 관련하여, 동작분석 장치(400)는 자세정보를 기초로 특정한 시간동안의 자세정보 변화에 해당하는 동작정보가 기 설정된 기준동작을 만족하는지 판단하거나 자세정보를 기초로 특정한 시간동안의 자세정보 변화에 해당하는 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
이 때에, 동작분석 장치(400)는 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
또한, 동작분석 장치(400)는 미리 정해진 일련의 기준자세정보로 구성된 하나 이상의 기준동작정보 중에서 특정한 기준동작정보를 동작정보로 설정하거나 자세정보와 하나 이상의 기준동작정보를 비교하여 자세정보에 대응되는 기준자세정보를 포함하는 기준동작정보와 일련의 자세정보를 비교하여 분석할 수 있다.
또한, 동작분석 장치(400)는 일련의 자세정보에서 일련의 기준자세정보와 매칭되는 키프레임을 순서대로 검색하고 키프레임에서 시간적으로 인접하는 제1키프레임 및 제2키프레임을 기초로 제1키프레임 및 제2키프레임 사이의 일련의 자세정보가 기준동작정보에 속하는지를 분석할 수 있다.
또한, 동작분석 장치(400)는 일련의 자세정보로부터 특정한 동작정보를 반복한 횟수를 분석할 수 있다. 예를 들면, 러츠(도 6)와 플립(도 7)은 회전기(M)에 회전한 횟수에 따라서 더블, 트리플, 쿼드러플로 동작정보의 명칭 및 배점이 달라지는데 동작분석 장치(400)는 회전한 횟수를 판단할 수 있다.
또한, 동작분석 장치(400)는 사람의 자세정보를 시간별 또는 구간별로 분석할 수 있다.
여기에서, 구간은 사용자로부터 특정한 시점을 미리 입력받아 설정되거나 도 6 또는 도 7의 기준자세(P1 내지 P9)로 구간을 나누도록 미리 설정될 수도 있고 사람의 자세정보의 변화율이 큰 시점을 기준으로 구간이 나뉠 수도 있다.
또한 여기에서, 사람의 자세정보의 변화율이 큰 시점이란 특정 뼈의 기울기가 크게 변하는 부분을 의미할 수 있다.
또한, 동작분석 장치(400)는 동작분석 장치(400)가 판정모드이면 자세정보를 기초로 동작정보가 기 설정된 기준동작을 만족하는지 판단하고, 동작분석 장치(400)가 훈련모드이면 자세정보를 기초로 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드할 수 있다.
분석결과출력단계(S550)에서, 동작분석 장치(400)는 동작정보를 분석한 분석결과를 출력할 수 있고 동작정보 버전, 동작정보의 슬로우 버전, 동작정보와 기준동작의 중첩 버전, 골격모델 버전, 골격모델과 동작정보의 중첩 버전, 프레임별 자세분석 버전, 구간분석 버전 중 하나 이상을 출력장치에 출력하거나 다른 단말로 전송하거나 데이터베이스(490)에 저장할 수 있다.
이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 자세분석 시스템
300 : 촬영부
400 : 동작분석 장치
410 : 입력부 420 : 관절정보추출부
430 : 골격모델생성부 440 : 동작정보분석부
450 : 카메라제어부 460 : 모드설정부
470 : 분석결과출력부 480 : 송수신부
490 : 데이터베이스 495 : 제어부

Claims (11)

  1. 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 관절정보추출부;
    상기 관절정보를 기초로 골격모델을 생성하는 골격모델생성부; 및
    상기 골격모델을 기초로 자세정보를 추정하고 상기 자세정보를 기초로 동작정보를 분석하는 동작정보분석부를 포함하며,
    상기 동작정보분석부는 관절정보를 기초로 하여 상기 골격을 벡터로 대응시키고, 관절을 원점으로 한 좌표계를 생성하며, 각 골격에 대응하는 벡터 A,B를 상기 좌표계의 한 평면에 투영시킨 벡터 u,v를 계산하고 상기 투영시킨 벡터 u,v 사이의 각도를 계산하여 골격의 기울어짐을 판단하는 동작분석 장치.
  2. 제 1항에 있어서,
    하나 이상의 PTZ 카메라로 사람을 트래킹하면서 촬영하는 촬영부를 포함하고,
    상기 관절정보추출부는 상기 촬영부에 의해 촬영된 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보를 추출하는 동작분석 장치.
  3. 제 2항에 있어서,
    상기 PTZ 카메라가 사람의 움직임을 트래킹할 수 있도록 카메라의 촬영각도 및 줌기능을 제어하는 카메라제어부를 더 포함하는 동작분석 장치.
  4. 삭제
  5. 제 1항에 있어서,
    상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보가 기 설정된 기준동작을 만족하는지 판단하거나 상기 자세정보를 기초로 상기 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하거나 상기 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치.
  6. 제 1항에 있어서,
    판정모드에서 상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보가 기 설정된 기준동작을 만족하는지 판단하는 동작분석 장치.
  7. 제 1항에 있어서,
    훈련모드에서 상기 동작정보분석부는 상기 자세정보를 기초로 상기 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치.
  8. 제 7항에 있어서,
    훈련모드에서 상기 동작정보분석부는 상기 자세정보를 기초로 속도 또는 자세변화에 따른 자세정확도를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 장치.
  9. 제 1항에 있어서,
    상기 동작분석 장치는 상기 동작정보를 분석한 분석결과를 출력하는 분석결과출력부를 포함하고,
    상기 분석결과출력부는 상기 동작정보 버전, 상기 동작정보의 슬로우 버전, 상기 동작정보와 기준동작의 중첩 버전, 상기 골격모델 버전, 상기 골격모델과 동작정보의 중첩 버전, 프레임별 자세분석 버전, 구간분석 버전 중 하나 이상을 출력하는 동작분석 장치.
  10. 관절정보추출부, 골격모델생성부 및 동작정보분석부를 포함하는 동작분석장치에 의한 동작분석방법에 있어서,
    관절정보추출부에 의해 입력영상으로부터 사람을 인식하고 프레임별로 사람의 관절정보가 추출되는 관절정보추출단계;
    골격모델생성부에 의해 상기 관절정보를 기초로 골격모델이 생성되는 골격모델생성단계; 및
    동작정보분석부에 의해 상기 골격모델을 기초로 자세정보가 추정되고 상기 자세정보를 기초로 동작정보가 분석되며,
    상기 동작정보분석부는 관절정보를 기초로 하여 상기 골격을 벡터로 대응시키고, 관절을 원점으로 한 좌표계를 생성하며, 각 골격에 대응하는 벡터 A,B를 상기 좌표계의 한 평면에 투영시킨 벡터 u,v를 계산하고 상기 투영시킨 벡터 u,v 사이의 각도를 계산하여 골격의 기울어짐을 판단하는 동작정보분석단계를 포함하는 동작분석 방법.
  11. 제 10항에 있어서,
    판정모드이면 상기 동작정보분석단계에서 상기 자세정보를 기초로 상기 동작정보가 기 설정된 기준동작을 만족하는지 판단하고,
    훈련모드이면 상기 동작정보분석단계에서 상기 자세정보를 기초로 상기 동작정보를 분석하여 기 설정된 기준동작을 만족하도록 가이드하는 동작분석 방법.
KR1020180098855A 2018-08-23 2018-08-23 동작분석 장치 및 방법 KR102238085B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098855A KR102238085B1 (ko) 2018-08-23 2018-08-23 동작분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098855A KR102238085B1 (ko) 2018-08-23 2018-08-23 동작분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200022788A KR20200022788A (ko) 2020-03-04
KR102238085B1 true KR102238085B1 (ko) 2021-04-08

Family

ID=69783414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098855A KR102238085B1 (ko) 2018-08-23 2018-08-23 동작분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102238085B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594938B1 (ko) * 2020-04-17 2023-10-31 초록소프트 주식회사 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
JP7433126B2 (ja) * 2020-04-21 2024-02-19 三菱電機株式会社 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
KR102568538B1 (ko) 2020-06-23 2023-08-23 한국전자통신연구원 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법
US12017116B2 (en) 2020-06-23 2024-06-25 Electronics And Telecommunications Research Institute Apparatus and method for evaluating human motion using mobile robot
KR102304641B1 (ko) 2020-12-15 2021-09-24 (주)나노아이티 인공지능형 태권도 품새 판독 및 교육 시스템
CN112699812B (zh) * 2020-12-31 2024-03-08 北京爱奇艺科技有限公司 人体模型运动特征提取方法、装置、电子设备及存储介质
KR20220129762A (ko) 2021-03-17 2022-09-26 주식회사 케이티 스윙 동작 분석 서버, 방법 및 컴퓨터 프로그램
KR102578469B1 (ko) * 2022-08-23 2023-09-14 주식회사 엘리펀트에이아이 전문가의 자세 및 동작 분석 정보를 이용한 사용자의 자세 및 동작 교정 정보 제공 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192116A1 (en) * 2005-03-29 2008-08-14 Sportvu Ltd. Real-Time Objects Tracking and Motion Capture in Sports Events
KR101576106B1 (ko) * 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886511B1 (ko) * 2015-09-30 2018-08-07 가부시키가이샤 리코 정보 처리 장치 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192116A1 (en) * 2005-03-29 2008-08-14 Sportvu Ltd. Real-Time Objects Tracking and Motion Capture in Sports Events
KR101576106B1 (ko) * 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법

Also Published As

Publication number Publication date
KR20200022788A (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
KR102238085B1 (ko) 동작분석 장치 및 방법
CN107349594B (zh) 一种虚拟舞蹈系统的动作评价方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
CN105426827B (zh) 活体验证方法、装置和系统
CN110448870B (zh) 一种人体姿态训练方法
CN108597578A (zh) 一种基于二维骨架序列的人体运动评估方法
KR102514697B1 (ko) 골프 동작 분석 장치 및 방법
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
KR101399655B1 (ko) 체형별 스윙분석장치 및 이를 이용한 골프레슨 관리 시스템 및 방법
JP4645223B2 (ja) 顔追跡プログラムおよび顔追跡方法
US20100208038A1 (en) Method and system for gesture recognition
KR20160096473A (ko) 동작 평가 시스템 및 방법
US20160296795A1 (en) Apparatus and method for analyzing golf motion
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
JP2009020897A (ja) 画像解析方法、画像解析装置、画像解析プログラム
CN109389054A (zh) 基于自动图像识别和动作模型对比的智能镜子设计方法
KR102594938B1 (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
KR20160098560A (ko) 동작 분석 장치 및 방법
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
CN110838353A (zh) 动作匹配方法及相关产品
KR102412553B1 (ko) 인공지능 기반 댄스 동작 비교 방법 및 장치
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
JPH08287216A (ja) 顔面内部位認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right