KR101576106B1 - 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 - Google Patents

깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 Download PDF

Info

Publication number
KR101576106B1
KR101576106B1 KR1020150006676A KR20150006676A KR101576106B1 KR 101576106 B1 KR101576106 B1 KR 101576106B1 KR 1020150006676 A KR1020150006676 A KR 1020150006676A KR 20150006676 A KR20150006676 A KR 20150006676A KR 101576106 B1 KR101576106 B1 KR 101576106B1
Authority
KR
South Korea
Prior art keywords
motion
unit
recognition
depth camera
poomsae
Prior art date
Application number
KR1020150006676A
Other languages
English (en)
Inventor
남윤영
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to EP15154204.0A priority Critical patent/EP3009957A3/en
Priority to US14/629,561 priority patent/US20160104298A1/en
Priority to JP2015041146A priority patent/JP5986656B2/ja
Application granted granted Critical
Publication of KR101576106B1 publication Critical patent/KR101576106B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 깊이 카메라를 이용하여 인체의 골격기반의 태권도 품새를 인식하고 이를 이용하여 자동으로 승단 여부를 판정해주는 승단 심사 장치와 그 방법에 대한 것이다.
본 발명의 주요 구성은 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출부, 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의부, 오브젝트 특징 추출부와 동작 정의부를 통해 얻어진 정보를 이용하여 오브젝트의 행동을 인식하는 동작 인식부, 동작 인식부에서 확정된 오브젝트의 동작의 정확도를 판정하는 판정부를 포함하는 것을 특징으로 한다.

Description

깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법{APPARATUS AND METHOD FOR TAEKWONDO POOMSAE RECOGNITION AND DAN PROMOTION BASED ON HUMAN SKELETON USING DEPTH CAMERA THEREOF}
본 발명은 키넥트와 같은 깊이 카메라를 이용하여 인체의 골격을 추출하여 이를 태권도 품새 인식 및 승단 심사에 이용하기 위한 승단 심사 장치와 그 방법에 대한 것이다.
사람의 동작인식 기술은 센서나 특정 장치를 사람의 신체에 부착하여 신체의 움직임을 감지한 데이터를 동작인식에 활용하는 접촉 방식과 카메라를 이용하여 사람의 움직임 영상을 추적하여 동작인식 정보를 추출하는 비 접촉 방식으로 구분 된다. 접촉 방식은 사용자의 움직임을 감지할 수 있는 센서나 장치를 사람의 몸에 직접 부착해 정보를 획득하는 방식으로 직접센서를 통하여 비교적 정확한 정보를 얻을 수 있는 장점이 있지만, 사용자가 센서나 장비를 착용해야하는 불편함이 매우 큰 단점이다. 비 접촉 방식은 대부분 사람의 움직임을 영상으로 촬영한 후 움직임 정보를 추출하는 기술을 이용 한다.
접촉 방식의 3D 콘텐츠 제어 방법은 사용자자의 움직임 감지가 가능한 센서나 장치를 사용자가 직접 착용하여 3D 콘텐츠와 상호작용하는 것이다. 접촉 방식으로 사용되는 대표적인 인터페이스는 광섬유, 마크네틱 센서, 자이로 센서를 이용한 데이터 글로브, 모션트랙커 등이 있다. 접촉 방식에 의한 입력 장치들은 대부분 상용화 되어 있다. 예를 들어, 3D로 제작된 네비게이션 콘텐츠에서 터치기반 3D 인터랙션 조작 인터페이스, 닌텐도의 Wii Remote 모션 컨트롤러 인터페이스, 소니사의 PlayStation Move 인터페이스, 스페이스 마우스를 대처하는 GlobalFish 인터페이스, 조이스텍 기능을 탄성체 링으로 만들어 터치패드를 내장한 Groove Pad 인터페이스 등 다양한 3D 물리적 인테이스가 있다.
비 접촉 방식 기반의 3D 콘텐츠 제어 방법은 대부분 카메라를 통화여 획득한 영상 정보로부터 사람의 움직임을 추적하고 인식한다. 비 접촉식 방식은 신체 부위에 특정 마커를 부착하고 시각 기술을 이용하여 신체 움직임을 추적 하는 마커 기반 방식과 마카를 사용하지 않은 마커리스 방식 두 가지가 있다. 마커 방식은 영상의 컬러, 형태, LED, 적외선 등을 마커 속성에 미리 정해두고 그 마커를 추적하는 것으로 비교적 쉽고 빠르게 사용자의 동작을 추적할 수 있다. 이 방법은 영상의 특징점 추출을 상대적으로 빠르게 할 수 있으나 사용자는 여전히 부자연스러운 마커를 부착해야 하는 단점이 있다. 마커리스 방식은 옵티컬 플로우, 배경분리 기법, 모션 히스토리이미지 등의 기법을 이용하여 사용자 움직임의 방향 및 속도 등을 감지하여 움직임을 실시간으로 빠르게 추적할 수 있고 광원의 밝기를 추적하여 움직임을 추적하기도 한다. 마커리스 방식은 카메랑의 위치, 광원의 간섭, 그림자 등과 같은 외부 요인에 취약한 단점이 있다.
태권도 승단 심사는 전적으로 심사위원의 주관에 의해서 결정되는 것으로 심사위원 개개인의 성향, 기분 등 외적인 요인들이 영향을 받고, 일관된 기준이 없어 잡음이 끊이지 않고 있다.
본 발명의 배경기술은 대한민국 특허청에 공개특허공보 10-2013-0044473호가 2010.05.03자로 개시되어 있다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 과제는, 깊이 카메라를 이용하여 사람의 움직임에 대한 깊이 정보와 비주얼 정보를 추출하고, 이를 이용하여 태권도 품새를 인식하고 승단 심사를 자동으로 해주는 승단 심사 장치를 제공하는 하는 것이다.
본 발명의 다른 해결과제는 사람의 태권도 동작의 승단기준 부합 여부를 판단하기 위해 표준 품새동작에 대한 데이터가 저장되어 있는 표준 품새동작 데이터베이스의 데이터와 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정하고 태권도 품새의 연속된 시퀀스를 비교하여 합격 기준의 충족여부를 판단하는 방법을 포함한 승단 심사 장치를 제공하는 것이다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치에 있어서, 상기 승단 심사 장치는 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출부, 상기 승단 심사 장치는 상기 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의부, 상기 승단 심사 장치는 상기 오브젝트 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식부, 상기 승단 심사 장치는 상기 동작 인식부에서 확정된 상기 오브젝트의 동작의 정확도를 판정하는 판정부를 포함하는 것을 특징으로 한다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사방법에 있어서, 상기 방법은 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출단계, 상기 방법은 상기 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의단계, 상기 방법은 상기 오브젝트 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식 단계, 상기 방법은 상기 동작 인식부에서 확정된 상기 오브젝트의 동작의 정확도를 판정하는 판정단계를 포함하는 것을 특징으로 한다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치를 이용하여 사람의 태권도 동작에 대한 정확한 품새를 인식하고, 승단 심사 시 발생할 수 있는 채점 및 판정오류 등을 방지할 수 있다.
도 1은 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 구조도를 도시한 것이다.
도 2는 RGB-D 센서를 통한 깊이 정보와 스켈렉톤 데이터를 도시한 것이다.
도 3은 사람의 관절과 추출된 스켈렉톤의 파라메터를 도시한 것이다.
도 4는 사람서서 오른손을 잡아 당겼을 때의 각 관절의 좌표부터 나온 거리 값을 나타낸다.
도 5는 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 흐름도를 도시한 것이다.
도 6는 본 발명의 일실시 예에 따른 판정단계의 세부 흐름도를 도시한 것이다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1에 도시된 바와 같이 본 발명에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 구조도를 나타낸다. 본 발명의 태권도 품새 및 승단 심사 장치는 깊이 카메라로부터 입력된 인체골격 즉, 오브젝트로부터 깊이와 비주얼 특징을 추출하는 특징추출부(110), 오브젝트의 동작이 구체적으로 어떠한 동작을 나타내는지 정의하기 위해 오브젝트의 동작 각각을 분해하는 동작분해부(121)를 포함하는 동작정의부(120), 특징추출부(110), 동작정의부(120)에 추출된 정보를 이용하여 동작을 인식하는 동작인식부(130)를 포함하고 있다. 상기 오브젝트의 깊이 특징은 깊이 카메라로부터 추출된 RGB 데이터와 오브젝트의 깊이(Depth) 정보를 조합한 RGB-D 데이터이다. 또한, 상기 동작인식부(130)에서는 상기 추출된 정보의 동작을 인식하기 위해 동작인식 데이터베이스(150)를 더 포함하고 있다. 상기 동작인식 데이터베이스에는 인식된 태권도 동작에 대한 데이터가 저장되는데 예를 들면, 주춤서기, 왼쪽 아래막기, 오른쪽 아래막기, 왼발 앞차기, 오른발 앞차기 등과 같은 데이터가 될 수 있다.
상기 동작인식부(130)는 동작매칭부(131), 동작분류부(132), 동작확정부(133)의 세부모듈을 포함하고 있다. 상기 동작매칭부(131)는 상기 특징추출부(110)와 상기 동작정의부(120)로부터 추출된 정보와 상기 동작인식 데이터베이스(150)의 데이터와 비교를 통해 동작을 매칭하고, 매칭된 결과를 이용하여 동작을 분류한 후 동작을 확정하게 된다.
상기 오브젝트의 동작을 확정한 후 동작의 연결(Sequence)을 판정하여 승단여부를 결정해주는 판정부(140)을 포함한다. 상기 판정부는 상기 동작인식부(130)에서 인식된 동작의 연결이 정확한지 판정하기 위해 표준 품새동작 데이터베이스(160)를 포함한다. 상기 표준 품새동작 데이터베이스(160)에는 일반적으로 알려져 있는 태권도의 유단자의 품새인 태극 1장부터 8장까지 데이터와 유급자의 품새인 고려, 금강, 태백, 평원등의 품새 데이터를 포함하고 있다.
도 2는 RGB-D센서를 통해 입력된 데이터의 깊이정보와 스켈렉톤을 도시한 것이다. 도 2의 (a)는 RGB-D 카메라를 통해 입력된 RGB 카메라 이미지를 나타낸다. 상기 이미지에서는 두 개의 오브젝트(사람)가 나타나있다. 그림(b)는 그림(a)의 두 개의 오브젝트에 대한 깊이 정보를 나타낸 것으로 깊이 카메라로부터 자동적으로 세그먼트되어 표시된다. 노란색과 보라색 레이블은 세그먼트된 오브젝트를 나타낸다. 회색 레이블은 의자와 바닥과 같은 비 반사(non IR reflective) 영역을 나타낸다. 그림(c)는 깊이 카메라가 마킹된 영역에 적외선을 투사하여 연결된 점들의 반사파 강도를 측정하고, 반사강도를 통해 거리를 측정하고, 반사강도가 약한 점들은 멀리서부터, 강도가 높은 점들은 전면에 있는 사용자로부터 온 것으로 추정하여 오브젝트의 주요 스켈렉톤을 인식한 것을 나타낸다.
그림 3은 사람의 관절과 추출된 스켈렉톤의 파라메터를 도시한 것이다. 깊이 카메라가 사람의 골격을 인지하는 기법을 이용하여 사람의 손목, 팔목, 어깨 움직임에 기반한 동작을 정의할 수 있다. 예를 들면, 좌로 이동은 오른팔을 이용하여 어깨선을 중심으로 손목, 팔꿈치 변화가 좌측으로 이동하는 것을 말하고, 우로 이동은 좌측 팔이 어깨선을 기준으로 손목, 팔꿈치가 우축으로 이동하고, 위로 이동은 어깨선 보다 위로, 아래로 이동은 어깨선보다 밑으로, 확대는 양손이 기준보다 밖으로 이동, 축소는 양손이 기준보다 안쪽으로 이동하는 것이고, 선택은 한손을 정면으로 이동하는 것을 말한다. 이와 같이, 그림 3의 (b)와 같이 사람의 스켈렉톤 간 연결 포인트인 관절(joint)의 좌표 변화와 각도에 따라 움직임을 판단할 수 가 있다.
도 4는 사람이 서서 오른쪽 손을 당겼을 때의 관절간의 좌표에 대한 거리를 나타낸 것이다. 본 발명에서는 사람의 자세와 동작의 모델링을 위해서 입력 시퀀스의 이동 거리를 매칭하기 위해 표준 품새의 연결동작을 이용하여 각 관절의 거리 편차를 고려한다. 예를 들면, 상체 동작을 감지하기 위해서 시간에 따라 각 관절 P i 와 원점(reference point)간의 거리 D r , i 를 계산한다. 왼쪽과 오른쪽 어깨 관절의 왼쪽과 오른쪽 간의 중심점(center point)은 원점을 분석하여 계산한다. 상체 중심점 각 관절의 거리 편차를 이용하여
Figure 112015003780468-pat00001
와
Figure 112015003780468-pat00002
는 [수학식 1]과 같이 계산된다.
[수학식 1]
Figure 112015003780468-pat00003
여기서, J sh,l 과 J sh,r 은 왼쪽과 오른쪽 어깨의 좌표값을 나타내고, 각 관절의 i의 좌표값
Figure 112015003780468-pat00004
와
Figure 112015003780468-pat00005
은 [수학식 2]와 같이 계산된다.
[수학식 2]
Figure 112015003780468-pat00006
여기서, J sh,l 과 J sh,r 의 거리 D sh 는
Figure 112015003780468-pat00007
가 된다.
각 관절 i의 표준화된 좌표
Figure 112015003780468-pat00008
와
Figure 112015003780468-pat00009
는 [수학식 3]과 같이 계산된다.
[수학식 3]
Figure 112015003780468-pat00010
하체에 대한 동작인식도 상기의 상체 동작을 감지하기 위한 계산식과 동일하게 계산할 수 있다.
동작은 서(stand)있는 동작과 누워 있는(lie down)동작으로 나눌 수 있는 데 이를 구별하기 위해서는 척추(spine)와 x축 간의 각도 A SP 를 [수학식 4]와 같이 계산한다.
[수학식 4]
Figure 112015003780468-pat00011
여기서, CUP과 Clow는 상기의 상체 중심점 각 관절의 거리 편차를 이용한
Figure 112015003780468-pat00012
와
Figure 112015003780468-pat00013
의 계산식과 각 관절의 i의 좌표값
Figure 112015003780468-pat00014
와
Figure 112015003780468-pat00015
의 계산식을 이용하여 구할 수 있다. 인사(bow)와 같은 굽히는 동작을 위해서는 두 가지 벡터인 Vup과 Vlow간의 각도인 Aup, low를 구하면 되고, 계산식은 [수학식 5]와 같다.
[수학식 5]
Figure 112015003780468-pat00016
여기서, J sp 는 척추를 나타낸다.
도 5는 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 흐름도를 나타낸다.
태권도 품새 인식 및 승단을 위해서 승단 심사가 시작이 되면 사람은 시작위치에 서 있어야 한다(S510). 시작위치는 깊이 카메라로부터 최소 40cm ~ 5m 이내여야 한다. 사람이 시작위치에 서면 품새의 시작을 알리는 메시지가 알려주고(S520), 사람은 메시지를 본 시점부터 해당 심사의 품새 및 동작을 카메라를 보면서 수행하면 된다. 동작을 수행하는 사람을 품새와 동작을 정확인 인식하기 위해서 깊이 카메라는 사람 주변에 최소 1대에서 최대 4대까지 설치한다. 상기 품새와 동작의 수행 중에는 상기 깊이 카메라의 깊이 센서와 비주얼 센서를 통해 사람이 수행하는 동작에 대한 특징을 실시간으로 사용자 동작인식 데이터베이스에 저장되고(S530), 상기 저장된 데이터는 동작을 인식을 위해 동작매칭단계(S533), 동작 분류단계(S534), 동작확정단계(S535)를 거쳐 최종적으로 사람의 동작이 어떠한 동작인지 인식하게 된다.
상기 인식된 사람의 동작은 품새 및 동작에 대한 표준 데이터가 저장되어 있는 표준 품새동작 데이터베이스의 데이터와 비교하여 판정하는 단계(S540)를 거쳐 최종 합격여부를 결정(S550)하게 된다.
도 6은 판정단계의 세부 흐름도는 나타낸다.
상기 판정단계(S540)에서 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표값과 비교하여 정확도를 측정하는 단계(S610), 태권도 품새의 연속된 시퀀스를 비교해서 판단하는 단계(S620), 합격기준의 충족여부를 판단하는 단계(S630)를 더 포함하고 있다. 태권도 품새에 대한 동작의 시퀀스를 비교해서 판단할 때에 상기 동작의 정확도는 오브젝트의 x, y, z축의 좌표 값과 축 간의 각도를 비교하여 판정을 하고, 상기 판정 후 동작의 정확도가 60% ~ 100% 인 경우 합격을 통보하게 된다.
본 발명에서는 정확도 측정을 위해 동적 시간 워프(Dynamic Time Warping)알고리즘을 이용하여 동작에 대한 데이터 값들을 396개로 정의하였다. 즉, 처음 움직임이 있는 동작의 시작점과 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 이용해 396개로 정렬시킨다. 상기 정확도를 측정하는 단계(S610)는 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구한다.
본 발명은 상술한 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술 분야의 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 청구범의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 간주한다.

Claims (17)

  1. 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치에 있어서,
    깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 특징 추출부;
    상기 오브젝트의 동작들을 정의하기 위한 동작 정의부;
    상기 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식부;
    상기 동작 인식부에서 확정된 상기 오브젝트 동작의 시퀀스를 판정하여 승단 여부를 결정해주는 판정부를 포함하되,
    상기 동작 인식부는 상기 오브젝트의 동작을 분류하는 동작 분류부와, 동작을 매칭하는 동작 매칭부와, 상기 오브젝트의 동작을 확정하는 동작 확정부를 포함하고,
    상기 동작 인식부는 상기 오브젝트의 각 관절의 거리편차를 고려하여 동작을 인식하고, 상기 오브젝트의 동작은 서있는 동작과 누워있는 동작으로 나뉘어져있고, 상기 오브젝트의 동작을 구별하기 위해 척추와 x축 간의 각도를 이용하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  2. 삭제
  3. 청구항 제1항에 있어서, 상기 동작 정의부는 동작 분해부를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  4. 삭제
  5. 청구항 제1항에 있어서, 상기 동작인식부는 확정된 상기 동작들을 저장하는 사용자 동작인식 데이터베이스를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  6. 청구항 제1항에 있어서, 상기 판정부는 표준 품새동작 데이터베이스를 더 포함하고, 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  7. 청구항 제6항에 있어서, 상기 정확도를 측정하는 것은 상기 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  8. 청구항 제7항에 있어서, 상기 좌표값은 상기 오브젝트의 x, y, z 축의 좌표값인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
  9. 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사방법에 있어서,
    깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 특징 추출단계;
    상기 오브젝트의 동작들을 정의하기 위한 동작 정의단계;
    상기 특징 추출단계와 상기 동작 정의단계를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식 단계;
    상기 동작 인식 단계에서 확정된 상기 오브젝트 동작의 시퀀스를 판정하여 승단 여부를 결정해주는 판정단계를 포함하되,
    상기 동작 인식단계는 상기 오브젝트의 동작을 분류하는 동작 분류단계와, 동작을 매칭하는 동작 매칭단계와, 상기 오브젝트의 동작을 확정하는 동작 확정단계;를 포함하고,
    상기 동작 인식단계는 상기 오브젝트의 각 관절의 거리편차를 고려하여 동작을 인식하고, 상기 오브젝트의 동작은 서있는 동작과 누워있는 동작으로 나뉘어져있고, 상기 오브젝트의 동작을 구별하기 위해 척추와 x축 간의 각도를 이용하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  10. 삭제
  11. 청구항 제9항에 있어서, 상기 동작 정의단계는 동작 분해단계를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  12. 청구항 제11항에 있어서, 상기 동작 인식단계는 상기 오브젝트의 동작을 분류하는 동작 분류단계, 동작을 매칭하는 동작 매칭단계와 상기 오브젝트의 동작을 확정하는 동작 확정단계를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  13. 청구항 제9항에 있어서, 상기 동작 인식단계는 확정된 상기 동작들을 저장하는 사용자 동작인식 데이터베이스를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  14. 청구항 제13항에 있어서, 상기 판정단계는 표준 품새동작 데이터베이스를 더 포함하고, 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정 단계, 태권도 품새의 연속된 시퀀스를 비교해서 판단하는 단계, 합격 기준의 충족여부를 판단해 통보하는 단계를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  15. 청구항 제14항에 있어서, 상기 정확도를 측정하는 단계는 상기 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 방법.
  16. 청구항 제15항에 있어서, 상기 좌표 값은 상기 오브젝트의 x, y, z 축의 좌표 값인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
  17. 청구항 제16항에 있어서, 상기 합격 기준은 상기 동작의 정확도가 60% ~ 100% 인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
KR1020150006676A 2014-10-14 2015-01-14 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 KR101576106B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15154204.0A EP3009957A3 (en) 2014-10-14 2015-02-06 Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera
US14/629,561 US20160104298A1 (en) 2014-10-14 2015-02-24 Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera
JP2015041146A JP5986656B2 (ja) 2014-10-14 2015-03-03 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140138411 2014-10-14
KR20140138411 2014-10-14

Publications (1)

Publication Number Publication Date
KR101576106B1 true KR101576106B1 (ko) 2015-12-10

Family

ID=54979200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150006676A KR101576106B1 (ko) 2014-10-14 2015-01-14 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법

Country Status (4)

Country Link
US (1) US20160104298A1 (ko)
EP (1) EP3009957A3 (ko)
JP (1) JP5986656B2 (ko)
KR (1) KR101576106B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056677A1 (ko) * 2016-09-22 2018-03-29 우하성 태권도 승품 및 승단 심사 전산화 시스템 및 그 운용방법
KR20190111304A (ko) * 2018-03-22 2019-10-02 한국전자통신연구원 무술 트레이닝 시스템 및 방법
KR20200022788A (ko) * 2018-08-23 2020-03-04 전자부품연구원 동작분석 장치 및 방법
KR102112236B1 (ko) 2019-09-26 2020-05-18 주식회사 홀로웍스 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템
KR102304641B1 (ko) * 2020-12-15 2021-09-24 (주)나노아이티 인공지능형 태권도 품새 판독 및 교육 시스템
KR102381907B1 (ko) * 2021-09-23 2022-04-04 최중구 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치
KR102630828B1 (ko) 2023-02-06 2024-01-31 주식회사 에이아이태권도 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101559972B1 (ko) * 2015-04-15 2015-10-14 김태오 태권도 품새 단련 시스템
CN111093782A (zh) * 2017-09-05 2020-05-01 富士通株式会社 评分方法、评分程序以及评分装置
EP3726468A4 (en) 2017-12-14 2020-12-16 Fujitsu Limited PROGRAM DETECTION PROGRAM, PROCEDURE DETECTION METHOD, AND PROCEDURE DETECTION SYSTEM
JP6915701B2 (ja) 2017-12-27 2021-08-04 富士通株式会社 抽出プログラム、抽出方法および情報処理装置
CN110098961B (zh) * 2019-04-25 2022-04-01 北京天融信网络安全技术有限公司 一种数据质量评估方法、装置及存储介质
WO2022034771A1 (ja) 2020-08-11 2022-02-17 株式会社三菱ケミカルホールディングス プログラム、方法、情報処理装置
CN111950485B (zh) * 2020-08-18 2022-06-17 中科人工智能创新技术研究院(青岛)有限公司 一种基于人体骨架的人体行为识别方法及系统
US11854305B2 (en) 2021-05-09 2023-12-26 International Business Machines Corporation Skeleton-based action recognition using bi-directional spatial-temporal transformer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100607046B1 (ko) * 2004-09-09 2006-08-01 주식회사 쿼터뷰 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법
KR101428922B1 (ko) * 2013-04-19 2014-08-11 한밭대학교 산학협력단 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100430840B1 (ko) * 2001-11-19 2004-05-10 쓰리에스휴먼 주식회사 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체
JP2011090273A (ja) * 2009-10-23 2011-05-06 Tomonori Shiraishi ヴァーチャル対戦による段位認定システム
JP2013101529A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US9875664B2 (en) * 2014-06-02 2018-01-23 Xerox Corporation Virtual trainer optimizer method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100607046B1 (ko) * 2004-09-09 2006-08-01 주식회사 쿼터뷰 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법
KR101428922B1 (ko) * 2013-04-19 2014-08-11 한밭대학교 산학협력단 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056677A1 (ko) * 2016-09-22 2018-03-29 우하성 태권도 승품 및 승단 심사 전산화 시스템 및 그 운용방법
KR20190111304A (ko) * 2018-03-22 2019-10-02 한국전자통신연구원 무술 트레이닝 시스템 및 방법
KR102331890B1 (ko) * 2018-03-22 2021-11-29 한국전자통신연구원 무술 트레이닝 시스템 및 방법
KR20200022788A (ko) * 2018-08-23 2020-03-04 전자부품연구원 동작분석 장치 및 방법
KR102238085B1 (ko) * 2018-08-23 2021-04-08 한국전자기술연구원 동작분석 장치 및 방법
KR102112236B1 (ko) 2019-09-26 2020-05-18 주식회사 홀로웍스 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템
KR102304641B1 (ko) * 2020-12-15 2021-09-24 (주)나노아이티 인공지능형 태권도 품새 판독 및 교육 시스템
KR102381907B1 (ko) * 2021-09-23 2022-04-04 최중구 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치
KR102630828B1 (ko) 2023-02-06 2024-01-31 주식회사 에이아이태권도 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치

Also Published As

Publication number Publication date
EP3009957A2 (en) 2016-04-20
JP5986656B2 (ja) 2016-09-06
EP3009957A3 (en) 2016-05-11
US20160104298A1 (en) 2016-04-14
JP2016081504A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
KR101576106B1 (ko) 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
US9898651B2 (en) Upper-body skeleton extraction from depth maps
KR100328648B1 (ko) 핸드포인팅장치
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
CN108845668B (zh) 人机交互系统和方法
CN104063677B (zh) 用于估计人体姿态的设备和方法
US20120163723A1 (en) Classification of posture states
US8638987B2 (en) Image-based hand detection apparatus and method
US20070257910A1 (en) Method and Apparatus for Detecting Plane, and Robot Apparatus Having Apparatus for Detecting Plane
KR101360149B1 (ko) 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
KR20110139694A (ko) 제스쳐 인식 방법 및 시스템
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
KR101436050B1 (ko) 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
Parra-Dominguez et al. 3D human motion analysis to detect abnormal events on stairs
JP2011115460A (ja) 視線制御装置、視線制御方法、及びそのプログラム
CN106933343A (zh) 用于识别虚拟现实头戴装置中的手势的设备和方法
JP2017117341A (ja) 物体検出方法、装置、及びプログラム
KR101818198B1 (ko) 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법
US20200272810A1 (en) Response apparatus and response method
JP2009288917A (ja) 情報処理装置、情報処理方法、およびプログラム
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
CN103870814A (zh) 基于智能相机的非接触式实时眼动识别方法
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
JP2006059147A (ja) コンピュータ入力方法と装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191113

Year of fee payment: 5