KR20170116437A - 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법 - Google Patents

스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20170116437A
KR20170116437A KR1020160044171A KR20160044171A KR20170116437A KR 20170116437 A KR20170116437 A KR 20170116437A KR 1020160044171 A KR1020160044171 A KR 1020160044171A KR 20160044171 A KR20160044171 A KR 20160044171A KR 20170116437 A KR20170116437 A KR 20170116437A
Authority
KR
South Korea
Prior art keywords
user
value
time point
input
posture
Prior art date
Application number
KR1020160044171A
Other languages
English (en)
Inventor
안양근
정광모
김찬규
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160044171A priority Critical patent/KR20170116437A/ko
Priority to US15/484,258 priority patent/US10297041B2/en
Publication of KR20170116437A publication Critical patent/KR20170116437A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/18—Training appliances or apparatus for special sports for skiing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2208/00—Characteristics or parameters related to the user or player
    • A63B2208/02—Characteristics or parameters related to the user or player posture
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

스키 시뮬레이터에서 사용자 자세 인식 장치가 제공된다. 이 장치는, 이전 시점의 신체 정보와 현재 시점의 신체 정보 간의 변동량에 기초하여, 서있음 자세, 상제 숙임 자세, 무릎 굽힘 자세, 오른쪽 기울임 및 왼쪽 기울임 자세와 같은 세부적인 스키 자세를 인식한다.

Description

스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING USER'S POSTURE IN SKI SIMULATOR}
본 발명은 사용자 자세 인식 장치 및 그 방법에 관한 것으로, 특히 사용자의 스키 자세를 인식하는 사용자 자세 인식 장치 및 그 방법에 관한 것이다.
일반적으로 스키는 눈이 쌓인 슬로프를 스키 플레이트와 스키 부츠, 그리고 스키 플레이트와 부츠를 결합하는 바인딩 및 폴대를 이용하여 자유낙하 하는 운동이다.
눈이 쌓인 슬로프에서 스키를 타기 위해서는 스키의 기본 동작들을 익혀야 되는데, 예를 들어 방향을 전환하는 턴 자세 또는 주행중인 스키를 멈추는 정지 자세 등과 같은 다양한 스키 자세를 익혀야 한다.
이러한 스키 자세를 익히기 위해서는, 많은 시간이 필요하며, 특히 우리나라와 같이, 4계절이 뚜렷한 환경에서는 겨울에만 스키 자세를 익힐 수 있기 때문에, 스키 자세를 숙달하는 데 더 많은 시간이 필요하다.
이에, 시간과 공간의 제약 없이, 스키 자세를 익힐 수 있는 스키 시뮬레이터에 대한 연구가 활발히 진행되고 있는 데, 지금까지 개발된 스키 시뮬레이터에서는 사용자 자세를 인식하기 위해, 기울기 센서에서 측정한 스키플레이트의 좌우 기울기 정보만으로 사용자의 스키 자세를 개략적으로 인식하기 때문에, 사용자 몸 전체에 대한 세부적인 스키 자세를 인지하지 못하는 문제점 있다.
따라서, 본 발명의 목적은 사용자 몸 전체에 대한 세부적인 스키 자세를 인식하는 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 스키 시뮬레이터에서 사용자 자세 인식방법은 사용자의 머리 위치를 나타내는 2차원 좌표값(H), 사용자의 몸 중심 위치를 나타내는 3차원 좌표값(M), 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치를 나타내는 2차원 좌표값(C), 사용자의 머리 위치로부터 사용자의 몸 중심 위치까지의 거리값(HM), 사용자의 머리 위치로부터 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치까지의 거리값(HC), 사용자의 몸 중심 위치로부터 사용자의 왼쪽 발목 위치(L)와 사용자의 오른쪽 발목 위치(R) 사이의 중심 위치(C)까지의 거리값(MC)을 포함하는 신체 정보가 입력되는 단계; 및 이전 시점에 입력된 신체 정보와 현재 시점에 입력된 신체 정보 간의 변동량에 기초하여, 사용자의 스키 자세를 인식하는 단계를 포함한다.
본 발명의 다른 일면에 따른 스키 시뮬레이터에서 사용자 자세 인식 장치는, 3차원 카메라를 통해 입력되는 영상으로부터 사용자의 머리 위치를 나타내는 2차원 좌표값(H), 사용자의 몸 중심 위치를 나타내는 3차원 좌표값(M), 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치를 나타내는 2차원 좌표값(C), 사용자의 머리 위치로부터 사용자의 몸 중심 위치까지의 거리값(HM), 사용자의 머리 위치로부터 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치까지의 거리값(HC), 사용자의 몸 중심 위치로부터 사용자의 왼쪽 발목 위치(L)와 사용자의 오른쪽 발목 위치(R) 사이의 중심 위치(C)까지의 거리값(MC)을 포함하는 신체 정보를 추출하는 영상 처리부; 및 상기 영상 처리부로부터 출력되는 이전 시점의 신체 정보와 현재 시점의 신체 정보를 순차적으로 입력받으며, 상기 이전 시점에 입력된 신체 정보와 현재 시점에 입력된 신체 정보 간의 변동량에 기초하여, 사용자의 스키 자세를 인식하는 스키 자세 인식부를 포함한다.
본 발명에 따르면, 사용자의 세부적인 스키 자세 인식을 위해, 이전 시점의 신체 정보와 현재 시점의 신체 정보 간의 변동량에 기초하여, 서있음 자세, 상체 숙임 자세, 무릎 굽힘 자세, 오른쪽 기울임 자세 및 왼쪽 기울임 자세와 같은 세부적인 스키 자세를 정밀하게 인식할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 스키 시뮬레이터에서 사용자 자세 인식 장치의 주요 구성을 나타낸 블록도이다.
도 2는 도 1에 도시한 영상 처리부에서 생성한 사용자 신체 정보를 설명하기 위한 도면이다.
도 3은 도 1에 도시한 스키 자세 인식부에서 수행하는 서있음(Stand) 자세의 인식 과정을 나타내는 흐름도이다.
도 4는 도 1에 도시한 스키 자세 인식부에서 수행하는 상체 숙임(Bending Forward) 자세의 인식 과정을 나타내는 흐름도이다.
도 5는 도 1에 도시한 스키 자세 인식부에서 수행하는 무릎 굽힘(Bending Knees) 자세의 인식 과정을 나타내는 흐름도이다.
도 6은 도 1에 도시한 스키 자세 인식부에서 인식한 서있음 자세, 상체 숙임 자세 및 무릎 굽힘 자세를 도식적으로 나타낸 도면이다.
도 7은 도 1에 도시한 스키 자세 인식부에서 수행하는 오른쪽 기울임(Tilt Right) 자세의 인식 과정을 나타내는 흐름도이다.
도 8은 도 1에 도시한 스키 자세 인식부에서 수행하는 왼쪽 기울임(Tilt Left) 자세의 인식 과정을 나타내는 흐름도이다.
도 9는 도 1에 도시한 스키 자세 인식부에서 인식한 오른쪽 기울임 자세와 왼쪽 기울임 자세를 도식적으로 나타낸 도면이다.
이하, 본 발명의 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 실시 예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 스키 시뮬레이터에서 사용자 자세 인식 장치의 주요 구성을 나타낸 블록도이고, 도 2는 도 1에 도시한 영상 처리부에서 생성한 사용자 신체 정보를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 스키 시뮬레이터에서 사용자 자세 인식 장치(100)는 사용자의 스키 자세를 인식하는 장치로서, 영상 획득부(110), 영상 처리부(120) 및 스키 자세 인식부(130)를 포함한다.
영상 생성부(110)는, 사용자를 촬영하여 사용자 영상을 생성하는 구성으로, 3차원 카메라일 수 있다. 3차원 카메라는 깊이(depth)값를 갖는 깊이 영상을 생성하는 깊이 카메라와 RGB값을 갖는 RGB 영상을 생성하는 RGB 카메라의 조합으로 구현될 수 있다. 여기서, 깊이 카메라는 적외선 카메라일 수 도 있다.
영상 처리부(120)는 렌더링(rendering) 처리 과정과 같은 영상 처리 과정을 통해 영상 생성부(110)에서 생성한 사용자 영상 즉, RGB 영상과 깊이 영상을 이용하여 사용자의 스키 자세 인식에 필요한 사용자의 신체 정보를 추출한다. 영상 처리부(120)에 의해 추출되는 사용자의 신체 정보는 도 2에 도시된 바와 같다.
도 2에 도시된 바와 같이, 사용자의 신체 정보는, 3차원 좌표계에서, 사용자의 머리 위치를 나타내는 2차원 좌표값(H(x, y) 또는 H), 사용자의 몸 중심 위치를 나타내는 3차원 좌표값(M(x, y, z) 또는 M), 사용자의 왼쪽 발목 위치를 나타내는 2차원 좌표값(L(x, y) 또는 L), 사용자의 오른쪽 발목 위치를 나타내는 2차원 좌표값(R(x, y) 또는 R) 및 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치를 나타내는 2차원 좌표값(C(x, y) 또는 C)을 포함한다.
추가로, 사용자의 신체 정보는, 3차원 좌표계에서, 사용자의 머리 위치(H)로부터 사용자의 몸 중심 위치(M)까지의 거리값(HM), 사용자의 머리 위치(H)로부터 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치(C)까지의 거리값(HC), 사용자의 몸 중심 위치(M)로부터 사용자의 왼쪽 발목 위치(L)와 사용자의 오른쪽 발목 위치(R) 사이의 중심 위치(C)까지의 거리값(MC) 및 사용자의 왼쪽 발목 위치로부터 사용자의 오른쪽 발목 위치까지의 거리값(LR)을 더 포함할 수 있다.
스키 자세 인식부(130)는 영상 처리부(120)에서 추출한 사용자의 신체 정보를 이용하여 사용자의 스키 자세를 인식한다. 여기서, 본 발명의 일 실시 예에 따른 스키 자세 인식부(130)가 인식하는 사용자의 스키 자세는 서있음(Stand) 자세, 상체 숙임(Bending Forward) 자세, 무릎 굽힘(Bending Knees) 자세, 오른쪽 기울임(Tilt Right) 자세 및 왼쪽 기울임(Tilt Left) 자세를 포함한다.
이하, 상기 스키 자세 인식부(130)에서 수행하는 스키 자세 인식 과정을 도 3 내지 도 9를 참조하여 상세히 설명한다.
도 3은 도 1에 도시한 스키 자세 인식부에서 수행하는 서있음(Stand) 자세의 인식 과정을 나타내는 흐름도로서, 도면 및 이하의 설명에서 아래첨자 'n-1'은 이전 시점을 나타내고, 아래 첨자 'n'은 이전 시점의 바로 직후인 현재 시점을 나타내는 것으로 정의한다.
도 3을 참조하면, 서있음(Stand) 자세는 이전 시점의 신체 정보와 현재 시점의 신체 정보 간의 변화량을 기반으로 인지된다.
구체적으로, 먼저, 단계 S310에서, 이전 시점의 신체 정보와 현재 시점의 신체 정보가 영상 프레임 단위로 순차적으로 입력된다.
이어, 단계 S320에서, 이전 시점의 HCn-1와 현재 시점의 HCn 간의 차이값에 대한 절대값이 제1 기준값(REF1) 이하인지를 판단한다. 여기서, 제1 기준값(REF1)은 사전에 설정된 HC의 허용 오차를 나타내는 상수값이다. 절대값이 상기 단계 S320의 조건을 만족하지 않는 경우, 서있음 자세가 아닌 것으로 간주하고, 서있음 자세의 인식과정은 종료된다.
이어, 단계 S330에서, 상기 단계 S320의 조건을 만족하는 경우, 이전 시점의 Mn-1의 z좌표값(Mn-1(z))과 현재 시점의 Mn 의 z좌표값(Mn(z)) 간의 차이값에 대한 절대값(│Mn-1 - Mn│)이 제2 기준값(REF2) 이하인지를 판단한다. 여기서, 제2 기준값(REF2)은 Z축 방향(카메라의 방향 또는 영상의 수직한 방향)으로 표현 가능한 전체 깊이 범위(또는 계조 범위) 내에서 사전에 설정된 상수값이다. 상기 절대값(│Mn-1 - Mn│)이 상기 단계 S330의 조건을 만족하지 않는 경우, 서있음 자세가 아닌 것으로 간주하고, 서있음 자세의 인식과정은 종료된다.
이어, 단계 S340에서, 상기 단계 S330의 조건을 만족하는 경우, 이전 시점의 HMn-1와 현재 시점의 HMn 간의 차이값에 대한 절대값(│HMn-1 - HMn│)이 제3 기준값(REF3)이하인지를 판단한다. 여기서, 제3 기준값(REF3)은 사전에 설정된 HM의 허용 오차를 나타내는 상수값이다. 상기 단계 S340의 조건을 만족하지 않는 경우, 서있음 자세가 아닌 것으로 간주하고, 서있음 자세의 인식과정은 종료된다.
이어, 단계 S350에서, 상기 단계 S340의 조건을 만족하는 경우, 이전 시점의 MCn-1와 현재 시점의 MCn 간의 차이값에 대한 절대값(│MCn-1 - MCn│)이 제4 기준값(REF4) 이하인지를 판단한다. 여기서, 제4 기준값(REF4)은 사전에 설정된 MC의 허용 오차를 나타내는 상수값이다. 상기 단계 S350의 조건을 만족하지 않는 경우, 서있음 자세가 아닌 것으로 간주하고, 서있음 자세의 인식과정은 종료된다.
이어, 단계 S360에서, 상기 단계 S350의 조건을 만족하면, 사용자의 자세를 도 6의 (A)와 같은 서있음 자세로 최종 인식하고, 서있음 자세 인식에 대한 일련 절차를 종료한다.
도 4는 도 1에 도시한 스키 자세 인식부에서 수행하는 상체 숙임(Bending Forward) 자세의 인식 과정을 나타내는 흐름도이다.
도 4를 참조하면, 단계 S410에서, 이전 시점의 신체 정보와 현재 시점의 신체 정보가 영상 프레임 단위로 순차적으로 입력된다.
이어, 단계 S420에서, 현재 시점의 HCn와 제1 기준값(REF1)을 더한 값(HCn + REF1)이 이전 시점의 HCn-1 미만인지를 판단한다. 단계 S420의 조건을 만족하는 않는 경우, 상체 숙임 자세가 아닌 것으로 간주하고, 상체 숙임 자세의 인식과정은 종료된다.
이어, 단계 S430에서, 상기 단계 S420의 조건을 만족하는 경우, 이전 시점의 Mn-1의 z좌표값(M(z)n-1)과 제2 기준값(REF2)을 더한 값(M(z)n-1+REF2)이 현재 시점의 Mn의 z좌표값(M(z)n) 미만인지를 판단한다. 단계 S430의 조건을 만족하는 않는 경우, 상체 숙임 자세가 아닌 것으로 간주하고, 상체 숙임 자세의 인식과정은 종료된다.
이어, 단계 S440에서, 상기 S430의 조건을 만족하는 경우, 현재 시점의 HMn과 제3 기준값(REF3)을 더한 값(HMn+ REF3)이 이전 시점의 HMn-1 미만인지를 판단한다. 단계 S440의 조건을 만족하지 않는 경우, 상체 숙임 자세가 아닌 것으로 간주하고, 상체 숙임 자세의 인식과정은 종료된다.
이어, 단계 S450에서, 상기 S440의 조건을 만족하는 경우, 이전 시점의 MCn-1과 현재 시점의 MCn 간의 차이값에 대한 절대값(│MCn-1-MCn│)이 제4 기준값(REF4) 이하인지를 판단한다. 단계 S450의 조건을 만족하지 않는 경우, 상체 숙임 자세가 아닌 것으로 간주하고, 상체 숙임 자세의 인식과정은 종료된다.
이어, 단계 S460에서, 상기 S450의 조건을 만족하는 경우, 사용자의 자세를 도 6의 (B)와 같은 상체 숙임 자세로 인식하고, 상체 숙임 자세 인식을 위한 일련의 절차를 종료한다.
도 5는 도 1에 도시한 스키 자세 인식부에서 수행하는 무릎 굽힘(Bending Knees) 자세의 인식 과정을 나타내는 흐름도이다.
도 5를 참조하면, 단계 S510에서, 이전 시점의 신체 정보와 현재 시점의 신체 정보가 영상 프레임 단위로 순차적으로 입력된다.
이어, 단계 S520에서, 현재 시점의 HCn와 제1 기준값(REF1)을 더한 값(HCn+REF1)이 이전 시점의 HCn-1 미만인지를 판단한다. 단계 S520의 조건을 만족하지 않는 경우, 무릎 굽힘 자세가 아닌 것으로 간주하고, 무릎 굽힘 자세의 인식과정은 종료된다.
이어, 단계 S530에서, 단계 S520의 조건을 만족하면, 현재 시점의 Mn의 z좌표값(M(z)n)과 제2 기준값(REF2)을 더한 값이 이전 시점의 Mn-1의 z좌표값(M(z)n-1) 미만인지를 판단한다. 단계 S530의 조건을 만족하지 않는 경우, 무릎 굽힘 자세가 아닌 것으로 간주하고, 무릎 굽힘 자세의 인식과정은 종료된다.
이어, 단계 S540에서, 상기 단계 S530의 조건을 만족하는 경우, 이전 시점의 HMn-1과 현재 시점의 HMn 간의 차이값에 대한 절대값(│HMn-1 - HMn│)이 제3 기준값(REF3) 이하인지를 판단한다. 단계 S540의 조건을 만족하지 않는 경우, 무릎 굽힘 자세가 아닌 것으로 간주하고, 무릎 굽힘 자세의 인식과정은 종료된다.
이어, 단계 S550에서, 상기 단계 S540의 조건을 만족하면, 현재 시점의 MCn와 제4 기준값(REF4)을 더한 값(MCn+ REF4)이 이전 시점의 MCn -1 미만인지를 판단한다. 단계 S530의 조건을 만족하지 않는 경우, 무릎 굽힘 자세가 아닌 것으로 간주하고, 무릎 굽힘 자세의 인식과정은 종료된다.
이어, 단계 S560에서, 상기 단계 S550의 조건을 만족하면, 사용자의 자세를 도 6의 (C)와 같은 무릎 굽힘 자세로 인식하고, 무릎 굽힘 자세 인식을 위한 일련의 절차를 종료한다.
도 7은 도 1에 도시한 스키 자세 인식부에서 수행하는 오른쪽 기울임(Tilt Right) 자세의 인식 과정을 나타내는 흐름도이다.
도 7을 참조하면, 단계 S710에서, 현재 시점의 신체 정보가 입력된다.
단계 S720에서, 현재 시점의 H의 좌표값(Hn) 중에서 x좌표값(H(x)n)과 현재 시점의 C 좌표값 중에서 x좌표값(C(x)n) 간의 차이값(H(x)n-C(x)n)이 양수이고, 제5 기준값(REF5)을 초과하는지를 판단한다. 여기서, 제5 기준값(REF5)은 사전에 설정된 허용 오차를 나타내는 상수값이다. 상기 단계 S720의 조건을 만족하지 않으며, 오른쪽 기울임 자세가 아닌 것으로 간주하고, 오른쪽 기울임 자세의 인식과정은 종료된다.
이어, 단계 S730에서, 상기 단계 S720의 조건을 만족하면, 현재 시점의 Mn의 좌표값 중에서 X좌표값(M(x)n)과 현재 시점의 C의 좌표값(Cn) 중에서 X좌표값(C(x)n) 간의 차이값(M(x)n-C(x)n)이 양수이고, 제6 기준값(REF6)을 초과하는지를 판단한다. 여기서, 제6 기준값(REF6)은 사전에 설정된 허용 오차를 나타내는 상수값이다. 상기 단계 S730의 조건을 만족하지 않으며, 오른쪽 기울임 자세가 아닌 것으로 간주하고, 오른쪽 기울임 자세의 인식과정은 종료된다.
이어, 단계 S740에서, 상기 단계 S730의 조건을 만족하면, 사용자 자세가 도 9의 (A)와 같은 오른쪽 기울임 자세로 최종 인식하고, 오른쪽 기울임 자세 인식을 위한 모든 절차가 종료된다.
도 8은 도 1에 도시한 스키 자세 인식부에서 수행하는 왼쪽 기울임(Tilt Left) 자세의 인식 과정을 나타내는 흐름도이다.
도 8을 참조하면, 단계 S810에서, 현재 시점의 신체 정보가 입력된다.
이어, 단계 S820에서, 현재 시점의 C 좌표값 중에서 x좌표값(C(x)n)과 현재 시점의 H의 좌표값(Hn) 중에서 x좌표값(H(x)n) 간의 차이값(C(x)n-H(x)n)이 양수이고, 제5 기준값(REF5)을 초과하는지를 판단한다. 상기 단계 S820의 조건을 만족하지 않으며, 왼쪽 기울임 자세가 아닌 것으로 간주하고, 왼쪽 기울임 자세의 인식과정은 종료된다.
이어, 단계 S830에서, 상기 단계 S820의 조건을 만족하면, 현재 시점의 C의 좌표값(Cn) 중에서 X좌표값(C(x)n)과 현재 시점의 Mn의 좌표값 중에서 X좌표값(M(x)n) 간의 차이값(C(x)n-M(x)n)이 양수이고, 제6 기준값(REF6)을 초과하는지를 판단한다. 상기 단계 S830의 조건을 만족하지 않으며, 왼쪽 기울임 자세가 아닌 것으로 간주하고, 왼쪽 기울임 자세의 인식과정은 종료된다.
이어, 단계 S840에서, 상기 단계 S830의 조건을 만족하면, 사용자 자세가 도 9의 (B)와 같은 왼쪽 기울임 자세로 최종 인식하고, 왼쪽 기울임 자세 인식을 위한 모든 절차가 종료된다.
이와 같이, 본 발명의 일 실시 예에 따른 스키 시뮬레이터에서 사용자 자세 인식을 위해, 이전 시점의 신체 정보와 현재 시점의 신체 정보 간의 변동량에 기초하여, 서있음 자세, 상제 숙임 자세, 무릎 굽힘 자세, 오른쪽 기울임 및 왼쪽 기울임 자세와 같은 세부적인 스키 자세를 인식할 수 있다.
이상에서 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 사용자의 머리 위치를 나타내는 2차원 좌표값(H), 사용자의 몸 중심 위치를 나타내는 3차원 좌표값(M), 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치를 나타내는 2차원 좌표값(C), 사용자의 머리 위치로부터 사용자의 몸 중심 위치까지의 거리값(HM), 사용자의 머리 위치로부터 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치까지의 거리값(HC), 사용자의 몸 중심 위치로부터 사용자의 왼쪽 발목 위치(L)와 사용자의 오른쪽 발목 위치(R) 사이의 중심 위치(C)까지의 거리값(MC)을 포함하는 신체 정보가 입력되는 단계; 및
    이전 시점에 입력된 신체 정보와 현재 시점에 입력된 신체 정보 간의 변동량에 기초하여, 사용자의 스키 자세를 인식하는 단계
    를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  2. 제1항에서, 상기 스키 자세를 인식하는 단계는,
    (A) 이전 시점에 입력된 HC와 현재 시점에 입력된 HC 간의 차이값에 대한 절대값이 제1 기준값 이하인지 판단하는 단계;
    (B) 이전 시점에 입력된 M의 z좌표값과 현재 시점에 입력된 M의 z좌표값 간의 차이값에 대한 절대값이 제2 기준값 이하인지 판단하는 단계;
    (C) 이전 시점에 입력된 HM과 현재 시점에 입력된 HM 간의 차이값에 대한 절대값이 제3 기준값 이하인지 판단하는 단계;
    (D) 이전 시점에 입력된 MC와 현재 시점에 입력된 MC 간의 차이값에 대한 절대값이 제4 기준값 이하인지 판단하는 단계; 및
    (E) 상기 (A), (B), (C) 및 (D)를 모두 만족하는 경우, 사용자의 스키 자세를 서있음 자세로 인식하는 단계를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  3. 제1항에서, 상기 스키 자세를 인식하는 단계는,
    (A) 현재 시점에 입력된 HC와 제1 기준값을 더한 값이 이전 시점에 입력된 HC보다 작은지 판단하는 단계;
    (B) 이전 시점에 입력된 M의 z좌표값과 제2 기준값을 더한 값이 현재 시점에 입력된 M의 z좌표값보다 작은지를 판단하는 단계;
    (C) 현재 시점에 입력된 HM과 제3 기준값을 더한 값이 이전 시점에 입력된 HM보다 작은지를 판단하는 단계;
    (D) 이전 시점에 입력된 MC와 현재 시점에 입력된 MC 간의 차이값에 대한 절대값이 제4 기준값 이하인지를 판단하는 단계; 및
    (E) 상기 (A), (B), (C) 및 (D)를 모두 만족하는 경우, 사용자의 스키 자세를 상체 숙임 자세로 인식하는 단계를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  4. 제1항에서, 상기 스키 자세를 인식하는 단계는,
    (A) 현재 시점에 입력된 HC와 제1 기준값을 더한 값이 이전 시점에 입력된 HC보다 작은지 판단하는 단계;
    (B) 현재 시점에 입력된 M의 z좌표값과 제2 기준값을 더한 값이 이전 시점에 입력된 M의 z좌표값보다 작은 지를 판단하는 단계;
    (C) 이전 시점에 입력된 HM과 현재 시점에 입력된 HM 간의 차이값에 대한 절대값이 제3 기준값 이하인 지를 판단하는 단계;
    (D) 현재 시점에 입력된 MC와 제4 기준값을 더한 값이 이전 시점에 입력된 MC보다 작은 지를 판단하는 단계; 및
    (E) 상기 (A), (B), (C) 및 (D)를 모두 만족하는 경우, 사용자의 스키 자세를 무릎 굽힘 자세로 인식하는 단계를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  5. 제1항에서, 상기 사용자의 스키 자세를 인식하는 단계는,
    (A) 현재 시점에 입력된 H의 x좌표값과 현재 시점에 입력된 C의 x좌표값 간의 차이가 양수이고, 제5 기준값보다 큰 지를 판단하는 단계;
    (B) 현재 시점에 입력된 M의 x좌표값과 현재 시점에 입력된 C의 x좌표값 간의 차이가 양수이고, 제6 기준값보다 큰 지를 판단하는 단계; 및
    (C) 상기 (A) 및 (B)를 모두 만족하는 경우, 사용자의 스키 자세를 오른쪽 기울임 자세로 인식하는 단계를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  6. 제1항에서, 상기 사용자의 스키 자세를 인식하는 단계는,
    (A) 현재 시점에 입력된 C의 x좌표값과 현재 시점에 입력된 H의 x좌표값 간의 차이가 양수이고, 제5 기준값보다 큰 지를 판단하는 단계;
    (B) 현재 시점에 입력된 C의 x좌표값과 현재 시점에 입력된 M의 x좌표값 간의 차이가 양수이고, 제6 기준값보다 큰 지를 판단하는 단계; 및
    (C) 상기 (A) 및 (B)를 모두 만족하는 경우, 사용자의 스키 자세를 왼쪽 기울임 자세로 인식하는 단계를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 방법.
  7. 3차원 카메라를 통해 입력되는 영상으로부터 사용자의 머리 위치를 나타내는 2차원 좌표값(H), 사용자의 몸 중심 위치를 나타내는 3차원 좌표값(M), 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치를 나타내는 2차원 좌표값(C), 사용자의 머리 위치로부터 사용자의 몸 중심 위치까지의 거리값(HM), 사용자의 머리 위치로부터 사용자의 왼쪽 발목 위치와 사용자의 오른쪽 발목 위치 사이의 중심 위치까지의 거리값(HC), 사용자의 몸 중심 위치로부터 사용자의 왼쪽 발목 위치(L)와 사용자의 오른쪽 발목 위치(R) 사이의 중심 위치(C)까지의 거리값(MC)을 포함하는 신체 정보를 추출하는 영상 처리부; 및
    상기 영상 처리부로부터 출력되는 이전 시점의 신체 정보와 현재 시점의 신체 정보를 순차적으로 입력받으며, 상기 이전 시점에 입력된 신체 정보와 현재 시점에 입력된 신체 정보 간의 변동량에 기초하여, 사용자의 스키 자세를 인식하는 스키 자세 인식부
    를 포함하는 스키 시뮬레이터에서 사용자 자세 인식 장치.
  8. 제7항에서, 상기 스키 자세 인식부는,
    상기 HC의 변동량, 상기 M의 변동량, 상기 HM의 변동량 및 상기 MC의 변동량을 기반으로 서있음 자세, 상체 숙임 자세 및 무릎 굽힘 자세 중 어느 하나의 스키 자세를 인식하고,
    상기 H의 x좌표값과 상기 C의 x좌표값 간의 차이값과 상기 M의 x좌표값과 상기 상기 C의 x좌표값 간의 차이값을 기반으로 오른쪽 기울임 자세 및 왼쪽 기울임 자세 중 어느 하나의 스키 자세를 인식함을 특징으로 하는 스키 시뮬레이터에서 사용자 자세 인식 장치.
KR1020160044171A 2016-04-11 2016-04-11 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법 KR20170116437A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160044171A KR20170116437A (ko) 2016-04-11 2016-04-11 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법
US15/484,258 US10297041B2 (en) 2016-04-11 2017-04-11 Apparatus and method of recognizing user postures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160044171A KR20170116437A (ko) 2016-04-11 2016-04-11 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20170116437A true KR20170116437A (ko) 2017-10-19

Family

ID=59998253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160044171A KR20170116437A (ko) 2016-04-11 2016-04-11 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10297041B2 (ko)
KR (1) KR20170116437A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101587A (ko) 2018-02-23 2019-09-02 동신대학교산학협력단 실감형 바이애슬론 시뮬레이터 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852939B1 (ko) * 2016-11-18 2018-04-30 한국과학기술연구원 사용자의 얼굴 표정 및 손동작으로 3차원 캐릭터를 제어하는 방법 및 장치
CN108970084A (zh) * 2018-06-29 2018-12-11 西安深睐信息科技有限公司 一种基于行为识别的运动场景模拟方法
GB2608224A (en) * 2020-12-24 2022-12-28 Nvidia Corp Generation of moving three dimensional models using motion transfer

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
JP5253588B2 (ja) * 2009-02-25 2013-07-31 本田技研工業株式会社 内部距離形状関連法を用いた手姿勢の取り込み及び認識
US20110054870A1 (en) * 2009-09-02 2011-03-03 Honda Motor Co., Ltd. Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
JP5757063B2 (ja) * 2010-03-29 2015-07-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9220444B2 (en) * 2010-06-07 2015-12-29 Zephyr Technology Corporation System method and device for determining the risk of dehydration
US20120245492A1 (en) * 2011-03-22 2012-09-27 Industry-Academic Cooperation Foundation, Kyungpook National University Rehabilitation device for people with paralysis and operation method thereof
US9639746B2 (en) * 2011-07-28 2017-05-02 Arb Labs Inc. Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
US20150092980A1 (en) * 2012-08-23 2015-04-02 Eelke Folmer Tracking program and method
US20140307927A1 (en) * 2012-08-23 2014-10-16 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Tracking program and method
KR101950412B1 (ko) * 2012-09-28 2019-02-21 한국전자통신연구원 승마 시뮬레이터 및 승마 시뮬레이션 방법
JP2014090841A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
EP2808760B1 (en) * 2013-05-29 2023-08-16 Dassault Systèmes Body posture tracking
US20150139505A1 (en) * 2013-11-18 2015-05-21 Electronics And Telecommunications Research Institute Method and apparatus for predicting human motion in virtual environment
KR102172975B1 (ko) * 2013-12-10 2020-11-02 삼성전자주식회사 착용형 로봇 및 그 제어 방법
WO2015103693A1 (en) * 2014-01-07 2015-07-16 Arb Labs Inc. Systems and methods of monitoring activities at a gaming venue
JP2016116615A (ja) * 2014-12-19 2016-06-30 セイコーエプソン株式会社 運動解析装置、運動解析システム、運動解析方法、及びプログラム
US20160175650A1 (en) * 2014-12-19 2016-06-23 Seiko Epson Corporation Inclination determination device, inclination determination system, inclination determination method, exercise analysis device, exercise analysis system, exercise analysis method, and recording medium
JP6455234B2 (ja) * 2015-03-03 2019-01-23 富士通株式会社 行動検出方法及び行動検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101587A (ko) 2018-02-23 2019-09-02 동신대학교산학협력단 실감형 바이애슬론 시뮬레이터 시스템

Also Published As

Publication number Publication date
US10297041B2 (en) 2019-05-21
US20170294029A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
KR20170116437A (ko) 스키 시뮬레이터에서 사용자 자세 인식 장치 및 그 방법
KR101901586B1 (ko) 로봇 위치 추정 장치 및 그 방법
CN111639574B (zh) 坐姿纠正方法及电子设备、存储介质
CN107943291B (zh) 人体动作的识别方法、装置和电子设备
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
KR102194282B1 (ko) 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
US20150078621A1 (en) Apparatus and method for providing content experience service
WO2021048988A1 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
CN112543343B (zh) 基于连麦直播的直播画面处理方法、装置及电子设备
KR102238085B1 (ko) 동작분석 장치 및 방법
CN105872381A (zh) 趣味图像拍摄方法
EP1612731B1 (en) Computer modeling of physical scenes
KR101718837B1 (ko) 응용프로그램의 제어방법, 장치 및 전자장비
US10049483B2 (en) Apparatus and method for generating animation
US10235747B2 (en) System and method for determining the current parameters of a zoomable camera
CN110072673A (zh) 跟踪人类的机器人
US10853966B2 (en) Virtual space moving apparatus and method
KR20170078176A (ko) 동작 인식 기반의 게임을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
EP3714955A1 (en) Video tracking system and method
US20170371237A1 (en) Projection method and device for robot
CN112639874A (zh) 目标跟随方法、目标跟随装置、可移动设备和存储介质
JP2006072668A (ja) 画像処理装置、ゲーム装置および画像処理方法
CN113743237A (zh) 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN115984972A (zh) 基于运动视频驱动的人体姿态识别方法
WO2017113674A1 (zh) 基于智能设备实现体感控制的方法、系统以及智能设备