KR101886511B1 - Information processing device and system - Google Patents

Information processing device and system Download PDF

Info

Publication number
KR101886511B1
KR101886511B1 KR1020160125564A KR20160125564A KR101886511B1 KR 101886511 B1 KR101886511 B1 KR 101886511B1 KR 1020160125564 A KR1020160125564 A KR 1020160125564A KR 20160125564 A KR20160125564 A KR 20160125564A KR 101886511 B1 KR101886511 B1 KR 101886511B1
Authority
KR
South Korea
Prior art keywords
information
subject
skeleton
guide information
unit
Prior art date
Application number
KR1020160125564A
Other languages
Korean (ko)
Other versions
KR20170038722A (en
Inventor
모토츠구 무로이
다이스케 마에다
히데나리 사토
고지 마츠오카
미치나리 시노하라
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015194454A external-priority patent/JP6668660B2/en
Priority claimed from JP2015242616A external-priority patent/JP2017107503A/en
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20170038722A publication Critical patent/KR20170038722A/en
Application granted granted Critical
Publication of KR101886511B1 publication Critical patent/KR101886511B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/62—Measuring physiological parameters of the user posture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00—Exercise devices
    • Y10S482/901—Exercise devices having computer circuitry
    • Y10S482/902—Employing specific graphic or video display

Abstract

건강 기구를 이용하여 운동하는 피험자에 대하여, 자신이 이상적인 운동을 실행하고 있는지를 인식시킨다.
본 발명에 따른 정보 처리 장치는 가이드 정보 생성부와 출력 제어부를 구비한다. 가이드 정보 생성부는 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 검출 영역의 피사체의 심도 정보에 근거하여 운동 기구를 이용한 이상적(理想的)인 운동을 실행하고 있는지를 피험자에게 인식시키기 위한 가이드 정보를 생성한다. 출력 제어부는 촬영 화상과 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 가이드 정보를 출력하는 제어를 실시한다.
[색인어]
화면 전환 제어부, 정보 생성부, 출력 제어부, 가이드 정보 생성부, 정보 처리 장치Recognize whether a person exercising with a health device is performing an ideal exercise.
The information processing apparatus according to the present invention includes a guide information generating unit and an output control unit. The guide information generating section executes an ideal (ideal) exercise using the exercise device based on the photographed image obtained by photographing the detection region for detecting the subject to be exercised using the exercise device and the depth information of the subject in the detection region And generates guide information for the subject to recognize whether or not the subject is a subject. The output control section performs control for outputting the guide information together with the motion image obtained by superimposing the skeleton data representing the result of estimating the joint of each part of the subject reflected in the shot image by the shot image and the depth information on the shot image .
[Index]
A screen switching control section, an information generating section, an output control section, a guide information generating section,

Description

정보 처리 장치 및 시스템{INFORMATION PROCESSING DEVICE AND SYSTEM}[0001] INFORMATION PROCESSING DEVICE AND SYSTEM [0002]

본 발명은 정보 처리 장치 및 시스템에 관한 것이다.The present invention relates to an information processing apparatus and a system.

근년, 예컨대 고령자의 전도(顚倒) 방지, 간호 예방, 건강 수명 연장 등을 목적으로 한 체간 강화에 따른 간호 예방 트레이닝에 있어 가시화된 동작 정보를 피험자에게 제시하는 트레이닝 서포트 시스템이 개발되어 있다. In recent years, a training support system has been developed in which visualized motion information is presented to a subject in nursing prevention training due to strengthening of the body for the purpose of, for example, preventing elderly people from falling, preventing nursing, and extending health life.

예컨대, 국제 공개 공보 제 2005/096939호(특허 문헌 1)에는 신체의 각부(머리 부분 등)에 마커를 붙인 상태로 보행하는 환자를 촬영하여 얻어지는 촬영 화상에 근거하여 환자의 신체 각 부분의 움직임을 나타내는 화상 데이터를 생성하여 표시하는 기술이 개시되어 있다.For example, International Publication No. 2005/096939 (Patent Document 1) discloses a method of detecting movement of each part of a body of a patient based on a captured image obtained by photographing a patient who is walking with a marker attached to each part (head part, etc.) And displaying the image data.

국제 공개 공보 제 2005/096939호International Publication No. 2005/096939 일본 특허 공보 제5739872호Japanese Patent Publication No. 5739872

그러나, 종래 기술과 같이, 가시화된 동작 정보를 피험자에게 제시하는 것 만으로는 피험자가 자신이 이상적(理想的)인 운동을 실행하고 있는지를 인식할 수 없다는 문제가 있다. However, there is a problem in that, as in the prior art, simply presenting the visualized action information to the subject does not allow the subject to recognize whether he or she is performing an ideal exercise.

본 발명은 상기에 감안하여 이루어진 것으로, 건강 기구를 이용하여 운동하는 피험자에 대하여 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있는 정보 처리 장치 및 시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above, and an object thereof is to provide an information processing apparatus and a system capable of recognizing whether a subject exercising using a health apparatus is performing an ideal exercise.

상술한 과제를 해결하여 목적을 달성하기 위하여, 본 발명은 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도(深度) 정보에 근거하여 상기 운동 기구를 이용한 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와, 상기 촬영 화상과 상기 심도 정보에 따라 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부를 구비하는 정보 처리 장치를 제공한다.In order to solve the above-described problems and to achieve the object, according to the present invention, there is provided an image processing method comprising the steps of: detecting an image of a detection region for detecting a subject moving using a motion mechanism; A guide information generating unit for generating guide information for allowing the subject to recognize whether or not an ideal exercise using the exercising apparatus is being performed; and a guide information generating unit for generating guide information for instructing each part of the subject reflected on the picked- And an output control section for performing control to output the guide information together with a motion image in which skeleton data representing a result of estimation of joints is superimposed on the photographed image.

본 발명에 의하면, 운동 기구를 이용하여 운동하는 피험자에 대하여, 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있다는 유리한 효과를 발휘한다.According to the present invention, it is possible to recognize whether or not the subject is performing an ideal exercise with respect to a subject who is exercising using the exercise device.

도 1은 시스템의 개략 구성의 일례를 나타내는 단면도이다.
도 2는 운동 기구를 이용한 운동을 설명하기 위한 도면이다.
도 3은 운동 기구의 개략 구성의 일례를 나타내는 도면이다.
도 4는 운동 기구의 구동부의 정면도이다.
도 5는 운동 기구의 구동부의 측면도이다.
도 6은 정보 처리 시스템의 하드웨어 구성의 일례를 나타내는 도면이다.
도 7은 정보 처리 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 8은 모드 선택 화면의 일례를 나타내는 도면이다.
도 9는 트레이닝 선택 화면의 일례를 나타내는 도면이다.
도 10은 모션 화상의 일례를 나타내는 도면이다.
도 11은 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 12는 모션 화상과 "기준선"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 13은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 14는 모션 화상과 "중심 위치"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 15는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 16은 모션 화상과 "아바타"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 17은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 18은 모션 화상과 "좌우 밸런스"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 19는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 20은 제1 정보의 일례를 나타내는 도면이다.
도 21은 모션 화상과 "허리의 궤적"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 22는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 23은 모션 화상과 "무릎 가이드"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 24는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 25는 모션 화상과 "요고(腰高) 타겟"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 26은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 27은 모션 화상과 "허리의 수평 회전"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 28은 허리의 수평 회전 각도를 설명하기 위한 도면이다.
도 29는 허리의 수평 회전 유닛의 표시색 변화의 일례를 나타내는 도면이다.
도 30은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 31은 "다리 올림 타이밍"에 대응하는 가이드 정보의 천이도이다.
도 32는 모션 화상과 "다리 올림 타이밍"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 33은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 34는 제1 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 35는 이 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 36은 보정 처리의 구체적 내용을 나타내는 흐름도이다.
도 37은 제2 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 38은 교사 정보의 일례를 나타내는 도면이다.
도 39는 제2 실시 형태의 정보 처리 장치가 구비하는 상세한 기능의 일례를 나타내는 도면이다.
도 40은 제2 실시 형태의 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 41은 제3 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.1 is a cross-sectional view showing an example of a schematic configuration of a system.
Fig. 2 is a view for explaining a motion using a motion mechanism.
Fig. 3 is a view showing an example of a schematic configuration of the exercise device.
4 is a front view of the driving part of the exercise device.
5 is a side view of the driving part of the exercise device.
6 is a diagram showing an example of the hardware configuration of the information processing system.
7 is a diagram showing an example of the hardware configuration of the information processing apparatus.
8 is a view showing an example of a mode selection screen.
9 is a diagram showing an example of a training selection screen.
10 is a diagram showing an example of a motion image.
11 is a diagram showing an example of the functions of the information processing apparatus.
12 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to a "reference line ".
13 is a flowchart showing an example of the operation of the information processing apparatus.
14 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "center position ".
15 is a flowchart showing an example of the operation of the information processing apparatus.
16 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "avatar ".
17 is a flowchart showing an example of the operation of the information processing apparatus.
18 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "left-right balance ".
19 is a flowchart showing an example of the operation of the information processing apparatus.
20 is a diagram showing an example of first information.
21 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "trajectory of waist ".
22 is a flowchart showing an example of the operation of the information processing apparatus.
23 is a view showing an example of an image obtained by combining motion information and guide information corresponding to "a knee guide ".
24 is a flowchart showing an example of the operation of the information processing apparatus.
25 is a diagram showing an example of an image obtained by synthesizing motion information and guide information corresponding to a "target (waist height) ".
26 is a flowchart showing an example of the operation of the information processing apparatus.
27 is a diagram showing an example of an image obtained by combining guide information corresponding to a motion image and "horizontal rotation of the waist ".
28 is a view for explaining the horizontal rotation angle of the waist.
29 is a diagram showing an example of display color change of the horizontal rotation unit of the waist.
30 is a flowchart showing an example of the operation of the information processing apparatus.
31 is a transition diagram of guide information corresponding to "leg lift timing ".
32 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "leg lift timing ".
33 is a flowchart showing an example of the operation of the information processing apparatus.
34 is a diagram showing an example of the functions of the information processing apparatus of the first embodiment.
35 is a flowchart showing an example of the operation of this information processing apparatus.
36 is a flow chart showing specific contents of the correction process.
37 is a diagram showing an example of the functions of the information processing apparatus of the second embodiment.
38 is a diagram showing an example of the teacher information.
39 is a diagram showing an example of detailed functions of the information processing apparatus of the second embodiment.
40 is a flowchart showing an example of the operation of the information processing apparatus of the second embodiment.
41 is a diagram showing an example of the functions of the information processing apparatus of the third embodiment.

이하, 첨부 도면을 참조하면서 본 발명에 따른 정보 처리 장치 및 시스템의 실시 형태를 상세하게 설명한다. Hereinafter, embodiments of an information processing apparatus and a system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 실시 형태의 시스템(1)의 개략 구성의 일례를 나타내는 도면이다. 도 1에 나타낸 바와 같이, 시스템(1)은 피험자가 이용하는 운동 기구(10)와 정보 처리 시스템(20)을 구비하고, 이들은 아암부(30)를 통하여 기계적으로 접속되어 있다. 1 is a diagram showing an example of a schematic configuration of the system 1 of the present embodiment. As shown in Fig. 1, the system 1 includes a exercise device 10 and an information processing system 20 used by subjects, and these are mechanically connected through the arm portion 30. [

본 실시 형태의 운동 기구(10)는 간호 예방이나 운동 능력 향상에 효과가 있는 운동(트레이닝)을 피험자에게 실행시키기 위한 머신이다. 피험자는 운동 기구(10)를 이용하여 도 2a에 나타내는 다리를 회전시키지 않고 교대로 전후로 이동시키는 "다리 끌기 운동", 또는 도 2b에 나타내는 다리를 회전시키면서 교대로 전후로 이동시키는 "다리 젓기 운동"을 실시할 수 있다. The exercise machine 10 of the present embodiment is a machine for exercising a subject to exercise which is effective for prevention of nursing and improvement of athletic performance. The subject uses the exercise device 10 to perform a "leg pulling exercise" in which the legs shown in FIG. 2A are alternately moved forward and backward without rotating them, or a "leg-raising exercise" in which the legs shown in FIG. .

여기서, 본 실시 형태의 운동 기구(10)를 이용한 운동(이 예에서는 "다리 젓기 운동")의 이상적인 상태로서는 (1) 옆에서 바라 볼 때 허리가 큰 타원 궤도를 그리는 상태, (2) 체축이 움직이지 않는 상태, (3) 발을 디딜 때 허리가 아래로 내려가지 않는(내려가지 않고 요고를 유지) 상태, (4) 무릎이 곧게 올라가는 상태, (5) 어깨는 움직이지 않고 허리만 움직이는 상태를 들 수 있다. 본 실시 형태에서는 트레이닝 중의 피험자에 대하여, 자신이 이상적인 운동(이상적인 "다리 젓기 운동")을 실행하고 있는지를 인식시킬 수 있는 시스템(1)을 제공하는 것을 목적으로 한다. Here, the ideal state of motion using the exercising device 10 of the present embodiment (in this example, "leg raising motion") includes (1) a state in which an elliptical orbit with a large waist is viewed from the side, (2) (3) a state in which the waist does not go down (keeps yoga without falling), (4) a state in which the knee goes straight up, (5) a state in which the shoulder does not move, . The present embodiment aims to provide a system 1 capable of recognizing whether or not the subject is performing an ideal exercise (ideal "leg-stir exercise") with respect to a subject during training.

도 3은 운동 기구(10)의 개략 구성의 일례를 나타내는 도면이다. 도 3에 나타낸 바와 같이, 운동 기구(10)는 난간부(301)와, 피험자의 우측 다리 및 좌측 다리와 1대 1로 대응하는 2개의 부하 유닛(302)과, 모터(303)와, 모터(303)의 구동을 제어하기 위한 구동 제어기(304)를 구비한다. 3 is a view showing an example of a schematic configuration of the exercise device 10. As shown in Fig. 3, the exercise device 10 includes a ruler 301, two load units 302 corresponding one-to-one with the subject's right and left legs, a motor 303, And a drive controller 304 for controlling the driving of the motor 303.

도 4는 운동 기구(10)의 구동에 관한 부분(구동부) 정면도이다. 모터(303)의 구동력은 모터 기어(310), 톱니 벨트(311), 기어(312), 샤프트(313), 기어(314)를 통하여 좌우 한 쌍의 톱니 벨트(315)로 전달된다. 좌우의 부하 유닛(302) 각각은 크랭크(316)와 동축으로 연결되고, 크랭크 선단에는 회전 자유 페달(317)이 연결되어 있다. 4 is a front view of a portion (driving portion) relating to the driving of the exercise device 10. Fig. The driving force of the motor 303 is transmitted to the left and right pair of toothed belts 315 through the motor gear 310, the toothed belt 311, the gear 312, the shaft 313 and the gear 314. Each of the left and right load units 302 is coaxially connected to the crank 316, and the free rotation pedal 317 is connected to the crank end.

도 5a는 도 4의 좌측 측면도이다. 모터(303)의 구동에 따라 톱니 벨트(315)에 연결되는 롤러(320)가 가이드(321) 상을 왕복 운동한다. 도 5a에서 부하 유닛(302) 등은 도시를 생략한다. 도 5b는 도 4의 우측 측면도이다. 롤러(320)(도 5b에서는 도시하지 않음)에는 회전 자유 크랭크(316)가 연결되어 있고, 크랭크(316)의 선단에는 회전 자유 페달(317)이 연결되어 있다. 도 5c는 도 4의 좌측 측면도이며, 부하 유닛(302)을 도시한 도면이다. 크랭크(316)(도 5c에서는 도시하지 않음)의 동축 상에는 부하 유닛(302)이 설치되어 크랭크(316)의 회전 부하를 조절할 수 있는 구성으로 되어 있다. 본 실시 형태의 운동 기구(10)의 구성은 특허 공개 공보 평 9－154989호에 개시된 스프린트(SPRINT)·트레이닝·머신과 동일한 구성이다. 또한, 운동 기구(10)의 구성은 이상의 구성에 한정되는 것은 아니다. 요컨대, 운동 기구(10)를 이용하는 운동 종류는 "다리 젓기 운동"에 한정되는 것이 아니고, 각종 운동을 채용할 수 있다. 5A is a left side view of FIG. As the motor 303 is driven, the roller 320 connected to the toothed belt 315 reciprocates on the guide 321. In Fig. 5A, the load unit 302 and the like are not shown. Fig. 5B is a right side view of Fig. 4. Fig. A free rotation crank 316 is connected to the roller 320 (not shown in FIG. 5B), and a free rotation pedal 317 is connected to the tip of the crank 316. Fig. 5C is a left side view of Fig. 4, showing the load unit 302. Fig. A load unit 302 is provided on the coaxial axis of the crank 316 (not shown in FIG. 5C) to adjust the rotational load of the crank 316. The configuration of the exercise machine 10 of the present embodiment is the same as that of the SPRINT training machine disclosed in Japanese Patent Application Laid-Open No. 9-154989. The configuration of the exercise device 10 is not limited to the above configuration. In short, the type of exercise using the exercise device 10 is not limited to the "leg-stirring exercise ", and various exercises can be employed.

다음에, 정보 처리 시스템(20)의 구성에 대하여 설명한다. 도 6은 정보 처리 시스템(20)의 하드웨어 구성의 일례를 나타내는 도면이다. 도 6에 나타낸 바와 같이, 정보 처리 시스템(20)은 센서(40)와, 리모컨(50)과, 정보 처리 장치(60)와, 출력 장치(70)를 구비한다. 설명의 편의상, 여기에서는 본 실시 형태에 관한 하드웨어 요소를 주로 예시하여 설명하지만, 정보 처리 시스템(20)이 구비하는 하드웨어 요소는 도 6의 예에 한정되는 것은 아니다. Next, the configuration of the information processing system 20 will be described. 6 is a diagram showing an example of the hardware configuration of the information processing system 20. 6, the information processing system 20 includes a sensor 40, a remote controller 50, an information processing apparatus 60, and an output apparatus 70. [ For convenience of explanation, the hardware elements according to the present embodiment will be mainly described here, but the hardware elements included in the information processing system 20 are not limited to the example shown in Fig.

센서(40)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역(미리 정해져 있음)을 미리 정해진 프레임 속도로 촬영하는 카메라(RGB 카메라)(41)와, 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서(42)를 구비한다. 심도 센서(42)는 예컨대 검출 영역의 심도 화상을 촬영함으로써, 심도 센서(42)로부터 검출 영역의 피사체까지의 심도(거리)를 검출할 수 있다. 또한 피사체에는 검출 영역 내의피험자나 운동 기구(10) 등이 포함된다. 센서(40)는 예컨대 Kinect(등록상표) v2로 구성된다. 이 예에서 센서(40)는 촬영 화상 및 심도 정보를 미리 정해진 프레임 속도로 연속적으로 출력한다. The sensor 40 includes a camera (RGB camera) 41 for photographing a detection area (predetermined) for detecting a subject to be exercised using the exercise device 10 at a predetermined frame rate, And a depth sensor 42 for detecting depth information. The depth sensor 42 can detect the depth (distance) from the depth sensor 42 to the subject in the detection area, for example, by photographing the depth image of the detection area. The subject includes a subject in the detection region, a fitness device 10, and the like. The sensor 40 is made of, for example, Kinect (registered trademark) v2. In this example, the sensor 40 successively outputs the shot image and the depth information at a predetermined frame rate.

리모컨(50)은 각종 조작을 접수하는 조작 디바이스로서, 이 예에서는 적외선 리모컨이 채용된다. 리모컨(50)은 접수한 조작에 따른 조작 신호(적외선의 점등/소등으로 표현됨)를 정보 처리 장치(60)에 출력한다. The remote controller 50 is an operation device for accepting various operations, and in this example, an infrared remote controller is employed. The remote controller 50 outputs an operation signal (indicated by turning on / off infrared rays) to the information processing apparatus 60 in accordance with the received operation.

정보 처리 장치(60)는 센서(40)나 리모컨(50)으로부터 입력되는 정보에 근거하여 각종의 정보 처리를 실행하는 장치로서, 예컨대 PC(Personal Computer)로 구성된다. 도 7은 정보 처리 장치(60)의 하드웨어 구성의 일례를 나타내는 도면이다. 설명의 편의상, 도 7의 예에서는 최저한의 하드웨어 요소를 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 하드웨어 요소는 이들에 한정되는 것은 아니다. 또, 이 예에서는 정보 처리 장치(60)에는 후술하는 견본 동영상이 입력된다. The information processing apparatus 60 is an apparatus that executes various types of information processing based on information input from the sensor 40 or the remote controller 50 and is configured by, for example, a PC (Personal Computer). 7 is a diagram showing an example of a hardware configuration of the information processing apparatus 60. As shown in Fig. For the sake of convenience of explanation, although the minimum hardware element is mainly exemplified in the example of Fig. 7, the hardware elements provided in the information processing apparatus 60 are not limited to them. In this example, a sample moving image to be described later is input to the information processing apparatus 60. [

도 7에 나타낸 바와 같이, 정보 처리 장치(60)는 CPU(61)와, ROM(62)과, RAM(63)과, I/F(64)를 구비한다. CPU(61)는 정보 처리 장치(60)의 동작을 통괄적으로 제어한다. ROM(62)은 프로그램 등 각종 데이터를 기억하는 불휘발성의 메모리이다. RAM(63)은 CPU(61)가 실행하는 각종 처리의 작업 영역(워크 에리어)으로서 기능하는 휘발성 메모리이다. I/F(64)는 다른 외부 기기(예컨대, 센서(40) 등)와 통신(접속)하기 위한 인터페이스이다. 7, the information processing apparatus 60 includes a CPU 61, a ROM 62, a RAM 63, and an I / The CPU 61 controls the operation of the information processing device 60 in a general manner. The ROM 62 is a nonvolatile memory for storing various data such as a program. The RAM 63 is a volatile memory that functions as a work area (work area) of various processes executed by the CPU 61. [ The I / F 64 is an interface for communicating (connecting) with another external device (e.g., the sensor 40).

출력 장치(70)로서는 운동 기구(10)를 이용하여 운동하는 피험자와 대면하도록 배치되는 표시 장치(71)와 스피커(72)를 포함한다. 표시 장치(71)는 예컨대 액정형 디스플레이 장치로 구성된다. The output device 70 includes a display device 71 and a speaker 72 which are arranged to face a subject who is exercising using the exercise device 10. [ The display device 71 is constituted by, for example, a liquid crystal display device.

본 실시 형태에서 정보 처리 장치(60)에는 운동 기구(10)를 이용하여 운동하는 피험자의 운동 상태(트레이닝 상태)를 가시화/분석한 영상을 출력하기 위한 어플리케이션(이하, "트레이닝 어플리케이션"이라 하는 경우가 있음)이 인스톨되어 있다. 이 어플리케이션이 기동하면, 정보 처리 장치(60)는 카메라(41)로부터 촬영 화상을, 심도 센서(42)로부터 심도 정보를 취득하기 시작하고, 촬영 화상과 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 신체 각 부분의 관절을 추정하여 골격 데이터(스켈리턴 데이터)를 얻는다. 이 골격 데이터를 얻는 방법은 공지의 각종 기술을 이용할 수 있다(예컨대 Kinect v2에 대응하는 어플리케이션을 이용하는 형태 등을 고려할 수 있음). 그리고, 도 8에 나타낸 바와 같이, 촬영 화상과 골격 데이터를 중첩시킨 화상 위에 각종 모드를 선택하기 위한 버튼 화상을 표시한 화면(모드 선택 화면)을 표시 장치(71)에 출력(표시)한다. 아래의 설명에서는 촬영 화상과 골격 데이터를 중첩시킨 화상은 피험자의 각 부분의 움직임을 특정하기 위한 "모션 화상"이라 하는 경우가 있다. 도 8의 예에서는 선택된 버튼 화상을 보기 쉽도록 하기 위하여 반투명의 흑색을 전면에 씌우고, 선택된 버튼 화상의 배경색 투과율은 선택되지 않은 버튼 화상의 배경색 투과율에 비하여 낮아지도록 설정되는 구성이다. In the present embodiment, the information processing apparatus 60 is provided with an application (hereinafter referred to as "training application") for outputting an image obtained by visually analyzing / analyzing a motion state (training state) Is installed). When this application is started, the information processing apparatus 60 starts to acquire the depth information from the depth sensor 42 from the captured image from the camera 41, and acquires depth information of the subject Obtain skeleton data (skeleton data) by estimating the joints of each part of the body. Various known techniques can be used for obtaining the skeleton data (for example, a form using an application corresponding to Kinect v2 can be considered). Then, as shown in Fig. 8, a screen (mode selection screen) on which a button image for selecting various modes is displayed on an image obtained by superimposing a captured image and skeleton data is output (displayed) to the display device 71. Fig. In the following description, the image obtained by superimposing the photographed image and the skeleton data is sometimes referred to as a "motion image" for specifying the motion of each part of the subject. In the example of FIG. 8, a translucent black color is placed on the entire surface to make the selected button image easy to see, and the background color transmittance of the selected button image is set to be lower than the background color transmittance of the non-selected button image.

본 실시 형태에서는 각종 모드로서 트레이닝 모드, 견본 동영상 모드인 2개의 모드가 있다. 트레이닝 모드는 트레이닝 아이템을 표시하고 화면을 보면서 트레이닝을 실시하는 모드이다. 견본 동영상 모드는 견본이 되는 트레이너의 동영상(견본 동영상)을 재생하는 모드이다. In this embodiment, there are two modes, a training mode and a sample moving picture mode, as various modes. The training mode displays training items and performs training while watching the screen. The sample video mode is a mode for playing back a video (sample video) of a trainer that is a sample.

또, 본 실시 형태에서는 트레이닝 어플리케이션의 기동 중에 리모컨(50)의 "메뉴" 버튼 누름을 접수한 경우에는 도 9에 나타내는 트레이닝 아이템을 선택하기 위한 화면(트레이닝 아이템 선택 화면)을 표시 장치(71)에 출력한다. 이 예에서는 트레이닝 아이템의 항목으로서 "스켈리턴", "기준선", "요고 타겟", "허리의 수평 회전", "좌우 밸런스", "중심 위치", "허리의 궤적", "아바타", "무릎 가이드", "다리 올림 타이밍"의 10항목이 마련되어 있고, 하나 이상의 항목을 임의로 선택할 수 있다. 도 9의 예에서는 10 종류의 항목마다 항목의 선택/비선택을 전환시키기 위한 ON/OFF 버튼이 표시되고, "ON"이 눌러지면 상기 항목이 선택되고 "OFF"가 눌러지면 상기 항목이 비선택으로 된다. 트레이닝 모드에서는 선택된 항목에 대응하는 트레이닝 아이템이 표시된다. 또, 도 9의 예에서는 선택한 트레이닝 아이템의 상세한 내용(각종 파라미터 설정치)을 가변으로 설정하기 위한 상세 설정 버튼(80)도 표시되어 있다. In the present embodiment, when a "menu" button press of the remote controller 50 is received during the start of the training application, a screen (training item selection screen) for selecting a training item shown in FIG. 9 is displayed on the display device 71 Output. In this example, the items of the training items are "skeleton", "baseline", "yoga target", "horizontal rotation of waist", "left and right balance", "center position", "waist trajectory" Knee guide "and" leg raising timing "are provided, and one or more items can be arbitrarily selected. In the example of Fig. 9, ON / OFF buttons for switching the selection / non-selection of items are displayed for each of ten types of items. If the item is selected when "ON" is pressed and "OFF" . In the training mode, the training item corresponding to the selected item is displayed. In the example of FIG. 9, a detailed setting button 80 for setting the details (various parameter setting values) of the selected training item variable is also displayed.

설명의 편의상, 본 실시 형태에서는 트레이닝 아이템의 항목으로서 "스켈리턴"은 미리 선택이 끝난 상태인 것을 전제로 하여 설명한다. 이 예에서는 "스켈리턴"에 대응하는 트레이닝 아이템은 상기 골격 데이터이며, 트레이닝 모드 중은 도 10에 나타내는 모션 화상이 표시 장치(71)에 표시되는 것을 전제로 한다. 다만, 이에 한정되지 않고 예컨대 트레이닝 아이템 선택 화면으로부터 "스켈리턴"을 비선택으로 할 수도 있고, 이 경우에는 골격 데이터가 비표시로 된다. For convenience of explanation, in the present embodiment, "skeleton" as an item of the training item will be described on the premise that it is already selected. In this example, it is assumed that the training item corresponding to "skeleton" is the skeleton data, and that the motion image shown in Fig. 10 is displayed on the display device 71 during the training mode. However, the present invention is not limited to this. For example, "skeleton" may be selected from the training item selection screen, and skeleton data is not displayed in this case.

도 10의 예에서는 관절을 나타내는 관절 마커의 종류로서 Head(201), SpineShoulder(202), ShoulderLeft(203), ShoulderRight(204), ElbowLeft(205), ElbowRight(206), SpineMid(207), SpineBase(208), HipLeft(209), HipRight(210), KneeLeft(211), KneeRight(212), AnkleLeft(213), AnkleRight(214)가 존재한다. 또한 관절 마커의 수 및 종류는 파라미터 설정치의 설정에 따라 임의로 변경 가능하다. In the example of FIG. 10, the types of joint markers representing joints are Head 201, SpineShoulder 202, ShoulderLeft 203, ShoulderRight 204, ElbowLeft 205, ElbowRight 206, SpineMid 207, SpineBase 208, HipLeft 209, HipRight 210, KneeLeft 211, KneeRight 212, AnkleLeft 213, and AnkleRight 214 are present. The number and type of joint markers can be arbitrarily changed according to the setting of the parameter setting value.

또, 도 10의 예에서는 인접하는 관절 마커끼리를 연결하는 직선을 나타내는 체축 보조선의 종류로서 Head(201)과 SpineShoulder(202)를 연결한 직선(221), SpineShoulder(202)와 ShoulderLeft(203)를 연결한 직선(222), SpineShoulder(202)와 ShoulderRight(204)를 연결한 직선(223), ShoulderLeft(203)와 ElbowLeft(205)를 연결한 직선(224), ShoulderRight(204)과 ElbowRight(206)를 연결한 직선(225), SpineShoulder(202)와 SpineMid(207)을 연결한 직선(226), SpineMid(207)와 SpineBase(208)를 연결한 직선(227), HipLeft(209)와 HipRight(210)를 연결한 직선(228), HipLeft(209)와 KneeLeft(211)를 연결한 직선(229), HipRight(210)와 KneeRight(212)를 연결한 직선(230), KneeLeft(211)와 AnkleLeft(213)를 연결한 직선(231), KneeRight(212)과 AnkleRight(214)을 연결한 직선(232)이 존재한다. 10, a line 221 connecting the head 201 and the spine shoeler 202, a line 221 connecting the SpineShoulder 202 and the ShoulderLeft 203 as the types of the auxiliary heel line indicating a straight line connecting the adjacent joint markers A straight line 223 connecting the SpineShoulder 202 and the ShoulderRight 204, a straight line 224 connecting the ShoulderLeft 203 and the ElbowLeft 205, the ShoulderLight 204 and the ElbowRight 206, A straight line 226 connecting the SpineShoulder 202 and the SpineMid 207, a straight line 227 connecting the SpineMid 207 and the SpineBase 208, a straight line 227 connecting the HipLeft 209 and the HipRight 210 A straight line 229 connecting the HipLeft 209 and the KneeLeft 211, a straight line 230 connecting the HipRight 210 and the KneeRight 212, a straight line 230 connecting the KneeLeft 211 and the Ankle Left 211, A straight line 232 connecting the KneeRight 212 and the AnkleRight 214 exists.

여기에서는 10 종류의 트레이닝 아이템 중, "스켈리턴"에 대응하는 트레이닝 아이템(골격 데이터) 이외의 9개의 트레이닝 아이템은 이상적인 운동(이 예에서는 이상적인 "다리 젓기 운동")을 실행하고 있는지를 피험자에게 인식시키기 위한 정보이며, 아래의 설명에서는 각각을 "가이드 정보"라 하는 경우가 있다. 구체적인 내용에 대하여는 후술한다. Here, among the 10 types of training items, nine training items other than the training items corresponding to "skeleton" (skeleton data) are recognized by the subject to see if they are performing the ideal exercise (in this example, the ideal "leg- . In the following description, each may be referred to as "guide information ". Details will be described later.

이하에서는 트레이닝 모드 시의 정보 처리 장치(60)의 기능을 중심으로 설명한다. 도 11은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능의 일례를 나타내는 도면이다. 도 11에 나타낸 바와 같이, 정보 처리 장치(60)는 접수부(101)와, 화면 전환 제어부(102)와, 취득부(103)와, 선택부(104)와, 가이드 정보 생성부(105)와, 출력 제어부(106)를 구비한다. 설명의 편의상, 도 11의 예에서는 트레이닝 모드에 있어 트레이닝 어플리케이션에 의해 제공되는 기능을 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 기능은 이들에 한정되는 것은 아니다. Hereinafter, the functions of the information processing apparatus 60 in the training mode will be mainly described. 11 is a diagram showing an example of the functions of the information processing apparatus 60 of the present embodiment. 11, the information processing apparatus 60 includes a reception unit 101, a screen switching control unit 102, an acquisition unit 103, a selection unit 104, a guide information generation unit 105, And an output control unit 106. [ 11 mainly exemplifies the functions provided by the training application in the training mode, the functions of the information processing device 60 are not limited to these examples.

접수부(101)는 각종의 조작을 접수한다. 예컨대 접수부(101)는 리모컨(50)으로부터 조작 신호를 접수하는 기능을 구비한다. 화면 전환 제어부(102)는 접수부(101)에서 접수한 조작 등에 따라 표시 장치(71)에 표시하는 화면을 전환시키는 제어를 실시한다. The reception unit 101 receives various operations. For example, the reception unit 101 has a function of receiving an operation signal from the remote controller 50. [ The screen switching control section 102 performs control to switch the screen displayed on the display device 71 in accordance with an operation accepted by the reception section 101 or the like.

취득부(103)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상과 검출 영역의 피사체의 심도 정보에 따라 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 취득한다. 보다 구체적으로는, 취득부(103)는 센서(40)로부터 촬영 화상과 심도 정보를 접수할 때마다 접수한 촬영 화상과 심도 정보에 따라 골격 데이터를 생성하고 생성한 골격 데이터를 취득한다. 이와 같이 하여 취득부(103)는 연속적으로 골격 데이터를 취득한다. 또한 예컨대 촬영 화상과 심도 정보에 의해 골격 데이터를 생성하는 기능이 취득부(103)와는 별도로 마련되고, 취득부(103)는 상기 기능에 의해 골격 데이터를 접수하는 형태이어도 된다. The acquiring unit 103 acquires the joints of the respective parts of the subject reflected in the captured image according to the photographed image obtained by photographing the detection region for detecting the subject moving using the exercise device 10 and the depth information of the subject in the detection region And skeleton data indicating the result of estimating the skeleton data. More specifically, the acquisition unit 103 generates skeleton data according to the photographed image and the depth information received each time the photographed image and the depth information are received from the sensor 40, and acquires skeleton data generated. In this manner, the acquisition unit 103 continuously acquires the skeleton data. Further, the function of generating skeleton data by the captured image and the depth information may be provided separately from the acquisition unit 103, and the acquisition unit 103 may receive the skeleton data by the above function.

선택부(104)는 복수 종류의 트레이닝 아이템 중에서 표시 대상이 되는 트레이닝 아이템을 선택한다. 예컨대 선택부(104)는 표시 대상이 되는 트레이닝 아이템으로서 트레이닝 아이템 선택 화면으로부터 선택된 1이상의 항목에 대응하는 트레이닝 아이템을 선택할 수 있다. 전술한 바와 같이, 이 예에서는 표시 대상의 트레이닝 아이템으로서 "스켈리턴"에 대응하는 트레이닝 아이템은 선택이 끝난 상태인 것을 전제로 한다(즉, 전술한 모션 화상이 표시되는 것을 전제로 한다). The selection unit 104 selects a training item to be displayed from a plurality of types of training items. For example, the selection unit 104 may select a training item corresponding to at least one item selected from the training item selection screen as a training item to be displayed. As described above, in this example, it is assumed that the training item corresponding to the "skeleton" as the training item to be displayed is selected (that is, the above-described motion image is displayed).

가이드 정보 생성부(105)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 검출 영역의 피사체의 심도 정보에 따라 이상적인 운동을 실행하고 있는지를 피험자에게 인식시키기 위한 가이드 정보를 생성한다. 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 근거하여 선택부(104)에 의해 선택된 가이드 정보를 생성할 수 있다. 가이드 정보의 구체적인 내용에 대하여는 후술한다.The guide information generation unit 105 determines whether or not an ideal motion is being executed based on the photographed image obtained by photographing the detection region for detecting the subject who is moving using the exercise device 10 and the depth information of the subject in the detection region, To generate the guide information. For example, the guide information generation unit 105 can generate the guide information selected by the selection unit 104 based on the skeleton data acquired by the acquisition unit 103. [ Details of the guide information will be described later.

출력 제어부(106)는 전술한 검출 영역을 촬영하여 얻어지는 촬영 화상과 전술한 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 가이드 정보를 출력하는 제어를 실시한다. 예컨대 가이드 정보가 화상 정보인 경우, 출력 제어부(106)는 모션 화상과 함께 가이드 정보를 표시 장치(71)로부터 출력시키는 제어를 실시한다. 보다 구체적으로는, 출력 제어부(106)는 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보를 합성한 화상을 표시 장치(71)("표시부"의 일례)에 표시하는 제어를 실시한다. 또, 예컨대 가이드 정보가 음성 정보인 경우, 출력 제어부(106)는 모션 화상을 표시 장치(71)에 표시하는 제어를 실시하는 동시에, 가이드 정보 생성부(105)에 의해 생성된 가이드 정보를 스피커(72)로부터 출력시키는 제어를 실시할 수도 있다. The output control section 106 superimposes the skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image on the shot image based on the shot image obtained by photographing the above-described detection area and the above depth information And performs control to output guide information together with the motion image. For example, when the guide information is image information, the output control section 106 controls the display device 71 to output the guide information together with the motion image. More specifically, the output control section 106 performs control to display an image obtained by combining the motion image and the guide information generated by the guide information generation section 105 on the display device 71 (an example of "display section") do. When the guide information is audio information, for example, the output control section 106 controls to display the motion image on the display device 71, and also outputs the guide information generated by the guide information generation section 105 to the speaker 72 to output the control signal.

본 실시 형태에서는 이상으로 설명한 정보 처리 장치(60)가 구비하는 기능(접수부(101), 화면 전환 제어부(102), 취득부(103), 선택부(104), 가이드 정보 생성부(105), 출력 제어부(106))은 CPU(61)가 ROM(62) 등에 저장된 프로그램을 실행함으로써 실현되지만, 이에 한정되지 않고, 예컨대 이상으로 설명한 정보 처리 장치(60)가 구비하는 기능 중 적어도 일부가 전용의 하드웨어 회로로 실현되어도 된다. In the present embodiment, the functions (the reception unit 101, the screen switching control unit 102, the acquisition unit 103, the selection unit 104, the guide information generation unit 105, Output control unit 106) is realized by the CPU 61 executing a program stored in the ROM 62 or the like, but the present invention is not limited to this. For example, at least a part of the functions of the information processing apparatus 60 It may be realized by a hardware circuit.

이하, 트레이닝 아이템의 항목으로서 "기준선", "요고 타겟", "허리의 수평 회전", "좌우 밸런스", "중심 위치", "허리의 궤적", "아바타", "무릎 가이드", "다리 올림 타이밍"의 각각이 선택된 경우의 정보 처리 장치(60)의 동작예를 설명한다. Hereinafter, the items of the training items will be referred to as " baseline ", "yoga target "," horizontal rotation of waist ", "left / right balance "," center position ", "waist trajectory "," avatar " Up timing "of the information processing apparatus 60 are selected.

우선, 트레이닝 아이템의 항목으로서 "기준선"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 근거하여 몸이 좌우로 흔들리고 있는지의 기준이 되는 기준선을 나타내는 정보를 가이드 정보로서("기준선"에 대응하는 가이드 정보로서) 생성한다. 이 예에서는 정보 처리 장치(60)는 트레이닝 모드가 선택되면, 트레이닝 모드를 개시하기 전에 피험자에 대하여 기준 자세(예컨대 직립 부동의 자세)를 취할 것을 재촉하는 정보를 출력(예컨대 상기 정보를 표시 장치(71)에 표시, 또는 상기 정보를 스피커(72)로부터 출력)한다. 그리고, 이 정보의 출력 후, 취득부(103)에 의해 연속적으로 취득되는 골격 데이터의 변화량이 임계값 이하가 된 때의 골격 데이터를 기준 자세 때의 골격 데이터로서 이용할 수 있다. 그리고, 가이드 정보 생성부(105)는 이 기준 자세 때의 골격 데이터에 근거하여 기준선을 나타내는 정보를 생성할 수 있다. 보다 구체적으로는 아래와 같다. First, a case where a "reference line" is selected as an item of a training item will be described as an example. In this case, the guide information generation unit 105 generates, as guide information, information indicating a reference line serving as a criterion of whether the subject is shaking in the lateral direction based on skeleton data at the time of the reference posture (as guide information corresponding to " ). In this example, when the training mode is selected, the information processing apparatus 60 outputs information prompting the subject to take a standard posture (for example, an upright posture) before starting the training mode (for example, 71, or outputs the information from the speaker 72). Then, after outputting this information, skeleton data at the time when the amount of change of skeleton data continuously acquired by the acquisition unit 103 becomes equal to or less than the threshold value can be used as skeleton data at the reference posture. Then, the guide information generating unit 105 can generate information indicating the reference line based on the skeleton data at the reference posture. More specifically, it is as follows.

가이드 정보 생성부(105)는 기준 자세 때의 골격 데이터에 포함되는 HipRight(210)와 HipLeft(209)의 중점을 기준점으로 한다. 이 예에서는 촬영 화상에 비친 피험자의 깊이 방향으로 연신하는 축을 z축(제1 축), 피험자의 좌우 방향으로 연장하고 또한 z축과 직교하는 축을 x축(제2 축), 피험자의 상하 방향으로 연장하고 또한 z축과 직교하는 축을 y축(제3 축)으로 한다. HipRight(210)와 HipLeft(209)의 중점은 HipRight(210)의 x축 방향의 좌표치(이하, x좌표치라 함)과 HipLeft(209)의 x좌표치의 중점을 x좌표치, HipRight(210)의 y축 방향의 좌표치(이하, y좌표치라 함)와 HipLeft(209)의 y좌표치의 중점을 y좌표치, HipRight(210)의 z축 방향의 좌표치(이하, z좌표치라 함)와 HipLeft(209)의 z좌표치의 중점을 z좌표치로 하는 3 차원 좌표치로 나타낼 수 있다. 그리고, 가이드 정보 생성부(105)는 기준점을 통과하고 또한 x축에 평행인 직선과, 기준점을 통과하고 또한 y축에 평행인 직선으로 이루어지는 기준선을 나타내는 정보를 가이드 정보로서 생성한다. 이상과 같이 가이드 정보 생성부(105)에 의해 생성된 기준선을 나타내는 정보는 ROM(62)이나 RAM(63) 등의 기억 장치에 저장된다. 이 예에서는 이상과 같이 하여 기준선을 나타내는 정보가 생성된 후에 트레이닝 모드가 개시된다. The guide information generating unit 105 uses the midpoints of the HipRight 210 and the HipLeft 209 included in the skeleton data at the reference posture as reference points. In this example, the axis extending in the depth direction of the subject reflected in the photographed image is defined as a z-axis (first axis), an axis extending in the left-right direction of the subject and an axis orthogonal to the z-axis as an x-axis (second axis) And the axis orthogonal to the z axis is the y axis (third axis). The midpoints of the HipRight 210 and the HipLeft 209 are the x-coordinate values of the x-axis coordinate values of the HipRight 210 and the x-coordinate values of the HipLeft 209, (Hereinafter referred to as the y coordinate value) and the y coordinate value of the HipLeft 209 are referred to as the y coordinate value, the z coordinate value of the HipRight 210 (hereinafter referred to as the z coordinate value), and the y coordinate value of the HipLeft 209 dimensional coordinate value having the z-coordinate value as the center of the z-coordinate value. Then, the guide information generation unit 105 generates, as guide information, information indicating a straight line passing through the reference point and parallel to the x-axis, and a reference line made of a straight line passing through the reference point and parallel to the y-axis. As described above, the information indicating the reference line generated by the guide information generation unit 105 is stored in a storage device such as the ROM 62 or the RAM 63. [ In this example, the training mode is started after the information indicating the reference line is generated as described above.

트레이닝 모드가 개시되면, 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 12에 나타낸 바와 같이, 그 취득된 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과, 기억 장치로부터 판독한 기준선을 나타내는 정보("기준선"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 12의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만(즉, 다른 8개의 항목도 동시에 선택되어 있음), 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "기준선"에 대응하는 가이드 정보만 표시되는 형태이어도 된다. When the training mode is started, each time skeleton data is acquired by the acquisition unit 103, the output control unit 106 outputs the skeleton data thus acquired to the captured image on the basis of the skeleton data (The guide information corresponding to "reference line") indicating the reference line read out from the storage device is displayed on the display device 71. [ In the example of Fig. 12, although the guide information corresponding to the other item is simultaneously displayed (i.e., the other eight items are also selected at the same time), only the guide information corresponding to "reference line" It may be displayed.

도 13은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 13에 나타낸 바와 같이, 우선, 정보 처리 장치(60)(취득부(103))는 센서(40)로부터 촬영 화상 및 심도 정보를 취득한다(단계 S1). 다음에, 정보 처리 장치(60)는 단계 S1에서 취득한 촬영 화상 및 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 생성(취득)한다(단계 S2). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 기준선을 나타내는 정보를 기억 장치로부터 판독한다(단계 S3). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S2에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S1에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S3에서 판독한 정보를 합성한 화상을 생성한다(단계 S4). 그리고, 출력 제어부(106)는 단계 S4에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S5). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 13 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. As shown in Fig. 13, first, the information processing apparatus 60 (acquisition unit 103) acquires the photographed image and depth information from the sensor 40 (step S1). Next, the information processing apparatus 60 generates (acquires) skeleton data indicating the result of estimating the joint of each part of the subject reflected in the shot image based on the shot image and depth information acquired in step S1 (step S2) . Next, the information processing apparatus 60 (guide information generation section 105) reads information indicating the above-mentioned reference line from the storage device (step S3). Next, the information processing apparatus 60 (guide information generation section 105) reads the skeleton data generated in step S2 on the basis of the motion (superimposed on) the photographed image (the captured image acquired in step S1) And combines the image and the information read in step S3 to generate an image (step S4). Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S4 (step S5). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "중심 위치"가 선택된 경우를 예로 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 좌우 방향으로 연신하고 또한 제1 축과 직교하는 제2 축(이 예에서는 x축)을 포함한 제1 평면(이 예에서는 xz평면) 상에 나타내는 정보를 가이드 정보로서("중심 위치"에 대응하는 가이드 정보로서) 생성한다. 보다 구체적으로는, 아래와 같다. Next, a case where the "center position" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 acquires the position of the joint corresponding to the center position among the joints of the respective parts included in the skeleton data acquired by the acquisition unit 103, in the depth direction of the subject, (X-axis in this example) including a second axis (x-axis in this example) extending in the left-right direction of the subject and a second axis perpendicular to the first axis (x-axis in this example) (As guide information corresponding to "center position"). More specifically, it is as follows.

전술한 바와 같이, 취득부(103)는 골격 데이터를 연속적으로 취득한다. 그리고, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 상당하는 관절의 위치 궤적을 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 이 예에서는 골격 데이터에 포함되는 각 부분의 관절 중, SpineBase(208)의 관절 마커로 나타내어지는 관절이 중심 위치에 상당하는 관절로서 채용되고, 설정 파라미터로 설정된 프레임수 만큼의 SpineBase(208)의 xz평면 상의 궤적이 생성된다. 이 프레임수는 임의로 변경 가능하다. As described above, the acquisition unit 103 continuously acquires the skeleton data. Each time skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 acquires the position trajectory of the joint corresponding to the center position among the joints of the respective parts included in the acquired skeleton data as xz plane As guide information. In this example, the joint represented by the joint markers of the SpineBase 208 among the joints of the respective parts included in the skeleton data is employed as a joint corresponding to the center position, and xz of the SpineBase 208 as many as the number of frames set as the setting parameters Plane trajectory is generated. The number of frames can be arbitrarily changed.

또, 가이드 정보 생성부(105)는 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 상기 골격 데이터를 구비하는 피험자의 머리 부분 및 어깨 부분 중 적어도 어느 하나의 윤곽을 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 부언하면, 가이드 정보 생성부(105)는 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 중심 위치의 추천 범위(키프 존)를 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. Further, the guide information generation unit 105 may determine the positions of the joints corresponding to the center positions of the joints of the respective parts included in the skeleton data and the outline of at least one of the head and shoulder parts of the subject having the skeleton data as xz And generates information represented on the plane as guide information. In other words, the guide information generation unit 105 sets the position of the joint corresponding to the center position of each part included in the skeleton data and the recommended range (key zone) of the center position on the xz plane as the guide information .

또, 예컨대 가이드 정보 생성부(105)는 중심 위치에 대응하는 관절의 위치가 키프 존 내에 존재하는 경우와 키프 존에서 벗어나는 경우로 키프 존의 색을 상이하게 하여도 된다. 예컨대 중심 위치에 대응하는 관절의 위치가 키프 존을 벗어날 경우에는 피험자에게 주의를 촉구하기 위하여 키프 존의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또한 키프 존의 범위는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "중심 위치"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "중심 위치"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작(예컨대 3 단계의 레벨 중 어느 한 레벨로 설정하기 위한 조작)을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수된 조작에 따라 키프 존의 범위를 결정할 수 있다. 또한 이 예에서는 설정 화면이 표시된 상태에서 리모컨(50)의 "돌아가기" 버튼이 눌러지면, 전술한 트레이닝 아이템 선택 화면의 표시로 돌아온다.In addition, for example, the guide information generation unit 105 may change the color of the key zone in the case where the position of the joint corresponding to the center position is present in the key zone and in the case where the position is out of the key zone. For example, when the position of the joint corresponding to the center position deviates from the key zone, the color of the key zone may be set to a color having a high visibility (for example, red) in order to urge the subject to pay attention. Also, the range of the key zone may be changed to a multi-level (for example, three levels) according to the level of the training. For example, when the detail setting button 80 is pressed with the item of the "center position" selected from the training item selection screen described above, a setting screen for executing the level setting of the training item corresponding to the & It may be configured to accept an operation for setting an arbitrary level from the setting screen (for example, an operation for setting to any level among three levels). The information processing apparatus (guide information generating unit 105) can determine the range of the key zone according to the operation received on the setting screen. In this example, when the "return" button of the remote controller 50 is pressed while the setting screen is displayed, the screen returns to the display of the training item selection screen described above.

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 14에 나타낸 바와 같이, 그 취득된 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("중심 위치"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 14의 예에서는 기준 자세 때의 SpineBase(208)의 xz평면 상의 위치가 원점에 대응하고 있다. 또한 도 14의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고, 가이드 정보로서 "중심 위치"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the photographed image serving as a basis of the skeleton data, as shown in Fig. 14 (The guide information corresponding to the "center position") generated by the motion image and guide information generation section 105 is displayed on the display device 71. [ In the example of Fig. 14, the position of the SpineBase 208 on the xz plane at the reference posture corresponds to the origin. In the example of FIG. 14, the guide information corresponding to another item is displayed at the same time, but other items may not be selected and only the guide information corresponding to the "center position" may be displayed as the guide information.

도 15는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 15에 나타내는 단계 S11~단계 S12의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S12 실행 후에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S12에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("중심 위치"에 대응하는 가이드 정보)를 생성한다(단계 S13). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S12에서 생성한 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상(단계 S11에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S13에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S14). 이 예에서는 도 14에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S13에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S14에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S15). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 15 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S11 to S12 shown in Fig. 15 are the same as the processing contents of the steps S1 to S2 shown in Fig. 13, and therefore the detailed description will be omitted. After execution of step S12, the information processing apparatus 60 (guide information generation section 105) generates the above-described guide information (guide information corresponding to the "center position") using the skeleton data acquired in step S12 Step S13). Next, the information processing apparatus 60 (guide information generating section 105) reads out the skeleton data generated in step S12 on the basis of the motion obtained by superimposing the skeleton data on the basis of the skeleton data (the captured image acquired in step S11) And an image obtained by combining the image and the guide information generated in step S13 is generated (step S14). In this example, as shown in Fig. 14, a composite image in which the guide information generated in step S13 is arranged in the upper area of the motion image is generated. Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S14 (step S15). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "아바타"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터, 및 체축의 추천 범위(키프 존)를 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 상하 방향으로 연신하고 또한 제1 축과 직교하는 제3 축(이 예에서는 y축)을 포함한 제2 평면(이 예에서는 yz평면) 상에 나타내는 정보를 가이드 정보로서("아바타"에 대응하는 가이드 정보로서) 생성한다. Next, a case where "avatar" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 acquires the skeleton data acquired by the acquisition unit 103 and the first axis (the z axis in this example) that stretches the recommended range (key zone) of the body axis in the depth direction of the subject, And information on a second plane (yz plane in this example) including a third axis (y axis in this example) extending in the vertical direction of the subject and orthogonal to the first axis is used as guide information As corresponding guide information).

또, 이 예에서는 예컨대 가이드 정보 생성부(105)는 골격 데이터의 체축(예컨대, 골격 데이터에 포함되는 HipRight(210)와 HipLeft(209)의 중점을 통과하고 또한 y축에 평행인 직선)이 키프 존 내에 존재하는 경우와 키프 존에서 벗어난 경우로 키프 존의 색을 상이하게 하여도 된다. 예컨대 체축이 키프 존을 벗어날 경우에는 피험자에게 주의를 촉구하기 위하여 키프 존의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또한 키프 존의 범위는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "아바타"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "아바타"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수된 조작에 따라 키프 존의 범위를 결정할 수 있다. 이상과 같이 하여 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이용하여 이상으로 설명한 "아바타"에 대응하는 가이드 정보를 생성한다. In this example, for example, the guide information generating unit 105 generates a guide information (e.g., a straight line passing through the center of the HipRight 210 and the HipLeft 209 included in the skeleton data and parallel to the y axis) The color of the key zone may be different from the case of being in the zone and the case of being out of the key zone. For example, when the body axis is out of the key zone, the color of the key zone may be set to a color having high visibility (e.g., red) in order to urge the subject to pay attention. Also, the range of the key zone may be changed to a multi-level (for example, three levels) according to the level of the training. For example, when the detail setting button 80 is pressed with the item of "avatar" selected from the training item selection screen described above, a setting screen for executing the level setting of the training item corresponding to "avatar" is displayed, Or an operation for setting an arbitrary level may be accepted. The information processing apparatus (guide information generating unit 105) can determine the range of the key zone according to the operation received on the setting screen. As described above, every time the skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 generates guide information corresponding to the above-described "avatar " using the acquired skeleton data.

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 16에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("아바타"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 16의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "아바타"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the photographed image serving as a basis of the skeleton data, as shown in Fig. 16 (The guide information corresponding to the "avatar ") generated by the motion image and guide information generation section 105 is displayed on the display device 71. [ In the example of FIG. 16, guide information corresponding to another item is also displayed at the same time. However, for example, only guide information corresponding to "avatar" may be displayed as guide information without selecting another item.

도 17은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 17에 나타내는 단계 S21~단계 S22의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S22후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S22에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("아바타"에 대응하는 가이드 정보)를 생성한다(단계 S23). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S22에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S21에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S23에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S24). 이 예에서는 도 16에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S23에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S24에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S25). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 17 is a flowchart showing an example of operation of the information processing apparatus 60 in this case. The processing contents of the steps S21 to S22 shown in Fig. 17 are the same as the processing contents of the steps S1 to S2 shown in Fig. 13, and a detailed description thereof will be omitted. After step S22, the information processing apparatus 60 (guide information generating section 105) generates the above-described guide information (guide information corresponding to "avatar") using the skeleton data acquired in step S22 (step S23 ). Next, the information processing apparatus 60 (guide information generation section 105) reads out the skeleton data generated in step S22 on the basis of the motion obtained by superimposing the skeleton data on the basis of the skeleton data (the captured image acquired in step S21) And an image obtained by combining the image and the guide information generated in step S23 (step S24). In this example, as shown in Fig. 16, a composite image in which the guide information generated in step S23 is arranged in the upper area of the motion image is generated. Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S24 (step S25). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "좌우 밸런스"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 골격 데이터의 체축과 몸이 좌우로 흔들리고 있는지의 기준이 되는 전술한 기준선(y축 방향으로 연신하는 기준선)의 괴리(乖離) 정도를 나타내는 정보를 가이드 정보로서 생성한다. 이 예에서는 머리, 어깨, 허리의 x방향의 평균치(Head(201)의 x좌표치와 SpineShoulder(202)의 x좌표치와 SpineBase(208)의 x좌표치의 평균치)를 입력치로 하고, 입력치가 어느 정도 전술한 기준선으로부터 떨어져 있는지를 화소수로 산출하며, 그 화소수에 미리 정해진 계수 α(바 움직임의 감도를 나타냄)를 곱셈함으로써 좌우 밸런스치를 산출하고 산출한 좌우 밸런스치를 나타내는 바 그래프를 생성한다. 이 예에서는 기준선을 중심으로 하여 ±A의 폭에 입력치가 존재하는 경우에는 "0%"가 되도록 좌우 밸런스치를 산출한다. 또, 좌우 밸런스치가 임계값(예컨대 70%)을 초과하는 경우에는, 피험자에게 주의를 촉구하기 위하여 바 그래프의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또, 피험자의 중심의 움직임을 그대로 화면에 반영시키기 위하여, 바 그래프의 중앙치를 화면의 중앙에 배치하는 것이 바람직하다. 예컨대 y축 방향으로 연신하는 기준선이 바 그래프의 중앙치를 통과하도록 바 그래프를 배치하여도 된다. 이상과 같이 하여 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이용하여 이상으로 설명한 "좌우 밸런스"에 대응하는 가이드 정보를 생성한다. Next, a case where "left-right balance" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 generates information indicating the degree of divergence between the body axis of the skeleton data and the above-described reference line (reference line extending in the y-axis direction) . In this example, the average value of the head, shoulder, and waist in the x direction (the x coordinate value of the head 201, the x coordinate value of the SpineShoulder 202, and the x coordinate value of the SpineBase 208) And calculates a left and right balance value by multiplying the number of pixels by a predetermined coefficient? (Indicating the sensitivity of the motion of the bar) to generate a bar graph representing the calculated left and right balance values. In this example, when there is an input value in the width of +/- A centering on the reference line, the left and right balance values are calculated so as to be "0% ". When the left and right balance values exceed a threshold value (for example, 70%), the color of the bar graph may be set to a color having a high visibility (for example, red) in order to urge the subject to pay attention. In order to reflect the motion of the center of the subject directly on the screen, it is preferable that the median value of the bar graph is arranged at the center of the screen. For example, the bar graph may be arranged such that the reference line extending in the y-axis direction passes through the median of the bar graph. As described above, every time skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 generates guide information corresponding to the "left-right balance" described above using the skeleton data thus acquired .

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 18에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("좌우 밸런스"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 18의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "좌우 밸런스"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the skeleton data thus acquired on the photographed image serving as a basis of the skeleton data, as shown in Fig. (The guide information corresponding to "left and right balance") generated by the motion image and guide information generating section 105 is displayed on the display device 71. [ In the example of Fig. 18, the guide information corresponding to another item is also displayed at the same time, but only the guide information corresponding to "left and right balance"

도 19는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 19에 나타내는 단계 S31~단계 S32의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S32후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S32에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("좌우 밸런스"에 대응하는 가이드 정보)를 생성한다(단계 S33). 이 예에서는 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 기준선을 나타내는 정보를 기억 장치로부터 판독하고, 그 판독한 정보와 단계 S32에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보를 생성한다. 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S32에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S31에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S33에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S34). 이 예에서는 도 18에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S33에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S34에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S35). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다.Fig. 19 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S31 to S32 shown in FIG. 19 are the same as the processing contents of the steps S1 to S2 shown in FIG. 13, and therefore detailed description will be omitted. After step S32, the information processing apparatus 60 (guide information generating section 105) generates the above-described guide information (guide information corresponding to "left and right balance") using the skeleton data acquired in step S32 S33). In this example, the information processing apparatus 60 (guide information generation unit 105) reads information indicating the above-described reference line from the storage device, and uses the read information and the skeleton data acquired in step S32, Information. Next, the information processing apparatus 60 (guide information generation section 105) reads out the skeleton data generated in step S32 on the basis of the motion obtained by superimposing the skeleton data on the basis of the skeleton data (the captured image acquired in step S31) And an image obtained by combining the image and the guide information generated in step S33 is generated (step S34). In this example, as shown in Fig. 18, a composite image in which the guide information generated in step S33 is arranged in the upper area of the motion image is generated. Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S34 (step S35). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "허리의 궤적"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 이 골격 데이터에 포함되는 각 부분의 관절 중 대상이 되는 좌우 한 쌍 관절의 우측에 대응하는 관절을 나타내는 제1 관절의 위치 궤적을, 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 상하 방향으로 연신하고 또한 제1 축과 직교하는 제3 축(이 예에서는 y축)을 포함한 제2 평면(이 예에서는 yz평면) 상에 나타내는 제1 정보, 또는 좌측에 대응하는 관절을 나타내는 제2 관절의 위치 궤적을 제2 평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 그리고, 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보(제1 정보 또는 제2 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. Next, a case where "trajectory of waist" is selected as an item of the training item will be described as an example. In this case, every time the skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 acquires the joints corresponding to the right side of the left and right pair of joints, which are the objects of the respective parts included in the skeleton data (Z-axis in this example) extending in the depth direction of the subject and a third axis extending in the vertical direction of the subject and orthogonal to the first axis (in this example, y (The yz plane in this example) including the axis of the first joint, or information indicating the position locus of the second joint indicating the joint corresponding to the left on the second plane as guide information. Each time the skeleton data is acquired by the acquisition unit 103, the output control unit 106 generates a motion image in which the skeleton data is superimposed on the photographed image serving as a basis of the skeleton data, (First information or second information) generated by the first information processing unit 105 on the display device 71 is performed.

여기에서는 전술한 제1 정보는 제1 축과 제3 축으로 정해지는 좌표계(yz좌표계)에 있어서, 취득부(103)에 의해 취득된 골격 데이터에 포함되는 제1 관절의 z축 방향의 위치와 이 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치의 차분을 z좌표치로 하고, 이 골격 데이터에 포함되는 제1 관절의 y축 방향의 위치와 피험자가 기준 자세 때의 골격 데이터에 포함되는 제1 관절의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타낸다. 일례로서 여기에서는 제1 관절은 우측 허리의 관절(HipRight(210)가 나타내는 관절)이며, 제2 관절은 좌측 허리의 관절(HipLeft(209)가 나타내는 관절)이라 한다. 이 예에서는 전술한 제1 정보는 HipLeft(209)의 z축 방향의 위치와 HipRight(210)의 z축 방향의 위치의 차분을 z좌표치로 하고, HipRight(210)의 y축 방향의 위치와 기준 자세 때의 HipRight(210)의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타내는 정보로 되며, 도 20과 같이 나타내어진다. 이 예에서는 z좌표치는 피험자의 앞측에 위치할수록(센서(40)에 가까울수록) 작은 값을 나타내지만, 이것에 한정되지 않고 좌표치의 설정 방법은 임의이다. Here, the above-described first information is a coordinate system (yz coordinate system) defined by the first axis and the third axis, in which the position in the z-axis direction of the first joint included in the skeleton data acquired by the acquisition unit 103 and The difference between the positions of the second joints in the z-axis direction included in the skeleton data is set as the z-coordinate value, and the position of the first joint in the y-axis direction included in the skeleton data and the skeleton data Represents the locus of displacement information displayed with the y-coordinate value of the difference of the position of the first joint in the y-axis direction. For example, the first joint is the joint of the right waist (the joint represented by the HipRight 210), and the second joint is the joint of the left waist (the joint represented by the HipLeft 209). In this example, the first information is a z-coordinate value of the difference between the position of the HipLeft 209 in the z-axis direction and the position of the HipRight 210 in the z-axis direction, and the position of the HipRight 210 in the y- Axis direction and the y-coordinate value of the position of the HipRight 210 in the y-axis direction at the time of the posture, and is shown in Fig. In this example, the z-coordinate value indicates a smaller value as the position is closer to the front side of the subject (closer to the sensor 40), but the present invention is not limited to this, and the setting method of the coordinate value is arbitrary.

또, 전술한 제2 정보는 yz좌표계에 있어서, 취득부(103)에 의해 취득된 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치와 이 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치의 차분을 z좌표치로 하고, 이 골격 데이터에 포함되는 제2 관절의 y축 방향의 위치와 피험자가 기준 자세 때의 골격 데이터에 포함되는 제2 관절의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타낸다. The above-described second information is obtained by taking the position in the z-axis direction of the second joint included in the skeleton data acquired by the acquisition unit 103 and the position in the z-axis direction of the second joint included in the skeleton data The difference between the position in the y-axis direction of the second joint included in the skeleton data and the position in the y-axis direction of the second joint included in the skeleton data of the subject in the reference posture is defined as y Represents the locus of displacement information displayed as a coordinate value.

또, 본 실시 형태에서는 출력 제어부(106)는 제1 정보, 및 제2 정보 중 어느 하나를 표시 장치(71)에 표시하는 제어를 실시하고, 미리 정해진 조건에 따라 표시 대상을 전환시킨다. 다만, 이에 한정되지 않고, 예컨대 출력 제어부(106)는 제1 정보, 및 제2 정보의 양쪽 모두를 표시 장치(71)에 표시하는 제어를 실시하는 형태이어도 된다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 전술한 제1 정보 및 전술한 제2 정보를 생성할 필요가 있다. In the present embodiment, the output control section 106 performs control to display either the first information or the second information on the display device 71, and switches the display object according to a predetermined condition. However, the present invention is not limited to this. For example, the output control section 106 may control to display both the first information and the second information on the display device 71. [ In this case, each time the skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 needs to generate the above-described first information and the above-described second information.

본 실시 형태에서는 출력 제어부(106)는 제1 관절이 제2 관절보다 피험자의 앞측에 위치하는 경우에는, 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시하고, 제2 관절이 제1 관절보다 피험자의 앞측에 위치하는 경우에는, 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시한다. 보다 구체적으로는, 출력 제어부(106)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 HipRight(210)의 z좌표치가 이 골격 데이터에 포함되는 HipLeft(209)의 z좌표치보다 작은 경우에는, 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시한다. 한편, 출력 제어부(106)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 HipLeft(209)의 z좌표치가 이 골격 데이터에 포함되는 HipRight(210)의 z좌표치보다 작은 경우에는, 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시한다. In the present embodiment, when the first joint is located on the front side of the subject than the second joint, the output control section 106 performs control to display the first information on the display device 71, In the case where the first joint is located on the front side of the subject, control is performed so that the above-described second information is displayed on the display device 71. [ More specifically, when the z-coordinate value of the HipRight 210 included in the skeleton data acquired by the acquisition unit 103 is smaller than the z-coordinate value of the HipLeft 209 included in the skeleton data, the output control unit 106 , And controls the display device 71 to display the above-described first information. On the other hand, when the z-coordinate value of the HipLeft 209 included in the skeleton data acquired by the acquisition unit 103 is smaller than the z-coordinate value of the HipRight 210 included in the skeleton data, the output control unit 106 outputs, And controls to display the second information on the display device 71. [

또한 표시 대상을 전환시키기 위한 조건은 상기 형태에 한정되는 것은 아니다. 예컨대 출력 제어부(106)는 제1 관절이 z축 방향의 미리 정해진 위치(예컨대 페달(317)의 최후방 위치 등)에 도달한 경우에는, 제2 관절이 상기 미리 정해진 위치에 도달할 때까지 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시하고, 제2 관절이 상기 미리 정해진 위치에 도달한 경우에는, 제1 관절이 상기 미리 정해진 위치에 도달할 때까지 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시하는 형태이어도 된다. The condition for switching the display object is not limited to the above-described form. For example, when the first joint reaches a predetermined position in the z-axis direction (for example, the rearmost position of the pedal 317, etc.), the output control unit 106 controls the tact position until the second joint reaches the predetermined position The first information is displayed on the display device 71. When the second joint reaches the predetermined position, the second information is displayed on the display device 71 until the first joint reaches the predetermined position, May be displayed on the display device 71 as shown in Fig.

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 21에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 표시 대상의 가이드 정보("허리 궤적"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 21의 예에서는 이 때의 골격 데이터에 포함되는 HipLeft(209)의 z좌표치가 이 골격 데이터에 포함되는 HipRight(210)의 z좌표치보다 작기 때문에, 전술한 제2 정보가 표시 대상의 가이드 정보로 된다(전술한 제1 정보는 비표시). In this example, every time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the photographed image serving as a basis of the skeleton data, as shown in Fig. 21 (The guide information corresponding to the "waist locus") generated by the motion image and guide information generation unit 105 is displayed on the display device 71. [ In the example of FIG. 21, since the z-coordinate value of the HipLeft 209 included in the skeleton data at this time is smaller than the z-coordinate value of the HipRight 210 included in this skeleton data, the above- (The above-described first information is not displayed).

도 22는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 22에 나타내는 단계 S41~단계 S42의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S42후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S42에서 취득한 골격 데이터에 포함되는 HipRight(210)의 z좌표치가 이 골격 데이터에 포함되는 HipLeft(209)의 z좌표치보다 작은지를 판단한다(단계 S43). 22 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S41 to S42 shown in Fig. 22 are the same as the processing contents of the steps S1 to S2 shown in Fig. 13, and therefore the detailed description will be omitted. After step S42, the information processing apparatus 60 (guide information generation unit 105) determines whether or not the z coordinate value of the HipRight 210 included in the skeleton data acquired in step S42 is the z coordinate value of the HipLeft 209 included in the skeleton data (Step S43).

단계 S43의 결과가 긍정인 경우(단계 S43：Yes), 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 제1 정보를 가이드 정보로서 생성한다(단계 S44). 단계 S43의 결과가 부정인 경우(단계 S43：No), 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 제2 정보를 가이드 정보로서 생성한다(단계 S45). If the result of step S43 is affirmative (step S43: Yes), the information processing apparatus 60 (guide information generating section 105) generates the above-described first information as guide information (step S44). If the result of step S43 is negative (step S43: No), the information processing apparatus 60 (guide information generating section 105) generates the above-described second information as guide information (step S45).

단계 S44 또는 단계 S45후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S42에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S41에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S44 또는 단계 S45에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S46). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S46에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S47). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. After step S44 or step S45, the information processing apparatus 60 (guide information generation section 105) stores the skeleton data generated in step S42 on a photographed image (photographed image acquired in step S41) And the guide information generated in step S44 or step S45 (step S46). Next, the information processing apparatus 60 (guide information generating section 105) performs control to display the synthesized image on the display device 71 in step S46 (step S47). The information processing apparatus 60 repeats the above processing.

또한 상기의 형태에 한정되지 않고, 예컨대 정보 처리 장치(60)(가이드 정보 생성부(105))는 골격 데이터를 취득할 때마다, 전술한 제1 정보 및 전술한 제2 정보의 양쪽 모두를 생성하여 두고, 단계 S43의 결과에 따라 전술한 제1 정보 또는 전술한 제2 정보를 표시 대상으로 결정하는 형태이어도 된다. For example, the information processing apparatus 60 (guide information generation unit 105) generates both the first information and the second information described above every time the skeleton data is acquired And the above-described first information or the above-described second information may be determined as the display object in accordance with the result of step S43.

다음에, 트레이닝 아이템의 항목으로서 "무릎 가이드"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 포함되는 무릎 관절의 위치를 하단으로 하고, 미리 정해진 양 만큼 윗방향으로 연신하여 미리 정해진 범위를 나타내는 정보(이하, "무릎 가이드 정보"라 함)를 가이드 정보로서 생성한다. 이 예에서는 가이드 정보 생성부(105)는 전술한 기준선을 나타내는 정보를 생성하는 타이밍으로 무릎 가이드 정보도 함께 생성하고, 그 생성한 무릎 가이드 정보를 ROM(62)이나 RAM(63) 등의 기억 장치에 저장해 둔다. 또한 무릎 가이드 정보의 y축 방향(상하 방향)의 길이는 가변으로 설정 가능하다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "무릎 가이드"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, 무릎 가이드 정보의 y축 방향(상하 방향)의 길이를 설정하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 길이를 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 무릎 가이드 정보의 y축 방향의 길이를 결정할 수 있다.Next, a case where "knee guide" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 sets the position of the knee joint included in the skeleton data at the time of the reference posture as the lower end, and extends the predetermined amount upward to obtain information indicating a predetermined range (hereinafter referred to as " Knee guide information ") as guide information. In this example, the guide information generation section 105 also generates knee guide information at the timing of generating the information indicating the above-mentioned reference line, and stores the generated knee guide information in a storage device such as the ROM 62 or the RAM 63 . Further, the length of the knee guide information in the y-axis direction (vertical direction) can be set to be variable. For example, when the detail setting button 80 is pressed with the item of "knee guide" selected from the training item selection screen described above, a setting screen for setting the length of the knee guide information in the y-axis direction (up and down direction) is displayed And an operation for setting an arbitrary length may be received from the setting screen. The information processing apparatus (guide information generating section 105) can determine the length in the y-axis direction of the knee guide information according to the operation accepted on the setting screen.

또, 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 우측 무릎의 관절 또는 좌측 무릎의 관절이 무릎 가이드 정보에 의해 규정된 범위 내에 존재하는 경우와 범위 외에 존재하는 경우로 무릎 가이드 정보의 색을 상이하게 하여도 된다. 예컨대 우측 무릎의 관절 또는 좌측 무릎의 관절이 무릎 가이드 정보에 의해 규정된 범위 외에 존재하는 경우에는, 피험자에게 주의를 촉구하기 위하여 무릎 가이드 정보의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. For example, the guide information generation unit 105 may determine that the joint of the right knee or the knee of the left knee included in the skeleton data acquired by the acquisition unit 103 exists within the range defined by the knee guide information, The color of the knee guide information may be different. For example, when the joint of the right knee or the joint of the left knee exists outside the range defined by the knee guide information, the color of the knee guide information is set to a color having a high visibility (for example, red) .

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 23에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("무릎 가이드"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 23의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "무릎 가이드"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the photographed image serving as a basis of the skeleton data, as shown in Fig. 23 Control is performed to display the combined image of the motion image and the guide information (guide information corresponding to "knee guide") generated by the guide information generating unit 105 on the display device 71. [ In the example of FIG. 23, the guide information corresponding to another item is also displayed at the same time. Alternatively, only the guide information corresponding to the "knee guide" may be displayed as the guide information without selecting another item.

도 24는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 24에 나타내는 단계 S51~단계 S52의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S52후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 무릎 가이드 정보를 기억 장치로부터 판독한다(단계 S53). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S52에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S51에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S53에서 판독한 무릎 가이드 정보를 합성한 화상을 생성한다(단계 S54). 그리고, 출력 제어부(106)는 단계 S54에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S55). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 24 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S51 to S52 shown in FIG. 24 are the same as the processing contents of the steps S1 to S2 shown in FIG. 13, and therefore the detailed description will be omitted. After step S52, the information processing apparatus 60 (guide information generating section 105) reads out the knee guide information from the storage device (step S53). Next, the information processing apparatus 60 (the guide information generation unit 105) reads the skeleton data generated in step S52 on the basis of the motion (superimposed) on the photographed image (the captured image acquired in step S51) And combines the image with the knee guide information read in step S53 (step S54). Then, the output control unit 106 performs control to display the synthesized image on the display device 71 in step S54 (step S55). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "요고 타겟"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 포함되는 우측 허리의 관절과 좌측 허리의 관절의 중점을 통과하고 또한 좌우 방향으로 연신하는 선(이 예에서는 y축 방향으로 연신하는 기준선)으로부터, 이 골격 데이터에 포함되는 각 부분의 관절 중 등골뼈의 중심에 대응하는 관절(이 예에서는 Spinemid(207)가 나타내는 관절)의 위치보다 하측까지의 미리 정해진 범위를 나타내는 정보(이하, "요고 타겟 정보"라 함)를 가이드 정보로서 생성한다. 이 예에서는 가이드 정보 생성부(105)는 전술한 기준선을 나타내는 정보를 생성하는 타이밍으로 요고 타겟 정보도 함께 생성하고, 그 생성한 요고 타겟 정보를 ROM(62)이나 RAM(63) 등의 기억 장치에 저장해 둔다. 또한 요고 타겟 정보의 y축 방향(상하 방향)의 길이는 가변으로 설정 가능하다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "요고 타겟"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, 요고 타겟 정보의 y축 방향(상하 방향)의 길이를 설정하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 길이를 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 요고 타겟 정보의 y축 방향의 길이를 결정할 수 있다. Next, a case where "yoga target" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 generates a guide information (hereinafter referred to as " y-axis direction ") in which the subject passes through the midpoints of the joints of the right and left waist included in the skeleton data at the reference posture, (A joint indicated by Spinemid 207 in this example) corresponding to the center of the spinal bone among the joints of the respective parts included in the skeleton data Quot; yaw target information ") as guide information. In this example, the guide information generating unit 105 also generates the yoga target information together with the timing for generating the information indicating the above-described reference line, and stores the generated yoga target information in a storage device such as the ROM 62 or the RAM 63 . In addition, the length of the yaw target information in the y-axis direction (vertical direction) can be set to be variable. For example, when the detail setting button 80 is pressed in a state in which the item of "yoga target" is selected from the training item selection screen described above, a setting screen for setting the length of the yoga target information in the y axis direction (up and down direction) is displayed And an operation for setting an arbitrary length may be received from the setting screen. The information processing apparatus (guide information generating section 105) can determine the length in the y-axis direction of the target target information according to the operation received on the setting screen.

또, 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 우측 허리의 관절 또는 좌측 허리의 관절이 요고 타겟 정보에 의해 규정된 범위 내에 존재하는 경우와 범위 외에 존재하는 경우로 요고 타겟 정보의 색을 상이하게 하여도 된다. 예컨대 우측 허리의 관절 또는 좌측 허리의 관절이 요고 타겟 정보에 의해 규정된 범위 외에 존재하는 경우에는, 이상적인 상태인 것을 피험자에게 알리기 위하여 요고 타겟 정보의 색을 안정적이거나 조화를 나타내는 색(예컨대 녹색 등)으로 설정하는 형태이어도 된다. For example, the guide information generation unit 105 may determine whether the right or left waist joints included in the skeleton data acquired by the acquisition unit 103 are within the range defined by the yaw target information, The color of the target target information may be different. For example, when the joint of the right waist or the joint of the left waist exists outside the range defined by the yaw target information, the color of the yaw target information is set to be stable or a color (for example, green) As shown in FIG.

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 25에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("요고 타겟"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 25의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고, 가이드 정보로서 "요고 타겟"에 대응하는 가이드 정보(요고 타겟 정보)만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the photographed image serving as a basis of the skeleton data, as shown in Fig. 25 Control is performed to display the combined image of the motion image and the guide information (guide information corresponding to the "yoga target") generated by the guide information generation unit 105 on the display device 71. [ In the example of FIG. 25, the guide information corresponding to another item is also displayed at the same time. However, for example, only the guide information (the yoga target information) corresponding to the "yoga target" may be displayed as the guide information .

도 26은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 26에 나타내는 단계 S61~단계 S62의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S62후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 요고 타겟 정보를 기억 장치로부터 판독한다(단계 S63). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S62에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S61에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S63에서 판독한 요고 타겟 정보를 합성한 화상을 생성한다(단계 S64). 그리고, 출력 제어부(106)는 단계 S64에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S65). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 26 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S61 to S62 shown in Fig. 26 are the same as the processing contents of the steps S1 to S2 shown in Fig. 13, and therefore the detailed description will be omitted. After step S62, the information processing apparatus 60 (guide information generating section 105) reads out the above-described desired target information from the storage device (step S63). Next, the information processing apparatus 60 (guide information generation section 105) reads out the skeleton data generated in step S62 on the basis of the motion obtained by superimposing the skeleton data on the basis of this skeleton data (the captured image acquired in step S61) And synthesizes the image and the vital target information read in step S63 (step S64). Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S64 (step S65). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "허리의 수평 회전"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자의 좌우 방향으로 연신하는 제2 축(이 예에서는 x축)에 대하여, 골격 데이터에 포함되는 우측 허리에 대응하는 관절과 좌측 허리에 대응하는 관절을 연결하는 선이 이루는 각도에 따라 우측 허리 및 좌측 허리 중 한 쪽이 다른 한 쪽에 비하여 피험자의 앞측으로 돌출되어 있는 정도를 나타내는 정보(이하, "허리 수평 회전 유닛"이라 함)를 가이드 정보로서 생성한다. 이 예에서는 도 27에 나타낸 바와 같이, 허리 수평 회전 유닛은 우측 허리에 대응하는 우측 유닛과 좌측 허리에 대응하는 좌측 유닛을 포함하고 있다. 이 예에서는 우측 유닛 및 좌측 유닛의 각각은 서로 대칭인 반원을 그리도록 연재(延在)하는 동시에 7 단계로 구분되고(설명의 편의상, 구분된 1개의 단위를 "단위 유닛"이라 함), x축에 대하여 골격 데이터에 포함되는 우측 허리에 대응하는 관절과 좌측 허리에 대응하는 관절을 연결하는 선이 이루는 각도에 따라 미리 정해진 표시색으로 설정되는 단위 유닛의 수가 변화한다. Next, a case in which "horizontal rotation of the waist" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 generates joints corresponding to the right side waist and the left side waist included in the skeleton data with respect to the second axis (x-axis in this example) extending in the lateral direction of the subject (Hereinafter, referred to as "waist horizontal rotating unit") indicating the degree to which one of the right waist and the left waist protrudes toward the front side of the subject relative to the other according to the angle formed by the connecting line . In this example, as shown in Fig. 27, the waist horizontal rotating unit includes a right unit corresponding to the right waist and a left unit corresponding to the left waist. In this example, each of the right unit and the left unit is extended to draw a semicircle which is symmetrical with respect to each other, and is divided into seven stages (for convenience of explanation, one divided unit is referred to as a "unit unit") and x The number of unit units set to a predetermined display color changes according to the angle formed by the line connecting the joints corresponding to the right waist and the joints corresponding to the left waist included in the skeleton data with respect to the axis.

이 예에서는 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 28에 나타낸 바와 같이, x축과 평행인 직선에 대하여, 그 취득된 골격 데이터에 포함되는 HipLeft(209)와 HipRight(210)를 연결하는 선이 이루는 각도 θ(허리의 수평 회전 각도 θ)를 산출하고, 산출한 각도 θ에 따라 허리 수평 회전 유닛을 생성한다. 이 예에서는 허리의 수평 회전 각도 θ는 ATAN｛(HipRight의 z좌표치-HipLeft의 z좌표치)｝/｛(HipRight의 x좌표치)－(HipLeft의 x좌표치)｝로 나타내어진다. 이 예에서는 허리의 수평 회전 각도 θ가 미리 정해진 상한 설정치(절대치)에 도달한 경우, 우측 유닛 또는 좌측 유닛을 구성하는 7개의 단위 유닛의 모두가 미리 정해진 표시색으로 설정된다.In this example, every time skeleton data is acquired by the acquisition unit 103, the guide information generation unit 105 generates a guide information that is included in the acquired skeleton data for a straight line parallel to the x- An angle? (Horizontal rotation angle? Of the waist) formed by a line connecting the HipLeft 209 and the HipRight 210 is calculated, and a waist horizontal rotation unit is generated according to the calculated angle?. In this example, the horizontal rotation angle? Of the waist is represented by ATAN {(z coordinate of HipRight - z coordinate of HipLeft)} / {(x coordinate of HipRight) - (x coordinate of HipLeft)}. In this example, when the horizontal rotation angle? Of the waist reaches a predetermined upper limit set value (absolute value), all of the seven unit units constituting the right unit or the left unit are set to a predetermined display color.

또한 전술한 상한 설정치는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "허리의 수평 회전"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "허리의 수평 회전"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작(예컨대 3 단계의 레벨 중 어느 한 레벨로 설정하기 위한 조작)을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 전술한 상한 설정치를 결정할 수 있다. 여기에서는 상위 레벨일수록 상한 설정치(절대치)가 커지도록 상한 설정치를 결정한다. 예컨대 최상위 레벨에 대응하는 상한 설정치는 12. 5°, 중간 레벨에 대응하는 상한 설정치는 10°, 최하위 레벨에 대응하는 상한 설정치는 7. 5°로 결정되는 형태이어도 된다. Further, the upper limit set value may be changed to a multi-level (for example, three levels) according to the level of the training. For example, when the detail setting button 80 is pressed in a state in which the item of "horizontal rotation of the waist" is selected from the above-described training item selection screen, a setting screen for executing the level setting of the training item corresponding to "horizontal rotation of the waist" And an operation for setting an arbitrary level from the setting screen (for example, an operation for setting to any level among three levels) may be accepted. The information processing apparatus (guide information generating section 105) can determine the above-mentioned upper limit set value in accordance with the operation received on the setting screen. Here, the upper limit set value is determined so that the upper limit set value (absolute value) becomes larger as the level is higher. For example, the upper limit set value corresponding to the highest level may be determined to be 12. 5 DEG, the upper limit set value corresponding to the intermediate level may be determined to be 10 DEG, and the upper limit set value corresponding to the lowest level may be determined to be 7.5 DEG.

일례로서 상한 설정치가 12. 5°로 설정되어 있는 경우를 예로 하여 설명한다. 이 경우, 도 29에 나타낸 바와 같이, 허리의 수평 회전 각도 θ에 따라 우측 유닛 및 좌측 유닛의 각각을 구성하는 7개의 단위 유닛 중 미리 정해진 표시색으로 표시되는 단위 유닛의 수가 변화한다. 도 29의 예에서는 허리의 수평 회전 각도 θ가 상한 설정치에 상당하는 "－12. 5°" 이상인 경우, 좌측 유닛을 구성하는 모든 단위 유닛(7개의 단위 유닛)이 미리 정해진 표시색으로 표시된다. 또, 허리의 수평 회전 각도 θ가 상한 설정치에 상당하는 "＋12. 5°" 이상인 경우, 우측 유닛을 구성하는 모든 단위 유닛(7개의 단위 유닛)이 미리 정해진 표시색으로 표시된다. 이들은 허리의 수평 회전이 이상적인 상태인 것을 나타내고 있다. As an example, the case where the upper limit set value is set to 12. 5 ° will be described as an example. In this case, as shown in Fig. 29, the number of unit units displayed by the predetermined display color among the seven unit units constituting each of the right unit and the left unit changes in accordance with the horizontal rotation angle? Of the waist. In the example of Fig. 29, when the horizontal rotation angle [theta] of the waist is equal to or larger than -12.5 [deg.] Corresponding to the upper limit setting value, all the unit units (seven unit units) constituting the left unit are displayed with the predetermined display color. Further, when the horizontal rotation angle? Of the waist is equal to or larger than "+12.5 °" corresponding to the upper limit setting value, all the unit units (seven unit units) constituting the right unit are displayed in a predetermined display color. These indicate that the horizontal rotation of the waist is in an ideal state.

이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 27에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("허리의 수평 회전"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 27의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "허리의 수평 회전"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the acquisition unit 103, the output control unit 106 superimposes the acquired skeleton data on the captured image serving as a basis of the skeleton data, as shown in Fig. 27 Control is performed to display the combined image of the motion image and the guide information (guide information corresponding to "horizontal rotation of the waist") generated by the guide information generation unit 105 on the display device 71. [ In the example of FIG. 27, the guide information corresponding to another item is also displayed at the same time. However, for example, only the guide information corresponding to "horizontal rotation of the waist"

도 30은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 30에 나타내는 단계 S71~단계 S72의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S72후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S72에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("허리의 수평 회전"에 대응하는 가이드 정보, 이 예에서는 전술한 허리 수평 회전 유닛)를 생성한다(단계 S73). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S72에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S71에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S73에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S74). 그리고, 출력 제어부(106)는 단계 S74에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S75). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 30 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S71 to S72 shown in FIG. 30 are the same as the processing contents of the steps S1 to S2 shown in FIG. 13, and a detailed description thereof will be omitted. After step S72, the information processing apparatus 60 (guide information generation section 105) acquires the guide information ("guide information corresponding to" horizontal rotation of the waist "described above, which is described in this example) using the skeleton data acquired in step S72 Described waist horizontal rotating unit) (step S73). Next, the information processing apparatus 60 (guide information generation section 105) reads out the skeleton data generated in step S72 on the basis of the motion obtained by superimposing the skeleton data on the basis of the skeleton data (the captured image acquired in step S71) And an image obtained by combining the image and the guide information generated in step S73 is generated (step S74). Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S74 (step S75). The information processing apparatus 60 repeats the above processing.

다음에, 트레이닝 아이템의 항목으로서 "다리 올림 타이밍"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 전술한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 전술한 심도 정보에 근거하여 피험자의 다리가 올려지는 부재이며, 다리를 회전시키면서 교대로 전후로 이동시키는 다리 젓기 운동을 실행하기 위한 페달(317)의 위치가 피험자의 깊이 방향으로 연신하는 제1 축과 평행인 방향(이 예에서는 z축과 평행인 방향)의 미리 정해진 위치에 도달하였다고 판단한 경우에, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성한다. 상기 미리 정해진 위치는 임의로 설정 가능하지만, 예컨대 페달(317)이 z축과 평행인 방향으로 이동 가능한 위치 중 최후방 위치(페달(317)이 가장 센서(40)로부터 멀어지는 위치)이어도 된다. 또, 가이드 정보 생성부(105)는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였다고 판단한 경우에는, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성하는 동시에, 미리 정해진 통지음을 출력하는 것을 출력 제어부(106)에 지시할 수도 있다. Next, a case where "leg raising timing" is selected as an item of the training item will be described as an example. In this case, the guide information generation unit 105 is a member for lifting the subject's leg based on the photographed image obtained by photographing the above-described detection area and the above-described depth information, When it is determined that the position of the pedal 317 for exercising has reached a predetermined position in a direction parallel to the first axis extending in the depth direction of the subject (in this example, the direction parallel to the z axis) Information for prompting the user to perform the raising operation is generated as the guide information. The predetermined position may be arbitrarily set, but may be a rear end position (a position at which the pedal 317 is the closest to the sensor 40) among the positions that the pedal 317 can move in the direction parallel to the z-axis. When it is determined that the position of the pedal 317 has reached the predetermined position, the guide information generating section 105 generates, as guide information, information for prompting the user to perform the leg-raising operation, and at the same time, It may instruct the output control section 106 to output a notice sound.

또, 가이드 정보 생성부(105)는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하지 않았다고 판단한 경우에는, 그 때의 페달(317)의 위치에 따라 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 정보를 가이드 정보로서 생성할 수 있다. 이 예에서는, 가이드 정보 생성부(105)는 취득부(103)에 의해 촬영 화상 및 심도 정보가 취득될 때마다, 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였는지 아닌지를 판단하고, 그 판단 결과에 따른 가이드 정보를 생성한다. When determining that the position of the pedal 317 has not reached the predetermined position, the guide information generating unit 105 generates the guide information according to the position of the pedal 317 at that time The information indicating the perspective of the user can be generated as the guide information. In this example, the guide information generation unit 105 determines whether or not the position of the pedal 317 has reached the predetermined position every time the captured image and the depth information are acquired by the acquisition unit 103, And generates guide information according to the determination result.

도 31은 이 예에서 가이드 정보 생성부(105)에 의해 생성되는 가이드 정보의 천이 일례를 나타내는 도면이다. 이 예에서 가이드 정보 생성부(105)에 의해 생성되는 가이드 정보는 우측 다리에 대응하는 표시 유닛과 좌측 다리에 대응하는 표시 유닛을 포함하고, 각 표시 유닛은 3개의 단위 유닛(박스)으로 구성된다. 도 31의 예에서 (타이밍 C)는 좌측 다리에 대응하는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달한 경우에 대응한다. 이 경우에는 좌측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 전부의 색은 임의의 제1 색으로 설정되고 또한 다리 올림 동작을 재촉하는 "FOOT UP"이라는 정보를 포함하도록, 좌측 다리에 대응하는 표시 유닛이 생성된다. 또, 우측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 각각에는 색이 표시되지 않도록 우측 다리에 대응하는 표시 유닛이 생성된다. 이 좌측 다리에 대응하는 표시 유닛, 및 우측 다리에 대응하는 표시 유닛이 다리 올림 동작의 실행을 재촉하는 가이드 정보로서 생성되는 형태이다. 31 is a diagram showing an example of transition of guide information generated by the guide information generation unit 105 in this example. In this example, the guide information generated by the guide information generation unit 105 includes a display unit corresponding to the right leg and a display unit corresponding to the left leg, and each display unit is composed of three unit units (boxes) . In the example of Fig. 31 (timing C), the position of the pedal 317 corresponding to the left leg corresponds to the above-mentioned predetermined position. In this case, the colors of all the three unit units constituting the display unit corresponding to the left leg are set to an arbitrary first color, and the color of the left side legs is set so as to include information "FOOT UP" A corresponding display unit is generated. A display unit corresponding to the right leg is generated so that no color is displayed in each of the three unit units constituting the display unit corresponding to the right leg. The display unit corresponding to the left leg and the display unit corresponding to the right leg are generated as guide information urging execution of the leg elevation operation.

또, 여기에서는 좌측 다리에 대응하는 페달(317)의 위치가 전술한 미리 정해진 위치에 접근함에 따라 도 31의 (타이밍 A) 및 (타이밍 B)와 같이, 좌측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 하측으로부터 차례로 임의의 제2 색(제1 색과 상이한 색이어도 되고, 동일한 색이어도 됨)이 표시되도록 좌측 다리에 대응하는 표시 유닛이 생성된다. 또, 우측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 각각에는 색이 표시되지 않도록 우측 다리에 대응하는 표시 유닛이 생성된다. 이 좌측 다리에 대응하는 표시 유닛, 및 우측 다리에 대응하는 표시 유닛이 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 가이드 정보로서 생성되는 형태이다. Here, as the position of the pedal 317 corresponding to the left leg approaches the predetermined position described above, as shown in (Timing A) and (Timing B) in Fig. 31, A display unit corresponding to the left leg is generated such that an arbitrary second color (which may be a different color from the first color and may be the same color) is sequentially displayed from the lower side of the three unit units. A display unit corresponding to the right leg is generated so that no color is displayed in each of the three unit units constituting the display unit corresponding to the right leg. And the display unit corresponding to the left leg and the display unit corresponding to the right leg are generated as guide information indicating the perspective to the timing of performing the operation of raising the leg.

또, 이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 32에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과, 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("다리 올림 타이밍"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 32의 예에서는 "다리 올림 타이밍"에 대응하는 가이드 정보(우측 다리에 대응하는 표시 유닛, 좌측 다리에 대응하는 표시 유닛)는 화면에 비치는 운동 기구(10)에 맞추어 원근법을 이용하여 표시되어 있다. 또한 도 31의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "다리 올림 타이밍"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the acquisition unit 103, the output control unit 106 sets the acquired skeleton data on the captured image serving as a basis of the skeleton data, as shown in Fig. 32 Control is performed to display the combined image of the superimposed motion image and the guide information (guide information corresponding to "leg raising timing") generated by the guide information generating section 105 on the display device 71. [ In the example of Fig. 32, the guide information (the display unit corresponding to the right leg and the display unit corresponding to the left leg) corresponding to the "leg raising timing " is displayed in a perspective manner in accordance with the exercise apparatus 10 displayed on the screen . In the example of FIG. 31, guide information corresponding to another item is also displayed at the same time. However, for example, only guide information corresponding to "leg raising timing"

도 33은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 33에 나타내는 단계 S81~단계 S82의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S82후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S81에서 취득한 촬영 화상 및 심도 정보에 근거하여 이상으로 설명한 가이드 정보("다리 올림 타이밍"에 대응하는 가이드 정보)를 생성한다(단계 S83). 전술한 바와 같이, 정보 처리 장치(60)(가이드 정보 생성부(105))는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였다고 판단한 경우에는, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성하고 또한 미리 정해진 통지음을 출력하도록 출력 제어부(106)에 지시한다. 한편, 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하지 않았다고 판단한 경우에는, 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 정보를 가이드 정보로서 생성하는 형태이다.33 is a flowchart showing an example of the operation of the information processing apparatus 60 in this case. The processing contents of the steps S81 to S82 shown in FIG. 33 are the same as the processing contents of the steps S1 to S2 shown in FIG. 13, and a detailed description thereof will be omitted. After step S82, the information processing apparatus 60 (guide information generating section 105) acquires guide information (guide information corresponding to "leg raising timing") described above on the basis of the shot image and depth information acquired in step S81 (Step S83). As described above, when the information processing apparatus 60 (guide information generating section 105) determines that the position of the pedal 317 has reached the predetermined position described above, the information processing apparatus 60 (the guide information generating section 105) Information as guide information and instructs the output control section 106 to output a predetermined notice sound. On the other hand, when it is determined that the position of the pedal 317 has not reached the predetermined position, information indicating the perspective up to the timing of performing the leg-raising operation is generated as guide information.

단계 S83후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S82에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S81에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S83에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S84). 그리고, 출력 제어부(106)는 단계 S84에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S85). 예컨대 다리를 올리는 동작을 실시할 것을 재촉하는 정보가 가이드 정보로서 생성된 경우, 출력 제어부(106)는 가이드 정보 생성부(105)로부터의 지시에 따라 미리 정해진 통지음을 스피커(72)로부터 출력한다. 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다.After step S83, the information processing apparatus 60 (guide information generation unit 105) superimposes the skeleton data generated in step S82 on the captured image serving as a basis of the skeleton data (captured image acquired in step S81) An image obtained by combining the motion image and the guide information generated in step S83 is generated (step S84). Then, the output control section 106 performs control to display the synthesized image on the display device 71 in step S84 (step S85). For example, when information for prompting the user to perform a leg-raising operation is generated as guide information, the output control section 106 outputs a predetermined notice sound from the speaker 72 in accordance with an instruction from the guide information generation section 105 . The information processing apparatus 60 repeats the above processing.

이상으로 설명한 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 피험자에게 인식시키기 위한 가이드 정보를 생성하고, 이 생성한 가이드 정보를 피험자의 각 부분의 움직임을 특정하기 위한 전술한 모션 화상과 함께 출력하는 제어를 실시한다. 이에 의해, 운동 기구(10)를 이용하여 운동하는 피험자에 대하여 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있다. As described above, the information processing apparatus 60 according to the present embodiment is configured to include the photographed image obtained by photographing the detection region for detecting the subject who is exercising using the exercise device 10, and the depth information of the subject in the detection region , Generates guide information for recognizing whether or not an ideal motion is being performed on the basis of the generated guide information, and outputs the generated guide information together with the above-described motion image for specifying the motion of each part of the subject. Thereby, it is possible to recognize whether or not the exerciser 10 is performing the ideal exercise with respect to the subject exercising.

이상, 본 발명의 실시 형태를 설명하였지만, 상술한 실시 형태는 예로서 제시한 것으로, 발명의 범위를 한정하는 것을 의도하지 않는다. 본 발명은 상술한 실시 형태 자체에 한정되는 것이 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또, 상술한 실시 형태에 개시되어 있는 복수개의 구성 요소의 적당한 조합에 의해 각종 발명을 형성할 수 있다. 예컨대, 실시 형태에 나타나는 전 구성 요소로부터 몇개의 구성 요소를 삭제하여도 된다.While the embodiments of the present invention have been described above, the embodiments described above are provided as examples and are not intended to limit the scope of the invention. The present invention is not limited to the above-described embodiment itself, but may be embodied by modifying the constituent elements within the scope of the present invention without departing from the gist of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-mentioned embodiments. For example, some constituent elements may be deleted from all the constituent elements shown in the embodiment.

아래에 본 발명의 추가 실시형태에 대하여 설명한다.A further embodiment of the present invention will be described below.

근년, 예컨대 고령자의 전도 방지, 간호 예방, 건강 수명의 연장 등을 목적으로 한 체간 강화에 의한 간호 예방 트레이닝에 있어 가시화된 동작 정보를 피험자에게 제시하는 트레이닝 서포트 시스템이 개발되어 있다. 이와 같은 간호 예방 트레이닝에서는 특히 허리, 어깨, 무릎 등의 움직임이 중요하게 되는 경우가 많다. In recent years, for example, a training support system has been developed for presenting visualized motion information to a subject in nursing prevention training by strengthening the trunk for the purpose of preventing elderly people from falling, preventing nursing care, and extending health life span. In such nursing prevention training, movement of waist, shoulder, knee, and the like is often important.

가시화된 동작 정보를 피험자에게 제시하는 기술로서 예컨대 일본 특허 공보 제5739872호에는 게임 유저에 의한 동작을 모방토록 조정 가능한 유저의 모델(골격 정보)을 생성하는 것을 목적으로 장면을 캡쳐하여 얻어지는 심도 화상으로부터 추출한 오브젝트에 근거하여 모델의 특징을 결정하고, 유저에 의한 동작에 응답하여 모델을 조정함으로써 모델을 트랙킹하는 기술이 개시되어 있다.For example, Japanese Patent Publication No. 5739872 discloses a technology for presenting visualized motion information to a subject. In Japanese Patent Publication No. 5739872, there is disclosed a technique for generating a model (skeleton information) of a user who can adjust the motion by a game user Discloses a technique of tracking a model by determining the characteristics of the model based on the extracted object and adjusting the model in response to the operation by the user.

간호 트레이닝을 비롯하여 허리, 어깨, 무릎 등의 움직임이 중요한 운동을 실시하는 피험자에게 자신의 동작 정보를 제시하는 경우에는, 운동 포인트가 되는 허리, 어깨, 무릎 등의 움직임을 정밀도 높게 제시할 필요가 있다. 그러나, 종래 기술에서는 골격 정보 중, 주목해야 할 부위(주목 부위)에 대응하는 위치를 정밀도 높게 구할 수 없는 경우가 있다는 문제가 있다. In the case of presenting the motion information of the subject to the subject who performs the motion such as the back, shoulder, and knee including the nursing training, it is necessary to present motion of the waist, shoulder, knee, . However, in the prior art, there is a problem that the position corresponding to the region (the target region) to be noted in the skeleton information can not be obtained with high precision.

본 발명은 상기에 감안하여 이루어진 것으로, 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있는 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide an information processing apparatus, an information processing method, a program, and a system capable of obtaining a position corresponding to a target area of a skeleton information of a moving subject with high precision.

상술한 과제를 해결하여 목적을 달성하기 위하여, 본 발명은 아래와 같은 과제 해결 수단을 제공한다.In order to solve the above-mentioned problems and to achieve the object, the present invention provides the following problem solution means.

제1면에 있어서는, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부를 구비하는 정보 처리 장치를 제공한다.An acquiring unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; a skeleton information acquiring unit that acquires skeleton information of each part of the subject at the reference posture And a correction unit that corrects first positional information indicating a position corresponding to a target portion in the skeleton information using reference skeleton information indicating a result of estimation of the joint.

제2면에 있어서는, 상기 제1면에 있어서, 상기 보정부는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 취득부에 의해 취득된 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는 정보 처리 장치를 제공한다.In the second aspect, in the first surface, the correcting unit may include second position information indicating a position corresponding to the target portion among the first position information after correction, the first position information before correction, and the reference skeleton information, Information indicating a position corresponding to the target portion in the skeleton information acquired by the acquisition unit is input as the first position information before correction and the second position information is input And the first position information after correction is calculated.

제3면에 있어서는, 상기 제2면에 있어서, 상기 보정부는 보정 전의 상기 제1 위치 정보와 상기 제2 위치 정보의 차분에 상기 보정 함수의 계수를 나타내는 보정 파라미터를 곱셈하여 얻어지는 값과 상기 제2 위치 정보를 가산한 값을 보정 후의 상기 제1 위치 정보로서 산출하는 정보 처리 장치를 제공한다.On the third surface, on the second surface, the correcting unit corrects a difference between a value obtained by multiplying a difference between the first position information before the correction and the second position information by a correction parameter indicating a coefficient of the correction function, And a value obtained by adding the position information is calculated as the first position information after correction.

제4면에 있어서는, 제3면에 있어서, 복수 시점마다, 이 시점에서의 상기 제1 위치 정보와 정답 정보의 조(組)를 대응시킨 교사 정보를 이용하여 상기 보정 파라미터를 산출하는 산출부를 더 구비하는 정보 처리 장치를 제공한다.In the fourth aspect, the calculating unit for calculating the correction parameter by using the teacher information correlated with the set of the first positional information and the corrective information at the time point on the third plane at a plurality of points of time And an information processing apparatus provided with the information processing apparatus.

제5면에 있어서는, 상기 제4면에 있어서, 상기 산출부는 보정 후의 상기 제1 위치 정보와 상기 정답 정보의 차분이 임계값 이내로 되도록 상기 보정 파라미터를 산출하는 정보 처리 장치를 제공한다.In the fifth aspect, on the fourth surface, the calculating unit calculates the correction parameter so that the difference between the corrected first position information and the correcting information is within a threshold value.

제6면에 있어서는, 제4면 또는 제5면에 있어서, 상기 골격 정보는 상기 피험자를 검출하기 위한 검출 영역을 촬영하는 촬영부에 의해 생성된 촬영 화상과 상기 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서에 의해 검출된 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 정보이며, 상기 정답 정보는 상기 촬영부 및 상기 심도 센서와는 상이한 기타 센서를 이용한 모션 캡쳐에 의해 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보인 정보 처리 장치를 제공한다.In the sixth aspect, on the fourth surface or the fifth surface, the skeleton information is detected by detecting the photographed image generated by the photographing section photographing the detection region for detecting the subject and the depth information of the subject in the detection region Wherein the correcting information is information indicating a result of estimating a joint of each part of the subject reflected by the photographed image based on the depth information detected by a depth sensor that is different from the photographing unit and the depth sensor And information indicating a position corresponding to the target area in the second skeleton information indicating a result of estimating the joint of each part of the subject by the used motion capture.

제7면에 있어서는, 상기 복수 시점마다, 이 시점에 대응하는 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 제1 위치 정보와 이 시점에 대응하는 상기 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 정답 정보를 대응시켜 상기 교사 정보를 생성하는 생성부를 더 구비하는 정보 처리 장치를 제공한다.In the seventh aspect, in each of the plurality of points of time, the first position information indicating a position corresponding to the noted region out of the skeleton information corresponding to this point and the second position information indicating the position of the noted region And a generating unit for generating the teacher information in association with the correct answer information indicating a corresponding position.

제8면에 있어서는, 제1면 내지 제7면 중 어느 한 면에 있어서, 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 나타내는 보정 후 골격 정보를 기억하는 보정 후 골격 정보 기억부와, 상기 보정 후 골격 정보 기억부에 기억된 정해진 수의 상기 보정 후 골격 정보에 근거하여 상기 보정 후 골격 정보의 필터링 처리를 실행하는 필터부를 더 구비하는 정보 처리 장치를 제공한다.On the eighth aspect, on any one of the first to seventh surfaces, after the correction after storing the post-correction skeleton information indicating the skeleton information after the position corresponding to the target portion is corrected by the correcting unit Further comprising a skeleton information storage unit and a filter unit that performs filtering processing of the skeleton information after the correction on the basis of a predetermined number of pieces of skeleton information stored in the skeleton information storage unit after the correction.

제9면에 있어서는, 제1면 내지 제8면 중 어느 한 면에 있어서, 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 더 구비하는 정보 처리 장치를 제공한다.On the ninth surface, a skeleton information after the position corresponding to the target area is corrected by the correcting unit on any one of the first to eighth surfaces is photographed as a detection area for detecting the subject And outputting the motion image superimposed on the photographed image obtained by the motion image generation means to the display device.

제10면에 있어서는, 제1면 내지 제9면 중 어느 한 면에 있어서, 상기 주목 부위는 허리인 정보 처리 장치를 제공한다.In the tenth aspect, on any one of the first to ninth surfaces, the attention area is the waist.

제11면에 있어서는, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와, 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 포함한 정보 처리 방법을 제공한다.An eleventh aspect of the present invention is an eleventh aspect of the present invention, characterized by comprising: an acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; and a step of acquiring skeleton information and a result of estimating joints of respective parts of the subject at the reference posture And a correction step of correcting first position information indicating a position corresponding to a target portion in the skeleton information based on the reference skeleton information.

제12면에 있어서는, 컴퓨터에 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와, 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 실행시키기 위한 프로그램을 제공한다.In the twelfth aspect, there is provided a computer-readable storage medium storing a computer-readable program for causing a computer to execute: an acquisition step of acquiring skeleton information indicating a result of estimating joints of respective parts of a subject exercising in a computer; And correcting the first position information indicating the position corresponding to the target portion in the skeleton information based on the reference skeleton information indicating the skeleton information.

제13면에 있어서는, 정보 처리 장치와 표시 장치를 구비하는 시스템으로서, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부와 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 상기 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 구비하는 시스템을 제공한다.A thirteenth aspect is a system including an information processing apparatus and a display device, the system comprising: an acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; The first position information indicating a position corresponding to a target portion of the skeleton information based on reference skeleton information indicating a result of estimating a joint of each portion of the skeleton information, And an output control section that performs control to output, from the display device, a motion image in which the skeleton information after position correction is superimposed on a photographed image obtained by photographing a detection region for detecting the subject.

본 발명에 의하면, 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있다는 유리한 효과를 발휘한다.According to the present invention, it is possible to obtain an advantageous effect that the position corresponding to the target region in the skeleton information of the exercising subject can be obtained with high accuracy.

이하, 첨부 도면을 참조하면서 본 발명에 따른 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템의 실시 형태를 상세하게 설명한다. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of an information processing apparatus, an information processing method, a program, and a system according to the present invention will be described in detail with reference to the accompanying drawings.

(제1 실시형태)(First Embodiment)

다음에, 도 34를 이용하여 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능을 설명한다. 도 34는 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능의 일례를 나타내는 도면이다. 아래에서는 트레이닝 아이템의 항목으로서 "스켈리턴"이 선택되어 있는 트레이닝 모드시에 관한 정보 처리 장치(60)의 기능을 중심으로 설명한다. 도 34에 나타낸 바와 같이, 정보 처리 장치(60)는 접수부(101)와 화면 전환 제어부(102)와 취득부(103)와 보정부(104')와 기준 골격 정보 기억부(105')와 기준 골격 정보 생성부(106')와 출력 제어부(107')를 구비한다. 설명의 편의상, 도 34의 예에서는 본 실시 형태에 관한 기능을 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 기능은 이들에 한정되는 것은 아니다. Next, the functions of the information processing apparatus 60 of the present embodiment will be described with reference to FIG. 34 is a diagram showing an example of the functions of the information processing apparatus 60 of the present embodiment. The following description will focus on the function of the information processing apparatus 60 relating to the training mode in which "skeleton" is selected as an item of the training item. 34, the information processing apparatus 60 includes a reception unit 101, a screen switching control unit 102, an acquisition unit 103, a correction unit 104 ', a reference frame information storage unit 105' A skeleton information generation unit 106 'and an output control unit 107'. For convenience of explanation, the functions of this embodiment are mainly illustrated in the example of Fig. 34, but the functions of the information processing apparatus 60 are not limited to these.

접수부(101)는 각종 조작을 접수한다. 예컨대 접수부(101)는 리모컨(50)으로부터 조작 신호를 접수하는 기능을 구비하고 있다. 화면 전환 제어부(102)는 접수부(101)에서 접수한 조작 등에 따라 표시 장치(71)에 표시하는 화면을 전환시키는 제어를 실시한다. The reception unit 101 receives various operations. For example, the reception unit 101 has a function of receiving an operation signal from the remote controller 50. [ The screen switching control section 102 performs control to switch the screen displayed on the display device 71 in accordance with an operation accepted by the reception section 101 or the like.

취득부(103)는 운동 기구(10)를 이용하여 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보(스켈리턴 데이터)를 취득한다. 본 실시 형태에서는 취득부(103)는 피험자를 검출하기 위한 검출 영역을 촬영하는 촬영부(이 예에서는 카메라(41))에 의해 생성된 촬영 화상과 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서(42)에 의해 검출된 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득한다. 보다 구체적으로는 취득부(103)는 센서(40)로부터 촬영 화상과 심도 정보를 접수할 때마다, 그 접수한 촬영 화상과 심도 정보에 의해 골격 정보를 생성하고, 이 생성한 골격 정보를 취득한다. 이와 같이 하여 취득부(103)는 연속적으로 골격 정보를 취득한다. 또한 예컨대 촬영 화상과 심도 정보에 의해 골격 정보를 생성하는 기능이 취득부(103)와는 별도로 설치되고 취득부(103)가 상기 기능에 의해 골격 정보를 접수하는 형태이어도 된다. The acquiring unit 103 acquires skeleton information (skeleton data) indicating the result of estimating the joint of each part of the subject exercising using the exercise device 10. [ In the present embodiment, the acquisition unit 103 includes a depth sensor (not shown) that detects depth information of a photographed image generated by a photographing unit (camera 41 in this example) that photographs a detection area for detecting a subject, The skeleton information indicating the result of estimating the joint of each part of the subject reflected in the shot image by the depth information detected by the skeleton information obtaining unit 42. [ More specifically, each time the acquisition unit 103 receives the photographed image and the depth information from the sensor 40, it generates skeleton information based on the received photographed image and the depth information, and acquires the generated skeleton information . In this manner, the acquisition unit 103 continuously acquires the skeleton information. Alternatively, the function of generating skeleton information by the captured image and the depth information may be provided separately from the acquisition unit 103, and the acquisition unit 103 may receive the skeleton information by the above function.

보정부(104')는 취득부(103)에 의해 취득된 골격 정보와 기준 자세 때의 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 이 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. 보정의 구체적인 내용에 대하여는 후술한다. 여기서, 본 실시 형태의 운동 기구(10)를 이용한 "다리 끌기 운동", 또는, "다리 젓기 운동"에 대하여는, 도 10에 나타내는 SpineShoulder(202), ShoulderLeft(203), ShoulderRight(204), Spinemid(207), SpineBase(208), HipLeft(209), HipRight(210) 등의 움직임이 중요하고, 특히, HipLeft(209), HipRight(210)를 포함한 "허리"의 움직임이 중요하다. 그 때문에, 트레이닝 아이템의 항목으로서 "스켈리턴"이 선택되어 있는 트레이닝 모드에서는 주목 부위가 되는 허리 위치의 추정 정밀도가 높은 골격 정보를 포함한 모션 화상을 피험자에게 제시하는 것이 바람직하다. The correcting unit 104 'uses the skeleton information acquired by the acquiring unit 103 and the reference skeleton information indicating the result of estimating the joint of each part of the subject at the reference posture, The first position information indicating the position is corrected. Details of the correction will be described later. Here, the "leg pulling motion" or the "leg rolling motion" using the exercise device 10 of the present embodiment is performed using the SpineShoulder 202, ShoulderLeft 203, ShoulderRight 204, Spinemid The motion of the "waist" including the HipLeft 209 and the HipRight 210 is important. In this case, the motion of the spine base 207, the spine base 208, the hip ligature 209 and the hip light 210 is important. Therefore, in the training mode in which "skeleton" is selected as an item of the training item, it is preferable to present the motion image including the skeleton information with high estimation accuracy of the waist position to be the target region to the subject.

아래에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있는 경우를 예로 하여 설명하지만, 이것에 한정되는 것은 아니고, 주목 부위는 임의로 변경 가능하다. 정보 처리 장치(60)는 예컨대 유저의 조작 등에 따라 주목 부위를 가변으로 설정하는 기능을 구비하는 형태이어도 된다. In the following, the case where the HipLeft 209 and the HipRight 210 are set in advance is described as an example of the target area, but the present invention is not limited to this, and the target area may be arbitrarily changed. The information processing apparatus 60 may have a function of setting a target region to be variable according to, for example, an operation of the user.

기준 골격 정보 기억부(105')는 기준 골격 정보를 기억한다. 기준 골격 정보 생성부(106')는 기준 골격 정보를 생성한다. 이 예에서는 기준 골격 정보 생성부(106')는 트레이닝 모드가 선택되면, 트레이닝 모드를 개시하기 전에, 피험자에 대하여, 기준 자세(예컨대 직립 부동의 자세(정면을 향해 서있을 때의 자세))를 취할 것을 재촉하는 정보를 출력(예컨대 상기 정보를 표시 장치(71)에 표시, 또는, 상기 정보를 스피커(72)로부터 출력)한다. 그리고, 이 정보의 출력 후, 취득부(103)에 의해 연속적으로 취득되는 골격 정보의 변화량이 임계값 이하가 된 경우의 골격 정보를 기준 골격 정보로서 생성할 수 있다. The reference skeleton information storage unit 105 'stores reference skeleton information. The reference skeleton information generation unit 106 'generates reference skeleton information. In this example, when the training mode is selected, the reference skeleton information generating unit 106 'acquires a reference posture (for example, an attitude when standing toward the front face) with respect to the subject before starting the training mode (For example, displaying the information on the display device 71 or outputting the information from the speaker 72). Then, after outputting this information, skeleton information when the amount of skeleton information continuously acquired by the acquisition unit 103 becomes less than or equal to the threshold value can be generated as reference skeleton information.

설명의 편의상, 여기에서는 트레이닝 모드를 개시하기 전에, 미리 기준 골격 정보가 생성되어 있는(기준 골격 정보 기억부(105')에 기억되어 있는) 것을 전제로 하지만, 이것에 한정되는 것은 아니고, 예컨대 기준 골격 정보가 미리 생성되지 않는 형태이어도 된다. 이 형태에서는 예컨대 보정부(104')는 후술하는 보정 시에, 기준 골격 정보가 기준 골격 정보 기억부(105')에 기억되어 있는지를 확인하고, 기준 골격 정보가 기준 골격 정보 기억부(105')에 기억되어 있지 않는 경우에는, 기준 골격 정보 생성부(106')에 대하여 기준 골격 정보의 생성을 의뢰하고, 이 의뢰를 받은 기준 골격 정보 생성부(106')가 상기와 같이 하여 기준 골격 정보를 생성할 수도 있다. For convenience of explanation, it is assumed that the reference skeleton information is previously generated (stored in the reference skeleton information storage unit 105 ') before starting the training mode. However, the present invention is not limited to this, The skeleton information may not be generated in advance. In this form, for example, the correction unit 104 'checks whether the reference skeleton information is stored in the reference skeleton information storage unit 105' at the time of the correction described later, and the reference skeleton information is stored in the reference skeleton information storage unit 105 ' , The reference skeleton information generating unit 106 'requests the reference skeleton information generating unit 106' to generate the reference skeleton information, and the reference skeleton information generating unit 106 ' May be generated.

다음에, 보정부(104')에 의한 보정의 구체적인 내용을 설명한다. 보정부(104')는 보정 후의 제1 위치 정보와 보정 전의 제1 위치 정보(현재의 제1 위치 정보)와 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 취득부(103)에 의해 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보로서 입력하는 동시에, 제2 위치 정보를 입력하여 보정 후의 제1 위치 정보를 산출한다. 보다 구체적으로는, 보정부(104')는 보정 전의 제1 위치 정보와 제2 위치 정보의 차분에 보정 함수의 계수를 나타내는 보정 파라미터를 곱셈하여 얻어지는 값과 제2 위치 정보를 가산한 값을 보정 후의 제1 위치 정보로서 산출한다. 상술한 바와 같이, 이 예에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있으므로, 보정부(104')는 취득부(103)에 의해 취득된 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 정보(제1 위치 정보에 상당) 및 HipRight(210)에 대응하는 위치를 나타내는 정보(제1 위치 정보에 상당)의 각각을 보정한다. 또한 상기 보정 파라미터(보정 함수를 나타내는 수학공식 등 데이터)는 ROM(62)이나 HDD 등의 기억 장치에 보존된다.Next, the details of the correction by the correction unit 104 'will be described. The correcting unit 104'corrects the first position information after correction and the first position information before correction (current first position information) and the second position information indicating the position corresponding to the target region in the reference skeleton information Information indicating the position corresponding to the target region in the skeleton information acquired by the acquisition unit 103 as the first position information before correction and inputs the second position information and outputs the corrected first position information . More specifically, the corrector 104 'corrects the value obtained by adding the value obtained by multiplying the difference between the first position information before correction and the second position information by the correction parameter indicating the coefficient of the correction function, As the first position information after the first position information. As described above, in this example, the HipLeft 209 and the HipRight 210 are set in advance as the target regions, and therefore the correcting unit 104 'sets the HipLeft 209 of the skeleton information acquired by the acquiring unit 103 (Corresponding to the first position information) indicating the corresponding position and information indicating the position corresponding to the HipRight 210 (corresponding to the first position information). The correction parameters (data such as a mathematical formula representing the correction function) are stored in a storage device such as the ROM 62 or the HDD.

본 실시 형태에서는 보정 후의 제1 위치 정보를 S', 보정 전의 제1 위치 정보를 S, 제2 위치 정보를 Sbase, 보정 파라미터를 α로 하면, 상기 보정 함수는 아래의 공식 1과 같이 나타낼 수 있다. In the present embodiment, when the first position information after correction is S ', the first position information before correction is S, the second position information is S base , and the correction parameter is a, the correction function can be expressed by the following Formula 1 have.

Figure 112016094651051-pat00001
…(공식 1)
Figure 112016094651051-pat00001
... (Formula 1)

또한 본 실시 형태에서는 보정 함수는 1차 함수로 표시되어 있지만, 이에 한정되지 않고, 예컨대 보정 함수는 아래의 공식 2와 같이 2차 함수로 표시되는 형태이어도 된다. In the present embodiment, the correction function is represented by a linear function, but the present invention is not limited thereto. For example, the correction function may be expressed by a quadratic function as in the following formula 2.

Figure 112016094651051-pat00002
…(공식 2)
Figure 112016094651051-pat00002
... (Formula 2)

상기 공식 2에서는 계수 α, β가 보정 파라미터에 상당하다. In the formula 2, the coefficients? And? Correspond to the correction parameters.

또한 예컨대 보정 함수는 아래의 공식 3과 같이 n차 함수로 나타내어지는 형태이어도 된다. Further, for example, the correction function may be a form expressed by an n-th order function as shown in Formula 3 below.

Figure 112016094651051-pat00003
…(공식 3)
Figure 112016094651051-pat00003
... (Formula 3)

상기 공식 3에서는 계수 αk가 보정 파라미터에 상당하다. In the formula 3, the coefficient? K corresponds to the correction parameter.

보정부(104')는 취득부(103)에 의해 골격 정보가 취득될 때마다, 이상으로 설명한 바와 같이 그 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. Each time the skeleton information is acquired by the acquisition unit 103, the correcting unit 104 'corrects the first position information indicating the position corresponding to the target region in the acquired skeleton information as described above.

출력 제어부(107')는 보정부(104')에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상(이 골격 정보의 기초가 되는 촬영 화상) 상에 중첩시킨 모션 화상을 표시 장치(71)로부터 출력시키는 제어를 실시한다. 이 예에서는 출력 제어부(107')는 보정부(104')에 의한 보정을 실행할 때마다, 보정 후의 골격 정보를 포함한 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다. The output control unit 107 'controls the output unit 107' so that the photographed image obtained by photographing the detection area for detecting the subject with skeleton information after the position corresponding to the target area is corrected by the correction unit 104 ' Control is performed so that the motion image superimposed on the moving image (image) is output from the display device 71. [ In this example, each time the correction unit 104 'performs correction, the output control unit 107' controls the display device 71 to display a motion image including skeleton information after correction.

도 35는 본 실시 형태의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 35에 나타낸 바와 같이, 취득부(103)는 골격 정보를 취득한다(단계 S91). 다음에, 보정부(104')는 단계 S91에서 취득된 골격 정보와 기준 골격 정보 기억부(105)에 미리 기억되어 있는 기준 골격 정보에 근거하여 단계 S91에서 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 처리를 실시한다(단계 S92). 35 is a flowchart showing an example of the operation of the information processing apparatus 60 of the present embodiment. As shown in Fig. 35, the acquisition unit 103 acquires skeleton information (step S91). Next, based on the skeleton information acquired in step S91 and the reference skeleton information stored in advance in the reference skeleton information storage unit 105, the correcting unit 104 'acquires, from the skeleton information acquired in step S91, A process of correcting the first position information indicating the position is performed (step S92).

도 36은 도 35에 나타내는 단계 S92의 보정 처리의 구체적인 내용을 나타내는 흐름도이다. 도 36에 나타낸 바와 같이, 보정부(104')는 상술한 공식 1로 나타내어지는 보정 함수에 대하여, 도 35에 나타내는 단계 S91에서 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보로서 입력한다(단계 S101). 상술한 바와 같이, 이 예에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있으므로, 여기에서는 보정부(104')는 도 35에 나타내는 단계 S91에서 취득된 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보 S로서 입력하는 것을 상정한다. Fig. 36 is a flowchart showing specific contents of the correction process of step S92 shown in Fig. As shown in Fig. 36, the correcting unit 104 'corrects the information indicating the position corresponding to the target area in the skeleton information acquired in step S91 shown in Fig. 35, And inputs it as the first position information (step S101). As described above, in this example, the HipLeft 209 and the HipRight 210 are set in advance as the target regions, and therefore, the correcting unit 104 'determines that the HipLeft (209) of the skeleton information acquired in the step S91 shown in FIG. ) As the first position information S before the correction is assumed.

다음에, 보정부(104')는 상술한 공식 1로 나타내어지는 보정 함수에 대하여, 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보 Sbase를 입력한다(단계 S102). 여기에서는 보정부(104')는 기준 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 제2 위치 정보 Sbase를 입력하는 것을 상정한다. 이에 따라, 보정부(104')는 보정 후의 제1 위치 정보 S'(골격 정보 중 보정 후의 HipLeft(209)에 대응하는 위치를 나타내는 정보)를 산출할 수 있다(단계 S103). Next, the correcting unit 104 'inputs second positional information S base indicating the position corresponding to the target portion in the reference skeleton information, with respect to the correction function expressed by the above-described Formula 1 (Step S102). Here, it is assumed that the correction unit 104 'inputs the second position information S base indicating the position corresponding to the HipLeft 209 in the reference skeleton information. Accordingly, the correcting unit 104 'can calculate the corrected first position information S' (information indicating the position corresponding to the post-correction HipLeft 209 in the skeleton information) (step S103).

다음에, 보정부(104')는 미리 설정된 전부의 주목 부위의 보정이 완료되었는지를 확인한다(단계 S104). 단계 S104의 결과가 긍정인 경우(단계 S104：Yes), 처리는 종료된다. 단계 S104의 결과가 부정인 경우(단계 S104：No), 보정부(104')는 미보정의 주목 부위를 선택하고(단계 S105), 그 선택한 주목 부위에 관하여 상술한 단계 S101 이후의 처리를 반복한다. 이 예에서는 보정부(104')는 미보정의 주목 부위로서 HipRight(210)를 선택하고, 상술한 단계 S101 이후의 처리를 실시하는 형태이다. 이상이 보정 처리의 구체적인 내용이다. Next, the correcting unit 104 'confirms whether correction of all of the pre-set target areas has been completed (step S104). If the result of step S104 is affirmative (step S104: Yes), the process ends. If the result of step S104 is negative (step S104: No), the correcting unit 104 'selects an uncorrected attention target area (step S105), and repeats the processes after step S101 described above with respect to the selected target area do. In this example, the correcting unit 104 'selects the HipRight 210 as a non-corrected region of interest, and performs the processing after Step S101 described above. This completes the correction process.

도 35로 돌아와서 설명을 계속한다. 단계 S92후, 출력 제어부(107')는 단계 S92의 보정 처리에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 이 골격 정보의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S93). Return to Fig. 35 and continue with the description. After step S92, the output control unit 107 'displays a motion image obtained by superimposing skeleton information after the position corresponding to the target region is corrected by the correction process of step S92 on the photographed image serving as a basis of the skeleton information, 71) (step S93).

이상으로 설명한 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 운동 기구(10)를 이용하여 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보와 기준 자세 때의 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 이 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. 이에 따라, 운동 기구(10)를 이용하여 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있다. As described above, the information processing apparatus 60 of the present embodiment includes skeleton information indicating the result of estimating the joint of each part of the subject exercising using the exercise device 10, The first position information indicating the position corresponding to the target portion in the skeleton information is corrected using the reference skeleton information indicating the result of estimation of the joint of the skeleton information. Thus, the position corresponding to the target area in the skeleton information of the subject exercising using the exercise device 10 can be obtained with high accuracy.

(제2 실시 형태)  (Second Embodiment)

다음에, 제2 실시 형태에 대하여 설명한다. 상술한 제1 실시 형태와 공통되는 부분에 대하여는 적당하게 설명을 생략한다. 도 37은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능 일례를 나타내는 도면이다. 도 37에 나타낸 바와 같이, 정보 처리 장치(60)는 교사 정보 기억부(110)와 산출부(111)를 더 구비한다. Next, a second embodiment will be described. The description of the common parts with those of the first embodiment will be omitted. 37 is a diagram showing an example of functions of the information processing apparatus 60 of the present embodiment. 37, the information processing apparatus 60 further includes a teacher information storage unit 110 and a calculation unit 111. [

교사 정보 기억부(110)는 교사 정보를 기억한다. 여기에서는 교사 정보는 복수 시점마다, 상기 시점에서의 제1 위치 정보와 정답 정보의 조를 대응시킨 정보이다. 정답 정보는 카메라(41) 및 심도 센서(42)와는 상이한 기타 센서를 이용한 모션 캡쳐(광학식, 기계식, 자기식 등 중의 어느 하나이어도 좋고, 공지의 각종 기술을 이용 가능)에 의해 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보이다. 이 예에서는 교사 정보 기억부(110)는 미리 설정된 1 이상의 주목 부위와 1대 1로 대응하는 1 이상의 교사 정보를 기억한다. 도 38은 임의의 주목 부위 j에 대응하는 교사 정보의 일례를 나타내는 도면이다. 도 38에 나타내는 교사 정보는 복수(도 38의 예에서는 n＋1개)의 시각(시점)마다, 기준 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 제2 위치 정보와 이 시점에서의 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 제1 위치 정보와 이 시점에서의 제2 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 정답 정보를 대응시킨 정보이다.The teacher information storage unit 110 stores teacher information. In this case, the teacher information is information that associates the first position information and the correct answer information at a plurality of points in time with each other. The correct answer information may be obtained by motion capture (any one of optical, mechanical, magnetic, etc., using various known technologies) using a different sensor from the camera 41 and the depth sensor 42, And information indicating a position corresponding to the target region in the second skeleton information indicating the result of estimating the joint. In this example, the teacher information storage unit 110 stores one or more pieces of teacher information corresponding to one or more noteworthy portions set in advance on a one-to-one basis. Fig. 38 is a diagram showing an example of the teacher information corresponding to an arbitrary noticed portion j. The teacher information shown in FIG. 38 includes second position information indicating a position corresponding to the noticed portion j in the reference skeleton information for each of a plurality of times (n + 1 in the example of FIG. 38) The first position information indicating the position corresponding to the portion j and the correct answer information indicating the position corresponding to the noticed portion j among the second skeleton information at this point.

여기에서는 교사 정보는 카메라(41), 심도 센서(42), 기타 센서 등을 이용하여 사전에 작성된다. 보다 구체적으로는, 도 39에 나타낸 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 교사 정보를 생성하는 교사 정보 생성부(112)와, 상술한 제2 골격 정보를 취득하는 제2 취득부(113)를 더 구비한다. In this case, the teacher information is prepared in advance using the camera 41, the depth sensor 42, and other sensors. More specifically, as shown in FIG. 39, the information processing apparatus 60 of the present embodiment includes a teacher information generating unit 112 for generating teacher information, a second acquiring unit 112 for acquiring the second skeleton information, (113).

교사 정보 생성부(112)는 교사 정보를 생성하는 경우, 취득부(103)에 대하여 골격 정보를 연속적으로 취득할 것을 요구하는 동시에, 제2 취득부(113)에 대하여 제2 골격 정보를 연속적으로 취득할 것을 요구한다. 이 예에서는, 취득부(103)에 의한 골격 정보의 취득 타이밍과 제2 취득부(113)에 의한 제2 골격 정보의 취득 타이밍은 동기하고 있는 것으로 한다. 또, 이 예에서는 교사 정보를 생성하기 전의 단계에서 미리 기준 골격 정보는 생성이 끝난 상태인 것을 전제로 한다. The teacher information generation unit 112 requests the acquisition unit 103 to continuously acquire the skeleton information and simultaneously outputs the second skeleton information to the second acquisition unit 113 continuously . In this example, it is assumed that the acquisition timing of the skeleton information by the acquisition unit 103 and the acquisition timing of the second skeleton information by the second acquisition unit 113 are synchronized. In this example, it is assumed that the reference skeleton information has already been generated before the teacher information is generated.

교사 정보 생성부(112)는 일정 기간 동안, 취득부(103)에 의해 골격 정보가 취득되는 동시에, 제2 취득부(113)에 의해 제2 골격 정보가 취득될 때마다, 그 취득 시점(취득 시각)과 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보와 취득부(103)에 의해 취득된 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보와 제2 취득부(113)에 의해 취득된 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정답 정보를 대응시켜 감으로써, 1 이상의 주목 부위마다 교사 정보를 생성할 수 있다. 교사 정보 생성부(112)에 의해 생성된 교사 정보는 교사 정보 기억부(110)에 기억된다. The teacher information generation unit 112 acquires the skeleton information by the acquisition unit 103 and acquires the second skeleton information by the second acquisition unit 113 for a predetermined period of time Second position information indicating a position corresponding to the noted region in the reference skeleton information and first position information indicating a position corresponding to the noted region in the skeleton information acquired by the acquisition unit 103, It is possible to generate teacher information for each of at least one target region by associating the correct answer information indicating the position corresponding to the target region in the second skeleton information acquired by the acquiring means 113. [ The teacher information generated by the teacher information generation unit 112 is stored in the teacher information storage unit 110. [

도 37 및 도 39에 나타내는 산출부(111)는 교사 정보 기억부(110)에 기억된 교사 정보를 이용하여 상술한 보정 파라미터를 산출한다. 이 예에서는 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 차분이 임계값 이내가 되도록 보정 파라미터를 산출한다. The calculation unit 111 shown in Figs. 37 and 39 calculates the above-described correction parameters using the teacher information stored in the teacher information storage unit 110. [ In this example, the calculation unit 111 calculates the correction parameter so that the difference between the corrected first position information and the correct answer information is within the threshold value.

도 40은 보정 파라미터를 산출하는 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 40에 나타낸 바와 같이, 우선 산출부(111)는 보정 파라미터를 초기화한다(단계 S111). 다음에, 산출부(111)는 보정부(104')에 대하여, 교사 정보를 이용한 보정 처리를 의뢰한다(단계 S112). 이 의뢰를 받은 보정부(104')는 교사 정보에 포함되는 복수 시점마다, 대응하는 제2 위치 정보와 대응하는 제1 위치 정보를 상술한 보정 함수에 입력하여 제1 위치 정보를 보정한다. 그리고, 그 결과를 산출부(111)에 전달한다. 다음에, 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 오차를 산출한다(단계 S113). 이 예에서는 산출부(111)는 교사 정보에 포함되는 복수 시점마다, 보정 후의 제1 위치 정보와 정답 정보의 차분을 구하고 구한 차분의 제곱의 총합 d를 상기 오차로서 구한다. 이 총합 d는 아래의 공식 4로 나타낼 수 있다. 여기에서는 임의의 시간 t＋k에 대응하는 보정 후의 제1 위치 정보는 S'k로 표기하고, 정답 정보는 S"k로 표기한다. 40 is a flowchart showing an example of the operation of the information processing apparatus 60 when the correction parameters are calculated. As shown in Fig. 40, first, the calculation unit 111 initializes the correction parameters (step S111). Next, the calculating unit 111 requests the correcting unit 104 'to perform correction processing using the teacher information (step S112). The correction unit 104 'receives the request and corrects the first positional information by inputting the first positional information corresponding to the corresponding second positional information into the correction function described above at a plurality of points included in the teacher information. Then, the result is transmitted to the calculation unit 111. Next, the calculation unit 111 calculates the error between the corrected first position information and the correct answer information (step S113). In this example, the calculation unit 111 obtains the sum d of squares of differences obtained by obtaining the difference between the corrected first position information and correcting information at a plurality of points of time included in the teacher information, as the error. This sum d can be expressed by Equation 4 below. Here, the corrected first position information corresponding to an arbitrary time t + k is represented by S ' k , and the correct answer information is represented by S " k .

Figure 112016094651051-pat00004
…(공식 4)
Figure 112016094651051-pat00004
... (Formula 4)

다음에, 산출부(111)는 단계 S113에서 산출한 오차(총합 d)가 임계값 이내인지 아닌지를 확인한다(단계 S114). 단계 S114의 결과가 긍정인 경우(단계 S114：Yes), 처리는 종료된다. 단계 S114의 결과가 부정인 경우(단계 S114：No), 산출부(111)는 학습 알고리즘에 근거하여 보정 파라미터를 갱신하고(단계 S115), 단계 S112 이후의 처리를 반복한다. 또한 학습 알고리즘으로서는 가우스뉴턴법이나 유전적 알고리즘(GA) 등 임의의 학습 알고리즘을 이용할 수 있다. 이상과 같이 하여 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 차분이 임계값 이내가 되도록 보정 파라미터를 산출한다. 산출부(111)에 의해 산출된 보정 파라미터는 ROM(62)이나 HDD 등의 기억 장치에 보존된다. Next, the calculation unit 111 checks whether or not the error (sum d) calculated in step S113 is within the threshold value (step S114). If the result of step S114 is affirmative (step S114: Yes), the processing is terminated. If the result of step S114 is negative (step S114: No), the calculating unit 111 updates the correction parameter based on the learning algorithm (step S115), and repeats the processing from step S112 onward. As learning algorithms, any learning algorithm such as Gaussian Newton method or genetic algorithm (GA) can be used. As described above, the calculation unit 111 calculates the correction parameter so that the difference between the corrected first position information and the correct answer information is within the threshold value. The correction parameters calculated by the calculation unit 111 are stored in a storage device such as the ROM 62 or the HDD.

(제3 실시 형태)  (Third Embodiment)

다음에, 제3 실시 형태에 대하여 설명한다. 상술한 제1 실시 형태와 공통되는 부분에 대하여는 적당하게 설명을 생략한다. 도 41은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능 일례를 나타내는 도면이다. 도 41에 나타낸 바와 같이, 정보 처리 장치(60)는 보정 후 골격 정보 기억부(120)와 필터부(121)를 더 구비한다. 보정 후 골격 정보 기억부(120)는 보정부(104')에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 나타내는 보정 후 골격 정보를 기억한다. 이 예에서는 상술한 보정부(104')의 보정에 의해 보정 후 골격 정보가 얻어질 때마다, 그 얻어지는 보정 후 골격 정보는 보정 후 골격 정보 기억부(120)에 입력된다.Next, the third embodiment will be described. The description of the common parts with those of the first embodiment will be omitted. 41 is a diagram showing an example of functions provided in the information processing apparatus 60 of the present embodiment. As shown in FIG. 41, the information processing apparatus 60 further includes a post-correction framework information storage unit 120 and a filter unit 121. FIG. The post-correction skeleton information storage unit 120 stores post-correction skeleton information indicating skeleton information after the position corresponding to the target region is corrected by the correction unit 104 '. In this example, whenever the corrected skeleton information is obtained by the correction of the aforementioned correction unit 104 ', the obtained skeleton information after correction is inputted to the skeleton information storage unit 120 after correction.

필터부(121)는 보정 후 골격 정보 기억부(120)에 기억된 정해진 수의 보정 후 골격 정보에 근거하여 보정 후 골격 정보의 필터링 처리(보정 후 골격 정보에 포함되는 오차 정보를 제거하는 처리)를 실시한다. 상기 정해진 수는 임의이며, 필터링 처리는 평균, 중앙치, 가우시언 필터 등의 임의의 평활화 필터를 이용하여 실시할 수 있다. 그리고, 출력 제어부(107')는 필터링 처리가 실행된 후의 보정 후 골격 정보를 포함한 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다. The filter unit 121 performs filtering processing of the post-correction skeleton information (processing of removing error information included in the post-correction skeleton information) based on a predetermined number of post-correction skeleton information stored in the post-correction skeleton information storage unit 120, . The predetermined number is arbitrary, and the filtering process can be performed using an arbitrary smoothing filter such as an average, a median, and a Gaussian filter. Then, the output control unit 107 'performs control to display the motion image including the post-correction skeleton information after the filtering process is performed on the display device 71. [

이상, 본 발명의 실시 형태를 설명하였지만, 상술한 실시 형태는 예로 제시한 것으로, 발명의 범위를 한정하는 것은 의도하지 않는다. 본 발명은 상술한 실시 형태 자체에 한정되는 것이 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또, 상술한 실시 형태에 개시되어 있는 복수개의 구성 요소의 적당한 조합에 의해 각종 발명을 형성할 수 있다. 예컨대, 실시 형태에 나타낸 전 구성 요소로부터 몇개의 구성 요소를 삭제하여도 된다. 또한 다른 실시 형태에 걸치는 구성 요소를 적당히 조합하여도 된다. Although the embodiments of the present invention have been described above, the embodiments described above are provided as examples, and it is not intended to limit the scope of the invention. The present invention is not limited to the above-described embodiment itself, but may be embodied by modifying the constituent elements within the scope of the present invention without departing from the gist of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-mentioned embodiments. For example, some constituent elements may be deleted from all the constituent elements shown in the embodiments. In addition, the components according to other embodiments may be appropriately combined.

상술한 실시 형태에서는 특히 허리의 움직임이 중요한 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하기 위하여, 운동 포인트가 되는 허리에 대응하는 골격 정보의 위치 정밀도를 높이는 처리를 실시하였다. 마찬가지로 어깨나 무릎의 움직임이 중요한 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하는 경우에는, 운동 포인트가 되는 어깨나 무릎에 대응하는 골격 정보의 위치 정밀도를 높이는 처리를 실시하여도 된다. 이와 같은 허리, 어깨, 무릎은 그 움직임을 초래시키는 대퇴 관절 부근, 어깨 관절 부근, 무릎 관절 부근이 신체를 크게 움직였다 하여도 비교적 작게 움직이거나 외관으로부터의 특징적인 부분이 적어, 대응하는 골격 정보의 위치를 정밀도 높게 구하여 움직임에 추종하는 것이 어려운 경우가 많다. 그 때문에, 특히, 이와 같은 신체 부위를 주목 부위로 하는 경우에, 상술한 실시 형태를 이용함으로써 종래 기술로는 정밀도가 높지 않은 주목 부위의 골격 정보의 위치 정밀도를 높일 수 있다. 물론, 종래 기술로도 비교적 정밀도 높게 위치를 구할 수 있는 다른 신체 부위(예컨대 손 등)를 주목 부위로 하는 경우에도, 한층 더 정밀도를 높이기 위하여 상술한 실시 형태를 적용하여도 된다. In the above-described embodiment, in order to present the motion information of the subject who performs the motion in which the motion of the waist is important, a process of increasing the positional accuracy of the skeleton information corresponding to the waist that is the motion point is performed. Likewise, in the case of presenting the motion information of a subject who performs motion in which shoulder or knee motion is important, processing for increasing the positional accuracy of skeleton information corresponding to the shoulder or knee as the motion point may be performed. Such waist, shoulder, and knee move relatively small even when the vicinity of the femur joint, the shoulder joint, and the knee joint, which cause the movement, move relatively small, and there are few characteristic parts from the appearance, It is often difficult to obtain the position with high precision and follow the movement. Therefore, particularly in the case where such a body part is used as a target area, the position accuracy of the skeleton information of the target area, which has not been highly precise in the prior art, can be improved by using the above-described embodiment. Of course, in the case where another body part (e.g., a hand or the like) capable of obtaining a position with a comparatively high accuracy by a conventional technique is used as a target part, the above-described embodiment may be applied to further enhance the accuracy.

또, 이상에서는 피험자가 운동 기구(10)를 이용한 운동(여기에서는 일례로서 "다리 끌기 운동"또는 "다리 젓기 운동")을 실시하는 경우를 상정하고 있지만, 이에 한정되지 않고, 피험자가 실시하는 운동의 종류는 임의이다. 예컨대, 워킹 동작을 수반하는 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하여도 된다. 워킹 운동은 가슴을 편 자세로 진행하는 것이 추천되므로, 워킹 운동 중에 새우 등으로 되어 있는지 가슴을 펴고 있는지를 알 수 있는 동작 정보를 피험자에게 제시할 수 있으면 바람직하다. 그 경우, 등골뼈의 중심(상술한 실시 형태의 Spinemid(207)) 부근의 위치를 정밀도 높게 구할 필요가 있어 상술한 실시 형태를 적용할 수 있다. 또, 예컨대 운동 기구(10)를 이용하지 않는 운동에서도 상술한 실시 형태를 적용 가능하다. In the above description, the subject is assumed to perform exercise using the exerciser 10 (here, for example, "leg pulling exercise" or "leg raising exercise"). However, the present invention is not limited to this, The type of the optical fiber is arbitrary. For example, it is also possible to present the self-operation information to the subject who performs the exercise accompanied by the walking operation. Since it is recommended to carry the walking motion in the posture, it is preferable that the walking motion can present the motion information to the subject in order to know whether the shoe or the like is spreading during the walking exercise. In this case, it is necessary to obtain a position in the vicinity of the center of the spinal column (Spinemid 207 of the above-described embodiment) with high precision, and the above-described embodiment can be applied. In addition, the above-described embodiment can be applied to a motion without using the exercising tool 10, for example.

또, 상술한 실시 형태의 정보 처리 시스템(20)(정보 처리 장치(60))으로 실행되는 프로그램은 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD－ROM, flexible disk(FD), CD－R, DVD(Digital Versatile Disk), USB(Universal Serial Bus) 등 컴퓨터로 판독 가능한 기록 매체에 기록하여 제공토록 구성하여도 되고, 인터넷 등 네트워크 경유로 제공 또는 배포하도록 구성하여도 된다. 또, 각종 프로그램을 ROM 등에 미리 편입하여 제공토록 구성하여도 된다.The program executed by the information processing system 20 (information processing apparatus 60) of the above-described embodiment is a file of an installable format or executable format, such as a CD-ROM, a flexible disk (FD) Readable recording medium such as a DVD (Digital Versatile Disk) or a USB (Universal Serial Bus), or may be provided or distributed via a network such as the Internet. In addition, various programs may be incorporated in advance in a ROM or the like.

1 시스템 10 운동 기구
20 정보 처리 시스템 30 아암부
40 센서 41 카메라
42 심도 센서 50 리모컨
60 정보 처리 장치 70 출력 장치
71 표시 장치 72 스피커
101 접수부 102 화면 전환 제어부
103 취득부 104 선택부
105 가이드 정보 생성부 106 출력 제어부
104' 보정부 105' 기준 골격 정보 기억부
106' 기준 골격 정보 생성부 107' 출력 제어부
110 교사 정보 기억부 111 산출부
112 교사 정보 생성부 113 제2 취득부
120 보정 후 골격 정보 기억부 121 필터부1 system 10 fitness equipment
20 Information Processing System 30 [
40 Sensor 41 Camera
42 Depth sensor 50 Remote control
60 Information processing device 70 Output device
71 Display unit 72 Speaker
101 Receiving unit 102 Screen switching control unit
103 acquisition unit 104 selection unit
105 Guide information generation unit 106 Output control unit
104 '' corrector ' 105 '
106 'reference skeleton information generation unit 107'
110 Teacher information storage unit 111 Calculator
112 teacher information generating unit 113 second acquiring unit
120 corrected skeleton information storage unit 121 filter unit

Claims (33)

삭제delete 삭제delete 삭제delete 삭제delete 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 가이드 정보 생성부는,
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 좌우 방향으로 연신하고 또한 상기 제1 축과 직교하는 제2 축을 포함한 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하고,
상기 취득부는 상기 골격 데이터를 연속적으로 취득하고,
상기 가이드 정보 생성부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 상당하는 관절의 위치 궤적을 상기 제 1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하고,
상기 출력 제어부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터를 이 골격 데이터의 기초가 되는 상기 촬영 화상 상에 중첩시킨 상기 모션 화상과 상기 가이드 정보 생성부에 의해 생성된 상기 가이드 정보를 합성한 화상을 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the guide information generating unit comprises:
A first axis extending in the depth direction of the subject and a second axis extending in the left and right direction of the subject and being orthogonal to the first axis; Information representing the first plane including two axes is generated as the guide information,
Wherein the obtaining unit continuously obtains the skeleton data,
Wherein the guide information generating unit comprises:
The information indicating the positional locus of the joint corresponding to the center position of the joints of the respective parts included in the acquired skeleton data on the first plane is referred to as the guide Information,
Wherein the output control unit comprises:
The skeleton data obtained by superimposing the acquired skeleton data on the photographed image serving as a basis of the skeleton data and the motion image generated by the guide information generation section generated by the guide information generation section, And displays an image obtained by synthesizing the information on the display unit. 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 가이드 정보 생성부는,
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 좌우 방향으로 연신하고 또한 상기 제1 축과 직교하는 제2 축을 포함한 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하고,
상기 가이드 정보 생성부는,
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 이 골격 데이터를 구비하는 상기 피험자의 머리 부분 및 어깨 부분 중 적어도 어느 하나의 윤곽을 상기 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the guide information generating unit comprises:
A first axis extending in the depth direction of the subject and a second axis extending in the left and right direction of the subject and being orthogonal to the first axis; Information representing the first plane including two axes is generated as the guide information,
Wherein the guide information generating unit comprises:
A position of a joint corresponding to a center position of the joints of the respective parts included in the skeleton data and information indicating a contour of at least one of a head part and a shoulder part of the subject having the skeleton data on the first plane As the guide information. 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 가이드 정보 생성부는,
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 좌우 방향으로 연신하고 또한 상기 제1 축과 직교하는 제2 축을 포함한 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하고,
상기 가이드 정보 생성부는,
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절 위치와 중심 위치의 추천 범위를 상기 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the guide information generating unit comprises:
A first axis extending in the depth direction of the subject and a second axis extending in the left and right direction of the subject and being orthogonal to the first axis; Information representing the first plane including two axes is generated as the guide information,
Wherein the guide information generating unit comprises:
And generates, as the guide information, information indicating the recommendation range of the joint position and the center position corresponding to the center position of the joints included in the skeleton data on the first plane. 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 가이드 정보 생성부는,
상기 골격 데이터 및 체축(體軸)의 추천 범위를 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 상하 방향으로 연신하고 또한 상기 제1 축과 직교하는 제3 축을 포함한 제2 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the guide information generating unit comprises:
A first axis extending in a depth direction of the subject and a second axis extending in a vertical direction of the subject and including a third axis orthogonal to the first axis; And generates information as the guide information. 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 가이드 정보 생성부는,
상기 골격 데이터의 체축과 몸이 좌우로 흔들리고 있는지의 기준이 되는 기준선의 괴리(乖離) 정도를 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the guide information generating unit comprises:
And generates information indicating the degree of divergence between a body axis of the skeleton data and a reference line as a reference for whether the body is shaken to the left or right as the guide information. 삭제delete 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 취득부는 상기 골격 데이터를 연속적으로 취득하고,
상기 가이드 정보 생성부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 이 골격 데이터에 포함되는 상기 각 부분의 관절 중 대상이 되는 좌우 한 쌍의 관절의 우측에 대응하는 관절을 나타내는 제1 관절의 위치 궤적을 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 상하 방향으로 연신하고 또한 상기 제1 축과 직교하는 제3 축을 포함한 제2 평면 상으로 나타내는 제1 정보, 또는 좌측에 대응하는 관절을 나타내는 제2 관절의 위치 궤적을 상기 제2 평면 상으로 나타내는 제2 정보를 상기 가이드 정보로서 생성하고,
상기 출력 제어부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터를 이 골격 데이터의 기초가 되는 상기 촬영 화상 상에 중첩시킨 상기 모션 화상과 상기 가이드 정보 생성부에 의해 생성된 상기 가이드 정보를 합성한 화상을 상기 표시부에 표시하는 제어를 실시하고,
상기 제1 정보는,
상기 제1 축과 상기 제3 축으로 정해지는 좌표계에 있어서, 상기 취득부에 의해 취득된 상기 골격 데이터에 포함되는 상기 제1 관절의 상기 제1 축 방향의 위치와 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치의 차분을 상기 제1 축 방향의 좌표치로 하고, 이 골격 데이터에 포함되는 상기 제1 관절의 상기 제3 축 방향의 위치와 상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 상기 제1 관절의 상기 제3 축 방향의 위치의 차분을 상기 제3 축 방향의 좌표치로 하여 표시되는 변위 정보의 궤적을 나타내고,
상기 제2 정보는,
상기 제1 축과 상기 제3 축으로 정해지는 좌표계에 있어서, 상기 취득부에 의해 취득된 상기 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치와 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치의 차분을 상기 제1 축 방향의 좌표치로 하고, 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제3 축 방향의 위치와 상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 상기 제2 관절의 상기 제3 축 방향의 위치의 차분을 상기 제3 축 방향의 좌표치로 하여 표시되는 변위 정보의 궤적을 나타내는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the obtaining unit continuously obtains the skeleton data,
Wherein the guide information generating unit comprises:
A position locus of a first joint indicating a joint corresponding to a right side of a pair of right and left joints to be an object of the respective joints included in the skeleton data, First information represented by a first plane including a first axis extending in a depth direction of a subject and a second plane including a third axis extending in a vertical direction of the subject and orthogonal to the first axis or a first information representing a joint corresponding to the left side Generates second information indicating the positional locus of the two joints on the second plane as the guide information,
Wherein the output control unit comprises:
The skeleton data obtained by superimposing the acquired skeleton data on the photographed image serving as a basis of the skeleton data and the motion image generated by the guide information generation section generated by the guide information generation section, Controls to display an image obtained by synthesizing the information on the display unit,
Wherein the first information comprises:
Wherein the position of the first joint in the first axis direction included in the skeleton data acquired by the acquisition unit and the position of the first joint in the first axis direction included in the skeleton data are determined by the first axis and the third axis, The difference between the position in the first axial direction of the two joints is used as the coordinate in the first axial direction and the position of the first joint in the third axial direction included in the skeleton data and the position of the subject in the third axial direction, A trajectory of displacement information displayed as a coordinate value in the third axial direction as a difference between a position in the third axial direction of the first joint included in the skeleton data,
Wherein the second information comprises:
Wherein the position of the second joint in the first axis direction included in the skeleton data acquired by the acquisition unit and the position of the second joint in the first axis direction included in the skeleton data are determined by the first axis and the third axis, The difference between the position in the first axial direction of the two joints and the position in the third axial direction of the second joint included in the skeleton data and the position in the third axial direction of the subject included in the skeleton data, And a trajectory of the displacement information displayed by using the difference of the position of the second joint in the third axial direction included in the skeleton data as the coordinate value in the third axial direction. 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부와,
상기 골격 데이터를 취득하는 취득부를 구비하고,
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하고,
상기 취득부는 상기 골격 데이터를 연속적으로 취득하고,
상기 가이드 정보 생성부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 이 골격 데이터에 포함되는 상기 각 부분의 관절 중 대상이 되는 좌우 한 쌍의 관절의 우측에 대응하는 관절을 나타내는 제1 관절의 위치 궤적을 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 상하 방향으로 연신하고 또한 상기 제1 축과 직교하는 제3 축을 포함한 제2 평면 상으로 나타내는 제1 정보, 또는 좌측에 대응하는 관절을 나타내는 제2 관절의 위치 궤적을 상기 제2 평면 상으로 나타내는 제2 정보를 상기 가이드 정보로서 생성하고,
상기 출력 제어부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터를 이 골격 데이터의 기초가 되는 상기 촬영 화상 상에 중첩시킨 상기 모션 화상과 상기 가이드 정보 생성부에 의해 생성된 상기 가이드 정보를 합성한 화상을 상기 표시부에 표시하는 제어를 실시하고,
상기 출력 제어부는,
상기 제1 정보, 및 상기 제2 정보 중 어느 하나를 상기 표시부에 표시하는 제어를 실시하고, 미리 정해진 조건에 따라 표시 대상을 전환시키는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image An output control section for performing,
And an acquisition unit for acquiring the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
The output control section performs control to display an image obtained by combining the motion image and the guide information on the display section,
Wherein the obtaining unit continuously obtains the skeleton data,
Wherein the guide information generating unit comprises:
A position locus of a first joint indicating a joint corresponding to a right side of a pair of right and left joints to be an object of the respective joints included in the skeleton data, First information represented by a first plane including a first axis extending in a depth direction of a subject and a second plane including a third axis extending in a vertical direction of the subject and orthogonal to the first axis or a first information representing a joint corresponding to the left side Generates second information indicating the positional locus of the two joints on the second plane as the guide information,
Wherein the output control unit comprises:
The skeleton data obtained by superimposing the acquired skeleton data on the photographed image serving as a basis of the skeleton data and the motion image generated by the guide information generation section generated by the guide information generation section, Controls to display an image obtained by synthesizing the information on the display unit,
Wherein the output control unit comprises:
Controls to display either the first information or the second information on the display unit, and switches the display object according to a predetermined condition. 제12항에 있어서, 상기 출력 제어부는,
상기 제1 관절이 상기 제2 관절보다 상기 피험자의 앞측에 위치하는 경우에는 상기 제1 정보를 상기 표시부에 표시하는 제어를 실시하고, 상기 제2 관절이 상기 제1 관절보다 상기 피험자의 앞측에 위치하는 경우에는 상기 제2 정보를 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.13. The apparatus according to claim 12,
When the first joint is positioned on the front side of the subject than the second joint, control is performed so that the first information is displayed on the display unit, and the second joint is positioned on the front side of the subject than the first joint And displays the second information on the display unit when the second information is displayed on the display unit. 제12항에 있어서, 상기 출력 제어부는,
상기 제1 관절이 상기 제3 축 방향의 미리 정해진 위치에 도달한 경우에는 상기 제2 관절이 상기 미리 정해진 위치에 도달할 때까지, 상기 제1 정보를 상기 표시부에 표시하는 제어를 실시하고, 상기 제2 관절이 상기 미리 정해진 위치에 도달한 경우에는 상기 제1 관절이 상기 미리 정해진 위치에 도달할 때까지, 상기 제2 정보를 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.13. The apparatus according to claim 12,
And when the first joint reaches a predetermined position in the third axial direction, performs control to display the first information on the display unit until the second joint reaches the predetermined position, And when the second joint reaches the predetermined position, displays the second information on the display unit until the first joint reaches the predetermined position. 삭제delete 삭제delete 삭제delete 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부를 구비하고,
상기 운동 기구는 상기 피험자의 발이 올려지는 부재로서, 다리를 회전시키면서 교대로 전후로 이동시키는 다리 젓기 운동을 실행하기 위한 페달을 포함하고,
상기 가이드 정보 생성부는,
상기 촬영 화상 및 상기 심도 정보에 근거하여 상기 페달의 위치가 상기 피험자의 깊이 방향으로 연신하는 제1 축과 평행인 방향의 미리 정해진 위치에 도달하였다고 판단한 경우에, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image And an output control section
Wherein the exerciser includes a pedal for lifting a leg of the subject and performing a leg-pitching exercise for alternately moving the legs while rotating the legs,
Wherein the guide information generating unit comprises:
When it is judged that the position of the pedal has reached a predetermined position in a direction parallel to the first axis extending in the depth direction of the subject based on the photographed image and the depth information, And generates the information as the guide information. 제5항 내지 제9항, 제11항 내지 제14항 및 제18항 중 어느 한 항에 있어서,
상기 운동 기구를 이용하는 운동은 다리를 회전시키면서 교대로 전후로 이동시키는 다리 젓기 운동인, 정보 처리 장치.19. A method according to any one of claims 5 to 9, 11 to 14, and 18,
Wherein the exercise using the exercise device is a leg-stir exercise in which the legs are alternately moved back and forth while rotating. 삭제delete 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와,
상기 취득부에 의해 취득된 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부를 구비하고,
상기 보정부는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 취득부에 의해 취득된 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는, 정보 처리 장치.An acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A first position information indicating a position corresponding to a target portion in the skeleton information, using the skeleton information acquired by the acquisition section and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture, And a correction section
Wherein the correcting unit corrects the correction function indicating the relationship between the first position information after correction, the first position information before correction, and the second position information indicating the position corresponding to the target area in the reference skeleton information, Information indicating a position corresponding to the target portion among the skeleton information acquired by the acquisition means as the first position information before correction and inputting the second position information to calculate the first position information after correction, Device. 삭제delete 제21항에 있어서, 상기 보정부는 보정 전의 상기 제1 위치 정보와 상기 제2 위치 정보의 차분에 상기 보정 함수의 계수를 나타내는 보정 파라미터를 곱셈하여 얻어지는 값과 상기 제2 위치 정보를 가산한 값을 보정 후의 상기 제1 위치 정보로서 산출하는, 정보 처리 장치.The apparatus according to claim 21, wherein the correcting unit corrects a value obtained by multiplying a difference between the first position information before the correction and the second position information by a correction parameter indicating a coefficient of the correction function and a value obtained by adding the second position information As the first position information after the correction. 제23항에 있어서,
복수 시점마다, 상기 시점에서의 상기 제1 위치 정보와 정답 정보의 조(組)를 대응시킨 교사 정보를 이용하여 상기 보정 파라미터를 산출하는 산출부를 더 구비하는, 정보 처리 장치.24. The method of claim 23,
Further comprising a calculation unit that calculates the correction parameter by using teacher information that associates a pair of the first position information and correct answer information at the time point at a plurality of points of time. 제24항에 있어서, 상기 산출부는 보정 후의 상기 제1 위치 정보와 상기 정답 정보의 차분이 임계값 이내가 되도록 상기 보정 파라미터를 산출하는, 정보 처리 장치.The information processing apparatus according to claim 24, wherein the calculating section calculates the correction parameter so that the difference between the corrected first position information and the corrected information is within a threshold value. 제24항에 있어서, 상기 골격 정보는 상기 피험자를 검출하기 위한 검출 영역을 촬영하는 촬영부에 의해 생성된 촬영 화상과 상기 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서에 의해 검출된 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 정보이며,
상기 정답 정보는 상기 촬영부 및 상기 심도 센서와는 상이한 기타 센서를 이용한 모션 캡쳐에 의해 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보인, 정보 처리 장치.The image processing apparatus according to claim 24, wherein the skeleton information includes at least one of a photographed image generated by a photographing section for photographing a detection region for detecting the subject, and the depth information detected by a depth sensor for detecting depth information of a subject of the detection region Information indicating a result of estimating a joint of each part of the subject reflected on the photographed image,
Wherein the correcting information includes information indicating a position corresponding to the target portion among second skeleton information indicating a result of estimating a joint of each part of the subject by motion capturing using a different sensor from the photographing unit and the depth sensor Information processing apparatus. 제26항에 있어서,
상기 복수 시점마다, 이 시점에 대응하는 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 제1 위치 정보와, 이 시점에 대응하는 상기 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 정답 정보를 대응시켜 상기 교사 정보를 생성하는 생성부를 더 구비하는, 정보 처리 장치.27. The method of claim 26,
The first position information indicating a position corresponding to the noted region of the skeleton information corresponding to this point in time and the position corresponding to the noted region out of the second skeleton information corresponding to this point of time Further comprising a generation unit generating the teacher information in association with the correct answer information. 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와,
상기 취득부에 의해 취득된 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부와,
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 나타내는 보정 후 골격 정보를 기억하는 보정 후 골격 정보 기억부와,
상기 보정 후 골격 정보 기억부에 기억된 정해진 수의 상기 보정 후 골격 정보에 근거하여 상기 보정 후 골격 정보의 필터링 처리를 실시하는 필터부를 구비하는, 정보 처리 장치.An acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A first position information indicating a position corresponding to a target portion in the skeleton information, using the skeleton information acquired by the acquisition section and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture, A correction unit for correcting the correction value,
A post-correction skeleton information storage unit that stores post-correction skeleton information indicating the skeleton information after the position corresponding to the target area is corrected by the correcting unit;
And a filter unit that performs filtering processing on the post-correction skeleton information based on the predetermined number of post-correction skeleton information stored in the post-correction skeleton information storage unit. 제21항에 있어서,
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 더 구비하는, 정보 처리 장치.22. The method of claim 21,
The skeleton information after the position corresponding to the target area is corrected by the correcting section is output from the display device in a state in which the detection area for detecting the subject is photographed and superimposed on the photographed image And an output control unit. 제21항, 제23항 내지 제29항 중 어느 한 항에 있어서, 상기 주목 부위는 허리인, 정보 처리 장치.30. The information processing apparatus according to any one of claims 21, 23 and 29, wherein the target area is a waist. 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와,
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 포함하고,
상기 보정 단계는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는, 정보 처리 방법.An acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
And a correction step of correcting first skeleton information and first position information indicating a position corresponding to a target area in the skeleton information based on skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture and,
Wherein the correcting step corrects the skeleton information with respect to a correction function indicating a relationship between the first position information after correction, the first position information before correction, and second position information indicating a position corresponding to the target area in the reference skeleton information, The information indicating the position corresponding to the target area is input as the first position information before correction and the second position information is input to calculate the first position information after correction. 컴퓨터에,
운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와,
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 실행시키며,
상기 보정 단계는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는, 매체에 저장된 프로그램.On the computer,
An acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A correction step of correcting first positional information indicating a position corresponding to a target portion in the skeleton information based on the skeleton information and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture Lt; / RTI &
Wherein the correcting step corrects the skeleton information with respect to a correction function indicating a relationship between the first position information after correction, the first position information before correction, and second position information indicating a position corresponding to the target area in the reference skeleton information, The information indicating the position corresponding to the target portion is input as the first position information before correction and the second position information is input to calculate the first position information after correction. 정보 처리 장치와 표시 장치를 구비하는 시스템으로서,
운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와,
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부와,
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 상기 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 구비하고,
상기 보정부는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 취득부에 의해 취득된 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는, 시스템.A system having an information processing apparatus and a display apparatus,
An acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A correcting unit correcting first positional information indicating a position corresponding to a target portion of the skeleton information based on the skeleton information and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture;
Control is performed to output, from the display device, a motion image in which the skeleton information after the position corresponding to the target region is corrected by the correcting section is superimposed on the captured image obtained by photographing the detection region for detecting the subject And an output control section
Wherein the correcting unit corrects the correction function indicating the relationship between the first position information after correction, the first position information before correction, and the second position information indicating the position corresponding to the target area in the reference skeleton information, Information indicating a position corresponding to the target portion among the skeleton information acquired by the acquisition means as the first position information before correction and inputs the second position information to calculate the first position information after correction.
KR1020160125564A 2015-09-30 2016-09-29 Information processing device and system KR101886511B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015194454A JP6668660B2 (en) 2015-09-30 2015-09-30 Information processing device and system
JPJP-P-2015-194454 2015-09-30
JP2015242616A JP2017107503A (en) 2015-12-11 2015-12-11 Information processing apparatus, information processing method, program, and system
JPJP-P-2015-242616 2015-12-11

Publications (2)

Publication Number Publication Date
KR20170038722A KR20170038722A (en) 2017-04-07
KR101886511B1 true KR101886511B1 (en) 2018-08-07

Family

ID=58583507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125564A KR101886511B1 (en) 2015-09-30 2016-09-29 Information processing device and system

Country Status (1)

Country Link
KR (1) KR101886511B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102000763B1 (en) * 2018-02-07 2019-07-16 주식회사 인프라웨어테크놀러지 Smart mirror device for providing personal training service
KR101970687B1 (en) * 2018-04-11 2019-04-19 주식회사 큐랩 Fitness coaching system using personalized augmented reality technology
KR102238085B1 (en) * 2018-08-23 2021-04-08 한국전자기술연구원 Device and method for analyzing motion
KR102292415B1 (en) * 2019-08-08 2021-08-24 주식회사 엘지유플러스 Apparatus and method for measuring body motion similarity
KR102459198B1 (en) * 2020-12-07 2022-10-26 서울과학기술대학교 산학협력단 Apparatus for displaying contents

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101394276B1 (en) * 2013-12-31 2014-05-13 (주) 골프존 Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same
JP2015027437A (en) * 2013-07-01 2015-02-12 株式会社東芝 Action information processing device and method
JP2015061579A (en) * 2013-07-01 2015-04-02 株式会社東芝 Motion information processing apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5739872A (en) 1980-08-21 1982-03-05 Matsushita Electric Works Ltd Rotary electric razor
WO2005096939A1 (en) 2004-04-07 2005-10-20 The New Industry Research Organization Rehabilitation assisting measurement system and rehabilitation assisting measurement method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027437A (en) * 2013-07-01 2015-02-12 株式会社東芝 Action information processing device and method
JP2015061579A (en) * 2013-07-01 2015-04-02 株式会社東芝 Motion information processing apparatus
KR101394276B1 (en) * 2013-12-31 2014-05-13 (주) 골프존 Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same

Also Published As

Publication number Publication date
KR20170038722A (en) 2017-04-07

Similar Documents

Publication Publication Date Title
KR101886511B1 (en) Information processing device and system
CN111263953B (en) Action state evaluation system, device, server, method and storage medium thereof
JP6668660B2 (en) Information processing device and system
US11571141B2 (en) Walking support system, walking support method, and walking support program
JP2017107503A (en) Information processing apparatus, information processing method, program, and system
CN111093782A (en) Scoring method, scoring program, and scoring device
US20130171601A1 (en) Exercise assisting system
CN109219426B (en) Rehabilitation training assistance control device and computer-readable recording medium
JP5431650B2 (en) Walking navigation system
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
US9202386B2 (en) Center of gravity shifting training system
JP5704313B2 (en) Video display device and video display method
JP2006320424A (en) Action teaching apparatus and method
JP6057270B2 (en) Walking state detection method and walking state detection device
WO2011007545A1 (en) Training machine and computer-readable medium
JP2013066696A (en) Image processing system and image processing method
KR20170057005A (en) Method for rating static or dynamic posture and application executable device performing the same
JP2017060572A (en) Function training device
KR102320960B1 (en) Personalized home training behavior guidance and correction system
JP6633875B2 (en) Exercise menu providing system and exercise menu providing method
JP5970890B2 (en) Exercise count measuring device, exercise count measuring method and program
KR101657277B1 (en) User customized real-time feedback walking exercise equipment through the observed behavior
CN112044023B (en) Walking training system, storage medium storing control program for walking training system, and method for controlling walking training system
JP2019024579A (en) Rehabilitation support system, rehabilitation support method, and program
JP6891803B2 (en) Walking aid

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant