KR20170038722A - Information processing device and system - Google Patents
Information processing device and system Download PDFInfo
- Publication number
- KR20170038722A KR20170038722A KR1020160125564A KR20160125564A KR20170038722A KR 20170038722 A KR20170038722 A KR 20170038722A KR 1020160125564 A KR1020160125564 A KR 1020160125564A KR 20160125564 A KR20160125564 A KR 20160125564A KR 20170038722 A KR20170038722 A KR 20170038722A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- skeleton
- subject
- joint
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
- A63B2220/836—Sensors arranged on the body of the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
- A63B2230/62—Measuring physiological parameters of the user posture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S482/00—Exercise devices
- Y10S482/901—Exercise devices having computer circuitry
- Y10S482/902—Employing specific graphic or video display
Abstract
Description
본 발명은 정보 처리 장치 및 시스템에 관한 것이다.The present invention relates to an information processing apparatus and a system.
근년, 예컨대 고령자의 전도(顚倒) 방지, 간호 예방, 건강 수명 연장 등을 목적으로 한 체간 강화에 따른 간호 예방 트레이닝에 있어 가시화된 동작 정보를 피험자에게 제시하는 트레이닝 서포트 시스템이 개발되어 있다. In recent years, a training support system has been developed in which visualized motion information is presented to a subject in nursing prevention training due to strengthening of the body for the purpose of, for example, preventing elderly people from falling, preventing nursing, and extending health life.
예컨대, 국제 공개 공보 제 2005/096939호(특허 문헌 1)에는 신체의 각부(머리 부분 등)에 마커를 붙인 상태로 보행하는 환자를 촬영하여 얻어지는 촬영 화상에 근거하여 환자의 신체 각 부분의 움직임을 나타내는 화상 데이터를 생성하여 표시하는 기술이 개시되어 있다.For example, International Publication No. 2005/096939 (Patent Document 1) discloses a method of detecting movement of each part of a body of a patient based on a captured image obtained by photographing a patient who is walking with a marker attached to each part (head part, etc.) And displaying the image data.
그러나, 종래 기술과 같이, 가시화된 동작 정보를 피험자에게 제시하는 것 만으로는 피험자가 자신이 이상적(理想的)인 운동을 실행하고 있는지를 인식할 수 없다는 문제가 있다. However, there is a problem in that, as in the prior art, simply presenting the visualized action information to the subject does not allow the subject to recognize whether he or she is performing an ideal exercise.
본 발명은 상기에 감안하여 이루어진 것으로, 건강 기구를 이용하여 운동하는 피험자에 대하여 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있는 정보 처리 장치 및 시스템을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above, and an object thereof is to provide an information processing apparatus and a system capable of recognizing whether a subject exercising using a health apparatus is performing an ideal exercise.
상술한 과제를 해결하여 목적을 달성하기 위하여, 본 발명은 운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도(深度) 정보에 근거하여 상기 운동 기구를 이용한 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와, 상기 촬영 화상과 상기 심도 정보에 따라 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부를 구비하는 정보 처리 장치를 제공한다.In order to solve the above-described problems and to achieve the object, according to the present invention, there is provided an image processing method comprising the steps of: detecting an image of a detection region for detecting a subject moving using a motion mechanism; A guide information generating unit for generating guide information for allowing the subject to recognize whether or not an ideal exercise using the exercising apparatus is being performed; and a guide information generating unit for generating guide information for instructing each part of the subject reflected on the picked- And an output control section for performing control to output the guide information together with a motion image in which skeleton data representing a result of estimation of joints is superimposed on the photographed image.
본 발명에 의하면, 운동 기구를 이용하여 운동하는 피험자에 대하여, 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있다는 유리한 효과를 발휘한다.According to the present invention, it is possible to recognize whether or not the subject is performing an ideal exercise with respect to a subject who is exercising using the exercise device.
도 1은 시스템의 개략 구성의 일례를 나타내는 단면도이다.
도 2는 운동 기구를 이용한 운동을 설명하기 위한 도면이다.
도 3은 운동 기구의 개략 구성의 일례를 나타내는 도면이다.
도 4는 운동 기구의 구동부의 정면도이다.
도 5는 운동 기구의 구동부의 측면도이다.
도 6은 정보 처리 시스템의 하드웨어 구성의 일례를 나타내는 도면이다.
도 7은 정보 처리 장치의 하드웨어 구성의 일례를 나타내는 도면이다.
도 8은 모드 선택 화면의 일례를 나타내는 도면이다.
도 9는 트레이닝 선택 화면의 일례를 나타내는 도면이다.
도 10은 모션 화상의 일례를 나타내는 도면이다.
도 11은 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 12는 모션 화상과 "기준선"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 13은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 14는 모션 화상과 "중심 위치"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 15는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 16은 모션 화상과 "아바타"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 17은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 18은 모션 화상과 "좌우 밸런스"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 19는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 20은 제1 정보의 일례를 나타내는 도면이다.
도 21은 모션 화상과 "허리의 궤적"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 22는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 23은 모션 화상과 "무릎 가이드"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 24는 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 25는 모션 화상과 "요고(腰高) 타겟"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 26은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 27은 모션 화상과 "허리의 수평 회전"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 28은 허리의 수평 회전 각도를 설명하기 위한 도면이다.
도 29는 허리의 수평 회전 유닛의 표시색 변화의 일례를 나타내는 도면이다.
도 30은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 31은 "다리 올림 타이밍"에 대응하는 가이드 정보의 천이도이다.
도 32는 모션 화상과 "다리 올림 타이밍"에 대응하는 가이드 정보를 합성한 화상의 일례를 나타내는 도면이다.
도 33은 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 34는 제1 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 35는 이 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 36은 보정 처리의 구체적 내용을 나타내는 흐름도이다.
도 37은 제2 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.
도 38은 교사 정보의 일례를 나타내는 도면이다.
도 39는 제2 실시 형태의 정보 처리 장치가 구비하는 상세한 기능의 일례를 나타내는 도면이다.
도 40은 제2 실시 형태의 정보 처리 장치의 동작예를 나타내는 흐름도이다.
도 41은 제3 실시 형태의 정보 처리 장치가 구비하는 기능의 일례를 나타내는 도면이다.1 is a cross-sectional view showing an example of a schematic configuration of a system.
Fig. 2 is a view for explaining a motion using a motion mechanism.
Fig. 3 is a view showing an example of a schematic configuration of the exercise device.
4 is a front view of the driving part of the exercise device.
5 is a side view of the driving part of the exercise device.
6 is a diagram showing an example of the hardware configuration of the information processing system.
7 is a diagram showing an example of the hardware configuration of the information processing apparatus.
8 is a view showing an example of a mode selection screen.
9 is a diagram showing an example of a training selection screen.
10 is a diagram showing an example of a motion image.
11 is a diagram showing an example of the functions of the information processing apparatus.
12 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to a "reference line ".
13 is a flowchart showing an example of the operation of the information processing apparatus.
14 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "center position ".
15 is a flowchart showing an example of the operation of the information processing apparatus.
16 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "avatar ".
17 is a flowchart showing an example of the operation of the information processing apparatus.
18 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "left-right balance ".
19 is a flowchart showing an example of the operation of the information processing apparatus.
20 is a diagram showing an example of first information.
21 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "trajectory of waist ".
22 is a flowchart showing an example of the operation of the information processing apparatus.
23 is a view showing an example of an image obtained by combining motion information and guide information corresponding to "a knee guide ".
24 is a flowchart showing an example of the operation of the information processing apparatus.
25 is a diagram showing an example of an image obtained by synthesizing motion information and guide information corresponding to a "target (waist height) ".
26 is a flowchart showing an example of the operation of the information processing apparatus.
27 is a diagram showing an example of an image obtained by combining guide information corresponding to a motion image and "horizontal rotation of the waist ".
28 is a view for explaining the horizontal rotation angle of the waist.
29 is a diagram showing an example of display color change of the horizontal rotation unit of the waist.
30 is a flowchart showing an example of the operation of the information processing apparatus.
31 is a transition diagram of guide information corresponding to "leg lift timing ".
32 is a diagram showing an example of an image obtained by combining motion information and guide information corresponding to "leg lift timing ".
33 is a flowchart showing an example of the operation of the information processing apparatus.
34 is a diagram showing an example of the functions of the information processing apparatus of the first embodiment.
35 is a flowchart showing an example of the operation of this information processing apparatus.
36 is a flow chart showing specific contents of the correction process.
37 is a diagram showing an example of the functions of the information processing apparatus of the second embodiment.
38 is a diagram showing an example of the teacher information.
39 is a diagram showing an example of detailed functions of the information processing apparatus of the second embodiment.
40 is a flowchart showing an example of the operation of the information processing apparatus of the second embodiment.
41 is a diagram showing an example of the functions of the information processing apparatus of the third embodiment.
이하, 첨부 도면을 참조하면서 본 발명에 따른 정보 처리 장치 및 시스템의 실시 형태를 상세하게 설명한다. Hereinafter, embodiments of an information processing apparatus and a system according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 실시 형태의 시스템(1)의 개략 구성의 일례를 나타내는 도면이다. 도 1에 나타낸 바와 같이, 시스템(1)은 피험자가 이용하는 운동 기구(10)와 정보 처리 시스템(20)을 구비하고, 이들은 아암부(30)를 통하여 기계적으로 접속되어 있다. 1 is a diagram showing an example of a schematic configuration of the
본 실시 형태의 운동 기구(10)는 간호 예방이나 운동 능력 향상에 효과가 있는 운동(트레이닝)을 피험자에게 실행시키기 위한 머신이다. 피험자는 운동 기구(10)를 이용하여 도 2a에 나타내는 다리를 회전시키지 않고 교대로 전후로 이동시키는 "다리 끌기 운동", 또는 도 2b에 나타내는 다리를 회전시키면서 교대로 전후로 이동시키는 "다리 젓기 운동"을 실시할 수 있다. The
여기서, 본 실시 형태의 운동 기구(10)를 이용한 운동(이 예에서는 "다리 젓기 운동")의 이상적인 상태로서는 (1) 옆에서 바라 볼 때 허리가 큰 타원 궤도를 그리는 상태, (2) 체축이 움직이지 않는 상태, (3) 발을 디딜 때 허리가 아래로 내려가지 않는(내려가지 않고 요고를 유지) 상태, (4) 무릎이 곧게 올라가는 상태, (5) 어깨는 움직이지 않고 허리만 움직이는 상태를 들 수 있다. 본 실시 형태에서는 트레이닝 중의 피험자에 대하여, 자신이 이상적인 운동(이상적인 "다리 젓기 운동")을 실행하고 있는지를 인식시킬 수 있는 시스템(1)을 제공하는 것을 목적으로 한다. Here, the ideal state of motion using the
도 3은 운동 기구(10)의 개략 구성의 일례를 나타내는 도면이다. 도 3에 나타낸 바와 같이, 운동 기구(10)는 난간부(301)와, 피험자의 우측 다리 및 좌측 다리와 1대 1로 대응하는 2개의 부하 유닛(302)과, 모터(303)와, 모터(303)의 구동을 제어하기 위한 구동 제어기(304)를 구비한다. 3 is a view showing an example of a schematic configuration of the
도 4는 운동 기구(10)의 구동에 관한 부분(구동부) 정면도이다. 모터(303)의 구동력은 모터 기어(310), 톱니 벨트(311), 기어(312), 샤프트(313), 기어(314)를 통하여 좌우 한 쌍의 톱니 벨트(315)로 전달된다. 좌우의 부하 유닛(302) 각각은 크랭크(316)와 동축으로 연결되고, 크랭크 선단에는 회전 자유 페달(317)이 연결되어 있다. 4 is a front view of a portion (driving portion) relating to the driving of the
도 5a는 도 4의 좌측 측면도이다. 모터(303)의 구동에 따라 톱니 벨트(315)에 연결되는 롤러(320)가 가이드(321) 상을 왕복 운동한다. 도 5a에서 부하 유닛(302) 등은 도시를 생략한다. 도 5b는 도 4의 우측 측면도이다. 롤러(320)(도 5b에서는 도시하지 않음)에는 회전 자유 크랭크(316)가 연결되어 있고, 크랭크(316)의 선단에는 회전 자유 페달(317)이 연결되어 있다. 도 5c는 도 4의 좌측 측면도이며, 부하 유닛(302)을 도시한 도면이다. 크랭크(316)(도 5c에서는 도시하지 않음)의 동축 상에는 부하 유닛(302)이 설치되어 크랭크(316)의 회전 부하를 조절할 수 있는 구성으로 되어 있다. 본 실시 형태의 운동 기구(10)의 구성은 특허 공개 공보 평 9-154989호에 개시된 스프린트(SPRINT)·트레이닝·머신과 동일한 구성이다. 또한, 운동 기구(10)의 구성은 이상의 구성에 한정되는 것은 아니다. 요컨대, 운동 기구(10)를 이용하는 운동 종류는 "다리 젓기 운동"에 한정되는 것이 아니고, 각종 운동을 채용할 수 있다. 5A is a left side view of FIG. As the
다음에, 정보 처리 시스템(20)의 구성에 대하여 설명한다. 도 6은 정보 처리 시스템(20)의 하드웨어 구성의 일례를 나타내는 도면이다. 도 6에 나타낸 바와 같이, 정보 처리 시스템(20)은 센서(40)와, 리모컨(50)과, 정보 처리 장치(60)와, 출력 장치(70)를 구비한다. 설명의 편의상, 여기에서는 본 실시 형태에 관한 하드웨어 요소를 주로 예시하여 설명하지만, 정보 처리 시스템(20)이 구비하는 하드웨어 요소는 도 6의 예에 한정되는 것은 아니다. Next, the configuration of the
센서(40)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역(미리 정해져 있음)을 미리 정해진 프레임 속도로 촬영하는 카메라(RGB 카메라)(41)와, 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서(42)를 구비한다. 심도 센서(42)는 예컨대 검출 영역의 심도 화상을 촬영함으로써, 심도 센서(42)로부터 검출 영역의 피사체까지의 심도(거리)를 검출할 수 있다. 또한 피사체에는 검출 영역 내의피험자나 운동 기구(10) 등이 포함된다. 센서(40)는 예컨대 Kinect(등록상표) v2로 구성된다. 이 예에서 센서(40)는 촬영 화상 및 심도 정보를 미리 정해진 프레임 속도로 연속적으로 출력한다. The
리모컨(50)은 각종 조작을 접수하는 조작 디바이스로서, 이 예에서는 적외선 리모컨이 채용된다. 리모컨(50)은 접수한 조작에 따른 조작 신호(적외선의 점등/소등으로 표현됨)를 정보 처리 장치(60)에 출력한다. The
정보 처리 장치(60)는 센서(40)나 리모컨(50)으로부터 입력되는 정보에 근거하여 각종의 정보 처리를 실행하는 장치로서, 예컨대 PC(Personal Computer)로 구성된다. 도 7은 정보 처리 장치(60)의 하드웨어 구성의 일례를 나타내는 도면이다. 설명의 편의상, 도 7의 예에서는 최저한의 하드웨어 요소를 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 하드웨어 요소는 이들에 한정되는 것은 아니다. 또, 이 예에서는 정보 처리 장치(60)에는 후술하는 견본 동영상이 입력된다. The
도 7에 나타낸 바와 같이, 정보 처리 장치(60)는 CPU(61)와, ROM(62)과, RAM(63)과, I/F(64)를 구비한다. CPU(61)는 정보 처리 장치(60)의 동작을 통괄적으로 제어한다. ROM(62)은 프로그램 등 각종 데이터를 기억하는 불휘발성의 메모리이다. RAM(63)은 CPU(61)가 실행하는 각종 처리의 작업 영역(워크 에리어)으로서 기능하는 휘발성 메모리이다. I/F(64)는 다른 외부 기기(예컨대, 센서(40) 등)와 통신(접속)하기 위한 인터페이스이다. 7, the
출력 장치(70)로서는 운동 기구(10)를 이용하여 운동하는 피험자와 대면하도록 배치되는 표시 장치(71)와 스피커(72)를 포함한다. 표시 장치(71)는 예컨대 액정형 디스플레이 장치로 구성된다. The
본 실시 형태에서 정보 처리 장치(60)에는 운동 기구(10)를 이용하여 운동하는 피험자의 운동 상태(트레이닝 상태)를 가시화/분석한 영상을 출력하기 위한 어플리케이션(이하, "트레이닝 어플리케이션"이라 하는 경우가 있음)이 인스톨되어 있다. 이 어플리케이션이 기동하면, 정보 처리 장치(60)는 카메라(41)로부터 촬영 화상을, 심도 센서(42)로부터 심도 정보를 취득하기 시작하고, 촬영 화상과 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 신체 각 부분의 관절을 추정하여 골격 데이터(스켈리턴 데이터)를 얻는다. 이 골격 데이터를 얻는 방법은 공지의 각종 기술을 이용할 수 있다(예컨대 Kinect v2에 대응하는 어플리케이션을 이용하는 형태 등을 고려할 수 있음). 그리고, 도 8에 나타낸 바와 같이, 촬영 화상과 골격 데이터를 중첩시킨 화상 위에 각종 모드를 선택하기 위한 버튼 화상을 표시한 화면(모드 선택 화면)을 표시 장치(71)에 출력(표시)한다. 아래의 설명에서는 촬영 화상과 골격 데이터를 중첩시킨 화상은 피험자의 각 부분의 움직임을 특정하기 위한 "모션 화상"이라 하는 경우가 있다. 도 8의 예에서는 선택된 버튼 화상을 보기 쉽도록 하기 위하여 반투명의 흑색을 전면에 씌우고, 선택된 버튼 화상의 배경색 투과율은 선택되지 않은 버튼 화상의 배경색 투과율에 비하여 낮아지도록 설정되는 구성이다. In the present embodiment, the
본 실시 형태에서는 각종 모드로서 트레이닝 모드, 견본 동영상 모드인 2개의 모드가 있다. 트레이닝 모드는 트레이닝 아이템을 표시하고 화면을 보면서 트레이닝을 실시하는 모드이다. 견본 동영상 모드는 견본이 되는 트레이너의 동영상(견본 동영상)을 재생하는 모드이다. In this embodiment, there are two modes, a training mode and a sample moving picture mode, as various modes. The training mode displays training items and performs training while watching the screen. The sample video mode is a mode for playing back a video (sample video) of a trainer that is a sample.
또, 본 실시 형태에서는 트레이닝 어플리케이션의 기동 중에 리모컨(50)의 "메뉴" 버튼 누름을 접수한 경우에는 도 9에 나타내는 트레이닝 아이템을 선택하기 위한 화면(트레이닝 아이템 선택 화면)을 표시 장치(71)에 출력한다. 이 예에서는 트레이닝 아이템의 항목으로서 "스켈리턴", "기준선", "요고 타겟", "허리의 수평 회전", "좌우 밸런스", "중심 위치", "허리의 궤적", "아바타", "무릎 가이드", "다리 올림 타이밍"의 10항목이 마련되어 있고, 하나 이상의 항목을 임의로 선택할 수 있다. 도 9의 예에서는 10 종류의 항목마다 항목의 선택/비선택을 전환시키기 위한 ON/OFF 버튼이 표시되고, "ON"이 눌러지면 상기 항목이 선택되고 "OFF"가 눌러지면 상기 항목이 비선택으로 된다. 트레이닝 모드에서는 선택된 항목에 대응하는 트레이닝 아이템이 표시된다. 또, 도 9의 예에서는 선택한 트레이닝 아이템의 상세한 내용(각종 파라미터 설정치)을 가변으로 설정하기 위한 상세 설정 버튼(80)도 표시되어 있다. In the present embodiment, when a "menu" button press of the
설명의 편의상, 본 실시 형태에서는 트레이닝 아이템의 항목으로서 "스켈리턴"은 미리 선택이 끝난 상태인 것을 전제로 하여 설명한다. 이 예에서는 "스켈리턴"에 대응하는 트레이닝 아이템은 상기 골격 데이터이며, 트레이닝 모드 중은 도 10에 나타내는 모션 화상이 표시 장치(71)에 표시되는 것을 전제로 한다. 다만, 이에 한정되지 않고 예컨대 트레이닝 아이템 선택 화면으로부터 "스켈리턴"을 비선택으로 할 수도 있고, 이 경우에는 골격 데이터가 비표시로 된다. For convenience of explanation, in the present embodiment, "skeleton" as an item of the training item will be described on the premise that it is already selected. In this example, it is assumed that the training item corresponding to "skeleton" is the skeleton data, and that the motion image shown in Fig. 10 is displayed on the
도 10의 예에서는 관절을 나타내는 관절 마커의 종류로서 Head(201), SpineShoulder(202), ShoulderLeft(203), ShoulderRight(204), ElbowLeft(205), ElbowRight(206), SpineMid(207), SpineBase(208), HipLeft(209), HipRight(210), KneeLeft(211), KneeRight(212), AnkleLeft(213), AnkleRight(214)가 존재한다. 또한 관절 마커의 수 및 종류는 파라미터 설정치의 설정에 따라 임의로 변경 가능하다. In the example of FIG. 10, the types of joint markers representing joints are
또, 도 10의 예에서는 인접하는 관절 마커끼리를 연결하는 직선을 나타내는 체축 보조선의 종류로서 Head(201)과 SpineShoulder(202)를 연결한 직선(221), SpineShoulder(202)와 ShoulderLeft(203)를 연결한 직선(222), SpineShoulder(202)와 ShoulderRight(204)를 연결한 직선(223), ShoulderLeft(203)와 ElbowLeft(205)를 연결한 직선(224), ShoulderRight(204)과 ElbowRight(206)를 연결한 직선(225), SpineShoulder(202)와 SpineMid(207)을 연결한 직선(226), SpineMid(207)와 SpineBase(208)를 연결한 직선(227), HipLeft(209)와 HipRight(210)를 연결한 직선(228), HipLeft(209)와 KneeLeft(211)를 연결한 직선(229), HipRight(210)와 KneeRight(212)를 연결한 직선(230), KneeLeft(211)와 AnkleLeft(213)를 연결한 직선(231), KneeRight(212)과 AnkleRight(214)을 연결한 직선(232)이 존재한다. 10, a
여기에서는 10 종류의 트레이닝 아이템 중, "스켈리턴"에 대응하는 트레이닝 아이템(골격 데이터) 이외의 9개의 트레이닝 아이템은 이상적인 운동(이 예에서는 이상적인 "다리 젓기 운동")을 실행하고 있는지를 피험자에게 인식시키기 위한 정보이며, 아래의 설명에서는 각각을 "가이드 정보"라 하는 경우가 있다. 구체적인 내용에 대하여는 후술한다. Here, among the 10 types of training items, nine training items other than the training items corresponding to "skeleton" (skeleton data) are recognized by the subject to see if they are performing the ideal exercise (in this example, the ideal "leg- . In the following description, each may be referred to as "guide information ". Details will be described later.
이하에서는 트레이닝 모드 시의 정보 처리 장치(60)의 기능을 중심으로 설명한다. 도 11은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능의 일례를 나타내는 도면이다. 도 11에 나타낸 바와 같이, 정보 처리 장치(60)는 접수부(101)와, 화면 전환 제어부(102)와, 취득부(103)와, 선택부(104)와, 가이드 정보 생성부(105)와, 출력 제어부(106)를 구비한다. 설명의 편의상, 도 11의 예에서는 트레이닝 모드에 있어 트레이닝 어플리케이션에 의해 제공되는 기능을 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 기능은 이들에 한정되는 것은 아니다. Hereinafter, the functions of the
접수부(101)는 각종의 조작을 접수한다. 예컨대 접수부(101)는 리모컨(50)으로부터 조작 신호를 접수하는 기능을 구비한다. 화면 전환 제어부(102)는 접수부(101)에서 접수한 조작 등에 따라 표시 장치(71)에 표시하는 화면을 전환시키는 제어를 실시한다. The
취득부(103)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상과 검출 영역의 피사체의 심도 정보에 따라 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 취득한다. 보다 구체적으로는, 취득부(103)는 센서(40)로부터 촬영 화상과 심도 정보를 접수할 때마다 접수한 촬영 화상과 심도 정보에 따라 골격 데이터를 생성하고 생성한 골격 데이터를 취득한다. 이와 같이 하여 취득부(103)는 연속적으로 골격 데이터를 취득한다. 또한 예컨대 촬영 화상과 심도 정보에 의해 골격 데이터를 생성하는 기능이 취득부(103)와는 별도로 마련되고, 취득부(103)는 상기 기능에 의해 골격 데이터를 접수하는 형태이어도 된다. The acquiring
선택부(104)는 복수 종류의 트레이닝 아이템 중에서 표시 대상이 되는 트레이닝 아이템을 선택한다. 예컨대 선택부(104)는 표시 대상이 되는 트레이닝 아이템으로서 트레이닝 아이템 선택 화면으로부터 선택된 1이상의 항목에 대응하는 트레이닝 아이템을 선택할 수 있다. 전술한 바와 같이, 이 예에서는 표시 대상의 트레이닝 아이템으로서 "스켈리턴"에 대응하는 트레이닝 아이템은 선택이 끝난 상태인 것을 전제로 한다(즉, 전술한 모션 화상이 표시되는 것을 전제로 한다). The
가이드 정보 생성부(105)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 검출 영역의 피사체의 심도 정보에 따라 이상적인 운동을 실행하고 있는지를 피험자에게 인식시키기 위한 가이드 정보를 생성한다. 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 근거하여 선택부(104)에 의해 선택된 가이드 정보를 생성할 수 있다. 가이드 정보의 구체적인 내용에 대하여는 후술한다.The guide
출력 제어부(106)는 전술한 검출 영역을 촬영하여 얻어지는 촬영 화상과 전술한 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 가이드 정보를 출력하는 제어를 실시한다. 예컨대 가이드 정보가 화상 정보인 경우, 출력 제어부(106)는 모션 화상과 함께 가이드 정보를 표시 장치(71)로부터 출력시키는 제어를 실시한다. 보다 구체적으로는, 출력 제어부(106)는 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보를 합성한 화상을 표시 장치(71)("표시부"의 일례)에 표시하는 제어를 실시한다. 또, 예컨대 가이드 정보가 음성 정보인 경우, 출력 제어부(106)는 모션 화상을 표시 장치(71)에 표시하는 제어를 실시하는 동시에, 가이드 정보 생성부(105)에 의해 생성된 가이드 정보를 스피커(72)로부터 출력시키는 제어를 실시할 수도 있다. The
본 실시 형태에서는 이상으로 설명한 정보 처리 장치(60)가 구비하는 기능(접수부(101), 화면 전환 제어부(102), 취득부(103), 선택부(104), 가이드 정보 생성부(105), 출력 제어부(106))은 CPU(61)가 ROM(62) 등에 저장된 프로그램을 실행함으로써 실현되지만, 이에 한정되지 않고, 예컨대 이상으로 설명한 정보 처리 장치(60)가 구비하는 기능 중 적어도 일부가 전용의 하드웨어 회로로 실현되어도 된다. In the present embodiment, the functions (the
이하, 트레이닝 아이템의 항목으로서 "기준선", "요고 타겟", "허리의 수평 회전", "좌우 밸런스", "중심 위치", "허리의 궤적", "아바타", "무릎 가이드", "다리 올림 타이밍"의 각각이 선택된 경우의 정보 처리 장치(60)의 동작예를 설명한다. Hereinafter, the items of the training items will be referred to as " baseline ", "yoga target "," horizontal rotation of waist ", "left / right balance "," center position ", "waist trajectory "," avatar " Up timing "of the
우선, 트레이닝 아이템의 항목으로서 "기준선"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 근거하여 몸이 좌우로 흔들리고 있는지의 기준이 되는 기준선을 나타내는 정보를 가이드 정보로서("기준선"에 대응하는 가이드 정보로서) 생성한다. 이 예에서는 정보 처리 장치(60)는 트레이닝 모드가 선택되면, 트레이닝 모드를 개시하기 전에 피험자에 대하여 기준 자세(예컨대 직립 부동의 자세)를 취할 것을 재촉하는 정보를 출력(예컨대 상기 정보를 표시 장치(71)에 표시, 또는 상기 정보를 스피커(72)로부터 출력)한다. 그리고, 이 정보의 출력 후, 취득부(103)에 의해 연속적으로 취득되는 골격 데이터의 변화량이 임계값 이하가 된 때의 골격 데이터를 기준 자세 때의 골격 데이터로서 이용할 수 있다. 그리고, 가이드 정보 생성부(105)는 이 기준 자세 때의 골격 데이터에 근거하여 기준선을 나타내는 정보를 생성할 수 있다. 보다 구체적으로는 아래와 같다. First, a case where a "reference line" is selected as an item of a training item will be described as an example. In this case, the guide
가이드 정보 생성부(105)는 기준 자세 때의 골격 데이터에 포함되는 HipRight(210)와 HipLeft(209)의 중점을 기준점으로 한다. 이 예에서는 촬영 화상에 비친 피험자의 깊이 방향으로 연신하는 축을 z축(제1 축), 피험자의 좌우 방향으로 연장하고 또한 z축과 직교하는 축을 x축(제2 축), 피험자의 상하 방향으로 연장하고 또한 z축과 직교하는 축을 y축(제3 축)으로 한다. HipRight(210)와 HipLeft(209)의 중점은 HipRight(210)의 x축 방향의 좌표치(이하, x좌표치라 함)과 HipLeft(209)의 x좌표치의 중점을 x좌표치, HipRight(210)의 y축 방향의 좌표치(이하, y좌표치라 함)와 HipLeft(209)의 y좌표치의 중점을 y좌표치, HipRight(210)의 z축 방향의 좌표치(이하, z좌표치라 함)와 HipLeft(209)의 z좌표치의 중점을 z좌표치로 하는 3 차원 좌표치로 나타낼 수 있다. 그리고, 가이드 정보 생성부(105)는 기준점을 통과하고 또한 x축에 평행인 직선과, 기준점을 통과하고 또한 y축에 평행인 직선으로 이루어지는 기준선을 나타내는 정보를 가이드 정보로서 생성한다. 이상과 같이 가이드 정보 생성부(105)에 의해 생성된 기준선을 나타내는 정보는 ROM(62)이나 RAM(63) 등의 기억 장치에 저장된다. 이 예에서는 이상과 같이 하여 기준선을 나타내는 정보가 생성된 후에 트레이닝 모드가 개시된다. The guide
트레이닝 모드가 개시되면, 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 12에 나타낸 바와 같이, 그 취득된 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과, 기억 장치로부터 판독한 기준선을 나타내는 정보("기준선"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 12의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만(즉, 다른 8개의 항목도 동시에 선택되어 있음), 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "기준선"에 대응하는 가이드 정보만 표시되는 형태이어도 된다. When the training mode is started, each time skeleton data is acquired by the
도 13은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 13에 나타낸 바와 같이, 우선, 정보 처리 장치(60)(취득부(103))는 센서(40)로부터 촬영 화상 및 심도 정보를 취득한다(단계 S1). 다음에, 정보 처리 장치(60)는 단계 S1에서 취득한 촬영 화상 및 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 생성(취득)한다(단계 S2). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 기준선을 나타내는 정보를 기억 장치로부터 판독한다(단계 S3). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S2에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S1에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S3에서 판독한 정보를 합성한 화상을 생성한다(단계 S4). 그리고, 출력 제어부(106)는 단계 S4에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S5). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 13 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "중심 위치"가 선택된 경우를 예로 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 좌우 방향으로 연신하고 또한 제1 축과 직교하는 제2 축(이 예에서는 x축)을 포함한 제1 평면(이 예에서는 xz평면) 상에 나타내는 정보를 가이드 정보로서("중심 위치"에 대응하는 가이드 정보로서) 생성한다. 보다 구체적으로는, 아래와 같다. Next, a case where the "center position" is selected as an item of the training item will be described as an example. In this case, the guide
전술한 바와 같이, 취득부(103)는 골격 데이터를 연속적으로 취득한다. 그리고, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 상당하는 관절의 위치 궤적을 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 이 예에서는 골격 데이터에 포함되는 각 부분의 관절 중, SpineBase(208)의 관절 마커로 나타내어지는 관절이 중심 위치에 상당하는 관절로서 채용되고, 설정 파라미터로 설정된 프레임수 만큼의 SpineBase(208)의 xz평면 상의 궤적이 생성된다. 이 프레임수는 임의로 변경 가능하다. As described above, the
또, 가이드 정보 생성부(105)는 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 상기 골격 데이터를 구비하는 피험자의 머리 부분 및 어깨 부분 중 적어도 어느 하나의 윤곽을 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 부언하면, 가이드 정보 생성부(105)는 골격 데이터에 포함되는 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 중심 위치의 추천 범위(키프 존)를 xz평면 상에 나타내는 정보를 가이드 정보로서 생성한다. Further, the guide
또, 예컨대 가이드 정보 생성부(105)는 중심 위치에 대응하는 관절의 위치가 키프 존 내에 존재하는 경우와 키프 존에서 벗어나는 경우로 키프 존의 색을 상이하게 하여도 된다. 예컨대 중심 위치에 대응하는 관절의 위치가 키프 존을 벗어날 경우에는 피험자에게 주의를 촉구하기 위하여 키프 존의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또한 키프 존의 범위는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "중심 위치"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "중심 위치"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작(예컨대 3 단계의 레벨 중 어느 한 레벨로 설정하기 위한 조작)을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수된 조작에 따라 키프 존의 범위를 결정할 수 있다. 또한 이 예에서는 설정 화면이 표시된 상태에서 리모컨(50)의 "돌아가기" 버튼이 눌러지면, 전술한 트레이닝 아이템 선택 화면의 표시로 돌아온다.In addition, for example, the guide
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 14에 나타낸 바와 같이, 그 취득된 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("중심 위치"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 14의 예에서는 기준 자세 때의 SpineBase(208)의 xz평면 상의 위치가 원점에 대응하고 있다. 또한 도 14의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고, 가이드 정보로서 "중심 위치"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the
도 15는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 15에 나타내는 단계 S11~단계 S12의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S12 실행 후에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S12에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("중심 위치"에 대응하는 가이드 정보)를 생성한다(단계 S13). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S12에서 생성한 골격 데이터를 상기 골격 데이터의 기초가 되는 촬영 화상(단계 S11에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S13에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S14). 이 예에서는 도 14에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S13에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S14에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S15). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 15 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "아바타"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터, 및 체축의 추천 범위(키프 존)를 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 상하 방향으로 연신하고 또한 제1 축과 직교하는 제3 축(이 예에서는 y축)을 포함한 제2 평면(이 예에서는 yz평면) 상에 나타내는 정보를 가이드 정보로서("아바타"에 대응하는 가이드 정보로서) 생성한다. Next, a case where "avatar" is selected as an item of the training item will be described as an example. In this case, the guide
또, 이 예에서는 예컨대 가이드 정보 생성부(105)는 골격 데이터의 체축(예컨대, 골격 데이터에 포함되는 HipRight(210)와 HipLeft(209)의 중점을 통과하고 또한 y축에 평행인 직선)이 키프 존 내에 존재하는 경우와 키프 존에서 벗어난 경우로 키프 존의 색을 상이하게 하여도 된다. 예컨대 체축이 키프 존을 벗어날 경우에는 피험자에게 주의를 촉구하기 위하여 키프 존의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또한 키프 존의 범위는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "아바타"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "아바타"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수된 조작에 따라 키프 존의 범위를 결정할 수 있다. 이상과 같이 하여 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이용하여 이상으로 설명한 "아바타"에 대응하는 가이드 정보를 생성한다. In this example, for example, the guide
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 16에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("아바타"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 16의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "아바타"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the
도 17은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 17에 나타내는 단계 S21~단계 S22의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S22후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S22에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("아바타"에 대응하는 가이드 정보)를 생성한다(단계 S23). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S22에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S21에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S23에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S24). 이 예에서는 도 16에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S23에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S24에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S25). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 17 is a flowchart showing an example of operation of the
다음에, 트레이닝 아이템의 항목으로서 "좌우 밸런스"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 골격 데이터의 체축과 몸이 좌우로 흔들리고 있는지의 기준이 되는 전술한 기준선(y축 방향으로 연신하는 기준선)의 괴리(乖離) 정도를 나타내는 정보를 가이드 정보로서 생성한다. 이 예에서는 머리, 어깨, 허리의 x방향의 평균치(Head(201)의 x좌표치와 SpineShoulder(202)의 x좌표치와 SpineBase(208)의 x좌표치의 평균치)를 입력치로 하고, 입력치가 어느 정도 전술한 기준선으로부터 떨어져 있는지를 화소수로 산출하며, 그 화소수에 미리 정해진 계수 α(바 움직임의 감도를 나타냄)를 곱셈함으로써 좌우 밸런스치를 산출하고 산출한 좌우 밸런스치를 나타내는 바 그래프를 생성한다. 이 예에서는 기준선을 중심으로 하여 ±A의 폭에 입력치가 존재하는 경우에는 "0%"가 되도록 좌우 밸런스치를 산출한다. 또, 좌우 밸런스치가 임계값(예컨대 70%)을 초과하는 경우에는, 피험자에게 주의를 촉구하기 위하여 바 그래프의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. 또, 피험자의 중심의 움직임을 그대로 화면에 반영시키기 위하여, 바 그래프의 중앙치를 화면의 중앙에 배치하는 것이 바람직하다. 예컨대 y축 방향으로 연신하는 기준선이 바 그래프의 중앙치를 통과하도록 바 그래프를 배치하여도 된다. 이상과 같이 하여 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이용하여 이상으로 설명한 "좌우 밸런스"에 대응하는 가이드 정보를 생성한다. Next, a case where "left-right balance" is selected as an item of the training item will be described as an example. In this case, the guide
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 18에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("좌우 밸런스"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 18의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "좌우 밸런스"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the
도 19는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 19에 나타내는 단계 S31~단계 S32의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S32후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S32에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("좌우 밸런스"에 대응하는 가이드 정보)를 생성한다(단계 S33). 이 예에서는 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 기준선을 나타내는 정보를 기억 장치로부터 판독하고, 그 판독한 정보와 단계 S32에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보를 생성한다. 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S32에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S31에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S33에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S34). 이 예에서는 도 18에 나타낸 바와 같이, 모션 화상의 상측 영역에 단계 S33에서 생성한 가이드 정보를 배치한 합성 화상을 생성한다. 그리고, 출력 제어부(106)는 단계 S34에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S35). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다.Fig. 19 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "허리의 궤적"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 이 골격 데이터에 포함되는 각 부분의 관절 중 대상이 되는 좌우 한 쌍 관절의 우측에 대응하는 관절을 나타내는 제1 관절의 위치 궤적을, 피험자의 깊이 방향으로 연신하는 제1 축(이 예에서는 z축)과 피험자의 상하 방향으로 연신하고 또한 제1 축과 직교하는 제3 축(이 예에서는 y축)을 포함한 제2 평면(이 예에서는 yz평면) 상에 나타내는 제1 정보, 또는 좌측에 대응하는 관절을 나타내는 제2 관절의 위치 궤적을 제2 평면 상에 나타내는 정보를 가이드 정보로서 생성한다. 그리고, 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보(제1 정보 또는 제2 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. Next, a case where "trajectory of waist" is selected as an item of the training item will be described as an example. In this case, every time the skeleton data is acquired by the
여기에서는 전술한 제1 정보는 제1 축과 제3 축으로 정해지는 좌표계(yz좌표계)에 있어서, 취득부(103)에 의해 취득된 골격 데이터에 포함되는 제1 관절의 z축 방향의 위치와 이 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치의 차분을 z좌표치로 하고, 이 골격 데이터에 포함되는 제1 관절의 y축 방향의 위치와 피험자가 기준 자세 때의 골격 데이터에 포함되는 제1 관절의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타낸다. 일례로서 여기에서는 제1 관절은 우측 허리의 관절(HipRight(210)가 나타내는 관절)이며, 제2 관절은 좌측 허리의 관절(HipLeft(209)가 나타내는 관절)이라 한다. 이 예에서는 전술한 제1 정보는 HipLeft(209)의 z축 방향의 위치와 HipRight(210)의 z축 방향의 위치의 차분을 z좌표치로 하고, HipRight(210)의 y축 방향의 위치와 기준 자세 때의 HipRight(210)의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타내는 정보로 되며, 도 20과 같이 나타내어진다. 이 예에서는 z좌표치는 피험자의 앞측에 위치할수록(센서(40)에 가까울수록) 작은 값을 나타내지만, 이것에 한정되지 않고 좌표치의 설정 방법은 임의이다. Here, the above-described first information is a coordinate system (yz coordinate system) defined by the first axis and the third axis, in which the position in the z-axis direction of the first joint included in the skeleton data acquired by the
또, 전술한 제2 정보는 yz좌표계에 있어서, 취득부(103)에 의해 취득된 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치와 이 골격 데이터에 포함되는 제2 관절의 z축 방향의 위치의 차분을 z좌표치로 하고, 이 골격 데이터에 포함되는 제2 관절의 y축 방향의 위치와 피험자가 기준 자세 때의 골격 데이터에 포함되는 제2 관절의 y축 방향의 위치의 차분을 y좌표치로 하여 표시되는 변위 정보의 궤적을 나타낸다. The above-described second information is obtained by taking the position in the z-axis direction of the second joint included in the skeleton data acquired by the
또, 본 실시 형태에서는 출력 제어부(106)는 제1 정보, 및 제2 정보 중 어느 하나를 표시 장치(71)에 표시하는 제어를 실시하고, 미리 정해진 조건에 따라 표시 대상을 전환시킨다. 다만, 이에 한정되지 않고, 예컨대 출력 제어부(106)는 제1 정보, 및 제2 정보의 양쪽 모두를 표시 장치(71)에 표시하는 제어를 실시하는 형태이어도 된다. 이 경우, 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 전술한 제1 정보 및 전술한 제2 정보를 생성할 필요가 있다. In the present embodiment, the
본 실시 형태에서는 출력 제어부(106)는 제1 관절이 제2 관절보다 피험자의 앞측에 위치하는 경우에는, 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시하고, 제2 관절이 제1 관절보다 피험자의 앞측에 위치하는 경우에는, 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시한다. 보다 구체적으로는, 출력 제어부(106)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 HipRight(210)의 z좌표치가 이 골격 데이터에 포함되는 HipLeft(209)의 z좌표치보다 작은 경우에는, 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시한다. 한편, 출력 제어부(106)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 HipLeft(209)의 z좌표치가 이 골격 데이터에 포함되는 HipRight(210)의 z좌표치보다 작은 경우에는, 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시한다. In the present embodiment, when the first joint is located on the front side of the subject than the second joint, the
또한 표시 대상을 전환시키기 위한 조건은 상기 형태에 한정되는 것은 아니다. 예컨대 출력 제어부(106)는 제1 관절이 z축 방향의 미리 정해진 위치(예컨대 페달(317)의 최후방 위치 등)에 도달한 경우에는, 제2 관절이 상기 미리 정해진 위치에 도달할 때까지 전술한 제1 정보를 표시 장치(71)에 표시하는 제어를 실시하고, 제2 관절이 상기 미리 정해진 위치에 도달한 경우에는, 제1 관절이 상기 미리 정해진 위치에 도달할 때까지 전술한 제2 정보를 표시 장치(71)에 표시하는 제어를 실시하는 형태이어도 된다. The condition for switching the display object is not limited to the above-described form. For example, when the first joint reaches a predetermined position in the z-axis direction (for example, the rearmost position of the
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 21에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 표시 대상의 가이드 정보("허리 궤적"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 21의 예에서는 이 때의 골격 데이터에 포함되는 HipLeft(209)의 z좌표치가 이 골격 데이터에 포함되는 HipRight(210)의 z좌표치보다 작기 때문에, 전술한 제2 정보가 표시 대상의 가이드 정보로 된다(전술한 제1 정보는 비표시). In this example, every time skeleton data is acquired by the
도 22는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 22에 나타내는 단계 S41~단계 S42의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S42후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S42에서 취득한 골격 데이터에 포함되는 HipRight(210)의 z좌표치가 이 골격 데이터에 포함되는 HipLeft(209)의 z좌표치보다 작은지를 판단한다(단계 S43). 22 is a flowchart showing an example of the operation of the
단계 S43의 결과가 긍정인 경우(단계 S43:Yes), 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 제1 정보를 가이드 정보로서 생성한다(단계 S44). 단계 S43의 결과가 부정인 경우(단계 S43:No), 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 제2 정보를 가이드 정보로서 생성한다(단계 S45). If the result of step S43 is affirmative (step S43: Yes), the information processing apparatus 60 (guide information generating section 105) generates the above-described first information as guide information (step S44). If the result of step S43 is negative (step S43: No), the information processing apparatus 60 (guide information generating section 105) generates the above-described second information as guide information (step S45).
단계 S44 또는 단계 S45후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S42에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S41에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S44 또는 단계 S45에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S46). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S46에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S47). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. After step S44 or step S45, the information processing apparatus 60 (guide information generation section 105) stores the skeleton data generated in step S42 on a photographed image (photographed image acquired in step S41) And the guide information generated in step S44 or step S45 (step S46). Next, the information processing apparatus 60 (guide information generating section 105) performs control to display the synthesized image on the
또한 상기의 형태에 한정되지 않고, 예컨대 정보 처리 장치(60)(가이드 정보 생성부(105))는 골격 데이터를 취득할 때마다, 전술한 제1 정보 및 전술한 제2 정보의 양쪽 모두를 생성하여 두고, 단계 S43의 결과에 따라 전술한 제1 정보 또는 전술한 제2 정보를 표시 대상으로 결정하는 형태이어도 된다. For example, the information processing apparatus 60 (guide information generation unit 105) generates both the first information and the second information described above every time the skeleton data is acquired And the above-described first information or the above-described second information may be determined as the display object in accordance with the result of step S43.
다음에, 트레이닝 아이템의 항목으로서 "무릎 가이드"가 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 포함되는 무릎 관절의 위치를 하단으로 하고, 미리 정해진 양 만큼 윗방향으로 연신하여 미리 정해진 범위를 나타내는 정보(이하, "무릎 가이드 정보"라 함)를 가이드 정보로서 생성한다. 이 예에서는 가이드 정보 생성부(105)는 전술한 기준선을 나타내는 정보를 생성하는 타이밍으로 무릎 가이드 정보도 함께 생성하고, 그 생성한 무릎 가이드 정보를 ROM(62)이나 RAM(63) 등의 기억 장치에 저장해 둔다. 또한 무릎 가이드 정보의 y축 방향(상하 방향)의 길이는 가변으로 설정 가능하다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "무릎 가이드"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, 무릎 가이드 정보의 y축 방향(상하 방향)의 길이를 설정하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 길이를 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 무릎 가이드 정보의 y축 방향의 길이를 결정할 수 있다.Next, a case where "knee guide" is selected as an item of the training item will be described as an example. In this case, the guide
또, 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 우측 무릎의 관절 또는 좌측 무릎의 관절이 무릎 가이드 정보에 의해 규정된 범위 내에 존재하는 경우와 범위 외에 존재하는 경우로 무릎 가이드 정보의 색을 상이하게 하여도 된다. 예컨대 우측 무릎의 관절 또는 좌측 무릎의 관절이 무릎 가이드 정보에 의해 규정된 범위 외에 존재하는 경우에는, 피험자에게 주의를 촉구하기 위하여 무릎 가이드 정보의 색을 시인성이 높은 색(예컨대 적색 등)으로 설정하는 형태이어도 된다. For example, the guide
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 23에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("무릎 가이드"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 23의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "무릎 가이드"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the
도 24는 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 24에 나타내는 단계 S51~단계 S52의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S52후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 무릎 가이드 정보를 기억 장치로부터 판독한다(단계 S53). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S52에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S51에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S53에서 판독한 무릎 가이드 정보를 합성한 화상을 생성한다(단계 S54). 그리고, 출력 제어부(106)는 단계 S54에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S55). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 24 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "요고 타겟"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자가 기준 자세 때의 골격 데이터에 포함되는 우측 허리의 관절과 좌측 허리의 관절의 중점을 통과하고 또한 좌우 방향으로 연신하는 선(이 예에서는 y축 방향으로 연신하는 기준선)으로부터, 이 골격 데이터에 포함되는 각 부분의 관절 중 등골뼈의 중심에 대응하는 관절(이 예에서는 Spinemid(207)가 나타내는 관절)의 위치보다 하측까지의 미리 정해진 범위를 나타내는 정보(이하, "요고 타겟 정보"라 함)를 가이드 정보로서 생성한다. 이 예에서는 가이드 정보 생성부(105)는 전술한 기준선을 나타내는 정보를 생성하는 타이밍으로 요고 타겟 정보도 함께 생성하고, 그 생성한 요고 타겟 정보를 ROM(62)이나 RAM(63) 등의 기억 장치에 저장해 둔다. 또한 요고 타겟 정보의 y축 방향(상하 방향)의 길이는 가변으로 설정 가능하다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "요고 타겟"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, 요고 타겟 정보의 y축 방향(상하 방향)의 길이를 설정하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 길이를 설정하기 위한 조작을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 요고 타겟 정보의 y축 방향의 길이를 결정할 수 있다. Next, a case where "yoga target" is selected as an item of the training item will be described as an example. In this case, the guide
또, 예컨대 가이드 정보 생성부(105)는 취득부(103)에 의해 취득된 골격 데이터에 포함되는 우측 허리의 관절 또는 좌측 허리의 관절이 요고 타겟 정보에 의해 규정된 범위 내에 존재하는 경우와 범위 외에 존재하는 경우로 요고 타겟 정보의 색을 상이하게 하여도 된다. 예컨대 우측 허리의 관절 또는 좌측 허리의 관절이 요고 타겟 정보에 의해 규정된 범위 외에 존재하는 경우에는, 이상적인 상태인 것을 피험자에게 알리기 위하여 요고 타겟 정보의 색을 안정적이거나 조화를 나타내는 색(예컨대 녹색 등)으로 설정하는 형태이어도 된다. For example, the guide
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 25에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("요고 타겟"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 25의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고, 가이드 정보로서 "요고 타겟"에 대응하는 가이드 정보(요고 타겟 정보)만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the
도 26은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 26에 나타내는 단계 S61~단계 S62의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S62후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 전술한 요고 타겟 정보를 기억 장치로부터 판독한다(단계 S63). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S62에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S61에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S63에서 판독한 요고 타겟 정보를 합성한 화상을 생성한다(단계 S64). 그리고, 출력 제어부(106)는 단계 S64에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S65). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 26 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "허리의 수평 회전"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 피험자의 좌우 방향으로 연신하는 제2 축(이 예에서는 x축)에 대하여, 골격 데이터에 포함되는 우측 허리에 대응하는 관절과 좌측 허리에 대응하는 관절을 연결하는 선이 이루는 각도에 따라 우측 허리 및 좌측 허리 중 한 쪽이 다른 한 쪽에 비하여 피험자의 앞측으로 돌출되어 있는 정도를 나타내는 정보(이하, "허리 수평 회전 유닛"이라 함)를 가이드 정보로서 생성한다. 이 예에서는 도 27에 나타낸 바와 같이, 허리 수평 회전 유닛은 우측 허리에 대응하는 우측 유닛과 좌측 허리에 대응하는 좌측 유닛을 포함하고 있다. 이 예에서는 우측 유닛 및 좌측 유닛의 각각은 서로 대칭인 반원을 그리도록 연재(延在)하는 동시에 7 단계로 구분되고(설명의 편의상, 구분된 1개의 단위를 "단위 유닛"이라 함), x축에 대하여 골격 데이터에 포함되는 우측 허리에 대응하는 관절과 좌측 허리에 대응하는 관절을 연결하는 선이 이루는 각도에 따라 미리 정해진 표시색으로 설정되는 단위 유닛의 수가 변화한다. Next, a case in which "horizontal rotation of the waist" is selected as an item of the training item will be described as an example. In this case, the guide
이 예에서는 가이드 정보 생성부(105)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 28에 나타낸 바와 같이, x축과 평행인 직선에 대하여, 그 취득된 골격 데이터에 포함되는 HipLeft(209)와 HipRight(210)를 연결하는 선이 이루는 각도 θ(허리의 수평 회전 각도 θ)를 산출하고, 산출한 각도 θ에 따라 허리 수평 회전 유닛을 생성한다. 이 예에서는 허리의 수평 회전 각도 θ는 ATAN{(HipRight의 z좌표치-HipLeft의 z좌표치)}/{(HipRight의 x좌표치)-(HipLeft의 x좌표치)}로 나타내어진다. 이 예에서는 허리의 수평 회전 각도 θ가 미리 정해진 상한 설정치(절대치)에 도달한 경우, 우측 유닛 또는 좌측 유닛을 구성하는 7개의 단위 유닛의 모두가 미리 정해진 표시색으로 설정된다.In this example, every time skeleton data is acquired by the
또한 전술한 상한 설정치는 트레이닝의 레벨에 따라 다단계(예컨대 3 단계)로 변화시킬 수도 있다. 예컨대 전술한 트레이닝 아이템 선택 화면으로부터 "허리의 수평 회전"의 항목이 선택된 상태에서 상세 설정 버튼(80)이 눌러지면, "허리의 수평 회전"에 대응하는 트레이닝 아이템의 레벨 설정을 실행하기 위한 설정 화면이 표시되고 이 설정 화면으로부터 임의의 레벨을 설정하기 위한 조작(예컨대 3 단계의 레벨 중 어느 한 레벨로 설정하기 위한 조작)을 접수하는 형태이어도 된다. 정보 처리 장치(가이드 정보 생성부(105))는 설정 화면에서 접수한 조작에 따라 전술한 상한 설정치를 결정할 수 있다. 여기에서는 상위 레벨일수록 상한 설정치(절대치)가 커지도록 상한 설정치를 결정한다. 예컨대 최상위 레벨에 대응하는 상한 설정치는 12. 5°, 중간 레벨에 대응하는 상한 설정치는 10°, 최하위 레벨에 대응하는 상한 설정치는 7. 5°로 결정되는 형태이어도 된다. Further, the upper limit set value may be changed to a multi-level (for example, three levels) according to the level of the training. For example, when the
일례로서 상한 설정치가 12. 5°로 설정되어 있는 경우를 예로 하여 설명한다. 이 경우, 도 29에 나타낸 바와 같이, 허리의 수평 회전 각도 θ에 따라 우측 유닛 및 좌측 유닛의 각각을 구성하는 7개의 단위 유닛 중 미리 정해진 표시색으로 표시되는 단위 유닛의 수가 변화한다. 도 29의 예에서는 허리의 수평 회전 각도 θ가 상한 설정치에 상당하는 "-12. 5°" 이상인 경우, 좌측 유닛을 구성하는 모든 단위 유닛(7개의 단위 유닛)이 미리 정해진 표시색으로 표시된다. 또, 허리의 수평 회전 각도 θ가 상한 설정치에 상당하는 "+12. 5°" 이상인 경우, 우측 유닛을 구성하는 모든 단위 유닛(7개의 단위 유닛)이 미리 정해진 표시색으로 표시된다. 이들은 허리의 수평 회전이 이상적인 상태인 것을 나타내고 있다. As an example, the case where the upper limit set value is set to 12. 5 ° will be described as an example. In this case, as shown in Fig. 29, the number of unit units displayed by the predetermined display color among the seven unit units constituting each of the right unit and the left unit changes in accordance with the horizontal rotation angle? Of the waist. In the example of Fig. 29, when the horizontal rotation angle [theta] of the waist is equal to or larger than -12.5 [deg.] Corresponding to the upper limit setting value, all the unit units (seven unit units) constituting the left unit are displayed with the predetermined display color. Further, when the horizontal rotation angle? Of the waist is equal to or larger than "+12.5 °" corresponding to the upper limit setting value, all the unit units (seven unit units) constituting the right unit are displayed in a predetermined display color. These indicate that the horizontal rotation of the waist is in an ideal state.
이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 27에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("허리의 수평 회전"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 또한 도 27의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "허리의 수평 회전"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, every time skeleton data is acquired by the
도 30은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 30에 나타내는 단계 S71~단계 S72의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S72후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S72에서 취득한 골격 데이터를 이용하여 이상으로 설명한 가이드 정보("허리의 수평 회전"에 대응하는 가이드 정보, 이 예에서는 전술한 허리 수평 회전 유닛)를 생성한다(단계 S73). 다음에, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S72에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S71에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S73에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S74). 그리고, 출력 제어부(106)는 단계 S74에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S75). 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다. 30 is a flowchart showing an example of the operation of the
다음에, 트레이닝 아이템의 항목으로서 "다리 올림 타이밍"이 선택된 경우를 예로 하여 설명한다. 이 경우, 가이드 정보 생성부(105)는 전술한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 전술한 심도 정보에 근거하여 피험자의 다리가 올려지는 부재이며, 다리를 회전시키면서 교대로 전후로 이동시키는 다리 젓기 운동을 실행하기 위한 페달(317)의 위치가 피험자의 깊이 방향으로 연신하는 제1 축과 평행인 방향(이 예에서는 z축과 평행인 방향)의 미리 정해진 위치에 도달하였다고 판단한 경우에, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성한다. 상기 미리 정해진 위치는 임의로 설정 가능하지만, 예컨대 페달(317)이 z축과 평행인 방향으로 이동 가능한 위치 중 최후방 위치(페달(317)이 가장 센서(40)로부터 멀어지는 위치)이어도 된다. 또, 가이드 정보 생성부(105)는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였다고 판단한 경우에는, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성하는 동시에, 미리 정해진 통지음을 출력하는 것을 출력 제어부(106)에 지시할 수도 있다. Next, a case where "leg raising timing" is selected as an item of the training item will be described as an example. In this case, the guide
또, 가이드 정보 생성부(105)는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하지 않았다고 판단한 경우에는, 그 때의 페달(317)의 위치에 따라 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 정보를 가이드 정보로서 생성할 수 있다. 이 예에서는, 가이드 정보 생성부(105)는 취득부(103)에 의해 촬영 화상 및 심도 정보가 취득될 때마다, 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였는지 아닌지를 판단하고, 그 판단 결과에 따른 가이드 정보를 생성한다. When determining that the position of the
도 31은 이 예에서 가이드 정보 생성부(105)에 의해 생성되는 가이드 정보의 천이 일례를 나타내는 도면이다. 이 예에서 가이드 정보 생성부(105)에 의해 생성되는 가이드 정보는 우측 다리에 대응하는 표시 유닛과 좌측 다리에 대응하는 표시 유닛을 포함하고, 각 표시 유닛은 3개의 단위 유닛(박스)으로 구성된다. 도 31의 예에서 (타이밍 C)는 좌측 다리에 대응하는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달한 경우에 대응한다. 이 경우에는 좌측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 전부의 색은 임의의 제1 색으로 설정되고 또한 다리 올림 동작을 재촉하는 "FOOT UP"이라는 정보를 포함하도록, 좌측 다리에 대응하는 표시 유닛이 생성된다. 또, 우측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 각각에는 색이 표시되지 않도록 우측 다리에 대응하는 표시 유닛이 생성된다. 이 좌측 다리에 대응하는 표시 유닛, 및 우측 다리에 대응하는 표시 유닛이 다리 올림 동작의 실행을 재촉하는 가이드 정보로서 생성되는 형태이다. 31 is a diagram showing an example of transition of guide information generated by the guide
또, 여기에서는 좌측 다리에 대응하는 페달(317)의 위치가 전술한 미리 정해진 위치에 접근함에 따라 도 31의 (타이밍 A) 및 (타이밍 B)와 같이, 좌측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 하측으로부터 차례로 임의의 제2 색(제1 색과 상이한 색이어도 되고, 동일한 색이어도 됨)이 표시되도록 좌측 다리에 대응하는 표시 유닛이 생성된다. 또, 우측 다리에 대응하는 표시 유닛을 구성하는 3개의 단위 유닛의 각각에는 색이 표시되지 않도록 우측 다리에 대응하는 표시 유닛이 생성된다. 이 좌측 다리에 대응하는 표시 유닛, 및 우측 다리에 대응하는 표시 유닛이 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 가이드 정보로서 생성되는 형태이다. Here, as the position of the pedal 317 corresponding to the left leg approaches the predetermined position described above, as shown in (Timing A) and (Timing B) in Fig. 31, A display unit corresponding to the left leg is generated such that an arbitrary second color (which may be a different color from the first color and may be the same color) is sequentially displayed from the lower side of the three unit units. A display unit corresponding to the right leg is generated so that no color is displayed in each of the three unit units constituting the display unit corresponding to the right leg. And the display unit corresponding to the left leg and the display unit corresponding to the right leg are generated as guide information indicating the perspective to the timing of performing the operation of raising the leg.
또, 이 예에서는 출력 제어부(106)는 취득부(103)에 의해 골격 데이터가 취득될 때마다, 도 32에 나타낸 바와 같이, 그 취득된 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상과, 가이드 정보 생성부(105)에 의해 생성된 가이드 정보("다리 올림 타이밍"에 대응하는 가이드 정보)를 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다. 도 32의 예에서는 "다리 올림 타이밍"에 대응하는 가이드 정보(우측 다리에 대응하는 표시 유닛, 좌측 다리에 대응하는 표시 유닛)는 화면에 비치는 운동 기구(10)에 맞추어 원근법을 이용하여 표시되어 있다. 또한 도 31의 예에서는 다른 항목에 대응하는 가이드 정보도 동시에 표시되어 있지만, 예컨대 다른 항목이 선택되지 않고 가이드 정보로서 "다리 올림 타이밍"에 대응하는 가이드 정보만이 표시되는 형태이어도 된다. In this example, each time skeleton data is acquired by the
도 33은 이 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 33에 나타내는 단계 S81~단계 S82의 처리 내용은 도 13에 나타내는 단계 S1~단계 S2의 처리 내용과 동일하기 때문에, 상세한 설명을 생략한다. 단계 S82후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S81에서 취득한 촬영 화상 및 심도 정보에 근거하여 이상으로 설명한 가이드 정보("다리 올림 타이밍"에 대응하는 가이드 정보)를 생성한다(단계 S83). 전술한 바와 같이, 정보 처리 장치(60)(가이드 정보 생성부(105))는 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하였다고 판단한 경우에는, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 가이드 정보로서 생성하고 또한 미리 정해진 통지음을 출력하도록 출력 제어부(106)에 지시한다. 한편, 페달(317)의 위치가 전술한 미리 정해진 위치에 도달하지 않았다고 판단한 경우에는, 다리를 올리는 동작을 실시하는 타이밍까지의 원근(遠近)을 나타내는 정보를 가이드 정보로서 생성하는 형태이다.33 is a flowchart showing an example of the operation of the
단계 S83후, 정보 처리 장치(60)(가이드 정보 생성부(105))는 단계 S82에서 생성한 골격 데이터를 이 골격 데이터의 기초가 되는 촬영 화상(단계 S81에서 취득된 촬영 화상) 상에 중첩시킨 모션 화상과 단계 S83에서 생성한 가이드 정보를 합성한 화상을 생성한다(단계 S84). 그리고, 출력 제어부(106)는 단계 S84에서 합성한 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S85). 예컨대 다리를 올리는 동작을 실시할 것을 재촉하는 정보가 가이드 정보로서 생성된 경우, 출력 제어부(106)는 가이드 정보 생성부(105)로부터의 지시에 따라 미리 정해진 통지음을 스피커(72)로부터 출력한다. 정보 처리 장치(60)는 이상의 처리를 반복하여 실행한다.After step S83, the information processing apparatus 60 (guide information generation unit 105) superimposes the skeleton data generated in step S82 on the captured image serving as a basis of the skeleton data (captured image acquired in step S81) An image obtained by combining the motion image and the guide information generated in step S83 is generated (step S84). Then, the
이상으로 설명한 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 운동 기구(10)를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 피험자에게 인식시키기 위한 가이드 정보를 생성하고, 이 생성한 가이드 정보를 피험자의 각 부분의 움직임을 특정하기 위한 전술한 모션 화상과 함께 출력하는 제어를 실시한다. 이에 의해, 운동 기구(10)를 이용하여 운동하는 피험자에 대하여 자신이 이상적인 운동을 실행하고 있는지를 인식시킬 수 있다. As described above, the
이상, 본 발명의 실시 형태를 설명하였지만, 상술한 실시 형태는 예로서 제시한 것으로, 발명의 범위를 한정하는 것을 의도하지 않는다. 본 발명은 상술한 실시 형태 자체에 한정되는 것이 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또, 상술한 실시 형태에 개시되어 있는 복수개의 구성 요소의 적당한 조합에 의해 각종 발명을 형성할 수 있다. 예컨대, 실시 형태에 나타나는 전 구성 요소로부터 몇개의 구성 요소를 삭제하여도 된다.While the embodiments of the present invention have been described above, the embodiments described above are provided as examples and are not intended to limit the scope of the invention. The present invention is not limited to the above-described embodiment itself, but may be embodied by modifying the constituent elements within the scope of the present invention without departing from the gist of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-mentioned embodiments. For example, some constituent elements may be deleted from all the constituent elements shown in the embodiment.
아래에 본 발명의 추가 실시형태에 대하여 설명한다.A further embodiment of the present invention will be described below.
근년, 예컨대 고령자의 전도 방지, 간호 예방, 건강 수명의 연장 등을 목적으로 한 체간 강화에 의한 간호 예방 트레이닝에 있어 가시화된 동작 정보를 피험자에게 제시하는 트레이닝 서포트 시스템이 개발되어 있다. 이와 같은 간호 예방 트레이닝에서는 특히 허리, 어깨, 무릎 등의 움직임이 중요하게 되는 경우가 많다. In recent years, for example, a training support system has been developed for presenting visualized motion information to a subject in nursing prevention training by strengthening the trunk for the purpose of preventing elderly people from falling, preventing nursing care, and extending health life span. In such nursing prevention training, movement of waist, shoulder, knee, and the like is often important.
가시화된 동작 정보를 피험자에게 제시하는 기술로서 예컨대 일본 특허 공보 제5739872호에는 게임 유저에 의한 동작을 모방토록 조정 가능한 유저의 모델(골격 정보)을 생성하는 것을 목적으로 장면을 캡쳐하여 얻어지는 심도 화상으로부터 추출한 오브젝트에 근거하여 모델의 특징을 결정하고, 유저에 의한 동작에 응답하여 모델을 조정함으로써 모델을 트랙킹하는 기술이 개시되어 있다.For example, Japanese Patent Publication No. 5739872 discloses a technology for presenting visualized motion information to a subject. In Japanese Patent Publication No. 5739872, there is disclosed a technique for generating a model (skeleton information) of a user who can adjust the motion by a game user Discloses a technique of tracking a model by determining the characteristics of the model based on the extracted object and adjusting the model in response to the operation by the user.
간호 트레이닝을 비롯하여 허리, 어깨, 무릎 등의 움직임이 중요한 운동을 실시하는 피험자에게 자신의 동작 정보를 제시하는 경우에는, 운동 포인트가 되는 허리, 어깨, 무릎 등의 움직임을 정밀도 높게 제시할 필요가 있다. 그러나, 종래 기술에서는 골격 정보 중, 주목해야 할 부위(주목 부위)에 대응하는 위치를 정밀도 높게 구할 수 없는 경우가 있다는 문제가 있다. In the case of presenting the motion information of the subject to the subject who performs the motion such as the back, shoulder, and knee including the nursing training, it is necessary to present motion of the waist, shoulder, knee, . However, in the prior art, there is a problem that the position corresponding to the region (the target region) to be noted in the skeleton information can not be obtained with high precision.
본 발명은 상기에 감안하여 이루어진 것으로, 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있는 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide an information processing apparatus, an information processing method, a program, and a system capable of obtaining a position corresponding to a target area of a skeleton information of a moving subject with high precision.
상술한 과제를 해결하여 목적을 달성하기 위하여, 본 발명은 아래와 같은 과제 해결 수단을 제공한다.In order to solve the above-mentioned problems and to achieve the object, the present invention provides the following problem solution means.
제1면에 있어서는, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부를 구비하는 정보 처리 장치를 제공한다.An acquiring unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; a skeleton information acquiring unit that acquires skeleton information of each part of the subject at the reference posture And a correction unit that corrects first positional information indicating a position corresponding to a target portion in the skeleton information using reference skeleton information indicating a result of estimation of the joint.
제2면에 있어서는, 상기 제1면에 있어서, 상기 보정부는 보정 후의 상기 제1 위치 정보와 보정 전의 상기 제1 위치 정보와 상기 기준 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 상기 취득부에 의해 취득된 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 상기 제1 위치 정보로서 입력하고 또한 상기 제2 위치 정보를 입력하여 보정 후의 상기 제1 위치 정보를 산출하는 정보 처리 장치를 제공한다.In the second aspect, in the first surface, the correcting unit may include second position information indicating a position corresponding to the target portion among the first position information after correction, the first position information before correction, and the reference skeleton information, Information indicating a position corresponding to the target portion in the skeleton information acquired by the acquisition unit is input as the first position information before correction and the second position information is input And the first position information after correction is calculated.
제3면에 있어서는, 상기 제2면에 있어서, 상기 보정부는 보정 전의 상기 제1 위치 정보와 상기 제2 위치 정보의 차분에 상기 보정 함수의 계수를 나타내는 보정 파라미터를 곱셈하여 얻어지는 값과 상기 제2 위치 정보를 가산한 값을 보정 후의 상기 제1 위치 정보로서 산출하는 정보 처리 장치를 제공한다.On the third surface, on the second surface, the correcting unit corrects a difference between a value obtained by multiplying a difference between the first position information before the correction and the second position information by a correction parameter indicating a coefficient of the correction function, And a value obtained by adding the position information is calculated as the first position information after correction.
제4면에 있어서는, 제3면에 있어서, 복수 시점마다, 이 시점에서의 상기 제1 위치 정보와 정답 정보의 조(組)를 대응시킨 교사 정보를 이용하여 상기 보정 파라미터를 산출하는 산출부를 더 구비하는 정보 처리 장치를 제공한다.In the fourth aspect, the calculating unit for calculating the correction parameter by using the teacher information correlated with the set of the first positional information and the corrective information at the time point on the third plane at a plurality of points of time And an information processing apparatus provided with the information processing apparatus.
제5면에 있어서는, 상기 제4면에 있어서, 상기 산출부는 보정 후의 상기 제1 위치 정보와 상기 정답 정보의 차분이 임계값 이내로 되도록 상기 보정 파라미터를 산출하는 정보 처리 장치를 제공한다.In the fifth aspect, on the fourth surface, the calculating unit calculates the correction parameter so that the difference between the corrected first position information and the correcting information is within a threshold value.
제6면에 있어서는, 제4면 또는 제5면에 있어서, 상기 골격 정보는 상기 피험자를 검출하기 위한 검출 영역을 촬영하는 촬영부에 의해 생성된 촬영 화상과 상기 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서에 의해 검출된 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 정보이며, 상기 정답 정보는 상기 촬영부 및 상기 심도 센서와는 상이한 기타 센서를 이용한 모션 캡쳐에 의해 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보인 정보 처리 장치를 제공한다.In the sixth aspect, on the fourth surface or the fifth surface, the skeleton information is detected by detecting the photographed image generated by the photographing section photographing the detection region for detecting the subject and the depth information of the subject in the detection region Wherein the correcting information is information indicating a result of estimating a joint of each part of the subject reflected by the photographed image based on the depth information detected by a depth sensor that is different from the photographing unit and the depth sensor And information indicating a position corresponding to the target area in the second skeleton information indicating a result of estimating the joint of each part of the subject by the used motion capture.
제7면에 있어서는, 상기 복수 시점마다, 이 시점에 대응하는 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 제1 위치 정보와 이 시점에 대응하는 상기 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 정답 정보를 대응시켜 상기 교사 정보를 생성하는 생성부를 더 구비하는 정보 처리 장치를 제공한다.In the seventh aspect, in each of the plurality of points of time, the first position information indicating a position corresponding to the noted region out of the skeleton information corresponding to this point and the second position information indicating the position of the noted region And a generating unit for generating the teacher information in association with the correct answer information indicating a corresponding position.
제8면에 있어서는, 제1면 내지 제7면 중 어느 한 면에 있어서, 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 나타내는 보정 후 골격 정보를 기억하는 보정 후 골격 정보 기억부와, 상기 보정 후 골격 정보 기억부에 기억된 정해진 수의 상기 보정 후 골격 정보에 근거하여 상기 보정 후 골격 정보의 필터링 처리를 실행하는 필터부를 더 구비하는 정보 처리 장치를 제공한다.On the eighth aspect, on any one of the first to seventh surfaces, after the correction after storing the post-correction skeleton information indicating the skeleton information after the position corresponding to the target portion is corrected by the correcting unit Further comprising a skeleton information storage unit and a filter unit that performs filtering processing of the skeleton information after the correction on the basis of a predetermined number of pieces of skeleton information stored in the skeleton information storage unit after the correction.
제9면에 있어서는, 제1면 내지 제8면 중 어느 한 면에 있어서, 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 더 구비하는 정보 처리 장치를 제공한다.On the ninth surface, a skeleton information after the position corresponding to the target area is corrected by the correcting unit on any one of the first to eighth surfaces is photographed as a detection area for detecting the subject And outputting a motion image superimposed on the photographed image obtained by the motion image generation means.
제10면에 있어서는, 제1면 내지 제9면 중 어느 한 면에 있어서, 상기 주목 부위는 허리인 정보 처리 장치를 제공한다.In the tenth aspect, on any one of the first to ninth surfaces, the attention area is the waist.
제11면에 있어서는, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와, 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 포함한 정보 처리 방법을 제공한다.An eleventh aspect of the present invention is an eleventh aspect of the present invention, characterized by comprising: an acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; and a step of acquiring skeleton information and a result of estimating joints of respective parts of the subject at the reference posture And a correction step of correcting first position information indicating a position corresponding to a target portion in the skeleton information based on the reference skeleton information.
제12면에 있어서는, 컴퓨터에 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와, 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 실행시키기 위한 프로그램을 제공한다.In the twelfth aspect, there is provided a computer-readable storage medium storing a computer-readable program for causing a computer to execute: an acquisition step of acquiring skeleton information indicating a result of estimating joints of respective parts of a subject exercising in a computer; And correcting the first position information indicating the position corresponding to the target portion in the skeleton information based on the reference skeleton information indicating the skeleton information.
제13면에 있어서는, 정보 처리 장치와 표시 장치를 구비하는 시스템으로서, 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부와 상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 상기 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 구비하는 시스템을 제공한다.A thirteenth aspect is a system including an information processing apparatus and a display device, the system comprising: an acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised; The first position information indicating a position corresponding to a target portion of the skeleton information based on reference skeleton information indicating a result of estimating a joint of each portion of the skeleton information, And an output control section that performs control to output, from the display device, a motion image in which the skeleton information after position correction is superimposed on a photographed image obtained by photographing a detection region for detecting the subject.
본 발명에 의하면, 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있다는 유리한 효과를 발휘한다.According to the present invention, it is possible to obtain an advantageous effect that the position corresponding to the target region in the skeleton information of the exercising subject can be obtained with high accuracy.
이하, 첨부 도면을 참조하면서 본 발명에 따른 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템의 실시 형태를 상세하게 설명한다. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of an information processing apparatus, an information processing method, a program, and a system according to the present invention will be described in detail with reference to the accompanying drawings.
(제1 실시형태)(First Embodiment)
다음에, 도 34를 이용하여 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능을 설명한다. 도 34는 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능의 일례를 나타내는 도면이다. 아래에서는 트레이닝 아이템의 항목으로서 "스켈리턴"이 선택되어 있는 트레이닝 모드시에 관한 정보 처리 장치(60)의 기능을 중심으로 설명한다. 도 34에 나타낸 바와 같이, 정보 처리 장치(60)는 접수부(101)와 화면 전환 제어부(102)와 취득부(103)와 보정부(104')와 기준 골격 정보 기억부(105')와 기준 골격 정보 생성부(106')와 출력 제어부(107')를 구비한다. 설명의 편의상, 도 34의 예에서는 본 실시 형태에 관한 기능을 주로 예시하고 있지만, 정보 처리 장치(60)가 구비하는 기능은 이들에 한정되는 것은 아니다. Next, the functions of the
접수부(101)는 각종 조작을 접수한다. 예컨대 접수부(101)는 리모컨(50)으로부터 조작 신호를 접수하는 기능을 구비하고 있다. 화면 전환 제어부(102)는 접수부(101)에서 접수한 조작 등에 따라 표시 장치(71)에 표시하는 화면을 전환시키는 제어를 실시한다. The
취득부(103)는 운동 기구(10)를 이용하여 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보(스켈리턴 데이터)를 취득한다. 본 실시 형태에서는 취득부(103)는 피험자를 검출하기 위한 검출 영역을 촬영하는 촬영부(이 예에서는 카메라(41))에 의해 생성된 촬영 화상과 검출 영역의 피사체의 심도 정보를 검출하는 심도 센서(42)에 의해 검출된 심도 정보에 의해 상기 촬영 화상에 비친 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득한다. 보다 구체적으로는 취득부(103)는 센서(40)로부터 촬영 화상과 심도 정보를 접수할 때마다, 그 접수한 촬영 화상과 심도 정보에 의해 골격 정보를 생성하고, 이 생성한 골격 정보를 취득한다. 이와 같이 하여 취득부(103)는 연속적으로 골격 정보를 취득한다. 또한 예컨대 촬영 화상과 심도 정보에 의해 골격 정보를 생성하는 기능이 취득부(103)와는 별도로 설치되고 취득부(103)가 상기 기능에 의해 골격 정보를 접수하는 형태이어도 된다. The acquiring
보정부(104')는 취득부(103)에 의해 취득된 골격 정보와 기준 자세 때의 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 이 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. 보정의 구체적인 내용에 대하여는 후술한다. 여기서, 본 실시 형태의 운동 기구(10)를 이용한 "다리 끌기 운동", 또는, "다리 젓기 운동"에 대하여는, 도 10에 나타내는 SpineShoulder(202), ShoulderLeft(203), ShoulderRight(204), Spinemid(207), SpineBase(208), HipLeft(209), HipRight(210) 등의 움직임이 중요하고, 특히, HipLeft(209), HipRight(210)를 포함한 "허리"의 움직임이 중요하다. 그 때문에, 트레이닝 아이템의 항목으로서 "스켈리턴"이 선택되어 있는 트레이닝 모드에서는 주목 부위가 되는 허리 위치의 추정 정밀도가 높은 골격 정보를 포함한 모션 화상을 피험자에게 제시하는 것이 바람직하다. The correcting unit 104 'uses the skeleton information acquired by the acquiring
아래에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있는 경우를 예로 하여 설명하지만, 이것에 한정되는 것은 아니고, 주목 부위는 임의로 변경 가능하다. 정보 처리 장치(60)는 예컨대 유저의 조작 등에 따라 주목 부위를 가변으로 설정하는 기능을 구비하는 형태이어도 된다. In the following, the case where the
기준 골격 정보 기억부(105')는 기준 골격 정보를 기억한다. 기준 골격 정보 생성부(106')는 기준 골격 정보를 생성한다. 이 예에서는 기준 골격 정보 생성부(106')는 트레이닝 모드가 선택되면, 트레이닝 모드를 개시하기 전에, 피험자에 대하여, 기준 자세(예컨대 직립 부동의 자세(정면을 향해 서있을 때의 자세))를 취할 것을 재촉하는 정보를 출력(예컨대 상기 정보를 표시 장치(71)에 표시, 또는, 상기 정보를 스피커(72)로부터 출력)한다. 그리고, 이 정보의 출력 후, 취득부(103)에 의해 연속적으로 취득되는 골격 정보의 변화량이 임계값 이하가 된 경우의 골격 정보를 기준 골격 정보로서 생성할 수 있다. The reference skeleton information storage unit 105 'stores reference skeleton information. The reference skeleton information generation unit 106 'generates reference skeleton information. In this example, when the training mode is selected, the reference skeleton information generating unit 106 'acquires a reference posture (for example, an upright posture (posture when standing toward the front)) with respect to the subject before starting the training mode (For example, displaying the information on the
설명의 편의상, 여기에서는 트레이닝 모드를 개시하기 전에, 미리 기준 골격 정보가 생성되어 있는(기준 골격 정보 기억부(105')에 기억되어 있는) 것을 전제로 하지만, 이것에 한정되는 것은 아니고, 예컨대 기준 골격 정보가 미리 생성되지 않는 형태이어도 된다. 이 형태에서는 예컨대 보정부(104')는 후술하는 보정 시에, 기준 골격 정보가 기준 골격 정보 기억부(105')에 기억되어 있는지를 확인하고, 기준 골격 정보가 기준 골격 정보 기억부(105')에 기억되어 있지 않는 경우에는, 기준 골격 정보 생성부(106')에 대하여 기준 골격 정보의 생성을 의뢰하고, 이 의뢰를 받은 기준 골격 정보 생성부(106')가 상기와 같이 하여 기준 골격 정보를 생성할 수도 있다. For convenience of explanation, it is assumed that the reference skeleton information is previously generated (stored in the reference skeleton information storage unit 105 ') before starting the training mode. However, the present invention is not limited to this, The skeleton information may not be generated in advance. In this form, for example, the correction unit 104 'checks whether the reference skeleton information is stored in the reference skeleton information storage unit 105' at the time of the correction described later, and the reference skeleton information is stored in the reference skeleton information storage unit 105 ' , The reference skeleton information generating unit 106 'requests the reference skeleton information generating unit 106' to generate the reference skeleton information, and the reference skeleton information generating unit 106 ' May be generated.
다음에, 보정부(104')에 의한 보정의 구체적인 내용을 설명한다. 보정부(104')는 보정 후의 제1 위치 정보와 보정 전의 제1 위치 정보(현재의 제1 위치 정보)와 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보의 관계를 나타내는 보정 함수에 대하여, 취득부(103)에 의해 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보로서 입력하는 동시에, 제2 위치 정보를 입력하여 보정 후의 제1 위치 정보를 산출한다. 보다 구체적으로는, 보정부(104')는 보정 전의 제1 위치 정보와 제2 위치 정보의 차분에 보정 함수의 계수를 나타내는 보정 파라미터를 곱셈하여 얻어지는 값과 제2 위치 정보를 가산한 값을 보정 후의 제1 위치 정보로서 산출한다. 상술한 바와 같이, 이 예에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있으므로, 보정부(104')는 취득부(103)에 의해 취득된 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 정보(제1 위치 정보에 상당) 및 HipRight(210)에 대응하는 위치를 나타내는 정보(제1 위치 정보에 상당)의 각각을 보정한다. 또한 상기 보정 파라미터(보정 함수를 나타내는 수학공식 등 데이터)는 ROM(62)이나 HDD 등의 기억 장치에 보존된다.Next, the details of the correction by the correction unit 104 'will be described. The correcting unit 104'corrects the first position information after correction and the first position information before correction (current first position information) and the second position information indicating the position corresponding to the target portion in the reference skeleton information Information indicating the position corresponding to the target region in the skeleton information acquired by the
본 실시 형태에서는 보정 후의 제1 위치 정보를 S', 보정 전의 제1 위치 정보를 S, 제2 위치 정보를 Sbase, 보정 파라미터를 α로 하면, 상기 보정 함수는 아래의 공식 1과 같이 나타낼 수 있다. In the present embodiment, when the first position information after correction is S ', the first position information before correction is S, the second position information is S base , and the correction parameter is a, the correction function can be expressed by the following
…(공식 1) ... (Formula 1)
또한 본 실시 형태에서는 보정 함수는 1차 함수로 표시되어 있지만, 이에 한정되지 않고, 예컨대 보정 함수는 아래의 공식 2와 같이 2차 함수로 표시되는 형태이어도 된다. In the present embodiment, the correction function is represented by a linear function, but the present invention is not limited thereto. For example, the correction function may be expressed by a quadratic function as in the following
…(공식 2) ... (Formula 2)
상기 공식 2에서는 계수 α, β가 보정 파라미터에 상당하다. In the
또한 예컨대 보정 함수는 아래의 공식 3과 같이 n차 함수로 나타내어지는 형태이어도 된다. Further, for example, the correction function may be a form expressed by an n-th order function as shown in
…(공식 3) ... (Formula 3)
상기 공식 3에서는 계수 αk가 보정 파라미터에 상당하다. In the
보정부(104')는 취득부(103)에 의해 골격 정보가 취득될 때마다, 이상으로 설명한 바와 같이 그 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. Each time the skeleton information is acquired by the
출력 제어부(107')는 보정부(104')에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상(이 골격 정보의 기초가 되는 촬영 화상) 상에 중첩시킨 모션 화상을 표시 장치(71)로부터 출력시키는 제어를 실시한다. 이 예에서는 출력 제어부(107')는 보정부(104')에 의한 보정을 실행할 때마다, 보정 후의 골격 정보를 포함한 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다. The output control unit 107 'controls the output unit 107' so that the photographed image obtained by photographing the detection area for detecting the subject with skeleton information after the position corresponding to the target area is corrected by the correction unit 104 ' Control is performed so that the motion image superimposed on the moving image (image) is output from the
도 35는 본 실시 형태의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 35에 나타낸 바와 같이, 취득부(103)는 골격 정보를 취득한다(단계 S91). 다음에, 보정부(104')는 단계 S91에서 취득된 골격 정보와 기준 골격 정보 기억부(105)에 미리 기억되어 있는 기준 골격 정보에 근거하여 단계 S91에서 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 처리를 실시한다(단계 S92). 35 is a flowchart showing an example of the operation of the
도 36은 도 35에 나타내는 단계 S92의 보정 처리의 구체적인 내용을 나타내는 흐름도이다. 도 36에 나타낸 바와 같이, 보정부(104')는 상술한 공식 1로 나타내어지는 보정 함수에 대하여, 도 35에 나타내는 단계 S91에서 취득된 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보로서 입력한다(단계 S101). 상술한 바와 같이, 이 예에서는 주목 부위로서 HipLeft(209), HipRight(210)가 미리 설정되어 있으므로, 여기에서는 보정부(104')는 도 35에 나타내는 단계 S91에서 취득된 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 정보를 보정 전의 제1 위치 정보 S로서 입력하는 것을 상정한다. Fig. 36 is a flowchart showing specific contents of the correction process of step S92 shown in Fig. As shown in Fig. 36, the correcting unit 104 'corrects the information indicating the position corresponding to the target area in the skeleton information acquired in step S91 shown in Fig. 35, And inputs it as the first position information (step S101). As described above, in this example, the
다음에, 보정부(104')는 상술한 공식 1로 나타내어지는 보정 함수에 대하여, 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보 Sbase를 입력한다(단계 S102). 여기에서는 보정부(104')는 기준 골격 정보 중 HipLeft(209)에 대응하는 위치를 나타내는 제2 위치 정보 Sbase를 입력하는 것을 상정한다. 이에 따라, 보정부(104')는 보정 후의 제1 위치 정보 S'(골격 정보 중 보정 후의 HipLeft(209)에 대응하는 위치를 나타내는 정보)를 산출할 수 있다(단계 S103). Next, the correcting unit 104 'inputs second positional information S base indicating the position corresponding to the target portion in the reference skeleton information, with respect to the correction function expressed by the above-described Formula 1 (Step S102). Here, it is assumed that the correction unit 104 'inputs the second position information S base indicating the position corresponding to the
다음에, 보정부(104')는 미리 설정된 전부의 주목 부위의 보정이 완료되었는지를 확인한다(단계 S104). 단계 S104의 결과가 긍정인 경우(단계 S104:Yes), 처리는 종료된다. 단계 S104의 결과가 부정인 경우(단계 S104:No), 보정부(104')는 미보정의 주목 부위를 선택하고(단계 S105), 그 선택한 주목 부위에 관하여 상술한 단계 S101 이후의 처리를 반복한다. 이 예에서는 보정부(104')는 미보정의 주목 부위로서 HipRight(210)를 선택하고, 상술한 단계 S101 이후의 처리를 실시하는 형태이다. 이상이 보정 처리의 구체적인 내용이다. Next, the correcting unit 104 'confirms whether correction of all of the pre-set target areas has been completed (step S104). If the result of step S104 is affirmative (step S104: Yes), the process ends. If the result of step S104 is negative (step S104: No), the correcting unit 104 'selects an uncorrected attention target area (step S105), and repeats the processes after step S101 described above with respect to the selected target area do. In this example, the correcting unit 104 'selects the
도 35로 돌아와서 설명을 계속한다. 단계 S92후, 출력 제어부(107')는 단계 S92의 보정 처리에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 이 골격 정보의 기초가 되는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다(단계 S93). Return to Fig. 35 and continue with the description. After step S92, the output control unit 107 'displays a motion image obtained by superimposing skeleton information after the position corresponding to the target region is corrected by the correction process of step S92 on the photographed image serving as a basis of the skeleton information, 71) (step S93).
이상으로 설명한 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 운동 기구(10)를 이용하여 운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보와 기준 자세 때의 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 이 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정한다. 이에 따라, 운동 기구(10)를 이용하여 운동하는 피험자의 골격 정보 중 주목 부위에 대응하는 위치를 정밀도 높게 구할 수 있다. As described above, the
(제2 실시 형태) (Second Embodiment)
다음에, 제2 실시 형태에 대하여 설명한다. 상술한 제1 실시 형태와 공통되는 부분에 대하여는 적당하게 설명을 생략한다. 도 37은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능 일례를 나타내는 도면이다. 도 37에 나타낸 바와 같이, 정보 처리 장치(60)는 교사 정보 기억부(110)와 산출부(111)를 더 구비한다. Next, a second embodiment will be described. The description of the common parts with those of the first embodiment will be omitted. 37 is a diagram showing an example of functions of the
교사 정보 기억부(110)는 교사 정보를 기억한다. 여기에서는 교사 정보는 복수 시점마다, 상기 시점에서의 제1 위치 정보와 정답 정보의 조를 대응시킨 정보이다. 정답 정보는 카메라(41) 및 심도 센서(42)와는 상이한 기타 센서를 이용한 모션 캡쳐(광학식, 기계식, 자기식 등 중의 어느 하나이어도 좋고, 공지의 각종 기술을 이용 가능)에 의해 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 정보이다. 이 예에서는 교사 정보 기억부(110)는 미리 설정된 1 이상의 주목 부위와 1대 1로 대응하는 1 이상의 교사 정보를 기억한다. 도 38은 임의의 주목 부위 j에 대응하는 교사 정보의 일례를 나타내는 도면이다. 도 38에 나타내는 교사 정보는 복수(도 38의 예에서는 n+1개)의 시각(시점)마다, 기준 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 제2 위치 정보와 이 시점에서의 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 제1 위치 정보와 이 시점에서의 제2 골격 정보 중 주목 부위 j에 대응하는 위치를 나타내는 정답 정보를 대응시킨 정보이다.The teacher
여기에서는 교사 정보는 카메라(41), 심도 센서(42), 기타 센서 등을 이용하여 사전에 작성된다. 보다 구체적으로는, 도 39에 나타낸 바와 같이, 본 실시 형태의 정보 처리 장치(60)는 교사 정보를 생성하는 교사 정보 생성부(112)와, 상술한 제2 골격 정보를 취득하는 제2 취득부(113)를 더 구비한다. In this case, the teacher information is prepared in advance using the
교사 정보 생성부(112)는 교사 정보를 생성하는 경우, 취득부(103)에 대하여 골격 정보를 연속적으로 취득할 것을 요구하는 동시에, 제2 취득부(113)에 대하여 제2 골격 정보를 연속적으로 취득할 것을 요구한다. 이 예에서는, 취득부(103)에 의한 골격 정보의 취득 타이밍과 제2 취득부(113)에 의한 제2 골격 정보의 취득 타이밍은 동기하고 있는 것으로 한다. 또, 이 예에서는 교사 정보를 생성하기 전의 단계에서 미리 기준 골격 정보는 생성이 끝난 상태인 것을 전제로 한다. The teacher
교사 정보 생성부(112)는 일정 기간 동안, 취득부(103)에 의해 골격 정보가 취득되는 동시에, 제2 취득부(113)에 의해 제2 골격 정보가 취득될 때마다, 그 취득 시점(취득 시각)과 기준 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제2 위치 정보와 취득부(103)에 의해 취득된 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보와 제2 취득부(113)에 의해 취득된 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정답 정보를 대응시켜 감으로써, 1 이상의 주목 부위마다 교사 정보를 생성할 수 있다. 교사 정보 생성부(112)에 의해 생성된 교사 정보는 교사 정보 기억부(110)에 기억된다. The teacher
도 37 및 도 39에 나타내는 산출부(111)는 교사 정보 기억부(110)에 기억된 교사 정보를 이용하여 상술한 보정 파라미터를 산출한다. 이 예에서는 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 차분이 임계값 이내가 되도록 보정 파라미터를 산출한다. The
도 40은 보정 파라미터를 산출하는 경우의 정보 처리 장치(60)의 동작예를 나타내는 흐름도이다. 도 40에 나타낸 바와 같이, 우선 산출부(111)는 보정 파라미터를 초기화한다(단계 S111). 다음에, 산출부(111)는 보정부(104')에 대하여, 교사 정보를 이용한 보정 처리를 의뢰한다(단계 S112). 이 의뢰를 받은 보정부(104')는 교사 정보에 포함되는 복수 시점마다, 대응하는 제2 위치 정보와 대응하는 제1 위치 정보를 상술한 보정 함수에 입력하여 제1 위치 정보를 보정한다. 그리고, 그 결과를 산출부(111)에 전달한다. 다음에, 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 오차를 산출한다(단계 S113). 이 예에서는 산출부(111)는 교사 정보에 포함되는 복수 시점마다, 보정 후의 제1 위치 정보와 정답 정보의 차분을 구하고 구한 차분의 제곱의 총합 d를 상기 오차로서 구한다. 이 총합 d는 아래의 공식 4로 나타낼 수 있다. 여기에서는 임의의 시간 t+k에 대응하는 보정 후의 제1 위치 정보는 S'k로 표기하고, 정답 정보는 S"k로 표기한다. 40 is a flowchart showing an example of the operation of the
…(공식 4) ... (Formula 4)
다음에, 산출부(111)는 단계 S113에서 산출한 오차(총합 d)가 임계값 이내인지 아닌지를 확인한다(단계 S114). 단계 S114의 결과가 긍정인 경우(단계 S114:Yes), 처리는 종료된다. 단계 S114의 결과가 부정인 경우(단계 S114:No), 산출부(111)는 학습 알고리즘에 근거하여 보정 파라미터를 갱신하고(단계 S115), 단계 S112 이후의 처리를 반복한다. 또한 학습 알고리즘으로서는 가우스뉴턴법이나 유전적 알고리즘(GA) 등 임의의 학습 알고리즘을 이용할 수 있다. 이상과 같이 하여 산출부(111)는 보정 후의 제1 위치 정보와 정답 정보의 차분이 임계값 이내가 되도록 보정 파라미터를 산출한다. 산출부(111)에 의해 산출된 보정 파라미터는 ROM(62)이나 HDD 등의 기억 장치에 보존된다. Next, the
(제3 실시 형태) (Third Embodiment)
다음에, 제3 실시 형태에 대하여 설명한다. 상술한 제1 실시 형태와 공통되는 부분에 대하여는 적당하게 설명을 생략한다. 도 41은 본 실시 형태의 정보 처리 장치(60)가 구비하는 기능 일례를 나타내는 도면이다. 도 41에 나타낸 바와 같이, 정보 처리 장치(60)는 보정 후 골격 정보 기억부(120)와 필터부(121)를 더 구비한다. 보정 후 골격 정보 기억부(120)는 보정부(104')에 의해 주목 부위에 대응하는 위치가 보정된 후의 골격 정보를 나타내는 보정 후 골격 정보를 기억한다. 이 예에서는 상술한 보정부(104')의 보정에 의해 보정 후 골격 정보가 얻어질 때마다, 그 얻어지는 보정 후 골격 정보는 보정 후 골격 정보 기억부(120)에 입력된다.Next, the third embodiment will be described. The description of the common parts with those of the first embodiment will be omitted. 41 is a diagram showing an example of functions provided in the
필터부(121)는 보정 후 골격 정보 기억부(120)에 기억된 정해진 수의 보정 후 골격 정보에 근거하여 보정 후 골격 정보의 필터링 처리(보정 후 골격 정보에 포함되는 오차 정보를 제거하는 처리)를 실시한다. 상기 정해진 수는 임의이며, 필터링 처리는 평균, 중앙치, 가우시언 필터 등의 임의의 평활화 필터를 이용하여 실시할 수 있다. 그리고, 출력 제어부(107')는 필터링 처리가 실행된 후의 보정 후 골격 정보를 포함한 모션 화상을 표시 장치(71)에 표시하는 제어를 실시한다. The
이상, 본 발명의 실시 형태를 설명하였지만, 상술한 실시 형태는 예로 제시한 것으로, 발명의 범위를 한정하는 것은 의도하지 않는다. 본 발명은 상술한 실시 형태 자체에 한정되는 것이 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또, 상술한 실시 형태에 개시되어 있는 복수개의 구성 요소의 적당한 조합에 의해 각종 발명을 형성할 수 있다. 예컨대, 실시 형태에 나타낸 전 구성 요소로부터 몇개의 구성 요소를 삭제하여도 된다. 또한 다른 실시 형태에 걸치는 구성 요소를 적당히 조합하여도 된다. Although the embodiments of the present invention have been described above, the embodiments described above are provided as examples, and it is not intended to limit the scope of the invention. The present invention is not limited to the above-described embodiment itself, but may be embodied by modifying the constituent elements within the scope of the present invention without departing from the gist of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-mentioned embodiments. For example, some constituent elements may be deleted from all the constituent elements shown in the embodiments. In addition, the components according to other embodiments may be appropriately combined.
상술한 실시 형태에서는 특히 허리의 움직임이 중요한 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하기 위하여, 운동 포인트가 되는 허리에 대응하는 골격 정보의 위치 정밀도를 높이는 처리를 실시하였다. 마찬가지로 어깨나 무릎의 움직임이 중요한 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하는 경우에는, 운동 포인트가 되는 어깨나 무릎에 대응하는 골격 정보의 위치 정밀도를 높이는 처리를 실시하여도 된다. 이와 같은 허리, 어깨, 무릎은 그 움직임을 초래시키는 대퇴 관절 부근, 어깨 관절 부근, 무릎 관절 부근이 신체를 크게 움직였다 하여도 비교적 작게 움직이거나 외관으로부터의 특징적인 부분이 적어, 대응하는 골격 정보의 위치를 정밀도 높게 구하여 움직임에 추종하는 것이 어려운 경우가 많다. 그 때문에, 특히, 이와 같은 신체 부위를 주목 부위로 하는 경우에, 상술한 실시 형태를 이용함으로써 종래 기술로는 정밀도가 높지 않은 주목 부위의 골격 정보의 위치 정밀도를 높일 수 있다. 물론, 종래 기술로도 비교적 정밀도 높게 위치를 구할 수 있는 다른 신체 부위(예컨대 손 등)를 주목 부위로 하는 경우에도, 한층 더 정밀도를 높이기 위하여 상술한 실시 형태를 적용하여도 된다. In the above-described embodiment, in order to present the motion information of the subject who performs the motion in which the motion of the waist is important, a process of increasing the positional accuracy of the skeleton information corresponding to the waist that is the motion point is performed. Likewise, in the case of presenting the motion information of a subject who performs motion in which shoulder or knee motion is important, processing for increasing the positional accuracy of skeleton information corresponding to the shoulder or knee as the motion point may be performed. Such waist, shoulder, and knee move relatively small even when the vicinity of the femur joint, the shoulder joint, and the knee joint, which cause the movement, move relatively small, and there are few characteristic parts from the appearance, It is often difficult to obtain the position with high precision and follow the movement. Therefore, particularly in the case where such a body part is used as a target area, the position accuracy of the skeleton information of the target area, which has not been highly precise in the prior art, can be improved by using the above-described embodiment. Of course, in the case where another body part (e.g., a hand or the like) capable of obtaining a position with a comparatively high accuracy by a conventional technique is used as a target part, the above-described embodiment may be applied to further enhance the accuracy.
또, 이상에서는 피험자가 운동 기구(10)를 이용한 운동(여기에서는 일례로서 "다리 끌기 운동"또는 "다리 젓기 운동")을 실시하는 경우를 상정하고 있지만, 이에 한정되지 않고, 피험자가 실시하는 운동의 종류는 임의이다. 예컨대, 워킹 동작을 수반하는 운동을 실시하는 피험자에 대하여 자신의 동작 정보를 제시하여도 된다. 워킹 운동은 가슴을 편 자세로 진행하는 것이 추천되므로, 워킹 운동 중에 새우 등으로 되어 있는지 가슴을 펴고 있는지를 알 수 있는 동작 정보를 피험자에게 제시할 수 있으면 바람직하다. 그 경우, 등골뼈의 중심(상술한 실시 형태의 Spinemid(207)) 부근의 위치를 정밀도 높게 구할 필요가 있어 상술한 실시 형태를 적용할 수 있다. 또, 예컨대 운동 기구(10)를 이용하지 않는 운동에서도 상술한 실시 형태를 적용 가능하다. In the above description, the subject is assumed to perform exercise using the exerciser 10 (here, for example, "leg pulling exercise" or "leg raising exercise"). However, the present invention is not limited to this, The type of the optical fiber is arbitrary. For example, it is also possible to present the self-operation information to the subject who performs the exercise accompanied by the walking operation. Since it is recommended to carry the walking motion in the posture, it is preferable that the walking motion can present the motion information to the subject in order to know whether the shoe or the like is spreading during the walking exercise. In this case, it is necessary to obtain a position in the vicinity of the center of the spinal column (
또, 상술한 실시 형태의 정보 처리 시스템(20)(정보 처리 장치(60))으로 실행되는 프로그램은 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD-ROM, flexible disk(FD), CD-R, DVD(Digital Versatile Disk), USB(Universal Serial Bus) 등 컴퓨터로 판독 가능한 기록 매체에 기록하여 제공토록 구성하여도 되고, 인터넷 등 네트워크 경유로 제공 또는 배포하도록 구성하여도 된다. 또, 각종 프로그램을 ROM 등에 미리 편입하여 제공토록 구성하여도 된다.The program executed by the information processing system 20 (information processing apparatus 60) of the above-described embodiment is a file of an installable format or executable format, such as a CD-ROM, a flexible disk (FD) Readable recording medium such as a DVD (Digital Versatile Disk) or a USB (Universal Serial Bus), or may be provided or distributed via a network such as the Internet. In addition, various programs may be incorporated in advance in a ROM or the like.
1
시스템
10
운동 기구
20
정보 처리 시스템
30
아암부
40
센서
41
카메라
42
심도 센서
50
리모컨
60
정보 처리 장치
70
출력 장치
71
표시 장치
72
스피커
101
접수부
102
화면 전환 제어부
103
취득부
104
선택부
105
가이드 정보 생성부
106
출력 제어부
104' 보정부
105' 기준 골격 정보 기억부
106' 기준 골격 정보 생성부
107' 출력 제어부
110
교사 정보 기억부
111
산출부
112
교사 정보 생성부
113
제2 취득부
120
보정 후 골격 정보 기억부
121
필터부1
20 Information Processing System 30 [
40
42
60
71
101
103
105 Guide
104 '' corrector ' 105 '
106 'reference skeleton information generation unit 107'
110 Teacher
112 teacher
120 corrected skeleton
Claims (33)
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 출력하는 제어를 실시하는 출력 제어부를 구비하는, 정보 처리 장치.Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
Control is performed to output the guide information together with the motion image in which skeleton data indicating the result of estimating the joints of the respective parts of the subject reflected in the shot image by the shot image and the depth information are superimposed on the shot image And an output control unit for outputting the information.
상기 가이드 정보 생성부는 상기 취득부에 의해 취득된 상기 골격 데이터에 근거하여 화상 정보인 상기 가이드 정보를 생성하고,
상기 출력 제어부는 상기 모션 화상과 상기 가이드 정보를 합성한 화상을 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.The image processing apparatus according to claim 1, further comprising: an acquisition unit that acquires the skeleton data,
Wherein the guide information generation unit generates the guide information which is image information based on the skeleton data acquired by the acquisition unit,
Wherein the output control unit performs control to display an image obtained by combining the motion image and the guide information on a display unit.
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치를 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 좌우 방향으로 연신하고 또한 상기 제1 축과 직교하는 제2 축을 포함한 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
A first axis extending in the depth direction of the subject and a second axis extending in the left and right direction of the subject and being orthogonal to the first axis; And generates information represented by a first plane including two axes as the guide information.
상기 가이드 정보 생성부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 상당하는 관절의 위치 궤적을 상기 제 1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하고,
상기 출력 제어부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터를 이 골격 데이터의 기초가 되는 상기 촬영 화상 상에 중첩시킨 상기 모션 화상과 상기 가이드 정보 생성부에 의해 생성된 상기 가이드 정보를 합성한 화상을 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.The apparatus according to claim 4, wherein the acquisition unit continuously acquires the skeleton data,
Wherein the guide information generating unit comprises:
The information indicating the positional locus of the joint corresponding to the center position of the joints of the respective parts included in the acquired skeleton data on the first plane is referred to as the guide Information,
Wherein the output control unit comprises:
The skeleton data obtained by superimposing the acquired skeleton data on the photographed image serving as a basis of the skeleton data and the motion image generated by the guide information generation section generated by the guide information generation section, And displays an image obtained by synthesizing the information on the display unit.
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절의 위치와 이 골격 데이터를 구비하는 상기 피험자의 머리 부분 및 어깨 부분 중 적어도 어느 하나의 윤곽을 상기 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 4,
A position of a joint corresponding to a center position of the joints of the respective parts included in the skeleton data and information indicating a contour of at least one of a head part and a shoulder part of the subject having the skeleton data on the first plane As the guide information.
상기 골격 데이터에 포함되는 상기 각 부분의 관절 중 중심 위치에 대응하는 관절 위치와 중심 위치의 추천 범위를 상기 제1 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 4,
And generates, as the guide information, information indicating the recommendation range of the joint position and the center position corresponding to the center position of the joints included in the skeleton data on the first plane.
상기 골격 데이터 및 체축(體軸)의 추천 범위를 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 상하 방향으로 연신하고 또한 상기 제1 축과 직교하는 제3 축을 포함한 제2 평면 상으로 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
A first axis extending in a depth direction of the subject and a second axis extending in a vertical direction of the subject and including a third axis orthogonal to the first axis; And generates information as the guide information.
상기 골격 데이터의 체축과 몸이 좌우로 흔들리고 있는지의 기준이 되는 기준선의 괴리(乖離) 정도를 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
And generates information indicating the degree of divergence between a body axis of the skeleton data and a reference line as a reference for whether the body is shaken to the left or right as the guide information.
상기 가이드 정보 생성부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 이 골격 데이터에 포함되는 상기 각 부분의 관절 중 대상이 되는 좌우 한 쌍의 관절의 우측에 대응하는 관절을 나타내는 제1 관절의 위치 궤적을 상기 피험자의 깊이 방향으로 연신하는 제1 축과 상기 피험자의 상하 방향으로 연신하고 또한 상기 제1 축과 직교하는 제3 축을 포함한 제2 평면 상으로 나타내는 제1 정보, 또는 좌측에 대응하는 관절을 나타내는 제2 관절의 위치 궤적을 상기 제2 평면 상으로 나타내는 제2 정보를 상기 가이드 정보로서 생성하고,
상기 출력 제어부는,
상기 취득부에 의해 상기 골격 데이터가 취득될 때마다, 그 취득된 상기 골격 데이터를 이 골격 데이터의 기초가 되는 상기 촬영 화상 상에 중첩시킨 상기 모션 화상과 상기 가이드 정보 생성부에 의해 생성된 상기 가이드 정보를 합성한 화상을 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.3. The apparatus according to claim 2, wherein the acquisition unit continuously acquires the skeleton data,
Wherein the guide information generating unit comprises:
A position locus of a first joint indicating a joint corresponding to a right side of a pair of right and left joints to be an object of the respective joints included in the skeleton data, First information represented by a first plane including a first axis extending in a depth direction of a subject and a second plane including a third axis extending in a vertical direction of the subject and orthogonal to the first axis or a first information representing a joint corresponding to the left side Generates second information indicating the positional locus of the two joints on the second plane as the guide information,
Wherein the output control unit comprises:
The skeleton data obtained by superimposing the acquired skeleton data on the photographed image serving as a basis of the skeleton data and the motion image generated by the guide information generation section generated by the guide information generation section, And displays an image obtained by synthesizing the information on the display unit.
상기 제1 축과 상기 제3 축으로 정해지는 좌표계에 있어서, 상기 취득부에 의해 취득된 상기 골격 데이터에 포함되는 상기 제1 관절의 상기 제1 축 방향의 위치와 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치의 차분을 상기 제1 축 방향의 좌표치로 하고, 이 골격 데이터에 포함되는 상기 제1 관절의 상기 제3 축 방향의 위치와 상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 상기 제1 관절의 상기 제3 축 방향의 위치의 차분을 상기 제3 축 방향의 좌표치로 하여 표시되는 변위 정보의 궤적을 나타내고,
상기 제2 정보는,
상기 제1 축과 상기 제3 축으로 정해지는 좌표계에 있어서, 상기 취득부에 의해 취득된 상기 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치와 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제1 축 방향의 위치의 차분을 상기 제1 축 방향의 좌표치로 하고, 이 골격 데이터에 포함되는 상기 제2 관절의 상기 제3 축 방향의 위치와 상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 상기 제2 관절의 상기 제3 축 방향의 위치의 차분을 상기 제3 축 방향의 좌표치로 하여 표시되는 변위 정보의 궤적을 나타내는, 정보 처리 장치.11. The information processing apparatus according to claim 10,
Wherein the position of the first joint in the first axis direction included in the skeleton data acquired by the acquisition unit and the position of the first joint in the first axis direction included in the skeleton data are determined by the first axis and the third axis, The difference between the position in the first axial direction of the two joints is used as the coordinate in the first axial direction and the position of the first joint in the third axial direction included in the skeleton data and the position of the subject in the third axial direction, A trajectory of displacement information displayed as a coordinate value in the third axial direction as a difference between a position in the third axial direction of the first joint included in the skeleton data,
Wherein the second information comprises:
Wherein the position of the second joint in the first axis direction included in the skeleton data acquired by the acquisition unit and the position of the second joint in the first axis direction included in the skeleton data are determined by the first axis and the third axis, The difference between the position in the first axial direction of the two joints and the position in the third axial direction of the second joint included in the skeleton data and the position in the third axial direction of the subject included in the skeleton data, And a trajectory of the displacement information displayed by using the difference of the position of the second joint in the third axial direction included in the skeleton data as the coordinate value in the third axial direction.
상기 제1 정보, 및 상기 제2 정보 중 어느 하나를 상기 표시부에 표시하는 제어를 실시하고, 미리 정해진 조건에 따라 표시 대상을 전환시키는, 정보 처리 장치.The image processing apparatus according to claim 10,
Controls to display either the first information or the second information on the display unit, and switches the display object according to a predetermined condition.
상기 제1 관절이 상기 제2 관절보다 상기 피험자의 앞측에 위치하는 경우에는 상기 제1 정보를 상기 표시부에 표시하는 제어를 실시하고, 상기 제2 관절이 상기 제1 관절보다 상기 피험자의 앞측에 위치하는 경우에는 상기 제2 정보를 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.13. The apparatus according to claim 12,
When the first joint is positioned on the front side of the subject than the second joint, control is performed so that the first information is displayed on the display unit, and the second joint is positioned on the front side of the subject than the first joint And displays the second information on the display unit when the second information is displayed on the display unit.
상기 제1 관절이 상기 제3 축 방향의 미리 정해진 위치에 도달한 경우에는 상기 제2 관절이 상기 미리 정해진 위치에 도달할 때까지, 상기 제1 정보를 상기 표시부에 표시하는 제어를 실시하고, 상기 제2 관절이 상기 미리 정해진 위치에 도달한 경우에는 상기 제1 관절이 상기 미리 정해진 위치에 도달할 때까지, 상기 제2 정보를 상기 표시부에 표시하는 제어를 실시하는, 정보 처리 장치.13. The apparatus according to claim 12,
And when the first joint reaches a predetermined position in the third axial direction, performs control to display the first information on the display unit until the second joint reaches the predetermined position, And when the second joint reaches the predetermined position, displays the second information on the display unit until the first joint reaches the predetermined position.
상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 무릎 관절의 위치를 하단으로 하고, 미리 정해진 양 만큼 윗방향으로 연신하여 미리 정해진 범위를 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
Wherein the subject generates information indicating the predetermined range as the guide information, with the position of the knee joint included in the skeleton data at the time of the reference posture as a lower end and extending upward by a predetermined amount.
상기 피험자가 기준 자세 때의 상기 골격 데이터에 포함되는 우측 허리의 관절과 좌측 허리의 관절 중점을 통과하고 또한 좌우 방향으로 연신하는 선으로부터 이 골격 데이터에 포함되는 상기 각 부분의 관절 중 등골뼈의 중심에 대응하는 관절의 위치보다 하측까지의 미리 정해진 범위를 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
The subject passes the joint center of the right waist and the joint of the left waist included in the skeleton data at the reference posture, and from the line extending in the left and right direction, the center of the spinal bone in the joints of the respective parts included in the skeleton data And generates information indicating a predetermined range up to a position lower than a position of the corresponding joint as the guide information.
상기 피험자의 좌우 방향으로 연신하는 제2 축에 대하여, 상기 골격 데이터에 포함되는 우측 허리에 대응하는 관절과 좌측 허리에 대응하는 관절을 연결하는 선이 이루는 각도에 따라 우측 허리 및 좌측 허리 중 어느 한 쪽이 다른 쪽에 비하여 상기 피험자의 앞측으로 돌출되어 있는 정도를 나타내는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The information processing apparatus according to claim 2,
And a second axis extending in the left-right direction of the subject, wherein, in accordance with an angle formed by a line connecting a joint corresponding to a right waist included in the skeleton data and a joint corresponding to a left waist, As the guide information, information indicating the degree to which the subject is projected toward the front side of the subject than the other side.
상기 가이드 정보 생성부는,
상기 촬영 화상 및 상기 심도 정보에 근거하여 상기 페달의 위치가 상기 피험자의 깊이 방향으로 연신하는 제1 축과 평행인 방향의 미리 정해진 위치에 도달하였다고 판단한 경우에, 다리를 올리는 동작을 실시할 것을 재촉하는 정보를 상기 가이드 정보로서 생성하는, 정보 처리 장치.The exercise device according to claim 1, wherein the exercise device is a member to which the subject's foot is raised, and includes a pedal for performing a leg-pitching exercise for alternately moving forward and backward while rotating the leg,
Wherein the guide information generating unit comprises:
When it is judged that the position of the pedal has reached a predetermined position in a direction parallel to the first axis extending in the depth direction of the subject based on the photographed image and the depth information, And generates the information as the guide information.
상기 운동 기구를 이용하는 운동은 다리를 회전시키면서 교대로 전후로 이동시키는 다리 젓기 운동인, 정보 처리 장치.19. The method according to any one of claims 1 to 18,
Wherein the exercise using the exercise device is a leg-stir exercise in which the legs are alternately moved back and forth while rotating.
운동 기구를 이용하여 운동하는 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상, 및 상기 검출 영역의 피사체의 심도 정보에 근거하여 이상적인 운동을 실행하고 있는지를 상기 피험자에게 인식시키기 위한 가이드 정보를 생성하는 가이드 정보 생성부와,
상기 촬영 화상과 상기 심도 정보에 의해 상기 촬영 화상에 비친 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 데이터를 상기 촬영 화상 상에 중첩시킨 모션 화상과 함께 상기 가이드 정보를 상기 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 구비하는, 시스템.A system having an information processing apparatus and a display apparatus,
Generates guide information for recognizing whether or not the subject is performing an ideal exercise based on the photographed image obtained by photographing the detection region for detecting the subject exercising using the exercise device and the depth information of the subject in the detection region A guide information generating unit,
And outputting the guide information from the display device together with the motion image in which skeleton data representing the result of estimating the joint of each part of the subject reflected on the shot image by the shot image and the depth information is superimposed on the shot image And an output control section for performing control for causing the control section to perform the control.
상기 취득부에 의해 취득된 상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보를 이용하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부를 구비하는, 정보 처리 장치.An acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A first position information indicating a position corresponding to a target portion in the skeleton information, using the skeleton information acquired by the acquisition section and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture, And a correction unit for correcting the correction value.
복수 시점마다, 상기 시점에서의 상기 제1 위치 정보와 정답 정보의 조(組)를 대응시킨 교사 정보를 이용하여 상기 보정 파라미터를 산출하는 산출부를 더 구비하는, 정보 처리 장치.24. The method of claim 23,
Further comprising a calculation unit that calculates the correction parameter by using teacher information that associates a pair of the first position information and correct answer information at the time point at a plurality of points of time.
상기 정답 정보는 상기 촬영부 및 상기 심도 센서와는 상이한 기타 센서를 이용한 모션 캡쳐에 의해 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 정보인, 정보 처리 장치.The image processing apparatus according to claim 24, wherein the skeleton information includes at least one of a photographed image generated by a photographing section for photographing a detection region for detecting the subject, and the depth information detected by a depth sensor for detecting depth information of a subject of the detection region Information indicating a result of estimating a joint of each part of the subject reflected on the photographed image,
Wherein the correcting information includes information indicating a position corresponding to the target portion among second skeleton information indicating a result of estimating a joint of each part of the subject by motion capturing using a different sensor from the photographing unit and the depth sensor Information processing apparatus.
상기 복수 시점마다, 이 시점에 대응하는 상기 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 제1 위치 정보와, 이 시점에 대응하는 상기 제2 골격 정보 중 상기 주목 부위에 대응하는 위치를 나타내는 상기 정답 정보를 대응시켜 상기 교사 정보를 생성하는 생성부를 더 구비하는, 정보 처리 장치.27. The method of claim 26,
The first position information indicating a position corresponding to the noted region of the skeleton information corresponding to this point in time and the position corresponding to the noted region out of the second skeleton information corresponding to this point of time Further comprising a generation unit generating the teacher information in association with the correct answer information.
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 나타내는 보정 후 골격 정보를 기억하는 보정 후 골격 정보 기억부와,
상기 보정 후 골격 정보 기억부에 기억된 정해진 수의 상기 보정 후 골격 정보에 근거하여 상기 보정 후 골격 정보의 필터링 처리를 실시하는 필터부를 더 구비하는, 정보 처리 장치.22. The method of claim 21,
A post-correction skeleton information storage unit that stores post-correction skeleton information indicating the skeleton information after the position corresponding to the target area is corrected by the correcting unit;
And a filter unit that performs filtering processing of the post-correction skeleton information based on the predetermined number of post-correction skeleton information stored in the post-correction skeleton information storage unit.
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 더 구비하는, 정보 처리 장치.22. The method of claim 21,
The skeleton information after the position corresponding to the target area is corrected by the correcting section is output from the display device in a state in which the detection area for detecting the subject is photographed and superimposed on the photographed image And an output control unit.
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 포함한, 정보 처리 방법.An acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
And a correction step of correcting first skeleton information and first position information indicating a position corresponding to a target portion of the skeleton information on the basis of reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture , Information processing method.
운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득 단계와,
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정 단계를 실행시키기 위한, 매체에 저장된 프로그램.On the computer,
An acquisition step of acquiring skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A correction step of correcting first positional information indicating a position corresponding to a target portion in the skeleton information based on the skeleton information and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture A program stored on a medium, for example.
운동하는 피험자의 각 부분의 관절을 추정한 결과를 나타내는 골격 정보를 취득하는 취득부와,
상기 골격 정보와 기준 자세 때의 상기 피험자의 각 부분의 관절을 추정한 결과를 나타내는 기준 골격 정보에 근거하여 상기 골격 정보 중 주목 부위에 대응하는 위치를 나타내는 제1 위치 정보를 보정하는 보정부와,
상기 보정부에 의해 상기 주목 부위에 대응하는 위치가 보정된 후의 상기 골격 정보를 상기 피험자를 검출하기 위한 검출 영역을 촬영하여 얻어지는 촬영 화상 상에 중첩시킨 모션 화상을 상기 표시 장치로부터 출력시키는 제어를 실시하는 출력 제어부를 구비하는, 시스템.A system having an information processing apparatus and a display apparatus,
An acquisition unit that acquires skeleton information indicating a result of estimating a joint of each part of a subject to be exercised;
A correcting unit correcting first positional information indicating a position corresponding to a target portion of the skeleton information based on the skeleton information and reference skeleton information indicating a result of estimating a joint of each part of the subject at the reference posture;
Control is performed to output, from the display device, a motion image in which the skeleton information after the position corresponding to the target region is corrected by the correcting section is superimposed on the captured image obtained by photographing the detection region for detecting the subject And an output control section for outputting the output control signal.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2015-194454 | 2015-09-30 | ||
JP2015194454A JP6668660B2 (en) | 2015-09-30 | 2015-09-30 | Information processing device and system |
JP2015242616A JP2017107503A (en) | 2015-12-11 | 2015-12-11 | Information processing apparatus, information processing method, program, and system |
JPJP-P-2015-242616 | 2015-12-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170038722A true KR20170038722A (en) | 2017-04-07 |
KR101886511B1 KR101886511B1 (en) | 2018-08-07 |
Family
ID=58583507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160125564A KR101886511B1 (en) | 2015-09-30 | 2016-09-29 | Information processing device and system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101886511B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101970687B1 (en) * | 2018-04-11 | 2019-04-19 | 주식회사 큐랩 | Fitness coaching system using personalized augmented reality technology |
KR102000763B1 (en) * | 2018-02-07 | 2019-07-16 | 주식회사 인프라웨어테크놀러지 | Smart mirror device for providing personal training service |
KR20200022788A (en) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | Device and method for analyzing motion |
KR20210017462A (en) * | 2019-08-08 | 2021-02-17 | 주식회사 엘지유플러스 | Apparatus and method for measuring body motion similarity |
KR20220080609A (en) * | 2020-12-07 | 2022-06-14 | 서울과학기술대학교 산학협력단 | Apparatus for displaying contents |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5739872A (en) | 1980-08-21 | 1982-03-05 | Matsushita Electric Works Ltd | Rotary electric razor |
WO2005096939A1 (en) | 2004-04-07 | 2005-10-20 | The New Industry Research Organization | Rehabilitation assisting measurement system and rehabilitation assisting measurement method |
KR101394276B1 (en) * | 2013-12-31 | 2014-05-13 | (주) 골프존 | Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same |
JP2015027437A (en) * | 2013-07-01 | 2015-02-12 | 株式会社東芝 | Action information processing device and method |
JP2015061579A (en) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | Motion information processing apparatus |
-
2016
- 2016-09-29 KR KR1020160125564A patent/KR101886511B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5739872A (en) | 1980-08-21 | 1982-03-05 | Matsushita Electric Works Ltd | Rotary electric razor |
WO2005096939A1 (en) | 2004-04-07 | 2005-10-20 | The New Industry Research Organization | Rehabilitation assisting measurement system and rehabilitation assisting measurement method |
JP2015027437A (en) * | 2013-07-01 | 2015-02-12 | 株式会社東芝 | Action information processing device and method |
JP2015061579A (en) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | Motion information processing apparatus |
KR101394276B1 (en) * | 2013-12-31 | 2014-05-13 | (주) 골프존 | Image generating method for analysis of user's golf swing motion through depth image analysis, and method and apparatus for analysis of golf swing motion using the same |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102000763B1 (en) * | 2018-02-07 | 2019-07-16 | 주식회사 인프라웨어테크놀러지 | Smart mirror device for providing personal training service |
KR101970687B1 (en) * | 2018-04-11 | 2019-04-19 | 주식회사 큐랩 | Fitness coaching system using personalized augmented reality technology |
KR20200022788A (en) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | Device and method for analyzing motion |
KR20210017462A (en) * | 2019-08-08 | 2021-02-17 | 주식회사 엘지유플러스 | Apparatus and method for measuring body motion similarity |
KR20220080609A (en) * | 2020-12-07 | 2022-06-14 | 서울과학기술대학교 산학협력단 | Apparatus for displaying contents |
Also Published As
Publication number | Publication date |
---|---|
KR101886511B1 (en) | 2018-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101886511B1 (en) | Information processing device and system | |
CN111263953B (en) | Action state evaluation system, device, server, method and storage medium thereof | |
JP6668660B2 (en) | Information processing device and system | |
US11571141B2 (en) | Walking support system, walking support method, and walking support program | |
JP2017107503A (en) | Information processing apparatus, information processing method, program, and system | |
CN111093782A (en) | Scoring method, scoring program, and scoring device | |
US20130171601A1 (en) | Exercise assisting system | |
CN109219426B (en) | Rehabilitation training assistance control device and computer-readable recording medium | |
US9418470B2 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
US9202386B2 (en) | Center of gravity shifting training system | |
JP5431650B2 (en) | Walking navigation system | |
WO2011007545A1 (en) | Training machine and computer-readable medium | |
JP2013066696A (en) | Image processing system and image processing method | |
KR102320960B1 (en) | Personalized home training behavior guidance and correction system | |
JP6633875B2 (en) | Exercise menu providing system and exercise menu providing method | |
KR101657277B1 (en) | User customized real-time feedback walking exercise equipment through the observed behavior | |
CN112044023B (en) | Walking training system, storage medium storing control program for walking training system, and method for controlling walking training system | |
KR101837142B1 (en) | Apparatus for providing treadmill content using interaction with user and method thereof | |
CN115244360A (en) | Calculation method | |
JP2019024579A (en) | Rehabilitation support system, rehabilitation support method, and program | |
JP6891803B2 (en) | Walking aid | |
JP2005230068A (en) | Method and device for supporting exercise | |
JP6881635B2 (en) | Information processing equipment, systems and programs | |
WO2021192908A1 (en) | Tracking method | |
TWI736148B (en) | Posture detecting system and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |