WO2023176567A1 - 運動支援システム - Google Patents

運動支援システム Download PDF

Info

Publication number
WO2023176567A1
WO2023176567A1 PCT/JP2023/008462 JP2023008462W WO2023176567A1 WO 2023176567 A1 WO2023176567 A1 WO 2023176567A1 JP 2023008462 W JP2023008462 W JP 2023008462W WO 2023176567 A1 WO2023176567 A1 WO 2023176567A1
Authority
WO
WIPO (PCT)
Prior art keywords
exerciser
unit
information
exercise
section
Prior art date
Application number
PCT/JP2023/008462
Other languages
English (en)
French (fr)
Inventor
康宏 小宮
隆 近藤
邦夫 山田
公成 田宮
敏 荒井
Original Assignee
株式会社WisH Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社WisH Lab filed Critical 株式会社WisH Lab
Publication of WO2023176567A1 publication Critical patent/WO2023176567A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities

Definitions

  • the present invention relates to an exercise support system, and for example, to a system for supporting physical exercise (walking motion, bicycle pedaling, stepping up and down, etc.) performed in rehabilitation for elderly and disabled people.
  • the "training device” disclosed in Patent Document 1 uses a rotation detection mechanism provided in a health equipment such as a treadmill to determine walking distance, and displays scenery that changes depending on the walking distance. By controlling the video display speed (playback speed) according to the exerciser's movement, users can enjoy the scenery that changes according to their walking movements, just as if they were actually walking on the road.
  • the "exercise assistance system" of Patent Document 2 detects the state of exercise of an exerciser by attaching a colored marker to the hand or foot of the exerciser and detecting the position of the colored marker with a camera. It is. Unlike Patent Document 1, it is not necessary to provide a dedicated rotation detection mechanism to the health appliance, so it can be realized at low cost.
  • the "exercise support device and exercise support method" of Patent Document 3 is a method of detecting the amount of exercise in a health appliance and detecting the distance walked as in Patent Document 1, and another method that detects the amount of exercise from an image taken with a camera.
  • the health appliance requires dedicated hardware to detect the amount of rotation and output it to the outside, making it impossible to use commercially available health appliances as is and making them expensive. turn into. Furthermore, it cannot be used for health equipment such as climbing a step stool or rowing a boat because it does not have a rotating mechanism and cannot detect the motion of exercise, and is limited to some health equipment that has a rotating mechanism such as walking machines and fitness bikes. It was getting worse.
  • Patent Document 3 In the background art of Patent Document 3, it is necessary to have a processing unit and communication means for measuring the amount of exercise inside the health appliance, which is expensive, as in Patent Document 1.
  • Patent Document 3 also proposes an example in which the period of exercise can be detected by detecting an image of the person exercising, and an example is given in which the width of the arm swing or the width of the leg raised is detected from the camera image. .
  • the width of arm swing and leg lift from camera images it is necessary to change the camera position and to perform detection specific to moving parts.
  • the present invention has been made with attention to the above-mentioned problems, and its purpose is to detect the movement of an exerciser who is training.
  • the health equipment used does not require special hardware and can be realized at low cost.
  • Many types of health equipment are available.
  • Motion can be detected stably without using complicated algorithms.
  • An object of the present invention is to provide an exercise support system that does the following.
  • the imaging unit is placed at a position that captures the face of the exerciser from the front, regardless of the type of exercise.
  • an imaging unit is placed directly above a display device on which images are displayed.
  • the imaging unit is placed close to the information.
  • the present invention further includes an audio input/output section.
  • a switch is provided to control the audio input section.
  • dual tasks are provided to the exerciser.
  • the present invention further includes a biological information analysis unit that analyzes biological information from movement information of the exerciser, a spatial information analysis unit that analyzes health equipment or information around the exerciser, a health record unit that records the analysis information,
  • the exerciser includes a health management section that detects danger information regarding the exerciser from information recorded in the health record section.
  • the apparatus also includes means for dividing a moving image into a plurality of still images and changing the speed at which the still images are displayed according to the amount of exercise of the athlete, and means for adding text to the still images.
  • the present invention further includes means for determining readout conditions for the video to be displayed from the shooting information of the video data and the type of physical exercise. Furthermore, the imaging unit has a wide-angle lens that captures the head of the exerciser near the center and the entire body and periphery of the exerciser.
  • the present invention focuses on these points, and uses a camera to photograph an exercising person and detects a change in the position of the exerciser's head or a reversal of a change in the apparent size of the head. .
  • Detection of the head can be easily achieved by using image processing methods such as face detection and facial recognition using AI (artificial intelligence), and it is also possible to detect the head by installing a camera in front of the person exercising. Detection can be performed with high accuracy.
  • the present invention there is no need to change the head detection algorithm depending on the type of body movement. Therefore, basically the same algorithm can be used regardless of the type of physical exercise, and can be used with many types of health equipment.
  • the camera position may be any position where head movement can be detected, and there is no need to change the camera position depending on the body movement.
  • the present invention there is no need for special hardware in the health equipment used, and there is no need to attach markers or sensors to the exerciser, and the movement of the exerciser can be captured only with a camera, thereby accelerating physical exercise. Since we decided to detect the temperature, the system can be constructed at low cost. Additionally, since it is only necessary to detect head movements, there is no need for complex recognition algorithms like those used to detect hands and feet, and it can be applied to many body movements.
  • FIG. 1 is a perspective view showing the overall configuration of an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the configuration of the signal processing section of FIG. 1;
  • FIG. 3 is a block diagram showing a configuration example of the image analysis section of FIG. 2;
  • FIG. 3 is a diagram illustrating an example of a type of exercise and a detection time interval of an exercise level.
  • 5 is a time chart showing the operation of the signal processing section.
  • (A) shows an example of the relationship between the type of exercise and sound, and
  • (B) shows an example of the relationship between the exercise level and BGM or action sound.
  • FIG. 3 is a block diagram showing an example of the configuration of the video control section shown in FIG. 2;
  • FIG. 3 is a block diagram showing an example of the configuration of the video control section shown in FIG. 2;
  • FIG. 3 is a block diagram showing an example of the configuration of the video control section shown in FIG. 2;
  • FIG. 6 is a diagram showing a case where a smartphone is used as the imaging unit in the embodiment.
  • 3 is a block diagram illustrating a configuration example of a video control unit 330 according to a second embodiment.
  • FIG. 7 is a block diagram showing an example of the configuration of a signal processing section according to a third embodiment.
  • 13 is a block diagram showing an example of the configuration of the audio control section shown in FIG. 12.
  • FIG. 13 is a block diagram showing a configuration example of the image analysis section shown in FIG. 12.
  • FIG. 7 is a diagram showing a detection area such as a head in Example 3.
  • FIG. 7 is a diagram illustrating an example of a content selection screen in Embodiment 3.
  • FIG. 7 is a block diagram showing a configuration example of a signal processing section according to a fourth embodiment.
  • FIG. 18 is a block diagram showing a configuration example of the main part of FIG. 17.
  • FIG. 7 is a diagram showing an example of a quiz screen in Example 4.
  • 12 is a block diagram showing an example of the configuration of a signal processing section according to a fifth embodiment.
  • FIG. FIG. 7 is a diagram showing how a dangerous situation is grasped in Example 5.
  • 7 is a diagram showing an example of the angle of view of the imaging unit in Example 5.
  • Example 1 will be described with reference to FIGS. 1 to 10.
  • a step stool is used as the health equipment.
  • a display device 110 such as a large television is placed in front of the elevator platform 100, and the exerciser EX can move on the elevator platform 100 while watching this display device 110.
  • the signal processing unit 200 is composed of, for example, a personal computer, and is connected to an imaging unit 120 (for example, a USB camera) having a pixel count equivalent to that of an HDTV (High Definition Television) via a USB cable (not shown). As shown in the figure, it is installed so as to photograph the exerciser EX from the front.
  • an imaging unit 120 for example, a USB camera
  • This imaging unit 120 is equipped with a lens with a wide angle of view (for example, an angle of view of 90 degrees), and has an angle of view that photographs the whole body from the head to the feet even when the exerciser EX moves up and down the step. . Due to the wide angle of view, the number of pixels for imaging the head is small (around 80 pixels x 80 pixels), but the number of pixels is sufficient for head detection processing using image recognition technology.
  • the display device 110 is connected to the signal processing unit 200 via an HDMI (registered trademark) (High Definition Multimedia Interface) cable or the like, and images are displayed on the display device based on the video output signal. be done. Further, the signal processing section 200 and the audio output device 130 are connected with a speaker cable or the like, and audio is emitted from the audio output device 130 based on the audio output signal. Note that the elevating platform 100 does not have any hardware such as a sensor for detecting the movement of the exerciser EX, and is not connected to the signal processing unit 200.
  • the signal processing section 200 includes an overall control section 210, an image analysis section 220, a video control section 230, a video data storage section 240, an audio control section 250, and an audio data storage section 260.
  • the overall control unit 210, the image analysis unit 220, the video control unit 230, and the audio control unit 250 are, for example, application software, and are activated based on input using a keyboard, mouse, or the like (not shown).
  • the video data storage section 240 and the audio data storage section 260 are realized by a hard disk memory of a personal computer or the like.
  • Images sequentially captured by the imaging unit 120 are sent to the image analysis unit 220 as image input signals (image data).
  • the image analysis unit 220 performs various image analyzes as described below, and generates image analysis information including movement information, exerciser information, biological information, gesture information, and spatial information.
  • the overall control section 210 controls the video control section 230 and the audio control section 250 from the image analysis information generated by the image analysis section 220.
  • the overall control section 210 controls the entire system, and in particular sends necessary data to the video control section 230 and the audio control section 250 based on image analysis information acquired from the image analysis section 220, and controls them.
  • the video data storage unit 240 stores a plurality of types of video data of about 10 to 20 minutes created in video formats such as mp4 and mov.
  • the video control unit 230 controls the display of video data read from the video data storage unit 240 according to the movement information (exercise level) that the overall control unit 210 receives from the image analysis unit 220.
  • the audio data storage unit 260 stores BGM (Background Music), movement sounds (sound effects) such as footsteps, and greeting messages to exerciser EX.
  • BGM Background Music
  • the audio control unit 250 controls the audio output of the audio data read from the audio data storage unit 260 according to the motion information (inversion information, exercise level) that the overall control unit 210 receives from the image analysis unit 220.
  • the image analysis section 220 includes a motion information analysis section 221, a gesture analysis section 222, an exerciser information analysis section 223, a biological information analysis section 224, and a spatial information analysis section 225. Each analysis section will be explained below.
  • the motion information analysis unit 221 detects motion information from the image input signal.
  • the motion information includes head information, reversal information, count information, and exercise level detected by the following four detection units (underlined parts).
  • Head detection unit 221A Acquires the position of the head as rectangular information using techniques such as face detection processing and eye detection processing, and detects the center position coordinates of this rectangle and the size of the rectangle as head information. do.
  • Reversal detection unit 221B detects temporal changes in the center position and size of the rectangle detected by the head detection unit 221A, and determines whether the direction of change has been reversed. For example, when it is determined that the head has changed from moving to the right to moving to the left, reversal information is issued. Note that since the moving direction of the head for detecting reversal information differs depending on the body movement, the direction in which reversal is detected changes depending on the body movement. Furthermore, in the case of climbing up and down a step stool or rowing a boat, the size of the head changes due to body movement, so it may be possible to detect not only a change in the moving direction of the head but also a change in the size of the head. A summary of these results is shown in Table 2.
  • Count unit 221C Counts the number of inversion information detected by the inversion detection unit and detects the count information. In the case of an exercise such as going up and down a step stool, it corresponds to the number of steps taken up and down the stairs, in the case of walking exercise, it corresponds to the number of steps, and in the case of bicycle cycling, it corresponds to the number of pedal rotations.
  • Exercise level detection unit 221D detects the time interval T in which reversal information is detected, and determines the exercise level according to the time interval T. Note that, as will be described later, the speed of the displayed video is changed depending on the exercise level.
  • the exercise level is set to the following five levels, and is set as follows.
  • the exercise level when the exercise level is low (0 or 1), the physical movement of the exerciser EX is slow, and when the exercise level is high (3 or 4), it means that the physical movement of the exerciser EX is fast.
  • Exercise level 2 is a moderately fast physical exercise.
  • the time interval T varies depending on the type of physical exercise. For example, the interval between movement reversals is shorter in bicycle pedaling than in walking, so the time interval T is smaller. Therefore, as shown in FIG. 4, by changing the time interval T for detecting the exercise level according to the physical exercise, the exercise level can be kept at the same level during each standard physical exercise.
  • the gesture analysis unit 222 detects gesture information from the head information detected by the motion information analysis unit 221.
  • the gesture information is skeleton position information and handprint information detected by the following two detection units (underlined parts).
  • Skeletal position detection unit 222A Detects head position coordinates, shoulder position coordinates, waist position coordinates, hand position coordinates, knee position, foot position coordinates, etc. as skeletal position information from the image of the exerciser EX. From the information on the skeletal position, it can be determined whether the exerciser EX is standing upright, raising his hands, leaning a little, falling down, etc.
  • Handprint detection unit 222B Detects the position of each finger of the hand as handprint information. For example, by detecting the position of your index finger or thumb, you can determine which direction you are pointing.
  • the exerciser information analysis unit 223 detects exerciser information from the head information detected by the movement information analysis unit 221.
  • the exerciser information is personal information and exerciser position information detected by the following two detection units (underlined parts).
  • Face authentication unit 223A determines which of the members registered in advance the exerciser EX is, and detects personal information such as name and age.
  • Exerciser position detection unit 223B detects how far the position of exerciser EX is shifted from the front of the imaging unit 120. Whether the head position coordinates of the exerciser EX obtained from the head information are shifted to the left, right, up or down with respect to the center of the image captured by the imaging unit 120 is detected as the difference value as the exerciser position information.
  • Face registration unit 223C Registers a face image used by the face authentication unit 223A.
  • the biological information analysis unit 224 detects biological information from the head information detected by the movement information analysis unit 221 and the gesture information detected by the gesture analysis unit 222.
  • the biological information is heart rate, fatigue level, facial expression information, and balance information detected by the following four detection units (underlined parts).
  • Heartbeat detection unit 224A It is known that the color of a person's face changes rapidly depending on the heartbeat. Temporal changes in the complexion of the exerciser EX are detected from the head position, and the heart rate is calculated.
  • Fatigue level detection unit 224B detects heart rate fluctuation from the heartbeat detected by the heartbeat detection unit. It is known that heart rate variability is correlated with the state of stress, and the degree of stress is detected and output as the degree of fatigue.
  • Facial expression detection unit 224C Analyzes the face of the exerciser EX and detects the degree of happiness, anger, romance, and happiness as facial expression information. Determine whether physical exercise is becoming too difficult or whether you still have some leeway. By analyzing the line of sight direction of exerciser EX, the degree of concentration can also be determined. d.
  • Balance detection section 224D Detects the left and right balance as balance information from the skeletal information of the exerciser detected by the skeletal detection section.
  • the spatial information analysis unit 225 detects spatial information from the image input signal.
  • the spatial information is health equipment information and surrounding information detected by the following two detection units (underlined parts).
  • Health appliance discrimination unit 225A determines what kind of health appliance is used by exerciser EX and outputs it as health appliance information. For example, whether it is a walking machine, a fitness bike, or going up and down a step stool.
  • Surroundings determination unit 225B determines whether danger is approaching behind the exerciser EX, and outputs it as peripheral information. For example, image recognition processing is used to determine if something is about to fall off a shelf or if the floor is wet and slippery.
  • FIG. 5 shows the temporal flow of the signal processing section 200 (see FIG. 2).
  • the reversal detection unit 221B Based on the changes in the center position coordinates of the head and the size of the rectangle detected by the head detection unit 221A of the image analysis unit 220, the reversal detection unit 221B detects the point in time when the direction of movement of the head position changes as reversal information. do.
  • the head position fluctuates up and down due to the body movement using the step up and down.
  • the timing indicated by ⁇ in FIG. 5 is when the direction of movement of the head changes from top to bottom or from bottom to top.
  • the exercise level is the value obtained by inputting T n into the table shown in FIG. 4 . Note that the exercise level may be determined by inputting the average value of T n and the immediately preceding T n-1 into the table shown in FIG.
  • the video display frame rate is determined according to the exercise level.
  • FIG. 5 shows that the exercise level is updated to "1" and the frame rate is changed from 1 (fps) to 15 (fps) based on the detection result at timing T1 .
  • the video display frame rate increases, and the display speed of video data also increases. Note that this video display method will be described later.
  • an action sound as shown in FIG. 6(A) is output in accordance with the body movement.
  • motivation for exercise is increased.
  • BGM is played only when the exercise level is 2, and BGM is not played when the exercise level is low.
  • BGM provides comfort, but if your physical activity level is low, you will want to listen to the BGM as soon as possible and exercise harder. Additionally, if the level of exercise is too high, there is a risk of falling, so background music and movement sounds are turned off to alert the exerciser to the danger. Note that, as shown in FIG. 6(A), by using different BGM depending on the physical movement, it is possible to obtain a sense of presence according to the movement.
  • the video control section 230 (see FIG. 2) will be explained using FIGS. 7 to 9.
  • the video data (moving image format such as MP4, mov, etc.) read from the video data storage unit 240 is converted into continuous still images by the decoding unit 231 and recorded in the still image memory 232, as shown in FIG. be done.
  • the still images recorded in the still image memory 232 are sequentially read out, and the text synthesis unit 233 converts the images into images with text information such as a message according to the exercise level, the exercise level, and the number of reversals, as shown in FIG. synthesized as a signal.
  • the exercise message is composed of a message encouraging exercise when the exercise level is low, and a message urging caution when the exercise level is high, each of which is synthesized as a text.
  • the display time setting section 234 sets the display time of the image in which the text is synthesized according to the exercise level
  • the video display control section 235 sets the display time of the image in which the text is synthesized according to the exercise level.
  • all the text in the video to which text is added is located closer to the imaging unit 120 than the video display area 111 of the display device 110 (in this figure, the text display area 112 is located on the upper side of the display device). ).
  • exerciser EX tends to direct his/her line of sight to the displayed text information, as a result, exerciser EX's line of sight naturally turns toward the imaging unit 120, which reduces face detection failures and This has the effect of increasing detection accuracy.
  • step S1 initial data is first set in step S1.
  • step S2 in preparation for starting the exercise, the exercise level is set to 0, and a start message based on FIG. 6 is outputted as voice to notify the exerciser EX of the start, and the exerciser EX starts the exercise.
  • the head detection section 221A of the image analysis section 220 in FIG. 3 detects the position and size of the head from the image input from the imaging section 120.
  • step S4 it is determined from the head information whether the inversion detection unit 221B has detected an inversion of the head.
  • step S5 the video display time is set based on FIG. 8(A) according to the current exercise level, and the text-synthesized video data is output to the display device 110.
  • step S6 an operation sound corresponding to the movement is generated in step S6, and the number of reversals is updated in the counting section 221C in step S7.
  • step S8 the reversal time interval T is detected, and in step S9, the exercise level is updated based on FIG. 4.
  • step S10 it is determined whether the exercise level is "2" or not, and if it is "2", BGM is played, or the BGM played from the continuation of the previously played BGM is played (step S11). Then, if the exercise level is not "2", the BGM is stopped (step S12).
  • step S13 text is synthesized with the read video data according to the exercise level and the number of counts, and the process returns to the image display according to the exercise level in step S5.
  • the system can be made inexpensive because a normal one can be used as it is for the elevating and descending step stool 100, which is a health appliance, without using dedicated hardware. Further, since the movements of the exerciser EX can be captured only by the imaging unit 120 without attaching markers, sensors, etc. to the exerciser EX, there is no inconvenience for the exerciser EX. Furthermore, regardless of the type of exercise, the amount of exercise can be detected from the front image of the head of the exerciser EX captured by the imaging unit 120 attached to the top of the display device 110.
  • the angle of view of the imaging unit 120 is wide so that the whole body of the exerciser EX can be photographed even during physical exercise, and the whole body can be photographed even when the exerciser EX moves up and down, left and right, or forward and backward during physical exercise.
  • the wide-angle imaging unit 120 When the wide-angle imaging unit 120 is used, the head of the exerciser EX in the center is large, and the peripheral parts appear distorted and small compared to the former, so the number of pixels for the head increases, making it difficult to detect the position of the head. It is advantageous for Note that since detailed information about the head is required for detection of biological information, which will be described later, it is desirable that the number of pixels for imaging the head be larger. Therefore, like an imaging unit installed in a mobile terminal, imaging units with different angles of view may be arranged close to each other, and an image of the head and an image of the whole body may be captured by the imaging units with different angles of view.
  • the display device 110, the imaging unit 120, the signal processing unit 200, and the audio output device 130 are separate units, but they may all be integrated, for example, in a mobile terminal such as a smartphone. or a tablet terminal (information terminal).
  • each processing section of the signal processing section 200 is implemented as application software on a smartphone or tablet terminal, thereby improving usability.
  • the smartphone 150 may be installed on the TV 160 and the screen of the smartphone 150 may be output to the TV 160 by wire or wirelessly.
  • the video content may be on the Internet, and for example, video content on a video site such as YouTube (registered trademark) may be selected.
  • the TV160 is an Android (registered trademark) TV
  • the illumination unit 153 near the imaging unit of the smartphone 150 and turning on the illumination unit 153 when photographing, the head of the exerciser EX becomes brighter and the head detection accuracy can be improved.
  • this lighting section 153 may be provided separately from the smartphone 150, or may use infrared light as the illumination light.
  • a method is proposed in which one video content can be used in accordance with a plurality of exercises.
  • original video data was shot under the following conditions.
  • Shooting speed S1 (km/h)
  • This embodiment is proposed to address this problem, and when the frame rate is high (for example, 100 (fps) or more), the display frame rate is lowered by thinning out. Conversely, if the frame rate is slow (for example, 20 (fps) or less), the video is interpolated in the time direction and then read out (the frame rate is increased to 20 (fps) or higher).
  • a rowing machine which is a health equipment, is an exercise equivalent to rowing a boat, so the image that the exerciser sees naturally flows backwards, and the image data taken in the forward direction is read out in the same direction. It needs to be reversed.
  • the configuration of the video control section 330 that implements this embodiment is shown in FIG. 11.
  • a display condition judgment unit 336 which calculates the display frame rate according to the shooting information (speed at the time of shooting, frame rate) and the type of exercise, and thins out the display frame rate as shown in Table 4.
  • Set read conditions such as interpolation and inversion.
  • the video data that has been subjected to thinning, interpolation, and inversion processing in the still image memory 332 is read out.
  • the imaging information and type of exercise required in this process are set by the overall control unit 210 in FIG. 2.
  • Example 3 of the present invention will be described using FIGS. 12 to 16.
  • a personal computer or the like is used as the signal processing section 200, operations such as a keyboard and a mouse are required.
  • the system is controlled using gestures and voice.
  • an example will be described in which video data content to be used during physical exercise is selected using gestures or voice.
  • FIG. 12 shows the overall configuration of the signal processing section 400 of this embodiment.
  • the imaging unit 120 has a wide angle of view, as in the first embodiment, and uses a lens with a wide enough angle to recognize hand gestures. Further, in the image analysis section 420, face authentication is performed in the exerciser information analysis section 223 (see FIG. 3), and the name of the exerciser EX is sent to the video control section 430 and the audio control section 450 as exerciser information. It also includes a voice input device 470 such as a microphone for inputting the voice of the exerciser EX, and a voice data storage section 460. This audio input device 470 may be integrated with the imaging unit 120, such as a web camera used in remote conferences, for example. The voice control unit 450 recognizes the voice of the exerciser EX and sends the voice recognition result to the overall control unit 410.
  • a voice input device 470 such as a microphone for inputting the voice of the exerciser EX
  • This audio input device 470 may be integrated with the imaging unit 120, such as
  • the audio control unit 450 and audio data storage unit 460 records a greeting message 464 and voice registration data 465 used in voice recognition.
  • the greeting message 464 is a greeting message played when the exerciser EX comes in front of the system, and is, for example, words used in daily greetings such as "Hello” and "How are you?".
  • the audio registration data 465 is the number of the video content to be selected, and words such as "first,” “niban,” and “sanban” are registered.
  • the audio control unit 450 includes an audio generation unit 451 and an audio listening unit 452.
  • the voice generation unit 451 synthesizes the exerciser information (exerciser's name, etc.) obtained by the image analysis unit 220 and the greeting message 464 recorded in the voice data storage unit 460, for example, “Hello, Mr. A. " is output to the audio output device 130 as an audio output signal.
  • the voice listening section 452 recognizes which word in the voice registration data 465 the voice input signal input from the voice input device 470 matches. For example, if "niban” is recognized, a recognition result of "2" is sent to the overall control unit 210.
  • the head information detected by the motion information analysis section 421 is sent to the skeletal position detection section 422A of the gesture analysis section 422.
  • the skeleton position detection unit 422A detects the positions of the skeleton, such as shoulders, arms, hands, hips, and legs, based on the head position information.
  • the obtained hand position information is further sent to the handprint detection unit 422B, which detects the direction in which the index finger is pointing and determines which position in the input image the finger is pointing towards. , detects the coordinates of the image, and sends the coordinate information to the overall control unit 410.
  • the exerciser EX moves in front of the display device 110 (see FIG. 1) in order to exercise.
  • the imaging unit 120 sequentially captures images, and the images are displayed on the display device 110. Then, in order for the exerciser EX to move to an appropriate position, the appropriate position is indicated by a rectangle EA (the dotted line rectangle in FIG. 15), and a message MA is displayed saying "Please enter the frame.” Encourage movement.
  • the head detection unit 221A detects the head position of the exerciser EX and displays it as a rectangle EB (bold rectangle in FIG. 15).
  • the face authentication unit 223A performs face authentication and detects the name of exerciser EX (hereinafter referred to as "Mr. A").
  • the exerciser position detection unit 223B of the image analysis unit 420 compares the position of the exerciser EX with the appropriate position and detects the direction in which to move to the appropriate position.
  • the exerciser EX For example, if the exerciser EX is too far to the left, , outputs a signal indicating that it is necessary to move to the right, and the voice control unit 450 outputs a voice saying "Mr. A, further to the right.”
  • the exerciser EX moves to the right and is at the correct position, he/she tells the user that he/she has come to the correct position by saying "OK.” In this way, the exerciser EX can move to an appropriate position for physical exercise.
  • a content selection screen for video data as shown in FIG. 16 is displayed on the display device 110.
  • the exerciser EX answers the content number or points in the direction of the content with his or her finger. If the answer is voiced, the voice listening unit 452 described in FIG. 13 recognizes the content number and sends the recognition result to the overall control unit 410.
  • the coordinate information of the image indicated by the fingertip detected by the image analysis section 420 described in FIG. 14 is sent to the overall control section 410.
  • the overall control unit 410 selects video data according to the content number set by voice or gesture. The subsequent operations are the same as in the first embodiment.
  • Example 4 will be explained using FIGS. 17 to 19.
  • This embodiment is an example of a "dual task" in which the user performs another task while exercising the body. Dual tasking involves performing multiple tasks at the same time, such as moving your body (motor task) and thinking about something (cognitive task), and its effects have been reported in various literature. There is.
  • FIG. 17 shows an overall configuration diagram of the signal processing section 500 of this embodiment. Similarly, descriptions of the functions of the signal processing unit common to the first to third embodiments described above will be omitted.
  • a case will be described in which physical exercise is performed using the walking machine 101.
  • the walking machine 101 since the user grasps the handrail with the hand, the user can exercise in a relatively stable state, which is convenient for performing dual tasks.
  • a dual task control unit 511 in the overall control unit 510 controls both the video control unit 530 and the audio control unit 550. For example, questions may be asked to exerciser EX through audio or video.
  • the dual task control unit 511 stores audio question sentences for questions and question images for quizzes (quiz images).
  • the dual task control unit 511 outputs an audio question from the audio generation unit 451 in FIG. 13 after the physical exercise has been performed for a certain period of time. For example, questions about the exerciser are asked, such as "How are you feeling today?" and "What did you eat in the morning?" Note that further questions may be asked based on the interpretation of the answer given by exerciser EX.
  • FIG. 18 shows the configuration of the video control section 530.
  • the video data read from the video data storage section 540 is decoded by the decoding section 531 and stored in the still image memory 532.
  • the question image from the question image storage section 511B is also stored in the still image memory 532.
  • a question image is inserted between the video data, and a question sentence matching the image is sent from the question sentence storage section 511A to the text synthesis section 533, where it is synthesized with the question image and displayed.
  • the question image consists of multiple images that are initially blurred and gradually become sharper, such as QA to QD in FIG. 19, for example. Furthermore, a message MB is displayed as a text saying "What is this?". As you continue the physical exercise, the image will gradually become sharper, and the answer will be displayed at the end.
  • the voice control unit 550 sends the voice recognition result to the dual task control unit 511 from the answer of the exerciser EX captured by the voice listening unit 452 in FIG. If the correct answer is "cat", the audio output device 130 of the audio control section 550 outputs a voice saying "correct answer” or the video control section 530 outputs text information "correct answer” to the display device 110, and the exerciser EX Let me know. Since you won't know the correct answer unless you exercise, exerciser EX will be motivated to exercise physically.
  • the question images QA to QD may be directly sent from the question image storage section 511B to the video display control section 534 (indicated by broken lines) and separated from the data from the video data storage section 540.
  • the question images QA to QD are displayed as part of the main image, or are displayed in place of the main image only during the quiz.
  • the system asked questions through audio and video, but the exercisers themselves may also ask the system questions.
  • the voice switch 570 shown in FIG. 17 is pressed intentionally by the exerciser EX when he or she wants to ask a question to the system.
  • a question is asked to the voice input device 470 for a certain period of time after the voice switch 570 is pressed.
  • the voice listening section 452 interprets the question and outputs the answer from the voice output device 130. Answers may be generated via the Internet, such as with a smart speaker.
  • Example 5 will be explained using FIGS. 20 to 22.
  • the health condition and exercise condition of exerciser EX are managed, and an example will be described in which health information and exercise information are recorded and shared, and dangerous conditions of exerciser EX are grasped. Functions of the signal processing unit common to Examples 1 to 4 are not shown and their explanation will be omitted.
  • the overall control section 610 includes a health management section 611, and information related to health and exercise detected by the biological information analysis section 224 (see FIG. 3) of the image analysis section 620.
  • the information is recorded in the health record section 690 as an exercise history.
  • a Momentum detected by the motion information analysis unit 221 (see FIG. 3) (count number of reversals and duration of motion level)
  • heartbeat detected by the biological information analysis unit 224 is recorded in the health record section 690 as an exercise history.
  • fatigue level c information on health equipment detected by the spatial information analysis unit 225, etc.
  • Information on exercise history recorded in the health record section 690 can be accessed via the Internet, etc., on mobile devices such as smartphones of family members or individuals, or personal computers (PCs) 680 of related organizations (doctors, care managers, various facilities). (information terminal).
  • rehabilitation menus are also recorded in the health record section 690 so that they can be viewed by the exerciser EX and related organizations.
  • the related organization can check the exercise history, create a recommended rehabilitation menu, and present it to the exerciser EX.
  • the exerciser EX is notified by video or audio as caution information, or the video display or BGM is stopped.
  • a dangerous situation is determined from the surrounding situation obtained from the surroundings determination unit 225B in FIG. 3, such as that the shelf behind is about to fall.
  • b. When the heart rate and fatigue level detected by biological information detection are monitored and are greater than a predetermined value. If dangerous values are exceeded.
  • c. When it is determined that the exerciser EX is tired based on facial expression information detected by biological information detection.
  • d. When it is determined that the exerciser EX is out of balance based on the balance information detected by biological information detection.
  • the health management section 611 and the health record section 690 by having the health management section 611 and the health record section 690, health information and exercise information can be recorded and shared, and when a dangerous state of an exerciser EX is detected, it is possible to The exerciser EX can exercise safely.
  • the angle of view of the imaging unit 120 was wide enough to photograph the whole body of the exerciser during physical exercise, as in the previous embodiments. Detailed information about the head is required to detect the heart rate and fatigue level, and it is desirable to have a larger number of head imaging pixels. Therefore, an imaging unit with a smaller angle of view (for example, 60 degrees) is placed close to the body, and the whole body of exerciser The head of the person EX may be photographed using an imaging unit with a small angle of view (angle of view G2 of imaging unit 2 in FIG. 22).
  • the health record unit 690 is located in the signal processing unit 600, it may also be located in a cloud server or the like. Furthermore, since it is necessary to photograph the exerciser EX even if the exerciser EX falls, the imaging unit 120 of this embodiment has a wide angle of view; Sometimes I put it away. In that case, if the exerciser EX cannot be detected and this continues for a certain period of time (for example, 20 seconds), the health management unit 611 may determine that "an abnormality has occurred.”
  • the present invention there is no need for special hardware in the health equipment used, and there is no need to attach markers or sensors to the exerciser, and the movement of the exerciser can be captured only with a camera, thereby accelerating physical exercise. Since we decided to detect this, the system can be constructed at low cost. Additionally, since it is only necessary to detect head movements, there is no need for complex recognition algorithms like those used to detect hands and feet, and it can be applied to many physical exercise devices.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

【課題】　使用する健康器具に特別なハードウエアを必要とせず、運動者にマーカやセンサなどの特別な機器を装着する必要もなく、運動の検出に複雑なアルゴリズムを用いることなく、良好に運動を検出する。 【解決手段】　運動者が行っているウォーキングマシンやランニングマシンなどなどによる繰り返しの身体運動を、撮像部で撮影する。そして、撮像して得た運動者の画像入力信号から、画像解析部で運動者の頭部の動き情報を検出する。次に、映像データ記憶部に記憶されている映像データの表示速度を、前記動き情報に応じて映像制御部で制御し、運動者に対して表示装置で表示する。

Description

運動支援システム
　本発明は、運動支援システムに関し、例えば、高齢者や障害者のリハリビテーションで行われる身体運動（歩行動作、自転車漕ぎ、踏台昇降、など）を支援するためのシステムに関する。
　高齢者や障害者が行うリハビリテーションにおいては、ウォーキングマシンやランニングマシンなどのトレッドミル、フィットネスバイク、昇降踏台、ローイングマシン（ボート漕ぎ）、などの数々の健康器具を用いたトレーニング（身体運動）が行われている。これらの健康器具は比較的狭いスペースに設置可能なため、医療機関や介護施設の他、家庭でも利用が進んでいる。そして、これらの健康器具には、トレーニングを行う運動者に目標意識を持たせるべく、例えば歩行運動の場合には、歩行距離や歩行時間などが表示されている健康器具も多くあるが、単調な運動の繰り返しであるためトレーニングに飽きてしまい、やがてトレーニングを行わなくなってしまうことが多かった。
　そこで、利用者に対してトレーニング自体に楽しみを感じさせることで、トレーニングを継続しやすくすることができるトレーニング装置が提案されてきた。
　従来のトレーニング装置としては、下記特許文献のようなものがある。特許文献１の「トレーニング装置」は、ランニングマシンなどの健康器具に回転検出機構を設けて歩行距離を求め、歩行距離に応じて変化する風景を表示するものである。運動者の運動に応じて動画の表示速度（再生速度）を制御することで、あたかも実際に道を歩いているように、自分の歩行動作に応じて変化していく風景を楽しむことができる。
　特許文献２の「運動補助システム」は、運動者の手または足に色のついたマーカを取り付けて、その色マーカの位置をカメラで検出することにより、運動者の運動の状態を検出するものである。特許文献１のように健康器具に専用の回転検出機構を設ける必要がないため、安価に実現できる。
　特許文献３の「運動支援装置および運動支援方法」は、特許文献１のように健康器具内で運動量を検出して歩行した距離を検出する方法と、別の手段としてカメラで撮影した画像から運動者画像を抽出し、その時間変化に基づいて運動者が運動した距離を算出する方法を提案している。
特開2004-121592号公報 特開2007-144107号公報 特開2018-167073号公報
　しかしながら、特許文献１記載の背景技術では、健康器具に、回転量を検出して外部に出力するための専用ハードウエアが必要であり、市販の健康器具をそのまま利用することができず、高価になってしまう。さらに、踏台昇降やボート漕ぎなどの健康器具では、回転機構を有せず、運動の動作を検出できないために使用できず、ウォーキングマシンやフィットネスバイクなどの回転機構を有する一部の健康器具に限られていた。
　特許文献２記載の背景技術では、カメラを利用して運動量を検出することから、健康器具に回転検出機構が不要になるものの、運動者にマーカを取り付ける必要がある。このマーカは高価でないものの、トレーニングの度にマーカを取り付けることには大変な煩わしさがあり、特に高齢者や障害者の場合にはマーカを取り付けること自体に困難さがある。さらに、マーカの位置変化を良好に撮影できる位置にカメラを設置する必要があり、運動の種類に応じて、カメラ位置を正面や側面などマーカが見やすい位置にカメラを移動して、位置を調整する必要があった。運動者の身長や体形によってもカメラの位置調整する必要もあり、非常に煩わしい作業が必要であった。
　特許文献３の背景技術では、特許文献１と同様に健康器具内部に運動量を計測する処理部や通信手段を有することが必要で、高価となる。また、この特許文献３では、運動者画像を検出して運動の周期を検出できる実施例も提案されており、カメラ画像から腕のふり幅や足の上げ幅などを検出する例が挙げられている。しかしながら、カメラ画像から腕のふり幅や足の上げ幅を検出するため、カメラの位置を変えることと、動く部位に特化した検出が必要である。
　本発明は、以上のような課題に着目してなされたもので、その目的は、トレーニングする運動者の運動を検出するにあたり、
(1)使用する健康器具に特別なハードウエアを必要とせず、安価に実現できる。
(2)多くの種類の健康器具が利用できる。
(3)運動者にマーカやセンサなどの特別な機器を装着しない。
(4)運動の検出に複雑なアルゴリズムを用いず、安定して運動が検出できる。
ようにした運動支援システムを提供することである。
　本発明は、運動の種類に関わらず、運動者の顔を正面からとらえる位置に撮像部を配置する。運動者が映像を見ながらトレーニングする装置では、撮像部を映像が表示される表示装置の直上に配置する。前記映像に各種情報を提示する場合、撮像部は情報の直近に配置する。
　本発明は、さらに音声入出力部を備える。あるいは、前記音声入力部を制御するスイッチを備える。また、前記音声入出力部、もしくは音声入出力部とスイッチを使い、運動者にデュアルタスクを提供する。
　本発明は、さらに、運動者の動き情報から生体情報を解析する生体情報解析部、健康器具ないし運動者の周辺の情報を解析する空間情報解析部、それらの解析情報を記録する健康記録部、前記健康記録部に記録された情報から前記運動者について危険情報を検出する健康管理部などを有する。また、動画を複数の静止画に分割し、運動者の運動量に応じて静止画を表示するスピードを変更する手段と、前記静止画にテキストの追加する手段を有する。
　本発明は、さらに映像データの撮影情報と身体運動の種類から、表示する映像の読出し条件を判断する手段を有する。更には、撮像部は、運動者の頭部を中央部付近に、運動者の全身と周辺を含めて写す広画角レンズを有する。
　本発明では、運動者の頭部の動きに注目する。健康器具でトレーニングする際には、重心の移動もしくは上半身の筋肉の伸縮が生じ、それに伴い必ず頭部が移動する。例えば、下記文献(1)は、歩行・走行運動における運動部位、胴体の動き、頭（肩から上）の動きについて考察している。
ａ，文献(1)
・「身体重心の左右変動に基づく歩行の動的安定性評価」、北里大学、理学療法科学　23（1）：55-60，2008、p55‐60
・「義肢装具における歩行評価　歩行分析の基礎ー正常歩行と異常歩行ー」、新潟医療福祉大学、日本義肢装具学会誌、Vol 28 No.1 2012、p57‐61
・「歩行のメカニズムと筋肉の動き」障害予防学（理学療法士）（ホームページのURL：https://rehabilizyoho.com/cate29/en510.html）
・「常者における歩行変動性に関する研究:―足踏み動作と10ｍ歩行，トレッドミル歩行との比較」理学療法学 Supplement 46S1(0), H2-191_1-H2-191_1, 2019公益社団法人日本理学療法士協会
　下記文献(2)は、自転車運動（ペダルこぎ）における運動部位、胴体の動き、頭（肩から上）の動きについて考察している。
ｂ，文献(2)
・「ACTIVIKE（伸び悩みのヒントは上半身！自転車のペダリングと上半身の関係）」ホームページのURL：https://activike.com/2020/11/12/upperbody_is_very_important/）
・「メディアフォルテ　ロードバイク、クロスバイクでの正しい上半身の使い方」ホームページのURL：https://media-forte.net/bike/upperbody/
　以上の各文献を参考にして、各運動の動きをまとめると、次の表１のようになる。
Figure JPOXMLDOC01-appb-T000001
　この表１からわかるように、健康器具など用いたトレーニング（以降「身体運動」と称する。）では、頭部の位置や見かけ上の大きさが変化し、さらに、身体運動の動きが速い場合には頭部の動きも早くなり、身体運動の動きが遅い場合は頭部の動きも遅くなる。してみると、頭部の動きの変化を捉えることで、身体運動の動きの早さを知ることができる。
　頭部の動きの変化を捉える具体的な方法を説明する。健康器具などを用いた身体運動では、特定の動作の繰り返しとなるため、かならず動作の反転が生じる。例えば、頭部位置の移動方向が右方向から左方向へ（または、上方向から下方向へ）、見かけ上の頭部の大きさの変化が拡大から縮小へ（または、縮小から拡大へ）が生じる。そこで、頭部の位置や大きさの変化から、動作の反転を検出することで、運動者の身体運動を捉えることができる。
　本発明は、これらの点に着目したもので、運動する運動者をカメラで撮影し、運動者の頭部の位置の変化、または、頭部の見かけ上の大きさの変化の反転を検出する。なお、頭部の検出は、例えば、ＡＩ（人工知能）を用いた顔検出や顔認証などの画像処理手法を用いることで容易に実現できるとともに、運動する運動者の正面にカメラを設置することで、精度よく検出が行える。
　さらに、本発明によれば、身体運動の種類に応じて頭部検出のアルゴリズムを変更する必要はない。このため、身体運動の種類に寄らず基本的に同じアルゴリズムを用いることができ、多くの種類の健康器具で利用することができる。また、カメラ位置も頭部の動きを検出できる位置でよく、身体運動によってカメラ位置を変更する必要はない。
　本発明によれば、使用する健康器具に専用のハードウエアを必要とせず、また、運動者にマーカやセンサなどを付ける必要もなく、カメラのみで運動者の動きを捉えて、身体運動の早さを検出することとしたので、安価にシステムを構築できる。また、頭部の動きだけを検出すればよいことから、手や足の検出のように複雑な認識のアルゴリズムは不要であり、多くの身体運動に応用できる。
本発明の実施例の全体構成を示す斜視図である。 前記図１の信号処理部の構成例を示すブロック図である。 前記図２の画像解析部の構成例を示すブロック図である。 運動の種類と運動レベルの検出時間間隔の一例を示す図である。 信号処理部の動作を示すタイムチャートである。 (A)は運動の種類と音声との関係の一例を示し、(B)は運動レベルとＢＧＭないし動作音の関係の一例を示す図である。 前記図２の映像制御部の構成例を示すブロック図である。 (A)は前記実施例１における運動レベルとメッセージの関係の一例を示し、(B)は表示装置における表示例を示す図である。 前記実施例における運動レベルの設定からＢＧＭ出力・停止に至る動作手順を示すフローチャートである。 前記実施例の撮像部としてスマートフォンを用いた場合を示す図である。 実施例２の映像制御部３３０の構成例を示すブロック図である。 実施例３の信号処理部の構成例を示すブロック図である。 前記図１２の音声制御部の構成例を示すブロック図である。 前記図１２の画像解析部の構成例を示すブロック図である。 実施例３における頭部等の検出領域を示す図である。 実施例３におけるコンテンツの選択画面の例を示す図である。 実施例４の信号処理部の構成例を示すブロック図である。 前記図１７の主要部の構成例を示すブロック図である。 実施例４におけるクイズ画面の一例を示す図である。 実施例５の信号処理部の構成例を示すブロック図である。 実施例５における危険状態把握時の様子を示す図である。 実施例５における撮像部の画角の例を示す図である。
　以下、本発明の望ましい実施形態について、添付の図面を参照して具体的に説明するが、既に周知の技術的部分については説明を省略ないし簡略化する。
　最初に、実施例１について、図１～図１０を参照しながら説明する。本実施例では、健康器具として踏台昇降を用いる例を示す。
　＜本実施例の構成＞　図１に示すように、昇降踏台１００の前には、大型テレビなどの表示装置１１０が置かれ、この表示装置１１０を見ながら、運動者ＥＸは、昇降踏台１００で上り下りの身体運動を行う。信号処理部２００は、例えばパーソナルコンピュータで構成されており、ＨＤＴＶ（High Definition Television：高精細テレビ）程度の画素数を有する撮像部１２０（例えばＵＳＢカメラ）とＵＳＢケーブル（図示せず）で接続されており、図示するように、運動者ＥＸを正面から撮影するように設置されている。この撮像部１２０には、広画角のレンズが具備され（例えば画角９０度）、運動者ＥＸが踏台昇降して動いても頭部から足までの全身を撮影する画角になっている。広画角となっているため、頭部の撮像画素数は少なくなる（８０画素×８０画素前後）が、画像認識技術を用いた頭部の検出処理には十分な画素数である。
　次に、前記表示装置１１０は、信号処理部２００とＨＤＭＩ（登録商標）（High Definition Multimedia Interface：高精細度マルチメディアインターフェース）ケーブルなどで接続され、映像出力信号に基づいて表示装置に映像が表示される。また、信号処理部２００と音声出力装置１３０は、スピーカーケーブルなどで接続され、音声出力信号に基づいて音声出力装置１３０から音声が発せられる。なお、昇降踏台１００には、運動者ＥＸの動きを検出するセンサなどのハードウエアは一切なく、また、信号処理部２００とも接続されていない。
　信号処理部２００は、図２のように、全体制御部２１０、画像解析部２２０、映像制御部２３０、映像データ記憶部２４０、音声制御部２５０、音声データ記憶部２６０から構成されている。全体制御部２１０、画像解析部２２０、映像制御部２３０、音声制御部２５０は、例えば、アプリケーションソフトウエアとなっており、図示しないキーボードやマウスなどによる入力に基づいて起動される。また、映像データ記憶部２４０、音声データ記憶部２６０は、パーソナルコンピュータのハードディスクメモリなどで実現されている。
　ここで、信号処理部２００の概略の動作を説明する。撮像部１２０で順次撮像される画像は、画像入力信号（画像データ）として画像解析部２２０に送られる。画像解析部２２０では、後述するような種々の画像解析が行われ、動き情報、運動者情報、生体情報、ジェスチャ情報、空間情報からなる画像解析情報を生成する。全体制御部２１０は、画像解析部２２０で生成された画像解析情報から、映像制御部２３０と音声制御部２５０を制御する。全体制御部２１０は、システム全体を制御するもので、特に画像解析部２２０から取得される画像解析情報に基づいて、映像制御部２３０と音声制御部２５０に必要なデータを送り、制御する。
　映像データ記憶部２４０には、例えばｍｐ４、ｍｏｖなどの動画像フォーマットで作成された１０～２０分程度の動画データが複数種類保存されている。身体運動には、歩行運動や自転車漕ぎなど複数の種類があるが、例えば歩行運動の場合には時速４ｋｍ程度で散歩する映像データを、自転車漕ぎの場合には時速２０ｋｍ程度でサイクリングする映像データを用いる。身体運動にあった映像を利用することで、心地よく身体運動することができる。映像制御部２３０は、全体制御部２１０が画像解析部２２０から受け取る動き情報（運動レベル）に応じて、映像データ記憶部２４０から読みだす映像データの表示を制御する。
　音声データ記憶部２６０には、ＢＧＭ（Background Music：バックグラウンドミュージック）や足音などの動作音（効果音）や、運動者ＥＸに問いかける挨拶メッセージなどが記憶されている。音声制御部２５０は、全体制御部２１０が画像解析部２２０から受け取る動き情報（反転情報、運動レベル）に応じて、音声データ記憶部２６０から読みだす音声データの音声出力を制御する。
　次に、画像解析部２２０について、図３を用いて詳しく説明する。画像解析部２２０は、動き情報解析部２２１、ジェスチャ解析部２２２、運動者情報解析部２２３、生体情報解析部２２４、空間情報解析部２２５、から構成されている。以下、各解析部について下記に説明する。
　(1)動き情報解析部２２１は、画像入力信号から、動き情報を検出する。動き情報は、下記の４つの検出部から検出される頭部情報、反転情報、カウント情報、運動レベルである（下線部）。
　ａ，頭部検出部２２１Ａ：顔検出処理や眼検出処理などの手法を用いて、頭部の位置を矩形情報として取得して、この矩形の中心位置座標と矩形のサイズを頭部情報として検出する。
　ｂ，反転検出部２２１Ｂ：頭部検出部２２１Ａで検出した矩形位置の中心位置、矩形のサイズの時間的な変化を検出し、変化の方向が逆転したかを判別する。例えば、頭部が右方向に移動した状態から左方向への移動に変わったと判断した場合に、反転情報を発する。なお、身体運動により反転情報を検出する頭部の移動方向が異なるため、身体運動により、反転を検出方向は変更する。さらに、踏台昇降やボート漕ぎの場合には身体運動により頭部の大きさも変化するため、頭部の移動方向の変化だけでなく、頭部の大きさの変化を検出するようにしてもよい。これらをまとめると、表２のようになる。
Figure JPOXMLDOC01-appb-T000002
　ｃ，カウント部２２１Ｃ：反転検出部で検出した反転情報の数をカウントし、カウント情報を検出する。踏台昇降の運動の場合には、階段を上り下りした数に、歩行運動の場合には歩数に、自転車漕ぎの場合にはペダルを回した数に、それぞれ相当する。
　ｄ，運動レベル検出部２２１Ｄ：反転情報が検出される時間間隔Ｔを検出し、その時間間隔Ｔに応じて、運動レベルを決定する。なお、後述するように、この運動レベルに応じて表示する映像の速さが変更される。本実施例では運動レベルを下記の５段階とし、下記のように設定している。
Figure JPOXMLDOC01-appb-T000003
　つまり、運動レベルが低い場合（０または１）は、運動者ＥＸの身体運動は遅く、運動レベルが高い場合（３または４）は、運動者ＥＸの身体運動は早いことを意味する。運動レベル２は、その身体運動で適度な早さである。ただし、身体運動の種類に応じて、時間間隔Ｔは異なる。例えば、歩行運動よりも自転車漕ぎの方が、動き反転する間隔は短いため、時間間隔Ｔは小さくなる。そのため、図４のように、身体運動に応じて運動レベルを検出する時間間隔Ｔを変えることで、各身体運動の標準的な動きの時は同じ運動レベルにできる。
　(2)ジェスチャ解析部２２２は、動き情報解析部２２１で検出された頭部情報からジェスチャ情報を検出する。ジェスチャ情報は下記２つの検出部から検出される骨格位置情報と手形情報である（下線部）。
  ａ，骨格位置検出部２２２Ａ：運動者ＥＸの画像から、頭位置座標、肩位置座標、腰位置座標、手の位置座標、膝の位置、足の位置座標などを骨格位置情報として検出する。骨格位置の情報から、運動者ＥＸが、直立しているか、手を挙げているか、少し傾いているか、転んでいるか、などを判断できる。
  ｂ，手形検出部２２２Ｂ：手の各指の位置を手形情報として検出する。例えば、人差し指や親指の位置を検出することで、どちらの方向を指さしているかを判断できる。
　(3)運動者情報解析部２２３は、動き情報解析部２２１で検出された頭部情報から運動者情報を検出する。運動者情報は下記２つの検出部から検出される個人情報、運動者位置情報である（下線部）。
  ａ，顔認証部２２３Ａ：運動者ＥＸが事前に登録したメンバの中の誰であるかを判断し、氏名や年齢などの個人情報を検出する。
  ｂ，運動者位置検出部２２３Ｂ：運動者ＥＸの運動する位置が撮像部１２０の正面に対してどのくらいずれているかを検出する。頭部情報から得られる運動者ＥＸの頭部位置座標が、撮像部１２０で撮像される画像の中心に対して左右上下のどちらにずれているか、その差分値を運動者位置情報として検出する。
  ｃ，顔登録部２２３Ｃ：顔認証部２２３Ａで用いる顔画像を登録する。
　(4)生体情報解析部２２４は、動き情報解析部２２１で検出された頭部情報とジェスチャ解析部２２２で検出されたジェスチャ情報から生体情報を検出する。生体情報は、下記４つの検出部から検出される心拍数、疲労度、表情情報、バランス情報である（下線部）。
  ａ，心拍検出部２２４Ａ：心拍に応じて人の顔色が高速に変化することが知られている。頭部位置から運動者ＥＸの顔色の時間的な変化を検出し、心拍数を算出する。
  ｂ，疲労度検出部２２４Ｂ：心拍検出部で検出した心拍から、心拍変動を検出する。心拍変動はストレスの状態と相関があることが知られており、ストレス度合いを検出して、これを疲労度として出力する。
  ｃ，表情検出部２２４Ｃ：運動者ＥＸの顔を解析して、喜怒哀楽の度合を表情情報として検出する。身体運動が辛くなっているか、まだ、余裕があるのかを判断する。運動者ＥＸの視線方向を解析することで、集中力の度合も判断できる。
  ｄ，バランス検出部２２４Ｄ：骨格検出部で検出した運動者の骨格情報から、左右のバランスをバランス情報として検出する。
　(5)空間情報解析部２２５は、画像入力信号から空間情報を検出する。空間情報は、下記２つの検出部から検出される健康器具情報、周辺情報である（下線部）。
ａ，健康器具判別部２２５Ａ：運動者ＥＸが使っている健康器具が何であるかを判別して健康器具情報として出力する。例えば、ウォーキングマシンかフィットネスバイクであるか、踏台昇降であるか、などである。
ｂ，周辺判別部２２５Ｂ：運動者ＥＸの後ろに危険が迫っていないか、などを判断して周辺情報として出力する。例えば、棚から何かが落ちそうになっている、とか、床が濡れていて滑りそうだとかを画像認識処理を用いて判断する。
　次に、動き情報に応じて映像表示や音声出力が制御される仕組みについて説明する。図５は、信号処理部２００（図２参照）の時間的な流れを示している。画像解析部２２０の頭部検出部２２１Ａにて検出した頭部の中心位置座標や矩形のサイズの変化から、反転検出部２２１Ｂでは、頭部位置の動きの方向が変わった時点を反転情報として検出する。本実施例では、踏台昇降を用いた身体運動のため、頭部位置は上下に変動する。頭部の位置が上から下、または、下から上に移動方向が変わるところが図５の▼で示すタイミングである。順次検出される▼タイミングの時間間隔をＴｎ（Ｔ１，Ｔ２，・・・）とする。運動レベルは、図４に示したテーブルにＴｎを入力した値である。なお、運動レベルは、Ｔｎと直前のＴｎ－１の平均値を、図４に示すテーブルに入力して求めてもよい。
　映像表示フレームレートは、前記運動レベルに応じて決まる。図５は、タイミングＴ1の検出結果で運動レベルが「１」に更新され、フレームレートが１(fps)から１５(fps)に変更されることを示している。つまり、身体運動が早くなり運動レベルが上がるにつれて映像表示フレームレートが上がり、映像データの表示速度も速くなる。なお、この映像表示方法については後述する。
　また、音声については、反転情報が検出されたときに身体運動に応じて、図６(A)のような動作音を出力する。この動作音を、運動レベルに応じて出力することで、運動のモチベーションがアップする。例えば、図６(B)のように、運動レベル＝２のときにのみＢＧＭを流し、運動レベルが低い場合にはＢＧＭは流さないようにする。ＢＧＭによって心地よさが得られるが、運動レベルが低い場合には、早くＢＧＭを聞きたいと思って運動を頑張るようになる。また、運動レベルが過度に高い場合、転倒などの危険があるため、注意喚起の意味でＢＧＭや動作音を止め、危険を運動者に知らせる。なお、図６(A)のように、身体運動に応じて異なるＢＧＭを用いることで、運動に応じた臨場感を得ることができる。
　次に、映像制御部２３０（図２参照）について、図７～図９を用いて説明する。映像データ記憶部２４０から読みだされた映像データ（ＭＰ4、ｍｏｖなどの動画像フォーマット）は、図７のように、デコード部２３１にて連続した静止画像に変換されて、静止画メモリ２３２に記録される。静止画メモリ２３２に記録された静止画像は順次読み出され、テキスト合成部２３３にて、図９に示すように運動レベルに応じたメッセージ、運動レベル、反転の回数などのテキスト情報が付加した映像信号として合成される。運動メッセージは、図８(A)のように、運動レベルが低い場合は運動を喚起するメッセージが、運動レベルが高い場合には注意喚起するメッセージが、それぞれテキストとして合成される。
　また、表示時間設定部２３４では、図８(A)に示すように、運動レベルに応じてテキストが合成された画像の表示時間を設定し、映像表示制御部２３５では、表示時間設定部２３４で設定された表示時間だけ、映像信号の表示を行う。例えば、運動レベル＝２では映像の表示時間は３３msとなっており、結果として３０(fps)で動画データが表示されることになる。なお、映像表示制御部２３５では、表示処理以外にも色々な処理を行っていることから、結果的に３３msになるように表示時間を調整しているのは言うまでもない。図８(B)に示すように、テキストが付加された映像は、テキストは全て、表示装置１１０の映像表示エリア１１１よりも撮像部１２０の近く（この図では表示装置の上側のテキスト表示エリア１１２）とする。
　運動者ＥＸは、表示されるテキスト情報に視線を向けやすいことから、結果的に運動者ＥＸの視線が自然と撮像部１２０のほうを向くことになり、顔検出の失敗が少なくなり、頭部の検出精度が高まる効果がある。
　＜本実施例の作用＞　次に、本実施例の動作について、図９のフローチャートを用いて説明する。身体運動を開始すると、まずはステップＳ1として、初期データの設定を行う。図４に示したように、身体運動に応じた運動レベル設定範囲を設定したり、図６に示したように、身体運動に応じた音声データを設定したり、表示する映像データのコンテンツを選択する。
　ステップＳ2では、運動開始の準備として、運動レベル＝０にセットするとともに、図６に基づいた開始メッセージを音声出力して、運動者ＥＸに開始を伝え、運動者ＥＸは運動を開始する。そして、ステップＳ3に示すように、撮像部１２０から入力される画像から、図３の画像解析部２２０の頭部検出部２２１Ａにて頭部の位置や大きさの検出を行う。ステップＳ４では、頭部情報から反転検出部２２１Ｂにて頭部の反転を検出したかを判断する。
　反転を検出しない場合には、ステップＳ５として、現在の運動レベルに応じて、図８(A)に基づき映像の表示時間を設定して、テキスト合成された映像データを表示装置１１０へ出力する。一方、反転情報を検出した場合には、ステップＳ６として、運動に応じた動作音を発生し、ステップＳ７でカウント部２２１Ｃにて反転回数を更新する。ステップＳ８では反転の時間間隔Ｔを検出して、ステップＳ９では図４に基づいて運動レベルを更新する。ステップＳ１０では、運動レベルが「２」か否かを判断し、「２」の場合にはＢＧＭを流す、または、前回流したＢＧＭの続きから再生する（ステップＳ１１）。そして、運動レベルが「２」でない場合には、ＢＧＭを停止する（ステップＳ１２)。
　ステップＳ１３では、読みだした映像データに運動レベルやカウント回数に応じてテキストが合成されて、ステップＳ５の運動レベルに応じた画像表示に戻る。
　運動者ＥＸが運動を止め、表示装置１１０の前からいなくなると、頭部の検出がなくなり、運動レベルが「０」になるため、ステップＳ１２のＢＧＭは停止となり、映像表示もほぼ止まる。なお、図８(A)に示すように、運動レベル「０」でも表示時間を１０００ms程度としておくことで時折画像が動き、システムがまだ動いていることが管理者や運動者ＥＸに示すことができる。
　＜本実施例の効果＞　本実施例によれば、健康器具である昇降踏台１００には専用のハードウエアを用いずに、そのまま通常のものを利用できることから、システムを安価にできる。また、運動者ＥＸにマーカやセンサなどを付けることなく、撮像部１２０のみで運動者ＥＸの動きを捉えることができるため、運動者ＥＸに煩わしさがない。また、運動の種類によらず、表示装置１１０の上部に取り付けた撮像部１２０でとらえた運動者ＥＸの頭の正面の画像で運動量を検出できる。
　また、撮像部１２０の画角は、身体運動をしても運動者ＥＸの全身が撮影できる広画角で、身体運動で運動者ＥＸが上下左右または前後に移動しても全身を撮影できる。広画角の撮像部１２０を用いると、中央に写る運動者ＥＸの頭部が大きく、周辺部は前者に対して歪んで小さく映るため、頭部の画素数が多くなり、頭部の位置検出に有利である。なお、後述する生体情報の検出では頭部の詳細情報が必要なため、頭部の撮像画素数はより多い方が望ましい。そのため、携帯端末に搭載されている撮像部のように、画角の異なる撮像部を近接して配置し、頭の画像と全身の画像を異なる画角の撮像部で撮影してもよい。
　なお、本実施例において、表示装置１１０、撮像部１２０、信号処理部２００、音声出力装置１３０は別体としたが、これらすべてが一体化されていてもよく、例えば、スマートフォンのような携帯端末やタブレット端末（情報端末）であってもよい。この場合、信号処理部２００の各処理部は、アプリケーションソフトウエアとしとしてスマートフォンやタブレット端末に実装しておくことで、使い勝手が向上する。さらに、図１０に示すように、スマートフォン１５０の場合は、ＴＶ１６０の上に設置し、スマートフォン１５０の画面を有線、または、無線でＴＶ１６０に出力してもよい。さらに、映像コンテンツは、インターネット上にあってもよく、例えば、ＹｏｕＴｕｂｅ（登録商標）などの動画サイトにある映像コンテンツを選択するようにしてもよい。ちなみに、図１０のスマートフォン１５０は、画角の異なる２つの撮像部１５２がある場合を示しており、全身画像と頭部の画像双方を撮像できる。また、ＴＶ１６０がアンドロイド（登録商標）ＴＶの場合には、アンドロイド（登録商標）ＴＶの中にアプリケーションソフトウエアをインストールすることで、ＴＶリモコンでも操作することが可能となり、高齢者にも簡単に操作ができる。また、スマートフォン１５０の撮像部近傍に照明部１５３を配置し、撮影時にこの照明部１５３を点灯するようにすることで運動者ＥＸの頭部が明るくなり、頭部の検出精度を向上させることができる。なお、この照明部１５３は、スマートフォン１５０と別体で設けてもよいし、照明光として赤外光を用いてもよい。
　次に、本発明の実施例２を、図１１を参照して説明する。上述した実施例１と同様ないし対応する構成部分の説明は省略する（実施例３以下についても同様）。前記実施例１では、歩行や自転車漕ぎなどの運動に応じて作成された映像データを用いた。これは、身体運動に応じて映像の適正な表示速度が異なるためである。つまり、歩行用は時速４km、自転車用には時速２０(km)でそれぞれ撮影した映像データを用いれば、標準的は運動（運動レベル＝２）のときに、それらの速度に相当する映像表示となり、より自然な表示となっていた。
　しかしながら、映像データの撮影には時間と労力を要する。できれば、同じ映像データを種々の運動で利用できるのが効率的で、制作費用も安くなる。例えば、自転車で撮影した映像データを歩行運動で表示すると動きが速すぎてしまい、大きな違和感を覚えてしまう。逆に歩きながら撮影した映像を自転車漕ぎで表示すると、逆に動きが遅く、やはり違和感が生ずる。運動に合わせて映像データのフレームレートを変換しておけばよいが、事前にフレームレートを変えた複数の動画像を作成するのは手間や時間がかかるだけでなく、図２に示した映像データ記憶部２４０に大きな記憶容量が必要となり、高価になる。ＨＤＴＶで１０分程度の動画像でも通常数GB（ギガバイト）の容量がある。このため、これを複数のフレームレートに変換するだけで１０(GB)を超える容量となってしまい、メモリを圧迫してしまう。
　そこで、本実施例では、一つの映像コンテンツを複数の運動に応じて利用できる方法を提案する。例えば、オリジナル映像データが、下記の条件で撮影されたとする。
撮影スピード：Ｓ1(km/h)
撮影フレームレート：ｆ1(fps)
また、映像をＳ2(km/h)で表示したいとすると、表示のフレームレートｆ2(fps)は、
ｆ2=(Ｓ2/Ｓ1)＊ｆ1(fps)
となる。例えば、２０(km/h)の自転車で１２０(fps)で撮影した画像を、歩行用の４(km/h)で表示するには、
(４/２０)＊１２０＝２４(fps)
で表示すればよい。
　逆に、４(km/h)で歩きながら１２０(fps)で撮影したものを、自転車漕ぎ用の２０(km/h)で表示しようとすると、
(２０/４)＊１２０＝６００(fps)
となる。但し、この場合に問題となるのが、６００(fps)で表示できるかという点である。信号処理部２００の性能によるが、ノート型パーソナルコンピュータでは１００(fps)くらいまでは問題なく表示できるが、それ以上のフレームレートは性能的に表示が難しくなってくる。
　一方、２０(km/h)の自転車で３０(fps)で撮影した画像を、歩行用の４(km/h)で表示するには、
(４/２０)＊３０＝６(fps)
で表示することになるが、この場合信号処理部２００の性能上の問題はないが、映像がコマ送りのように見えてしまう。
　本実施例では、このような課題に対して提案するもので、フレームレートが高い場合（例えば１００(fps)以上）は、間引きを行うことで表示のフレームレートを下げる。逆にフレームレートが遅い場合（例えば２０(fps)以下）の場合には、映像を時間方向に補間してから読みだす（フレームレートを２０(fps)以上に上げる）。さらに、別の課題となるが、健康器具のローイングマシンはボート漕と同等の運動であり、運動者が見る映像は後方に流れるのが自然で、前進方向に撮影した映像データは、読出し方向を逆にする必要がある。
　このように、映像データの撮影情報と身体運動の種類に応じて、表３のように処理することで、一つの映像コンテンツを様々な運動で用いることができる。
Figure JPOXMLDOC01-appb-T000004
　本実施例を実現する映像制御部３３０の構成を、図１１に示す。上述した実施例１と異なり、表示条件判断部３３６があり、撮影情報（撮影時の速度、フレームレート）と運動の種類に応じて、表示フレームレートを計算し、表４に示すように間引き、補間、反転といった読出し条件を設定する。そして、この条件に従って、静止画メモリ３３２にて間引き、補間、反転処理が行われた映像データが読みだされる。なお、本処理で必要となる撮影情報と運動の種類については、図２の全体制御部２１０で設定する。
　次に、本発明の実施例３を、図１２～図１６を用いて説明する。実施例１では、信号処理部２００としてパーソナルコンピュータなどを用いるため、キーボードやマウスなどの操作が必要であった。しかし、高齢者にはキーボードやマウスでの操作が苦手な場合もあり、システムが上手く起動できない、あるいは、映像コンテンツが選択できない、などの課題があった。そこで、本実施例では、システムの制御を、ジェスチャや音声を用いて行う。特に、身体運動の際に用いる映像データコンテンツの選択を、ジェスチャや音声で行う例について説明する。
　図１２は、本実施例の信号処理部４００の全体構成を示す。撮像部１２０は、実施例１と同様に広画角で、手によるジェスチャを認識するのに十分に広角なレンズを用いている。また、画像解析部４２０では、運動者情報解析部２２３（図３参照）にて顔認証が行われ、運動者ＥＸの名前が運動者情報として映像制御部４３０と音声制御部４５０に送られる。また、運動者ＥＸの音声を入力するためマイクなどの音声入力装置４７０と、音声データ記憶部４６０とを具備している。この音声入力装置４７０は、例えばリモート会議で用いられるＷｅｂカメラのように撮像部１２０と一体となっていてもよい。音声制御部４５０では、運動者ＥＸの音声を認識して、音声認識結果を全体制御部４１０へ送る。
　音声制御部４５０と音声データ記憶部４６０の詳細を、図１３に示す。音声データ記憶部４６０には、図６に示したＢＧＭ４６１，動作音４６２、運動開始メッセージ４６３の他、挨拶メッセージ４６４や、音声認識で用いる音声登録データ４６５が記録されている。挨拶メッセージ４６４は、運動者ＥＸがシステムの前に来た時に流す挨拶メッセージで、例えば、「こんにちは」、「ご機嫌いかがですか」、のような日常の挨拶に用いられる言葉である。音声登録データ４６５は、選択する映像コンテンツの番号などで、「いちばん」、「にばん」、「さんばん」などの言葉が登録されている。
　音声制御部４５０には、音声生成部４５１と音声聞き取り部４５２がある。音声生成部４５１は、画像解析部２２０で得られた運動者情報（運動者の名前など）と音声データ記憶部４６０に記録されている挨拶メッセージ４６４を合成して、例えば、「Ａさん、こんにちは」の音声出力信号として音声出力装置１３０へ出力する。音声聞き取り部４５２では、音声入力装置４７０から入力される音声入力信号が音声登録データ４６５の中のどの言葉と一致するかを認識する。例えば、「にばん」と認識した場合、「２」という認識結果を全体制御部２１０へ送る。
　画像解析部４２０は、図１４に主要部を示すように、動き情報解析部４２１で検出した頭部情報が、ジェスチャ解析部４２２の骨格位置検出部４２２Ａに送られる。骨格位置検出部４２２Ａでは、頭部位置情報を元に、骨格である肩、腕、手、腰、足などの位置を検出する。得られた手の位置情報は、さらに、手形検出部４２２Ｂに送られ、手形検出部４２２Ｂにて、人差し指が差し示す方向を検出して、入力画像のどの位置に向けて指が向けられているか、画像の座標を検出し、その座標情報を全体制御部４１０へ送る。
　次に、本実施例の動作について説明する。運動者ＥＸは、運動を行うべく、表示装置１１０（図１参照）の前へと移動していく。撮像部１２０では、順次撮像が行われ、その画像が表示装置１１０に表示される。そして、運動者ＥＸが適正な位置に移動するように、適正な位置を矩形ＥＡ（図１５の点線の矩形）で示すとともに、「枠の中に入ってください」とメッセージＭＡを表示して、移動を促す。
　運動者ＥＸがある程度表示装置１１０に近づくと、頭部検出部２２１Ａ（図３参照）では運動者ＥＸの頭部位置を検出し、それを矩形ＥＢ（図１５の太字の矩形）として表示するとともに、顔認証部２２３Ａ（図３参照）で顔認証を行い、運動者ＥＸの名前（「Ａさん」とする）を検出する。そして、画像解析部４２０の運動者位置検出部２２３Ｂでは、運動者ＥＸの位置が適正な位置と比較し、適正な位置に移動する方向を検出し、例えば、運動者ＥＸが左過ぎる場合には、右へ移動する必要があるという信号を出力し、音声制御部４５０にて「Ａさん、もっと右です」という音声を音声制御部４５０から出力する。運動者ＥＸが右に移動して、適正な位置になった場合には、「ＯＫです」と正しい場所に来たことを伝える。このようにして、身体運動を行う適正な位置に運動者ＥＸが移動できる。
　そして、次に、図１６のような映像データのコンテンツ選択画面を、表示装置１１０に表示する。運動者ＥＸは、コンテンツの番号を答えたり、指でコンテンツの方向を指さしたりする。音声で答えた場合には、図１３で説明した音声聞き取り部４５２でコンテンツの番号を認識して、その認識結果を全体制御部４１０に送る。指で指示した場合には、図１４で説明した画像解析部４２０で検出される指先の示す画像の座標情報を全体制御部４１０へ送る。全体制御部４１０では、音声またはジェスチャで設定されたコンテンツ番号に応じて映像データを選択する。以降の動作は、実施例１と同じである。
　以上のように、本実施例では、音声やジェスチャでコンテンツを選択できることから、キーボードやマウスを操作する必要はなく、高齢者でも容易に身体運動を開始することができる。また、運動者が自分の映像を見ながら、かつ、音声で移動方向を指示されることから、身体運動のための位置調整が容易に行うことができる。さらに、図１２のように、運動者ＥＸの後ろに衝立ＷＡのようなものをおくことで、ジェスチャ認識の精度を向上することができる。なお、本機能を用いる運動者ＥＸは、図３の運動者情報解析部２２３の顔登録部２２３Ｃの機能を利用して、事前に顔の画像を数枚撮影して登録しておく。
　次に、実施例４を、図１７～図１９を用いて説明する。本実施例は、身体運動とともに、別のタスクを行う「デュアルタスク」の例である。デュアルタスク（二重課題）は、体を動かしながら（＝運動課題）何かを考える（＝認知課題）など、複数の課題を同時に実行するものであり、その効果がさまざまな文献で報告されている。例えば、以下のような文献がある。
・理学療法学Supplement 2006(0), E0052-E0052, 2007
公益社団法人日本理学療法士協会,「Dual-task Balance trainingには転倒予防効果があるのか？」
・日本体育学会大会予稿集 69(0), 21-21, 2018, 一般社団法人 日本体育学会, 認知機能の向上に効果『デュアルタスクエクササイズマシン「モトタイル（Mototiles）」』:～脳活動を測定し、可視化する技術による検証を実施～
　図１７に、本実施例の信号処理部５００の全体構成図を示す。同様に、上述した実施例１～３と共通する信号処理部の機能については説明を省略する。本実施例では、ウォーキングマシン１０１で身体運動を行う場合について説明する。ウォーキングマシン１０１の場合には、手で手摺りを握っているため、比較的安定した状態で身体運動ができることから、デュアルタスクを行うのには都合がよい。全体制御部５１０の中のデュアルタスク制御部５１１は、映像制御部５３０と音声制御部５５０の双方を制御する。例えば、運動している運動者ＥＸに音声や映像で質問を投げかける。
　音声で質問する例を説明する。デュアルタスク制御部５１１には、質問用の音声質問文や、クイズ用の質問画像（クイズ画像）が保存されている。デュアルタスク制御部５１１は、身体運動が一定時間行われたら、音声質問文を図１３の音声生成部４５１から出力する。例えば、「今日の体調は如何ですか」、「朝、何を食べましたか」といった、運動者本人に関する質問などを行う。なお、運動者ＥＸの回答に対し、これを解釈してさらに質問をしてもよい。
　映像で質問する例を説明する。図１８に、映像制御部５３０の構成を示す。身体運動が一定時間行われたら、映像データ記憶部５４０から読み込まれた映像データをデコード部５３１でデコードして静止画メモリ５３２に記憶する。一方、質問画像記憶部５１１Ｂからの質問画像も静止画メモリ５３２に記憶する。そして、映像データの間に質問画像を入れるとともに、画像に合わせた質問文を質問文記憶部５１１Ａからテキスト合成部５３３に送り、質問画像と合成して表示する。
　質問画像は、例えば図１９のＱＡ～ＱＤのように、最初はボケた画像でだんだんとシャープになっている複数枚の画像からなる。さらに、テキストで、「これは何でしょう？」とメッセージＭＢを表示する。身体運動を続けていくと、映像がだんだんとシャープになるように制御し、最後に回答が表示される。音声制御部５５０は、図１３の音声聞き取り部４５２で取り込んだ運動者ＥＸの回答から、音声認識結果をデュアルタスク制御部５１１に送る。回答が正解の「ネコ」であれば、音声制御部５５０の音声出力装置１３０から「正解」と音声を出すか、映像制御部５３０から表示装置１１０に文字情報「正解」を出し、運動者ＥＸに知らせる。運動をしないと正解がわからないので、運動者ＥＸが身体運動するモチベーションになる。
　質問画像ＱＡ～ＱＤは、図１８において、質問画像記憶部５１１Ｂから映像表示制御部５３４に直接送り（破線で示す）、映像データ記憶部５４０からのデータと分けてもよい。この場合、質問画像ＱＡ～ＱＤは、主たる画像の一部に表示するか、クイズの間だけ主たる画像と置き換えて表示する。
　以上の例は、システムが音声や映像で質問を投げかけたが、運動者自身がシステムに質問してもよい。図１７に示す音声スイッチ５７０は、運動者ＥＸが意識的に押すもので、システムに対して質問したい時などに押す。音声スイッチ５７０を押してからある一定時間の間に、音声入力装置４７０に対して質問を投げかける。音声聞き取り部４５２では、質問を解釈し、回答を音声出力装置１３０から出力する。回答の作成については、スマートスピーカーのようにインターネットを介して得てもよい。
　次に、実施例５について、図２０～図２２を用いて説明する。本実施例では、運動者ＥＸの健康状態や運動状態を管理するもので、健康情報や運動の情報を記録・共有したり、運動者ＥＸの危険状態を把握したりする例について説明する。実施例１～４と共通する信号処理部の機能は図示せず、説明を省略する。本実施例は、図２０に示すように、全体制御部６１０に健康管理部６１１があり、画像解析部６２０の生体情報解析部２２４（図３参照）で検出した健康にかかわる情報や運動に関わる情報を、運動履歴として健康記録部６９０に記録する。運動履歴の情報としては、
  ａ，動き情報解析部２２１（図３参照）で検出された運動量（反転のカウント数や運動レベルの継続時間）
  ｂ，生体情報解析部２２４で検出された心拍、疲労度
  ｃ，空間情報解析部２２５で検出された健康器具の情報
などがある。
　健康記録部６９０に記録された運動履歴の情報は、インターネットなどを利用して、家族や本人のスマートフォンなどの携帯端末や、関連機関（医師、ケアーマネージャ、各種施設）のパソコン（ＰＣ）６８０など（情報端末）で閲覧することができる。また、運動履歴の情報とは別に、リハビリのメニューを健康記録部６９０に記録し、運動者ＥＸや関連機関が閲覧できるようにもなっている。関連機関では、運動履歴を確認して、リハビリの推奨メニューを作成し、それを運動者ＥＸに提示することができる。
　次に、運動者ＥＸの危険状態を把握する例について、踏台昇降する場合を例に説明する。例えば図２１のように、踏台昇降中に昇降踏台１００を踏み外して運動者ＥＸが転倒した場合、撮像部１２０でとらえる画像の運動の適正位置（図１６の点線枠ＥＡ内に相当）から運動者ＥＸがはずれる。さらに、図３のジェスチャ解析部２２２の骨格位置検出部２２２Ａで、頭部だけでなく腰位置や足位置などが同様に画像の下の方にあった場合、健康管理部６１１では「危険状態」と判断し、音声制御部６５０から「Ａさん、大丈夫ですか」といった注意情報を音声で流す。運動者ＥＸから助けや悲鳴のような音声を認識した場合には、アラーム音声を発する。さらに、必要に応じて、つながっている家族の携帯端末６８０に危険な状態を通知する。
　また、下記のような場合にも、運動者ＥＸに注意情報として映像もしくは音声で知らせたり、あるいは、映像表示やＢＧＭを停止させる。
  ａ，図３の周辺判別部２２５Ｂから得られる周辺状況から、後ろの棚が落ちそうになっている、など危険状態を判断した場合。
  ｂ，生体情報検出で検出される心拍数や疲労度でモニターし、所定の値より大きい時。危険な数値を超えた場合。
  ｃ，生体情報検出で検出され表情情報から、運動者ＥＸが疲れていると判断したとき。
  ｄ，生体情報検出で検出されバランス情報から、運動者ＥＸのバランスが崩れていると判断したとき。
　以上のように、本実施例では、健康管理部６１１と健康記録部６９０を有することで、健康情報や運動の情報を記録、共有したり、運動者ＥＸの危険状態を把握したときには本人や家族に通知したりすることができ、運動者ＥＸは安全に運動をすることができる。
　また、撮像部１２０の画角は、これまでの実施例と同様に身体運動をしても運動者の全身が撮影できる広画角なものを用いたが、図３の生体情報解析部２２４で検出する心拍数や疲労度の検出では頭部の詳細情報が必要であり、頭部の撮像画素数はより多い方が望ましい。そのため、画角がより小さい撮像部（例えば、画角６０度）を近接して配置し、運動者ＥＸの全身は画角の広い撮像部（図２２の撮像部１の画角Ｇ１）、運動者ＥＸの頭部は画角の小さい撮像部（図２２の撮像部２の画角Ｇ２）で撮影してもよい。
　なお、健康記録部６９０は信号処理部６００の中にあったが、クラウドのサーバなどにあってもよい。また、運動者ＥＸが転倒した場合でも運動者ＥＸを撮影することが必要なため、本実施例の撮像部１２０は広い画角を有しているが、転倒時にはこの広い画角からも外れてしまうこともある。その場合には、運動者ＥＸが検出できなくなり、これがある一定時間（例えば２０秒）続くような場合に、健康管理部６１１で「異常発生」と判断するようにしてもよい。
　＜他の実施例＞　なお、本発明は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。例えば、以下のものも含まれる。
  ａ，前記実施例で示した各部の構成は、同様の作用を奏するように設計変更可能である。
  ｂ，前記実施例では、撮像部のカメラとして広角レンズを備えたものを使用したが、ズーム機能があってもよいし、複眼であってもよい。複数のカメラの画像を利用するようにしてもよい。
　本発明によれば、使用する健康器具に専用のハードウエアを必要とせず、また、運動者にマーカやセンサなどを付ける必要もなく、カメラのみで運動者の動きを捉えて、身体運動の早さを検出こととしたので、安価にシステムを構築できる。また、頭部の動きだけを検出すればよいことから、手や足の検出のように複雑な認識のアルゴリズムは不要であり、多くの身体運動器具に応用できる。
１００：昇降踏台
１１０：表示装置
１０１：ウォーキングマシン
１１１：映像表示エリア
１１２：テキスト表示エリア
１２０：撮像部
１３０：音声出力装置
１５０：スマートフォン
１５２：撮像部
１５３：照明部
１６０：ＴＶ
２００：信号処理部
２１０：全体制御部
２２０：画像解析部
２２１：動き情報解析部
２２１Ａ：頭部検出部
２２１Ｂ：反転検出部
２２１Ｃ：カウント部
２２１Ｄ：運動レベル検出部
２２２：ジェスチャ解析部
２２２Ａ：骨格位置検出部
２２２Ｂ：手形検出部
２２３：運動者情報解析部
２２３Ａ：顔認証部
２２３Ｂ：運動者位置検出部
２２３Ｃ：顔登録部
２２４：生体情報解析部
２２４Ａ：心拍検出部
２２４Ｂ：疲労度検出部
２２４Ｃ：表情検出部
２２４Ｄ：バランス検出部
２２５：空間情報解析部
２２５Ａ：健康器具判別部
２２５Ｂ：周辺判別部
２３０：映像制御部
２３１：デコード部
２３２：静止画メモリ
２３３：テキスト合成部
２３４：表示時間設定部
２３５：映像表示制御部
２４０：映像データ記憶部
２５０：音声制御部
２６０：音声データ記憶部
３３０：映像制御部
３３４：表示時間設定部
３３６：表示条件判断部
４００：信号処理部
４１０：全体制御部
４２０：画像解析部
４２１：動き情報解析部
４２２：ジェスチャ解析部
４２２Ａ：骨格位置検出部
４２２Ｂ：手形検出部
４３０：映像制御部
４５０：音声制御部
４５１：音声生成部
４５２：音声聞き取り部
４６０：音声データ記憶部
４６１：ＢＧＭ
４６２：動作音
４６３：運動開始メッセージ
４６４：挨拶メッセージ
４６５：音声登録データ
４７０：音声入力装置
５００：信号処理部
５１０：全体制御部
５１１：デュアルタスク制御部
５１１Ａ：質問文記憶部
５１１Ｂ：質問画像記憶部
５３０：映像制御部
５３１：デコード部
５３２：静止画メモリ
５３３：テキスト合成部
５３４：映像表示制御部
５４０：映像データ記憶部
５５０：音声制御部
５７０：音声スイッチ
６００：信号処理部
６１０：全体制御部
６１１：健康管理部
６２０：画像解析部
６５０：音声制御部
６８０：携帯端末
６９０：健康記録部
ＥＡ：点線枠
ＥＢ：実線枠
ＥＸ：運動者
Ｇ１：画角
Ｇ２：画角
ＭＡ，ＭＢ：メッセージ
ＱＡ～ＱＤ：質問画像
ＷＡ：衝立

Claims (13)

  1. 　運動者が行う繰り返しの身体運動に対応する映像データを記憶する映像データ記憶部と、
    　映像を表示する表示装置と、
    　前記運動者を撮影して画像入力信号を出力する撮像部と、
    　前記撮像部から出力された運動者の画像入力信号から、運動者の頭部の動き情報を検出する画像解析部と、
    　運動者が行っている身体運動に対応する映像データを前記映像データ記憶部から読みだすとともに、この読み出した映像データの表示速度を前記検出した動き情報に応じて制御して、前記表示装置に出力する映像制御部と、
    を有することを特徴とする運動支援システム。
  2. 　前記画像解析部が、
    　前記運動者の頭部の位置、または、見かけ上の大きさの少なくとも一方を検出する頭部検出部と、
    　前記頭部検出部の検出結果に基づいて、運動者の頭部の動きの反転を検出する反転検出部と、
    を有することを特徴とする請求項１記載の運動支援システム。
  3. 　前記映像制御部が、
    　前記動き情報に応じた文字情報を、前記表示装置に表示される映像データに合成するテキスト合成部を有することを特徴とする特許請求項１又は２記載の運動支援システム。
  4. 　前記文字情報が、前記表示装置のうち、前記撮像部が設置されている場所に近い位置に表示されることを特徴とする請求項３項記載の運動支援システム。
  5. 　前記運動者が行う身体運動に対応する音声データを記憶する音声データ記憶部と、
    　音声を発する音声出力装置と、
    　運動者が行っている身体運動に対応する音声データを前記音声データ記憶部から読みだすとともに、この読み出した音声データの再生速度を前記検出した動き情報に応じて制御して、前記音声出力装置に出力する音声制御部と、
    を有することを特徴とする請求項１～４のいずれか一項に記載の運動支援システム。
  6. 　前記運動者の音声を入力する音声入力装置と、
    　前記音声入力装置から入力された音声を聞き取って、その内容を認識する音声聞き取り部と、
    　前記運動者に対して出力する音声を生成する音声生成部と、
    を有することを特徴とする請求項５記載の運動支援システム。
  7. 　前記運動者が操作する音声スイッチを有しており、
    　このスイッチを運動者が押したときに、運動者が発した音声を、前記音声聞き取り部で認識するとともに、その回答を前記音声生成部で生成し、前記音声出力装置から発することを特徴とする請求項６記載の運動支援システム。
  8. 　質問画像または質問文が記憶された記憶部と、
    　前記運動者の運動中に、前記表示装置に表示される映像データに合成するために、前記記憶部に記憶された質問画像または質問文を読みだすデュアルタスク制御部と、
    を有しており、
    　運動者は、運動を継続しながら、前記表示装置に表示される質問画像または質問文に対して回答することを特徴とする請求項１～７のいずれか一項に記載の運動支援システム。
  9. 　前記画像解析部が、
    　前記動き情報から生体情報を解析する生体情報解析部と、
    　前記画像入力信号から健康器具ないし運動者の周辺の情報を解析する空間情報解析部と、
    　前記生体情報解析部によって解析された情報もしくは前記空間情報解析部によって解析された情報の少なくとも一つを記録する健康記録部と、
    を有しており、
    　前記健康記録部に記録されている情報が情報端末に提供されることを特徴とする請求項１～８のいずれか一項に記載の運動支援システム。
  10. 　前記健康記録部に記録された情報から前記運動者について危険情報を検出する健康管理部を有しており、
    　危険情報が検出されたときに、通知情報を出力して前記表示装置に表示し、もしくは、前記前記音声出力装置から発するとともに、前記情報端末に通知することを特徴とする請求項９記載の運動支援システム。
  11. 　前記映像制御部が、
    　前記映像データ記憶部から読みだした映像データをデコードして静止画を生成するデコード部と、
    　前記動き情報に応じて前記静止画の表示時間を設定する表示時間設定部と、
    前記デコード部から生成された静止画に、前記運動者宛てのテキストを合成するテキスト合成部と、
    を有することを特徴とする請求項１～１０のいずれか一項に記載の運動支援システム。
  12. 　前記映像制御部が、
    　前記撮像部で得られた画像の撮影情報と、前記運動者の身体運動の種類から、前記表示装置に表示する映像の読出し条件を判断する表示条件判断部を有することを特徴とする請求項１１記載の運動支援システム。
  13. 　前記撮像部のレンズが広画角レンズであり、
    　前記撮像部の近くに設けた照明部を必要に応じて点灯しつつ、
    　前記運動者の頭部が中央部付近となるように、運動者の全身もしくは主要部と周辺とを含めて撮影することを特徴とする請求項１～１２のいずれか一項に記載の運動支援システム。
PCT/JP2023/008462 2022-03-18 2023-03-07 運動支援システム WO2023176567A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-044648 2022-03-18
JP2022044648A JP7210791B1 (ja) 2022-03-18 2022-03-18 運動支援システム

Publications (1)

Publication Number Publication Date
WO2023176567A1 true WO2023176567A1 (ja) 2023-09-21

Family

ID=84978414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008462 WO2023176567A1 (ja) 2022-03-18 2023-03-07 運動支援システム

Country Status (2)

Country Link
JP (1) JP7210791B1 (ja)
WO (1) WO2023176567A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097988A (ja) * 2009-11-04 2011-05-19 Pioneer Electronic Corp トレーニング支援装置
US20130282157A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method of displaying multimedia exercise content based on exercise amount and multimedia apparatus applying the same
JP2015008878A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 計測装置、計測方法及びプログラム
KR20170061537A (ko) * 2015-11-26 2017-06-05 (주)이오아시스 스마트 기기를 제어패널로 이용하는 트레드밀
JP2017191301A (ja) * 2016-04-16 2017-10-19 真介 伊藤 脳トレーニング運動療法システム
JP2020150987A (ja) * 2019-03-18 2020-09-24 航 梅山 室内用有酸素運動装置、運動システム
CN212854460U (zh) * 2020-06-28 2021-04-02 中国人民解放军63919部队 一种智能跑步机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748401B1 (ko) 2016-08-22 2017-06-16 강두환 가상현실 어트랙션 제어 방법 및 시스템
WO2018101279A1 (ja) 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP7060544B6 (ja) 2019-04-26 2022-05-23 塁 佐藤 運動用設備
JP6855561B1 (ja) 2019-12-25 2021-04-07 医療法人偕行会 透析患者運動支援システムおよび透析患者運動支援装置ならびにその方法およびプログラム
CN111617438A (zh) 2020-06-28 2020-09-04 中国人民解放军63919部队 一种智能跑步机及智能管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097988A (ja) * 2009-11-04 2011-05-19 Pioneer Electronic Corp トレーニング支援装置
US20130282157A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method of displaying multimedia exercise content based on exercise amount and multimedia apparatus applying the same
JP2015008878A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 計測装置、計測方法及びプログラム
KR20170061537A (ko) * 2015-11-26 2017-06-05 (주)이오아시스 스마트 기기를 제어패널로 이용하는 트레드밀
JP2017191301A (ja) * 2016-04-16 2017-10-19 真介 伊藤 脳トレーニング運動療法システム
JP2020150987A (ja) * 2019-03-18 2020-09-24 航 梅山 室内用有酸素運動装置、運動システム
CN212854460U (zh) * 2020-06-28 2021-04-02 中国人民解放军63919部队 一种智能跑步机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Pixel Buds", 8 January 2022 (2022-01-08), XP093090400, Retrieved from the Internet <URL:https://web.archive.org/web/20220108194000/https://qiita.com/poruruba/items/6fa75d994112dec87f57> *

Also Published As

Publication number Publication date
JP2023138127A (ja) 2023-09-29
JP7210791B1 (ja) 2023-01-23

Similar Documents

Publication Publication Date Title
US9364714B2 (en) Fuzzy logic-based evaluation and feedback of exercise performance
US9292935B2 (en) Sensor-based evaluation and feedback of exercise performance
WO2019022706A1 (en) EXERCISE PROGRAMS
EP2346558B1 (en) Calming device
JP2006320424A (ja) 動作教示装置とその方法
JP2009213782A (ja) 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム
Katsigiannis et al. A qoe and simulator sickness evaluation of a smart-exercise-bike virtual reality system via user feedback and physiological signals
US20120194648A1 (en) Video/ audio controller
JP5975502B1 (ja) 脳トレーニング運動療法システム
US20060294564A1 (en) Sportcare set-top-box monitoring system
US11890505B2 (en) Systems and methods for gestural detection and control in immersive and interactive flume swimming pools
WO2023176567A1 (ja) 運動支援システム
JP6930546B2 (ja) 出力制御装置、出力制御方法およびプログラム
JP5049819B2 (ja) 運動支援装置及びコンピュータプログラム
KR20220014254A (ko) 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
JP2019024579A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
US11931641B2 (en) Exercise apparatus with integrated holographic display
JP2008186075A (ja) インタラクティブ画像表示装置
JP2007148922A (ja) 顔運動療法支援装置
Bruns et al. Design of a Personalized Affective Exergame to Increase Motivation in the Elderly.
WO2023027046A1 (ja) プログラム、情報処理装置、および情報処理方法
WO2022244298A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7303595B1 (ja) プログラム、情報処理装置、および情報処理方法
Oh et al. Implementation of CoM footboard sensor for lower limb rehabilitation
JP2003334219A (ja) 遠隔地散策装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770523

Country of ref document: EP

Kind code of ref document: A1