WO2014042121A1 - 動作評価装置及びそのプログラム - Google Patents

動作評価装置及びそのプログラム Download PDF

Info

Publication number
WO2014042121A1
WO2014042121A1 PCT/JP2013/074227 JP2013074227W WO2014042121A1 WO 2014042121 A1 WO2014042121 A1 WO 2014042121A1 JP 2013074227 W JP2013074227 W JP 2013074227W WO 2014042121 A1 WO2014042121 A1 WO 2014042121A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
motion
teacher
coordinates
unit
Prior art date
Application number
PCT/JP2013/074227
Other languages
English (en)
French (fr)
Inventor
依田　育士
正輝 大西
哲男 行岡
太田　祥一
三島　史朗
順 織田
Original Assignee
独立行政法人産業技術総合研究所
学校法人東京医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人産業技術総合研究所, 学校法人東京医科大学 filed Critical 独立行政法人産業技術総合研究所
Priority to US14/427,801 priority Critical patent/US20150255005A1/en
Priority to JP2014535535A priority patent/JP6124308B2/ja
Publication of WO2014042121A1 publication Critical patent/WO2014042121A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports

Definitions

  • the present invention teaches an exemplary operation to the user and evaluates the user's operation when it is necessary to memorize the operation in the body, such as emergency measures such as chest compression operation (so-called heart massage), nursing care, and sports.
  • emergency measures such as chest compression operation (so-called heart massage), nursing care, and sports.
  • the present invention relates to an operation evaluation apparatus and a program for supporting operation acquisition.
  • Patent Document 1 when the robot teaches the operation and the user moves, the difference between the photographed user's action and the robot's teaching action is determined based on the photographed image, and advice for correcting the difference is output. Techniques to do this are disclosed.
  • Patent Document 2 discloses a technology that can provide an appropriate teacher image by detecting a user's line-of-sight direction and providing a teacher image from the user's angle.
  • JP 2006-320424 A Japanese Patent Application Laid-Open No. 11-249772
  • Patent Document 1 and Patent Document 2 have a problem in that it is not possible to properly teach a fine difference between the movement taught by the robot and the movement of the user and the tempo.
  • these techniques are not teacher images that match the user's physique, there is a problem that it is difficult for the user to grasp the difference in movement and cannot be fully learned.
  • the present invention has been made in view of the above-described problems of the prior art, and provides a teacher motion image based on a model that matches the user's physique, displays it superimposed on the user's motion, and evaluates the motion.
  • An object of the present invention is to provide an operation teaching device that can effectively teach a model operation to a user.
  • the present invention generates a part coordinate calculation unit that calculates part coordinates of a user's body based on the user's image data, generates a user's shape model based on the part coordinates, and uses it as a teacher operation parameter.
  • a user model generation unit that generates moving image data of a teacher motion based on the user's shape model, a motion evaluation unit that evaluates the user's motion based on the part coordinates, and a teacher motion based on the user's shape model
  • an operation evaluation device having an output control unit that superimposes and displays a user's operation and outputs an evaluation result.
  • the part coordinate calculation unit of the present invention is characterized in that the part coordinates of each part are calculated by calculating the center-of-gravity coordinates of the user's head, both shoulders, both elbows, hands, and both wrists. Further, the part coordinate calculation unit may calculate based on at least the parallax information in pixels within a predetermined range of each part. Then, the part coordinate calculation unit may calculate the part coordinates of both shoulders and calculate the part coordinates of the head based on the part coordinates of both shoulders.
  • the user model generation unit adds a physique data calculation unit that generates physique data of the user based on the part coordinates calculated by the part coordinate calculation unit, and adds a teacher motion parameter to the user physique data at each time point.
  • a teacher motion adding unit for generating teacher moving image data based on a user's shape model.
  • the teacher motion addition unit corrects the part coordinates of both elbows and both shoulders of the physique data acquired from the physique data calculation unit based on the part coordinates of both wrists and the initial angle of the teacher action.
  • the operation evaluation unit extracts and evaluates the user's operation for one cycle, and the output control unit outputs the evaluation result together.
  • the motion referred to in the present invention is a chest compression motion, and the user's chest compression motion may be evaluated.
  • the present invention also includes a part coordinate calculation unit that calculates part coordinates of the user's body based on the user's image data, a user's shape model based on the part coordinates, and based on the teacher operation parameters.
  • a user model generation unit that generates moving image data of a teacher motion based on a user's shape model, a motion evaluation unit that evaluates a user's motion based on part coordinates, a teacher motion based on a user's shape model, and a user's It is a program characterized by causing a computer to function as an operation evaluation apparatus having an output control unit that superimposes an operation and outputs an evaluation result.
  • the present invention it is possible to generate a shape model suitable for the user's physique and display the teacher's action based on the model. For this reason, the user can easily understand the correct operation, and can learn the correct operation more quickly.
  • a teacher image is provided with a three-dimensional shape model, the difference in posture in the depth direction, which has been difficult to understand in the past, becomes clear and the operation can be learned more accurately.
  • the teacher image and the image of the action performed by the user are superimposed and displayed, and the evaluation result is output, so that the user can clearly understand the small difference from the teacher action. it can. Therefore, it is possible to learn accurate operations at an early stage.
  • FIG. 3 is a functional block diagram illustrating an example of a configuration of a user model generation unit 104.
  • FIG. It is a flowchart of the production
  • FIG. 1 is a block diagram showing an example of the overall configuration of the motion evaluation apparatus 100 according to the present invention.
  • the motion evaluation device 100 is connected to an imaging device 10, a sound output device 20, and a display device 30.
  • the imaging device 10 is a so-called stereo camera having two cameras, for example. Moreover, the camera which can acquire a three-dimensional distance image may be used.
  • the imaging device 10 captures an image of a user who is performing an operation to be learned, such as a chest compression operation.
  • the imaging device 10 acquires image data in time series by shooting and sends the image data to the motion evaluation device 100.
  • the voice output device 20 is, for example, a speaker, and outputs a voice to an instruction to a user, an evaluation result in the operation evaluation device 100, advice, or the like.
  • the display device 30 is a display, for example, and displays moving image data captured by the imaging device 10. Moreover, the evaluation result with respect to a user's operation
  • the motion evaluation apparatus 100 includes an image capture unit 101, a part coordinate calculation unit 102, a teacher motion storage unit 103, a user model generation unit 104, a motion evaluation unit 105, and an output control unit 106.
  • the image capturing unit 101 captures, for example, a moving image obtained by capturing a user's operation input in real time from the imaging device 10 or moving image data stored in a database (not shown).
  • the captured moving image data is moving image data having parallax data or distance data.
  • the part coordinate calculation unit 102 calculates the part coordinates of each part of the user's body in each frame image data of the moving image data captured by the image capturing unit 101.
  • Each part of the body refers to a part of the human body such as the head or shoulder.
  • the part coordinate calculation unit 102 detects the part of the user's body based on the parallax and color information in the captured image, and calculates the center of gravity of each part, so that each part of the user's body in the image is calculated.
  • the part coordinates are calculated. A specific calculation method will be described later.
  • the calculated part coordinates are output to the user model generation unit 104 or the motion evaluation unit 105.
  • the teacher action storage unit 103 is, for example, a memory having a database, and stores moving image data obtained by imaging a model teacher action.
  • moving image data obtained by imaging a chest compression operation performed by a lifesaving technician is stored.
  • the moving image data stored in the teacher motion storage unit 103 includes parallax data or distance data.
  • the teacher motion storage unit 103 stores teacher motion parameters that are time-series change data of the part coordinates of each part.
  • the user model generation unit 104 generates a three-dimensional shape model of the user, and generates moving image data of a teacher action based on the user's shape model. That is, based on the part coordinates of each part of the user calculated from the frame image data by the part coordinate calculation unit 102, the user's physique data is calculated, and the user's shape model is generated.
  • teacher motion image data is stored in the teacher motion storage unit 103
  • a teacher motion parameter is generated based on the teacher motion image data
  • the teacher motion parameter is stored in the teacher motion storage unit 103
  • Read the teacher movement parameters Read the teacher movement parameters.
  • a teacher motion parameter is added to the user's shape model to generate a teacher motion based on the user's shape model.
  • the motion evaluation unit 105 evaluates the user's motion based on the teacher motion based on the user's shape model.
  • the user's motion is analyzed by calculating the time series change of the image captured by the image capturing unit 101 and the region coordinates during the operation calculated by the region coordinate calculation unit 102.
  • an evaluation table is provided, a threshold value at a predetermined part set based on the teacher action is stored, and the action of the user is evaluated by comparing with the threshold value.
  • the evaluation may be performed by comparing with the moving image data of the teacher motion based on the shape model that matches the physique of the user generated by the user model generation unit 104.
  • the operation evaluation unit 105 may select and output advice such as an improvement point for performing a more ideal operation in addition to the user operation evaluation.
  • the output control unit 106 controls output to the display device 30 and the audio output device 20.
  • the output control unit 106 matches the moving image data captured by the image capturing unit 101 from the imaging device 10 and the user's physique generated by the user model generation unit 104.
  • the output is controlled so as to superimpose and display the moving image data of the teacher motion based on the shape model. Further, output control is performed so that the evaluation result and advice in the operation evaluation unit 105 are displayed or output as audio.
  • the processing of the operation evaluation apparatus is roughly divided into the following three.
  • (1) A process for calculating part coordinates of each part of the user's body, (2) a process for generating a teacher action based on the user's shape model, and (3) a user action and a teacher action are superimposed and displayed.
  • the part coordinate calculation process (1) is performed for each frame image data.
  • the motion evaluation apparatus first instructs the user to stand still in order to generate the user's shape model, and based on the calculation result of the part coordinates in (1),
  • a teacher motion generation process (user shape model generation mode) is performed based on the user's shape model.
  • the operation evaluation mode is set, and the process proceeds to the evaluation process (3) based on the calculation result of the part coordinates according to (1). Therefore, regardless of whether the process (2) or the process (3) is performed, the process (1) is performed on the moving image data before that.
  • these processes will be specifically described.
  • FIG. 2 is a flowchart showing an example of the flow of calculation processing of part coordinates of each part of the user's body executed by the motion evaluation apparatus 100. is there. Here, it demonstrates along the case where the chest compression operation
  • the image capturing unit 101 captures distance image data input from the imaging device, that is, image data and parallax data (step S201). Note that two image data may be acquired from the stereo camera, and the image capturing unit 101 may calculate the parallax. Although the parallax data is used, when the imaging apparatus is not a stereo camera but a camera having a distance meter, image data and distance data may be captured.
  • the “image data” here is image data (one frame image) at each time point in the moving image data which is a time-series image.
  • the part coordinate calculation process is performed on each of the captured image data.
  • the image capturing unit 101 outputs the input image data and parallax data to the part coordinate calculation unit 102.
  • the part coordinate calculation unit 102 acquires parallax / color information in each pixel of the screen coordinates in a range corresponding to each part of the body from the image data captured by the image capturing unit 101 (step S202).
  • the part coordinate calculation unit 102 performs part coordinate calculation processing for each part of the user's body.
  • Each part includes the head, both shoulders (right shoulder, left shoulder), both elbows (right elbow, left elbow), hand, and both wrists (right wrist, left wrist).
  • the user may wear a marker with a specific color at a predetermined position such as the shoulder, elbow, wrist, etc. so that the calculation of the part coordinates is easy.
  • the part coordinate calculation unit 102 stores a coordinate range (x, y coordinates in the screen coordinates) as a part coordinate calculation range in which each part of the body can exist in the image data, and the screen in that range. Coordinate parallax and color information (for example, hue, saturation, brightness) are acquired and calculated.
  • the part coordinate calculation unit 102 inputs parameters for each part of the body (step S203).
  • the parameter is a threshold value regarding parallax and color information, and different parameters are set for each part of the body. For example, values such as parallax: 155 to 255, hue: 79 to 89, saturation: 150 to 200, brightness: 0 to 19 are set as parameters for the right elbow.
  • the color information is expressed in the range of 0 to 255, for example.
  • parameters are set in consideration of the color of the marker.
  • parameters are set in consideration of the skin color. In the chest compression operation, the left hand and the right hand are detected as one body because the hands are put in a state where both hands are combined.
  • the part coordinate calculation unit 102 extracts a pixel having a range coordinate corresponding to each part, and compares whether or not the parallax and the color information have values within a range set by parameters for each pixel.
  • the part coordinate calculation unit 102 extracts pixels having values within the setting range in all parameters of parallax and color information, and acquires coordinate values of these pixels.
  • the part coordinate calculation unit 102 calculates the barycentric coordinates for each part (step S204).
  • the average value of the coordinates of the pixels whose parallax and color information extracted in step S203 are within a predetermined range is calculated as the center of gravity, and is used as the part coordinate data.
  • the calculation order does not matter in calculating the barycentric coordinates.
  • more accurate calculation can be performed using the calculation results of the center-of-gravity coordinates of both shoulders and both wrists.
  • the coordinate range stored in advance as the extraction range is corrected with the calculated center of gravity coordinates of the wrist.
  • the maximum value of the y coordinate in the set coordinate range of the hand is corrected to the y coordinate of the center of gravity of the wrist, and then extraction is performed.
  • the extraction range is corrected using the y coordinate of the center of gravity coordinates of the shoulder.
  • the center of gravity coordinates are calculated after further correcting the area of the coordinate values used for the calculation.
  • a method for calculating the center-of-gravity coordinates of the head will be described later.
  • the part coordinate calculation unit 102 acquires the barycentric coordinates in the camera coordinates of each part (step S205). Since the coordinate values calculated in step S204 are screen coordinates, it is necessary to convert them into camera coordinates.
  • the camera is the origin
  • the plane parallel to the camera plane is the XY plane
  • the optical axis extending from the camera plane is the Z axis
  • the calculation of the position (camera coordinates) in the three-dimensional space is, for example, Is obtained.
  • the part coordinate calculation unit 102 calculates the camera coordinates in each part of the body
  • the part coordinate calculation unit 102 outputs the part coordinates to the user model generation unit 104 or the motion evaluation unit 105.
  • FIG. 3 is a diagram illustrating an example of a coordinate range designated as a part coordinate calculation range.
  • the part coordinate calculation unit 102 stores, for example, two coordinate values (X1, Y1) and (X2, Y2) as a range in which the right elbow can exist in the image data. That is, the maximum value and the minimum value in the x coordinate and the y coordinate, respectively.
  • the part coordinate calculation unit 102 acquires the image data
  • the two coordinate values that is, a rectangle formed by (X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2) are represented by the part. Extract as a coordinate calculation range.
  • the range coordinates corresponding to each part are stored in the part coordinate calculation unit 102 for the other parts.
  • the part coordinate calculation unit 102 acquires the parallax and color information of the pixels located in the corresponding range from the image data based on the stored range coordinates.
  • FIG. 4 is a diagram for explaining a method of calculating the center of gravity of the right elbow.
  • a square cell is an image of a pixel whose parallax and color information are within the parameters.
  • the part coordinate calculation unit 102 extracts these pixels within the parameter range, calculates the coordinate average value as the center of gravity, and sets the center of gravity coordinates as the part coordinates.
  • the round point in FIG. 4 is the position of the center of gravity of the right elbow calculated.
  • FIG. 5 is a diagram for explaining a method of calculating the center-of-gravity coordinates of the head.
  • FIG. 5 a is a diagram for explaining a region to be extracted as a head. Assume that image data and parallax data are captured in the same manner as the calculation of the center of gravity of other parts, and here, a method of calculating part coordinates of the head will be described.
  • the part coordinate calculation unit 102 reads the stored range coordinates of the head when calculating the center of gravity coordinates of the head.
  • the part coordinate calculation unit 102 acquires parallax / color information of screen coordinates based on the corrected range coordinates. This is a process corresponding to step S202. And the part coordinate calculation part 102 inputs the parameter of a head. This is a process corresponding to step S203.
  • a parallax threshold value is stored as a head parameter, and a pixel having a corresponding parallax value is extracted.
  • the part coordinate calculation unit 102 acquires the maximum value (LeftX) and minimum value (RightX) of the x coordinate and the maximum value (TopY) of the y coordinate from the coordinate value of the extracted pixel.
  • a coordinate value (BottomY) of the y coordinate that is an intermediate point between the maximum value of the y coordinate (TopY) and the average value of the y coordinates of the center of gravity of both shoulders (Shoulder Hight) is calculated.
  • the pixels in the region surrounded by LeftX, RightX, TopY, and BottomY are corrected as the region used for calculating the center of gravity.
  • the pixels used for calculating the center of gravity are further narrowed down by performing a process of extracting only the pixels in the contour portion.
  • Number of pixels in the area surrounded by LeftX, RightX, TopY, BottomY and having a predetermined parallax value, the pixels in the contour part (edge) at the top and left and right parts in the area, and the number toward the inside Only the pixels in the pixel portion are extracted.
  • the area formed by the extracted pixels is generally a crescent moon.
  • FIG. 5b is a schematic diagram showing the pixels used for calculating the center of gravity of the head and the calculated center of gravity.
  • the center-of-gravity coordinates of the head are calculated based on the coordinate values of the pixels in the contour region (corresponding to step S204).
  • the squares in the figure are the image of the pixels used for calculating the center of gravity, and are the center of gravity of the head where the central black dot is calculated.
  • the center of gravity is calculated based on pixels having a predetermined parallax value in a predetermined range coordinate, the central portion of the head is usually hair, so the color is the same and stereo matching is difficult. An error occurs.
  • the pixels used for calculating the center of gravity are corrected using the center of gravity coordinates of the shoulder, and further, the center of gravity of the parallax pixels in the contour region of the head is calculated as the center of gravity coordinates of the head. Allows extraction of the head region. Note that there may be no pixel information corresponding to the center of gravity due to missing parallax when acquiring parallax / color information of the pixel. At that time, the camera coordinates of the pixels 3 ⁇ 3 around the center of gravity are calculated together, and the average of the pixels having values is calculated as the camera coordinates of the center of gravity.
  • FIG. 6 is a functional block diagram illustrating an example of the configuration of the user model generation unit 104.
  • the user model generation unit 104 includes a teacher motion parameter generation unit 601, a physique data calculation unit 602, and a teacher motion addition unit 603.
  • the teacher motion parameter generation unit 601 reads the teacher moving image data stored in the teacher motion storage unit 103 and generates a teacher motion parameter.
  • the teacher operation parameter is a change value between adjacent image frames of the part coordinates. It is calculated for each of the x, y, and z coordinate values of each part of the body.
  • a part coordinate of each part of the body is calculated in each piece of image data of the teacher moving image, and a teacher operation parameter is generated by obtaining a time series difference of each part coordinate. Note that when the teacher motion parameter is already generated and the teacher motion parameter is stored in the teacher motion storage unit 103, the teacher motion parameter generation unit 601 is not necessary.
  • the physique data calculation unit 602 is configured to perform a chest compression operation for a predetermined time (for example, for example, at a position where the user's upper body fits in the image in front of the camera so that the physique data can be calculated by the user. For about 1 to 2 seconds, if 1/30 second per frame, 50 frame images). As an example, place a hand on the chest of a cardiopulmonary resuscitation doll placed on the floor and instruct the robot to stand still in a posture in which the straight line connecting the midpoint of the line connecting both shoulders and the palm is perpendicular to the floor plane. In this case, the voice output device 20 may make a voice announcement so as to be stationary. Moving image data is acquired while still, and physique data is calculated based on moving image data for a predetermined time.
  • a predetermined time for example, for example, at a position where the user's upper body fits in the image in front of the camera so that the physique data can be calculated by the user. For about 1 to 2 seconds, if 1/30 second per frame, 50 frame
  • the calculation method here is based on the part coordinates calculated by the part coordinate calculation unit 102 by the part coordinate calculation process described in (1), and based on a plurality of part coordinates for a predetermined time, the physique data calculation unit 602.
  • the physique data is calculated by calculating the average in each part.
  • the teacher motion adding unit 603 adds a teacher motion parameter, which is a time-series change in the coordinate values of the part coordinates generated by the teacher motion parameter generating unit 601, to the user's physique data generated by the physique data calculating unit 602.
  • a teacher motion parameter which is a time-series change in the coordinate values of the part coordinates generated by the teacher motion parameter generating unit 601
  • the user's physique data generated by the physique data calculating unit 602.
  • FIG. 7a is a flowchart of a teacher operation parameter generation process based on a teacher moving image.
  • the teacher motion parameter generation unit 601 takes in the teacher moving image data stored in the teacher motion storage unit 103 (step S701).
  • moving image data for one cycle of the chest compression operation is extracted (step S702).
  • moving image data at the time of compression of the sternum by the lifesaving technician is used as teacher moving image data, and moving image data is extracted with one cycle of compressing and returning the sternum.
  • the change is performed by extracting, from the teacher moving image data, the change in the coordinate (y coordinate) in the direction of pressing the chest of the doll of the hand part coordinates. Note that this step can be omitted when the stored moving image data is already one cycle of moving image data.
  • the teacher motion parameter generation unit 601 calculates part coordinates of each part of the body in each image data of moving image data for one period of the chest compression motion (step S703).
  • the calculation method of the part coordinates is the same as the above-described method, and the part coordinates of each part of the head, both shoulders, both elbows, hands, and both wrists are calculated.
  • the teacher motion parameter generation unit 601 averages the movements of the extracted part coordinates (step S704).
  • the calculated part coordinate data is grouped for each part coordinate, and the time series of movement is normalized. For example, it is assumed that there is data for seven frames with respect to the y coordinate data of the head. This is normalized as follows.
  • the teacher motion parameter generation unit 601 generates a teacher motion parameter that is time-series motion change data (step S705).
  • the generated teacher motion is not three-dimensional coordinate data indicating a position, but data indicating a change in coordinate data in time series. That is, the difference data of the coordinate values between adjacent frames.
  • the teacher operation parameters for the y-coordinate data of the head after the polynomial approximation are as follows. In Table 3, although it corresponds to 7 frames, the teacher motion parameters are generated for the time of one period of the chest compression motion for each part coordinate.
  • the teacher motion that is the change data of the motion in time series may be generated in advance.
  • the generation processing performed by the teacher motion parameter generation unit 601 is performed in advance, and the teacher motion storage unit 103 stores data of teacher motion parameters, which are movement change data in a time series for one cycle.
  • the teacher action addition unit 603 stores the teacher action parameters from the teacher action storage unit 103 and performs addition processing.
  • FIG. 7 b is a flowchart of the moving image generation process of the teacher action based on the user's shape model.
  • the physique data calculation unit 602 instructs the user for a predetermined time (for example, about 2 to 3 seconds) by voice or display so as to stand still at a predetermined position where the upper body of the user is reflected on the imaging device.
  • the part coordinates of each part of the person are acquired for a plurality of frames (step S711).
  • the part coordinates of each part are calculated for each image data by the part coordinate calculation unit 102 and input to the physique data calculation unit 602. Therefore, the physique data calculation unit 602 stores the input part coordinate data for a plurality of frames (for example, 50 frames).
  • the physique data calculation unit 602 calculates the average value of the part coordinate data for each part of the stored part coordinate data for a plurality of frames, thereby calculating the physique data of the user (step S712).
  • the teacher motion addition unit 603 acquires the physique data from the physique data calculation unit 602, and sets these part coordinate data as initial values as physique data (step S713). Based on the calculated physique data, a user's initial shape model is generated in principle. In addition, although the correction process regarding the part coordinates of both elbows and both shoulders is performed by the teacher motion adding unit 603, the process will be described later.
  • the physique data was calculated by calculating the average value of the part coordinate data of each part in a stationary state, but for the part coordinates of the hand, several attempts to perform chest compressions were made. From the above.
  • the three-dimensional shape data of the chest of the cardiopulmonary resuscitation doll is acquired in a state where the user is not imaged.
  • the part coordinate calculation unit 102 acquires a data string of coordinates of the ridgeline portion of the chest of the cardiopulmonary resuscitation doll.
  • the motion evaluation apparatus 100 instructs the user to place a hand on the cardiopulmonary resuscitation doll, and press it into the chest to perform the chest compression operation to return to the original multiple times by voice or the like.
  • the coordinates of the center of gravity (x, y) at the position where the hand is at the top are obtained.
  • the physique data calculation unit 602 calculates. This is the x-coordinate value in the hand part coordinate data.
  • the y value of the ridge line of the chest of the doll at the position of the x coordinate value is acquired and compared with the y coordinate value of the hand, and the larger y value is set as the y coordinate value in the hand part coordinate data. This is because the position of the hand in an unpressed state is set to the initial position.
  • the teacher motion adding unit 603 receives the user's physique data calculated by the physique data calculating unit 602 and the teacher motion generated by the teacher motion parameter generating unit 601.
  • the teacher motion addition unit 603 adds the teacher motion at each time point (each frame image) using the user's physique data calculated by the physique data calculation unit 602 as an initial value (step S714).
  • the teacher motion parameters indicating the time-series change data of the coordinates in each part to the user's physique data, and further adding to the added coordinate value
  • the user's part coordinates are changed to the teacher motion. Changes according to Thereby, it is possible to generate moving image data of a teacher action that matches the physique of the user.
  • FIG. 8 is a schematic diagram regarding correction of the user's physique data.
  • the initial correct posture is a state where the arm is relatively straight.
  • the initial posture of the user may be a state where the arm is bent. For this reason, with respect to the physique data of both wrists, the physique data of both elbows and both shoulders is corrected by the teacher motion adding unit 603.
  • the teacher motion adding unit 603 obtains initial coordinate data of both wrists, both elbows, and both shoulders when the teacher motion parameters are generated from the teacher motion parameter generating unit 601, and is configured with wrists, elbows, and shoulders.
  • the initial angle ⁇ is calculated.
  • the initial angle ⁇ may be calculated and stored in advance.
  • the teacher motion addition unit 603 acquires the physique data from the physique data calculation unit 602, and calculates the length from the wrist to the elbow for both arms from the coordinates of the user's wrist and elbow. Similarly, the length from the elbow to the shoulder is calculated from the coordinates of the user's elbow and shoulder.
  • the teacher motion adding unit 603 determines the positions of both wrists based on the coordinates of the two wrists in the physique data, the initial angle ⁇ of the teacher motion, the calculated length from the wrist to the elbow, and the length from the elbow to the shoulder. Using the coordinates as a reference, the position coordinates of both elbows and both shoulders when the user's arm makes an initial angle ⁇ are calculated, and the position coordinates of the elbow and the direction in the physique data are corrected.
  • the part coordinates of both elbows and the parts of both shoulders in the physique data are replaced with the coordinate data in the correct initial posture. Therefore, it is possible to teach an initial posture that matches the user's physique.
  • FIG. 9 is a flowchart of a process for evaluating a user's operation.
  • a shape model that is generated by the user model generation unit 104 and performs a teacher action with an initial posture that matches the corrected user's physique is output to the display device 30 under output control by the output control unit 106.
  • the superimposed display with the image of the user displayed and imaged by the imaging device is started (step S901).
  • the user adjusts the posture so that the shape model is the same as the image in which the shape model is copied.
  • the motion evaluation unit 105 buffers the part coordinates of each part of the user's body calculated by the part coordinate calculation part 102 in each image data for each frame image (step S902). Each buffered part coordinate data is used to detect one period of chest compression motion or to calculate a feature value for motion evaluation.
  • the motion evaluation unit 105 extracts one period of chest compression motion (step S903).
  • the user's hand checks the transition of the position coordinates of both hands when performing chest compression action on the cardiopulmonary resuscitation doll.
  • the coordinates (y coordinate) in the direction of pressing the cardiopulmonary resuscitation doll among the part coordinates of the user's hand include the movement indicating the compression (for example, the frame group in which the value of the y coordinate continues to decrease) and the hand.
  • the movement to return to for example, a frame group in which the value of the y coordinate continues to increase
  • it is invalid about a motion with a small motion in which the change of coordinate value is below a predetermined value.
  • the motion evaluation unit 105 when extracting one cycle of the chest compression motion, generates a feature amount for the user's motion evaluation and advice based on the region coordinate data for one cycle (step S904).
  • the feature amount is, for example, the time (number of frames) required for one cycle of the chest compression operation and the average of the minimum value of the left elbow angle and the minimum value of the right elbow angle in one cycle.
  • the motion evaluation unit 105 stores, for example, the feature value used for evaluation as an evaluation table in association with the threshold value and evaluation of the feature value.
  • the operation evaluation unit 105 refers to the evaluation table with respect to the generated feature amount, and compares the generated feature amount with a predetermined threshold value stored, thereby evaluating the operation of the user (step S905). Each feature quantity is compared with a threshold value, and a feature quantity deviating from the threshold value is extracted. The operation evaluation is performed in each cycle. The output of the evaluation result and the advice content is controlled by the output control unit 106, and a sound and a screen are displayed for each cycle.
  • the operation evaluation unit 105 detects whether or not a certain time has elapsed from the start of evaluation (step S906). If the fixed time has not elapsed (No in step S906), the evaluation is continued.
  • the fixed time elapse is, for example, 2 minutes, which is a guideline for one person in the guidelines on chest compressions to continue. However, it is not limited to this and may be set freely.
  • the final evaluation result is output (step S907).
  • FIG. 10 shows an example in which a shape model image based on the user's physique and a user's image are superimposed and displayed.
  • the moving image data of the shape model that performs the teacher motion is generated by a mesh-like shape as shown in FIG. 10 when the teacher motion adder 603 generates a user shape model based on the part coordinates of each part of the body.
  • the model is displayed.
  • the shape model based on the part coordinates of the center of gravity of the body is generated by the existing technology, the description is omitted.
  • FIG. 11 is a graph showing the transition of the coordinates of the part of the user's hand buffered in step S902 of FIG.
  • the y coordinate is the y coordinate in the camera coordinate and is in the vertical direction. Therefore, the user's hand is in the direction of pressing back the sternum of the doll, and the change in the coordinate value of the y coordinate is extracted from the part coordinates.
  • the motion evaluation unit 105 extracts a change (difference) in coordinates between image data.
  • FIG. 12 is a table showing the difference between image data (between image data frames) and the direction of the compression direction (positive or negative).
  • the motion evaluation unit 105 makes the change between 7 and 8 frames negative when the change is positive as in the case of the 7-8 frame, but is negative between both adjacent frames. Processing to do. In this way, when only the direction of movement between one frame is different, invalidation processing is performed.
  • FIG. 13 is an example of a table in which one cycle of the chest compression operation detected based on the transition of the coordinates of the part of the user's hand is calculated.
  • a frame whose coordinate value change is “positive” is regarded as a direction in which the hand moves away from the doll, that is, ascending, and is returned from chest compression.
  • a frame whose coordinate value change is “negative” is regarded as a direction in which the hand approaches the doll, that is, descends, and is regarded as a movement that compresses the sternum.
  • the motion evaluation unit 105 extracts the compression motion and the return motion as one set and extracts it as one cycle of the chest compression motion.
  • FIG. 14 is an example of an evaluation table that represents the feature amount generated in step S904 of FIG. 9 and its threshold value.
  • a threshold value for a desired motion is stored in association with each feature amount, and the motion evaluation unit 105 evaluates each feature amount based on the evaluation table for each period of the chest compression motion in step S905. For example, if the difference between the initial value of the y coordinate of the right wrist and the maximum value is 40, it is determined to be good.
  • the maximum and minimum values of the z coordinate of the head, shoulder, and elbow are set as feature quantities for evaluation. Since the user is located in front of the camera, the z direction is the depth direction.
  • threshold values are stored in the evaluation table, but advice may be stored in association with them. For example, “more slowly” is advice when the number of frames in one cycle is less than 6 frames, “faster” is advice when the number of frames is 8 frames or more, and the like. These evaluations and advice are displayed and output as audio.
  • FIG. 15 shows an example of a display screen in which the moving image data of the shape model of the user performing the teacher operation and the moving image data of the chest compression operation of the user are superimposed and displayed on the screen.
  • the operation evaluation unit 105 evaluates that the operation is an exemplary operation. As shown in FIG. 15, in the case of an exemplary operation, the number of times may be counted as “good” and displayed. Also, as shown in FIG. 15, the depth of the user's hand pressing the doll's hand, that is, the transition of the y coordinate of the hand is displayed, and the threshold line of the depth necessary for chest compression is also displayed. Thus, it may be possible to tell at a glance whether or not compression necessary for chest compression is being performed.
  • the operation evaluation apparatus 100 may be configured as a personal computer owned by a system user and a program executed on the personal computer as shown in FIG.
  • the personal computer includes a CPU (Central Processing Unit) 1601, a RAM (Random Access Memory) 1603 connected to the CPU 1601 via a bus, a ROM (Read Only Memory) 1605, an external storage device 1607 such as a hard disk drive, an I / O O interface 1609, a communication interface 1611 for connecting to a communication network line, and the like.
  • a camera 1613, a microphone 1615, and a display 1617 are connected to the interface 1609.
  • the functions of the teacher motion storage unit 103 are realized by an external storage device
  • the functions of the imaging device 10, the audio output device 20, and the display device 30 are realized by a camera, a microphone, and a display, respectively.
  • Programs that realize various functions are stored in the external storage device 1607, read out to the RAM 1603, and then executed by the CPU 1601.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　効果的に利用者に模範動作を教示することができる動作教示装置を提供することを目的とする。　本発明の動作評価装置は、利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する。

Description

動作評価装置及びそのプログラム
　本発明は、特に胸骨圧迫動作（いわゆる心臓マッサージ）などの救急措置や介護、スポーツなど、身体で動作を覚える必要がある場合に、利用者に模範動作を教示し、利用者の動作を評価することで、動作習得を支援する動作評価装置及びそのプログラムに関するものである。
　従来、利用者へ動作を教示する動作教示装置として、様々な装置が検討されてきた。例えば、胸骨圧迫動作の訓練においては、センサを埋め込んだ心肺蘇生人形を床に寝かせ、その人形に対して胸骨圧迫動作を行わせることで、人形に対する胸骨圧迫の深さをセンサで計測し、適正な動作かどうかを判断することが行われている。しかし、胸骨圧迫を正しく行っているかどうかは、胸骨圧迫の深さを計測するだけでは不十分である。正しく胸骨圧迫動作を行うには、適切な姿勢、肘の角度、適切な圧迫周期で行う必要がある。従来の心肺蘇生人形での訓練においては、行為者の姿勢等を判定することができず、正しい動作を教示できないという問題があった。
　特許文献１においては、ロボットが動作を教示し利用者が動作すると、撮影した利用者の動作とロボットの教示動作との差異を撮影画像に基づいて判定し、差異を補正するためのアドバイスを出力する技術が開示されている。
　また、特許文献２においては、利用者の視線方向を検出し、利用者のアングルからの教師画像を提供することで適切な教師画像を提供することができる技術が開示されている。
特開２００６－３２０４２４号公報 特開平１１－２４９７７２号公報
　しかし、特許文献１や特許文献２に開示された技術では、ロボットが教示した動作と利用者の動作との細かな差異やテンポを適切に教示できないという問題があった。また、これらの技術では、利用者の体格に合わせた教師画像ではないため、利用者が動きの違いを把握することが難しく、十分に習得できないという問題があった。
　本発明は、上述した従来技術の課題に鑑みてなされたもので、利用者の体格に合ったモデルによる教師動作画像を提供し、利用者の動作と重畳して表示し、また動作を評価することで効果的に利用者に模範動作を教示することができる動作教示装置を提供することを目的とする。
　上記目的に鑑み、本発明は利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置を提供する。
　また、本発明の部位座標算出部は、利用者の頭、両肩、両肘、手、両手首それぞれの重心座標を算出することで各部位の部位座標を算出することを特徴とする。さらに、部位座標算出部は、各部位の所定範囲内の画素における少なくとも視差情報に基づいて算出してもよい。そして、部位座標算出部は、両肩の部位座標を算出し、両肩の部位座標に基づいて頭の部位座標を算出してもよい。
　また、利用者モデル生成部は、部位座標算出部が算出した部位座標に基づいて利用者の体格データを生成する体格データ算出部と、利用者の体格データに教師動作パラメータを各時点で加算することで利用者の形状モデルによる教師動画像データを生成する教師動作加算部と、を有することを特徴とする。
　さらに、教師動作加算部は、体格データ算出部から取得した体格データのうち、両肘及び両肩の部位座標を、両手首の部位座標と、教師動作の初期角度に基づいて補正することを特徴とする。
　また、動作評価部は、利用者の動作を１周期分抽出して評価を行い、出力制御部は、評価結果をあわせて出力することを特徴とする。
　なお、本発明にいう動作は胸骨圧迫動作であり、利用者の胸骨圧迫動作を評価してもよい。
　また、本発明は、利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて利用者の形状モデルによる教師動作動画像データを生成する利用者モデル生成部と、部位座標に基づいて利用者の動作を評価する動作評価部と、利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置としてコンピュータを機能させることを特徴とするプログラムであることを特徴とする。
　本発明によれば、利用者の体格に合った形状モデルを生成し、そのモデルによる教師動作を表示させることができる。このため、利用者が正しい動作への理解が容易となり、より早く正しい動作を習得することができる。また、三次元の形状モデルでの教師画像を提供するため、従来わかり難かった奥行方向での姿勢の違いについても、差異が明確となり、より正確に動作を習得することができる。
　さらに、本発明によれば教師画像と利用者が行っている動作の画像とを重畳表示させ、評価結果を出力するため、利用者は、教師動作との細かな差異を明確に理解することができる。従って、正確な動作を早期に習得することが可能となる。
本発明における動作評価装置１００の全体構成の一例を示すブロック図である。 動作評価装置１００により実行される利用者の体の各部位の部位座標の算出処理の流れの一例を示すフロー図である。 部位座標算出範囲として指定された座標範囲の一例を表す図である。 右肘部の重心算出方法を説明する図である。四角形が、視差及び色情報がパラメータの範囲内である画素のイメージ図である。 頭部として抽出する領域を説明する図面である。 頭部の重心算出に用いた画素及び算出された重心を示す模式図である。 利用者モデル生成部１０４の構成の一例を示す機能ブロック図である。 教師動画像に基づく教師動作パラメータの生成処理のフローチャートである。 利用者の形状モデルによる教師動作の動画像生成処理のフローチャートである。 利用者の体格データの補正に関する模式図である。 利用者の動作を評価する処理のフローチャートである。 利用者の体格による形状モデル画像と、利用者の画像とを重畳表示させた例である。 利用者の手の部位座標の推移を示すグラフである。 各画像データ間における差分と、圧迫方向の向きを表すテーブルである。 利用者の手の部位座標の推移に基づいて検出した胸骨圧迫動作の１周期を算出したテーブルの一例である。 特徴量とその閾値を表す評価テーブルの一例である。 教師動作を行う利用者の形状モデルと利用者の胸骨圧迫動作とを重畳表示させ、画面にアドバイスを表示された表示画面の一例である。 動作評価装置のハードウェア構成図の一例である。
　図１は本発明における動作評価装置１００の全体構成の一例を示すブロック図である。図１においては、動作評価装置１００は、撮像装置１０、音声出力装置２０、表示装置３０と接続されている。撮像装置１０は、例えば２つのカメラを有するいわゆるステレオカメラである。また、３次元距離画像を取得できるカメラであってもよい。たとえば、撮像装置１０は、胸骨圧迫動作など、習得しようとしている動作を行っている利用者を撮像する。撮像装置１０は、撮影により時系列的に画像データを取得し、動作評価装置１００へと送る。音声出力装置２０は、例えば、スピーカであって、利用者への指示や、動作評価装置１００での評価結果やアドバイスなどを音声出力する。表示装置３０は、例えば、ディスプレイであって、撮像装置１０によって撮像される動画像データを表示する。また利用者の動作に対する評価結果を表示し、生成された利用者の形状モデルによる教師動作と撮像データの重畳表示を行う。
　動作評価装置１００は、画像取込部１０１、部位座標算出部１０２、教師動作記憶部１０３、利用者モデル生成部１０４、動作評価部１０５、出力制御部１０６を有する。
　画像取込部１０１は、たとえば、撮像装置１０からリアルタイムで入力される利用者の動作を撮像した動画像、または図示していないデータベース等に記憶された動画像データを取り込む。取り込んだ動画像データは、視差データ又は距離データを有する動画像データである。
　部位座標算出部１０２は、画像取込部１０１によって取り込まれた動画像データの一フレーム画像データ各々において、利用者の体の各部位の部位座標を算出する。体の各部位とは、例えば、頭や肩などの人間の体の一部分を指す。部位座標算出部１０２は、取り込んだ画像における視差や色情報に基づいて、利用者の体の部位を検出し、各部位の重心を算出することで、その画像における利用者の体の各部位の部位座標を算出する。具体的な算出方法については、後述する。算出した部位座標は利用者モデル生成部１０４または動作評価部１０５へ出力される。
　教師動作記憶部１０３は、例えば、データベースを有するメモリであり、模範となる教師動作を撮像した動画像データを記憶する。胸骨圧迫動作を教示する場合、例えば、救命士が行う胸骨圧迫動作が撮像された動画像データを記憶する。教師動作記憶部１０３に記憶されている動画像データは、視差データ又は距離データを有している。なお、後述するが、教師動作パラメータ生成部６０１を有しない構成とする場合、教師動作記憶部１０３は、各部位の部位座標の時系列変化データである教師動作パラメータを記憶する。
　利用者モデル生成部１０４は、利用者の三次元による形状モデルを生成し、利用者の形状モデルによる教師動作の動画像データを生成する。つまり、部位座標算出部１０２でフレーム画像データから算出された利用者の各部位の部位座標に基づいて、利用者の体格データを算出し、利用者の形状モデルを生成する。また、教師動作記憶部１０３に教師動画像データが記憶されている場合は、教師動画像データに基づいて教師動作パラメータを生成し、教師動作記憶部１０３に教師動作パラメータが記憶されている場合は教師動作パラメータを読みだす。利用者の形状モデルに教師動作パラメータを加算することで、利用者の形状モデルによる教師動作を生成する。
　動作評価部１０５は、利用者の動作を、利用者の形状モデルによる教師動作に基づいて評価する。利用者の動作は、画像取込部１０１で取り込んだ画像や部位座標算出部１０２で算出した動作中の部位座標の時系列変化が算出されることで解析される。これに対し評価テーブルを設け、教師動作に基づいて設定された所定の部位におけるしきい値を記憶し、そのしきい値と比較することで、利用者の動作の評価を行う。なお、利用者モデル生成部１０４で生成された利用者の体格に合った形状モデルによる教師動作の動画像データと比較することで評価を行ってもよい。また、動作評価部１０５は、利用者の動作評価だけではなく、より理想的な動作を行うための改善点などのアドバイスを選択し、出力してもよい。
　出力制御部１０６は、表示装置３０や音声出力装置２０への出力を制御する。出力制御部１０６は、撮像装置１０から画像取込部１０１により取得される利用者の動作が撮像されている動画像データと、利用者モデル生成部１０４で生成された利用者の体格に合った形状モデルによる教師動作の動画像データとを重畳表示するように出力を制御する。また、動作評価部１０５における評価結果やアドバイスを表示または音声出力するように出力制御する。
　本発明に係る動作評価装置の処理は、次の３つに大別される。（１）利用者の体の各部位の部位座標の算出処理、（２）利用者の形状モデルによる教師動作の生成処理、（３）利用者の動作と教師動作を重畳表示させ、利用者の動作を評価する処理の３つである。撮像装置１０から入力された利用者が映っている動画像はフレーム画像データ各々について（１）の部位座標の算出処理が行われる。動作評価装置は、利用者が動作を行う前に、まず利用者の形状モデルを生成するために、静止するよう指示し、（１）での部位座標の算出結果をもとに（２）の利用者の形状モデルによる教師動作の生成処理（利用者形状モデル生成モード）を行う。（２）の処理が完了後は、動作評価モードとなり、（１）による部位座標の算出結果をもとに、（３）の評価処理へとうつる。従って、（２）の処理、（３）の処理、いずれの処理が行われる場合であっても、その前に動画像データに対して（１）の処理が行われる。以下、これらの処理について具体的に説明する。
（１）利用者の体の各部位の部位座標の算出処理
　図２は、動作評価装置１００により実行される利用者の体の各部位の部位座標の算出処理の流れの一例を示すフロー図である。ここでは、胸骨圧迫動作を教示する場合に沿って説明する。
　画像取込部１０１は、撮像装置から入力される距離画像データ、つまり画像データ及び視差データを取り込む（ステップＳ２０１）。なお、ステレオカメラから２つの画像データを取り込み、画像取込部１０１で視差を算出してもよい。また、視差データとしているが、撮像装置がステレオカメラではなく、距離計を有するカメラである場合には、画像データ及び距離データを取り込んでもよい。ここでいう「画像データ」は、時系列画像である動画像データのうちの各時点の画像データ（一フレーム画像）である。部位座標の算出処理は、取り込まれる画像データ各々に対して行われる。画像取込部１０１は、入力される画像データ及び視差データを部位座標算出部１０２へと出力する。
　次に、部位座標算出部１０２は、画像取込部１０１が取り込んだ画像データから、体の各部位に該当する範囲の画面座標の各画素における視差・色情報を取得する（ステップＳ２０２）。部位座標算出部１０２は、利用者の体の各部位ごとに部位座標の算出処理を行う。各部位とは、頭、両肩（右肩、左肩）、両肘（右肘、左肘）、手、両手首（右手首、左手首）である。利用者は、部位座標の算出が容易となるように、肩や肘、手首などの所定の位置に特定の色が付されたマーカを装着していてもよい。例えば、肩の場合は、わきから肩を巻くようにマーカを装着し、肘の場合は、上腕部の最下部、肘の曲がる箇所付近に付けるなど、装着位置は予め決められているものとする。また、利用者は撮像装置から所定の距離であってカメラの正面に位置し、画像データのなかで所定のサイズとなる場所に位置する。このため、部位座標算出部１０２は、画像データのなかで体の各部位が存在しうる部位座標算出範囲として、座標範囲（画面座標におけるｘ，ｙ座標）を記憶しており、その範囲における画面座標の視差及び色情報（例えば色相、彩度、明度）を取得して算出する。
　部位座標算出部１０２は、体の各部位についてパラメータを入力する（ステップＳ２０３）。パラメータとは、視差及び色情報に関するしきい値であって、体の各々の部位によって異なるパラメータが設定されている。例えば、右肘のパラメータとして、視差：155～255、色相：79～89、彩度：150～200、明度：0～19といった値が設定されている。色情報については、例えば、0～255の範囲で表現される。肩、肘、手首にマーカが装着されている場合、そのマーカの色を考慮してパラメータを設定する。手については肌色を考慮してパラメータが設定される。なお、胸骨圧迫動作においては、両手を組んだ状態でおかれるため、左手と右手とが一体となって検出される。これらのパラメータは、部位座標算出部１０２にあらかじめ記憶されている。また、パラメータはこれに限らず外部の記憶装置から入力してもよい。部位座標算出部１０２は、各部位に対応する範囲座標の画素を抽出し、各画素について、視差及び色情報がパラメータによって設定された範囲内の値を有しているかどうか、比較する。部位座標算出部１０２は、視差及び色情報全てのパラメータにおいて設定範囲内の値を有している画素を抽出し、それらの画素の座標値を取得する。
　次に、部位座標算出部１０２は、各部位について重心座標を算出する（ステップＳ２０４）。ステップＳ２０３で抽出した視差及び色情報が所定範囲内である画素の座標の平均値を重心として算出し、部位座標データとする。基本的に重心座標の算出にあたって、算出順序は問わない。但し、頭部及び手の重心座標の算出にあたっては、両肩及び両手首の重心座標の算出結果を用いると、より正確な算出が行うことが可能である。
　例えば、手の重心座標の算出において、抽出範囲としてあらかじめ記憶されている座標範囲を、算出された手首の重心座標により修正する。具体的には、画面座標において水平方向をｘ座標、垂直方向をｙ座標とすると、手の設定座標範囲のｙ座標の最大値を手首の重心のｙ座標と修正してから抽出を行う。頭部についても同様に、肩の重心座標のｙ座標を用いて抽出範囲を修正する。
　頭部については、中央部分の視差抜けにより、正しく重心座標を算出できない場合があるため、算出に用いる座標値の領域についてさらに補正を行ってから重心座標を算出する。頭部の重心座標の算出方法については後述する。
　部位座標算出部１０２は、各部位のカメラ座標における重心座標を取得する（ステップＳ２０５）。ステップＳ２０４で算出された座標値は、画面座標であるため、カメラ座標に変換する必要がある。ここで、カメラを原点とし、カメラ面に平行な面をＸ－Ｙ平面、カメラ面から延びる光軸をＺ軸とすると、３次元空間上の位置（カメラ座標）の算出は、例えば以下の式により得られる。
Figure JPOXMLDOC01-appb-M000001
　部位座標算出部１０２はカメラ座標の算出を体の各部位において行うと、それらの部位座標を利用者モデル生成部１０４または動作評価部１０５へ出力する。
　図３は、部位座標算出範囲として指定された座標範囲の一例を表す図である。部位座標算出部１０２は、例えば、画像データのなかで右肘が存在しうる範囲として、（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）の２つの座標値を記憶している。つまり、ｘ座標及びｙ座標におけるそれぞれの最大値及び最小値である。部位座標算出部１０２は、画像データを取得すると、これら２つの座標値、つまり（Ｘ１，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ１）、（Ｘ２、Ｙ２）で形成される矩形を部位座標算出範囲として抽出する。他の部位についても同様に、各部位に対応した範囲座標が部位座標算出部１０２に記憶されている。部位座標算出部１０２は、記憶されている範囲座標に基づいて画像データから該当する範囲に位置している画素の視差及び色情報を取得する。
　図４は、右肘部の重心算出方法を説明する図である。四角形のマス目が、視差及び色情報がパラメータの範囲内である画素のイメージである。部位座標算出部１０２は、パラメータの範囲内であるこれらの画素を抽出して座標平均値を重心として算出し、重心座標を部位座標とする。図４における丸い点が算出された右肘の重心位置である。
　図５は、頭部の重心座標の算出方法を説明する図である。図５ａは、頭部として抽出する領域を説明する図面である。他の部位の重心算出と同様に画像データ及び視差データは取り込まれているものとし、ここでは頭部の部位座標算出方法について説明する。部位座標算出部１０２は、頭部の重心座標算出の際に、記憶している頭部の範囲座標を読みだす。また、算出した左肩及び右肩の重心座標のｙ座標を取得し、その平均値を算出し、頭部の範囲座標のｙ座標の最小値を両肩のｙ座標の平均値に修正する。次に、部位座標算出部１０２は、修正後の範囲座標に基いて画面座標の視差・色情報を取得する。ステップＳ２０２に相当する処理である。そして、部位座標算出部１０２は、頭部のパラメータを入力する。ステップＳ２０３に相当する処理である。頭部のパラメータとして視差のしきい値が記憶されており、該当する視差値を有する画素を抽出する。
　部位座標算出部１０２は、抽出した画素の座標値からｘ座標の最大値（LeftX）と最小値（RightX）及びｙ座標の最大値（TopY）を取得する。ｙ座標の最大値（TopY）と両肩の重心のｙ座標の平均値（Shoulder Hight）との中間点となるｙ座標の座標値（BottomY）を算出する。視差値に基づいて抽出した画素のうち、LeftX、RightX、TopY、BottomYで囲まれた領域の画素を重心算出に用いる領域として修正する。
　重心算出に用いる画素は、さらに輪郭部分の画素のみを抽出する処理を行うことで、さらに絞り込む。LeftX、RightX、TopY、BottomYで囲まれた領域の画素であって、所定の視差値を有する画素のうち、領域内の上部及び左右部分にある輪郭部分（エッジ）の画素及び内側に向かって数ピクセルの部分の画素のみを抽出する。抽出された画素により形成される領域は概ね三日月型となる。
　図５ｂは、頭部の重心算出に用いた画素及び算出された重心を示す模式図である。輪郭領域の画素の座標値に基づいて頭部の重心座標の算出を行う（ステップＳ２０４に相当）。図中のマス目は、重心算出に用いた画素のイメージであり、中心の黒い点が算出された頭部の重心である。所定の範囲座標の所定の視差値を有する画素に基づいて、重心算出を行った場合、頭部中央部分は、通常は髪の毛であるため色が同じとなりステレオマッチングが困難であるために視差データに誤差が生じる。また、精度のよいアクティブ型の距離センサであっても、揺れ動く髪の毛による光の吸収等により視差情報が欠落してしまうという問題が生じ、頭部の中央部分の視差データの欠落が大きく、正しい重心座標を算出できないという問題がある。これを、上述のように、重心算出に用いる画素を肩の重心座標を用いて修正し、さらに頭部の輪郭領域の視差画素の重心を頭部の重心座標として算出することで正確で安定した頭部領域の抽出を可能とする。なお、画素の視差・色情報取得の際に視差抜けにより重心に対応する画素の情報が存在しない場合がある。そのときには、重心の周囲３×３にある画素のカメラ座標を合わせて算出し、値が存在する画素の平均を重心のカメラ座標として算出を行っている。
（２）利用者の形状モデルによる教師動作の生成処理
　図６は、利用者モデル生成部１０４の構成の一例を示す機能ブロック図である。例えば、利用者モデル生成部１０４は、教師動作パラメータ生成部６０１、体格データ算出部６０２、教師動作加算部６０３から構成される。教師動作パラメータ生成部６０１は、教師動作記憶部１０３に記憶された教師動画像データを読み出し、教師動作パラメータを生成する。教師動作パラメータとは、部位座標の隣接する画像フレーム間での変化値である。体の各部位のｘ、ｙ、ｚの座標値それぞれにおいて算出される。具体的には、教師動画像の各画像データにおいて体の各部位の部位座標を算出し、各部位座標の時系列での差分を取得することで教師動作パラメータを生成する。なお、すでに教師動作パラメータを生成し、教師動作記憶部１０３に教師動作パラメータが記憶されている場合は、教師動作パラメータ生成部６０１は不要である。
　体格データ算出部６０２は、利用者に体格データが算出可能となるよう、カメラの正面であって画像のなかに利用者の上半身が収まる位置で、胸骨圧迫動作を行える態勢で所定時間（例えば、１～２秒程度、１フレームあたり１／３０秒の場合に５０フレーム画像分）静止させる。一例として、床においた心肺蘇生人形の胸に手を置き、両肩を結ぶ線の中点と手の平を結ぶ直線が床平面に対し垂直となる姿勢で静止するよう指示する。この場合、音声出力装置２０から静止するよう音声でアナウンスしてもよい。静止している間の動画像データを取得し、所定時間分の動画像データに基づいて体格データを算出する。ここでの算出方法は、（１）で述べた部位座標の算出処理によって、部位座標算出部１０２が算出した部位座標に基づき、所定時間分の複数の部位座標に基づいて、体格データ算出部６０２が、それぞれの部位での平均を算出することで体格データを算出している。
　教師動作加算部６０３は、体格データ算出部６０２で生成された利用者の体格データに、教師動作パラメータ生成部６０１で生成された部位座標の座標値の時系列変化である教師動作パラメータを加算することで、利用者の体格にあった教師動作の動画像データを生成する。
　次に、利用者の形状モデルによる教師動作の動画像データの生成処理についてフローチャートを用いて詳細に説明する。図７ａは、教師動画像に基づく教師動作パラメータの生成処理のフローチャートである。
　まず、教師動作パラメータ生成部６０１は、教師動作記憶部１０３に記憶されている教師動画像データを取り込む（ステップＳ７０１）。次に、胸骨圧迫動作１周期分の動画像データを抽出する（ステップＳ７０２）。たとえば、救命士の胸骨圧迫時の動画像データを教師動画像データとし、胸骨を圧迫して戻す、を１周期とした動画像データを抽出する。１周期の抽出方法の一例として、教師動画像データから、手の部位座標の人形の胸を圧迫する方向の座標（ｙ座標）の変化を抽出することで行う。なお、記憶されている動画像データがすでに１周期分の動画像データである場合には、本ステップは省略可能である。
　教師動作パラメータ生成部６０１は、胸骨圧迫動作１周期分の動画像データの各画像データにおいて、体の各部位の部位座標の算出を行う（ステップＳ７０３）。部位座標の算出方法は、前述した方法と同様であり、頭部、両肩、両肘、手、両手首の各部位の部位座標を算出する。
　教師動作パラメータ生成部６０１は、抽出した部位座標の動きを平均化する（ステップＳ７０４）。算出された部位座標データを、部位座標ごとにまとめて、動きの時系列を正規化する。たとえば、頭部のｙ座標データについて７フレーム分のデータがあったとする。
Figure JPOXMLDOC01-appb-T000002
 　これを、下記のように正規化する。
Figure JPOXMLDOC01-appb-T000003
　さらに、各部位座標ごとにまとめて最小二乗法による多項式近似を行う。生成した多項式は、０≦ｔ≦１（ｔ＝時間）の範囲でそれぞれ対応した部位座標の正しい推移を表すため、多項式に正解動作の平均フレーム数を正規化したものを代入することで時系列による動きの変化データである教師動作を生成できる。
　教師動作パラメータ生成部６０１は、時系列による動きの変化データである教師動作パラメータを生成する（ステップＳ７０５）。生成された教師動作は、位置を示す３次元の座標データではなく、時系列での座標データの変化の推移を示すデータとなっている。つまり隣接フレーム間での座標値の差分データとなっている。
たとえば、多項式近似を行った後の頭部のｙ座標データについての教師動作パラメータは、下記のようになる。
Figure JPOXMLDOC01-appb-T000004
 　なお、表３では７フレーム分であるが、教師動作パラメータは、各々の部位座標について胸骨圧迫動作１周期の時間分、生成される。
　また、時系列による動きの変化データである教師動作は、予め生成されていてもよい。この場合、教師動作パラメータ生成部６０１が行っている生成処理は事前に行われており、教師動作記憶部１０３には、１周期分の時系列による動きの変化データである教師動作パラメータのデータが記憶され、教師動作加算部６０３が、教師動作記憶部１０３から教師動作パラメータを読み出して加算処理を行う。
　図７ｂは、利用者の形状モデルによる教師動作の動画像生成処理のフローチャートである。体格データ算出部６０２は、利用者を所定時間（例えば、２～３秒程度）、撮像装置に利用者の上半身が映るような所定の位置で静止するよう音声または表示によって指示したうえで、利用者の各部位の部位座標を複数フレーム分取得する（ステップＳ７１１）。各部位の部位座標は、部位座標算出部１０２で各画像データにおいて算出され、体格データ算出部６０２に入力される。このため、体格データ算出部６０２は入力された部位座標データを複数フレーム分（例えば、５０フレーム分）、ストアする。
　体格データ算出部６０２は、ストアした複数フレーム分の部位座標データについてそれぞれの部位の部位座標データについて平均値を算出することで、利用者の体格データとして算出する（ステップＳ７１２）。教師動作加算部６０３は、体格データ算出部６０２から体格データを取得し、これらの部位座標データを体格データとして初期値に設定する（ステップＳ７１３）。算出された体格データに基づいて原則として、利用者の初期値の形状モデルが生成される。なお、両肘及び両肩の部位座標に関する補正処理は、教師動作加算部６０３で行われるが、その処理については後述する。
　なお、ここでは、静止した状態でのそれぞれの部位の部位座標データの平均値を算出して体格データを算出したが、手の部位座標については、数回の胸骨圧迫動作を試みに行わせてから、算出してもよい。この場合、利用者が撮像されていない状態で、心肺蘇生人形の胸の三次元形状データを取得しておく。具体的には、部位座標算出部１０２は、心肺蘇生人形の胸の稜線部分の座標のデータ列を取得する。その後、動作評価装置１００は、利用者に心肺蘇生人形に手を置かせて、胸に押し込んで元に戻す胸骨圧迫動作を複数回行わせるよう音声等で指示する。そのときに変化する手の動きのうち、手が一番上にある位置（ｙ座標値が最大となる位置）、つまり手が胸に押し込んでいない位置での重心座標値（ｘ，ｙ）を、体格データ算出部６０２が算出する。手の部位座標データでのｘ座標値は、この値とする。そして、このｘ座標値の位置における人形の胸の稜線部分のｙ値を取得して手のｙ座標値と比較し、大きい方のｙ値を手の部位座標データでのｙ座標値とする。圧迫していない状態での手の位置を、初期位置にするためである。手の部位座標をこのように算出することで手の初期位置を正確に設定することができ、精度の高い動作評価を行うことができる。
　教師動作加算部６０３には、体格データ算出部６０２で算出された利用者の体格データと、教師動作パラメータ生成部６０１で生成された教師動作とが入力される。教師動作加算部６０３は、体格データ算出部６０２で算出された利用者の体格データを初期値として、各時点（フレーム画像各々）で、教師動作を加算する（ステップＳ７１４）。つまり、各部位における座標の時系列変化データを示している教師動作パラメータを利用者の体格データへ加算し、加算された座標値にさらに加算していくことで、利用者の部位座標が教師動作に従って変化する。これにより、利用者の体格にあった教師動作の動画像データを生成することができる。
　但し、そのまま利用者の体格データを利用して教師動作を生成するときに、利用者の初期の姿勢が正しい姿勢ではない場合、誤った教師動作を教示してしまう問題が生じる。図８は、利用者の体格データの補正に関する模式図である。図８の（ａ）に示すように、特に胸骨圧迫動作においては、初期の正しい姿勢は腕が比較的まっすぐに近い状態である。しかし、図８（ｂ）のように、利用者の初期姿勢は、腕が曲がった状態である場合がある。このため、両手首の体格データを基準として、両肘及び両肩の体格データについては、教師動作加算部６０３において補正を行う。
　教師動作加算部６０３は、教師動作パラメータが生成されたときの両手首、両肘、両肩の初期値の部位座標データを教師動作パラメータ生成部６０１から取得し、手首、肘、肩で構成される初期角度θを算出する。なお、初期角度θは、予め算出し記憶していてもよい。
　教師動作加算部６０３は、体格データを体格データ算出部６０２から取得し、利用者の手首と肘の部位座標から、手首から肘までの長さを、両腕ともに算出する。同様に、利用者の肘と肩の部位座標から、肘から肩までの長さを算出する。教師動作加算部６０３は、体格データにおける両手首の部位座標と、教師動作の初期角度θ、算出された手首から肘までの長さ、肘から肩までの長さに基づいて、両手首の部位座標を基準として、利用者の腕が初期角度θをなす場合の両肘、両肩の部位座標を算出し、体格データにおける肘及び方の部位座標を補正する。
　こうして、体格データのうち両肘の部位座標及び両肩の部位座標は、正しい初期姿勢における座標データに置き換える。このため、利用者の体格に合った初期姿勢を教示することができる。
（３）利用者の動作と教師動作を重畳表示させ、利用者の動作を評価する処理
　体格データの算出が終わると、利用者のモデルによる教師動作が表示できる状態となり、動作学習へとうつる（動作評価モード）。利用者が動作を行う際に利用者のモデルによる教師動作が重畳表示され、利用者の動作について評価が行われる。図９は、利用者の動作を評価する処理のフローチャートである。
　はじめに、利用者モデル生成部１０４によって生成された、補正後の利用者の体格に合った初期姿勢をとった教師動作を行う形状モデルが出力制御部１０６による出力制御のもと、表示装置３０へ表示され、撮像装置で撮像されている利用者の画像との重畳表示が開始される（ステップＳ９０１）。形状モデルが表示されると、利用者は、形状モデルと自らを写した画像と同一となるよう、姿勢を調整する。
　利用者へ動作学習のスタートを動作評価装置１００が表示又は音声にて指示すると、利用者は胸骨圧迫動作を開始し、動作評価が同時に開始される。動作評価が行われている間、形状モデルは重畳表示されている。動作評価部１０５は、部位座標算出部１０２が各画像データにおいて算出する利用者の体の各部位の部位座標を一フレーム画像ごとにバッファする（ステップＳ９０２）。バッファされた各部位座標データは、胸骨圧迫動作１周期を検出、または動作評価の特徴量算出に用いる。
　動作評価部１０５は、胸骨圧迫動作１周期分を抽出する（ステップＳ９０３）。利用者の手が、心肺蘇生人形に対し、胸骨圧迫動作を行う際の両手の部位座標の推移をバッファすることで、チェックする。特に、利用者の手の部位座標のうち、心肺蘇生人形を圧迫する方向の座標（ｙ座標）が、圧迫を示す動き（例えば、ｙ座標の値が減少し続けるフレーム群）と、手をもとに戻す動き（例えば、ｙ座標の値が増加し続けるフレーム群）を抽出し、それらを胸骨圧迫動作１周期として抽出を行う。なお、座標値の変化が所定値以下であるような動きが小さい動きについては無効とする。胸骨圧迫動作１周期の抽出方法については詳述する。
　動作評価部１０５は、胸骨圧迫動作１周期を抽出すると、１周期分の部位座標データに基づいて、利用者の動作評価及びアドバイスのための特徴量を生成する（ステップＳ９０４）。特徴量は、例えば、胸骨圧迫動作１周期にかかった時間（フレーム数）、１周期中での左肘角度の最小値と右肘角度の最小値の平均などである。動作評価部１０５は、例えば評価に用いる特徴量をその特徴量のしきい値及び評価とを対応付けて評価テーブルとして記憶する。
　動作評価部１０５は、生成した特徴量について、評価テーブルを参照し、記憶された所定のしきい値と比較することで、利用者の動作を評価する（ステップＳ９０５）。それぞれの特徴量としきい値を比較し、しきい値から外れている特徴量を抽出する。動作評価は各周期において行われる。評価結果及びアドバイス内容は、出力制御部１０６により出力制御され、各周期ごとに音声及び画面表示がされる。
　動作評価部１０５は、評価開始から一定時間が経過したかどうか検出する（ステップＳ９０６）。一定時間経過していない場合は（ステップＳ９０６でＮｏ）、評価を継続する。一定時間経過とは、例えば、胸骨圧迫に関するガイドラインにある１人の人が継続実施する目安である２分間である。しかし、これに限らず自由に設定してもよい。一定時間経過した場合（ステップＳ９０６でＹｅｓ）は、最終評価結果を出力する（ステップＳ９０７）。
　図１０は、利用者の体格による形状モデル画像と、利用者の画像とを重畳表示させた例である。教師動作を行う形状モデルの動画像データは、教師動作加算部６０３において体の各部位の部位座標に基づいて利用者の形状モデルが生成されると、図１０のように網目状の形状による形状モデルが表示される。なお、体の重心の部位座標に基づく形状モデルは既存技術により生成されるため、説明を省略する。
　次に、図９のステップＳ９０３における胸骨圧迫動作１周期の抽出方法について、説明する。図１１は、図９のステップＳ９０２でバッファした利用者の手の部位座標の推移を示すグラフである。ｙ座標とはカメラ座標でのｙ座標であり、垂直方向である。従って、利用者の手が人形の胸骨を圧迫し戻す方向であり、部位座標のうちｙ座標の座標値の変化を抽出している。動作評価部１０５は、画像データ間における座標の変化（差分）を抽出する。
　図１２は、各画像データ間（画像データフレーム間）における差分と、圧迫方向の向き（正又は負で）を表すテーブルである。動作評価部１０５は、７－８フレームのように変化が正であるが、両方の隣接するフレーム間が負である場合には、７－８フレーム間の動きを無効とし、「負」に変更する処理を行っている。このように１フレーム間の動きの向きのみが異なる場合には、無効とする処理を行う。
　図１３は、利用者の手の部位座標の推移に基づいて検出した胸骨圧迫動作の１周期を算出したテーブルの一例である。座標値の変化が「正」だったフレームについては、手が人形から離れる方向、つまり上昇しているとみなされ、胸骨圧迫から戻す動きとみなされる。また、座標値の変化が「負」だったフレームについては、手が人形方向へ近づく方向、つまり下降しているとみなされ、胸骨を圧迫する動きとみなされる。動作評価部１０５は、圧迫動作と戻す動きとを１セットとし、胸骨圧迫動作１周期として抽出する。
　図１４は、図９のステップＳ９０４において生成される特徴量とそのしきい値を表す評価テーブルの一例である。それぞれの特徴量に対応付けて望ましい動作におけるしきい値が記憶されており、動作評価部１０５は、ステップＳ９０５において胸骨圧迫動作１周期ごとに、評価テーブルに基づき、各特徴量について評価を行う。例えば、右手首のｙ座標の初期位置と最大値の差が40であれば上手と判定される。評価テーブルには、評価のための特徴量として頭や肩、肘のｚ座標の最大・最小値が設定されている。利用者はカメラに対して正面に位置しているため、ｚ方向は奥行き方向となる。頭や肩・肘が初期姿勢からｚ方向でのずれをみることで、胸骨圧迫動作時に利用者が適切な姿勢をとっているかを評価することができる。また、肘角度が１６５度以上あるかをみることで、腕をまっすぐ伸ばして胸骨圧迫動作を行っているか評価することができる。こうした評価を行うことで、正確な姿勢で動作を行っているか評価できる。
　なお、ここでは、評価テーブルにはしきい値のみが記憶されているが、これらに対応付けてアドバイスを記憶していてもよい。例えば、１周期にかかったフレーム数が６フレーム未満である場合のアドバイスとして「もっとゆっくり」、８フレーム以上である場合のアドバイスとして「もっと速く」等である。これらの評価とアドバイスは表示・音声出力される。
　図１５は、教師動作を行う利用者の形状モデルの動画像データと利用者の胸骨圧迫動作の動画像データとを重畳表示させ、画面にアドバイスを表示された表示画面の一例である。ある胸骨圧迫動作１周期において、すべての特徴量がしきい値の範囲内であった場合、動作評価部１０５は、模範動作であると評価を行う。図１５のように、模範動作である場合は「上手」としてその回数をカウントし、表示させてもよい。また、図１５のように利用者の手が人形の手を圧迫する深さ、つまり手のｙ座標の推移を表示し、胸骨圧迫に必要な深さのしきい値ラインを合わせて表示することで、胸骨圧迫に必要なだけの圧迫が行われているか、ひと目でわかるようにしてもよい。
　動作評価装置１００は、図１６に示されているようにシステム使用者の所有するパーソナルコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。パーソナルコンピュータは、ＣＰＵ（中央演算装置）１６０１と、ＣＰＵ１６０１にバスを介して接続されているＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６０５、ハードディスクドライブなどの外部記憶装置１６０７、Ｉ／Ｏインターフェース１６０９、通信ネットワーク回線に接続するための通信インターフェース１６１１などとを備え、インターフェース１６０９には、カメラ１６１３、マイク１６１５、ディスプレイ１６１７が接続されている。この場合、例えば、動作評価装置１００の画像取込部１０１、部位座標算出部１０２、利用者モデル生成部１０４、動作評価部１０５、出力制御部１０６の機能が、パーソナルコンピュータ上で実行されるプログラムによって実現され、教師動作記憶部１０３の機能が外部記憶装置によって実現され、撮像装置１０、音声出力装置２０、表示装置３０の機能がそれぞれカメラ、マイク、ディスプレイによって実現される。各種機能を実現するプログラムは、外部記憶装置１６０７に記憶され、ＲＡＭ１６０３に読みだされた後に、ＣＰＵ１６０１によって実行される。
　　１０　撮像装置
　　２０　音声出力装置
　　３０　表示装置
　１００　動作評価装置
　１０１　画像取込部
　１０２　部位座標算出部
　１０３　教師動作記憶部
　１０４　利用者モデル生成部
　１０５　動作評価部
　１０６　出力制御部

Claims (9)

  1. 利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、
    前記部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて前記利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、
    前記部位座標に基づいて利用者の動作を評価する動作評価部と、
    前記利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置。
  2. 前記部位座標算出部は、利用者の頭、両肩、両肘、手、両手首それぞれの重心座標を算出することで各部位の部位座標を算出することを特徴とする請求項１記載の動作評価装置。
  3. 前記部位座標算出部は、各部位の所定範囲内の画素における少なくとも視差情報に基づいて算出することを特徴とする請求項１又は２記載の動作評価装置。
  4. 前記部位座標算出部は、両肩の部位座標を算出し、両肩の部位座標に基づいて頭の部位座標を算出することを特徴とする請求項２又は３記載の動作評価装置。
  5. 前記利用者モデル生成部は、
    前記部位座標算出部が算出した部位座標に基づいて利用者の体格データを生成する体格データ算出部と、
    前記利用者の体格データに教師動作パラメータを各時点で加算することで前記利用者の形状モデルによる教師動画像データを生成する教師動作加算部と、
    を有する、請求項１～４記載の動作評価装置。
  6. 前記教師動作加算部は、前記体格データ算出部から取得した体格データのうち、両肘及び両肩の部位座標を、両手首の部位座標と、教師動作の初期角度に基づいて補正することを特徴とする請求項５記載の動作評価装置。
  7. 前記動作評価部は、利用者の動作を１周期分抽出して評価を行い、
    前記出力制御部は、評価結果をあわせて出力する請求項１～６記載の動作評価装置。
  8. 動作は胸骨圧迫動作であり、利用者の胸骨圧迫動作を評価することを特徴とする請求項１～７記載の動作評価装置。
  9. 　利用者の画像データに基づいて利用者の体の部位座標を算出する部位座標算出部と、
    前記部位座標に基づいて利用者の形状モデルを生成し、教師動作パラメータに基づいて前記利用者の形状モデルによる教師動作の動画像データを生成する利用者モデル生成部と、
    前記部位座標に基づいて利用者の動作を評価する動作評価部と、
    前記利用者の形状モデルによる教師動作と利用者の動作とを重畳表示し、評価結果を出力する出力制御部とを有する動作評価装置としてコンピュータを機能させることを特徴とするプログラム。
PCT/JP2013/074227 2012-09-12 2013-09-09 動作評価装置及びそのプログラム WO2014042121A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/427,801 US20150255005A1 (en) 2012-09-12 2013-09-09 Movement evaluation device and program therefor
JP2014535535A JP6124308B2 (ja) 2012-09-12 2013-09-09 動作評価装置及びそのプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-200433 2012-09-12
JP2012200433 2012-09-12

Publications (1)

Publication Number Publication Date
WO2014042121A1 true WO2014042121A1 (ja) 2014-03-20

Family

ID=50278232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/074227 WO2014042121A1 (ja) 2012-09-12 2013-09-09 動作評価装置及びそのプログラム

Country Status (3)

Country Link
US (1) US20150255005A1 (ja)
JP (1) JP6124308B2 (ja)
WO (1) WO2014042121A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136248A (ja) * 2016-02-04 2017-08-10 公立大学法人岩手県立大学 聴診システム
WO2018124188A1 (ja) * 2016-12-27 2018-07-05 Ｃｏａｉｄｏ株式会社 測定装置およびプログラム
CN109859537A (zh) * 2019-03-22 2019-06-07 吉首大学 一种织锦教学系统及方法、信息数据处理终端
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022075116A1 (ja) * 2020-10-06 2022-04-14 国立研究開発法人産業技術総合研究所 情報表示装置及び情報表示方法
JP2023001003A (ja) * 2021-06-17 2023-01-04 昭則 皆月 心肺蘇生術訓練プログラム、心肺蘇生術訓練方法、心肺蘇生術訓練装置、心肺蘇生術訓練システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147961A1 (ja) * 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
EP2973215B1 (en) * 2013-03-15 2023-05-17 NIKE Innovate C.V. Feedback signals from image data of athletic performance
CN111552416A (zh) * 2015-04-13 2020-08-18 华为技术有限公司 启动任务管理界面的方法、装置及设备
US11219575B2 (en) * 2016-03-23 2022-01-11 Zoll Medical Corporation Real-time kinematic analysis during cardio-pulmonary resuscitation
US10737140B2 (en) 2016-09-01 2020-08-11 Catalyft Labs, Inc. Multi-functional weight rack and exercise monitoring system for tracking exercise movements
JP7122090B2 (ja) * 2017-07-21 2022-08-19 前田建設工業株式会社 熟練動作教示システム
CN111640176A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
KR102276009B1 (ko) * 2019-10-15 2021-07-13 정성호 심폐소생술 훈련 시뮬레이션 장치 및 방법
CN111539245B (zh) * 2020-02-17 2023-04-07 吉林大学 一种基于虚拟环境的cpr技术训练评价方法
EP4288016A4 (en) * 2021-05-04 2024-04-03 Nutricia Early Life Nutrition (Shanghai) Co.,Ltd. MASSAGE TRAINING METHOD, DEVICE AND APPLICATION THEREOF
CN115641646B (zh) * 2022-12-15 2023-05-09 首都医科大学宣武医院 一种cpr自动检测质控方法及系统
CN116012938B (zh) * 2022-01-27 2024-07-09 首都医科大学宣武医院 一种基于AlphaPose算法的CPR自动反馈检测模型的构建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237494A (ja) * 2004-02-24 2005-09-08 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
JP2011095935A (ja) * 2009-10-28 2011-05-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4448534A (en) * 1978-03-30 1984-05-15 American Hospital Corporation Antibiotic susceptibility testing
US5681223A (en) * 1993-08-20 1997-10-28 Inventures Inc Training video method and display
US5823786A (en) * 1993-08-24 1998-10-20 Easterbrook; Norman John System for instruction of a pupil
US6390996B1 (en) * 1998-11-09 2002-05-21 The Johns Hopkins University CPR chest compression monitor
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
US20060247070A1 (en) * 2001-06-11 2006-11-02 Recognition Insight, Llc Swing position recognition and reinforcement
US20050272517A1 (en) * 2001-06-11 2005-12-08 Recognition Insight, Llc Swing position recognition and reinforcement
US6702691B2 (en) * 2002-08-12 2004-03-09 Callaway Golf Company Static pose fixture
US7428318B1 (en) * 2003-12-11 2008-09-23 Motion Reality, Inc. Method for capturing, measuring and analyzing motion
US7457439B1 (en) * 2003-12-11 2008-11-25 Motion Reality, Inc. System and method for motion capture
US20060094523A1 (en) * 2004-11-04 2006-05-04 Hall Carolyn W Method and apparatus for teaching how to execute a predetermined motion
US20070291035A1 (en) * 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
WO2007030947A1 (en) * 2005-09-16 2007-03-22 Anthony Szturm Mapping motion sensors to standard input devices
US8323189B2 (en) * 2006-05-12 2012-12-04 Bao Tran Health monitoring appliance
JP2009543649A (ja) * 2006-07-19 2009-12-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 健康管理装置
US8328691B2 (en) * 2007-02-14 2012-12-11 Koninklijke Philips Electronics N.V. Feedback device for guiding and supervising physical excercises
US9149222B1 (en) * 2008-08-29 2015-10-06 Engineering Acoustics, Inc Enhanced system and method for assessment of disequilibrium, balance and motion disorders
US8175326B2 (en) * 2008-02-29 2012-05-08 Fred Siegel Automated scoring system for athletics
US7671802B2 (en) * 2008-03-17 2010-03-02 Disney Enterprises, Inc. Active player tracking
US20100152600A1 (en) * 2008-04-03 2010-06-17 Kai Sensors, Inc. Non-contact physiologic motion sensors and methods for use
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP2011078728A (ja) * 2009-03-10 2011-04-21 Shinsedai Kk 身体状態評価装置、状態推測装置、歩幅推測装置、及び、健康管理システム
WO2011011633A2 (en) * 2009-07-22 2011-01-27 Atreo Medical, Inc. Optical techniques for the measurement of chest compression depth and other parameters during cpr
US8206266B2 (en) * 2009-08-05 2012-06-26 David Hall Sensor, control and virtual reality system for a trampoline
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
IT1399855B1 (it) * 2010-04-28 2013-05-09 Technogym Spa Apparato per l'esecuzione assistita di un esercizio ginnico.
US20110269601A1 (en) * 2010-04-30 2011-11-03 Rennsselaer Polytechnic Institute Sensor based exercise control system
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US8562403B2 (en) * 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
CN103118647B (zh) * 2010-09-22 2016-04-06 松下知识产权经营株式会社 运动支援系统
US9223936B2 (en) * 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
WO2012061804A1 (en) * 2010-11-05 2012-05-10 Nike International Ltd. Method and system for automated personal training
US9457256B2 (en) * 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9283429B2 (en) * 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines
US8718748B2 (en) * 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras
CN103732297B (zh) * 2011-06-30 2016-11-02 奥林奇实验室 增强现实活动范围的治疗系统及其操作方法
US8696450B2 (en) * 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
US11133096B2 (en) * 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
US8951138B2 (en) * 2012-01-25 2015-02-10 Wawgd, Inc. Golf club head measurement system
JP5314224B1 (ja) * 2012-02-29 2013-10-16 美津濃株式会社 ランニングフォーム診断システムおよびランニングフォームを得点化する方法
KR102025752B1 (ko) * 2012-07-30 2019-11-05 삼성전자주식회사 사용자의 자세에 따라 콘텐트를 제공하는 전자기기 및 콘텐트 제공 방법
US9579048B2 (en) * 2012-07-30 2017-02-28 Treefrog Developments, Inc Activity monitoring system with haptic feedback
KR20140062892A (ko) * 2012-11-15 2014-05-26 삼성전자주식회사 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법
US9161708B2 (en) * 2013-02-14 2015-10-20 P3 Analytics, Inc. Generation of personalized training regimens from motion capture data
KR102033077B1 (ko) * 2013-08-07 2019-10-16 나이키 이노베이트 씨.브이. 제스처 인식 및 전력 관리를 갖는 손목 착용 운동 디바이스
US10134307B2 (en) * 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
SE539429C2 (en) * 2015-12-15 2017-09-19 Greater Than S A Method and system for assessing the trip performance of a driver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237494A (ja) * 2004-02-24 2005-09-08 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
JP2011095935A (ja) * 2009-10-28 2011-05-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Kinect no Tracking Genri 'Bui Ninshiki ni Motozuku 3D Shisei Suitei'", DERIVE, 5 December 2010 (2010-12-05), Retrieved from the Internet <URL:http://derivecv.tumblr.com/post/2106495200> [retrieved on 20131202] *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136248A (ja) * 2016-02-04 2017-08-10 公立大学法人岩手県立大学 聴診システム
WO2018124188A1 (ja) * 2016-12-27 2018-07-05 Ｃｏａｉｄｏ株式会社 測定装置およびプログラム
JPWO2018124188A1 (ja) * 2016-12-27 2018-12-27 Ｃｏａｉｄｏ株式会社 測定装置およびプログラム
JP2020005192A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7262937B2 (ja) 2018-06-29 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11854420B2 (en) 2018-06-29 2023-12-26 Canon Kabushiki Kaisha Information processing apparatus having position information of parts of subjects acquired at different timings, information processing method, and storage medium
CN109859537A (zh) * 2019-03-22 2019-06-07 吉首大学 一种织锦教学系统及方法、信息数据处理终端
WO2022075116A1 (ja) * 2020-10-06 2022-04-14 国立研究開発法人産業技術総合研究所 情報表示装置及び情報表示方法
JP2023001003A (ja) * 2021-06-17 2023-01-04 昭則 皆月 心肺蘇生術訓練プログラム、心肺蘇生術訓練方法、心肺蘇生術訓練装置、心肺蘇生術訓練システム

Also Published As

Publication number Publication date
JPWO2014042121A1 (ja) 2016-08-18
JP6124308B2 (ja) 2017-05-10
US20150255005A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
JP6124308B2 (ja) 動作評価装置及びそのプログラム
CN109432753B (zh) 动作矫正方法、装置、存储介质及电子设备
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
JP6045139B2 (ja) 映像生成装置、映像生成方法及びプログラム
US20160048993A1 (en) Image processing device, image processing method, and program
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
EP2203896B1 (en) Method and system for selecting the viewing configuration of a rendered figure
TW201528225A (zh) 心肺復甦術教學系統及方法
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
CN110490173B (zh) 一种基于3d体感模型的智能动作打分系统
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN111539245B (zh) 一种基于虚拟环境的cpr技术训练评价方法
CN110751100A (zh) 一种体育场馆辅助训练方法与系统
CN114022512A (zh) 运动辅助方法、装置及介质
CN114783001A (zh) 游泳姿态评估方法、系统、装置及计算机可读存储介质
CN110477921B (zh) 基于骨架折线Ridge回归的身高测量方法
JP2008065368A (ja) ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム
WO2016107226A1 (zh) 图像处理方法及装置
WO2021039857A1 (ja) 映像生成装置
CN112818800A (zh) 一种基于人体骨骼点深度图像的体育动作评估方法及系统
CN116525061B (zh) 一种基于远程人体姿态评估的训练监控方法及系统
JP7482471B2 (ja) 学習モデルの生成方法
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison
KR20200088562A (ko) 심층 신경망을 이용한 동작 및 근력 분석 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13837578

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014535535

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14427801

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13837578

Country of ref document: EP

Kind code of ref document: A1