WO2022190206A1 - 骨格認識方法、骨格認識プログラムおよび体操採点支援システム - Google Patents

骨格認識方法、骨格認識プログラムおよび体操採点支援システム Download PDF

Info

Publication number
WO2022190206A1
WO2022190206A1 PCT/JP2021/009267 JP2021009267W WO2022190206A1 WO 2022190206 A1 WO2022190206 A1 WO 2022190206A1 JP 2021009267 W JP2021009267 W JP 2021009267W WO 2022190206 A1 WO2022190206 A1 WO 2022190206A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
features
joint
abnormal
group information
Prior art date
Application number
PCT/JP2021/009267
Other languages
English (en)
French (fr)
Inventor
達也 鈴木
優 石川
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2023504918A priority Critical patent/JPWO2022190206A1/ja
Priority to CN202180093006.6A priority patent/CN116830166A/zh
Priority to PCT/JP2021/009267 priority patent/WO2022190206A1/ja
Priority to EP21930063.9A priority patent/EP4307213A4/en
Publication of WO2022190206A1 publication Critical patent/WO2022190206A1/ja
Priority to US18/356,043 priority patent/US20230368415A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to a skeleton recognition method and the like.
  • 3D sensing technology has been established to detect the 3D skeletal coordinates of a person with an accuracy of ⁇ 1 cm from multiple 3D laser sensors. This 3D sensing technology is expected to be applied to a gymnastics scoring support system and expanded to other sports and other fields.
  • a method using a 3D laser sensor is referred to as a laser method.
  • the laser is irradiated approximately 2 million times per second, and the depth and information of each irradiation point, including the target person, are obtained based on the laser's travel time (Time of Flight: ToF).
  • ToF Time of Flight
  • 3D skeleton recognition is performed using an image system instead of a laser system.
  • a CMOS (Complementary Metal Oxide Semiconductor) imager is used to obtain RGB (Red Green Blue) data of each pixel, and an inexpensive RGB camera can be used.
  • 2D features include 2D skeleton information and heatmap information.
  • FIG. 22 is a diagram showing an example of a human body model.
  • the human body model M1 is composed of 21 joints.
  • each joint is indicated by a node and assigned a number from 0 to 20.
  • the relationship between node numbers and joint names is shown in table Te1.
  • the joint name corresponding to node 0 is "SPINE_BASE”. Description of joint names for nodes 1 to 20 is omitted.
  • Methods using triangulation include triangulation using two cameras and triangulation using three or more cameras. For convenience, triangulation using two cameras is referred to as prior art 1, triangulation using three or more cameras as prior art 2, and a method using machine learning as prior art 3.
  • FIG. 23 is a diagram for explaining triangulation using two cameras.
  • triangulation is defined as a method of measuring the three-dimensional position of the subject P from the triangular relationship using the features of the two cameras Ca1A and Ca1B.
  • Im2A is the camera image of the camera Ca1A
  • Im2B is the camera image of the camera Ca1B.
  • Equation (1) Equation (2) and Equation (2). It is assumed that the origin of (X, Y, Z) is at the center of the optical centers of the two cameras Ca1A and Ca1B.
  • FIG. 24 is a diagram for explaining triangulation using three cameras.
  • the triangulation described in FIG. 23 is extended to three or more cameras, and the best camera combination is estimated by an algorithm called RANSAC (Random Sample Consensus).
  • the device of prior art 2 acquires the 2D joint positions of the subject with all the cameras 1-1, 1-2, 1-3, and 1-4 (step S1).
  • the device of prior art 2 selects a combination of two cameras from all cameras 1-1 to 1-4, and calculates 3D joint positions by triangulation described with reference to FIG. 23 (step S2).
  • the device of prior art 2 reprojects the 3D skeleton onto all the cameras 1-1 to 1-4, and counts the number of cameras whose deviation from the 2D joint positions is equal to or less than a threshold (step S3).
  • the device of prior art 2 repeatedly executes the processes of steps S2 and S3, and adopts the combination of two cameras with the largest number of cameras whose deviation from the 2D joint position is equal to or less than the threshold as the best camera combination. (Step S4).
  • processing time is required to search for the two optimal cameras when obtaining the 3D skeleton.
  • FIG. 25 is a diagram for explaining a technique using machine learning.
  • 2D features 22 representing each joint feature are acquired by applying 2D backbone processing 21a to each input image 21 captured by each camera.
  • aggregated volumes 23 are obtained by back-projecting each 2D feature 22 onto a 3Dcube according to camera parameters.
  • aggregated volumes 23 are input to V2V (neural network, P3) 24 to obtain processed volumes 25 representing the likelihood of each joint.
  • Processed volumes 25 correspond to a heatmap representing the 3D likelihood of each joint.
  • 3D skeleton information 27 is obtained by executing soft-argmax 26 on processed volumes 25 .
  • FIG. 26 is a diagram for explaining the problem of prior art 3.
  • FIG. Here, as an example, a case of recognizing a 3D skeleton using four cameras 2-1, 2-2, 2-3, and 2-4 will be described.
  • Input images captured by the cameras 2-1, 2-2, 2-3, and 2-4 are assumed to be input images Im2-1a, Im2-2a, Im2-3a, and Im2-4a, respectively.
  • the input image Im2-3a is an image in which the face of the subject is difficult to see and it is difficult to distinguish between left and right.
  • the left knee occlusion occurs in the area Ar1.
  • 2D features are calculated by applying 2D backbone processing 21a to the input image Im2-1a, and 2D skeleton information Im2-1b is generated from these 2D features.
  • Input images Im2-2a, Im2-3a, and Im2-4a are also subjected to 2D backbone processing 21a to calculate 2D features.
  • 2D skeleton information Im2-2b, Im2-3b, and Im2-4b is generated.
  • the 2D skeleton information Im2-1b to Im2-4b indicate the position of the 2D skeleton.
  • the skeleton relationship is horizontally reversed in the area Ar2 of the 2D posture information Im2-3b. Due to the effect of the left knee occlusion generated in the input image Im2-4a, the 2D skeleton related to the left knee captures the wrong features in the region Ar3 of the 2D pose information Im2-4b.
  • 3D skeleton recognition results Im2-1c, Im2-2c, Im2-3c, and Im2-4c are calculated using the 2D features that are the basis of the 2D posture information Im2-1b to Im2-4b as they are. That is, even if the 2D features corresponding to the 2D posture information Im2-3b and Im2-4b are incorrect, the 3D skeleton is recognized using these 2D features, resulting in reduced accuracy. For example, in the example shown in FIG. 26, the left knee, which had many erroneous features, suffers from a large drop in accuracy.
  • an object of the present invention is to provide a skeleton recognition method, a skeleton recognition program, and a gymnastics scoring support system that can correctly perform 3D skeleton recognition.
  • the computer executes the following processes.
  • the computer extracts a plurality of first features representing two-dimensional joint position features of a subject based on two-dimensional input images input from a plurality of cameras that photograph the subject.
  • the computer generates second feature group information including a plurality of second features each corresponding to a predetermined number of joints of the subject based on the plurality of first features.
  • the computer detects an abnormal second feature from the second feature group information. From the second feature group information, the computer recognizes the 3D skeleton based on the result of removing the abnormal second features and integrating the remaining plural second features.
  • the 2D features with abnormalities can be removed in advance, and 3D skeleton recognition can be performed correctly.
  • FIG. 1 is a diagram showing an example of a gymnastics scoring support system according to this embodiment.
  • FIG. 2 is a diagram for explaining 2D features.
  • FIG. 3 is a diagram showing one 2D feature.
  • FIG. 4 is a functional block diagram showing the configuration of the skeleton recognition device according to this embodiment.
  • FIG. 5 is a diagram showing an example of the data structure of the measurement table.
  • FIG. 6 is a diagram showing an example of the data structure of a feature table.
  • FIG. 7 is a diagram for explaining processing of a generation unit;
  • FIG. 8 is a diagram (1) for explaining left-right reversal detection.
  • FIG. 9 is a diagram (2) for explaining left-right inversion detection.
  • FIG. 10 is a diagram for explaining self-occlusion detection.
  • FIG. 1 is a diagram showing an example of a gymnastics scoring support system according to this embodiment.
  • FIG. 2 is a diagram for explaining 2D features.
  • FIG. 3 is a diagram showing one 2D feature.
  • FIG. 11 is a diagram for explaining patterns of an abnormal heatmap.
  • FIG. 12 is a diagram for explaining the first abnormal heatmap detection process.
  • FIG. 13 is a diagram for explaining an example of network automatic weight adjustment.
  • FIG. 14 is a diagram (1) for explaining the second abnormal heatmap detection process.
  • FIG. 15 is a diagram (2) for explaining the second abnormal heatmap detection process.
  • FIG. 16 is a diagram showing an example of screen information.
  • FIG. 17 is a flow chart showing the processing procedure of the skeleton recognition device according to the present embodiment.
  • FIG. 18 is a flowchart of the second feature generation process.
  • FIG. 19 is a flowchart of anomaly detection processing.
  • FIG. 20 is a diagram for explaining the effects of the skeleton recognition device according to this embodiment.
  • FIG. 20 is a diagram for explaining the effects of the skeleton recognition device according to this embodiment.
  • FIG. 21 is a diagram showing an example of the hardware configuration of a computer that implements the same functions as the skeleton recognition device.
  • FIG. 22 is a diagram showing an example of a human body model.
  • FIG. 23 is a diagram for explaining triangulation using two cameras.
  • FIG. 24 is a diagram for explaining triangulation using three cameras.
  • FIG. 25 is a diagram for explaining a method using machine learning.
  • FIG. 26 is a diagram for explaining the problem of prior art 3.
  • FIG. 1 is a diagram showing an example of a gymnastics scoring support system according to this embodiment.
  • this gymnastics scoring support system 35 has cameras 30a, 30b, 30c, and 30d and a skeleton recognition device 100.
  • the cameras 30a to 30d and the skeleton recognition device 100 are connected by wire or wirelessly.
  • the cameras 30a to 30d are shown in FIG. 1, the gymnastics scoring support system 35 may further have other cameras.
  • the subject H1 performs a series of performances on the equipment, but it is not limited to this.
  • subject H1 may perform a performance in a place where no equipment exists, or may perform actions other than performance.
  • the camera 30a is a camera that captures an image of the subject H1.
  • the camera 30a corresponds to a CMOS imager, an RGB camera, or the like.
  • the camera 30a continuously captures images at a predetermined frame rate (frames per second: FPS) and transmits image data to the skeleton recognition apparatus 100 in time series.
  • FPS frames per second
  • image frame data of one image among data of a plurality of continuous images.
  • Image frames are given frame numbers in chronological order.
  • cameras 30b, 30c, and 30d are the same as the description regarding the camera 30a.
  • the cameras 30a to 30d are collectively referred to as "camera 30" as appropriate.
  • the skeleton recognition apparatus 100 acquires image frames from the camera 30, and based on the image frames, generates a plurality of second features respectively corresponding to the joints of the subject H1.
  • the second feature is a heatmap that indicates the likelihood of each joint position.
  • a second feature corresponding to each joint is generated from one image frame acquired from one camera. For example, with 21 joints and 4 cameras, 84 second features are generated for each image frame.
  • FIG. 2 is a diagram for explaining the second feature.
  • An image frame Im30a1 shown in FIG. 2 is an image frame captured by the camera 30a.
  • An image frame Im30b1 is an image frame captured by the camera 30b.
  • An image frame Im30c1 is an image frame captured by the camera 30c.
  • An image frame Im30d1 is an image frame captured by the camera 30d.
  • the skeleton recognition device 100 generates the second feature group information G1a based on the image frame Im30a1.
  • the second feature group information G1a includes 21 second features corresponding to each joint.
  • the skeleton recognition apparatus 100 generates second feature group information G1b based on the image frame Im30b1.
  • the second feature group information G1b includes 21 second features corresponding to each joint.
  • the skeleton recognition device 100 generates the second feature group information G1c based on the image frame Im30c1.
  • the second feature group information G1c includes 21 second features corresponding to each joint.
  • the skeleton recognition apparatus 100 generates second feature group information G1d based on the image frame Im30d1.
  • the second feature group information G1d includes 21 second features corresponding to each joint.
  • FIG. 3 is a diagram showing one second feature.
  • the second features Gc1-3 shown in FIG. 3 are the second features corresponding to the joint "HEAD" among the second features included in the second feature group information G1d.
  • a likelihood is set for each pixel of the second features Gc1-3.
  • colors are set according to likelihood values.
  • the location where the likelihood is maximum becomes the coordinates of the corresponding joint. For example, in the feature Gc1-3, the area Ac1-3 with the maximum likelihood value can be identified as the coordinates of the joint "HEAD".
  • the skeleton recognition apparatus 100 detects an abnormal second feature from the second features included in the second feature group information G1a, and removes the detected abnormal second feature from the second feature group information G1a.
  • the skeleton recognition apparatus 100 detects abnormal second features from the second features included in the second feature group information G1b, and removes the detected abnormal second features from the second feature group information G1b.
  • the skeleton recognition apparatus 100 detects an abnormal second feature from the second features included in the second feature group information G1c, and removes the detected abnormal second feature from the second feature group information G1c.
  • the skeleton recognition apparatus 100 detects abnormal second features from the second features included in the second feature group information G1d, and removes the detected abnormal second features from the second feature group information G1d.
  • the skeleton recognition device 100 integrates the second feature group information G1a, G1b, G1c, and G1d excluding the abnormal second feature, and recognizes the 3D skeleton based on the integrated result.
  • a plurality of second features corresponding to the joints of the subject H1 are generated based on the image frame, and the remaining features excluding the second features in which an abnormality has been detected are
  • the 3D skeleton is recognized using the result of synthesizing the second feature of . Therefore, a correct 3D skeleton recognition result can be obtained.
  • FIG. 4 is a functional block diagram showing the configuration of the skeleton recognition device according to this embodiment.
  • this skeleton recognition apparatus 100 has a communication section 110 , an input section 120 , a display section 130 , a storage section 140 and a control section 150 .
  • the communication unit 110 receives image frames from the camera 30. Communication unit 110 outputs the received image frame to control unit 150 . Communication unit 110 is an example of a communication device. The communication unit 110 may receive data from another external device (not shown).
  • the input unit 120 is an input device that inputs various types of information to the control unit 150 of the skeleton recognition device 100 .
  • the input unit 120 corresponds to a keyboard, mouse, touch panel, or the like.
  • the user operates the input unit 120 to request display of screen information, perform screen operations, and the like.
  • the display unit 130 is a display device that displays information output from the control unit 150 .
  • the display unit 130 displays screen information such as skill certification and scoring results for various competitions.
  • the display unit 130 corresponds to a liquid crystal display, an organic EL (Electro-Luminescence) display, a touch panel, or the like.
  • the storage unit 140 has a measurement table 141, a feature table 142, and a technique recognition table 143.
  • the storage unit 140 corresponds to semiconductor memory elements such as RAM (Random Access Memory) and flash memory (Flash Memory), and storage devices such as HDD (Hard Disk Drive).
  • the measurement table 141 is a table that stores image frames captured by the camera 30 in chronological order.
  • FIG. 5 is a diagram showing an example of the data structure of the measurement table. As shown in FIG. 5, the measurement table 141 associates camera identification information with image frames.
  • Camera identification information is information that uniquely identifies a camera.
  • camera identification information “C30a” corresponds to camera 30a
  • camera identification information “C30b” corresponds to camera 30b
  • camera identification information “C30c” corresponds to camera 30c
  • camera identification information “C30d”. corresponds to the camera 30d.
  • the image frames are time-series image frames captured by the corresponding camera 30 . Assume that each image frame is assigned a frame number in chronological order.
  • the feature table 142 is a table that holds information about the second feature.
  • FIG. 6 is a diagram showing an example of the data structure of a feature table. As shown in FIG. 6, the feature table 142 has camera identification information, first features, and second feature group information. The description regarding the camera identification information is the same as the description regarding the camera identification information described with reference to FIG.
  • the first feature is feature information regarding the joints of the subject H1 calculated by executing 2D backbone processing on one image frame. From one image frame, K first features are generated per camera. That is, K first features are generated for each image frame and for each camera and stored in the feature table 142 . Note that "K" is a number different from the number of joints and a number larger than the number of joints.
  • the second feature group information has J second features corresponding to each joint on a one-to-one basis. From the K first features generated from one image frame, J second features are generated. Also, J second features are generated for each camera. That is, J second features are generated for each image frame and for each camera and stored in the feature table 142 . Note that "J" is the same number as the number of joints "21", and each second feature is associated with each joint.
  • the description of the second feature group information corresponds to the content described with reference to FIG.
  • the frame number of the corresponding image frame is set for the K pieces of first feature information and the J pieces of second feature information.
  • the technique recognition table 143 is a table that associates the time-series change of each joint position included in each skeleton recognition result with the type of technique.
  • the technique recognition table 143 also associates combinations of technique types with scores.
  • the score is calculated as the sum of the D (Difficulty) score and the E (Execution) score.
  • the D score is a score calculated based on the difficulty of the technique.
  • the E-score is a score calculated by a deduction method according to the degree of perfection of the technique.
  • the control unit 150 has an acquisition unit 151, a generation unit 152, a detection unit 153, a skeleton recognition unit 154, and a technique recognition unit 155.
  • the control unit 150 is implemented by hardwired logic such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array).
  • the acquisition unit 151 acquires image frames in time series from the camera 30 via the communication unit 110 .
  • the acquisition unit 151 stores the image frames acquired from the camera 30 in the measurement table 141 in association with the camera identification information.
  • the generation unit 152 generates the second feature group information based on the image frame.
  • FIG. 7 is a diagram for explaining processing of a generation unit; As shown in FIG. 7, the generator 152 uses a 2D feature extraction NN 142A and a channel number conversion NN 142B.
  • the 2D feature extraction NN 142A corresponds to an NN (Neural Network) such as ResNet.
  • the 2D feature extraction NN 142A calculates and outputs K first features based on trained parameters.
  • one primary feature is a 96 ⁇ 96 pixel image, with each pixel having a likelihood associated with any joint.
  • the K first features do not have a one-to-one correspondence with each joint.
  • the parameters of the 2D feature extraction NN 142A are trained (machine learning) in advance using training data.
  • the channel number conversion NN 142B corresponds to the Conv2D layer etc. of the NN.
  • the channel number conversion NN 142B calculates and outputs J second features based on trained parameters.
  • the J second features are in one-to-one correspondence with each joint.
  • the parameters of the channel number conversion NN 142B are preliminarily trained (machine learning) using training data.
  • the generation unit 152 acquires the image frame of the camera 30a from the measurement table 141 and inputs the acquired image frame to the 2D feature extraction NN 142A to extract K first features.
  • the generation unit 152 registers the K first features in the feature table 142 in association with the camera identification information C30a.
  • the generation unit 152 also generates J second features by inputting the K first features to the channel number conversion NN 142B.
  • the generation unit 152 registers the J second features in the feature table 142 in association with the camera identification information C30a.
  • the generating unit 152 generates J pieces of second feature information corresponding to the camera 30a by repeatedly performing the above process on each time-series image frame of the camera 30a.
  • the generating unit 152 also extracts K first features and generates J second feature information in the same manner as the image frame of the camera 30a. Frame numbers are assigned to the K first features and the J second features.
  • the frame number "n” is given to the K first features extracted based on the image frame with the frame number "n".
  • a frame number “n” is assigned to J second features (second feature group information) generated based on the K first features to which the frame number “n” is assigned.
  • the detection unit 153 detects abnormal joints based on information on the J second features stored in the feature table 142 . For example, the detection unit 153 detects abnormal joints by executing left-right inversion detection, self-occlusion detection, and abnormal heatmap detection.
  • the left-right reversal detection performed by the detection unit 153 will be described. Here, description will be made using the second feature group information of the frame number n ⁇ 1 and the second feature group information of the frame number n generated based on the image frame captured by the camera 30a.
  • the detection unit 153 calculates the coordinates of each joint based on the J second features included in the second feature group information of frame number n ⁇ 1. For example, the second feature Gc1-3 corresponding to the joint "HEAD" in FIG. 3 will be used. The detection unit 153 calculates the coordinates of the pixel for which the maximum likelihood is set among the likelihoods set for each pixel of the second feature Gc1-3 as the coordinates of "HEAD”. The detection unit 153 calculates the coordinates (two-dimensional coordinates) of each joint of the frame number n ⁇ 1 by executing similar processing for the second features corresponding to other joints.
  • the detection unit 153 calculates the coordinates of each joint based on the J second features included in the second feature group information of frame number n.
  • the processing in which the detection unit 153 calculates the coordinates of each joint based on the second feature group information of the frame number n is to calculate the coordinates of each joint based on the second feature group information of the frame number n. Similar to processing.
  • FIG. 8 is a diagram (1) for explaining left-right reversal detection.
  • model M1-1 is two-dimensional skeleton information generated based on the coordinates of each joint of frame number n-1.
  • the model M1-2 is two-dimensional skeleton information generated based on the coordinates of each joint of frame number n.
  • illustration of some joints is omitted for convenience of explanation.
  • the detection unit 153 calculates a vector starting from a predetermined left joint and ending at a predetermined right joint.
  • model M1-1 shows vectors va1, va2, va3, va4, va5, and va6.
  • the vector va1 is a vector having the node 13 as the starting point and the node 17 as the ending point.
  • a vector va2 is a vector having node 11 as a starting point and node 15 as an ending point.
  • a vector va3 is a vector starting at node 19 and ending at node 20 .
  • Vector va4 is a vector with node 10 as the starting point and node 14 as the ending point.
  • Vector va5 is a vector with node 5 as the starting point and node 8 as the ending point.
  • a vector va6 is a vector having node 4 as a starting point and node 7 as an ending point.
  • the detection unit 153 calculates a vector starting from a predetermined left joint and ending at a predetermined right joint.
  • vector vb3 is shown as an example.
  • the detection unit 153 pairs vectors in which the starting point joint and the ending point joint are the same in the model M1-1 and the model M1-2.
  • the vector va3 of the model M1-1 and the vector vb3 of the model M1-2 form a pair.
  • the detection unit 153 compares the norms of the pairs of vectors, and detects the corresponding pair of vectors when the norms are smaller than the previous frame (frame number n ⁇ 1) by a predetermined value or more.
  • the detection unit 153 detects vectors va3 and vb3 when the value obtained by subtracting the norm of vector vb3 from the norm of vector va3 is equal to or greater than a predetermined value.
  • the detection unit 153 performs similar processing for other pairs of vectors. A pair of vectors detected by the detection unit 153 through this process is referred to as a first detected vector pair.
  • the detection unit 153 compares the movement amounts of the joint coordinates of the first detection vector pair, and detects the joint with the larger movement amount as an abnormal joint. For example, when the detection unit 153 compares the vector va3 and the vector vb3, the amount of movement of the joint at the end point is larger than the amount of movement at the joint at the start point. : HAND_TIP_RIGHT) is detected as an abnormal joint. It is assumed that the second feature group information on which the model M1-2 is based is the second feature group information based on the image frame captured by the camera 30a. In this case, the detection unit 153 generates abnormal joint information including "camera identification information: C30a, frame number: n, abnormal joint: HAND_TIP_RIGHT".
  • FIG. 9 is a diagram (2) for explaining left-right reversal detection.
  • model M1-1 is two-dimensional skeleton information generated based on the coordinates of each joint of frame number n-1.
  • the model M1-2 is two-dimensional skeleton information generated based on the coordinates of each joint of frame number n.
  • illustration of some joints is omitted for convenience of explanation.
  • the detection unit 153 calculates a vector with a predetermined left joint as a starting point and a predetermined right joint as an end point, in the same manner as in FIG. FIG. 9 shows, as an example, vector va3 of model M1-1 and vector vb3 of model M1-2.
  • the detection unit 153 pairs vectors in which the starting point joint and the ending point joint are the same in the model M1-1 and the model M1-2.
  • the detection unit 153 calculates the angle formed by the pair of vectors.
  • the detection unit 153 detects pairs of vectors that form an angle equal to or greater than a predetermined angle.
  • the detection unit 153 detects the vectors va3 and vb3 when the angle formed by the vector va3 and the vector vb3 is greater than or equal to a predetermined angle.
  • the detection unit 153 performs similar processing for other pairs of vectors.
  • a pair of vectors detected by the detection unit 153 through this process is referred to as a second detected vector pair.
  • the detection unit 153 detects both the joint that is the start point and the joint that is the end point of the second detection vector pair as abnormal joints.
  • the detection unit 153 detects the starting point joint (node 19: HAND_TIP_LEFT) and the ending point joint (node 20: HAND_TIP_RIGHT) of the model M1-2 as abnormal joints.
  • the second feature group information on which the model M1-2 is based is the second feature group information based on the image frame captured by the camera 30a.
  • the detection unit 153 generates abnormal joint information including "camera identification information: C30a, frame number: n, abnormal joints: HAND_TIP_RIGHT, HAND_TIP_LEFT".
  • the abnormal joint information is obtained by using the second feature group information of the frame number n ⁇ 1 generated based on the image frame captured by the camera 30a and the second feature group information of the frame number n.
  • the case of generation has been described, the same applies to the other cameras 30b, 30c, and 30d.
  • the detection unit 153 calculates the coordinates of each joint based on the J second features included in the second feature group information of frame number n-2.
  • the detection unit 153 calculates the coordinates of each joint based on the J second features included in the second feature group information of the frame number n ⁇ 1.
  • the process of calculating the coordinates of each joint is the same as the process of calculating the coordinates of each joint described in the horizontal reversal detection.
  • the detection unit 153 calculates predicted skeleton information indicating the coordinates of each joint of frame number n based on the coordinates of each joint of frame number n ⁇ 2 and the coordinates of each joint of frame number n ⁇ 1. For example, the detection unit 153 calculates predicted skeleton information indicating the coordinates of each joint in frame number n based on equation (4).
  • Equation (4) pn indicates the predicted coordinates of each joint at frame number n.
  • p n-1 indicates the coordinates of each joint of frame number n-1.
  • p n-2 indicates the coordinates of each joint of frame number n-2.
  • FIG. 10 is a diagram for explaining self-occlusion detection.
  • model M2-1 corresponds to the predicted skeleton information indicating the coordinates of each joint at frame number n predicted by equation (4).
  • illustration of some joints is omitted for convenience of explanation.
  • the detection unit 153 creates a box based on predetermined joints included in the model M2-1 (predicted skeleton information). For example, using the joints shown in FIG. 22, if the predetermined joints are nodes 4, 7, 14, and 10, the box is box B10. The detection unit 153 may provide a margin for the size of the box B10.
  • the detection unit 153 compares the coordinates of other joints different from the joints forming the box B10 with the coordinates of the box B10, and if the coordinates of the other joints are included in the area of the box B10, Other joints included in the region are detected as abnormal joints. For example, let the other joints be nodes 5 (ELBOW_LEFT), 8 (ELBOW_RIGHT), 6 (WRIST_LEFT), 9 (WRIST_RIGHT), 11 (KNEE_LEFT), 15 (KNEE_RIGHT), 12 (ANKLE_LEFT), and 16 (ANKLE_RIGHT).
  • the detection unit 153 detects the joint (node 15: KNEE_RIGHT) as an abnormal joint.
  • the coordinates of each joint in frame number n ⁇ 2 and the coordinates of each joint in frame number n ⁇ 1 used for prediction of model M2-1 are the second feature group based on the image frame captured by camera 30a. information.
  • the detection unit 153 generates abnormal joint information including "camera identification information: C30a, frame number: n, abnormal joint: KNEE_RIGHT".
  • the abnormal joint information is generated using the second feature group information of the frame number n-2 generated based on the image frame captured by the camera 30a and the second feature group information of the frame number n-1.
  • FIG. 11 is a diagram for explaining patterns of an abnormal heatmap.
  • the patterns “disappearance”, “blur”, “split”, and “displacement” will be described as examples.
  • Heatmaps 4-1, 4-2, 4-3, and 4-4 correspond to the second feature.
  • the pattern “disappearance” is a pattern in which a high-likelihood distribution is not formed, as shown in heatmap 4-1.
  • the pattern “bokeh” is a pattern in which a high-likelihood distribution spreads over a wide range, as shown in heatmap 4-2.
  • the pattern “split” is a pattern in which multiple likelihood peaks exist, as shown in heatmap 4-3.
  • the pattern “displacement” is a pattern in which the likelihood peak is in the wrong position, as shown in heatmap 4-4.
  • the detection unit 153 detects the joint corresponding to the second feature as an abnormal joint.
  • the detection unit 153 detects second features corresponding to the patterns “disappearance”, “blur”, and “split” by the first abnormal heatmap detection processing.
  • the detection unit 153 detects the pattern “displacement” by the second abnormal heatmap detection process.
  • a first abnormal heatmap detection process executed by the detection unit 153 will be described.
  • the detection unit 153 calculates the coordinates with the maximum likelihood from each second feature included in the second feature group information of the frame number n.
  • the coordinates at which the likelihood is maximized are referred to as "maximum coordinates".
  • each camera identification information includes J second features. From the two features, 84 maximum value coordinates are calculated.
  • the second feature group information (a plurality of second features ⁇ heatmap>) corresponding to the cameras 30a to 30d are collectively referred to as "HM input ".
  • the detection unit 153 Based on each maximum value coordinate of HM input , the detection unit 153 extracts the second features having the same shape as during training of the 2D feature extraction NN 142A and the number-of-channels conversion NN 142B for only the second features included in "HM input ". create. A plurality of created second features are denoted as “HM eval ".
  • FIG. 12 is a diagram (1) for explaining the first abnormal heatmap detection process.
  • FIG. 12 shows the case of generating HM eval from HM input .
  • the detection unit 153 calculates the standard deviation based on the likelihood values of the training data, and takes the average value as the maximum value coordinates. For example, the detection unit 153 performs the following calculation when generating the second feature HM2-1 of HM eval from the second feature HM1-1 of HM input .
  • the detection unit 153 uses the standard deviation based on the likelihood value of the heatmap used in the training of the 2D feature extraction NN 142A and the channel number conversion NN 142B, and the Gaussian distribution whose average value is the maximum coordinate of the second feature HM1-1, Generate a second feature HM2-1 of HM eval .
  • the detection unit 153 calculates a difference for each corresponding second feature between HM input and HM eval , and detects a joint corresponding to the second feature for which the difference is equal to or greater than a threshold as an abnormal joint.
  • the detection unit 153 calculates, as the difference, the mean squared error (MSE) shown in Equation (5), the mean absolute error (MAE) shown in Equation (6), or the like.
  • MSE mean squared error
  • MAE mean absolute error
  • x i input shown in Equation (5) is the pixel value (likelihood) of the second feature of HM input .
  • x i eval shown in Equation (5) is the pixel value (likelihood) of the second feature of HM eval .
  • the detection unit 153 calculates the difference based on each pixel value of the second feature HM1-1 and each pixel value of the second feature HM2-1 shown in FIG. In some cases, a joint abnormality corresponding to the second feature HM1-1 is detected.
  • the second feature HM1-1 is the second feature of the frame number n included in the second feature group information corresponding to the camera 30a and the second feature corresponding to the joint "HAND_TIP_RIGHT”
  • abnormal joint information including "camera identification information: C30a, frame number: n, abnormal joint: HAND_TIP_RIGHT".
  • FIG. 13 is a diagram for explaining an example of network automatic weight adjustment.
  • a DNN (Deep Neural Network) 142C shown in FIG. 13 is a network composed of a 2D convolutional layer, a ReLU layer, a MaxPooling layer, and a fully connected layer.
  • the DNN 142C is not trained separately from the global model, but is learned simultaneously with the global model in a built-in self-learning method.
  • weights w 1 , w 2 , . . . w j corresponding to the respective second features are output.
  • the detection unit 153 generates each weight w 1 , w 2 , . . . w j as abnormal joint information.
  • the weight of the weight w1 is small ( less than the threshold value), it can be said that the joint of the second feature corresponding to the weight w1 is abnormal.
  • the detection unit 153 detects abnormal joints based on the consistency of multi-viewpoint geometry. For example, the detection unit 153 executes the following processes.
  • the detection unit 153 calculates the maximum value coordinates from the J second features included in the second feature group information of frame number n.
  • the maximum coordinate is the coordinate with the maximum likelihood.
  • the detection unit 153 performs the following processing on the second feature included in the second feature group information of the viewpoint v.
  • a viewpoint v corresponds to the central coordinates of one camera 30 .
  • FIG. 14 is a diagram (1) for explaining the second abnormal heatmap detection process.
  • the second feature HM3-1 be the second feature of the viewpoint v of interest.
  • the second feature HM3-2 be the second feature of another viewpoint v'.
  • the second feature HM3-3 be the second feature of another viewpoint v′′.
  • the detection unit 153 calculates epipolar lines lv and v ' based on the maximum value coordinates of the second feature HM3-1 and the maximum value coordinates of the second feature HM3-2.
  • the detection unit 153 calculates epipolar lines l v and v′′ based on the maximum value coordinates of the second feature HM3-1 and the maximum value coordinates of the second feature HM3-3.
  • the detection unit 153 calculates an intersection point between the epipolar line lv, v' and the epipolar line lv, v ''.
  • the detection unit 153 calculates the Euclidean distance d between the maximum value coordinate of the second feature HM3-1 of the viewpoint v of interest and the intersection point.
  • the detection unit 153 repeatedly executes the above processing for each viewpoint, and extracts a combination of viewpoints in which the Euclidean distance d is equal to or less than the threshold value dth .
  • FIG. 15 is a diagram (2) for explaining the second abnormal heatmap detection process.
  • a viewpoint (camera) of interest is associated with a combination of viewpoints.
  • the viewpoint of interest corresponds to the viewpoint of interest in FIG.
  • the combination of viewpoints indicates a combination of viewpoints that generate intersections where the Eugrid distance d between the maximum value coordinate of the viewpoint of interest and the intersection is equal to or less than the threshold value dth.
  • the viewpoint corresponding to the central coordinates of the camera 30a is v30a.
  • v30b be the viewpoint corresponding to the central coordinates of the camera 30b.
  • v30c be the viewpoint corresponding to the center coordinates of the camera 30c.
  • v30d be the viewpoint corresponding to the center coordinates of the camera 30b.
  • the first line in FIG. 15 indicates that the Euclidean distance d between the maximum value coordinate of the target viewpoint v30a and the intersection of the first and second epipolar lines is equal to or less than the threshold dth.
  • the first epipolar line is the epipolar line between the viewpoint v30a and the viewpoint v30c.
  • the second epipolar line is the epipolar line between the viewpoint v30a and the viewpoint v30d.
  • the second line in FIG. 15 indicates that there is no intersection of epipolar lines where the Euclidean distance d from the maximum coordinate of the viewpoint v30b of interest is equal to or less than the threshold.
  • the third line in FIG. 15 indicates that the Euclidean distance d between the maximum value coordinate of the target viewpoint v30c and the intersection of the third and fourth epipolar lines is equal to or less than the threshold dth.
  • a third epipolar line is an epipolar line between the viewpoint v30c and the viewpoint v30a.
  • a fourth epipolar line is an epipolar line between the viewpoint v30c and the viewpoint v30a.
  • the fourth line in FIG. 15 indicates that the Euclidean distance d between the maximum value coordinate of the target viewpoint v30d and the intersection of the fifth and sixth epipolar lines is equal to or less than the threshold value dth.
  • a fifth epipolar line is an epipolar line between the viewpoint v30d and the viewpoint v30a.
  • a sixth epipolar line is an epipolar line between the viewpoint v30d and the viewpoint v30c.
  • the detection unit 153 detects, as abnormal joints, the joints corresponding to the viewpoints included in the most combinations and the second feature corresponding to the viewpoints of interest that do not have a combination.
  • the viewpoint v30a is the viewpoint most often included in combinations.
  • a viewpoint v30b is a viewpoint that does not have a combination with the viewpoint v30a. Therefore, the detection unit 153 detects the joint of the second feature corresponding to the viewpoint v30b as an abnormal joint. For example, assume that the joint corresponding to the second feature corresponding to viewpoint v30b is "HAND_TIP_RIGHT" and corresponds to frame number n. In this case, the detection unit 153 generates abnormal joint information including "camera identification information: C30b, frame number: n, abnormal joint: HAND_TIP_RIGHT".
  • the detection unit 153 detects pj , v ' are calculated by equation (7).
  • [ ⁇ ] ⁇ indicates a distortion asymmetric matrix.
  • P v ′ + represents the pseudo-inverse of P v (P v ′ T (P v ′ P v ′ T ) ⁇ 1 ).
  • the detection unit 153 calculates the distance d between the maximum coordinates pj, v and the intersections qv,v ',v'' of the epipolar lines based on Equation (11).
  • the detection unit 153 performs left-right reversal detection, self-occlusion detection, and abnormal heatmap detection, and generates abnormal joint information.
  • the abnormal joint information of the detection unit 153 includes the camera identification information, the frame number, and the abnormal joint.
  • the detection unit 153 outputs the abnormal joint information to the skeleton recognition unit 154 .
  • the skeleton recognition unit 154 acquires the second feature group information of each camera identification information from the feature table 142, and extracts the second feature corresponding to the abnormal joint information from the second features included in the acquired second feature group information. Remove.
  • the skeleton recognition unit 154 recognizes the 3D skeleton based on the result of integrating the plurality of remaining second features after removing the second features corresponding to the abnormal joint information.
  • the skeleton recognition unit 154 repeatedly executes the above processing for each frame number, and outputs the recognition result of the 3D skeleton to the technique recognition unit 155 .
  • the skeleton recognition unit 154 calculates aggregated volumes by back-projecting the second feature group information (J second features) corresponding to each camera onto the 3Dcube according to the camera parameters.
  • the frame number of the second feature group information is n, but the same applies to the second feature group information corresponding to other frame numbers.
  • the skeleton recognition unit 154 calculates the first aggregated volume by back-projecting the second feature group information corresponding to the camera identification information "C30a” onto the 3Dcube based on the camera parameters of the camera 30a.
  • the skeleton recognition unit 154 calculates the second aggregated volume by back-projecting the second feature group information corresponding to the camera identification information "C30b” onto the 3Dcube based on the camera parameters of the camera 30b.
  • the skeleton recognition unit 154 calculates the third aggregated volume by back-projecting the second feature group information corresponding to the camera identification information "C30c" onto the 3Dcube based on the camera parameters of the camera 30c.
  • the skeleton recognition unit 154 calculates the fourth aggregated volume by back-projecting the second feature group information corresponding to the camera identification information "C30d” onto the 3Dcube based on the camera parameters of the camera 30d.
  • the skeleton recognition unit 154 identifies abnormal points by back-projecting the second feature corresponding to the abnormal joint information onto the 3Dcube, and identifies the abnormal points from the first, second, third, and fourth aggregated volumes (volumes). Perform filtering to remove.
  • the skeleton recognition unit 154 performs filtering using the camera identification information (camera c regarded as abnormal) included in the abnormal joint information, the abnormal joint k, and Equation (12).
  • c included in equation (12) is an invalid value that negates the effect of softmax.
  • the skeleton recognition unit 154 calculates V2V (neural network) input information by integrating the first, second, third, and fourth aggregated volumes (volumes) from which abnormal points have been removed (filtered).
  • the skeleton recognition unit 154 performs integration processing based on equation (13) or equations (14) and (15) to calculate input information V input .
  • a constraint may be set so that only facing cameras do not remain.
  • the skeleton recognition unit 154 calculates processed volumes indicating the 3D position coordinates of each joint by inputting the input information to V2V.
  • the skeleton recognition unit 154 generates a 3D skeleton recognition result by executing soft-argmax on the processed volumes.
  • the recognition result of the 3D skeleton contains the 3D coordinates of J joints.
  • the skeleton recognition unit 154 outputs skeleton recognition result data, which is the recognition result of the 3D skeleton, to the technique recognition unit 155 .
  • skeleton recognition section 154 stores the skeleton recognition result data in storage section 140 .
  • the technique recognition unit 155 acquires the skeleton recognition result data from the skeleton recognition unit 154 in order of frame number, and identifies the time-series change of each joint coordinate based on the continuous skeleton recognition result data.
  • the technique recognition unit 155 identifies the type of technique by comparing the chronological change in each joint position with the technique recognition table 145 .
  • the technique recognition unit 155 also compares the combination of technique types with the technique recognition table 143 to calculate the score of the performance of the subject H1.
  • the technique recognition unit 155 generates screen information based on the score of the performance and the skeleton recognition result data from the start to the end of the performance.
  • the technique recognition unit 155 outputs the generated screen information to the display unit 130 for display.
  • FIG. 16 is a diagram showing an example of screen information.
  • this screen information 60 includes areas 60a, 60b, and 60c.
  • the area 60a is an area for displaying the type of technique recognized in the performance performed by the subject H1. In addition to the type of technique, the difficulty level of the technique may also be displayed.
  • the area 60b is an area for displaying performance scores.
  • the area 60a is an area for displaying an animation of a three-dimensional model based on skeleton recognition result data from the start to the end of the performance. The user operates the input unit 120 to instruct reproduction, stop, etc. of the animation.
  • FIG. 17 is a flow chart showing the processing procedure of the skeleton recognition device according to the present embodiment.
  • the acquisition unit 151 of the skeleton recognition device 100 acquires image frames (multi-viewpoint images) from the plurality of cameras 30 (step S101).
  • the generation unit 152 of the skeleton recognition device 100 executes the second feature generation process (step S102).
  • the detection unit 153 of the skeleton recognition device 100 executes anomaly detection processing (step S103).
  • the skeleton recognition unit 154 of the skeleton recognition device 100 filters abnormal joints (step S104).
  • the skeleton recognition unit 154 executes integration processing to generate input information (step S105).
  • the skeleton recognition unit 154 inputs the input information to V2V and calculates processed volumes (step S106).
  • the skeleton recognition unit 154 generates a 3D skeleton recognition result by executing soft-argmax on the processed volumes (step S107).
  • the skeleton recognition unit 154 outputs the skeleton recognition result data to the technique recognition unit 155 (step S108).
  • step S109 If the frame is the final frame (step S109, Yes), the skeleton recognition unit 154 ends the process. On the other hand, if the frame is not the final frame (step S109, No), the skeleton recognition unit 154 saves the skeleton recognition result data in the storage unit 140 (step S110), and proceeds to step S101.
  • FIG. 18 is a flowchart of the second feature generation process.
  • generation unit 152 of skeleton recognition apparatus 100 calculates K first features by inputting an image frame to 2D feature extraction NN 142A (step S201).
  • the generation unit 152 generates J second features by inputting the K first features to the channel number conversion NN 142B (step S202).
  • the generation unit 152 outputs information on the second feature (step S203).
  • FIG. 19 is a flowchart of anomaly detection processing.
  • the detection unit 153 of the skeleton recognition device 100 acquires the second feature (step S301).
  • the detection unit 153 executes left-right reversal detection (step S302).
  • the detection unit 153 executes occlusion detection (step S303).
  • the detection unit 153 executes abnormal heatmap detection (step S304).
  • the detection unit 153 generates abnormal joint information based on the abnormal joint detection result (step S305).
  • the detection unit 153 outputs abnormal joint information (step S306).
  • the skeleton recognition apparatus 100 associates the K first features representing the two-dimensional joint position features of the subject H1 extracted based on the image frames input from the camera 30 with the J joints of the subject. J second features (second feature group information) are generated.
  • the skeleton recognition apparatus 100 detects a second feature corresponding to the joint with an abnormality from the second feature group information, and removes the second feature with an abnormality from the second feature group information, and removes a plurality of remaining second features. Recognize the 3D skeleton based on the result of integrating the . By this, abnormal 2D features can be removed in advance and 3D skeleton recognition can be performed correctly.
  • Skeleton recognition apparatus 100 divides a vector generated based on the previous (frame number n ⁇ 1) second feature group information and a vector generated based on the current (frame number n) second feature group information into Based on this, an abnormal second feature is detected. This makes it possible to detect a laterally reversed abnormal joint.
  • the skeleton recognition apparatus 100 Based on the second feature group information, the skeleton recognition apparatus 100 detects an abnormal second feature based on the relationship between the Box specified from the predetermined joint and the positions of the joints other than the predetermined joint. do. This allows detection of abnormal joints affected by occlusion.
  • the skeleton recognition apparatus 100 detects an abnormal second feature based on the difference between the heatmap (second feature) and the ideal likelihood distribution information specified in advance. Further, the skeleton recognition apparatus 100 calculates a plurality of epipolar lines with the camera position as a viewpoint based on the heatmap, and based on the distance between the intersection of the epipolar lines and the position of the joint, determines the abnormal second epipolar line. Detect features. As a result, it is possible to detect and remove the second feature in which the patterns "disappearance”, “blur”, “split", and “displacement" have occurred.
  • FIG. 20 is a diagram for explaining the effects of the skeleton recognition device according to this embodiment.
  • FIG. 20 shows 3D skeleton recognition results Im2-1c, Im2-2c, Im2-3c, and Im2-4c of the prior art, and 3D skeleton recognition results Im2-1d, Im2-2d, Im2-3d, and Im2 by the skeleton recognition apparatus 100. -4d.
  • the accuracy of the 3D skeleton is improved by removing the second features corresponding to incorrect joints through left-right inversion detection, self-occlusion detection, and abnormal heatmap detection.
  • the subject and the 3D skeleton are separated, but in the 3D skeleton recognition results Im2-1d to Im2-4d of the present embodiment, the 3D skeleton of the subject The skeleton is properly identified.
  • FIG. 21 is a diagram showing an example of the hardware configuration of a computer that implements the same functions as the skeleton recognition device.
  • the computer 200 has a CPU 201 that executes various arithmetic processes, an input device 202 that receives data input from the user, and a display 203 .
  • the computer 200 also has a communication device 204 that receives distance image data from the camera 30, and an interface device 205 that connects to various devices.
  • the computer 200 has a RAM 206 that temporarily stores various information and a hard disk device 207 . Each device 201 - 207 is then connected to a bus 208 .
  • the hard disk device 207 has an acquisition program 207a, a generation program 207b, a detection program 207c, a skeleton recognition program 207d, and a technique recognition program 207e.
  • the CPU 201 reads the acquisition program 207a, the generation program 207b, the detection program 207c, the skeleton recognition program 207d, and the technique recognition program 207e, and develops them in the RAM 206.
  • the acquisition program 207a functions as an acquisition process 206a.
  • Generation program 207b functions as generation process 206b.
  • the detection program 207c functions as a detection process 206c.
  • the skeleton recognition program 207d functions as a skeleton recognition process 206d.
  • the technique recognition program 207e functions as a technique recognition process 206e.
  • the processing of the acquisition process 206a corresponds to the processing of the acquisition unit 151.
  • the processing of the generation process 206 b corresponds to the processing of the generation unit 152 .
  • the processing of the detection process 206 c corresponds to the processing of the detection unit 153 .
  • Processing of the skeleton recognition process 206 d corresponds to processing of the skeleton recognition unit 154 .
  • the processing of the technique recognition process 206 e corresponds to the processing of the technique recognition unit 155 .
  • each program does not necessarily have to be stored in the hard disk device 307 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), CD-ROM, DVD disk, magneto-optical disk, IC card, etc. inserted into the computer 200 .
  • the computer 300 may read and execute each program 207a to 207e.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

骨格認識装置は、被写体を撮影する複数のカメラから入力される２次元の入力画像を基にして、被写体の２次元の関節位置の特徴を示す複数の第１特徴を抽出する。骨格認識装置は、複数の第１特徴を基にして、被写体の所定数の関節にそれぞれ対応させた複数の第２特徴を含む第２特徴群情報を生成する。骨格認識装置は、第２特徴群情報から、異常のある第２特徴を検知する。骨格認識装置は、第２特徴群情報から、異常のある第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する。

Description

骨格認識方法、骨格認識プログラムおよび体操採点支援システム
　本発明は、骨格認識方法等に関する。
　３次元の人の動きの検出に関しては、複数台の３Ｄレーザセンサから人の３Ｄ骨格座標を±１ｃｍの精度で検出する３Ｄセンシング技術が確立されている。この３Ｄセンシング技術は、体操採点支援システムへの応用や、他のスポーツ、他分野への展開が期待されている。３Ｄレーザセンサを用いた方式を、レーザ方式と表記する。
　レーザ方式では、レーザを１秒間に約２００万回照射し、レーザの走行時間（Time　of　Flight：ＴｏＦ）を基に、対象となる人を含めて、各照射点の深さや情報を求める。レーザ方式は、高精度な深度データを取得できるが、レーザスキャンやＴｏＦ測定の構成および処理が複雑であるため、ハードウェアが複雑および高価になるという欠点がある。
　レーザ方式の代わりに、画像方式によって、３Ｄ骨格認識を行う場合もある。画像方式では、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージャによって、各ピクセルのＲＧＢ（Red　Green　Blue）データを取得する方式であり、安価なＲＧＢカメラを用いることができる。
　ここで、複数カメラによる２Ｄ特徴を用いた３Ｄ骨格認識の従来技術について説明する。従来技術では、事前に定義された人体モデルに従って、各カメラで２Ｄ特徴を取得した後、各２Ｄ特徴を統合した結果を用いて、３Ｄ骨格を認識する。たとえば、２Ｄ特徴は、２Ｄ骨格情報、heatmap情報が上げられる。
　図２２は、人体モデルの一例を示す図である。図２２に示すように、人体モデルＭ１は、２１個の関節で構成される。人体モデルＭ１では、各関節をノードで示し、０～２０の番号を割り当てる。ノードの番号と、関節名との関係は、テーブルＴｅ１に示す関係となる。たとえば、ノード０に対応する関節名は「SPINE_BASE」となる。ノード１～２０に対する関節名の説明を省略する。
　従来技術には、三角測量を用いた手法、機械学習を用いた手法がある。三角測量を用いた手法には、カメラ２台による三角測量と、カメラ３台以上による三角測量がある。便宜的に、カメラ２台による三角測量を、従来技術１、カメラ３台以上による三角測量を、従来技術２、機械学習を用いた手法を、従来技術３とする。
　図２３は、カメラ２台による三角測量を説明するための図である。従来技術１において、三角測量とは、２台のカメラＣａ１Ａ，Ｃａ１Ｂの特徴を使って、三角形の関係から被写体Ｐの３次元位置を測定する方法と定義する。カメラＣａ１Ａのカメラ画像をＩｍ２Ａとし、カメラＣａ１Ｂのカメラ画像をＩｍ２Ｂとする。
　被写体Ｐのカメラ画像Ｉｍ２Ａの２Ｄ関節位置をｐｌ（ｘｌ，ｙｌ）とする。被写体Ｐのカメラ画像Ｉｍ２Ａの２Ｄ関節位置をｐｒ（ｘｒ，ｙｒ）とする。また、カメラ間の距離をｂとし、焦点距離をｆとする。従来技術１では、２Ｄ関節位置をｐｌ（ｘｌ，ｙｌ）、ｐｒ（ｘｒ，ｙｒ）を特徴とし、３次元関節位置Ｐ（Ｘ，Ｙ，Ｚ）を、式（１）、式（２）、式（２）により算出する。（Ｘ，Ｙ，Ｚ）の原点は、２つのカメラＣａ１Ａ，Ｃａ１Ｂの光学中心の中央にあるものとする。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　図２３で説明した従来技術１では、３Ｄ骨格を求める際に誤った２Ｄ特徴が使用されると３Ｄ骨格の精度が低下してしまう。
　図２４は、カメラ３台による三角測量を説明するための図である。カメラ３台による三角測量では、図２３で説明した三角測量を、３台以上のカメラに拡張し、ＲＡＮＳＡＣ（Random　Sample　Consensus）と呼ばれるアルゴリズムにより、最も良いカメラの組み合わせを推定する。
　図２４に示すように、従来技術２の装置は、全てのカメラ１－１，１－２，１－３，１－４で、被写体の２Ｄ関節位置を取得する（ステップＳ１）。従来技術２の装置は、全てのカメラ１－１～１－４から、２つのカメラの組み合わせを選択し、図２３で説明した三角測量によって、３Ｄ関節位置を算出する（ステップＳ２）。
　従来技術２の装置は、３Ｄ骨格を全てのカメラ１－１～１－４に再投影して、２Ｄ関節位置とのずれが閾値以下となるカメラの数をカウントする（ステップＳ３）。従来技術２の装置は、ステップＳ２、Ｓ３の処理を繰り返し実行し、２Ｄ関節位置とのずれが閾値以下となるカメラの数が最も多い２つのカメラの組み合わせを、最も良いカメラの組み合わせとして採用する（ステップＳ４）。
　図２４で説明した従来技術２では、３Ｄ骨格を求める際に最適な２つのカメラを探索するために処理時間を要してしまう。
　機械学習を用いた手法では、三角測量を用いた手法と比較して、高精度かつ高速に、３Ｄ骨格を認識することが可能となる。
　図２５は、機械学習を用いた手法を説明するための図である。機械学習を用いた従来技術３では、各カメラが撮影した各入力画像２１に対して、2D　backbone処理２１ａをかけることで、各関節特徴を表す２Ｄ特徴（2D　features）２２を取得する。従来技術３では、各２Ｄ特徴２２をカメラパラメータに従って3Dcubeに逆投影することで、aggregated　volumes２３を取得する。
　従来技術３では、aggregated　volumes２３を、V2V（ニューラルネットワーク、Ｐ３）２４に入力することで、各関節の尤度を表すprocessed　volumes２５を取得する。processed　volumes２５は、各関節の３Ｄでの尤度を表すheatmapに対応する。従来技術３では、processed　volumes２５に対して、soft-argmax２６を実行することで、３Ｄ骨格情報２７を取得する。
特開平１０－３０２０７０号公報 特開２０００－２５１０７８号公報
　しかしながら、従来技術３では、誤った２Ｄ特徴を用いて３Ｄ骨格認識を実行する場合があり、正しい３Ｄ骨格認識結果を得ることができないという問題がある。
　図２６は、従来技術３の問題を説明するための図である。ここでは、一例として、４台のカメラ２－１，２－２，２－３，２－４を用いて、３Ｄ骨格を認識する場合について説明する。カメラ２－１，２－２，２－３，２－４が撮影した入力画像をそれぞれ、入力画像Ｉｍ２－１ａ，Ｉｍ２－２ａ，Ｉｍ２－３ａ，Ｉｍ２－４ａとする。このうち、入力画像Ｉｍ２－３ａでは、被写体の顔が見えづらく、左右の区別が難しい画像となっている。入力画像Ｉｍ２－４ａでは、領域Ａｒ１において、左膝オクルージョンが発生している。
　従来技術３では、入力画像Ｉｍ２－１ａに、2D　backbone処理２１ａをかけることで、２Ｄ特徴が算出され、この２Ｄ特徴により、２Ｄ骨格情報Ｉｍ２－１ｂが生成される。入力画像Ｉｍ２－２ａ，Ｉｍ２－３ａ、Ｉｍ２－４ａについても、2D　backbone処理２１ａをかけることで、２Ｄ特徴が算出され、この２Ｄ特徴により、２Ｄ骨格情報Ｉｍ２－２ｂ，Ｉｍ２－３ｂ，Ｉｍ２－４ｂが生成される。２Ｄ骨格情報Ｉｍ２－１ｂ～Ｉｍ２－４ｂは、２Ｄの骨格の位置を示すものである。
　ここで、入力画像Ｉｍ２－３ａでは、被写体の顔が見えづらいため、２Ｄ姿勢情報Ｉｍ２－３ｂの領域Ａｒ２において、骨格の関係が左右反転している。入力画像Ｉｍ２－４ａで発生した左膝オクルージョンの影響により、２Ｄ姿勢情報Ｉｍ２－４ｂの領域Ａｒ３において、左膝に関連した２Ｄ骨格が誤った特徴をとらえている。
　従来技術３では、２Ｄ姿勢情報Ｉｍ２－１ｂ～Ｉｍ２－４ｂの基となる２Ｄ特徴をそのまま用いて、３Ｄ骨格認識結果Ｉｍ２－１ｃ，Ｉｍ２－２ｃ，Ｉｍ２－３ｃ，Ｉｍ２－４ｃを算出する。すなわち、２Ｄ姿勢情報Ｉｍ２－３ｂ，Ｉｍ２－４ｂに対応する２Ｄ特徴が誤っていても、かかる２Ｄ特徴を用いて、３Ｄ骨格を認識するため、精度が低下する。たとえば、図２６に示す例では、誤りの特徴の多かった左膝に大きな精度の低下が発生する。
　１つの側面では、本発明は、正しく３Ｄ骨格認識を実行することができる、骨格認識方法、骨格認識プログラムおよび体操採点支援システムを提供することを目的とする。
　第１の案では、コンピュータは、次の処理を実行する。コンピュータは、被写体を撮影する複数のカメラから入力される２次元の入力画像を基にして、被写体の２次元の関節位置の特徴を示す複数の第１特徴を抽出する。コンピュータは、複数の第１特徴を基にして、被写体の所定数の関節にそれぞれ対応させた複数の第２特徴を含む第２特徴群情報を生成する。コンピュータは、第２特徴群情報から、異常のある第２特徴を検知する。コンピュータは、第２特徴群情報から、異常のある第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する。
　３Ｄ骨格認識結果に異常を与えてしまう２Ｄ特徴を判定することで、異常のある２Ｄ特徴を事前に除去することができ、正しく３Ｄ骨格認識を実行することができる。
図１は、本実施例に係る体操採点支援システムの一例を示す図である。 図２は、２Ｄ特徴を説明するための図である。 図３は、一つの２Ｄ特徴を示す図である。 図４は、本実施例に係る骨格認識装置の構成を示す機能ブロック図である。 図５は、測定テーブルのデータ構造の一例を示す図である。 図６は、特徴テーブルのデータ構造の一例を示す図である。 図７は、生成部の処理を説明するための図である。 図８は、左右反転検知を説明するための図（１）である。 図９は、左右反転検知を説明するための図（２）である。 図１０は、セルフオクルージョン検知を説明するための図である。 図１１は、異常heatmapのパターンを説明するための図である。 図１２は、第１の異常heatmap検知処理について説明するための図である。 図１３は、ネットワークの自動重み調整の一例を説明するための図である。 図１４は、第２の異常heatmap検知処理について説明する図（１）である。 図１５は、第２の異常heatmap検知処理について説明する図（２）である。 図１６は、画面情報の一例を示す図である。 図１７は、本実施例に係る骨格認識装置の処理手順を示すフローチャートである。 図１８は、第２特徴生成処理のフローチャートである。 図１９は、異常検知処理のフローチャートである。 図２０は、本実施例に係る骨格認識装置の効果を説明するための図である。 図２１は、骨格認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２２は、人体モデルの一例を示す図である。 図２３は、カメラ２台による三角測量を説明するための図である。 図２４は、カメラ３台による三角測量を説明するための図である。 図２５は、機械学習を用いた手法を説明するための図である。 図２６は、従来技術３の問題を説明するための図である。
　以下に、本願の開示する骨格認識方法、骨格認識プログラムおよび体操採点支援システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例に係る体操採点支援システムの一例を示す図である。図１に示すように、この体操採点支援システム３５は、カメラ３０ａ，３０ｂ，３０ｃ，３０ｄと、骨格認識装置１００とを有する。カメラ３０ａ～３０ｄと、骨格認識装置１００とは、有線または無線によってそれぞれ接続されている。図１では、カメラ３０ａ～３０ｄを示すが、この体操採点支援システム３５は、他のカメラを更に有していてもよい。
　本実施例では一例として、被写体Ｈ１が、器具上で一連の演技を行うものとするがこれに限定されるものではない。たとえば、被写体Ｈ１は、器具の存在しない場所で演技を行ってもよいし、演技以外の動作を行ってもよい。
　カメラ３０ａは、被写体Ｈ１の画像を撮影するカメラである。カメラ３０ａは、ＣＭＯＳイメージャ、ＲＧＢカメラ等に対応する。カメラ３０ａは、所定のフレームレート（frames　per　second：FPS）によって、画像を連続して撮影し、時系列に画像のデータを骨格認識装置１００に送信する。以下の説明では、連続する複数の画像のデータのうち、ある一つの画像のデータを「画像フレーム」と表記する。画像フレームには、時系列にフレーム番号が付与される。
　カメラ３０ｂ，３０ｃ，３０ｄに関する説明は、カメラ３０ａに関する説明と同様である。以下の説明では、適宜、カメラ３０ａ～３０ｄをまとめて「カメラ３０」と表記する。
　骨格認識装置１００は、カメラ３０から画像フレームを取得し、画像フレームを基にして、被写体Ｈ１の関節にそれぞれ対応する複数の第２特徴を生成する。第２特徴は、各関節位置の尤度を示すheatmapである。１つのカメラから取得した１つの画像フレームから、各関節に対応する第２特徴が生成される。たとえば、関節数を２１個、カメラの数を４個とすると、画像フレーム毎に、８４個の第２特徴が生成される。
　図２は、第２特徴を説明するための図である。図２に示す画像フレームＩｍ３０ａ１は、カメラ３０ａに撮影された画像フレームである。画像フレームＩｍ３０ｂ１は、カメラ３０ｂに撮影された画像フレームである。画像フレームＩｍ３０ｃ１は、カメラ３０ｃに撮影された画像フレームである。画像フレームＩｍ３０ｄ１は、カメラ３０ｄに撮影された画像フレームである。
　骨格認識装置１００は、画像フレームＩｍ３０ａ１を基にして、第２特徴群情報Ｇ１ａを生成する。第２特徴群情報Ｇ１ａには、各関節に対応する２１個の第２特徴が含まれる。骨格認識装置１００は、画像フレームＩｍ３０ｂ１を基にして、第２特徴群情報Ｇ１ｂを生成する。第２特徴群情報Ｇ１ｂには、各関節に対応する２１個の第２特徴が含まれる。
　骨格認識装置１００は、画像フレームＩｍ３０ｃ１を基にして、第２特徴群情報Ｇ１ｃを生成する。第２特徴群情報Ｇ１ｃには、各関節に対応する２１個の第２特徴が含まれる。骨格認識装置１００は、画像フレームＩｍ３０ｄ１を基にして、第２特徴群情報Ｇ１ｄを生成する。第２特徴群情報Ｇ１ｄには、各関節に対応する２１個の第２特徴が含まれる。
　図３は、一つの第２特徴を示す図である。図３に示す第２特徴Ｇｃ１－３は、第２特徴群情報Ｇ１ｄに含まれる第２特徴のうち、関節「HEAD」に対応する第２特徴である。第２特徴Ｇｃ１－３の各ピクセルには、尤度が設定される。図３では、尤度の値に応じた色が設定される。尤度が最大となる箇所が、該当する関節の座標となる。たとえば、特徴Ｇｃ１－３において、尤度の値が最大となる領域Ａｃ１－３が、関節「HEAD」の座標であることが特定できる。
　骨格認識装置１００は、第２特徴群情報Ｇ１ａに含まれる第２特徴から、異常のある第２特徴を検知し、検知した異常のある第２特徴を、第２特徴群情報Ｇ１ａから除去する。骨格認識装置１００は、第２特徴群情報Ｇ１ｂに含まれる第２特徴から、異常のある第２特徴を検知し、検知した異常のある第２特徴を、第２特徴群情報Ｇ１ｂから除去する。
　骨格認識装置１００は、第２特徴群情報Ｇ１ｃに含まれる第２特徴から、異常のある第２特徴を検知し、検知した異常のある第２特徴を、第２特徴群情報Ｇ１ｃから除去する。骨格認識装置１００は、第２特徴群情報Ｇ１ｄに含まれる第２特徴から、異常のある第２特徴を検知し、検知した異常のある第２特徴を、第２特徴群情報Ｇ１ｄから除去する。
　骨格認識装置１００は、異常のある第２特徴を除いた第２特徴群情報Ｇ１ａ，Ｇ１ｂ，Ｇ１ｃ，Ｇ１ｄを統合し、統合した結果を基にして、３Ｄ骨格を認識する。
　上記のように、骨格認識装置１００によれば、画像フレームを基にして、被写体Ｈ１の関節とそれぞれ対応付けた複数の第２特徴を生成し、異常が検知された第２特徴を除いた残りの第２特徴を合成した結果を用いて３Ｄ骨格を認識する。このため、正しい３Ｄ骨格の認識結果を得ることができる。
　次に、本実施例に係る骨格認識装置１００の構成の一例について説明する。図４は、本実施例に係る骨格認識装置の構成を示す機能ブロック図である。図４に示すように、この骨格認識装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。
　通信部１１０は、カメラ３０から画像フレームを受信する。通信部１１０は、受信した画像フレームを制御部１５０に出力する。通信部１１０は、通信装置の一例である。通信部１１０は、図示しない他の外部装置からデータを受信してもよい。
　入力部１２０は、骨格認識装置１００の制御部１５０に各種の情報を入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。利用者は、入力部１２０を操作して、画面情報の表示要求、画面操作などを行う。
　表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等の画面情報を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。
　記憶部１４０は、測定テーブル１４１、特徴テーブル１４２、技認識テーブル１４３を有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　測定テーブル１４１は、カメラ３０により撮影される画像フレームを時系列に格納するテーブルである。図５は、測定テーブルのデータ構造の一例を示す図である。図５に示すように、測定テーブル１４１は、カメラ識別情報と、画像フレームとを対応付ける。
　カメラ識別情報は、カメラを一意に識別する情報である。たとえば、カメラ識別情報「Ｃ３０ａ」は、カメラ３０ａに対応し、カメラ識別情報「Ｃ３０ｂ」は、カメラ３０ｂに対応し、カメラ識別情報「Ｃ３０ｃ」は、カメラ３０ｃに対応し、カメラ識別情報「Ｃ３０ｄ」は、カメラ３０ｄに対応する。画像フレームは、該当するカメラ３０に撮影された時系列の画像フレームである。各画像フレームには、時系列にフレーム番号が設定されるものとする。
　特徴テーブル１４２は、第２特徴に関する情報を保持するテーブルである。図６は、特徴テーブルのデータ構造の一例を示す図である。図６に示すように、特徴テーブル１４２は、カメラ識別情報と、第１特徴と、第２特徴群情報とを有する。カメラ識別情報に関する説明は、図５で説明したカメラ識別情報に関する説明と同様である。
　第１特徴は、１つの画像フレームに対して、2D　backbone処理を実行することで算出される被写体Ｈ１の関節に関する特徴情報である。一つの画像フレームから、一つのカメラにつき、Ｋ個の第１特徴が生成される。すなわち、画像フレーム毎、カメラ毎に、Ｋ個の第１特徴が生成され、特徴テーブル１４２に格納される。なお、「Ｋ」は、関節数とは異なる数となり、関節数よりも多い数となる。
　第２特徴群情報は、各関節に１対１に対応するＪ個の第２特徴を有する。一つの画像フレームから生成されたＫ個の第１特徴から、Ｊ個の第２特徴が生成される。また、Ｊ個の第２特徴は、カメラ毎に生成される。すなわち、画像フレーム毎、カメラ毎に、Ｊ個の第２特徴が生成され、特徴テーブル１４２に格納される。なお、「Ｊ」は、関節数「２１」と同じ数となり、各第２特徴は、各関節に対応付けられる。第２特徴群情報の説明は、図２で説明した内容に対応する。
　図示を省略するが、Ｋ個の第１特徴の情報、Ｊ個の第２特徴の情報には、対応する画像フレームのフレーム番号が設定されているものとする。
　図４の説明に戻る。技認識テーブル１４３は、各骨格認識結果に含まれる各関節位置の時系列変化と、技の種別とを対応付けるテーブルである。また、技認識テーブル１４３は、技の種別の組み合わせと、スコアとを対応付ける。スコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の難易度に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。
　制御部１５０は、取得部１５１、生成部１５２、検知部１５３、骨格認識部１５４、技認識部１５５を有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジック等によって実現される。
　取得部１５１は、通信部１１０を介して、カメラ３０から時系列に画像フレームを取得する。取得部１５１は、カメラ３０から取得した画像フレームを、カメラ識別情報と対応付けて、測定テーブル１４１に格納する。
　生成部１５２は、画像フレームを基にして、第２特徴群情報を生成する。図７は、生成部の処理を説明するための図である。図７に示すように、生成部１５２は、２Ｄ特徴抽出ＮＮ１４２Ａ、チャネル数変換ＮＮ１４２Ｂを利用する。
　２Ｄ特徴抽出ＮＮ１４２Ａは、ResNet等のＮＮ（Neural　Network）に対応する。２Ｄ特徴抽出ＮＮ１４２Ａは、画像フレームが入力された場合に、訓練済みのパラメータを基にして、Ｋ個の第１特徴を算出して、出力する。たとえば、１つの第１特徴は、９６×９６のピクセル画像であり、各ピクセルには、いずれかの関節に関する尤度が設定される。Ｋ個の第１特徴は、各関節と、１対１に対応しているものではない。２Ｄ特徴抽出ＮＮ１４２Ａは、予め訓練データによって、パラメータが訓練（機械学習）されているものとする。
　チャネル数変換ＮＮ１４２Ｂは、ＮＮのConv2D層等に対応する。チャネル数変換ＮＮ１４２Ｂは、Ｋ個の第１特徴が入力された場合に、訓練済みのパラメータを基にして、Ｊ個の第２特徴を算出して、出力する。Ｊ個の第２特徴は、各関節と１対１に対応している。チャネル数変換ＮＮ１４２Ｂは、予め訓練データによって、パラメータが訓練（機械学習）されているものとする。
　生成部１５２は、測定テーブル１４１から、カメラ３０ａの画像フレームを取得し、取得した画像フレームを、２Ｄ特徴抽出ＮＮ１４２Ａに入力することで、Ｋ個の第１特徴を抽出する。生成部１５２は、Ｋ個の第１特徴を、カメラ識別情報Ｃ３０ａに対応付けて、特徴テーブル１４２に登録する。
　また、生成部１５２は、Ｋ個の第１特徴を、チャネル数変換ＮＮ１４２Ｂに入力することで、Ｊ個の第２特徴を生成する。生成部１５２は、Ｊ個の第２特徴を、カメラ識別情報Ｃ３０ａに対応付けて、特徴テーブル１４２に登録する。生成部１５２は、カメラ３０ａの時系列の各画像フレームに対して、上記処理を繰り返し実行することで、カメラ３０ａに対応するＪ個の第２特徴の情報を生成する。
　生成部１５２は、カメラ３０ｂ，３０ｃ，３０ｄの画像フレームについても、カメラ３０ａの画像フレームと同様にして、Ｋ個の第１特徴を抽出し、Ｊ個の第２特徴の情報を生成する。なお、Ｋ個の第１特徴、Ｊ個の第２特徴には、フレーム番号が付与される。
　たとえば、フレーム番号「ｎ」の画像フレームを基に抽出されたＫ個の第１特徴には、フレーム番号「ｎ」が付与される。また、フレーム番号「ｎ」が付与されたＫ個の第１特徴を基に生成されるＪ個の第２特徴（第２特徴群情報）には、フレーム番号「ｎ」が付与される。
　検知部１５３は、特徴テーブル１４２に格納されたＪ個の第２特徴の情報を基にして、異常な関節を検知する。たとえば、検知部１５３は、左右反転検知、セルフオクルージョン検知、異常heatmap検知を実行することで、異常な関節を検知する。
　検知部１５３が実行する左右反転検知について説明する。ここでは、カメラ３０ａが撮影した画像フレームに基づいて生成されたフレーム番号ｎ－１の第２特徴群情報と、フレーム番号ｎの第２特徴群情報とを用いて説明を行う。
　検知部１５３は、フレーム番号ｎ－１の第２特徴群情報に含まれるＪ個の第２特徴を基にして、各関節の座標を算出する。たとえば、図３の関節「HEAD」に対応する第２特徴Ｇｃ１－３を用いて説明する。検知部１５３は、第２特徴Ｇｃ１－３の各ピクセルに設定された尤度のうち、最大の尤度が設定されたピクセルの座標を「HEAD」の座標として算出する。検知部１５３は、他の関節に対応する第２特徴についても、同様の処理を実行することで、フレーム番号ｎ－１の各関節の座標（２次元の座標）を算出する。
　検知部１５３は、フレーム番号ｎの第２特徴群情報に含まれるＪ個の第２特徴を基にして、各関節の座標を算出する。検知部１５３が、フレーム番号ｎの第２特徴群情報を基にして、各関節の座標を算出する処理は、フレーム番号ｎの第２特徴群情報を基にして、各関節の座標を算出する処理と同様である。
　図８は、左右反転検知を説明するための図（１）である。図８において、モデルＭ１－１は、フレーム番号ｎ－１の各関節の座標を基に生成される２次元骨格情報である。モデルＭ１－２は、フレーム番号ｎの各関節の座標を基に生成される２次元骨格情報である。図８では、説明の便宜上、一部の関節の図示を省略する。
　検知部１５３は、所定の左側の関節を始点とし、所定の右側の関節を終点とするベクトルを計算する。たとえば、モデルＭ１－１では、ベクトルｖａ１，ｖａ２，ｖａ３，ｖａ４，ｖａ５，ｖａ６を示す。図２２で説明した関節を用いて説明すると、ベクトルｖａ１は、ノード１３を始点とし、ノード１７を終点とするベクトルである。ベクトルｖａ２は、ノード１１を始点とし、ノード１５を終点とするベクトルである。ベクトルｖａ３は、ノード１９を始点とし、ノード２０を終点とするベクトルである。ベクトルｖａ４は、ノード１０を始点とし、ノード１４を終点とするベクトルである。ベクトルｖａ５は、ノード５を始点とし、ノード８を終点とするベクトルである。ベクトルｖａ６は、ノード４を始点とし、ノード７を終点とするベクトルである。
　検知部１５３は、モデルＭ１－２についても同様にして、所定の左側の関節を始点とし、所定の右側の関節を終点とするベクトルを計算する。ここでは、一例として、ベクトルｖｂ３を示す。
　検知部１５３は、モデルＭ１－１と、モデルＭ１－２において、始点の関節と終点の関節とが同一となるベクトルをペアとする。図８に示す例では、モデルＭ１－１のベクトルｖａ３と、モデルＭ１－２のベクトルｖｂ３とがペアとなる。検知部１５３は、ペアのベクトルのノルムを比較し、前フレーム（フレーム番号ｎ－１）から所定値以上、ノルムが小さくなっている場合に、該当するベクトルのペアを検知する。
　たとえば、検知部１５３は、ベクトルｖａ３のノルムから、ベクトルｖｂ３のノルムを減算した値が、所定値以上である場合に、ベクトルｖａ３，ｖｂ３を検知する。検知部１５３は、他のベクトルのペアについても同様の処理を実行する。この処理によって、検知部１５３が検知したベクトルのペアを、第１検知ベクトルペアと表記する。
　検知部１５３は、第１検知ベクトルペアの関節の座標の移動量を比較し、移動量の大きい方の関節を、異常関節として検知する。たとえば、検知部１５３は、ベクトルｖａ３と、ベクトルｖｂ３とを比較すると、始点の関節の移動量よりも、終点の関節の移動量の方が大きいため、モデルＭ１－２の終点の関節（ノード２０：HAND_TIP_RIGHT）を異常関節として検知する。なお、モデルＭ１－２の基となる第２特徴群情報が、カメラ３０ａの撮影した画像フレームに基づく第２特徴群情報であるとする。この場合、検知部１５３は、「カメラ識別情報：Ｃ３０ａ、フレーム番号：ｎ、異常関節：HAND_TIP_RIGHT」を含む異常関節情報を生成する。
　図９は、左右反転検知を説明するための図（２）である。図９において、モデルＭ１－１は、フレーム番号ｎ－１の各関節の座標を基に生成される２次元骨格情報である。モデルＭ１－２は、フレーム番号ｎの各関節の座標を基に生成される２次元骨格情報である。図９では、説明の便宜上、一部の関節の図示を省略する。
　検知部１５３は、図８と同様にして、所定の左側の関節を始点とし、所定の右側の関節を終点とするベクトルを計算する。図９では一例として、モデルＭ１－１のベクトルｖａ３と、モデルＭ１－２のベクトルｖｂ３を示す。
　検知部１５３は、モデルＭ１－１と、モデルＭ１－２において、始点の関節と終点の関節とが同一となるベクトルをペアとする。検知部１５３は、ペアのベクトルのなす角を算出する。検知部１５３は、なす角が所定のなす角以上となるベクトルのペアを検知する。
　たとえば、検知部１５３は、ベクトルｖａ３とベクトルｖｂ３とのなす角が所定のなす角以上である場合に、ベクトルｖａ３，ｖｂ３を検知する。検知部１５３は、他のベクトルのペアについても同様の処理を実行する。この処理によって、検知部１５３が検知したベクトルのペアを、第２検知ベクトルペアと表記する。
　検知部１５３は、第２検知ベクトルペアの始点となる関節と、終点となる関節との双方を、異常関節として検知する。図９に示す例では、検知部１５３は、モデルＭ１－２の始点の関節（ノード１９：HAND_TIP_LEFT）、終点の関節（ノード２０：HAND_TIP_RIGHT）を異常関節として検知する。なお、モデルＭ１－２の基となる第２特徴群情報が、カメラ３０ａの撮影した画像フレームに基づく第２特徴群情報であるとする。この場合、検知部１５３は、「カメラ識別情報：Ｃ３０ａ、フレーム番号：ｎ、異常関節：HAND_TIP_RIGHT、HAND_TIP_LEFT」を含む異常関節情報を生成する。
　図８，図９では、カメラ３０ａが撮影した画像フレームに基づいて生成されたフレーム番号ｎ－１の第２特徴群情報と、フレーム番号ｎの第２特徴群情報とを用いて異常関節情報を生成する場合について説明したが、他のカメラ３０ｂ，３０ｃ，３０ｄについても同様である。
　続いて、検知部１５３が実行するセルフオクルージョン検知について説明する。ここでは、カメラ３０ａが撮影した画像フレームに基づいて生成された各フレーム番号ｎ－２，ｎ－１の第２特徴群情報を用いて説明を行う。
　検知部１５３は、フレーム番号ｎ－２の第２特徴群情報に含まれるＪ個の第２特徴を基にして、各関節の座標を算出する。検知部１５３は、フレーム番号ｎ－１の第２特徴群情報に含まれるＪ個の第２特徴を基にして、各関節の座標を算出する。各関節の座標を算出する処理は、左右反転検知で説明した各関節の座標を算出する処理と同様である。
　検知部１５３は、フレーム番号ｎ－２の各関節の座標と、フレーム番号ｎ－１の各関節の座標とを基にして、フレーム番号ｎの各関節の座標を示す予測骨格情報を算出する。たとえば、検知部１５３は、式（４）を基にして、フレーム番号ｎの各関節の座標を示す予測骨格情報を算出する。式（４）において、ｐｎは、予測されるフレーム番号ｎの各関節の座標を示す。ｐｎ－１は、フレーム番号ｎ－１の各関節の座標を示す。ｐｎ－２は、フレーム番号ｎ－２の各関節の座標を示す。
Figure JPOXMLDOC01-appb-M000004
　図１０は、セルフオクルージョン検知を説明するための図である。図１１において、モデルＭ２－１は、式（４）によって予測された、フレーム番号ｎの各関節の座標を示す予測骨格情報に対応する。図１０では、説明の便宜上、一部の関節の図示を省略する。
　検知部１５３は、モデルＭ２－１（予測骨格情報）に含まれる所定の関節を基にして、ボックスを作成する。たとえば、図２２で説明した関節を用いて説明すると、所定の関節を、ノード４，７，１４，１０とすると、ボックスは、ボックスＢ１０となる。検知部１５３は、ボックスＢ１０の大きさにマージンを持たせもよい。
　検知部１５３は、ボックスＢ１０を構成する関節とは異なる他の関節の座標と、ボックスＢ１０との比較を行い、他の関節の座標が、ボックスＢ１０の領域に含まれる場合には、ボックスＢ１０の領域に含まれる他の関節を異常関節として検知する。たとえば、他の関節を、ノード５（ELBOW_LEFT），８（ELBOW_RIGHT），６（WRIST_LEFT），９（WRIST_RIGHT），１１（KNEE_LEFT），１５（KNEE_RIGHT），１２（ANKLE_LEFT），１６（ANKLE_RIGHT）とする。
　図１０に示す例では、ボックスＢ１０に、ノード１５に相当する関節「KNEE_RIGHT」が含まれている。このため、検知部１５３は、関節（ノード１５：KNEE_RIGHT）を異常関節として検知する。なお、モデルＭ２－１の予測に用いた、フレーム番号ｎ－２の各関節の座標と、フレーム番号ｎ－１の各関節の座標とが、カメラ３０ａの撮影した画像フレームに基づく第２特徴群情報であるとする。この場合、検知部１５３は、「カメラ識別情報：Ｃ３０ａ、フレーム番号：ｎ、異常関節：KNEE_RIGHT」を含む異常関節情報を生成する。
　図１０では、カメラ３０ａが撮影した画像フレームに基づいて生成されたフレーム番号ｎ－２の第２特徴群情報と、フレーム番号ｎ－１の第２特徴群情報とを用いて異常関節情報を生成する場合について説明したが、他のカメラ３０ｂ，３０ｃ，３０ｄについても同様である。
　続いて、検知部１５３が実行する異常heatmap検知について説明する。図１１は、異常heatmapのパターンを説明するための図である。図１１では一例として、パターン「消失」、「ぼけ」、「分裂」、「位置ずれ」について説明する。heatmap４－１，４－２，４－３，４－４は、第２特徴に対応する。
　パターン「消失」は、heatmap４－１に示すように、尤度の高い分布が形成されないパターンである。パターン「ぼけ」は、heatmap４－２に示すように、尤度の高い分布が広範囲に広がっているパターンである。パターン「分裂」は、heatmap４－３に示すように、尤度のピークが複数存在するパターンである。パターン「位置ずれ」は、heatmap４－４に示すように、尤度のピークが間違った位置にあるパターンである。
　検知部１５３は、第２特徴（heatmap）が、図１１で説明したいずれかのパターンに該当する場合には、かかる第２特徴に対応する関節を、異常関節として検知する。
　検知部１５３は、第１の異常heatmap検知処理によって、パターン「消失」、「ぼけ」、「分裂」に対応する第２特徴を検知する。検知部１５３は、第２の異常heatmap検知処理によって、パターン「位置ずれ」を検知する。
　検知部１５３が実行する第１の異常heatmap検知処理について説明する。検知部１５３は、フレーム番号ｎの第２特徴群情報に含まれる各第２特徴から、尤度が最大値となる座標を算出する。尤度が最大となる座標を「最大値座標」と表記する。たとえば、図６で説明したように、各カメラ識別情報には、J個の第２特徴が含まれているため、カメラが４つで、関節数が「２１」であれば、８４個の第２特徴から、８４個の最大値座標が算出される。以下の説明では、カメラ３０ａ～３０ｄに対応する第２特徴群情報（複数の第２特徴＜heatmap＞）をまとめて「HMinput」と表記する。
　検知部１５３は、HMinputの各最大値座標を基準にして、２Ｄ特徴抽出ＮＮ１４２Ａ、チャネル数変換ＮＮ１４２Ｂの訓練時と同形状の第２特徴を、「HMinput」に含まれる第２特徴分だけ作成する。作成した複数の第２特徴を「HMeval」と表記する。
　図１２は、第１の異常heatmap検知処理について説明するための図（１）である。図１２では、HMinputから、HMevalを生成する場合を示している。2DGaussianに従う場合、検知部１５３は、訓練データの尤度の値を基にして、標準偏差を算出し、平均値を、最大値座標する。たとえば、検知部１５３は、HMinputの第２特徴ＨＭ１－１から、HMevalの第２特徴ＨＭ２－１を生成する場合には、次の計算を行う。検知部１５３は、２Ｄ特徴抽出ＮＮ１４２Ａ、チャネル数変換ＮＮ１４２Ｂの訓練時に用いたheatmapの尤度の値に基づく標準偏差と、第２特徴ＨＭ１－１の最大値座標を平均値とするガウス分布に従って、HMevalの第２特徴ＨＭ２－１を生成する。
　検知部１５３は、HMinputと、HMevalとの対応する第２特徴毎に差分を算出し、差分が閾値以上となる第２特徴に対応する関節を、異常関節として検知する。検知部１５３は、差分として、式（５）に示す平均二乗誤差（ＭＳＥ）、または、式（６）に示す平均絶対誤差（ＭＡＥ）等を算出する。式（５）に示す「xi input」は、HMinputの第２特徴の画素値（尤度）である。式（５）に示す「xi eval」は、HMevalの第２特徴の画素値（尤度）である。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　たとえば、検知部１５３は、図１２に示した第２特徴ＨＭ１－１の各画素値と、第２特徴ＨＭ２－１の各画素値とを基にして、差分を算出し、差分が閾値以上である場合に、第２特徴ＨＭ１－１に対応する関節の異常を検知する。ここで、第２特徴ＨＭ１－１が、カメラ３０ａに対応する第２特徴群情報に含まれるフレーム番号ｎの第２特徴であって、関節「HAND_TIP_RIGHT」に対応する第２特徴である場合には、「カメラ識別情報：Ｃ３０ａ、フレーム番号：ｎ、異常関節：HAND_TIP_RIGHT」を含む異常関節情報を生成する。
　なお、検知部１５３は、ネットワークによる自動重み調整を行って、異常な第２特徴の影響度を下げるようにしてもよい。図１３は、ネットワークの自動重み調整の一例を説明するための図である。図１３に示すＤＮＮ（Deep　Neural　Network）１４２Ｃは、２Ｄ畳み込み層、ＲｅＬＵ層、ＭａｘＰｏｏｌｉｎｇ層、全結合層から構成されるネットワークである。ＤＮＮ１４２Ｃは、全体モデルと別途訓練するのではなく、組み込みself-learning方式で全体モデルと同時に学習するものとする。
　たとえば、ＤＮＮ１４２Ｃに、ｊ個の第２特徴を含むHMinputとＤＮＮ１４２Ｃに入力することで、各第２特徴に対応する重みｗ１，ｗ２，・・・ｗｊを出力する。たとえば、検知部１５３は、各重みｗ１，ｗ２，・・・ｗｊを、異常関節情報として生成する。重みｗ１の重みが小さい場合（閾値未満の場合）には、重みｗ１に対応する第２特徴の関節が異常であるといえる。
　続いて、検知部１５３が実行する第２の異常heatmap検知処理について説明する。検知部１５３は、多視点幾何の整合性を基にして、異常となる関節を検知する。たとえば、検知部１５３は、以下の処理を実行する。
　検知部１５３は、フレーム番号ｎの第２特徴群情報に含まれるＪ個の第２特徴から、最大値座標を算出する。最大値座標は、尤度が最大となる座標である。検知部１５３は、視点ｖの第２特徴群情報に含まれる第２特徴について、次の処理を実行する。視点ｖは、１つのカメラ３０の中心座標に対応する。
　図１４は、第２の異常heatmap検知処理について説明する図（１）である。第２特徴ＨＭ３－１を、注目する視点ｖの第２特徴とする。第２特徴ＨＭ３－２を、他の視点ｖ´の第２特徴とする。第２特徴ＨＭ３－３を、他の視点ｖ´´の第２特徴とする。検知部１５３は、第２特徴ＨＭ３－１の最大値座標と、第２特徴ＨＭ３－２の最大値座標とを基にして、エピポーラ線ｌｖ，ｖ´を算出する。検知部１５３は、第２特徴ＨＭ３－１の最大値座標と、第２特徴ＨＭ３－３の最大値座標とを基にして、エピポーラ線ｌｖ，ｖ´´を算出する。
　検知部１５３は、エピポーラ線ｌｖ，ｖ´とエピポーラ線ｌｖ，ｖ´´との交点を算出する。検知部１５３は、注目する視点ｖの第２特徴ＨＭ３－１の最大値座標と、交点とのユークリッド距離ｄを算出する。検知部１５３は、視点毎に上記処理を繰り返し実行し、ユークリッド距離ｄが閾値ｄｔｈ以下となる視点の組み合わせを抽出する。
　図１５は、第２の異常heatmap検知処理について説明する図（２）である。図１５では、注目する視点（カメラ）と、視点組み合わせとを対応付ける。注目する視点は、図１４の注目する視点に対応する。視点組み合わせは、注目視点の最大値座標と交点とのユーグリッド距離ｄが閾値ｄｔｈ以下となった交点を生成した視点の組み合わせを示す。
　図１５では、説明の便宜上、カメラ３０ａの中心座標に対応する視点をｖ３０ａとする。カメラ３０ｂの中心座標に対応する視点をｖ３０ｂとする。カメラ３０ｃの中心座標に対応する視点をｖ３０ｃとする。カメラ３０ｂの中心座標に対応する視点をｖ３０ｄとする。
　図１５の１行目では、注目視点ｖ３０ａの最大値座標と、第１、第２のエピポーラ線の交点とのユークリッド距離ｄが閾値ｄｔｈ以下であることが示される。第１のエピポーラ線は、注目視点ｖ３０ａと視点ｖ３０ｃとのエピポーラ線である。第２のエピポーラ線は、注目視点ｖ３０ａと視点ｖ３０ｄとのエピポーラ線である。
　図１５の２行目では、注目視点ｖ３０ｂの最大値座標とのユークリッド距離ｄが閾値以下となる、エピポーラ線の交点が存在しないことが示される。
　図１５の３行目では、注目視点ｖ３０ｃの最大値座標と、第３、第４のエピポーラ線の交点とのユークリッド距離ｄが閾値ｄｔｈ以下であることが示される。第３のエピポーラ線は、注目視点ｖ３０ｃと視点ｖ３０ａとのエピポーラ線である。第４のエピポーラ線は、注目視点ｖ３０ｃと視点ｖ３０ａとのエピポーラ線である。
　図１５の４行目では、注目視点ｖ３０ｄの最大値座標と、第５、第６のエピポーラ線の交点とのユークリッド距離ｄが閾値ｄｔｈ以下であることが示される。第５のエピポーラ線は、注目視点ｖ３０ｄと視点ｖ３０ａとのエピポーラ線である。第６のエピポーラ線は、注目視点ｖ３０ｄと視点ｖ３０ｃとのエピポーラ線である。
　検知部１５３は、最も多く組み合わせに含まれる視点と、組み合わせを持たない注目視点に対応する第２特徴に対応する関節を、異常関節として検知する。
　図１５に示した例では、最も多く組み合わせに含まれる視点は、視点ｖ３０ａである。また、この視点ｖ３０ａと組み合わせを持たない視点は、視点ｖ３０ｂである。このため、検知部１５３は、視点ｖ３０ｂに対応する第２特徴の関節を異常関節として、検知する。たとえば、視点ｖ３０ｂに対応する第２特徴に対応する関節が「HAND_TIP_RIGHT」であり、フレーム番号ｎに対応するものとする。この場合、検知部１５３は、「カメラ識別情報：Ｃ３０ｂ、フレーム番号：ｎ、異常関節：HAND_TIP_RIGHT」を含む異常関節情報を生成する。
　ここで、エピポーラ線の算出の一例について説明する。検知部１５３は、視点ｖ，ｖ´のカメラ中心座標Ｃｖ，Ｃｖ、透視投影行列Ｐｖ，Ｐｖ´，視点ｖ´の最大値座標をｐｖ´とする場合、視点ｖにおけるｐｊ，ｖ´のエピポーラ線ｌｖ，ｖ´を式（７）で算出する。式（７）において、［・］×は、歪非対称行列を示す。Ｐｖ´ ＋は、Ｐｖの疑似逆行列（Ｐｖ´ Ｔ（Ｐｖ´Ｐｖ´ Ｔ）－１）を表す。
Figure JPOXMLDOC01-appb-M000007
　エピポーラ線の交点について説明する。視点ｖにおける視点ｖ´、ｖ´´の最大値座標から引いたエピポーラ線ｌｖ，ｖ´，ｌｖ，ｖ´´の交点ｑｖ，ｖ´，ｖ´´を導出するものする。検知部１５３は、２直線の交点の導出と同様にして、ｌｖ，ｖ´＝（ａｖ´，ｂｖ´，－ｃｖ´）、ｌｖ，ｖ´´＝（ａｖ´´，ｂｖ´´，－ｃｖ´´）とする場合、式（８）に基づいて算出する。式（８）のＡ－１は、式（９）によって示される。式（８）のＣは、式（１０）によって示される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　検知部１５３は、最大座標ｐｊ，ｖとエピポーラ線の交点ｑｖ，ｖ´，ｖ´´との距離ｄを、式（１１）を基にして算出する。
Figure JPOXMLDOC01-appb-M000011
　上記のように、検知部１５３は、左右反転検知、セルフオクルージョン検知、異常heatmap検知を実行し、異常関節情報を生成する。検知部１５３は、上記のように、異常関節情報には、カメラ識別情報、フレーム番号、異常関節が含まれる。検知部１５３は、異常関節情報を、骨格認識部１５４に出力する。
　図４の説明に戻る。骨格認識部１５４は、特徴テーブル１４２から、各カメラ識別情報の第２特徴群情報を取得し、取得した第２特徴群情報に含まれる第２特徴から、異常関節情報に対応する第２特徴を除去する。骨格認識部１５４は、異常関節情報に対応する第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する。骨格認識部１５４は、フレーム番号毎に、上記処理を繰り返し実行し、３Ｄ骨格の認識結果を、技認識部１５５に出力する。
　ここで、骨格認識部１５４の処理の具体例を示す。骨格認識部１５４は、各カメラに対応する第２特徴群情報（Ｊ個の第２特徴）を、カメラパラメータに従って、3Dcubeに逆投影することで、aggregated　volumesを算出する。ここでは、第２特徴群情報のフレーム番号をｎとするが、他のフレーム番号に対応する第２特徴群情報に関する処理も同様である。
　たとえば、骨格認識部１５４は、カメラ３０ａのカメラパラメータに基づいて、カメラ識別情報「Ｃ３０ａ」に対応する第２特徴群情報を、3Dcubeに逆投影することで、第１のaggregated　volumeを算出する。骨格認識部１５４は、カメラ３０ｂのカメラパラメータに基づいて、カメラ識別情報「Ｃ３０ｂ」に対応する第２特徴群情報を、3Dcubeに逆投影することで、第２のaggregated　volumeを算出する。
　骨格認識部１５４は、カメラ３０ｃのカメラパラメータに基づいて、カメラ識別情報「Ｃ３０ｃ」に対応する第２特徴群情報を、3Dcubeに逆投影することで、第３のaggregated　volumeを算出する。骨格認識部１５４は、カメラ３０ｄのカメラパラメータに基づいて、カメラ識別情報「Ｃ３０ｄ」に対応する第２特徴群情報を、3Dcubeに逆投影することで、第４のaggregated　volumeを算出する。
　骨格認識部１５４は、異常関節情報に対応する第２特徴を、3Dcubeに逆投影した異常点を特定し、第１、第２、第３、第４のaggregated　volume（volumes）から、異常点を除去するためのフィルタリングを実行する。
　たとえば、骨格認識部１５４は、異常関節情報に含まれるカメラ識別情報（異常とみなすカメラｃ）と、異常関節ｋと、式（１２）とを用いて、フィルタリングを実行する。式（１２）に含まれるｃは、softmax時の影響を無効化する無効値である。
Figure JPOXMLDOC01-appb-M000012
　骨格認識部１５４は、異常点を除去した（フィルタリングした）第１、第２、第３、第４のaggregated　volume（volumes）を統合することで、Ｖ２Ｖ（ニューラルネットワーク）の入力情報を算出する。
　骨格認識部１５４は、統合処理を式（１３）もしくは式（１４）と式（１５）に基づいて実行し、入力情報Vinputを計算する。式（１３）、（１４）、（１５）に基づいて、統合処理を行う場合には、３Ｄ骨格の精度を担保するために、対向するカメラのみが残らない制約を設けてもよい。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　骨格認識部１５４は、入力情報を、Ｖ２Ｖに入力することで、各関節の３Ｄの位置座標を示すprocessed　volumesを算出する。骨格認識部１５４は、processed　volumesに対して、soft-argmaxを実行することで、３Ｄ骨格の認識結果を生成する。３Ｄ骨格の認識結果には、Ｊ個の関節の３Ｄ座標が含まれる。骨格認識部１５４は、３Ｄ骨格の認識結果となる骨格認識結果データを、技認識部１５５に出力する。また、骨格認識部１５４は、骨格認識結果データを、記憶部１４０に保存する。
　技認識部１５５は、フレーム番号の順に骨格認識結果データを、骨格認識部１５４から取得し、連続する骨格認識結果データを基にして、各関節座標の時系列変化を特定する。技認識部１５５は、各関節位置の時系列変化と、技認識テーブル１４５とを比較して、技の種別を特定する。また、技認識部１５５は、技の種別の組み合わせと、技認識テーブル１４３とを比較して、被写体Ｈ１の演技のスコアを算出する。
　技認識部１５５は、演技のスコアと、演技の開始から終了までの骨格認識結果データとを基にして、画面情報を生成する。技認識部１５５は、生成した画面情報を、表示部１３０に出力して表示させる。
　図１６は、画面情報の一例を示す図である。図１６に示すように、この画面情報６０には、領域６０ａ，６０ｂ，６０ｃが含まれる。領域６０ａは、被写体Ｈ１が行った演技において、認識された技の種別を表示する領域である。技の種別に加えて、技の難度も表示してもよい。領域６０ｂは、演技のスコアを表示する領域である。領域６０ａは、演技の開始から終了までの骨格認識結果データに基づく３次元モデルをアニメーション表示する領域である。利用者は、入力部１２０を操作して、アニメーションの再生、停止等を指示する。
　次に、本実施例に係る骨格認識装置１００の処理手順の一例について説明する。図１７は、本実施例に係る骨格認識装置の処理手順を示すフローチャートである。骨格認識装置１００の取得部１５１は、複数のカメラ３０から画像フレーム（多視点画像）を取得する（ステップＳ１０１）。
　骨格認識装置１００の生成部１５２は、第２特徴生成処理を実行する（ステップＳ１０２）。骨格認識装置１００の検知部１５３は、異常検知処理を実行する（ステップＳ１０３）。
　骨格認識装置１００の骨格認識部１５４は、異常関節のフィルタリングを実行する（ステップＳ１０４）。骨格認識部１５４は、統合処理を実行して、入力情報を生成する（ステップＳ１０５）。骨格認識部１５４は、入力情報をＶ２Ｖに入力して、processed　volumesを算出する（ステップＳ１０６）。
　骨格認識部１５４は、processed　volumesに対して、soft-argmaxを実行することで、３Ｄ骨格の認識結果を生成する（ステップＳ１０７）。骨格認識部１５４は、骨格認識結果データを、技認識部１５５に出力する（ステップＳ１０８）。
　骨格認識部１５４は、最終フレームである場合には（ステップＳ１０９，Ｙｅｓ）、処理を終了する。一方、骨格認識部１５４は、最終フレームでない場合には（ステップＳ１０９，Ｎｏ）、骨格認識結果データを記憶部１４０に保存し（ステップＳ１１０）、ステップＳ１０１に移行する。
　次に、図１７のステップＳ１０２で説明した第２特徴生成処理の一例について説明する。図１８は、第２特徴生成処理のフローチャートである。図１８に示すように、骨格認識装置１００の生成部１５２は、画像フレームを、２Ｄ特徴抽出ＮＮ１４２Ａに入力することで、Ｋ個の第１特徴を算出する（ステップＳ２０１）。
　生成部１５２は、Ｋ個の第１特徴を、チャネル数変換ＮＮ１４２Ｂに入力することで、Ｊ個の第２特徴を生成する（ステップＳ２０２）。生成部１５２は、第２特徴の情報を出力する（ステップＳ２０３）。
　次に、図１７のステップＳ１０３で説明した異常検知処理の一例について説明する。図１９は、異常検知処理のフローチャートである。図１９に示すように、骨格認識装置１００の検知部１５３は、第２特徴を取得する（ステップＳ３０１）。検知部１５３は、左右反転検知を実行する（ステップＳ３０２）。
　検知部１５３は、オクルージョン検知を実行する（ステップＳ３０３）。検知部１５３は、異常heatmap検知を実行する（ステップＳ３０４）。検知部１５３は、異常関節の検知結果を基にして、異常関節情報を生成する（ステップＳ３０５）。検知部１５３は、異常関節情報を出力する（ステップＳ３０６）。
　次に、本実施例に係る骨格認識装置１００の効果について説明する。骨格認識装置１００は、カメラ３０から入力される画像フレームを基にして抽出した、被写体Ｈ１の２次元の関節位置の特徴を表すＫ個の第１特徴を、被写体のＪ個の関節にそれぞれ対応したＪ個の第２特徴（第２特徴群情報）を生成する。骨格認識装置１００は、第２特徴群情報から、異常のある関節に対応した第２特徴を検知し、第２特徴群情報から、異常のある第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する。これによって、異常のある２Ｄ特徴を事前に除去することができ、正しく３Ｄ骨格認識を実行することができる。
　骨格認識装置１００は、前回（フレーム番号ｎ－１）の第２特徴群情報を基に生成されるベクトルと、今回（フレーム番号ｎ）の第２特徴群情報を基に生成されるベクトルとを基にして、異常のある第２特徴を検知する。これによって、左右反転した異常な関節を検知することができる。
　骨格認識装置１００は、第２特徴群情報を基にして、所定の関節から特定されるＢｏｘと、所定の関節以外の関節の位置との関係を基にして、異常のある第２特徴を検知する。これによって、オクルージョンに影響を受けた異常な関節を検知することができる。
　骨格認識装置１００は、heatmap（第２特徴）と、予め特定される理想的な尤度の分布情報との差分を基にして、異常のある第２特徴を検知する。また、骨格認識装置１００は、heatmapを基にして、カメラ位置を視点とする複数のエピポーラ線を算出し、エピポーラ線の交点と、関節の位置との距離を基にして、異常のある第２特徴を検知する。これによって、パターン「消失」、「ぼけ」、「分裂」、「位置ずれ」の発生した第２特徴を検知して除去することが出来る。
　図２０は、本実施例に係る骨格認識装置の効果を説明するための図である。図２０では、従来技術の３Ｄ骨格認識結果Ｉｍ２－１ｃ，Ｉｍ２－２ｃ，Ｉｍ２－３ｃ，Ｉｍ２－４ｃと、骨格認識装置１００による３Ｄ骨格認識結果Ｉｍ２－１ｄ，Ｉｍ２－２ｄ，Ｉｍ２－３ｄ，Ｉｍ２－４ｄを示す。骨格認識装置１００によれば、左右反転検知、セルフオクルージョン検知、異常heatmap検知により、誤った関節に対応する第２特徴を取り除くことで、３Ｄ骨格の精度を改善している。たとえば、従来技術の３Ｄ骨格認識結果Ｉｍ２－１ｃ～Ｉｍ２－４ｃは、被写体と３Ｄ骨格とが乖離しているが、本実施例の３Ｄ骨格認識結果Ｉｍ２－１ｄ～Ｉｍ２－４ｄは、被写体の３Ｄ骨格を適切に特定している。
　次に、上記実施例に示した骨格認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、骨格認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図２１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、カメラ３０から距離画像のデータを受信する通信装置２０４と、各種の装置と接続するインタフェース装置２０５とを有する。コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
　ハードディスク装置２０７は、取得プログラム２０７ａ、生成プログラム２０７ｂ、検知プログラム２０７ｃ、骨格認識プログラム２０７ｄ、技認識プログラム２０７ｅを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、生成プログラム２０７ｂ、検知プログラム２０７ｃ、骨格認識プログラム２０７ｄ、技認識プログラム２０７ｅを読み出してＲＡＭ２０６に展開する。
　取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。検知プログラム２０７ｃは、検知プロセス２０６ｃとして機能する。骨格認識プログラム２０７ｄは、骨格認識プロセス２０６ｄとして機能する。技認識プログラム２０７ｅは、技認識プロセス２０６ｅとして機能する。
　取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。生成プロセス２０６ｂの処理は、生成部１５２の処理に対応する。検知プロセス２０６ｃの処理は、検知部１５３の処理に対応する。骨格認識プロセス２０６ｄの処理は、骨格認識部１５４の処理に対応する。技認識プロセス２０６ｅの処理は、技認識部１５５の処理に対応する。
　なお、各プログラム２０７ａ～２０７ｆについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。
　３５　　体操採点支援システム
　３０ａ，３０ｂ，３０ｃ，３０ｄ　カメラ
　１００　　骨格認識装置
　１１０　　通信部
　１２０　　入力部
　１３０　　表示部
　１４０　　記憶部
　１４１　　測定テーブル
　１４２　　特徴テーブル
　１４３　　技認識テーブル
　１５０　　制御部
　１５１　　取得部
　１５２　　生成部
　１５３　　検知部
　１５４　　骨格認識部
　１５５　　技認識部

Claims (15)

  1. 　コンピュータが実行する骨格認識方法であって、
    　被写体を撮影する複数のカメラから入力される２次元の入力画像を基にして、前記被写体の２次元の関節位置の特徴を示す複数の第１特徴を抽出し、
    　前記複数の第１特徴を基にして、前記被写体の所定数の関節にそれぞれ対応させた複数の第２特徴を含む第２特徴群情報を生成し、
    　前記第２特徴群情報から、異常のある第２特徴を検知し、
    　前記第２特徴群情報から、前記異常のある第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する
    　処理を実行することを特徴とする骨格認識方法。
  2. 　前記生成する処理は、時系列に複数の第２特徴群情報を生成し、
    　前記検知する処理は、前回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第１ベクトルと、今回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第２ベクトルとを基にして、異常のある第２特徴を検知することを特徴とする請求項１に記載の骨格認識方法。
  3. 　前記検知する処理は、前記第２特徴群情報を基にして、所定の関節から特定される領域と、前記所定の関節以外の関節の位置との関係を基にして、異常のある第２特徴を検知することを特徴とする請求項２に記載の骨格認識方法。
  4. 　前記第２特徴は、座標と前記座標に所定の関節が存在する尤度とを対応付けたheatmap情報であり、
    　前記検知する処理は、前記heatmap情報と、予め特定される理想的な尤度の分布情報との差分を基にして、異常のある第２特徴を検知することを特徴とする請求項１に記載の骨格認識方法。
  5. 　前記検知する処理は、前記heatmap情報を基にして、カメラ位置を視点とする複数のエピポーラ線を算出し、前記エピポーラ線の交点と、関節の位置との距離を基にして、異常のある第２特徴を検知することを特徴とする請求項４に記載の骨格認識方法。
  6. 　コンピュータに、
    　被写体を撮影する複数のカメラから入力される２次元の入力画像を基にして、前記被写体の２次元の関節位置の特徴を示す複数の第１特徴を抽出し、
    　前記複数の第１特徴を基にして、前記被写体の所定数の関節にそれぞれ対応させた複数の第２特徴を含む第２特徴群情報を生成し、
    　前記第２特徴群情報から、異常のある第２特徴を検知し、
    　前記第２特徴群情報から、前記異常のある第２特徴を除去した残りの複数の第２特徴を統合した結果を基にして、３Ｄ骨格を認識する
    　処理を実行させることを特徴とする骨格認識プログラム。
  7. 　前記生成する処理は、時系列に複数の第２特徴群情報を生成し、
    　前記検知する処理は、前回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第１ベクトルと、今回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第２ベクトルとを基にして、異常のある第２特徴を検知することを特徴とする請求項６に記載の骨格認識プログラム。
  8. 　前記検知する処理は、前記第２特徴群情報を基にして、所定の関節から特定される領域と、前記所定の関節以外の関節の位置との関係を基にして、異常のある第２特徴を検知することを特徴とする請求項７に記載の骨格認識プログラム。
  9. 　前記第２特徴は、座標と前記座標に所定の関節が存在する尤度とを対応付けたheatmap情報であり、
    　前記検知する処理は、前記heatmap情報と、予め特定される理想的な尤度の分布情報との差分を基にして、異常のある第２特徴を検知することを特徴とする請求項６に記載の骨格認識プログラム。
  10. 　前記検知する処理は、前記heatmap情報を基にして、カメラ位置を視点とする複数のエピポーラ線を算出し、前記エピポーラ線の交点と、関節の位置との距離を基にして、異常のある第２特徴を検知することを特徴とする請求項９に記載の骨格認識プログラム。
  11. 　被写体を撮影する複数のカメラと、骨格認識装置とを有する体操採点支援システムであって、
    　前記骨格認識装置は、
    　前記複数のカメラから入力される２次元の入力画像を取得する取得部と、
    　前記入力画像を基にして、前記被写体の２次元の関節位置の特徴を示す複数の第１特徴を抽出し、前記複数の第１特徴を基にして、前記被写体の所定数の関節にそれぞれ対応させた複数の第２特徴を含む第２特徴群情報を生成する生成部と、
    　前記第２特徴群情報から、異常のある第２特徴を検知する検知部と、
    　前記第２特徴群情報から、前記異常のある第２特徴を除去した残りの複数の第２特徴を合成した結果を基にして、３Ｄ骨格を認識する骨格認識部と
    　を有することを特徴とする体操採点支援システム。
  12. 　前記生成部は、時系列に複数の第２特徴群情報を生成し、前記検知部は、前回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第１ベクトルと、今回の第２特徴群情報を基に特定される所定の関節の組を始点および終点とする第２ベクトルとを基にして、異常のある第２特徴を検知することを特徴とする請求項１１に記載の体操採点支援システム。
  13. 　前記検知部は、前記第２特徴群情報を基にして、所定の関節から特定される領域と、前記所定の関節以外の関節の位置との関係を基にして、異常のある第２特徴を検知することを特徴とする請求項１２に記載の体操採点支援システム。
  14. 　前記第２特徴は、座標と前記座標に所定の関節が存在する尤度とを対応付けたheatmap情報であり、前記検知部は、前記heatmap情報と、予め特定される理想的な尤度の分布情報との差分を基にして、異常のある第２特徴を検知することを特徴とする請求項１１に記載の体操採点支援システム。
  15. 　前記検知部は、前記heatmap情報を基にして、カメラ位置を視点とする複数のエピポーラ線を算出し、前記エピポーラ線の交点と、関節の位置との距離を基にして、異常のある第２特徴を検知することを特徴とする請求項１４に記載の体操採点支援システム。
PCT/JP2021/009267 2021-03-09 2021-03-09 骨格認識方法、骨格認識プログラムおよび体操採点支援システム WO2022190206A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023504918A JPWO2022190206A1 (ja) 2021-03-09 2021-03-09
CN202180093006.6A CN116830166A (zh) 2021-03-09 2021-03-09 骨骼识别方法、骨骼识别程序以及体操评分辅助系统
PCT/JP2021/009267 WO2022190206A1 (ja) 2021-03-09 2021-03-09 骨格認識方法、骨格認識プログラムおよび体操採点支援システム
EP21930063.9A EP4307213A4 (en) 2021-03-09 2021-03-09 SKELETON DETECTION METHOD, SKELETON DETECTION PROGRAM AND GYMNASTICS ASSESSMENT SUPPORT SYSTEM
US18/356,043 US20230368415A1 (en) 2021-03-09 2023-07-20 Skeleton recognition method, non-transitory computer-readable recording medium, and gymnastics scoring assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009267 WO2022190206A1 (ja) 2021-03-09 2021-03-09 骨格認識方法、骨格認識プログラムおよび体操採点支援システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/356,043 Continuation US20230368415A1 (en) 2021-03-09 2023-07-20 Skeleton recognition method, non-transitory computer-readable recording medium, and gymnastics scoring assist system

Publications (1)

Publication Number Publication Date
WO2022190206A1 true WO2022190206A1 (ja) 2022-09-15

Family

ID=83226426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009267 WO2022190206A1 (ja) 2021-03-09 2021-03-09 骨格認識方法、骨格認識プログラムおよび体操採点支援システム

Country Status (5)

Country Link
US (1) US20230368415A1 (ja)
EP (1) EP4307213A4 (ja)
JP (1) JPWO2022190206A1 (ja)
CN (1) CN116830166A (ja)
WO (1) WO2022190206A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302070A (ja) 1997-04-25 1998-11-13 Fujitsu Ltd 動き抽出処理方法，動き抽出処理装置およびプログラム記憶媒体
JP2000251078A (ja) 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
WO2020084667A1 (ja) * 2018-10-22 2020-04-30 富士通株式会社 認識方法、認識プログラム、認識装置、学習方法、学習プログラムおよび学習装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302070A (ja) 1997-04-25 1998-11-13 Fujitsu Ltd 動き抽出処理方法，動き抽出処理装置およびプログラム記憶媒体
JP2000251078A (ja) 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
US20190251341A1 (en) * 2017-12-08 2019-08-15 Huawei Technologies Co., Ltd. Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
WO2020084667A1 (ja) * 2018-10-22 2020-04-30 富士通株式会社 認識方法、認識プログラム、認識装置、学習方法、学習プログラムおよび学習装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4307213A4

Also Published As

Publication number Publication date
CN116830166A (zh) 2023-09-29
JPWO2022190206A1 (ja) 2022-09-15
US20230368415A1 (en) 2023-11-16
EP4307213A4 (en) 2024-03-06
EP4307213A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
KR101616926B1 (ko) 영상 처리 장치 및 방법
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN103679749B (zh) 一种基于运动目标跟踪的图像处理方法及装置
US20130100140A1 (en) Human body and facial animation systems with 3d camera and method thereof
JP6760490B2 (ja) 認識装置、認識方法および認識プログラム
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
WO2021048988A1 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JPWO2018207365A1 (ja) 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
WO2009061283A2 (en) Human motion analysis system and method
JP2018055367A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2020008576A1 (ja) 判定方法、判定プログラムおよび情報処理装置
Al Ismaeil et al. Real-time enhancement of dynamic depth videos with non-rigid deformations
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
WO2022190206A1 (ja) 骨格認識方法、骨格認識プログラムおよび体操採点支援システム
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN115841602A (zh) 基于多视角的三维姿态估计数据集的构建方法及装置
KR101362462B1 (ko) 스테레오 카메라를 이용한 장애물 검출 장치 및 방법
Jung et al. 3D map building using the kinect mounted on a mobile robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930063

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023504918

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180093006.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021930063

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021930063

Country of ref document: EP

Effective date: 20231009