WO2019142787A1 - 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019142787A1
WO2019142787A1 PCT/JP2019/000937 JP2019000937W WO2019142787A1 WO 2019142787 A1 WO2019142787 A1 WO 2019142787A1 JP 2019000937 W JP2019000937 W JP 2019000937W WO 2019142787 A1 WO2019142787 A1 WO 2019142787A1
Authority
WO
WIPO (PCT)
Prior art keywords
human body
feature
image
body part
reference direction
Prior art date
Application number
PCT/JP2019/000937
Other languages
English (en)
French (fr)
Inventor
竜太郎 谷村
博之 渡部
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2019566469A priority Critical patent/JP6892155B2/ja
Publication of WO2019142787A1 publication Critical patent/WO2019142787A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a human body region estimation apparatus for estimating a human body region, a human body region estimation method, and further relates to a computer readable recording medium storing a program for realizing these.
  • a characteristic part (a human body part to be identified (hereinafter, it is effective to use a feature part).
  • a feature part For example, in a depth image of a human body part imaged by a depth sensor (hereinafter referred to as a human body part image), a contour shape of an image corresponding to the characteristic part (hereinafter referred to as a characteristic part image) is specified as a feature amount It is effective to estimate the identification, shape and gesture operation.
  • the shape of the human body part to be specified or the movement of the human body part is also effective to use the shape of the human body part to be specified or the movement of the human body part to estimate the identification and the shape of the human body part to be specified and the gesture operation from the depth image taken by the depth sensor.
  • a human body part to be specified as a hand is specified and a characteristic part of the hand is a finger
  • the shape of the hand and the finger or the movement of the hand and the finger is a characteristic quantity
  • the shape of the hand and the finger is used
  • the type of gesture operation is determined by comparing the feature amount with the hand movement, the shape of the hand, and the movement of the finger as feature amounts, and the feature amount and the condition set for each gesture operation.
  • a gesture determination device for determining is disclosed.
  • the human body part to be identified changes largely because the feature quantity of the human body part image largely changes when the human body part is rotated or deformed.
  • the accuracy of estimating the shape of The reason is that since the contour shape of the human body part image is used as the feature amount in the method described above, the contour shape of the human body part image can not be accurately estimated by the posture of the human body part or the direction in which the human body part is imaged.
  • the accuracy of estimating the identification and shape of the human body part to be specified decreases
  • the accuracy of estimating the gesture operation also decreases for the gesture operation estimated using the estimated identification and shape of the human body part.
  • One example of the object of the present invention is to provide a human body region estimation apparatus, a human body region estimation method, and a computer readable recording medium, which solve the above problems and improve the accuracy of estimating the human body region identification and shape. is there.
  • the human body part estimation apparatus in one aspect of the present invention is
  • the feature distribution image is generated based on the depth distribution of the feature region image of the human body region image having the depth, such that the response value of the feature region image is larger than the response value of the human body region image other than the feature region image.
  • Feature distribution generator A reference direction calculation unit that calculates a reference direction in a human body region feature image corresponding to a human body region of the feature distribution image, based on the feature distribution image;
  • a division area setting unit which sets division areas for dividing the human body region characteristic image based on the reference direction;
  • a feature amount calculation unit that calculates a feature amount for each of the divided areas; The feature quantity calculated for each of the divided areas is applied to a classifier generated by learning in advance based on the feature quantity calculated for each of the divided areas to estimate the identification and shape of the human body part , Estimation part, It is characterized by having.
  • the human body region estimation method is (A) The feature distribution such that the response value of the feature region image is larger than the response value of the human body region image other than the feature region image, based on the depth distribution of the feature region image in the human body region image having depth Generate an image, and (B) calculating, on the basis of the feature distribution image, a reference direction in a human body region feature image corresponding to the human body region of the feature distribution image; (C) setting a divided area for dividing the human body region characteristic image based on the reference direction; (D) calculating a feature amount for each of the divided areas; (E) applying the feature quantity calculated for each of the divided areas to a classifier generated by learning in advance based on the feature quantity calculated for each of the divided areas; To estimate the steps It is characterized by having.
  • a computer readable recording medium is a program.
  • C setting a division area for dividing the human body part image based on the reference direction;
  • FIG. 1 is a diagram showing an example of a human body part estimation apparatus.
  • FIG. 2 is a diagram showing an example of a system having a human body part estimation apparatus.
  • FIG. 3 is a view showing an example of a depth image obtained by imaging a human body.
  • FIG. 4 is a diagram showing an example of a feature distribution image.
  • FIG. 5 is a diagram for explaining the calculation of the reference direction.
  • FIG. 6 is a diagram for explaining the relationship between the reference direction and the divided areas.
  • FIG. 7 is a diagram showing an example in which a reference direction and divided areas are applied to a feature distribution image.
  • FIG. 8 is a diagram showing an example of a feature quantity vector.
  • FIG. 1 is a diagram showing an example of a human body part estimation apparatus.
  • FIG. 2 is a diagram showing an example of a system having a human body part estimation apparatus.
  • FIG. 3 is a view showing an example of a depth image obtained by imaging a human body.
  • FIG. 4 is
  • FIG. 9 is a diagram showing an example of an operation for estimating the identification and shape of a human body part in the human body part estimation apparatus.
  • FIG. 10 is a diagram showing an example of an operation of estimating an operation using a human body part in the human body part estimation apparatus.
  • FIG. 11 is a diagram showing an example of a computer for realizing the human body part estimation apparatus according to the embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a human body part estimation apparatus.
  • the human body part estimation apparatus 1 includes a feature distribution generation unit 2, a reference direction calculation unit 3, a divided region setting unit 4, a feature quantity calculation unit 5, and an estimation unit 6.
  • the feature distribution generation unit 2 is characterized in that the response value of the feature site image is larger than the response value of the human body part image other than the feature site image based on the depth distribution of the feature site image in the human body site image having depth. Generate a distribution image.
  • the reference direction calculation unit 3 calculates the reference direction of the human body part image in the human body part feature image corresponding to the human body part in the feature distribution image based on the feature distribution image.
  • the divided area setting unit 4 sets divided areas for dividing the human body region characteristic image based on the reference direction.
  • the feature amount calculation unit 5 calculates a feature amount for each divided area.
  • the estimation unit 6 applies the feature quantity calculated for each divided area to a classifier generated by learning in advance based on the feature quantity calculated for each divided area to estimate the identification and shape of the human body part .
  • divided regions are set in the reference direction that changes according to the shape of the human body region characteristic image, and the feature quantities calculated for each divided region are the identification and shape of the human body region generated in advance. Is applied to a classifier for estimating the shape of the human body part. By doing so, even if the human body part is rotated or deformed depending on the posture of the human body part or the direction in which the human body part is imaged, the contour shape of the human body part image is used as a feature to estimate the human body part identification and shape The accuracy of estimating the shape of the human body part can be improved.
  • the method using the skeleton estimation model generally causes high estimation processing load when estimating the shape of the human body part.
  • the feature quantity calculated for each divided area set in the reference direction is applied to a classifier generated by learning in advance to estimate the classification and shape of a human body part. Therefore, the estimation processing load can be reduced compared to the method using the skeleton estimation model.
  • FIG. 2 is a diagram showing an example of a system having a human body part estimation apparatus.
  • the human body part estimation system 20 has a human body part estimation device 1, a depth sensor 21, and a classifier 22.
  • the human body part estimation apparatus 1 further includes a part candidate detection unit 23.
  • the estimation unit 6 includes a part estimation unit 24, a shape estimation unit 25, and an operation estimation unit 26.
  • the depth sensor 21 (device having the depth sensor 21) measures the depth from the depth sensor 21 to the object, generates depth information or a depth image, and outputs the depth information or the depth image to the human body part estimation apparatus 1.
  • the depth sensor 21 may use, for example, a TOF (Time of Flight) sensor or the like.
  • the discriminator 22 is a learning model generated by learning, and includes a part candidate discriminator 27, which will be described later, a part discriminator 28, a shape discriminator 29, and an operation discriminator 30.
  • Examples of learning methods used in the classifiers 27 to 30 include neural networks, Linear Discriminant Analysis (LDA), Support Vector Machine (SVM), boosting, and Random Forests: RFs) and the like.
  • Examples of boosting include, for example, AdaBoost (Adaptive Boosting), Real AdaBoost, and the like.
  • the part candidate detection unit 23 acquires a depth image from the depth sensor 21 and detects a candidate of the specified human body part image based on the acquired depth distribution of the depth image. In addition, the part candidate detection unit 23 detects a characteristic part image which is a candidate for a characteristic part in the human body part image. However, the part candidate detection unit 23 does not have to detect the human body part image and the characteristic part image which it is desired to specify with certainty, and it is sufficient to roughly detect the human body part image and the characteristic part image. The reason is that a human body part is accurately detected by using a feature distribution generation unit 2, a reference direction calculation unit 3, a divided region setting unit 4, a feature quantity calculation unit 5, and an estimation unit 6, which will be described later. This is because the site candidate detection unit 23 does not require high detection accuracy. Therefore, since high detection accuracy is not required, the estimation processing load in the human body part estimation device 1 can be reduced.
  • FIG. 3 is a view showing an example of a depth image obtained by imaging a human body.
  • a human body image 42 corresponding to a human body is captured.
  • an arm image 43 corresponding to an arm, a palm image 44 corresponding to a palm, and a finger image 45 corresponding to a finger are captured.
  • part candidate detection unit 23 acquires depth image 41 and applies depth image 41 to part candidate discriminator 27 so that palm image 44 and finger image 45 corresponding to a human body part to be a candidate are obtained.
  • the part candidate discriminator 27 evaluates feature quantities in sample data, for example, using a palm image having a plurality of depth information acquired in advance, a finger image, a non-palm image and a non-finger image as sample data, It is a learning model generated by the method.
  • the part candidate classifier 27 uses a feature that captures a local region of a depth image, or a feature that captures a relationship between local regions or co-occurrence.
  • a feature amount for capturing the local region a feature amount focusing on the luminance of the depth image or a feature amount focusing on the edge of the depth image is used.
  • Haar-like features, pixel difference features (see Equation 1), and the like may be cited as feature amounts focusing on the brightness of the depth image.
  • the feature amount focused on the edge of the depth image may be, for example, an edge orientation histogram (EOH) feature amount, a histograms of oriented gradients (HOG) feature amount, an extend HOG feature amount, or an edgelet feature amount.
  • EOH edge orientation histogram
  • HOG histograms of oriented gradients
  • HOG extend HOG feature amount
  • edgelet feature amount an edgelet feature amount.
  • a feature amount for capturing the association or co-occurrence between local regions for example, a Joint Haar-like feature amount, a sparse feature amount, a Shapelet feature amount, or a Joint HOG feature amount can be mentioned.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • FAST Features from Accelerated Segment Test
  • the feature distribution generation unit 2 acquires the human body part image detected by the part candidate detection unit 23, and among the acquired human body part images, based on the depth distribution included in the characteristic part image corresponding to the preset characteristic part.
  • the feature distribution image in the human body part image to be specified is generated. That is, the feature distribution image is a response value distribution generated such that the feature amount (response value) associated with the feature portion image is larger than the feature amount (response value) of the human body portion image other than the feature portion image.
  • FIG. 4 is a diagram showing an example of a feature distribution image.
  • An image 51 shown in FIG. 4 is a feature distribution image when all the fingers are opened.
  • An image 52 shown in FIG. 4 is a feature distribution image when a finger other than the thumb is attached.
  • An image 53 shown in FIG. 4 is a feature distribution image when the index finger and the middle finger are opened and the thumb, the ring finger and the little finger are closed.
  • An image 54 shown in FIG. 4 is a feature distribution image when the thumb and forefinger are lightly opened and the middle finger, ring finger and little finger are closed.
  • the white part indicates that the response value is the maximum value
  • the black part indicates that the response value is the minimum value.
  • the neutral color between white and black indicates that the response value is higher as white is closer, and the response value is lower as black is closer.
  • the feature distribution images 51 to 54 shown in FIG. 4 are generated based on the depth of the detected finger image based on the depth of the palm image detected from the depth image.
  • the feature distribution images 51 to 54 are response value distributions generated such that the response value of the finger image 56 is larger than the response value of the palm image 55.
  • the reference direction calculation unit 3 acquires the feature distribution image created by the feature distribution generation unit 2 and calculates feature coordinates to be described later based on the acquired feature distribution image. Subsequently, the reference direction calculation unit 3 calculates a reference direction in the human body part image to be specified using center coordinates and feature coordinates which will be described later. That is, the reference direction calculation unit 3 is used in a human body region characteristic image (for example, a human body region characteristic image corresponding to a hand (formed by a palm and a finger)) corresponding to a human body region (for example, a hand) of the feature distribution image. Calculate the reference direction.
  • a human body region characteristic image for example, a human body region characteristic image corresponding to a hand (formed by a palm and a finger)
  • a human body region for example, a hand
  • FIG. 5 is a diagram for explaining the calculation of the reference direction.
  • the feature distribution images 61, 62, 63, 64 shown in FIG. 5 correspond to the feature distribution images 51, 52, 53, 54 shown in FIG. Further, the feature distribution images 61, 62, 63, 64 have, for example, 64 ⁇ 64 coordinates (pixels) from the origin coordinates (0, 0) to the coordinates (63, 63).
  • the reference direction calculation unit 3 calculates feature coordinates, for example, based on the equation (2). That is, the feature coordinates are calculated using the response value as a weighting factor.
  • the reference direction calculation unit 3 calculates feature coordinates from the center coordinates 65 (xc, yc) of the palm image 55 of the feature distribution image (human body region feature image corresponding to the palm). A direction toward (xd, yd) is calculated, and this direction is set as a reference direction 66. That is, the reference direction calculation unit 3 calculates the reference direction from the center coordinates 65 toward the finger image 56 (human body part feature image corresponding to the finger).
  • the center coordinates 65 are a center position calculated from the size of the palm image 55, a barycentric position of the palm image 55, or the like.
  • the direction of the reference direction 66 is changed according to the shape of the hand. Can. That is, even if the human body part is rotated or deformed, if the hand shape is the same, the direction of the reference direction 66 can be made to be the same as the hand shape.
  • the divided area setting unit 4 acquires the reference direction calculated by the reference direction calculation unit 3 and sets a divided area for dividing the human body region characteristic image based on the acquired reference direction.
  • the divided areas will be specifically described.
  • FIG. 6 is a diagram for explaining the relationship between the reference direction and the divided areas. In FIG. 6, the reference direction 66 and the divided regions (1) to (16) are associated.
  • the divided areas (1) to (16) are areas formed by dividing a circle 67 whose center point is the center point 65 into two in the radial direction and further dividing the angular direction into eight.
  • the divided area is not limited to the shape as shown in FIG. Further, in FIG. 6, the reference direction 66 is set at the boundary between the divided area (1) (9) and the divided area (8) (16).
  • FIG. 7 is a diagram showing an example in which a reference direction and divided areas are applied to a feature distribution image.
  • the feature distribution images 71, 72, 73, 74 shown in FIG. 7 correspond to the feature distribution images 61, 62, 63, 64 shown in FIG. 5 and are divided in the reference direction 66 shown in FIG. It is the figure which applied area
  • region (1) to (16) As described above, by setting the divided regions (1) to (16) based on the reference direction 66 using the divided region setting unit 4, as shown in the feature distribution images 71 to 74 of FIG.
  • the position of the divided area can be changed according to the shape of. That is, even if the human body part is rotated or deformed, if the shape of the hand is the same, the position of the divided area can be the same as the position of the hand.
  • the feature amount calculation unit 5 calculates a feature amount for each divided area set by the divided area setting unit 4.
  • the feature quantities calculated for each divided area will be specifically described.
  • the feature value may be, for example, a total value of response values of divided regions, an average value, any one of dispersion values (one dimension), or a combination of two values of a total value of divided regions, an average value, and a dispersion value It is conceivable to use the total value, average value, all variance values (three dimensions), etc. of dimensions or divided regions.
  • the feature value may use a histogram of response values included in the divided region (dimension corresponding to any division).
  • FIG. 8 is a diagram showing an example of a feature quantity vector.
  • the divided areas are the divided areas (1) to (16) shown in FIG. 6, the feature quantities are the sum value and the average value of the response values, Range of the response value of pixel) is 0.0 to 1.0.
  • the sum value and the average value of response values are described in the order of divided regions (1) to (16). That is, in the feature amount vector shown in FIG.
  • the estimation unit 6 includes a part estimation unit 24, a shape estimation unit 25, and an operation estimation unit 26.
  • the part estimation unit 24 acquires the feature amount vector from the feature amount calculation unit 5, and estimates the specified human body part based on the acquired feature amount vector.
  • the shape estimation unit 25 acquires a feature amount vector from the feature amount calculation unit 5 or the part estimation unit 24, and estimates a feature part in a human body part based on the acquired feature amount vector.
  • the part estimation unit 24 will be specifically described.
  • the part estimation unit 24 applies the feature quantity vector acquired from the feature quantity calculation unit 5 to the part classification unit 28 to estimate a human body part to be specified.
  • the part estimation unit 24 estimates, for example, whether it is a hand.
  • the part identifying unit 28 is a learning model generated by the above-described learning method, using feature quantity vectors obtained from a plurality of hand images (human body part feature images) acquired in advance as sample data, and evaluating the sample data. . For example, if the human body part to be estimated is a hand, the part identifier 28 is a learning model for estimating a hand.
  • the shape estimation unit 25 applies the feature amount vector acquired from the feature amount calculation unit 5 to the shape identification unit 29, and estimates the shape of the human body part to be specified.
  • the shape estimation unit 25 estimates the shape of a human body portion used in an operation (for example, a gesture operation) using a human body portion.
  • the shape discriminator 29 uses, for example, feature quantity vectors obtained from a plurality of hand images (human body part feature images) acquired in advance as sample data, evaluates the sample data, and generates a learning model generated by the learning method described above. It is.
  • the shape discriminator 29 is a learning model for estimating the shape of the human body part used in the gesture operation.
  • the operation estimation unit 26 uses the state transition of the plurality of estimated human body part shapes as the operation feature amount, and applies the operation feature amount to the operation discriminator 30 generated in advance based on the operation feature amount. , Estimate the gesture operation using the human body part.
  • the operation estimation unit 26 will be specifically described.
  • the operation estimation unit 26 acquires, from the shape estimation unit 25, information indicating the state of the shapes of the plurality of estimated human body parts.
  • information indicating the following (A), (B), and (C) states is acquired.
  • thumb With the fingertips of your finger and your index finger
  • the gesture operation to be specified is a pinch out operation
  • information indicating the following (D), (E), and (F) states is acquired.
  • (1) F A state in which the fingertips of the thumb and the fingertips of the forefinger are opened to a predetermined position
  • the operation estimation unit 26 takes the transition of the estimated state of the shape of the human body portion as the operation feature amount, applies the operation feature to the operation discriminator 30, and estimates the gesture operation using the human body portion.
  • the operation feature amount is a state transition of state (A) ⁇ (B) ⁇ (C) when it is a pinch in operation, and when it is a pinch out operation, a state transition of state (D) ⁇ (E) ⁇ (F) I assume.
  • the operation discriminator 30 is, for example, a learning model for assuming state transitions of a plurality of gesture operations acquired in advance as sample data, evaluating those sample data, and estimating the gesture operation generated by the above-described learning method.
  • the reference direction described above is different from the reference direction because the reference direction calculation unit 3 rotates the reference direction by a predetermined angle or moves a predetermined distance with reference to the center coordinates because the direction changes due to hand perturbation or the like.
  • the division area setting unit 4 sets division areas also for the perturbation reference direction.
  • the predetermined angle or the predetermined distance may be set in advance, or may be set by measuring an actual perturbation and depending on the perturbation.
  • the feature amount calculation unit 5 describes the feature amount vectors of the reference direction and the perturbation reference direction. In that case, the dimension of the feature amount vector is doubled, and the double description is more than that in the case of only the reference direction.
  • the human body part moved due to the influence of the perturbation, even if it is not possible to accurately identify the human body part and estimate the shape using the reference direction, the human body part can be obtained by using the reference direction for perturbation.
  • the accuracy of the identification and the estimation of the shape can be improved.
  • the accuracy of estimating the gesture operation can be improved. Note that a plurality of perturbation reference directions may be prepared.
  • the human body part estimation method in the present embodiment is implemented by operating the human body part estimation apparatus 1 in the present embodiment shown in FIGS. 1 and 2. Therefore, the description of the human body part estimation method in the present embodiment is replaced with the following description of the operation of the human body part estimation apparatus.
  • the operation of the human body part estimation apparatus according to the embodiment of the present invention will be described with reference to FIGS.
  • FIG. 9 is a diagram showing an example of an operation for estimating the identification and shape of a human body part in the human body part estimation apparatus.
  • FIG. 10 is a diagram showing an example of an operation of estimating an operation using a human body part in the human body part estimation apparatus. In the following description, description will be made while referring to FIGS. 1 to 8 as appropriate.
  • the human body part estimation device 1 has a response value of the characteristic part image that is a response value of the human body part image other than the feature image, based on the depth distribution of the characteristic part image in the human body part image having depth.
  • a feature distribution image is generated to be larger (step A1).
  • the human body part estimation apparatus 1 calculates the reference direction of the human body part feature image based on the feature distribution image (step A2).
  • the human body part estimation apparatus 1 sets divided areas into which the human body part feature image is divided with reference to the reference direction (step A3).
  • the human body part estimation apparatus 1 calculates a feature amount for each divided area (step A4). Subsequently, the human body part estimation apparatus 1 applies the feature quantity calculated for each divided area to the classifier 22 to estimate the identification and shape of the human body part (step A5).
  • step A1 the feature distribution generation unit 2 of the human body part estimation apparatus 1 acquires a feature part image (finger image 45) corresponding to a preset feature part detected by the part candidate detection unit 23. Subsequently, the feature distribution generation unit 2 generates a feature distribution image in the human body part image to be specified based on the depth distribution included in the feature part image. That is, the feature distribution image is generated based on the depth distribution of the detected finger image 45. In other words, the feature distribution image is a response value distribution generated such that the feature amount (response value) of the finger image 56 is larger than the feature amount (response value) of the palm image 55.
  • step A2 the reference direction calculation unit 3 of the human body part estimation apparatus 1 acquires a feature distribution image from the feature distribution generation unit 2, and calculates feature coordinates based on the above-mentioned number 2. Subsequently, the reference direction calculation unit 3 calculates the reference direction in the human body part image to be specified, using the center coordinates and the feature coordinates.
  • step A3 the divided region setting unit 4 of the human body region estimation apparatus 1 acquires the reference direction calculated by the reference direction calculation unit 3, and divides the human body region characteristic image based on the acquired reference direction. Set the area.
  • step A4 the feature quantity calculation unit 5 of the human body part estimation apparatus 1 calculates feature quantities for each divided area. Subsequently, the feature quantity calculation unit 5 generates a feature quantity vector using the calculated feature quantity.
  • step A5 the part estimation unit 24 of the human body part estimation apparatus 1 applies the feature quantity vector acquired from the feature quantity calculation unit 5 to the part classification unit 28 to estimate a human body part to be specified.
  • the shape estimation unit 25 of the human body part estimation apparatus 1 applies the feature quantity vector acquired from the feature quantity calculation unit 5 to the shape discrimination unit 29, and estimates the shape of the human body part to be specified.
  • the human body part estimation device 1 acquires the shapes of a plurality of estimated human body parts (step A6). Subsequently, the human body part estimation apparatus 1 sets the state transition of the plurality of estimated human body parts as the operation feature amount (step A7). Subsequently, the human body part estimating apparatus 1 applies the operation feature quantity to the classifier 22 generated in advance based on the operation feature quantity to estimate an operation using the human body part (step A8).
  • step A6 the operation estimation unit 26 of the human body region estimation apparatus 1 acquires the shapes of the plurality of estimated human body regions from the shape estimation unit 25.
  • the operation estimation unit 26 of the human body part estimation apparatus 1 sets, for example, the time taken for the gesture operation, and the shape of the human body part estimated by the shape estimation unit 25 based on the depth images captured in order at the set time.
  • step A7 the operation estimation unit 26 of the human body region estimation apparatus 1 sets the state transition of the estimated shape of the human body region as the operation feature amount. For example, when it is a pinch in operation, the operation estimation unit 26 of the human body part estimation device 1 sets the above-described state transition of state (A) ⁇ (B) ⁇ (C) as an operation feature amount. In addition, in the case of the pinch-out operation, the operation estimation unit 26 of the human body region estimation apparatus 1 sets the above-described state transition of state (D) ⁇ (E) ⁇ (F) as an operation feature amount.
  • step A8 the operation estimation unit 26 of the human body part estimation apparatus 1 applies the operation feature amount to the operation discriminator 30, and estimates the operation using the human body part.
  • the operation discriminator 30 is, for example, a learning model generated by the above-described learning method by using state transitions of a plurality of gesture operations acquired in advance as sample data, and evaluating the sample data.
  • divided regions are set in the reference direction that changes in accordance with the shape of the human body region characteristic image, and feature amounts calculated for each divided region are identified as human body regions generated in advance.
  • the present invention is applied to a classifier that estimates a shape to estimate identification and shape of a human body part. By doing so, even if the human body part is rotated or deformed depending on the posture of the human body part or the direction in which the human body part is imaged, if the hand shape is the same, the reference direction is the same as the hand shape. As a result, the accuracy of estimating the shape of the human body part can be improved.
  • the feature quantities calculated for each of the divided regions set in the reference direction are applied to the classifier generated by learning in advance to estimate the classification and shape of the human body part.
  • the estimation processing load can be reduced compared to the method using the skeleton estimation model.
  • the accuracy of estimating the identification and shape of the human body part to be specified is improved, the accuracy of estimating the gesture operation is also improved for the gesture operation estimated using the estimated identification and shape of the human body part.
  • the human body part estimation program may be a program that causes a computer to execute the steps shown in FIGS. By installing this program in a computer and executing it, the human body part estimation device 1 and the human body part estimation method in the present embodiment can be realized.
  • the processor of the computer functions as at least a feature distribution generation unit 2, a reference direction calculation unit 3, a divided region setting unit 4, a feature quantity calculation unit 5, and an estimation unit 6, and performs processing.
  • each computer may function as at least one of the feature distribution generation unit 2, the reference direction calculation unit 3, the divided region setting unit 4, the feature amount calculation unit 5, and the estimation unit 6.
  • FIG. 11 is a block diagram showing an example of a computer for realizing the human body part estimation apparatus 1 according to the embodiment of the present invention.
  • the computer 110 includes a central processing unit (CPU) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And these units are communicably connected to each other via a bus 121.
  • the computer 110 may include a graphics processing unit (GPU), a field-programmable gate array (FPGA), or the like in addition to the CPU 111 or in place of the CPU 111.
  • GPU graphics processing unit
  • FPGA field-programmable gate array
  • the CPU 111 develops the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executes various operations by executing these in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a dynamic random access memory (DRAM).
  • DRAM dynamic random access memory
  • the program in the present embodiment is provided in the state of being stored in computer readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via communication interface 117.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and executes reading of a program from the recording medium 120 and writing of the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as flexible disk (Flexible Disk), or CD- Optical recording media such as ROM (Compact Disk Read Only Memory) can be mentioned.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as flexible disk (Flexible Disk)
  • CD- Optical recording media such as ROM (Compact Disk Read Only Memory) can be mentioned.
  • the human body part estimation apparatus 1 in the present embodiment can also be realized by using hardware corresponding to each part, not the computer in which the program is installed. Furthermore, part of the human body part estimation apparatus 1 may be realized by a program, and the remaining part may be realized by hardware.
  • the feature distribution image is generated based on the depth distribution of the feature region image of the human body region image having the depth, such that the response value of the feature region image is larger than the response value of the human body region image other than the feature region image.
  • Feature distribution generator A reference direction calculation unit that calculates a reference direction in a human body region feature image corresponding to a human body region of the feature distribution image, based on the feature distribution image;
  • a division area setting unit which sets division areas for dividing the human body region characteristic image based on the reference direction;
  • a feature amount calculation unit that calculates a feature amount for each of the divided areas; The feature quantity calculated for each of the divided areas is applied to a classifier generated by learning in advance based on the feature quantity calculated for each of the divided areas to estimate the identification and shape of the human body part , Estimation part, A human body part estimation device characterized by having.
  • the human body region estimation apparatus according to supplementary note 1, wherein The estimation unit applies a state transition of a plurality of estimated shapes of the human body portion as an operation feature amount, and applies the operation feature amount to the classifier generated by learning in advance based on the operation feature amount.
  • a human body part estimation device characterized by estimating an operation using the human body part.
  • the present invention it is possible to improve the accuracy of the identification and the shape of the human body part.
  • the present invention is useful in the field where human body part estimation is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、特徴部位画像の応答値が前記特徴画像以外の人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部２と、特徴分布画像に基づいて、人体部位特徴画像の基準方向を算出する基準方向算出部３と、基準方向を基準とし、人体部位画像を分割する分割領域を設定する分割領域設定部４と、分割領域ごとに特徴量を算出する特徴量算出部５と、分割領域ごとに算出した特徴量を、分割領域ごとに算出した特徴量に基づいて、予め学習により生成された識別器に適用して、人体部位の識別と形状とを推定する推定部６と、を有する人体部位推定装置１である。

Description

人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、人体部位を推定する人体部位推定装置、人体部位推定方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。
　機器をジェスチャにより操作するジェスチャ操作において、深度センサにより撮像された深度画像から、特定したい人体部位の識別と形状とジェスチャ操作とを推定するには、特定したい人体部位のうち、特徴的な部位（以降、特徴部位と呼ぶ）を用いることが有効である。例えば、深度センサにより撮像された人体部位の深度画像（以降、人体部位画像）における、特徴部位に対応する画像（以降、特徴部位画像と呼ぶ）の輪郭形状を特徴量として、特定したい人体部位の識別と形状とジェスチャ操作とを推定することが有効である。
　また、深度センサにより撮像された深度画像から、特定したい人体部位の識別と形状とジェスチャ操作を推定するには、特定したい人体部位の形状、又は人体部位の動きを用いることも有効である。例えば、手を特定したい人体部位とし、手の特徴部位を指とした場合、手と指の形状、又は手と指の動きを特徴量とし、これらの特徴量を用いて、手と指の形状を推定することが有効である。特許文献１には、手の動きと、手の形状と、指の動きとを特徴量として、これらの特徴量と、ジェスチャ操作ごとに設定された条件とを照合して、ジェスチャ操作の種類を判定するジェスチャ判定装置が開示されている。
特許第６１２１５３４号公報
　しかしながら、上述した特徴量を用いて、特定したい人体部位の識別と形状とを推定する方法では、人体部位が回転又は変形などすると、人体部位画像の特徴量が大きく変化するため、特定したい人体部位の形状を推定する精度が低下する。その理由は、上述した方法では、特徴量として人体部位画像の輪郭形状を用いるため、人体部位の姿勢又は人体部位を撮像する方向により、人体部位画像の輪郭形状を正確に推定できないからである。
　また、特定したい人体部位の識別と形状とを推定する精度が低下すると、推定した人体部位の識別と形状とを用いて推定するジェスチャ操作についても、ジェスチャ操作を推定する精度が低下する。
　本発明の目的の一例は、上記問題を解消し、人体部位の識別と形状とを推定する精度を向上させる人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における人体部位推定装置は、
　深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
　前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
　前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
　前記分割領域ごとに特徴量を算出する、特徴量算出部と、
　前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
　を有することを特徴とする。
　また、上記目的を達成するため、本発明の一側面における人体部位推定方法は、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
　を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるプログラムをコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
　を実行させる命令を含むプログラムを記録していることを特徴とする。
　以上の本発明によれば、人体部位の識別と形状とを推定する精度を向上させることができる。
図１は、人体部位推定装置の一例を示す図である。 図２は、人体部位推定装置を有するシステムの一例を示す図である。 図３は、人体を撮像した深度画像の一例を示す図である。 図４は、特徴分布画像の例を示す図である。 図５は、基準方向の算出について説明するための図である。 図６は、基準方向と分割領域との関係を説明するための図である。 図７は、特徴分布画像に基準方向と分割領域とを適用した例を示す図である。 図８は、特徴量ベクトルの一例を示す図である。 図９は、人体部位推定装置において人体部位の識別と形状とを推定する動作の一例を示す図である。 図１０は、人体部位推定装置において人体部位を用いた操作を推定する動作の一例を示す図である。 図１１は、本発明の実施の形態における人体部位推定装置を実現するコンピュータの一例を示す図である。
（実施の形態）
　以下、本発明の実施の形態における人体部位推定装置、人体部位推定方法、及び人体部位推定プログラムについて、図１から図１１を参照しながら説明する。
［装置構成］
　最初に、本実施の形態における人体部位推定装置の構成について説明する。図１は、人体部位推定装置の一例を示す図である。図１に示すように、人体部位推定装置１は、特徴分布生成部２と、基準方向算出部３と、分割領域設定部４と、特徴量算出部５と、推定部６とを有する。
　特徴分布生成部２は、深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、特徴部位画像の応答値が特徴部位画像以外の人体部位画像の応答値より大きくなるように特徴分布画像を生成する。基準方向算出部３は、特徴分布画像に基づいて、特徴分布画像の人体部位に対応する人体部位特徴画像における人体部位画像の基準方向を算出する。分割領域設定部４は、基準方向を基準とし、人体部位特徴画像を分割する分割領域を設定する。特徴量算出部５は、分割領域ごとに特徴量を算出する。推定部６は、分割領域ごとに算出した特徴量を、分割領域ごとに算出した特徴量に基づいて、予め学習により生成された識別器に適用して、人体部位の識別と形状とを推定する。
　このように、本実施の形態では、人体部位特徴画像の形状に応じて変化する基準方向に分割領域を設定し、分割領域ごとに算出した特徴量を、予め生成した人体部位の識別と形状とを推定する識別器に適用して、人体部位の識別と形状とを推定する。そうすることで、人体部位の姿勢又は人体部位を撮像する方向により、人体部位が回転又は変形しても、人体部位画像の輪郭形状を特徴量として人体部位の識別と形状とを推定した場合より、人体部位の形状を推定する精度を向上させることができる。
　また、人体部位の形状を推定する方法として、骨格推定モデルを利用した方法がある。ところが、骨格推定モデルを利用した方法は、人体部位の形状を推定する際、一般に推定処理負荷が高負荷となることが知られている。しかし、本実施の形態では、上述したように、基準方向に設定された分割領域ごとに算出した特徴量を、予め学習により生成した識別器に適用して、人体部位の識別と形状とを推定しているため、骨格推定モデルを利用した方法より、推定処理負荷を低減させることができる。
［システム構成］
　続いて、図２を用いて、人体部位推定装置１及び人体部位推定装置１を有するシステムについて具体的に説明する。図２は、人体部位推定装置を有するシステムの一例を示す図である。人体部位推定システム２０は、人体部位推定装置１と、深度センサ２１と、識別器２２とを有する。人体部位推定装置１は、更に部位候補検出部２３を有している。また、推定部６は、部位推定部２４と、形状推定部２５と、操作推定部２６とを有する。
　深度センサ２１（深度センサ２１を有する機器）は、深度センサ２１から対象物までの深度を計測し、深度情報又は深度画像を生成し、人体部位推定装置１に出力する。なお、深度センサ２１は、例えば、ＴＯＦ（Time of Flight）センサなどを用いてもよい。識別器２２は、本実施の形態では、学習により生成された学習モデルで、後述する部位候補識別器２７と、部位識別器２８と、形状識別器２９と、操作識別器３０とを有する。
　識別器２７から３０において用いられる学習方式としては、例えば、ニューラルネットワーク、線形判別分析法（Linear Discriminant Analysis：ＬＤＡ）、サポートベクトルマシン（Support Vector Machine：ＳＶＭ）、ブースティング、ランダムフォレスト（Random Forests：ＲＦｓ）などがあげられる。なお、ブースティングとしては、例えば、AdaBoost（Adaptive Boosting）、又はReal AdaBoostなどがあげられる。
　部位候補検出部２３は、深度センサ２１から深度画像を取得し、取得した深度画像の深度分布に基づいて、特定した人体部位画像の候補を検出する。また、部位候補検出部２３は、人体部位画像のうち特徴部位の候補となる特徴部位画像を検出する。ただし、部位候補検出部２３では、確実に特定したい人体部位画像及び特徴部位画像を検出する必要はなく、大まかに人体部位画像及び特徴部位画像を検出すればよい。その理由は、後述する特徴分布生成部２と、基準方向算出部３と、分割領域設定部４と、特徴量算出部５と、推定部６とを用いて、人体部位を精度よく検出するため、部位候補検出部２３では高い検出精度を必要としないためである。従って、高い検出精度を必要としないため、人体部位推定装置１における推定処理負荷を低減することができる。
　具体的に説明する。図３は、人体を撮像した深度画像の一例を示す図である。図３に示す深度画像４１には、人体に対応する人体画像４２が撮像されている。また、人体画像４２には、腕に対応する腕画像４３と、掌に対応する掌画像４４と、指に対応する指画像４５とが撮像されている。
　部位候補検出部２３は、本実施の形態では、深度画像４１を取得し、深度画像４１を部位候補識別器２７に適用して、候補となる人体部位に対応する掌画像４４と指画像４５とを検出する。部位候補識別器２７は、例えば、予め取得した複数の深度情報を有する掌画像と指画像と非掌画像と非指画像とをサンプルデータとし、それらサンプルデータにおける特徴量を評価し、上述した学習方式により生成された学習モデルである。
　また、部位候補識別器２７では、深度画像の局所領域を捉える特徴量、又は局所領域間の関連性や共起性を捉える特徴量などを用いる。具体的には、局所領域を捉える特徴量は、深度画像の輝度に着目した特徴量、又は深度画像のエッジに着目した特徴量を用いる。深度画像の輝度に着目した特徴量は、例えば、Haar-like特徴量、又はピクセル差分特徴量（数１を参照）などがあげられる。
Figure JPOXMLDOC01-appb-M000001
 　　　F(p)：ピクセル差分特徴量
　　　off1, off2：深度画像の座標系の位置pからの距離
　　　D(p)：深度画像の座標系の位置pの深度
　深度画像のエッジに着目した特徴量は、例えば、ＥＯＨ（Edge Orientation Histogram）特徴量、又はＨＯＧ（Histograms of Oriented Gradients）特徴量、又はＥＨＯＧ（Extend HOG）特徴量、又はEdgelet特徴量などがあげられる。
　また、局所領域間の関連性や共起性を捉える特徴量は、例えば、Joint Haar-like特徴量、又はスパース特徴量、又はShapelet特徴量、又はJoint ＨＯＧ特徴量などがあげられる。更に、上述した特徴量の他に、ＳＩＦＴ（Scale-Invariant Feature Transform）、又はＳＵＲＦ（Speeded Up Robust Features）、又はＦＡＳＴ（Features from Accelerated Segment Test）などがあげられる。
　特徴分布生成部２は、部位候補検出部２３により検出された人体部位画像を取得し、取得した人体部位画像のうち、予め設定された特徴部位に対応する特徴部位画像に含まれる深度分布に基づいて、特定したい人体部位画像における特徴分布画像を生成する。すなわち、特徴分布画像は、特徴部位画像に関連する特徴量（応答値）が特徴部位画像以外の人体部位画像の特徴量（応答値）より大きくなるように、生成された応答値分布である。
　具体的に説明する。図４は、特徴分布画像の例を示す図である。図４に示す画像５１は、すべての指をひらいたときの特徴分布画像である。図４に示す画像５２は、親指以外の指をつけたときの特徴分布画像である。図４に示す画像５３は、人差し指と中指をひらき、親指と薬指と小指とをとじたときの特徴分布画像である。図４に示す画像５４は、親指と人差し指とを軽くひらき、中指と薬指と小指とをとじたときの特徴分布画像である。また、画像５１から５４において、白色の部分は応答値が最大値であることを示し、黒色の部分は応答値が最小値であることを示している。また、白色と黒色との間の中間色は、白色に近づくほど応答値が高く、黒色に近づくほど応答値が低いことを示している。
　また、図４に示す特徴分布画像５１から５４は、深度画像から検出した掌画像の深度を基準に、検出した指画像の深度に基づいて生成される。言い換えれば、特徴分布画像５１から５４は、指画像５６の応答値が掌画像５５の応答値より大きくなるように、生成された応答値分布である。
　基準方向算出部３は、特徴分布生成部２により作成された特徴分布画像を取得し、取得した特徴分布画像に基づいて、後述する特徴座標を算出する。続いて、基準方向算出部３は、後述する中心座標と特徴座標とを用いて、特定したい人体部位画像における基準方向を算出する。すなわち、基準方向算出部３は、特徴分布画像の人体部位（例えば、手）に対応する人体部位特徴画像（例えば、手（掌と指とから形成される）に対応する人体部位特徴画像）における基準方向を算出する。
　具体的に説明する。図５は、基準方向の算出について説明するための図である。図５に示す特徴分布画像６１、６２、６３、６４は、図４に示した特徴分布画像５１、５２、５３、５４に対応している。また、特徴分布画像６１、６２、６３、６４は、例えば、原点座標(０，０)から座標（６３，６３）までの６４×６４個の座標（ピクセル）を有するものとする。
　まず、特徴座標の算出について説明する。基準方向算出部３は、特徴座標を、例えば、数２に基づいて算出する。すなわち、特徴座標は、応答値を重み付け係数として算出される。
Figure JPOXMLDOC01-appb-M000002
 　　　xd：特徴座標系のx座標
　　　yd：特徴座標系のy座標 
　　　Resp(x,y)：特徴分布画像の座標ごとの応答値
　　　Σ(Resp(x,y))：特徴分布画像の応答値の合計
　次に、基準方向の算出について説明する。基準方向算出部３は、特徴座標（ｘｄ，ｙｄ）を算出した後、特徴分布画像の掌画像５５（掌に対応する人体部位特徴画像）の中心座標６５（ｘｃ，ｙｃ）から算出した特徴座標（ｘｄ，ｙｄ）へ向かう方向を算出し、この方向を基準方向６６とする。すなわち、基準方向算出部３は、中心座標６５から指画像５６（指に対応する人体部位特徴画像）方向に向かう基準方向を算出する。中心座標６５は、掌画像５５の大きさから算出した中心位置、又は掌画像５５の重心位置などである。
　このように、基準方向算出部３を用いて基準方向６６を算出することで、図５の特徴分布画像６１から６４に示すように、手の形状に応じて基準方向６６の方向を変化させることができる。すなわち、人体部位が回転又は変形などしても、手の形状が同じであれば、基準方向６６の方向は手の形状に対して同じ方向に向くようにできる。
　分割領域設定部４は、基準方向算出部３により算出された基準方向を取得し、取得した基準方向を基準として、人体部位特徴画像を分割するための分割領域を設定する。分割領域について具体的に説明する。図６は、基準方向と分割領域との関係を説明するための図である。図６では、基準方向６６と分割領域（１）から（１６）とが関係付けられている。
　分割領域（１）から（１６）は、中心座標６５を中心点とした円形６７を、半径方向に二分割し、更に角度方向を八分割して形成される領域である。ただし、分割領域は、図６に示すような形状に限定されるものではない。また、図６において基準方向６６は、分割領域（１）（９）と分割領域（８）（１６）との境界に設定される。
　図７は、特徴分布画像に基準方向と分割領域とを適用した例を示す図である。図７に示す特徴分布画像７１、７２、７３、７４は、図５に示した特徴分布画像６１、６２、６３、６４に対応し、図５に示した基準方向６６に図６に示した分割領域（１）から（１６）を適用した図である。このように、分割領域設定部４を用いて、基準方向６６を基準に分割領域（１）から（１６）を設定することで、図７の特徴分布画像７１から７４に示したように、手の形状に応じて分割領域の位置を変化させることができる。すなわち、人体部位が回転又は変形などしても、手の形状が同じであれば、分割領域の位置は手の形状に対して同じ位置にできる。
　特徴量算出部５は、分割領域設定部４で設定した分割領域ごとに特徴量を算出する。分割領域ごとに算出する特徴量について具体的に説明する。特徴量は、例えば、分割領域の応答値の合計値、平均値、分散値のいずれか一つ（一次元）、又は分割領域の合計値、平均値、分散値のうちの二つの組み合わせ（二次元）、又は分割領域の合計値、平均値、分散値すべて（三次元）などを用いることが考えられる。更に、特徴量は、分割領域に含まれる応答値のヒストグラム（任意の分割に対応する次元）を用いてもよい。
　続いて、特徴量算出部５は、算出した特徴量を用いて、特徴量ベクトルを生成する。特徴量ベクトルの生成について具体的に説明する。図８は、特徴量ベクトルの一例を示す図である。図８に示すヒスとグラムと特徴量ベクトルとは、分割領域を図６に示した分割領域（１）から（１６）とし、特徴量を応答値の合計値と平均値とし、一つの座標（ピクセル）の応答値の範囲を０．０から１．０とした場合のものである。また、図８に示す特徴量ベクトルは、分割領域（１）から（１６）の順に、応答値の合計値と平均値とが記述されている。すなわち、図８に示す特徴量ベクトルには、分割領域（１）に対応する応答値の合計値１０と平均値５と、分割領域（２）に対応する応答値の合計値８と平均値４と、分割領域（３）に対応する応答値の合計値１０と平均値５と、分割領域（４）に対応する応答値の合計値８と平均値４．５と、分割領域（５）に対応する応答値の合計値１１と平均値５．５と……分割領域（１６）に対応する応答値の合計値１０と平均値５とが記述されている。
　推定部６は、部位推定部２４、形状推定部２５、操作推定部２６を有する。部位推定部２４は、特徴量算出部５から特徴量ベクトルを取得し、取得した特徴量ベクトルに基づいて、特定した人体部位を推定する。また、形状推定部２５は、特徴量算出部５又は部位推定部２４から特徴量ベクトルを取得し、取得した特徴量ベクトルに基づいて、人体部位のうち特徴部位を推定する。
　部位推定部２４について具体的に説明する。部位推定部２４は、本実施の形態では、特徴量算出部５から取得した特徴量ベクトルを、部位識別器２８に適用して、特定したい人体部位を推定する。部位推定部２４は、例えば、手であるか否かを推定する。部位識別器２８は、予め取得した複数の手画像（人体部位特徴画像）から得られた特徴量ベクトルをサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成された学習モデルである。例えば、推定したい人体部位が手である場合、部位識別器２８は、手を推定するための学習モデルである。
　形状推定部２５について具体的に説明する。形状推定部２５は、本実施の形態では、特徴量算出部５から取得した特徴量ベクトルを、形状識別器２９に適用して、特定したい人体部位の形状を推定する。形状推定部２５は、例えば、人体部位を用いる操作（例えば、ジェスチャ操作）で用いられる人体部位の形状を推定する。形状識別器２９は、例えば、予め取得した複数の手画像（人体部位特徴画像）から得られた特徴量ベクトルをサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成された学習モデルである。例えば、ジェスチャ操作で用いられる人体部位の形状を推定したい場合、形状識別器２９は、ジェスチャ操作で用いられる人体部位の形状を推定するための学習モデルである。
　操作推定部２６は、複数の推定された人体部位の形状の状態遷移を操作特徴量とし、操作特徴量を、操作特徴量に基づいて、予め学習により生成された操作識別器３０に適用して、人体部位を用いたジェスチャ操作を推定する。
　操作推定部２６について具体的に説明する。操作推定部２６は、本実施の形態では、形状推定部２５から、複数の推定された人体部位の形状の状態を示す情報を取得する。特定したいジェスチャ操作がピンチイン操作である場合、次のような（Ａ）（Ｂ）（Ｃ）状態を示す情報を取得する。
（Ａ）親指の指先と人差し指の指先とが開かれ、中指と薬指と小指とが閉じられた状態
（Ｂ）親指の指先と人差し指の指先とが付くまでの一つ以上の状態
（Ｃ）親指の指先と人差し指の指先とが付いた状態
　また、特定したいジェスチャ操作がピンチアウト操作である場合、次のような（Ｄ）（Ｅ）（Ｆ）状態を示す情報を取得する。
（Ｄ）親指の指先と人差し指の指先とが付けられ、中指と薬指と小指とが閉じられた状態
（Ｅ）親指の指先と人差し指の指先とが所定位置まで開くまでの一つ以上の状態
（Ｆ）親指の指先と人差し指の指先とが所定位置まで開かれた状態
　続いて、操作推定部２６は、推定された人体部位の形状の状態の遷移を操作特徴量とし、操作識別器３０に適用して、人体部位を用いたジェスチャ操作を推定する。操作特徴量は、ピンチイン操作である場合、状態（Ａ）→（Ｂ）→（Ｃ）の状態遷移とし、ピンチアウト操作である場合、状態（Ｄ）→（Ｅ）→（Ｆ）の状態遷移とする。
　操作識別器３０は、例えば、予め取得した複数のジェスチャ操作における状態遷移をサンプルデータとし、それらサンプルデータを評価し、上述した学習方式により生成されたジェスチャ操作を推定するための学習モデルである。
［変形例］
　上述した基準方向は、手の摂動などによって方向が変化するため、基準方向算出部３は、中心座標を基準に、基準方向を、所定角度の回転又は所定距離の移動をさせる、基準方向と別の摂動用基準方向を設ける。更に、分割領域設定部４は、摂動用基準方向に対しても分割領域を設定する。なお、所定角度又は所定距離は、予め設定してもよいし、実際の摂動を計測し、その摂動に応じて設定してもよい。また、特徴量算出部５は、摂動用基準方向を用いる場合、基準方向及び摂動用基準方向の特徴量ベクトルの記述をする。その場合、特徴量ベクトルの次元は二倍となり、基準方向だけのときより二倍記述が増える。
　このようにすることで、摂動の影響により人体部位が動いたために、基準方向を用いて正確に人体部位の識別と形状との推定ができない場合でも、摂動用基準方向を用いることで、人体部位の識別と形状との推定する精度を向上させることができる。更に、ジェスチャ操作を推定する精度を向上させることができる。なお、摂動用基準方向は複数用意してもよい。
［装置動作］
　本実施の形態における人体部位推定方法は、図１及び図２に示した本実施の形態における人体部位推定装置１を動作させることによって実施される。このため、本実施の形態における人体部位推定方法の説明は、以下の人体部位推定装置の動作説明に代える。また、本発明の実施の形態における人体部位推定装置の動作について図９、図１０を用いて説明する。図９は、人体部位推定装置において人体部位の識別と形状とを推定する動作の一例を示す図である。図１０は、人体部位推定装置において人体部位を用いた操作を推定する動作の一例を示す図である。なお、以下の説明においては、適宜図１から図８を参酌しながら説明をする。
　まず、人体部位推定装置１において人体部位の識別と形状とを推定する動作について説明する。人体部位推定装置１は、図９に示すように、深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、特徴部位画像の応答値が特徴画像以外の人体部位画像の応答値より大きくなるように特徴分布画像を生成する（ステップＡ１）。続いて、人体部位推定装置１は、特徴分布画像に基づいて、人体部位特徴画像の基準方向を算出する（ステップＡ２）。続いて、人体部位推定装置１は、基準方向を基準とし、人体部位特徴画像を分割する分割領域を設定する（ステップＡ３）。続いて、人体部位推定装置１は、分割領域ごとに特徴量を算出する（ステップＡ４）。続いて、人体部位推定装置１は、分割領域ごとに算出した特徴量を、識別器２２に適用して、人体部位の識別と形状とを推定する（ステップＡ５）。
　具体的に説明する。ステップＡ１において、人体部位推定装置１の特徴分布生成部２は、部位候補検出部２３により検出された、予め設定された特徴部位に対応する特徴部位画像（指画像４５）を取得する。続いて、特徴分布生成部２は、特徴部位画像に含まれる深度分布に基づいて、特定したい人体部位画像における特徴分布画像を生成する。すなわち、特徴分布画像は、検出した指画像４５の深度分布に基づいて生成される。言い換えれば、特徴分布画像は、指画像５６の特徴量（応答値）が掌画像５５の特徴量（応答値）より大きくなるように、生成された応答値分布である。
　ステップＡ２において、人体部位推定装置１の基準方向算出部３は、特徴分布生成部２から特徴分布画像を取得し、上述した数２に基づいて、特徴座標を算出する。続いて、基準方向算出部３は、中心座標と特徴座標とを用いて、特定したい人体部位画像における基準方向を算出する。
　ステップＡ３において、人体部位推定装置１の分割領域設定部４は、基準方向算出部３により算出された基準方向を取得し、取得した基準方向を基準として、人体部位特徴画像を分割するための分割領域を設定する。
　ステップＡ４において、人体部位推定装置１の特徴量算出部５は、分割領域ごとに特徴量を算出する。続いて、特徴量算出部５は、算出した特徴量を用いて、特徴量ベクトルを生成する。
　ステップＡ５において、人体部位推定装置１の部位推定部２４は、特徴量算出部５から取得した特徴量ベクトルを、部位識別器２８に適用して、特定したい人体部位を推定する。人体部位推定装置１の形状推定部２５は、特徴量算出部５から取得した特徴量ベクトルを、形状識別器２９に適用して、特定したい人体部位の形状を推定する。
　続いて、人体部位推定装置１において人体部位を用いた操作を推定する動作について説明する。人体部位推定装置１は、図１０に示すように、複数の推定された人体部位の形状を取得する（ステップＡ６）。続いて、人体部位推定装置１は、複数の推定された人体部位の状態遷移を操作特徴量とする（ステップＡ７）。続いて、人体部位推定装置１は、操作特徴量を、操作特徴量に基づいて、予め学習により生成された識別器２２に適用して、人体部位を用いた操作を推定する（ステップＡ８）。
　具体的に説明する。ステップＡ６において、人体部位推定装置１の操作推定部２６は、形状推定部２５から、複数の推定された人体部位の形状を取得する。人体部位推定装置１の操作推定部２６は、例えば、ジェスチャ操作にかかる時間を設定し、設定した時間において順番に撮像された深度画像に基づいて、形状推定部２５により推定された人体部位の形状を取得する。
　ステップＡ７において、人体部位推定装置１の操作推定部２６は、推定された人体部位の形状の状態遷移を操作特徴量とする。人体部位推定装置１の操作推定部２６は、例えば、ピンチイン操作である場合、上述した状態（Ａ）→（Ｂ）→（Ｃ）の状態遷移を操作特徴量とする。また、人体部位推定装置１の操作推定部２６は、ピンチアウト操作である場合、上述した状態（Ｄ）→（Ｅ）→（Ｆ）の状態遷移を操作特徴量とする。
　ステップＡ８において、人体部位推定装置１の操作推定部２６は、操作特徴量を、操作識別器３０に適用して、人体部位を用いた操作を推定する。操作識別器３０は、例えば、予め取得した複数のジェスチャ操作における状態遷移をサンプルデータとし、それらサンプルデータを評価して、上述した学習方式により生成された学習モデルである。
［本実施の形態の効果］
　以上のように本実施の形態によれば、人体部位特徴画像の形状に応じて変化する基準方向に分割領域を設定し、分割領域ごとに算出した特徴量を、予め生成した人体部位の識別と形状とを推定する識別器に適用して、人体部位の識別と形状とを推定する。そうすることで、人体部位の姿勢又は人体部位を撮像する方向により、人体部位が回転又は変形しても、手の形状が同じであれば、基準方向は手の形状に対して同じ方向に向くようにできるため、人体部位の形状を推定する精度を向上させることができる。
　また、本実施の形態では、基準方向に設定された分割領域ごとに算出した特徴量を、予め学習により生成した識別器に適用して、人体部位の識別と形状とを推定しているため、骨格推定モデルを利用した方法より、推定処理負荷を低減させることができる。
　更に、特定したい人体部位の識別と形状とを推定する精度が向上するため、推定した人体部位の識別と形状とを用いて推定するジェスチャ操作についても、ジェスチャ操作を推定する精度が向上する。
［プログラム］
　本発明の実施の形態における人体部位推定プログラムは、コンピュータに、図９、図１０に示すステップを実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における人体部位推定装置１と人体部位推定方法とを実現することができる。この場合、コンピュータのプロセッサは、少なくとも特徴分布生成部２、基準方向算出部３、分割領域設定部４、特徴量算出部５、推定部６として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、少なくとも特徴分布生成部２、基準方向算出部３、分割領域設定部４、特徴量算出部５、推定部６のいずれかとして機能してもよい。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、人体部位推定装置１を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における人体部位推定装置１を実現するコンピュータの一例を示すブロック図である。
　図１１に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などを有していてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
　なお、本実施の形態における人体部位推定装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、人体部位推定装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
　以上の実施の形態に関し、更に以下の付記を開示する。なお、上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記６）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
　前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
　前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
　前記分割領域ごとに特徴量を算出する、特徴量算出部と、
　前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
　を有することを特徴とする人体部位推定装置。
（付記２）
　付記１に記載の人体部位推定装置であって、
　前記推定部は、複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する
　ことを特徴とする人体部位推定装置。
（付記３）
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
　を有することを特徴とする人体部位推定方法。
（付記４）
　付記３に記載の人体部位推定方法であって、
（ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップと、
　を有することを特徴とする人体部位推定方法。
（付記５）
　コンピュータに、
（ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
（ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
（ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
（ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
（ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
　を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記６）
　付記５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記プログラムが、前記コンピュータに、
（ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップを実行させる命令を更に含む、
　プログラムを記録しているコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１月１６日に出願された日本出願特願２０１８－００４５９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本発明によれば、人体部位の識別と形状とを推定する精度を向上させることができる。本発明は、人体部位推定が必要な分野において有用である。
　　１　人体部位推定装置
　　２　特徴分布生成部
　　３　基準方向算出部
　　４　分割領域設定部
　　５　特徴量算出部
　　６　推定部
　２０　人体部位推定システム
　２１　深度センサ
　２２　識別器
　２３　部位候補検出部
　２４　部位推定部
　２５　形状推定部
　２６　操作推定部
　２７　部位候補識別器
　２８　部位識別器 
　２９　形状識別器
　３０　操作識別器
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２１　バス

Claims (6)

  1. 　深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴部位画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、特徴分布生成部と、
    　前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、基準方向算出部と、
    　前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、分割領域設定部と、
    　前記分割領域ごとに特徴量を算出する、特徴量算出部と、
    　前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、推定部と、
    　を有することを特徴とする人体部位推定装置。
  2. 　請求項１に記載の人体部位推定装置であって、
    　前記推定部は、複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する
    　ことを特徴とする人体部位推定装置。
  3. （ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
    （ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像における基準方向を算出する、ステップと、
    （ｃ）前記基準方向を基準とし、前記人体部位特徴画像を分割する分割領域を設定する、ステップと、
    （ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
    （ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
    　を有することを特徴とする人体部位推定方法。
  4. 　請求項３に記載の人体部位推定方法であって、
    （ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップと、
    　を有することを特徴とする人体部位推定方法。
  5. 　コンピュータに、
    （ａ）深度を有する人体部位画像のうち、特徴部位画像の深度分布に基づいて、前記特徴部位画像の応答値が前記特徴画像以外の前記人体部位画像の応答値より大きくなるように特徴分布画像を生成する、ステップと、
    （ｂ）前記特徴分布画像に基づいて、前記特徴分布画像の人体部位に対応する人体部位特徴画像の基準方向を算出する、ステップと、
    （ｃ）前記基準方向を基準とし、前記人体部位画像を分割する分割領域を設定する、ステップと、
    （ｄ）前記分割領域ごとに特徴量を算出する、ステップと、
    （ｅ）前記分割領域ごとに算出した前記特徴量を、前記分割領域ごとに算出した前記特徴量に基づいて、予め学習により生成された識別器に適用して、前記人体部位の識別と形状とを推定する、ステップと、
    　を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 　請求項５に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムが、前記コンピュータに、
    （ｆ）複数の推定された前記人体部位の形状の状態遷移を操作特徴量とし、前記操作特徴量を、前記操作特徴量に基づいて、予め学習により生成された前記識別器に適用して、前記人体部位を用いた操作を推定する、ステップを実行させる命令を更に含む、
    　プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/000937 2018-01-16 2019-01-15 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体 WO2019142787A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019566469A JP6892155B2 (ja) 2018-01-16 2019-01-15 人体部位推定装置、人体部位推定方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018004591 2018-01-16
JP2018-004591 2018-01-16

Publications (1)

Publication Number Publication Date
WO2019142787A1 true WO2019142787A1 (ja) 2019-07-25

Family

ID=67301719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000937 WO2019142787A1 (ja) 2018-01-16 2019-01-15 人体部位推定装置、人体部位推定方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP6892155B2 (ja)
WO (1) WO2019142787A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
WO2022138585A1 (ja) * 2020-12-21 2022-06-30 株式会社リヴァンプ 情報処理装置、情報処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099749A (ja) * 2004-08-31 2006-04-13 Matsushita Electric Works Ltd ジェスチャースイッチ
JP2010267004A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置、物体認識方法及びプログラム
JP2016014954A (ja) * 2014-07-01 2016-01-28 国立大学法人 筑波大学 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2017068437A (ja) * 2015-09-29 2017-04-06 富士通株式会社 物体検出装置、物体検出方法、及び物体検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099749A (ja) * 2004-08-31 2006-04-13 Matsushita Electric Works Ltd ジェスチャースイッチ
JP2010267004A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置、物体認識方法及びプログラム
JP2016014954A (ja) * 2014-07-01 2016-01-28 国立大学法人 筑波大学 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2017068437A (ja) * 2015-09-29 2017-04-06 富士通株式会社 物体検出装置、物体検出方法、及び物体検出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111611997B (zh) * 2020-04-30 2023-04-18 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
WO2022138585A1 (ja) * 2020-12-21 2022-06-30 株式会社リヴァンプ 情報処理装置、情報処理方法及びプログラム
WO2022138584A1 (ja) * 2020-12-21 2022-06-30 株式会社リヴァンプ 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2019142787A1 (ja) 2021-01-07
JP6892155B2 (ja) 2021-06-23

Similar Documents

Publication Publication Date Title
US10572072B2 (en) Depth-based touch detection
JP5297530B2 (ja) 画像処理装置、及びインターフェース装置
KR102290392B1 (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
US8542928B2 (en) Information processing apparatus and control method therefor
TWI484444B (zh) 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
US10147015B2 (en) Image processing device, image processing method, and computer-readable recording medium
US9245206B2 (en) Image processing apparatus and image processing method
JP6393230B2 (ja) オブジェクト検出方法及び画像検索システム
US10922535B2 (en) Method and device for identifying wrist, method for identifying gesture, electronic equipment and computer-readable storage medium
JP6892155B2 (ja) 人体部位推定装置、人体部位推定方法、及びプログラム
KR20110100666A (ko) 얼굴 자세 추정을 제공하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
US9547913B2 (en) Information processing device, information processing apparatus, information processing method, and program
JP6434718B2 (ja) 顔画像認識装置及び顔画像認識プログラム
US9250802B2 (en) Shaping device
JP6852779B2 (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
JP2012181629A (ja) 顔検出方法および顔検出装置、ならびに、プログラム
WO2021001322A1 (en) Slap segmentation of contactless fingerprint images
Fang et al. Feature covariance matrix-based dynamic hand gesture recognition
US20230410561A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object
Prasertsakul et al. A fingertip detection method based on the top-hat transform
Wagner et al. Framework for a portable gesture interface
JP2021034016A (ja) 電子装置、該電子装置で指紋映像を処理する方法、及び記録媒体
KR20170059232A (ko) 이미지 데이터 특질 추출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19740823

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019566469

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19740823

Country of ref document: EP

Kind code of ref document: A1