WO2020230335A1 - 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム - Google Patents

骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2020230335A1
WO2020230335A1 PCT/JP2019/019584 JP2019019584W WO2020230335A1 WO 2020230335 A1 WO2020230335 A1 WO 2020230335A1 JP 2019019584 W JP2019019584 W JP 2019019584W WO 2020230335 A1 WO2020230335 A1 WO 2020230335A1
Authority
WO
WIPO (PCT)
Prior art keywords
joint
threshold
joints
important
reliability
Prior art date
Application number
PCT/JP2019/019584
Other languages
English (en)
French (fr)
Inventor
亀田　明男
愛 磯貝
木全　英明
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/019584 priority Critical patent/WO2020230335A1/ja
Priority to US17/594,917 priority patent/US11900707B2/en
Priority to JP2021519244A priority patent/JP7201946B2/ja
Publication of WO2020230335A1 publication Critical patent/WO2020230335A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a skeleton information determination device, a skeleton information determination method, and a computer program.
  • Non-Patent Documents 1 and 2 the state of a person being imaged (for example, the posture of the person) has been analyzed based on the skeleton information of the human body obtained from the image (see, for example, Non-Patent Documents 1 and 2).
  • Coordinates (xn, yn) and reliability score cn (0 ⁇ cn ⁇ 1) can be obtained as skeleton information. The closer the value of the reliability cn is to 1, the higher the reliability of the estimation result, and conversely, the closer to 0, the lower the reliability of the estimation result.
  • FIG. 18 is a diagram showing an example of each joint point of the human body
  • FIG. 19 is a diagram showing an example of skeletal information in a certain frame.
  • 14 joint points are shown as the joint points of the human body.
  • the state of a person for example, the posture of a person
  • each joint point is not always correct, and there may be cases where each joint point is misrecognized or cannot be acquired.
  • the case of erroneously recognizing a joint point is referred to as a skeletal estimation error.
  • a skeletal estimation error In cases where skeleton estimation error or skeleton information cannot be obtained, accurate state analysis cannot be performed even if state analysis is performed. In the following description, such a case where accurate state analysis cannot be performed is referred to as a state analysis error. Therefore, conventionally, it has been necessary to visually determine the quality of the skeleton estimation result in advance and manually remove (cleanse) the image that cannot be used for the state analysis. Such manual cleansing imposes a work load on the user and a work time for that purpose, which makes real-time processing difficult. Therefore, there is a demand for a technique that can automatically determine the quality of the skeleton estimation result of the subject.
  • an object of the present invention is to provide a technique capable of determining the quality of the skeleton estimation result of a subject.
  • One aspect of the present invention is based on a joint information input unit that accepts input of important joints in a plurality of joints of a subject and reliability thresholds for the important joints, and input critical joints and reliability thresholds for the important joints. Therefore, a threshold setting for acquiring the reliability threshold of each joint of the subject including the important joint and setting the reliability threshold of each of the acquired joints as a threshold used for determining the skeleton estimation result of the subject. It is a skeleton information threshold setting device including a unit.
  • One aspect of the present invention is the skeletal information threshold setting device, and the threshold setting unit acquires thresholds of joints other than the important joints based on the distance from the important joints.
  • One aspect of the present invention is the skeletal information threshold setting device, wherein the threshold setting unit is equal to or higher than a threshold set for a joint other than the important joint with respect to the important joint among a plurality of joints of the subject. Set the threshold value of.
  • One aspect of the present invention is the skeletal information threshold setting device, and the threshold setting unit sets a threshold smaller than the threshold set for the important joint as the distance from the important joint increases.
  • One aspect of the present invention is the skeletal information threshold setting device, wherein the threshold setting unit is a joint other than the important joint located between the important joints, or any joint in which a threshold is predetermined with the important joint.
  • the reliability threshold for the joints other than the important joints located between the joints and the joints other than the important joints located between any joints having a predetermined threshold is acquired by linear interpolation.
  • One aspect of the present invention is the skeletal information threshold setting device, wherein the threshold setting unit includes joints other than the important joints located between the important joint and an arbitrary joint having a predetermined threshold.
  • the reliability threshold for joints other than the important joints located between arbitrary joints with predetermined thresholds is acquired by linear interpolation, and the reliability threshold for joints other than the important joints located between the important joints is obtained.
  • a predetermined value is set as a threshold value at the intermediate point between the important joints and acquired by linear interpolation.
  • One aspect of the present invention is the skeletal information threshold setting device, wherein the threshold setting unit includes joints other than the important joints located between the important joint and an arbitrary joint having a predetermined threshold.
  • the reliability threshold for joints other than the important joints located between arbitrary joints for which a threshold is set in advance is acquired by linear interpolation, and is used as the reliability threshold for joints other than the important joints sandwiched between the important joints. , Set a predetermined value set in advance.
  • One aspect of the present invention is based on a joint information input step that accepts input of a confidence threshold for an important joint and the important joint in a plurality of joints of a subject, and an input reliability threshold for the important joint and the important joint. Therefore, a threshold for the reliability of each joint of the subject including the important joint is acquired, and the threshold for the reliability of each of the acquired joints is set as a threshold used for determining the skeleton estimation result of the subject. It is a skeleton information threshold setting method having a setting step.
  • One aspect of the present invention is a computer program for operating a computer as the above-mentioned skeletal information threshold setting device.
  • the skeleton information determination device in the present invention estimates the skeleton information of the subject captured in the input image, and based on the estimated skeleton information, uses the skeleton information obtained from the input image to estimate the state of the subject. Determine whether to use. More specifically, first, the skeleton information determination device inputs joint information set in advance by the user.
  • the joint information is information about the joint of the subject.
  • the joint information includes type information of important joints (hereinafter referred to as "important joints"), non-important joints (hereinafter referred to as "arbitrary joints") in the subject joints indicated by skeletal information, and important joints.
  • the reliability threshold creq for a specific joint among arbitrary joints and the reliability threshold cmin for a specific joint are included.
  • the specific joint among the arbitrary joints is a joint other than the important joint in which the reliability threshold value is set in advance by the user.
  • a particular joint is a joint located at the edge of the subject, such as a wrist or ankle, or the center of the neck or hip.
  • the reliability threshold is a threshold used for determining the quality of the reliability obtained as the estimation result of the skeleton information.
  • the reliability threshold creq for important joints is set to a higher value between 0 and 1. In the following description, the reliability threshold creq for important joints will be described as 0.9.
  • the confidence threshold cmin for a particular joint is set to a lower value between 0 and 1. In the following description, the reliability threshold cmin for a specific joint will be described as 0.2.
  • the threshold value creq for the important joint it is preferable to set to about 0.7 to 0.8. If it is particularly important, it may be set to about 0.9, but in that case, it is necessary to consider and set it in consideration of the shooting environment (more reliability of skeleton information can be obtained). On the contrary, if the reliability threshold creq for important joints is too high (for example, about 0.9), even if the reliability of about 0.8, which is empirically considered to be no problem in practical use, is obtained, it is removed. The number of cases will increase. Therefore, it is desirable that the reliability threshold creq for important joints is appropriately set according to the imaging environment and the like.
  • the reliability threshold cmin for a specific joint has little effect on analysis, it is desirable to use skeletal information as much as possible (do not remove it) by setting it to about 0 to 0.2 where an error is clearly recognized. ..
  • the reliability threshold cmin for a specific joint is set to 0. It is desirable to ensure the accuracy of the skeletal information as 4 to 0.6 (for example, the degree of self-occlusion error is allowed).
  • the skeletal information determination device sets the reliability threshold of each joint at the joint point corresponding to each joint in the skeletal information based on the input joint information.
  • the skeletal information determination device compares the set reliability threshold of each joint with the reliability of each joint of the skeletal information obtained by the prior art.
  • the skeletal information determination device compares the reliability and the threshold value of the same joint.
  • the skeleton information determination device determines that the skeleton information obtained from the input image is not used for estimating the state of the subject.
  • the skeleton information determination device automatically determines the quality of the skeleton estimation result of the subject.
  • a specific configuration of the skeleton information determination device will be described.
  • FIG. 1 is a schematic block diagram showing the configuration of the skeleton information determination device 10 according to the first embodiment.
  • the skeleton information determination device 10 is configured by using an information processing device such as a smartphone, a mobile phone, a tablet terminal, a notebook computer, or a personal computer.
  • the skeleton information determination device 10 includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus, and executes a determination program.
  • the skeleton information determination device 10 functions as a device including a joint information input unit 101, a threshold value setting unit 102, an image input unit 103, a subject detection unit 104, a skeleton estimation unit 105, and a determination unit 106.
  • the determination program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the determination program may be transmitted and received via a telecommunication line.
  • the joint information input unit 101 receives input of joint information from the user.
  • the joint information input unit 101 receives input of important joints in a plurality of joints of the subject, a reliability threshold creq for important joints, and a reliability threshold cmin for a specific joint.
  • the subject will be described by taking a person as an example, but the subject is not limited to a person as long as it is a "living organism" having a skeleton or joints.
  • the joint information input unit 101 outputs the input joint information to the threshold value setting unit 102.
  • the reliability threshold creq for important joints is assigned a value equal to or higher than the reliability threshold of any joint.
  • the reliability threshold cmin for a specific joint is assigned the lowest value including the reliability threshold of other joints (important joints and other arbitrary joints).
  • the threshold value setting unit 102 acquires the threshold value of the reliability of each joint of the subject based on the joint information output from the joint information input unit 101, and the determination unit 106 determines the threshold value of the reliability of each of the acquired joints. It is set as a threshold value used for determining the skeleton estimation result of the subject to be performed.
  • the image input unit 103 accepts the input of the image to be the target of the state estimation.
  • the image input unit 103 may read image data recorded on a recording medium such as a CD-ROM or a USB memory (Universal Serial Bus Memory). Further, the image input unit 103 may receive an image captured by a still camera or a video camera from the camera. Further, the image input unit 103 may receive image data from the network.
  • the image input to the image input unit 103 may be a still image or a frame in a moving image.
  • the image input unit 103 outputs the input image to the subject detection unit 104.
  • the subject detection unit 104 inputs the image output from the image input unit 103.
  • the subject detection unit 104 detects a subject from the input image.
  • the subject detected by the subject detection unit 104 is, for example, a person.
  • the subject detection unit 104 outputs the detection result to the skeleton estimation unit 105.
  • the skeleton estimation unit 105 inputs the detection result output from the subject detection unit 104.
  • the skeleton estimation unit 105 estimates the position of each joint of the skeleton of the subject and the reliability of the estimated position based on the input detection result.
  • the skeleton estimation unit 105 outputs the estimation result to the determination unit 106.
  • the estimation result includes information on the position of each joint of the skeleton of the subject and the reliability of the estimated position.
  • the determination unit 106 inputs the threshold value of the reliability of each joint set by the threshold value setting unit 102 and the estimation result output from the skeleton estimation unit 105.
  • the determination unit 106 determines whether or not to use the skeleton information obtained from the input image for estimating the state of the subject based on the input threshold value and the estimation result.
  • FIG. 2 is a flowchart showing the flow of the threshold value setting process of the skeleton information determination device 10 according to the first embodiment.
  • the joint information input unit 101 inputs joint information (step S101). Specifically, the joint information input unit 101 receives input of important joints in a plurality of joints of the subject, a reliability threshold creq for important joints, and a reliability threshold cmin for a specific joint. The joint information input unit 101 outputs the input joint information to the threshold value setting unit 102. The threshold value setting unit 102 sets the reliability threshold value of each joint based on the joint information output from the joint information input unit 101 (step S102).
  • 3 and 4 are diagrams for explaining an outline of the processing of the threshold value setting unit 102 in the first embodiment.
  • FIG. 5 is a flowchart showing the flow of the determination process of the skeleton information determination device 10 according to the first embodiment.
  • the image input unit 103 inputs a frame at time t (step S201).
  • the image input unit 103 outputs the input frame to the subject detection unit 104.
  • the subject detection unit 104 inputs the frame output from the image input unit 103.
  • the subject detection unit 104 detects a subject from the input frame (step S202). Conventional technology may be used as the method for detecting the subject.
  • the subject detection unit 104 may detect a subject from the frame by using Yoro's technology.
  • the subject detection unit 104 extracts a region including the subject from the frame to generate a partial region image.
  • the subject detection unit 104 outputs the generated partial region image to the skeleton estimation unit 105.
  • the skeleton estimation unit 105 inputs the partial region image output from the subject detection unit 104 as the detection result.
  • the skeleton estimation unit 105 sets the two-dimensional xy coordinates in the image of the joint points n (n is 1 to N and N is the total number of joints) and each of them as skeleton information including each joint point of the subject from the input partial region image.
  • the reliability cn in the joint is estimated (step S203).
  • the estimation result by the skeleton estimation unit 105 is shown in FIG.
  • the skeleton estimation unit 105 outputs the estimation result to the determination unit 106.
  • the determination unit 106 inputs the threshold value of the reliability of each joint set by the threshold value setting unit 102 and the estimation result output from the skeleton estimation unit 105.
  • the determination unit 106 initializes by substituting 0 for the value of the joint point n (step S204).
  • the determination unit 106 adds 1 to the value of the joint point n (step S205).
  • the determination unit 106 determines whether or not the estimation result of the reliability of the joint represented by the value of the joint point n is equal to or greater than the threshold value thn (step S206). For example, when n is 1, the determination unit 106 determines whether or not the estimation result of the reliability of the neck joint (0.9 in FIG. 6) is equal to or higher than the threshold value th1 of the reliability of the neck joint. To do.
  • the end condition is a condition for terminating the determination process by the skeleton information determination device 10. The end condition may be, for example, that the user inputs an end instruction to the skeleton information determination device 10, or that processing has been performed on all the images input to the skeleton information determination device 10. You may.
  • step S206 when the estimation result of the reliability of the joint indicated by the joint point n is less than the threshold value thn (step S206-NO), the determination unit 106 determines that the frame at time t is not used (step). S211). After that, the determination unit 106 executes the process of step S209.
  • the input of the reliability threshold creq for the important joints and the important joints in the plurality of joints of the subject is received, and the input reliability of the important joints and the important joints is determined.
  • the reliability threshold of each joint of the subject including the important joint is acquired, and the reliability threshold of each of the acquired joints is set as the threshold used for determining the skeleton estimation result of the subject. Then, the skeleton information determination device 10 can automatically determine the quality of the skeleton estimation result of the subject by using the set threshold value.
  • the reliability threshold can be freely set for each joint by the user. By setting the threshold value according to the scene in this way, it is possible to determine the quality of the skeleton estimation result of the subject according to the scene.
  • the threshold setting unit determines the reliability of the arbitrary joint located between the important joints, the arbitrary joint located between the important joint and the specific joint, and the arbitrary joint located between the specific joints. Is obtained by linear interpolation.
  • FIG. 7 is a schematic block diagram showing the configuration of the skeleton information determination device 10a according to the second embodiment.
  • the skeleton information determination device 10a is configured by using an information processing device such as a smartphone, a mobile phone, a tablet terminal, a notebook computer, or a personal computer.
  • the skeleton information determination device 10a includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a determination program. By executing the determination program, the skeleton information determination device 10a functions as a device including a joint information input unit 101, a threshold setting unit 102a, an image input unit 103, a subject detection unit 104, a skeleton estimation unit 105, and a determination unit 106.
  • All or part of each function of the skeleton information determination device 10a may be realized by using hardware such as ASIC, PLD, and FPGA. Further, the determination program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the determination program may be transmitted and received via a telecommunication line.
  • the skeleton information determination device 10a is different from the skeleton information determination device 10 in that the threshold value setting unit 102a is provided instead of the threshold value setting unit 102.
  • the skeleton information determination device 10a is the same as the skeleton information determination device 10 in other configurations. Therefore, the description of the entire skeleton information determination device 10a will be omitted, and the threshold value setting unit 102a will be described.
  • the threshold value setting unit 102a acquires the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101, and the determination unit 106 determines the threshold value of the reliability of each of the acquired joints. Set to the threshold value used for processing. More specifically, the threshold setting unit 102a determines the reliability of the arbitrary joint located between the important joints, the arbitrary joint located between the important joint and the specific joint, and the arbitrary joint located between the specific joints. Is obtained by linear interpolation. Then, the threshold value setting unit 102a sets the threshold value of the reliability of each of the acquired joints as the threshold value used for the determination process performed by the determination unit 106.
  • the threshold setting unit 102a sets the reliability threshold creq for important joints and the reliability threshold cmin for specific joints at the joint points corresponding to each joint according to the following preconditions (1) to (3). After that, the threshold value setting unit 102a sets the reliability threshold value for the other arbitrary joint for which the reliability threshold value is not set to the joint point corresponding to the other arbitrary joint. (1) Set the critical joint threshold creq included in the joint information at the joint point corresponding to the important joint (2) Set the specific joint threshold cmin included in the joint information at the joint point corresponding to the specific joint.
  • the threshold setting unit 102a sets the reliability threshold cmin at the joint point corresponding to the specific joint in (2). ..
  • FIG. 8 is a flowchart showing the flow of the threshold value setting process of the skeleton information determination device 10a according to the second embodiment.
  • the same processing as in FIG. 2 is designated by the same reference numerals as in FIG. 2, and the description thereof will be omitted.
  • the threshold value setting unit 102a sets the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101 (step S301). A specific process of the threshold value setting unit 102a will be described with reference to FIGS. 9 and 10.
  • FIGS. 9 and 10 are diagrams for explaining the outline of the processing of the threshold value setting unit 102a in the second embodiment.
  • the processes shown in FIGS. 9 and 10 are executed after the above processes (1) to (3) have been performed.
  • FIG. 9 shows a process of setting a reliability threshold for an arbitrary joint located between an important joint and a specific joint to a joint point corresponding to the arbitrary joint located between the important joint and the specific joint.
  • FIG. 10 describes a process of setting a threshold value of reliability for an arbitrary joint located between important joints to a joint point corresponding to an arbitrary joint located between important joints.
  • the threshold value setting unit 102a is located between the important joints as follows.
  • the threshold value setting unit 102a relates to an arbitrary joint located between the important joints, an arbitrary joint located between the important joint and the specific joint, and an arbitrary joint located between the specific joints. Obtain the reliability threshold by linear interpolation.
  • the skeleton information determination device 10a configured as described above, for an arbitrary joint located between important joints, an arbitrary joint located between an important joint and a specific joint, and an arbitrary joint located between specific joints. Obtain the reliability threshold by linear interpolation. Then, the skeleton information determination device 10 can automatically determine the quality of the skeleton estimation result of the subject by using the acquired threshold value.
  • the threshold value of the reliability for the arbitrary joint sandwiched between the important joints is set to the same value as the threshold value set at the joint point corresponding to the important joint. Therefore, in the third embodiment, the threshold value setting unit acquires the threshold value of the reliability for the arbitrary joint located between the important joint and the specific joint and the arbitrary joint located between the specific joints by linear interpolation.
  • the threshold of reliability for any joint located between important joints is acquired by linear interpolation by setting a predetermined value as a threshold at an intermediate point between important joints.
  • FIG. 11 is a schematic block diagram showing the configuration of the skeleton information determination device 10b according to the third embodiment.
  • the skeleton information determination device 10b is configured by using an information processing device such as a smartphone, a mobile phone, a tablet terminal, a notebook computer, or a personal computer.
  • the skeleton information determination device 10b includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a determination program. By executing the determination program, the skeleton information determination device 10b functions as a device including the joint information input unit 101, the threshold value setting unit 102b, the image input unit 103, the subject detection unit 104, the skeleton estimation unit 105, and the determination unit 106.
  • All or a part of each function of the skeleton information determination device 10b may be realized by using hardware such as ASIC, PLD, and FPGA. Further, the determination program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the determination program may be transmitted and received via a telecommunication line.
  • the skeleton information determination device 10b is different from the skeleton information determination device 10 in that the threshold value setting unit 102b is provided instead of the threshold value setting unit 102.
  • the skeleton information determination device 10b is the same as the skeleton information determination device 10 in other configurations. Therefore, the description of the entire skeleton information determination device 10b will be omitted, and the threshold value setting unit 102b will be described.
  • the threshold value setting unit 102b acquires the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101, and the determination unit 106 determines the threshold value of the reliability of each of the acquired joints. Set to the threshold value used for processing. More specifically, the threshold setting unit 102b sets a lower threshold value as the distance from the reference important joint increases at the joint point corresponding to any joint between the important joints.
  • the reference important joint is not limited to the upstream side, but may be an important joint located on the downstream side (for example, the one closer to the foot).
  • the threshold value setting unit 102b sets the reliability threshold creq for important joints and the reliability threshold cmin for specific joints for each joint according to the preconditions (1) to (3) above. Set to the joint point corresponding to. After that, the threshold value setting unit 102b sets the reliability threshold value at the joint point corresponding to another arbitrary joint for which the reliability threshold value is not set.
  • FIG. 12 is a flowchart showing the flow of the threshold value setting process of the skeleton information determination device 10b according to the third embodiment.
  • the same processing as in FIG. 2 is designated by the same reference numerals as in FIG. 2, and the description thereof will be omitted.
  • the threshold value setting unit 102b sets the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101 (step S401). A specific process of the threshold value setting unit 102b will be described with reference to FIG.
  • FIG. 13 is a diagram for explaining the threshold value setting process performed by the skeleton information determination device 10b in the third embodiment.
  • the process shown in FIG. 13 is executed after the above processes (1) to (3) have been performed.
  • the threshold value setting unit 102b acquires the threshold value of the reliability for the arbitrary joint located between the important joint and the specific joint and the arbitrary joint located between the specific joints by the same method as in the second embodiment. ..
  • the threshold value setting unit 102b refers to an arbitrary joint located between important joints, an arbitrary joint located between the important joint and a specific joint, and an arbitrary joint located between specific joints. Obtain the reliability threshold by linear interpolation.
  • the threshold of reliability for an arbitrary joint located between an important joint and a specific joint and an arbitrary joint located between the specific joints is acquired by linear interpolation. Then, the reliability threshold for any joint located between the important joints is obtained by linear interpolation by setting a predetermined value as a threshold at the intermediate point between the important joints. Then, the skeleton information determination device 10 can automatically determine the quality of the skeleton estimation result of the subject by using the acquired threshold value.
  • the threshold of reliability for any joint located between important joints becomes the same value as the threshold of reliability for important joints.
  • the farther the arbitrary joint is from the important joint the smaller the threshold value set for the important joint is set.
  • the quality of important joints is considered to be more important.
  • the threshold setting unit acquires the threshold value of the reliability for the arbitrary joint located between the important joint and the specific joint and the arbitrary joint located between the specific joints by linear interpolation, and obtains the threshold value for the important joint.
  • a preset predetermined value is set as a threshold value of reliability for any joint located between them.
  • FIG. 14 is a schematic block diagram showing the configuration of the skeleton information determination device 10c according to the fourth embodiment.
  • the skeleton information determination device 10c is configured by using an information processing device such as a smartphone, a mobile phone, a tablet terminal, a notebook computer, or a personal computer.
  • the skeleton information determination device 10c includes a CPU, a memory, an auxiliary storage device, and the like connected by a bus, and executes a determination program. By executing the determination program, the skeleton information determination device 10c functions as a device including a joint information input unit 101, a threshold setting unit 102c, an image input unit 103, a subject detection unit 104, a skeleton estimation unit 105, and a determination unit 106.
  • All or part of each function of the skeleton information determination device 10c may be realized by using hardware such as ASIC, PLD, and FPGA. Further, the determination program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a flexible disk, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the determination program may be transmitted and received via a telecommunication line.
  • the skeleton information determination device 10c is different in configuration from the skeleton information determination device 10a in that it includes a threshold value setting unit 102c instead of the threshold value setting unit 102a.
  • the skeleton information determination device 10c is the same as the skeleton information determination device 10a in other configurations. Therefore, the description of the entire skeleton information determination device 10c will be omitted, and the threshold value setting unit 102c will be described.
  • the threshold value setting unit 102c acquires the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101, and the determination unit 106 determines the threshold value of the reliability of each of the acquired joints. Set to the threshold value used for processing. More specifically, the threshold value setting unit 102c acquires the threshold value of the reliability for the arbitrary joint located between the important joint and the specific joint and the arbitrary joint located between the specific joints by linear interpolation, and obtains the threshold value for the important joint. A preset predetermined value is set as a threshold value of reliability for any joint located between them. Then, the threshold value setting unit 102c sets the threshold value of the reliability of each acquired joint to the threshold value used for the determination process performed by the determination unit 106.
  • the threshold setting unit 102c sets the reliability threshold creq for important joints and the reliability threshold cmin for specific joints for each joint according to the preconditions (1) to (3) above. Set to the joint point corresponding to. After that, the threshold value setting unit 102c sets the reliability threshold value at the joint point corresponding to another arbitrary joint for which the reliability threshold value is not set.
  • FIG. 15 is a flowchart showing the flow of the threshold value setting process of the skeleton information determination device 10c according to the fourth embodiment.
  • the same processing as in FIG. 2 is designated by the same reference numerals as in FIG. 2, and the description thereof will be omitted.
  • the threshold value setting unit 102c sets the threshold value of the reliability of each joint based on the joint information output from the joint information input unit 101 (step S501). A specific process of the threshold value setting unit 102c will be described with reference to FIG.
  • FIG. 16 is a diagram for explaining the threshold value setting process performed by the skeleton information determination device 10c in the fourth embodiment.
  • the process shown in FIG. 16 is executed after the above processes (1) to (3) have been performed.
  • the threshold setting unit 102b sets the reliability threshold cmin at the joint point corresponding to the sandwiched arbitrary joint.
  • the threshold value setting unit 102c acquires the threshold value of the reliability for the arbitrary joint located between the important joint and the specific joint and the arbitrary joint located between the specific joints by the same method as in the second embodiment. .. By this process, the threshold value setting unit 102c acquires a threshold value smaller than the threshold value set for the important joint as the distance from the important joint increases for any joint located between the important joint and the specific joint. ..
  • the threshold value of reliability for an arbitrary joint located between an important joint and a specific joint and an arbitrary joint located between the specific joints is acquired by linear interpolation. Then, a predetermined value set in advance is set as a threshold value of reliability for any joint located between important joints. Then, the skeleton information determination device 10 can automatically determine the quality of the skeleton estimation result of the subject by using the set threshold value.
  • FIG. 17 is a diagram for explaining the difference in the threshold setting method between the present invention and the prior art.
  • the reliability thresholds set at the joint points corresponding to the arbitrary joints were all fixed values. In such a case, the skeletal information is deleted when the estimation result of the reliability of the joint, which is not particularly important, is low.
  • the reliability threshold is obtained by linear interpolation based on the distance from the important joint. The points to be emphasized differ between the second embodiment and the fourth embodiment. Therefore, these methods can be used according to the application scene. As a result, convenience can be improved.
  • the threshold setting units 102, 102a, 102b, 102c have shown a configuration in which one threshold value creq of reliability is set for the joint points of important joints, but it is not necessary to be limited to this. Absent.
  • the threshold setting units 102, 102a, 102b, 102c may be configured to set a plurality of reliability thresholds creq for the joint points of important joints.
  • the joint information input unit 101 receives input of a plurality of reliability thresholds creq from the user for each important joint.
  • the threshold setting units 102, 102a, 102b, and 102c set a plurality of reliability threshold creqs input by the joint information input unit 101 for the joint points of important joints.
  • Some functional parts included in the skeleton information determination devices 10, 10a, 10b, and 10c may be mounted on another device.
  • the joint information input unit 101 and the threshold value setting units 102, 102a, 102b, 102c included in the skeleton information determination devices 10, 10a, 10b, 10c may be provided in another housing as the skeleton information threshold value setting device.
  • the skeletal information determination devices 10, 10a, 10b, and 10c acquire a reliability threshold value for each joint output from the skeletal information threshold value setting device, and input using the acquired threshold value.
  • the skeleton information threshold setting device may be a server provided on the cloud, or may be provided at a place different from the place where the skeleton information determination device 10 is provided.
  • the present invention can be applied to the state estimation of a subject using skeleton information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

被写体の複数の関節における重要関節及び重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力部と、入力された重要関節及び重要関節に対する信頼度の閾値に基づいて、重要関節を含む被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定部と、を備える骨格情報閾値設定装置。

Description

骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム
　本発明は、骨格情報判定装置、骨格情報判定方法及びコンピュータプログラムに関する。
　従来、画像から得られる人体の骨格情報に基づいて、撮像されている人物の状態（例えば、人物の姿勢）を解析することが行われている（例えば、非特許文献１及び２参照）。例えば、非特許文献１に開示された技術では、静止画像（動画像の場合は各フレーム）から、人体の各関節点ｎ（ｎは１～Ｎ、Ｎは関節の総数）の２次元のＸＹ座標（ｘｎ，ｙｎ）及び信頼度（confidence score）ｃｎ（０≦ｃｎ≦１）を骨格情報として得ることができる。信頼度ｃｎの値は、１に近いほど推定結果の信頼度が高く、逆に０に近いほど推定結果の信頼度が低いことを表している。
　図１８は人体の各関節点の一例を示す図であり、図１９はあるフレームにおける骨格情報の一例を示す図である。
　図１８に示す例では、人体の関節点として１４個の関節点が示されている。そして、図１９に示す例では、関節点ｎ＝１～１４それぞれに対応付けられた２次元のＸＹ座標（ｘ１，ｙ１）～（ｘ１４，ｙ１４）及び信頼度ｃ１～ｃ１４が示されている。
　従来では、上記のように得られた骨格情報の推定結果を用いて、画像に撮像されている人物の状態（例えば、人物の姿勢）を解析していた。
Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", <URL: https://arxiv.org/abs/1611.08050>, arXiv:1611.08050v2 [cs.CV] 14 Apr 2017 "CMU-Perceptual-Computing-Lab/openpose", <URL:https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/output.md>
　しかしながら、必ずしも各関節点の推定された位置が正しいとは限らず、各関節点を誤認識したり、取得できないケースが発生する。以下の説明では、関節点を誤認識するケースを、骨格推定誤りと称する。骨格推定誤りや骨格情報を取得できないケースでは、状態解析を行っても正確な状態解析ができない。以下の説明では、このような正確な状態解析ができないケースを、状態解析誤りと称する。そのため、従来では、予め目視により骨格推定結果の良否を判定し、状態解析に用いることができない画像を手動で除去（クレンジング）する必要があった。このような手動によるクレンジングは、ユーザに作業上の稼働負担と、そのための作業時間がかかってしまい、リアルタイム処理が困難となってしまう。そこで、自動で被写体の骨格推定結果の良否を判定することができる技術が求められている。
　上記事情に鑑み、本発明は、被写体の骨格推定結果の良否を判定することができる技術の提供を目的としている。
　本発明の一態様は、被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力部と、入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定部と、を備える骨格情報閾値設定装置である。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節からの距離に基づいて前記重要関節以外の関節の閾値を取得する。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記被写体の複数の関節のうち前記重要関節に対して、前記重要関節以外の関節に設定する閾値以上の閾値を設定する。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節からの距離が遠い関節ほど、前記重要関節に設定する閾値よりも小さい閾値を設定する。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節間に位置する前記重要関節以外の関節、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得する。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を、前記重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。
　本発明の一態様は、上記の骨格情報閾値設定装置であって、前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に挟まれる前記重要関節以外の関節に対する信頼度の閾値として、予め設定される所定の値を設定する。
　本発明の一態様は、被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力ステップと、入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定ステップと、を有する骨格情報閾値設定方法である。
　本発明の一態様は、上記の骨格情報閾値設定装置としてコンピュータを機能させるためのコンピュータプログラムである。
　本発明により、被写体の骨格推定結果の良否を判定することが可能となる。
第１の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第１の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第１の実施形態における閾値設定部の処理の概要を説明するための図である。 第１の実施形態における閾値設定部の処理の概要を説明するための図である。 第１の実施形態における骨格情報判定装置の判定処理の流れを示すフローチャートである。 骨格推定部による推定結果の一例を示す図である。 第２の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第２の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第２の実施形態における閾値設定部の処理の概略を説明するための図である。 第２の実施形態における閾値設定部の処理の概略を説明するための図である。 第３の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第３の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第３の実施形態における骨格情報判定装置が行う閾値設定処理を説明するための図である。 第４の実施形態における骨格情報判定装置の構成を表す概略ブロック図である。 第４の実施形態における骨格情報判定装置の閾値設定処理の流れを示すフローチャートである。 第４の実施形態における骨格情報判定装置が行う閾値設定処理を説明するための図である。 本発明と従来技術との閾値の設定方法の違いを説明するための図である。 人体の各関節点の一例を示す図である。 あるフレームにおける骨格情報の一例を示す図である。
　以下、本発明の一実施形態を、図面を参照しながら説明する。
（概要）
　まず本発明における骨格情報判定装置の概要について説明する。
　本発明における骨格情報判定装置は、入力された画像に撮像されている被写体の骨格情報を推定し、推定した骨格情報に基づいて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。より具体的には、まず骨格情報判定装置は、予めユーザに設定された関節情報を入力する。関節情報とは、被写体の関節に関する情報である。例えば、関節情報には、骨格情報で示される被写体の関節における重要な関節（以下「重要関節」という。）と、重要ではない関節（以下「任意関節」という。）の種別情報と、重要関節に対する信頼度の閾値ｃｒｅｑと、任意関節のうち特定の関節に対する信頼度の閾値ｃｍｉｎとが含まれる。ここで、任意関節のうち特定の関節は、重要関節以外でユーザにより予め信頼度の閾値が設定される関節である。例えば、特定の関節は、手首や足首のように被写体の端に位置する関節や、首や腰の中央である。信頼度の閾値とは、骨格情報の推定結果として得られる信頼度の良否を判定するために用いられる閾値である。
　重要関節に対する信頼度の閾値ｃｒｅｑは、０～１の間でより高い値が設定される。以下の説明においては、重要関節に対する信頼度の閾値ｃｒｅｑを０．９として説明する。特定の関節に対する信頼度の閾値ｃｍｉｎは、０～１の間でより低い値が設定される。以下の説明においては、特定の関節に対する信頼度の閾値ｃｍｉｎを０．２として説明する。
　ＯｐｅｎＰｏｓｅを実際に動作させて信頼度を確認した結果、画像３０例と、それらの画像から得られた骨格情報の範囲内では、ある程度正しい関節点の座標が得られている際には、０．７～０．８以上の信頼度の値が出力されていた。
　次に、関節の一部が見えないようなセルフオクルージョン（例えば、人を右横から見たときの左側で、右側から人間が推測できる程度）などでは、信頼度の値が０．４～０．６程度にとどまる傾向が見受けられる。
　さらに、明らかに位置がずれる誤検知のケースや、セルフオクリュージョンでも人間でも推測が難しいようなケースでは、信頼度の値が０．２以下（今回確認した範囲での一例ではあるが、信頼度の値が０．２付近では、右手首を左手首と間違えるレベルである。さらに、信頼度の値が０．１以下だと、背景の別の部分と間違えるとより下がるようなケースがあった）となり、最終的に未検出の関節の場合は信頼度の値が０となる。
　上記より、重要関節に対する信頼度の閾値ｃｒｅｑは、０．７～０．８程度を設定することがよい。なお、特に重要な場合は、０．９程度としても良いが、その場合は撮影環境（より骨格情報の信頼度が得られやすい）と合わせて考慮、設定する必要がある。
　逆に、重要関節に対する信頼度の閾値ｃｒｅｑがあまりに高い（例えば、０．９程度）と、実用上問題無いと経験上思われる０．８程度の信頼度が得られていても、除去されるケースが増えてしまう。そのため、重要関節に対する信頼度の閾値ｃｒｅｑは、撮影環境などに合わせて適宜設定されることが望ましい。
　特定の関節に対する信頼度の閾値ｃｍｉｎについては、解析上影響が少ない場合は、明らかに誤りが認められる０～０．２程度とすることで、できるだけ骨格情報を利用する（除却しない）ことが望ましい。一方で、次の解析での誤差伝搬（状態解析誤り）防止を重視し、非常に信頼度の低い関節点の影響を懸念するようであれば、特定の関節に対する信頼度の閾値ｃｍｉｎを０．４～０．６（一例ではあるが例えばセルフオクルージョンの誤差程度は認める）として、骨格情報の精度を確保することが望ましい。
　次に、骨格情報判定装置は、入力した関節情報に基づいて、各関節それぞれの信頼度の閾値を、骨格情報における各関節に対応する関節点に設定する。次に、骨格情報判定装置は、設定した各関節それぞれの信頼度の閾値と、従来技術により求められた骨格情報の各関節それぞれの信頼度とを比較する。この際、骨格情報判定装置は、同じ関節の信頼度と閾値とを比較する。そして、骨格情報判定装置は、各関節のうち１つでも信頼度が閾値を下回った場合には、入力された画像から得られた骨格情報を被写体の状態推定に用いないと判定する。
　以上の処理により、骨格情報判定装置は、被写体の骨格推定結果の良否を自動的に判定する。以下、骨格情報判定装置の具体的な構成について説明する。
（第１の実施形態）
　図１は、第１の実施形態における骨格情報判定装置１０の構成を表す概略ブロック図である。
　骨格情報判定装置１０は、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０は、関節情報入力部１０１、閾値設定部１０２、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。
　関節情報入力部１０１は、ユーザから関節情報の入力を受け付ける。例えば、関節情報入力部１０１は、被写体の複数の関節における重要関節、重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎの入力を受け付ける。本実施形態において被写体は、人物を例に説明するが、骨格もしくは関節を有する「生物」であれば人物に限定されない。関節情報入力部１０１は、入力された関節情報を閾値設定部１０２に出力する。重要関節に対する信頼度の閾値ｃｒｅｑは、任意関節の信頼度の閾値以上の値が割り当てられる。特定の関節に対する信頼度の閾値ｃｍｉｎは、他の関節（重要関節及び他の任意関節）の信頼度の閾値を含めて最も低い値が割り当てられる。
　閾値設定部１０２は、関節情報入力部１０１から出力された関節情報に基づいて、被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う被写体の骨格推定結果の判定に用いる閾値として設定する。
　画像入力部１０３は、状態推定の対象となる画像の入力を受け付ける。画像入力部１０３は、例えばＣＤ－ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１０３は、スチルカメラやビデオカメラによって撮像された画像をカメラから受信しても良い。また、画像入力部１０３は、ネットワーク上から画像のデータを受信しても良い。画像入力部１０３に入力される画像は、静止画像であってもよいし、動画像におけるフレームであってもよい。画像入力部１０３は、入力した画像を被写体検出部１０４に出力する。
　被写体検出部１０４は、画像入力部１０３から出力された画像を入力する。被写体検出部１０４は、入力した画像から被写体を検出する。被写体検出部１０４が検出する被写体は、例えば人物である。被写体検出部１０４は、検出結果を骨格推定部１０５に出力する。
　骨格推定部１０５は、被写体検出部１０４から出力された検出結果を入力する。骨格推定部１０５は、入力した検出結果に基づいて、被写体の骨格の各関節の位置の推定及び推定位置の信頼度を推定する。骨格推定部１０５は、推定結果を判定部１０６に出力する。推定結果には、被写体の骨格の各関節の位置及び推定位置の信頼度の情報が含まれる。
　判定部１０６は、閾値設定部１０２により設定された各関節それぞれの信頼度の閾値と、骨格推定部１０５から出力された推定結果とを入力する。判定部１０６は、入力した閾値と、推定結果とに基づいて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。
　図２は、第１の実施形態における骨格情報判定装置１０の閾値設定処理の流れを示すフローチャートである。
　関節情報入力部１０１は、関節情報を入力する（ステップＳ１０１）。具体的には、関節情報入力部１０１は、被写体の複数の関節における重要関節、重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎの入力を受け付ける。関節情報入力部１０１は、入力した関節情報を閾値設定部１０２に出力する。閾値設定部１０２は、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ１０２）。
　図３及び図４は、第１の実施形態における閾値設定部１０２の処理の概要を説明するための図である。
　図３に示すように、重要関節に対応する関節点はｎ＝１，４，７及び８であり、任意関節に対応する関節点はｎ＝２，３，５，６，９～１１及び１２～１４である。任意関節のうち、特定の関節に対応する関節点がｎ＝１１及び１４とする。そして、ユーザから重要関節に対する信頼度の閾値ｃｒｅｑとして０．９、特定の関節に対する信頼度の閾値ｃｍｉｎとして０．２が入力されたとする。この場合、閾値設定部１０２は、図４に示すように、重要関節に対応する関節点はｎ＝１，４，７及び８に信頼度の閾値ｃｒｅｑとして０．９を設定し、特定の関節に対応する関節点はｎ＝１１及び１４に信頼度の閾値ｃｍｉｎとして０．２を設定する。
　上記のような設定がなされると、閾値設定部１０２は信頼度の閾値が設定されていない他の任意関節に対応する関節点ｎ＝２，３，５，６，９，１０，１２及び１３に閾値を計算して設定する。閾値設定部１０２は、重要関節からの距離に基づいて、信頼度の閾値が設定されていない他の任意関節に対応する関節点ｎ＝２，３，５，６，９，１０，１２及び１３の閾値を取得する。例えば、閾値設定部１０２は、線形補間により閾値を取得する。そして、閾値設定部１０２は、取得した閾値を各関節点に設定する。
　図５は、第１の実施形態における骨格情報判定装置１０の判定処理の流れを示すフローチャートである。図５では、骨格情報判定装置１０に動画像が入力された場合を例に説明する。さらに、図５では、閾値設定部１０２により信頼度の閾値が設定されているものとする。
　画像入力部１０３は、時刻ｔのフレームを入力する（ステップＳ２０１）。画像入力部１０３は、入力したフレームを被写体検出部１０４に出力する。被写体検出部１０４は、画像入力部１０３から出力されたフレームを入力する。被写体検出部１０４は、入力したフレームから被写体を検出する（ステップＳ２０２）。被写体の検出方法は、従来技術が用いられてもよい。例えば、被写体検出部１０４は、Ｙｏｌｏの技術を用いることによって、フレームから被写体を検出してもよい。被写体検出部１０４は、フレームから被写体を含む領域を抽出して部分領域画像を生成する。被写体検出部１０４は、生成した部分領域画像を骨格推定部１０５に出力する。
　骨格推定部１０５は、被写体検出部１０４から出力された部分領域画像を検出結果として入力する。骨格推定部１０５は、入力した部分領域画像から被写体の各関節点を含む骨格情報として、関節点ｎ（ｎは１～Ｎ、Ｎは関節の総数）の画像内における２次元のｘｙ座標及び各関節における信頼度ｃｎを推定する（ステップＳ２０３）。骨格推定部１０５による推定結果を図６に示す。骨格推定部１０５は、推定結果を判定部１０６に出力する。
　判定部１０６は、閾値設定部１０２により設定された各関節それぞれの信頼度の閾値と、骨格推定部１０５から出力された推定結果とを入力する。判定部１０６は、関節点ｎの値に０を代入して初期化する（ステップＳ２０４）。次に、判定部１０６は、関節点ｎの値に１を加算する（ステップＳ２０５）。次に、判定部１０６は、関節点ｎの値で示される関節の信頼度の推定結果が、閾値ｔｈｎ以上であるか否かを判定する（ステップＳ２０６）。例えば、ｎが１の場合、判定部１０６は、首の関節の信頼度の推定結果（図６では、０．９）が、首の関節の信頼度の閾値ｔｈ１以上であるか否かを判定する。
　関節点ｎで示される関節の信頼度の推定結果が、閾値ｔｈｎ以上である場合（ステップＳ２０６－ＹＥＳ）、判定部１０６はｎ＝Ｎであるか否かを判定する（ステップＳ２０７）。ｎ＝Ｎである場合（ステップＳ２０７－ＹＥＳ）、判定部１０６は時刻ｔのフレームを利用すると判定する（ステップＳ２０８）。その後、判定部１０６は終了条件が満たされたか否かを判定する（ステップＳ２０９）。終了条件は、骨格情報判定装置１０による判定処理を終了するための条件である。終了条件は、例えばユーザによって終了の指示が骨格情報判定装置１０に入力されることであってもよいし、骨格情報判定装置１０に入力された画像全てに対して処理が行われたことであってもよい。
　終了条件が満たされた場合（ステップＳ２０９－ＹＥＳ）、骨格情報判定装置１０は判定処理を終了する。
　一方、終了条件が満たされていない場合（ステップＳ２０９－ＮＯ）、画像入力部１０３は次の時刻のフレーム（例えば、ｔ＝ｔ＋１の時刻のフレーム）を入力する（ステップＳ２１０）。その後、ステップＳ２０２以降の処理が実行される。
　ステップＳ２０７の処理において、ｎ＝Ｎではない場合（ステップＳ２０７－ＮＯ）、判定部１０６はステップＳ２０５の処理を実行する。
　ステップＳ２０６の処理において、関節点ｎで示される関節の信頼度の推定結果が、閾値ｔｈｎ未満である場合（ステップＳ２０６－ＮＯ）、判定部１０６は時刻ｔのフレームを利用しないと判定する（ステップＳ２１１）。その後、判定部１０６はステップＳ２０９の処理を実行する。
　以上のように構成された骨格情報判定装置１０によれば、被写体の複数の関節における重要関節及び重要関節に対する信頼度の閾値ｃｒｅｑの入力を受け付け、入力された重要関節及び重要関節に対する信頼度の閾値ｃｒｅｑに基づいて、重要関節を含む被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を被写体の骨格推定結果の判定に用いる閾値として設定する。そして、骨格情報判定装置１０は、設定された閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。
　また、画像に撮像されているシーンによっては、全身の骨格情報の信頼度が高くなくても、一部の骨格情報が正しい（信頼度が高い）場合でも良いケースがある。例えば、野球のスイングシーン検出なら重要なのは上半身、転倒やダウンシーン検出なら背骨と下半身等である。本発明では、ユーザによって関節毎に信頼度の閾値を自由に設定することができる。このように、シーンに合わせて閾値を設定することで、シーンに合わせた被写体の骨格推定結果の良否を判定することができる。
（第２の実施形態）
　第２の実施形態では、閾値設定部が、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。
　図７は、第２の実施形態における骨格情報判定装置１０ａの構成を表す概略ブロック図である。
　骨格情報判定装置１０ａは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ａは、関節情報入力部１０１、閾値設定部１０２ａ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。
　骨格情報判定装置１０ａは、閾値設定部１０２に代えて閾値設定部１０２ａを備える点で骨格情報判定装置１０と構成が異なる。骨格情報判定装置１０ａは、他の構成については骨格情報判定装置１０と同様である。そのため、骨格情報判定装置１０ａ全体の説明は省略し、閾値設定部１０２ａについて説明する。
　閾値設定部１０２ａは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ａは、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。そして、閾値設定部１０２ａは、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。
　閾値設定部１０２ａは、以下の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ａは、信頼度の閾値が設定されていない他の任意関節に対する信頼度の閾値を他の任意関節に対応する関節点に設定する。
（１）重要関節に対応する関節点に、関節情報に含まれる重要関節の閾値ｃｒｅｑを設定
（２）特定の関節に対応する関節点に、関節情報に含まれる特定の関節の閾値ｃｍｉｎを設定
（３）分岐のある首（関節点ｎ＝１）又は腰中央（関節点ｎ＝８）のいずれかが任意関節である場合には、挟まれている経路が途中で分岐しないように、任意関節である首（関節点ｎ＝１）又は腰中央（関節点ｎ＝８）に信頼度の閾値ｃｍｉｎを設定
　ここで、（３）を設定する理由について説明する。例えば、関節点ｎ＝１０の閾値を決定する際、下方向（関節点ｎ＝１１側）は一意に決定するが、上方向（関節点ｎ＝９側）をたどると、関節点ｎ＝８の関節で分岐（関節点ｎ＝１又は関節点ｎ＝１２）が発生する。このような分岐を防止する目的で、分岐のある関節が任意関節である場合には、閾値設定部１０２ａは、（２）における特定の関節に対応する関節点に信頼度の閾値ｃｍｉｎを設定する。
　図８は、第２の実施形態における骨格情報判定装置１０ａの閾値設定処理の流れを示すフローチャートである。図８において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
　ステップＳ１０１の処理後、閾値設定部１０２ａは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ３０１）。図９及び図１０を用いて、閾値設定部１０２ａの具体的な処理について説明する。
　図９及び図１０は、第２の実施形態における閾値設定部１０２ａの処理の概略を説明するための図である。なお、図９及び図１０に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図９では、重要関節と、特定の関節との間に位置する任意関節に対する信頼度の閾値を、重要関節と特定の関節との間に位置する任意関節に対応する関節点に設定する処理について説明する。図１０では、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間に位置する任意関節に対応する関節点に設定する処理について説明する。
　まず図９を用いて、任意関節に対する信頼度の閾値を、重要関節と特定の関節との間に位置する任意関節に対応する関節点に設定する処理について説明する。
　図９に示すように、重要関節に対応する関節点ｎ＝８に信頼度の閾値として０．９、特定の関節に対応する関節点ｎ＝１１に信頼度の閾値として０．２が設定されている場合、閾値設定部１０２ａは以下のようにして任意関節に対応する関節点ｎ＝９及び１０の信頼度の閾値を取得する。ここでは、一例として関節点ｎ＝１０の信頼度の閾値を取得する例を説明する。関節点ｎ＝１１とｎ＝１０の距離及び関節点ｎ＝１０とｎ＝９の距離を２、関節点ｎ＝９とｎ＝８の距離を１とする。この場合、閾値設定部１０２ａは（０．９－０．２）＊２／５＋０．２＝０．４８として関節点ｎ＝１０の信頼度の閾値を取得する。
　次に図１０を用いて、任意関節に対する信頼度の閾値を設定する処理について説明する。
　図１０に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ａは以下のようにして重要関節間に位置する任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。具体的には、重要関節に対応する関節点ｎ＝１及び４は同じ値であるため、重要関節間に位置する任意関節に対応する関節点ｎ＝２及び３においても信頼度の閾値として０．９が設定される。
　閾値設定部１０２ａは、上記のような処理を行うことによって、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。
　以上のように構成された骨格情報判定装置１０ａによれば、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。そして、骨格情報判定装置１０は、取得した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。
（第３の実施形態）
　第２の実施形態では、重要関節間に挟まれた任意関節に対する信頼度の閾値が重要関節に対応する関節点に設定される閾値と同じ値に設定されてしまう。そこで、第３の実施形態では、閾値設定部が、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。
　図１１は、第３の実施形態における骨格情報判定装置１０ｂの構成を表す概略ブロック図である。
　骨格情報判定装置１０ｂは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ｂは、関節情報入力部１０１、閾値設定部１０２ｂ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。
　骨格情報判定装置１０ｂは、閾値設定部１０２に代えて閾値設定部１０２ｂを備える点で骨格情報判定装置１０と構成が異なる。骨格情報判定装置１０ｂは、他の構成については骨格情報判定装置１０と同様である。そのため、骨格情報判定装置１０ｂ全体の説明は省略し、閾値設定部１０２ｂについて説明する。
　閾値設定部１０２ｂは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ｂは、重要関節間の任意の関節に対応する関節点においては、基準となる重要関節から距離が離れるほど低い閾値を設定する。ここで、基準となる重要関節は、任意の関節を挟む重要関節のうち、上流側（例えば、頭に近い方）に位置する重要関節とする。例えば、図３に示すように、重要関節に対応する関節点が関節点ｎ＝１及び４である場合、基準となる重要関節は関節点ｎ＝１となる。なお、基準となる重要関節は、上流側に限らず下流側（例えば、足に近い方）に位置する重要関節であってもよい。
　閾値設定部１０２ｂは、第２の実施形態と同様に、上記の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ｂは、信頼度の閾値が設定されていない他の任意関節に対応する関節点に信頼度の閾値を設定する。
　図１２は、第３の実施形態における骨格情報判定装置１０ｂの閾値設定処理の流れを示すフローチャートである。図１２において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
　ステップＳ１０１の処理後、閾値設定部１０２ｂは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ４０１）。図１３を用いて、閾値設定部１０２ｂの具体的な処理について説明する。
　図１３は、第３の実施形態における骨格情報判定装置１０ｂが行う閾値設定処理を説明するための図である。なお、図１３に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図１３に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ｂは以下のようにして任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。
　具体的には、閾値設定部１０２ｂは、重要関節間に挟まれても、重要関節から距離が離れるほど任意関節に対する信頼度の閾値を下げる。関節点ｎ＝４とｎ＝３の距離及び関節点ｎ＝３とｎ＝２の距離を２、関節点ｎ＝２とｎ＝１の距離を１とする。ここで、最低の信頼度の閾値を確保するため、閾値設定部１０２ｂは重要関節間の中間地点（この場合は、関節点ｎ＝１又はｎ＝４から距離２．５の地点）に信頼度の閾値ｃｍｉｎを設定する。そして、閾値設定部１０２ｂは関節点ｎ＝２の信頼度の閾値ｔｈ２及び関節点ｎ＝３の信頼度の閾値ｔｈ３を線形補間により以下のように算出する。
閾値ｔｈ２＝（０．９－０．２）×１．５／２．５＋０．２＝（０．９－０．２）×３／５＋０．２＝０．６２
閾値ｔｈ３＝（０．９－０．２）×２／５＋０．２＝０．４８
　上記の説明では、重要関節間に位置する任意関節に対する信頼度の閾値を取得する構成を示した。閾値設定部１０２ｂは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値については、第２の実施形態と同様の手法により取得する。
　閾値設定部１０２ｂは、上記のような処理を行うことによって、重要関節間に位置する任意関節、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得する。
　以上のように構成された骨格情報判定装置１０ｂによれば、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値を、重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する。そして、骨格情報判定装置１０は、取得した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。
　特に、第２の実施形態では、重要関節間に位置する任意関節に対する信頼度の閾値が、重要関節に対する信頼度の閾値と同じ値になってしまう。これに対し、第３の実施形態では重要関節からの距離が遠い任意関節ほど、重要関節に設定する閾値よりも小さい閾値が設定される。このように第３の実施形態では、重要関節の品質をより重要と考えている。
（第４の実施形態）
　第４の実施形態では、閾値設定部が、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。
　図１４は、第４の実施形態における骨格情報判定装置１０ｃの構成を表す概略ブロック図である。
　骨格情報判定装置１０ｃは、例えばスマートフォン、携帯電話、タブレット端末、ノートパソコン、パーソナルコンピュータ等の情報処理装置を用いて構成される。骨格情報判定装置１０ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、判定プログラムを実行する。判定プログラムの実行によって、骨格情報判定装置１０ｃは、関節情報入力部１０１、閾値設定部１０２ｃ、画像入力部１０３、被写体検出部１０４、骨格推定部１０５、判定部１０６を備える装置として機能する。なお、骨格情報判定装置１０ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、判定プログラムは、電気通信回線を介して送受信されてもよい。
　骨格情報判定装置１０ｃは、閾値設定部１０２ａに代えて閾値設定部１０２ｃを備える点で骨格情報判定装置１０ａと構成が異なる。骨格情報判定装置１０ｃは、他の構成については骨格情報判定装置１０ａと同様である。そのため、骨格情報判定装置１０ｃ全体の説明は省略し、閾値設定部１０２ｃについて説明する。
　閾値設定部１０２ｃは、関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。より具体的には、閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。そして、閾値設定部１０２ｃは、取得した各関節それぞれの信頼度の閾値を判定部１０６が行う判定処理に用いる閾値に設定する。
　閾値設定部１０２ｃは、第２の実施形態と同様に、上記の（１）～（３）の前提条件により重要関節に対する信頼度の閾値ｃｒｅｑ及び特定の関節に対する信頼度の閾値ｃｍｉｎを各関節それぞれに対応する関節点に設定する。その後、閾値設定部１０２ｃは、信頼度の閾値が設定されていない他の任意関節に対応する関節点に信頼度の閾値を設定する。
　図１５は、第４の実施形態における骨格情報判定装置１０ｃの閾値設定処理の流れを示すフローチャートである。図１５において、図２と同様の処理については図２と同様の符号を付して説明を省略する。
　ステップＳ１０１の処理後、閾値設定部１０２ｃは関節情報入力部１０１から出力された関節情報に基づいて、各関節それぞれの信頼度の閾値を設定する（ステップＳ５０１）。図１６を用いて、閾値設定部１０２ｃの具体的な処理について説明する。
　図１６は、第４の実施形態における骨格情報判定装置１０ｃが行う閾値設定処理を説明するための図である。なお、図１６に示す処理は、上記の（１）～（３）の処理が行われた後に実行される。図１６に示すように、重要関節に対応する関節点ｎ＝１及び４に信頼度の閾値として０．９が設定されている場合、閾値設定部１０２ｃは以下のようにして任意関節に対応する関節点ｎ＝２及び３の信頼度の閾値を取得する。
　具体的には、閾値設定部１０２ｂは、重要関節間に挟まれたら、挟まれている任意関節に対応する関節点に信頼度の閾値ｃｍｉｎを設定する。本実施形態では、信頼度の閾値ｃｍｉｎを０．２としているため、閾値設定部１０２ｂは、任意関節に対応する関節点ｎ＝２及び３に信頼度の閾値として０．２を設定する。これは、重要関節間に挟まれた場合、重要関節が、任意関節の両端に配置されるため距離に関係なく重要度は低いと考え、最低の信頼度の確保のみ行うこととする。
　上記の説明では、重要関節間に位置する任意関節に対する信頼度の閾値を取得する構成を示した。閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値については、第２の実施形態と同様の手法により取得する。この処理により、閾値設定部１０２ｃは、重要関節と特定の関節との間に位置する任意関節については、重要関節からの距離が遠い関節ほど、重要関節に設定する閾値よりも小さい閾値を取得する。
　以上のように構成された骨格情報判定装置１０ｃによれば、重要関節と特定の関節との間に位置する任意関節及び特定の関節間に位置する任意関節に対する信頼度の閾値を線形補間により取得し、重要関節間に位置する任意関節に対する信頼度の閾値として、予め設定される所定の値を設定する。そして、骨格情報判定装置１０は、設定した閾値を用いることによって、自動的に被写体の骨格推定結果の良否を判定することが可能になる。
　図１７は、本発明と従来技術との閾値の設定方法の違いを説明するための図である。
　図１７に示すように、従来技術では、任意関節に対応する関節点に設定される信頼度の閾値が全て固定値であった。このよう場合、特に重要ではない関節の信頼度の推定結果が低い場合に骨格情報が削除されてしまう。一方、本発明では、重要関節からの距離に基づいて線形補間により信頼度の閾値を取得する。第２の実施形態から第４の実施形態では重視するポイントがそれぞれ異なる。そのため、これらの手法を適用シーンに合わせて利用することができる。その結果、利便性を向上させることができる。
（第１の実施形態から第４の実施形態に共通する変形例）
　上記の各実施形態では、閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃが、重要関節の関節点に対して信頼度の閾値ｃｒｅｑを１つ設定する構成を示したが、これに限定される必要はない。例えば、閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃは、重要関節の関節点に対して複数の信頼度の閾値ｃｒｅｑを設定するように構成されてもよい。このように構成される場合、関節情報入力部１０１は、ユーザから複数の信頼度の閾値ｃｒｅｑの入力を重要関節毎に受け付ける。閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃは、関節情報入力部１０１により入力された複数の信頼度の閾値ｃｒｅｑを重要関節の関節点に対して設定する。
　骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃが備える一部の機能部は別の装置に実装されてもよい。例えば、骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃが備える関節情報入力部１０１及び閾値設定部１０２，１０２ａ，１０２ｂ，１０２ｃが骨格情報閾値設定装置として別の筐体に備えてもよい。このように構成される場合、骨格情報判定装置１０，１０ａ，１０ｂ，１０ｃは、骨格情報閾値設定装置から出力される各関節それぞれの信頼度の閾値を取得し、取得した閾値を用いて、入力された画像から得られた骨格情報を被写体の状態推定に利用するか否かを判定する。骨格情報閾値設定装置は、クラウド上に設けられるサーバであってもよいし、骨格情報判定装置１０が設けられる場所と異なる場所に設けられてもよい。
　本発明は、骨格情報を用いた被写体の状態推定に適用できる。
１０，１０ａ，１０ｂ，１０ｃ…骨格情報判定装置，　１０１…関節情報入力部，　１０２，１０２ａ，１０２ｂ，１０２ｃ…閾値設定部，　１０３…画像入力部，　１０４…被写体検出部，　１０５…骨格推定部，　１０６…判定部

Claims (9)

  1. 　被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力部と、
    　入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定部と、
    　を備える骨格情報閾値設定装置。
  2. 　前記閾値設定部は、前記重要関節からの距離に基づいて前記重要関節以外の関節の閾値を取得する、請求項１に記載の骨格情報閾値設定装置。
  3. 　前記閾値設定部は、前記被写体の複数の関節のうち前記重要関節に対して、前記重要関節以外の関節に設定する閾値以上の閾値を設定する、請求項１又は２に記載の骨格情報閾値設定装置。
  4. 　前記閾値設定部は、前記重要関節からの距離が遠い関節ほど、前記重要関節に設定する閾値よりも小さい閾値を設定する、請求項１から３のいずれか一項に記載の骨格情報閾値設定装置。
  5. 　前記閾値設定部は、前記重要関節間に位置する前記重要関節以外の関節、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得する、請求項１から３のいずれか一項に記載の骨格情報閾値設定装置。
  6. 　前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を、前記重要関節間の中間地点に所定の値を閾値として設定して線形補間により取得する、請求項１から４のいずれか一項に記載の骨格情報閾値設定装置。
  7. 　前記閾値設定部は、前記重要関節と予め閾値が定められた任意の関節との間に位置する前記重要関節以外の関節及び予め閾値が定められた任意の関節間に位置する前記重要関節以外の関節に対する信頼度の閾値を線形補間により取得し、前記重要関節間に挟まれる前記重要関節以外の関節に対する信頼度の閾値として、予め設定される所定の値を設定する、請求項１から４のいずれか一項に記載の骨格情報閾値設定装置。
  8. 　被写体の複数の関節における重要関節及び前記重要関節に対する信頼度の閾値の入力を受け付ける関節情報入力ステップと、
    　入力された重要関節及び前記重要関節に対する信頼度の閾値に基づいて、前記重要関節を含む前記被写体の各関節それぞれの信頼度の閾値を取得し、取得した各関節それぞれの信頼度の閾値を前記被写体の骨格推定結果の判定に用いられる閾値として設定する閾値設定ステップと、
    　を有する骨格情報閾値設定方法。
  9. 　請求項１から７のいずれか一項に記載の骨格情報閾値設定装置としてコンピュータを機能させるためのコンピュータプログラム。
PCT/JP2019/019584 2019-05-16 2019-05-16 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム WO2020230335A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/019584 WO2020230335A1 (ja) 2019-05-16 2019-05-16 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム
US17/594,917 US11900707B2 (en) 2019-05-16 2019-05-16 Skeleton information determination apparatus, skeleton information determination method and computer program
JP2021519244A JP7201946B2 (ja) 2019-05-16 2019-05-16 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019584 WO2020230335A1 (ja) 2019-05-16 2019-05-16 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2020230335A1 true WO2020230335A1 (ja) 2020-11-19

Family

ID=73289142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019584 WO2020230335A1 (ja) 2019-05-16 2019-05-16 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11900707B2 (ja)
JP (1) JP7201946B2 (ja)
WO (1) WO2020230335A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080683A (ko) * 2020-12-07 2022-06-14 정영규 A.i. 학습용 자세 데이터 생성을 위한 스켈레톤 어노테이션 시스템의 인터페이스 및 그 방법
WO2022219778A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 体格判定装置及び体格判定方法
WO2023079783A1 (ja) * 2021-11-05 2023-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識方法、行動認識装置、及び行動認識プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900707B2 (en) * 2019-05-16 2024-02-13 Nippon Telegraph And Telephone Corporation Skeleton information determination apparatus, skeleton information determination method and computer program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
JP2017191576A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2018088057A (ja) * 2016-11-28 2018-06-07 コニカミノルタ株式会社 画像認識装置及び画像認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
IL274614B2 (en) * 2017-11-13 2024-05-01 Carmel Haifa Univ Economic Corporation Ltd Motion tracking using multiple 3D cameras
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
US11900707B2 (en) * 2019-05-16 2024-02-13 Nippon Telegraph And Telephone Corporation Skeleton information determination apparatus, skeleton information determination method and computer program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
JP2017191576A (ja) * 2016-04-15 2017-10-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2018088057A (ja) * 2016-11-28 2018-06-07 コニカミノルタ株式会社 画像認識装置及び画像認識方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220080683A (ko) * 2020-12-07 2022-06-14 정영규 A.i. 학습용 자세 데이터 생성을 위한 스켈레톤 어노테이션 시스템의 인터페이스 및 그 방법
KR102680661B1 (ko) 2020-12-07 2024-07-03 정영규 A.i. 학습용 자세 데이터 생성을 위한 스켈레톤 어노테이션 시스템의 인터페이스 및 그 방법
WO2022219778A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 体格判定装置及び体格判定方法
JP7499954B2 (ja) 2021-04-15 2024-06-14 三菱電機株式会社 体格判定装置及び体格判定方法
WO2023079783A1 (ja) * 2021-11-05 2023-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動認識方法、行動認識装置、及び行動認識プログラム

Also Published As

Publication number Publication date
JP7201946B2 (ja) 2023-01-11
US20220309819A1 (en) 2022-09-29
JPWO2020230335A1 (ja) 2020-11-19
US11900707B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
WO2020230335A1 (ja) 骨格情報判定装置、骨格情報判定方法及びコンピュータプログラム
Diego-Mas et al. Using Kinect™ sensor in observational methods for assessing postures at work
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
US9639770B2 (en) System and method for improving communication productivity
WO2018163555A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
JP2008304269A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2005339288A (ja) 画像処理装置及びその方法
JP2019040306A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
KR20210110860A (ko) 인체 측정 데이터 휴대용 획득 장치 및 인체 측정 데이터 수집 방법
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
WO2019156241A1 (ja) 学習装置、推定装置、学習方法、推定方法及びコンピュータプログラム
JP2019040592A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
JP2506500B2 (ja) 画像の動き検出装置
JP2022006708A (ja) 動作認識システム、方法及びプログラム
JP2000207568A (ja) 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体
JP7310206B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007241478A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2019096252A (ja) 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法
JP7124746B2 (ja) 物体の部分位置推定プログラム、物体の部分位置推定用ニューラルネットワーク構造、物体の部分位置推定方法、および物体の部分位置推定装置
RU2789286C2 (ru) Портативное устройство получения антропометрических данных и способ сбора антропометрических данных
US20220398867A1 (en) Information processing apparatus and facial expression determination method
US20230222833A1 (en) Image processing apparatus, image processing method, and storage medium
US20240005554A1 (en) Non-transitory computer-readable recording medium, verification method, and information processing apparatus
WO2021066146A1 (ja) 推定装置、推定方法、推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021519244

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928780

Country of ref document: EP

Kind code of ref document: A1