WO2020070856A1 - 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム - Google Patents

座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム

Info

Publication number
WO2020070856A1
WO2020070856A1 PCT/JP2018/037195 JP2018037195W WO2020070856A1 WO 2020070856 A1 WO2020070856 A1 WO 2020070856A1 JP 2018037195 W JP2018037195 W JP 2018037195W WO 2020070856 A1 WO2020070856 A1 WO 2020070856A1
Authority
WO
WIPO (PCT)
Prior art keywords
joint
coordinate value
coordinate
coordinate values
spatial information
Prior art date
Application number
PCT/JP2018/037195
Other languages
English (en)
French (fr)
Inventor
賢人 山▲崎▼
浩平 岡原
博康 根岸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/037195 priority Critical patent/WO2020070856A1/ja
Publication of WO2020070856A1 publication Critical patent/WO2020070856A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • the present invention relates to a coordinate value integrating device, a coordinate value integrating system, and a coordinate value integrating method for generating integrated coordinate values by integrating a plurality of coordinate values in a plurality of coordinate systems, each indicating a position of a joint of a skeleton of an object.
  • the present invention relates to a method and a coordinate value integration program.
  • Motion capture technology for measuring the position of a skeleton of an object in a three-dimensional space is used in various fields.
  • the object is, for example, a person, an animal, or a machine.
  • information on a space where an object exists is acquired by a spatial information acquisition device.
  • the spatial information acquisition device is, for example, a device including a depth sensor or a camera.
  • Non-Patent Document 1 a system for measuring the position of a skeleton of a target object by using a plurality of spatial information acquisition devices.
  • a device called Microsoft Kinect registered trademark
  • a plurality of coordinate shifts acquired from a plurality of spatial information acquisition devices are corrected based on the installation position of each spatial information acquisition device, and then skeleton information indicating the position of the skeleton of the target object is integrated.
  • Non-Patent Document 1 in order to integrate skeleton information, calibration between frames and the maximum movement distance of each joint per frame are used. Therefore, there is a problem that the accuracy of the position of the joint cannot be improved in the first frame. Also, this system is based on the premise that the positions of joints in past frames are accurate. Therefore, if the position of the joint in the past frame is not accurate, there is a problem that the accuracy of the integrated coordinate value indicating the position of the joint cannot be improved.
  • An object of the present invention is to provide a coordinate value integration device, a coordinate value integration system, a coordinate value integration method, and a coordinate value integration program that can improve the accuracy of integrated coordinate values generated by integrating coordinate values. I do.
  • the coordinate value integrating device is based on a plurality of spatial information in a plurality of coordinate systems, which are generated by detecting or photographing a real space by a space information generating unit, based on the real space.
  • a plurality of first coordinate values based on the plurality of spatial information indicating a position of a first joint of a skeleton of an existing object; and a plurality of first coordinate values indicating a position of a second joint of the skeleton of the object.
  • a joint coordinate value generation unit that generates a plurality of second coordinate values based on spatial information; and a joint corresponding to the second joint from a joint corresponding to the first joint in a predetermined reference skeleton.
  • the reference distance is obtained from a database unit that stores information indicating a reference distance that is a distance to the first joint position from the plurality of first coordinate values and the plurality of second coordinate values. From the position of the second joint to Calculating a plurality of distances corresponding to the plurality of spatial information, and a plurality of reliability indicating a degree of certainty of the plurality of second coordinate values based on a result of comparison between the reference distance and the plurality of distances And a coordinate value integration unit that generates an integrated coordinate value indicating the position of the second joint based on the plurality of second coordinate values and the plurality of reliability values. It is characterized by having.
  • a coordinate value integration system includes a spatial information generation unit that detects or photographs a real space to generate a plurality of pieces of spatial information in a plurality of coordinate systems, and a coordinate value integration device.
  • the coordinate value integrating device may further include: a plurality of first coordinate values based on the plurality of spatial information, each indicating a position of a first joint of a skeleton of the object existing in the real space;
  • a joint coordinate value generation unit that generates a plurality of second coordinate values based on the plurality of spatial information, indicating a position of a second joint of the skeleton; and the first joint in a predetermined reference skeleton.
  • the reference distance is obtained from a database unit that stores information indicating a reference distance that is a distance from the joint corresponding to the second joint to the joint corresponding to the second joint, and the plurality of first coordinate values and the plurality of From the coordinate values of 2, the first joint Calculating a plurality of distances corresponding to the plurality of spatial information from the position to the position of the second joint, and calculating the plurality of second coordinates based on a result of comparison between the reference distance and the plurality of distances
  • a reliability calculating unit that calculates a plurality of reliability indicating a degree of certainty of the value, and an integration indicating a position of the second joint based on the plurality of second coordinate values and the plurality of reliability.
  • a coordinate value integration unit that generates coordinate values.
  • the coordinate value integration method is based on a plurality of pieces of spatial information in a plurality of coordinate systems generated by detecting or photographing a real space by a spatial information generating unit.
  • the reference distance is obtained from a database unit that stores information indicating a reference distance, and the first coordinate value and the second coordinate value are used to calculate the second distance from the position of the first joint.
  • the position of the joint 2 Up to the position of the joint 2 Calculating a plurality of distances corresponding to the spatial information, and calculating a plurality of reliability indicating a degree of certainty of the plurality of second coordinate values based on a result of comparison between the reference distance and the plurality of distances. And generating an integrated coordinate value indicating the position of the second joint based on the plurality of second coordinate values and the plurality of degrees of reliability.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of a coordinate value integrating device according to an embodiment.
  • 5 is a flowchart illustrating an operation of the coordinate value integrating system and the coordinate value integrating device according to the embodiment.
  • FIG. 2 is a diagram showing a human as an object and its main skeleton in the embodiment.
  • FIG. 7 is a diagram for describing an operation example (when a target is a human) of the reliability calculation unit of the coordinate value integrating device according to the embodiment.
  • FIG. 7 is a diagram for describing an operation example (when a target is a human) of the reliability calculation unit of the coordinate value integrating device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of a coordinate value integrating device according to an embodiment.
  • 5 is a flowchart illustrating an operation of the coordinate value integrating system and the coordinate value integrating device according to the embodiment.
  • FIG. 2 is a diagram showing a human as an object and its main
  • FIG. 3 is a diagram illustrating a machine as an object and a main skeleton thereof according to the embodiment.
  • FIG. 11 is a diagram for describing another operation example (when the object is a machine) of the reliability calculation unit of the coordinate value integrating device according to the embodiment.
  • FIG. 11 is a diagram for describing another operation example (when the object is a machine) of the reliability calculation unit of the coordinate value integrating device according to the embodiment.
  • FIG. 1 is a diagram schematically showing a configuration of a coordinate value integrating system 1 and a coordinate value integrating device 10 according to an embodiment of the present invention.
  • the coordinate value integration system 1 includes a spatial information generation unit 5 and a coordinate value integration device 10.
  • the coordinate value integration system 1 generates an integrated coordinate value by integrating a plurality of coordinate values in a plurality of coordinate systems, each indicating a position of a joint of a skeleton of an object.
  • a human 100 is shown as an object.
  • the object has two or more joints and one or more members connecting between the joint and another joint.
  • the member connecting the joints is a rigid member, that is, a rigid body.
  • the member connecting the joints is a bone between the joints.
  • the member connecting the joints may be an aggregate of a plurality of rigid bodies.
  • the aggregate of a plurality of rigid bodies is, for example, a member configured by connecting a plurality of rigid bodies.
  • the bone connecting the joints may be an aggregate of a plurality of rigid bodies.
  • the object may be a whole human body.
  • the target object may be a part of a human body.
  • the object may be, for example, a human palm (ie, above the wrist), a person above the shoulder, a human upper body (ie, above the waist), or a human lower body (ie, below the waist). Part).
  • the joint is a connecting portion where a member and another member are connected so that a certain member can rotate with respect to another member.
  • the object may be a machine such as a robot arm. If the object is a machine, the joint may be a hinge. Further, the target object may be an animal other than a human.
  • the space information generation unit 5 generates a plurality of pieces of space information in a plurality of coordinate systems by detecting or photographing a real space.
  • the spatial information generation unit 5 includes a camera 2 and a camera 3 that capture an image. Therefore, in the example of FIG. 1, the space information generation unit 5 generates two pieces of space information in two coordinate systems by photographing a real space.
  • the spatial information generator 5 may include three or more cameras. Further, the spatial information generating unit 5 may be a device including an infrared light irradiation device that projects a predetermined infrared light pattern and a plurality of infrared light cameras.
  • the space information generation unit 5 may include two or more sensors that measure a distance to an object in a real space, instead of the camera 2 and the camera 3.
  • the sensor is, for example, a depth sensor.
  • the space information generation unit 5 includes a coordinate conversion unit 4 that converts a plurality of pieces of space information in a plurality of mutually different coordinate systems generated by detecting or photographing a real space into space information in a common coordinate system.
  • the plurality of coordinate systems are two coordinate systems.
  • the two coordinate systems correspond to camera 2 and camera 3.
  • the two coordinate systems are determined by, for example, the installation positions and the photographing directions of the cameras 2 and 3.
  • the coordinate conversion unit 4 converts the coordinate values of the coordinates in each of the plurality of coordinate systems into the coordinate values of the coordinates in the world coordinate system.
  • the coordinate value integrating device 10 includes a joint coordinate value generating unit 11, a reliability calculating unit 12, and a coordinate value integrating unit 14. Further, the coordinate value integrating device 10 includes a database unit 13. The database unit 13 does not need to be provided in the coordinate value integrating device 10, but may be provided in an external device connected so as to be able to communicate with the coordinate value integrating device 10. The coordinate value integrating device 10 may include an input unit 15 that receives a user operation.
  • the joint coordinate value generation unit 11 includes a plurality of first joints based on a plurality of pieces of spatial information indicating positions of first joints (for example, joints 101) of a skeleton of an object (for example, a human 100) existing in a real space. And a plurality of second coordinate values indicating the position of a second joint (for example, the joint 102) of the skeleton of the object based on a plurality of spatial information. That is, the joint coordinate value generation unit 11 has a function of real-time recognizing the state of the skeleton of the target object based on the plurality of pieces of space information acquired from the space information generation unit 5.
  • the joint coordinate value generation unit 11 determines the coordinates (X11, Y11, Z11) of the joint 101 based on the first space information acquired by the camera 2 and the first space acquired by the camera 2.
  • the coordinates (X12, Y12, Z12) of the joint 102 based on the information
  • the coordinates (X21, Y21, Z21) of the joint 101 based on the second spatial information acquired by the camera 3, and the second coordinate acquired by the camera 3
  • the coordinates (X22, Y22, Z22) of the joint 102 based on the spatial information of.
  • X11, Y11, Z11), (X12, Y12, Z12), (X21, Y21, Z21), and (X22, Y22, Z22) indicate coordinates in an XYZ rectangular coordinate system which is a three-dimensional rectangular coordinate system.
  • Each of X11, X12, X21, and X22 indicates a coordinate value in the X-axis direction.
  • Each of Y11, Y12, Y21, and Y22 indicates a coordinate value in the Y-axis direction.
  • Z11, Z12, Z21, and Z22 indicates a coordinate value in the Z-axis direction.
  • the functions of the space information generating unit 5 and the joint coordinate value generating unit 11 can be realized by a commercially available known motion capture device. Specifically, the function of recognizing the state of the skeleton of the object in real time can be realized by, for example, a device called Kinect (registered trademark) of Microsoft Corporation or a Leap Motion (registered trademark) controller of Leap Motion. is there.
  • Kinect registered trademark
  • Leap Motion registered trademark
  • the database unit 13 is a storage device that stores reference information on the skeleton of the target object.
  • Reference information on the skeleton of the object is prepared in advance.
  • the reference information includes information indicating a reference distance between joints.
  • the reference information is, for example, information input from outside via a communication unit (not shown), information input by a user operation, information collected by a measuring device, and the like.
  • the reference information may include a plurality of types of information.
  • the reference information is information indicating a reference distance between joints for each human age, information indicating a reference distance between joints for each gender of the human, information indicating a reference distance between joints for each human body part, and the like. May be included.
  • the reference information may include information indicating a reference distance between joints of different animals other than humans, and information indicating a reference distance between joints of a plurality of different robot arms.
  • the reliability calculation unit 12 obtains a reference distance between target joints from the database unit 13, and outputs a plurality of first coordinate values indicating the position of the first joint from the joint coordinate value generation unit 11 and the second joint value. And a plurality of second coordinate values indicating the position.
  • the reliability calculating unit 12 calculates a plurality of pieces of spatial information corresponding to a plurality of pieces of spatial information from the position of the first joint to the position of the second joint from the plurality of first coordinate values and the plurality of second coordinate values. Calculate the distance.
  • the reliability calculation unit 12 calculates a plurality of reliability indicating the degree of certainty of the plurality of second coordinate values based on a result of comparison between the reference distance and the plurality of distances obtained by the calculation.
  • the reliability calculation unit 12 sets the reliability lower as the difference between the reference distance Lr1 and the plurality of distances is larger. Alternatively, when the difference between the reference distance Lr1 and the plurality of distances is equal to or less than a predetermined allowable value, the reliability calculating unit 12 determines each of the plurality of reliability levels as a predetermined high value (for example, a maximum value). ), And when the difference between the reference distance Lr1 and the plurality of distances exceeds a predetermined allowable value, the larger the difference between the reference distance Lr1 and the plurality of distances, the lower the reliability of each of the plurality of degrees. May be set.
  • the reliability calculation unit 12 may use a reference distance based on information such as the height or weight of a human as a target input from the input unit 15.
  • the first joint and the second joint are a pair of joints at arbitrary positions adjacent to each other via a member connecting the first joint and the second joint.
  • the first joint is a joint located closer to the center of gravity of the object than the second joint.
  • the first joint is a joint closer to the center position of the human torso than the second joint.
  • the second joint is the joint 102.
  • the first joint is the joint 102
  • the second joint is the joint 103.
  • the reliability calculation unit 12 calculates a first joint value based on the first coordinate value based on the first spatial information acquired by the camera 2 and the second coordinate value based on the first spatial information.
  • a first distance L11 indicating a distance from the position of the second joint to the position of the second joint is calculated, and a first coordinate value based on the second space information acquired by the camera 3 and a first distance L11 based on the second space information are calculated.
  • a second distance L12 indicating the distance from the position of the first joint to the position of the second joint is calculated. That is, the first distance L11 is a distance based on the first spatial information, and the second distance L12 is a distance based on the second spatial information.
  • the reliability calculating unit 12 calculates a second coordinate value based on the first spatial information. Then, a reliability R11 indicating the degree of certainty is calculated. Further, the reliability calculation unit 12 is configured to perform a second calculation based on the second spatial information based on a result of comparison between the reference distance Lr1 acquired from the database unit 13 and a second distance L12 based on the second spatial information. The reliability R12 indicating the degree of certainty of the coordinate value is calculated.
  • the reliability calculation unit 12 sets the reliability R11 according to the difference between the reference distance Lr1 obtained from the database unit 13 and the first distance L11, and sets the reference distance Lr1 obtained from the database unit 13 and the second The reliability R12 is calculated according to the difference from the distance L12.
  • the reliability calculator 12 can set the reliability R11 lower as the value of
  • the reliability calculating unit 12 may set the reliability R11 to a value of 0.
  • the reliability calculation unit 12 may set the reliability R12 to a value of 0.
  • the coordinate value integrating unit 14 generates an integrated coordinate value that is a coordinate value indicating the position of the second joint based on the plurality of second coordinate values and the plurality of degrees of reliability. For example, the coordinate value integration unit 14 can calculate the weighted average value of the plurality of second coordinate values by regarding the plurality of reliability levels as weights, and can use the weighted average value as the integrated coordinate value.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the coordinate value integrating device 10 according to the present embodiment.
  • the coordinate value integrating device 10 and the coordinate conversion unit 4 can be configured by a computer.
  • the coordinate value integrating device 10 includes a CPU (Central Processing Unit) 91 as a processor as an information processing unit, a memory 92 as a storage unit for storing a program, and a storage such as a hard disk drive (HDD).
  • Device 93 is a diagram illustrating an example of a hardware configuration of the coordinate value integrating device 10 according to the present embodiment.
  • the coordinate value integrating device 10 and the coordinate conversion unit 4 can be configured by a computer.
  • the coordinate value integrating device 10 includes a CPU (Central Processing Unit) 91 as a processor as an information processing unit, a memory 92 as a storage unit for storing a program, and a storage such as a hard disk drive (HDD).
  • HDD hard disk drive
  • the memory 92 is a semiconductor memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 92 can store the coordinate value integration program according to the present embodiment.
  • the CPU 91 implements the functions of the joint coordinate value generation unit 11, the reliability calculation unit 12, and the coordinate value integration unit 14 illustrated in FIG. 1 by executing the coordinate value integration program stored in the memory 92. Can be. Further, the CPU 91 can also realize the function of the coordinate conversion unit 4 by executing the coordinate value integration program stored in the memory 92.
  • the database unit 13 may be a part of the storage device 93.
  • the coordinate value integrating device 10 may realize a part of the function by dedicated hardware, and realize another part of the function by software or firmware.
  • a part of the function of the coordinate value integrating device 10 is realized by a processing circuit as dedicated hardware, and the other function of the coordinate value integrating device 10 is performed by a CPU 91 which is a processor that executes a program stored in a memory 92. It may be realized.
  • FIG. 3 is a flowchart showing the operation of the coordinate value integrating system 1 and the coordinate value integrating device 10 according to the present embodiment.
  • FIG. 4 is a diagram showing a human 100 as an object in the present embodiment and its main skeleton.
  • FIGS. 5 and 6 are diagrams for explaining an operation example (when the object is a human) of the reliability calculating unit 12 of the coordinate value integrating device 10 according to the present embodiment.
  • step S11 the spatial information generating unit 5 captures an image of a real space using the camera 2 and the camera 3, and generates first spatial information in the first coordinate system and second spatial information in the second coordinate system. Generate.
  • the coordinate conversion unit 4 of the space information generation unit 5 converts each of the first space information in the first coordinate system and the second space information in the second coordinate system into a common one by coordinate conversion. Convert to spatial information in the world coordinate system, which is a coordinate system. That is, the coordinate conversion unit 4 converts the coordinates in the first coordinate system and the coordinates in the second coordinate system into world coordinates that are a common coordinate system.
  • the joint coordinate value generation unit 11 generates a plurality of first coordinate values based on a plurality of pieces of spatial information, each indicating a position of a first joint of a skeleton of the target object existing in the real space. And generating a plurality of second coordinate values based on the plurality of spatial information, each indicating a position of a second joint of a skeleton of the object.
  • first joint is the joint 101 in FIG. 4
  • the second joint is the joint 102 in FIG. 5
  • a plurality of first joints based on a plurality of pieces of spatial information indicating the positions of the first joints.
  • the plurality of second coordinate values based on the plurality of pieces of spatial information are the coordinate values of the coordinates (X21, Y21, Z21) of the point 102a in FIG. 5 and the coordinates (X22, Y22, Z22) of the point 102b in FIG. It is a coordinate value.
  • the first joint is not limited to the joint 101
  • the second joint is not limited to the joint 102.
  • the first joint and the second joint may be pairs of other joints.
  • the reliability calculation unit 12 acquires the reference distance Lr1 in the predetermined reference skeleton from the database unit 13, and obtains the plurality of first coordinate values and the plurality of second coordinate values from the plurality of first coordinate values.
  • a plurality of distances corresponding to a plurality of pieces of spatial information from a position of a first joint (for example, 101 in FIG. 4) to a position of a second joint (for example, 102 in FIG. 4) are calculated.
  • the plurality of distances are, for example, a distance L11 based on the first spatial information shown in FIG. 5 and a distance L12 based on the second spatial information shown in FIG.
  • the reliability calculation unit 12 calculates a plurality of reliability indicating the degree of certainty of the plurality of second coordinate values based on a result of comparison between the reference distance Lr1 and the plurality of distances. .
  • the reliability calculating unit 12 sets the reliability R11 lower as the value of
  • the coordinate value integrating unit 14 generates an integrated coordinate value that is a coordinate value of a coordinate indicating the position of the second joint based on the plurality of second coordinate values and the plurality of degrees of reliability.
  • the integrated coordinate value can be calculated, for example, by a weighted average of a plurality of coordinate values using a plurality of reliability values as weights.
  • FIG. 7 is a diagram showing a machine 200 as an object in the present embodiment and its main skeleton.
  • FIGS. 8 and 9 are diagrams for explaining an operation example (when the object is a machine) of the reliability calculating unit 12 of the coordinate value integrating device 10 according to the present embodiment.
  • the space information generation unit 5 captures an image of a real space with the camera 2 and the camera 3 and generates first space information in a first coordinate system and second space information in a second coordinate system.
  • the coordinate conversion unit 4 of the space information generation unit 5 converts each of the first space information in the first coordinate system and the second space information in the second coordinate system into a world coordinate which is a common coordinate system by coordinate conversion. Convert to spatial information in the system.
  • the joint coordinate value generation unit 11 includes a plurality of first coordinate values based on a plurality of spatial information, each indicating a position of a first joint (for example, the joint 201 in FIG. 7) of the skeleton of the object existing in the real space. (For example, the position 201a in FIG. 8 and the position 201b in FIG. 9) and a plurality of second joints based on a plurality of spatial information indicating the positions of the second joints (for example, the joints 202 in FIG. 7) of the skeleton of the object. (For example, the position 202a in FIG. 8 and the position 202b in FIG. 9).
  • the reliability calculating unit 12 acquires a reference distance Lr2 in a reference skeleton of a machine of the same type that is predetermined from the database unit 13 and obtains a second reference coordinate value and a plurality of second coordinate values from a plurality of first coordinate values.
  • a plurality of distances (for example, distances in FIG. 8) corresponding to a plurality of spatial information from a position of one joint (for example, joint 201 in FIG. 7) to a position of a second joint (for example, joint 202 in FIG. 7). L21 and the distance L22 in FIG. 9) are calculated.
  • the reliability calculation unit 12 calculates a plurality of reliability indicating the degree of certainty of the plurality of second coordinate values based on a result of comparison between the reference distance Lr2 and the calculated plurality of distances L21 and L22. I do. For example, the reliability calculating unit 12 sets the reliability R21 lower as the value of
  • the coordinate value integrating unit 14 generates an integrated coordinate value that is a coordinate value of a coordinate indicating the position of the second joint based on the plurality of second coordinate values and the plurality of degrees of reliability.
  • the integrated coordinate value can be calculated, for example, by a weighted average of a plurality of coordinate values using a plurality of reliability values as weights.
  • the integrated coordinate values are calculated in consideration of the reliability of the calculated coordinate values. Since the value is calculated, the accuracy of the integrated coordinate value can be improved. In other words, of the plurality of coordinate values based on the plurality of pieces of spatial information, the coordinate value of the position that cannot be used as a skeleton is not used, or the weight of the coordinate value of the position that cannot be used as a skeleton is reduced, so that the integrated coordinate value is reduced. The accuracy of the value can be improved.
  • the current spatial information is used, and the past spatial information (for example, the photographing information of the previous frame) is used. Since there is no data, integrated coordinate values can be immediately generated without waiting for detection or accumulation of photographing data.
  • the reference distance can be changed to an appropriate value based on the input information from the input unit 15.
  • the accuracy of the integrated coordinate value can be improved.
  • 1 ⁇ coordinate value integration system ⁇ 5 ⁇ spatial information generation unit, ⁇ 10 ⁇ coordinate value integration device, ⁇ 11 ⁇ joint coordinate value generation unit, ⁇ 12 ⁇ reliability calculation unit, ⁇ 13 ⁇ database unit, ⁇ 14 ⁇ coordinate value integration unit, ⁇ 15 ⁇ input unit, ⁇ 100 ⁇ human, ⁇ 101, 102, 103 ⁇ joint, ⁇ 101a, 201a ⁇ first coordinate value based on first spatial information, ⁇ 101b, 201b ⁇ first coordinate value based on second spatial information, ⁇ 102a, 202a ⁇ second coordinate based on first spatial information Coordinate value, ⁇ 102b, 202b ⁇ Second coordinate value based on second spatial information, ⁇ 200 ⁇ machine, ⁇ 201, 202 ⁇ joint.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

座標値統合装置（１０）は、対象物（１００）の骨格の第１の関節（１０１）の位置を示す、複数の空間情報に基づく複数の第１の座標値と、対象物（１００）の骨格の第２の関節（１０２）の位置を示す、複数の空間情報に基づく複数の第２の座標値とを生成する関節座標値生成部（１１）と、予め決められた基準の骨格における、第１の関節に対応する関節から第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部（１３）から基準距離を取得し、複数の第１の座標値と複数の第２の座標値とから、第１の関節の位置から第２の関節の位置までの複数の距離を計算し、基準距離と複数の距離との比較の結果に基づいて複数の第２の座標値の複数の信頼度を計算する信頼度計算部（１２）と、複数の第２の座標値と複数の信頼度とに基づいて第２の関節の位置を示す統合座標値を生成する座標値統合部（１４）とを有する。

Description

座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム
　本発明は、対象物の骨格の関節の位置を示す、複数の座標系における複数の座標値を統合することによって統合座標値を生成するための座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラムに関する。
　３次元空間中の対象物の骨格の位置を計測するためのモーションキャプチャ技術が、様々な分野で使用されている。対象物は、例えば、人、動物又は機械である。モーションキャプチャ技術では、対象物が存在する空間の情報は、空間情報取得装置によって取得される。空間情報取得装置は、例えば、深度センサ又はカメラを備えた装置である。
　しかし、１つの空間情報取得装置によって検出又は撮影することができる画角及び距離には制限がある。また、１つの空間情報取得装置によって対象物を検出又は撮影する場合には、障害物によって対象物の全体又は一部が隠れるオクルージョン（不可視部位）が発生し易い。
　そこで、複数の空間情報取得装置を用いることによって対象物の骨格の位置を計測するシステムが提案されている（例えば、非特許文献１参照）。このシステムでは、マイクロソフト社のＫｉｎｅｃｔ（登録商標）と呼ばれる装置が用いられている。このシステムでは、複数の空間情報取得装置から取得した複数の座標のずれを各空間情報取得装置の設置位置に基づいて補正した後に、対象物の骨格の位置を示す骨格情報を統合している。
宮武順平、外２名、「複数台のＫｉｎｅｃｔを用いたモーションキャプチャの実現」、ＨＡＩ（Ｈｕｍａｎ－Ａｇｅｎｔ　Ｉｎｔｅｒａｃｔｉｏｎ）シンポジウム　２０１６
　しかしながら、非特許文献１に示すシステムでは、骨格情報を統合するために、フレーム間のキャリブレーションと、各関節の１フレーム当たりの最大移動距離とを用いている。このため、最初のフレームでは、関節の位置の精度を向上することができないという課題がある。また、このシステムでは、過去のフレームにおける関節の位置が正確であることを前提にしている。このため、その過去のフレームにおける関節の位置が正確でない場合には、関節の位置を示す統合座標値の精度を向上することができないという課題がある。
　本発明は、座標値の統合によって生成された統合座標値の精度を向上させることができる座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラムを提供することを目的とする。
　本発明の一態様に係る座標値統合装置は、空間情報生成部によって現実の空間を検出又は撮影することで生成された、複数の座標系における複数の空間情報に基づいて、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する関節座標値生成部と、予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する信頼度計算部と、前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成する座標値統合部と、を有することを特徴とする。
　本発明の他の態様に係る座標値統合システムは、現実の空間を検出又は撮影することで複数の座標系における複数の空間情報を生成する空間情報生成部と、座標値統合装置と、を有し、前記座標値統合装置は、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する関節座標値生成部と、予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する信頼度計算部と、前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成する座標値統合部と、を有することを特徴とする。
　本発明の他の態様に係る座標値統合方法は、空間情報生成部によって現実の空間を検出又は撮影することで生成された、複数の座標系における複数の空間情報に基づいて、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成するステップと、予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算するステップと、前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成するステップと、を有することを特徴とする。
　本発明によれば、座標値の統合によって生成された統合座標値の精度を向上させることができる。
本発明の実施の形態に係る座標値統合システム及び座標値統合装置の構成を概略的に示す図である。 実施の形態に係る座標値統合装置のハードウェア構成の例を示す図である。 実施の形態に係る座標値統合システム及び座標値統合装置の動作を示すフローチャートである。 実施の形態における対象物としての人間とその主要な骨格を示す図である。 実施の形態に係る座標値統合装置の信頼度計算部の動作例（対象物が人間である場合）を説明するための図である。 実施の形態に係る座標値統合装置の信頼度計算部の動作例（対象物が人間である場合）を説明するための図である。 実施の形態における対象物としての機械とその主要な骨格を示す図である。 実施の形態に係る座標値統合装置の信頼度計算部の他の動作例（対象物が機械である場合）を説明するための図である。 実施の形態に係る座標値統合装置の信頼度計算部の他の動作例（対象物が機械である場合）を説明するための図である。
　以下に、本発明の実施の形態に係る座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
　図１は、本発明の実施の形態に係る座標値統合システム１及び座標値統合装置１０の構成を概略的に示す図である。図１に示されるように、座標値統合システム１は、空間情報生成部５と、座標値統合装置１０とを備えている。座標値統合システム１は、対象物の骨格の関節の位置を示す、複数の座標系における複数の座標値を統合することによって統合座標値を生成する。
　図１では、対象物として人間１００が示されている。対象物は、２つ以上の関節と、関節と他の関節との間を連結する１つ以上の部材とを有する。関節間を連結する部材は、剛性の部材、すなわち、剛体である。対象物が人間である場合、関節間を連結する部材は、関節間の骨である。関節間を連結する部材は、複数の剛体の集合体であってもよい。複数の剛体の集合体は、例えば、複数の剛体が連結されることによって構成された部材である。関節間を連結する骨は、複数の剛体の集合体であってもよい。対象物は、人間の全身であってもよい。また、対象物は、人間の身体の一部分であってもよい。対象物は、例えば、人間の手の平（すなわち、手首より先の部分）、人間の肩より先の部分、人間の上半身（すなわち、腰より上の部分）、又は人間の下半身（すなわち、腰より下の部分）であってもよい。
　関節は、ある部材が他の部材に対して回転できるように、部材と他の部材とを結合した結合部である。対象物は、ロボットアームなどのような機械であってもよい。対象物が機械である場合、関節はヒンジであってもよい。また、対象物は、人間以外の動物であってもよい。
　空間情報生成部５は、現実の空間を検出又は撮影することで複数の座標系における複数の空間情報を生成する。図１の例では、空間情報生成部５は、画像を撮影するカメラ２及びカメラ３を備えている。したがって、図１の例では、空間情報生成部５は、現実の空間を撮影することで２つの座標系における２つの空間情報を生成する。空間情報生成部５は、３台以上のカメラを備えてもよい。また、空間情報生成部５は、予め決められた赤外光パターンを投射する赤外光照射装置と、複数の赤外光カメラとを備えた装置であってもよい。
　空間情報生成部５は、カメラ２及びカメラ３の代わりに、現実の空間における物体までの距離を計測する２台以上のセンサを備えてもよい。センサは、例えば、深度センサである。
　空間情報生成部５は、現実の空間を検出又は撮影することで生成された互いに異なる複数の座標系における複数の空間情報を、共通の座標系における空間情報に変換する座標変換部４を備えている。図１の例では、複数の座標系は、２つの座標系である。２つの座標系は、カメラ２及びカメラ３に対応する。２つの座標系は、例えば、カメラ２及びカメラ３の設置位置及び撮影方向などによって決まる。座標変換部４は、複数の座標系の各々における座標の座標値を、世界座標系における座標の座標値に変換する。
　座標値統合装置１０は、関節座標値生成部１１と、信頼度計算部１２と、座標値統合部１４とを備えている。また、座標値統合装置１０は、データベース部１３を備えている。データベース部１３は、座標値統合装置１０内に備えられる必要はなく、座標値統合装置１０と通信できるように接続された外部の装置に備えられてもよい。また、座標値統合装置１０は、ユーザ操作を受け付ける入力部１５を備えてもよい。
　関節座標値生成部１１は、現実の空間に存在する対象物（例えば、人間１００）の骨格の第１の関節（例えば、関節１０１）の位置を示す、複数の空間情報に基づく複数の第１の座標値と、対象物の骨格の第２の関節（例えば、関節１０２）の位置を示す、複数の空間情報に基づく複数の第２の座標値とを生成する。つまり、関節座標値生成部１１は、空間情報生成部５から取得した複数の空間情報に基づいて、対象物の骨格の状態をリアルタイムに認識する機能を持つ。
　図１の例では、関節座標値生成部１１は、カメラ２によって取得された第１の空間情報に基づく関節１０１の座標（Ｘ１１，Ｙ１１，Ｚ１１）と、カメラ２によって取得された第１の空間情報に基づく関節１０２の座標（Ｘ１２，Ｙ１２，Ｚ１２）と、カメラ３によって取得された第２の空間情報に基づく関節１０１の座標（Ｘ２１，Ｙ２１，Ｚ２１）と、カメラ３によって取得された第２の空間情報に基づく関節１０２の座標（Ｘ２２，Ｙ２２，Ｚ２２）とを生成する。（Ｘ１１，Ｙ１１，Ｚ１１）、（Ｘ１２，Ｙ１２，Ｚ１２）、（Ｘ２１，Ｙ２１，Ｚ２１）、（Ｘ２２，Ｙ２２，Ｚ２２）は、３次元直交座標系であるＸＹＺ直交座標系における座標を示す。Ｘ１１，Ｘ１２，Ｘ２１，Ｘ２２の各々は、Ｘ軸方向の座標値を示す。Ｙ１１，Ｙ１２，Ｙ２１，Ｙ２２の各々は、Ｙ軸方向の座標値を示す。Ｚ１１，Ｚ１２，Ｚ２１，Ｚ２２の各々は、Ｚ軸方向の座標値を示す。
　空間情報生成部５と関節座標値生成部１１の機能は、市販されている公知のモーションキャプチャ装置によって実現可能である。具体的には、対象物の骨格の状態をリアルタイムに認識する機能は、例えば、マイクロソフト社のＫｉｎｅｃｔ（登録商標）と呼ばれる装置、リープモーション社のリープモーション（登録商標）コントローラ、などによって実現可能である。しかし、市販されている公知のモーションキャプチャ装置よりも、より高い精度の関節座標値を計測したいという要望がある。本実施の形態に係る座標値統合システム１によれば、統合座標値の精度を向上させることができる。
　データベース部１３は、対象物の骨格に関する基準情報を格納する記憶装置である。対象物の骨格に関する基準情報は、予め準備されている。基準情報は、関節間の基準距離を示す情報を含む。基準情報は、例えば、通信部（図示せず）を介して外部から入力された情報、ユーザ操作によって入力された情報、計測機によって収集された情報、などである。基準情報は、複数種類の情報を含んでもよい。例えば、基準情報は、人間の年齢毎の関節間の基準距離を示す情報、人間の性別毎の関節間の基準距離を示す情報、人間の身体部位毎の関節間の基準距離を示す情報、などを含んでもよい。また、基準情報は、人間以外の互いに異なる動物毎の関節間の基準距離を示す情報、複数の互いに異なるロボットアーム毎の関節間の基準距離を示す情報を含んでもよい。
　信頼度計算部１２は、データベース部１３から対象の関節間の基準距離を取得し、関節座標値生成部１１から第１の関節の位置を示す複数の第１の座標値と第２の関節の位置を示す複数の第２の座標値とを受け取る。信頼度計算部１２は、複数の第１の座標値と複数の第２の座標値とから、第１の関節の位置から第２の関節の位置までの、複数の空間情報に対応する複数の距離を計算する。信頼度計算部１２は、基準距離と、計算によって得られた複数の距離と、の比較の結果に基づいて複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する。信頼度計算部１２は、基準距離Ｌｒ１と複数の距離との差が大きいほど、信頼度を低く設定する。或いは、信頼度計算部１２は、基準距離Ｌｒ１と複数の距離との差が予め決められた許容値以下である場合に、複数の信頼度の各々を予め決められた高い値（例えば、最大値）に設定し、基準距離Ｌｒ１と複数の距離との差が予め決められた許容値を超えた場合に、基準距離Ｌｒ１と複数の距離との差が大きいほど、複数の信頼度の各々を低く設定してもよい。
　信頼度計算部１２は、入力部１５から入力された対象物としての人間の身長又は体重などの情報に基づく基準距離を用いてもよい。
　第１の関節と第２の関節とは、第１の関節と第２の関節とを連結する部材を介して隣り合う任意の位置の関節の対である。第１の関節は、第２の関節より対象物の重心に近い位置の関節である。例えば、対象物が人間１００である場合、第１の関節は、第２の関節より人間の胴体の中心位置に近い関節である。図１の例では、第１の関節が関節１０１である場合には、第２の関節は関節１０２である。また、第１の関節が関節１０２である場合には、第２の関節は関節１０３である。
　図１の例では、信頼度計算部１２は、カメラ２によって取得された第１の空間情報に基づく第１の座標値及び第１の空間情報に基づく第２の座標値から、第１の関節の位置から第２の関節の位置までの距離を示す第１の距離Ｌ１１を計算し、カメラ３によって取得された第２の空間情報に基づく第１の座標値及び第２の空間情報に基づく第２の座標値から、第１の関節の位置から第２の関節の位置までの距離を示す第２の距離Ｌ１２を計算する。つまり、第１の距離Ｌ１１は、第１の空間情報に基づく距離であり、第２の距離Ｌ１２は、第２の空間情報に基づく距離である。
　信頼度計算部１２は、データベース部１３から取得した基準距離Ｌｒ１と第１の空間情報に基づく第１の距離Ｌ１１との比較の結果に基づいて、第１の空間情報に基づく第２の座標値の確からしさの度合いを示す信頼度Ｒ１１を計算する。また、信頼度計算部１２は、データベース部１３から取得した基準距離Ｌｒ１と第２の空間情報に基づく第２の距離Ｌ１２との比較の結果に基づいて、第２の空間情報に基づく第２の座標値の確からしさの度合いを示す信頼度Ｒ１２を計算する。
　例えば、信頼度計算部１２は、データベース部１３から取得した基準距離Ｌｒ１と第１の距離Ｌ１１との差に応じて信頼度Ｒ１１を設定し、データベース部１３から取得した基準距離Ｌｒ１と第２の距離Ｌ１２との差に応じて信頼度Ｒ１２を計算する。
　信頼度計算部１２は、｜Ｌ１１－Ｌｒ１｜の値が大きいほど、信頼度Ｒ１１を低く設定し、｜Ｌ１２－Ｌｒ１｜の値が大きいほど、信頼度Ｒ１２を低く設定することができる。
　また、信頼度計算部１２は、｜Ｌ１１－Ｌｒ１｜の値が予め決められた閾値を超えたときには、信頼度Ｒ１１を値０に設定してもよい。信頼度計算部１２は、｜Ｌ１２－Ｌｒ１｜の値が予め決められた閾値を超えたときには、信頼度Ｒ１２を値０に設定してもよい。
　座標値統合部１４は、複数の第２の座標値と複数の信頼度とに基づいて、第２の関節の位置を示す座標値である統合座標値を生成する。例えば、座標値統合部１４は、複数の信頼度を重みとみなして、複数の第２の座標値の重みつき平均値を計算し、重みつき平均値を統合座標値とすることができる。
　図２は、本実施の形態に係る座標値統合装置１０のハードウェア構成の例を示す図である。座標値統合装置１０及び座標変換部４は、コンピュータによって構成することができる。図２の例では、座標値統合装置１０は、情報処理部としてのプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９１と、プログラムを記憶する記憶部としてのメモリ９２と、ハードディスクドライブ（ＨＤＤ）などの記憶装置９３とを備えている。
　メモリ９２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、などの半導体メモリである。メモリ９２は、本実施の形態に係る座標値統合プログラムを記憶することができる。ＣＰＵ９１は、メモリ９２に記憶されている座標値統合プログラムを実行することによって、図１に示される関節座標値生成部１１、信頼度計算部１２、及び座標値統合部１４の機能を実現することができる。また、ＣＰＵ９１は、メモリ９２に記憶されている座標値統合プログラムを実行することによって、座標変換部４の機能を実現することもできる。
　図２において、データベース部１３は、記憶装置９３の一部であってもよい。
　なお、座標値統合装置１０は、その機能の一部を専用のハードウェアで実現し、機能の他の一部をソフトウェア又はファームウェアで実現してもよい。例えば、座標値統合装置１０の一部の機能を専用のハードウェアとしての処理回路で実現し、座標値統合装置１０の他の機能をメモリ９２に格納されたプログラムを実行するプロセッサであるＣＰＵ９１で実現してもよい。
　図３は、本実施の形態に係る座標値統合システム１及び座標値統合装置１０の動作を示すフローチャートである。図４は、本実施の形態における対象物としての人間１００とその主要な骨格を示す図である。また、図５及び図６は、本実施の形態に係る座標値統合装置１０の信頼度計算部１２の動作例（対象物が人間である場合）を説明するための図である。
　ステップＳ１１において、空間情報生成部５は、カメラ２及びカメラ３によって現実の空間を撮影して、第１の座標系における第１の空間情報と第２の座標系における第２の空間情報とを生成する。
　次のステップＳ１２において、空間情報生成部５の座標変換部４は、第１の座標系における第１の空間情報と第２の座標系における第２の空間情報の各々を、座標変換によって共通の座標系である世界座標系における空間情報に変換する。つまり、座標変換部４は、第１の座標系における座標と第２の座標系における座標とを共通の座標系である世界座標に変換する。
　次のステップＳ１３において、関節座標値生成部１１は、現実の空間に存在する対象物の骨格の第１の関節の位置を示す、複数の空間情報に基づく複数の第１の座標値と、対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する。例えば、第１の関節が図４における関節１０１であり、第２の関節が図５における関節１０２である場合には、第１の関節の位置を示す、複数の空間情報に基づく複数の第１の座標値は、図５における点１０１ａの座標（Ｘ１１，Ｙ１１，Ｚ１１）の座標値と図６における点１０１ｂの座標（Ｘ１２，Ｙ１２，Ｚ１２）の座標値であり、第２の関節の位置を示す、複数の空間情報に基づく複数の第２の座標値は、図５における点１０２ａの座標（Ｘ２１，Ｙ２１，Ｚ２１）の座標値と図６における点１０２ｂの座標（Ｘ２２，Ｙ２２，Ｚ２２）の座標値である。ただし、第１の関節は、関節１０１に限らず、第２の関節は、１０２に限らない。第１の関節と第２の関節とは、他の関節の対であってもよい。
　次のステップＳ１４において、信頼度計算部１２は、データベース部１３から予め決められた基準の骨格における基準距離Ｌｒ１を取得し、複数の第１の座標値と複数の第２の座標値とから、第１の関節（例えば、図４における１０１）の位置から第２の関節（例えば、図４における１０２）の位置までの、複数の空間情報に対応する複数の距離を計算する。複数の距離は、例えば、図５に示される第１の空間情報に基づく距離Ｌ１１、及び図６に示される第２の空間情報に基づく距離Ｌ１２である。
　次のステップＳ１５において、信頼度計算部１２は、基準距離Ｌｒ１と複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する。例えば、信頼度計算部１２は、｜Ｌ１１－Ｌｒ１｜の値が大きいほど、信頼度Ｒ１１を低く設定し、｜Ｌ１２－Ｌｒ１｜の値が大きいほど、信頼度Ｒ１２を低く設定する。
　次のステップＳ１６において、座標値統合部１４は、複数の第２の座標値と複数の信頼度とに基づいて、第２の関節の位置を示す座標の座標値である統合座標値を生成する。統合座標値は、例えば、複数の信頼度を重みとする複数の座標値の重みつき平均により計算できる。
　図７は、本実施の形態における対象物としての機械２００とその主要な骨格を示す図である。また、図８及び図９は、本実施の形態に係る座標値統合装置１０の信頼度計算部１２の動作例（対象物が機械である場合）を説明するための図である。
　空間情報生成部５は、カメラ２及びカメラ３によって現実の空間を撮影して、第１の座標系における第１の空間情報と第２の座標系における第２の空間情報とを生成する。
　空間情報生成部５の座標変換部４は、第１の座標系における第１の空間情報と第２の座標系における第２の空間情報の各々を、座標変換によって共通の座標系である世界座標系における空間情報に変換する。
　関節座標値生成部１１は、現実の空間に存在する対象物の骨格の第１の関節（例えば、図７における関節２０１）の位置を示す、複数の空間情報に基づく複数の第１の座標値（例えば、図８における位置２０１ａ及び図９における位置２０１ｂ）と、対象物の骨格の第２の関節（例えば、図７における関節２０２）の位置を示す、複数の空間情報に基づく複数の第２の座標値（例えば、図８における位置２０２ａ及び図９における位置２０２ｂ）とを生成する。
　信頼度計算部１２は、データベース部１３から予め決められた同じ型の機械の基準の骨格における基準距離Ｌｒ２を取得し、複数の第１の座標値と複数の第２の座標値とから、第１の関節（例えば、図７における関節２０１）の位置から第２の関節（例えば、図７における関節２０２）の位置までの、複数の空間情報に対応する複数の距離（例えば、図８における距離Ｌ２１及び図９における距離Ｌ２２）を計算する。
　信頼度計算部１２は、基準距離Ｌｒ２と、計算された複数の距離Ｌ２１，Ｌ２２との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する。例えば、信頼度計算部１２は、｜Ｌ２１－Ｌｒ２｜の値が大きいほど、信頼度Ｒ２１を低く設定し、｜Ｌ２２－Ｌｒ２｜の値が大きいほど、信頼度Ｒ２２を低く設定する。
　座標値統合部１４は、複数の第２の座標値と複数の信頼度とに基づいて、第２の関節の位置を示す座標の座標値である統合座標値を生成する。統合座標値は、例えば、複数の信頼度を重みとする複数の座標値の重みつき平均により計算できる。
　以上に説明したように、本実施の形態に係る座標値統合システム１、座標値統合装置１０、及び座標値統合方法によれば、計算された座標値の信頼度を考慮にいれて、統合座標値を計算するので、統合座標値の精度を向上させることができる。つまり、複数の空間情報に基づく複数の座標値の内の、骨格としてあり得ない位置の座標値を使用しない、又は、骨格としてあり得ない位置の座標値の重みを低くすることによって、統合座標値の精度を向上させることができる。
　また、本実施の形態に係る座標値統合システム１、座標値統合装置１０、及び座標値統合方法では、現在の空間情報を用い、過去の空間情報（例えば、前フレームの撮影情報）を用いていないので、検出又は撮影データの蓄積を待たずに、即座に統合座標値を生成することができる。
　また、本実施の形態に係る座標値統合システム１、座標値統合装置１０、及び座標値統合方法では、入力部１５からの入力情報に基づいて基準距離を適切な値に変更することができるので、統合座標値の精度を向上させることができる。
　１　座標値統合システム、　５　空間情報生成部、　１０　座標値統合装置、　１１　関節座標値生成部、　１２　信頼度計算部、　１３　データベース部、　１４　座標値統合部、　１５　入力部、　１００　人間、　１０１，１０２，１０３　関節、　１０１ａ，２０１ａ　第１の空間情報に基づく第１の座標値、　１０１ｂ，２０１ｂ　第２の空間情報に基づく第１の座標値、　１０２ａ，２０２ａ　第１の空間情報に基づく第２の座標値、　１０２ｂ，２０２ｂ　第２の空間情報に基づく第２の座標値、　２００　機械、　２０１，２０２　関節。

Claims (14)

  1. 　空間情報生成部によって現実の空間を検出又は撮影することで生成された、複数の座標系における複数の空間情報に基づいて、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する関節座標値生成部と、
    　予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する信頼度計算部と、
    　前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成する座標値統合部と、
    　を有することを特徴とする座標値統合装置。
  2. 　前記信頼度計算部は、前記基準距離と前記複数の距離との差が大きいほど、前記複数の信頼度の各々を低く設定することを特徴とする請求項１に記載の座標値統合装置。
  3. 　前記信頼度計算部は、
    　前記基準距離と前記複数の距離との差が予め決められた許容値以下である場合に、前記複数の信頼度の各々を予め決められた最大値に設定し、
    　前記基準距離と前記複数の距離との差が予め決められた許容値を超えた場合に、前記差が大きいほど、前記複数の信頼度の各々を低く設定する
    　ことを特徴とする請求項１に記載の座標値統合装置。
  4. 　前記座標値統合部は、前記複数の信頼度を重みとみなして、前記複数の第２の座標値の重みつき平均値を計算し、前記重みつき平均値を前記統合座標値とすることを特徴とする請求項１から３のいずれか１項に記載の座標値統合装置。
  5. 　前記第１の関節と前記第２の関節とは、前記第１の関節と前記第２の関節とを連結する部材を介して隣り合う任意の位置の関節の対であることを特徴とする請求項１から４のいずれか１項に記載の座標値統合装置。
  6. 　前記部材は、１つの剛体、又は複数の剛体の集合体であることを特徴とする請求項５に記載の座標値統合装置。
  7. 　前記対象物は人間、機械、及び動物のいずれかであり、
    　前記第１の関節は、前記第２の関節より前記対象物の重心に近い位置の関節である
    　ことを特徴とする請求項１から６のいずれか１項に記載の座標値統合装置。
  8. 　前記対象物は人間であり、
    　前記第１の関節は、前記第２の関節より前記人間の胴体の中心位置に近い関節である
    　ことを特徴とする請求項１から６のいずれか１項に記載の座標値統合装置。
  9. 　前記データベース部をさらに有することを特徴とする請求項１から８のいずれか１項に記載の座標値統合装置。
  10. 　前記データベース部に格納される前記基準距離を示す情報は、複数種類の情報を含み、
    　前記信頼度計算部に前記対象物の種類を指定する指定情報が入力された場合に、前記信頼度計算部は、前記指定情報に基づいて、前記データベース部に格納される前記複数種類の情報から、前記複数の信頼度の計算に用いる前記基準距離を示す情報を選択する
    　ことを特徴とする請求項１から９のいずれか１項に記載の座標値統合装置。
  11. 　現実の空間を検出又は撮影することで複数の座標系における複数の空間情報を生成する空間情報生成部と、
    　座標値統合装置と、
    　を有し、
    　前記座標値統合装置は、
    　前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する関節座標値生成部と、
    　予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する信頼度計算部と、
    　前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成する座標値統合部と、
    　を有することを特徴とする座標値統合システム。
  12. 　前記空間情報生成部は、前記複数の座標系における前記複数の空間情報を取得する複数のセンサ又は複数のカメラを有することを特徴とする請求項１１に記載の座標値統合システム。
  13. 　空間情報生成部によって現実の空間を検出又は撮影することで生成された、複数の座標系における複数の空間情報に基づいて、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成するステップと、
    　予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算するステップと、
    　前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成するステップと、
    　を有することを特徴とする座標値統合方法。
  14. 　空間情報生成部によって現実の空間を検出又は撮影することで生成された、複数の座標系における複数の空間情報に基づいて、前記現実の空間に存在する対象物の骨格の第１の関節の位置を示す、前記複数の空間情報に基づく複数の第１の座標値と、前記対象物の骨格の第２の関節の位置を示す、前記複数の空間情報に基づく複数の第２の座標値とを生成する処理と、
    　予め決められた基準の骨格における、前記第１の関節に対応する関節から前記第２の関節に対応する関節までの距離である基準距離を示す情報を格納するデータベース部から前記基準距離を取得し、前記複数の第１の座標値と前記複数の第２の座標値とから、前記第１の関節の位置から前記第２の関節の位置までの、前記複数の空間情報に対応する複数の距離を計算し、前記基準距離と前記複数の距離との比較の結果に基づいて前記複数の第２の座標値の確からしさの度合いを示す複数の信頼度を計算する処理と、
    　前記複数の第２の座標値と前記複数の信頼度とに基づいて、前記第２の関節の位置を示す統合座標値を生成する処理と、
    　をコンピュータに実行させることを特徴とする座標値統合プログラム。
PCT/JP2018/037195 2018-10-04 2018-10-04 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム WO2020070856A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037195 WO2020070856A1 (ja) 2018-10-04 2018-10-04 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037195 WO2020070856A1 (ja) 2018-10-04 2018-10-04 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム

Publications (1)

Publication Number Publication Date
WO2020070856A1 true WO2020070856A1 (ja) 2020-04-09

Family

ID=70055324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037195 WO2020070856A1 (ja) 2018-10-04 2018-10-04 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム

Country Status (1)

Country Link
WO (1) WO2020070856A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021124378A1 (ja) * 2019-12-16 2021-06-24

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170255A (ja) * 2009-01-21 2010-08-05 Denso Corp レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2012208536A (ja) * 2011-02-16 2012-10-25 Square Enix Co Ltd 動作モデリング装置及び方法、並びにプログラム
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
JP2018013999A (ja) * 2016-07-21 2018-01-25 日本電信電話株式会社 姿勢推定装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170255A (ja) * 2009-01-21 2010-08-05 Denso Corp レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2012208536A (ja) * 2011-02-16 2012-10-25 Square Enix Co Ltd 動作モデリング装置及び方法、並びにプログラム
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2015167008A (ja) * 2013-07-30 2015-09-24 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
JP2018013999A (ja) * 2016-07-21 2018-01-25 日本電信電話株式会社 姿勢推定装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIRAFUJI, DAICHI ET AL.: "Configuration of Markerless Motion Capture Using Multiple Kinects", ITE TECHNICAL REPORT, THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 38, no. 33, 18 August 2014 (2014-08-18), pages 9 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021124378A1 (ja) * 2019-12-16 2021-06-24
JP7004873B2 (ja) 2019-12-16 2022-01-21 三菱電機株式会社 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム

Similar Documents

Publication Publication Date Title
US20230004236A1 (en) Method and system for determining a correct reproduction of a movement
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
JP2008506953A5 (ja)
JP2011179908A (ja) ３次元計測装置、その処理方法及びプログラム
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
Jun et al. Automatized modeling of a human engineering simulation using Kinect
JP6985982B2 (ja) 骨格検出装置、及び骨格検出方法
CN111951326A (zh) 基于多摄像装置的目标对象骨骼关键点定位方法和装置
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
CN111489392B (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
Nguyen et al. Practical 3D human skeleton tracking based on multi-view and multi-Kinect fusion
KR102018951B1 (ko) 착용형 센서를 이용한 자세정보 보정 방법 및 이를 수행하는 기록매체
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
TW202314593A (zh) 定位方法及設備、電腦可讀儲存媒體
Jovanov et al. Avatar—A multi-sensory system for real time body position monitoring
JP4227037B2 (ja) 撮像システム及び校正方法
WO2020070856A1 (ja) 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム
Kim et al. Implementation of an omnidirectional human motion capture system using multiple kinect sensors
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
Bonnet et al. Toward an affordable and user-friendly visual motion capture system
JP7197011B2 (ja) 身長推定装置、身長推定方法及びプログラム
WO2020070857A1 (ja) 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム
KR102172362B1 (ko) 인체 무게 중심의 이동을 이용한 모션 캡쳐 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP