WO2020149147A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2020149147A1
WO2020149147A1 PCT/JP2019/051425 JP2019051425W WO2020149147A1 WO 2020149147 A1 WO2020149147 A1 WO 2020149147A1 JP 2019051425 W JP2019051425 W JP 2019051425W WO 2020149147 A1 WO2020149147 A1 WO 2020149147A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
state
detection unit
target
unit
Prior art date
Application number
PCT/JP2019/051425
Other languages
English (en)
French (fr)
Inventor
脩 繁田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2020149147A1 publication Critical patent/WO2020149147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present technology relates to an information processing device, an information processing method, and a recording medium, and particularly to an information processing device, an information processing method, and a recording medium that improve the recognition accuracy of a part of an object.
  • an object recognition technique using an image such as a face recognition technique is good at recognizing a portion having many visual features such as a face, but is not good at recognizing a portion having few visual features. I am not good at it.
  • the present technology has been made in view of such a situation, and is intended to improve the recognition accuracy of a part of an object.
  • the information processing device is based on the state of each area in the visual information and the state of a part of the object based on the detection data detected by the detection unit included in the visual information included in the object.
  • a recognition unit that recognizes a target area corresponding to a part of the object in the visual information.
  • An information processing method is that an information processing device includes a state of each region in visual information, and a part of the object based on detection data detected by a detection unit included in the visual information. A target area corresponding to a part of the object in the visual information is recognized based on the state of.
  • the program recorded on the recording medium is a state of each area in visual information, and a part of the object based on detection data detected by a detection unit included in the visual information included in the object.
  • the computer is caused to execute a process of recognizing a target area corresponding to a part of the object in the visual information, based on the state.
  • the visual A target area corresponding to a portion of the object in the information is recognized.
  • FIG. 13 is a diagram illustrating an embodiment of an information processing system to which this art is applied. It is a block diagram which shows the structural example of an information processing part. It is a figure which shows the structural example and installation example of an imaging
  • FIG. 13 is a diagram illustrating a configuration example of a
  • the information processing system 11 is a system that performs object recognition processing.
  • the information processing system 11 can recognize not only the entire object but also a part of the object.
  • the information processing system 1 includes a detection unit 21-1 to a detection unit 21-m, a photographing unit 22, and an information processing unit 23.
  • the detection unit 21-1 is provided in the target object 12-1 and detects data regarding the state of a part of the target object 12-1 (hereinafter referred to as the target part).
  • the target portion is a portion to be detected by the detection unit 21-1 and is a portion including the detection unit 21-1.
  • the detection unit 21-1 transmits the detection data indicating the detection result to the information processing unit 23. Note that wired communication or wireless communication of any method can be used to transmit the detection data.
  • the detection units 21-2 to 21-m also detect data regarding the states of the target portions of the target objects 12-2 to 12-m, respectively, and detect the detection results.
  • the data is transmitted to the information processing unit 23.
  • the image capturing unit 22 captures an image of the target 12 and a space including the non-targets 13-1 to 13-n (hereinafter, referred to as a shooting space). That is, the image capturing unit 22 captures an image (hereinafter, referred to as a captured image) including the target object 12-1 to the target object 12-m and the non-target object 13-1 to the non-target object 13-n in the shooting space. ..
  • the image capturing unit 22 transmits captured image data, which is data including a captured image, to the information processing unit 23. Note that wired communication or wireless communication of any method can be used to transmit the captured image data.
  • non-target object 13-1 to the non-target object 13-n are objects other than the target object 12 existing in the shooting space, and their types do not matter. Further, hereinafter, when it is not necessary to individually distinguish the non-target objects 13-1 to 13-n, they are simply referred to as the non-target object 13.
  • the information processing unit 23 is configured by an information processing device such as a personal computer, a smartphone, a tablet computer, or a game terminal, for example.
  • the information processing unit 23 performs a recognition process of each target object 12 based on the detection data from each detection unit 21 and the captured image data from the imaging unit 22. More specifically, the information processing unit 23 performs a recognition process of a region (hereinafter, referred to as a target region) corresponding to a target portion of each target object 12 in the captured image.
  • the information processing unit 23 outputs data indicating the recognition result of the target area of each target object 12.
  • the type of the target object 12 is not particularly limited as long as it is an object to which the detection unit 21 can be provided.
  • the object 12 may be a moving object or a stationary object.
  • the state to be detected by the detection unit 21 is not particularly limited as long as it can be detected even in a captured image.
  • one or more of the position, orientation, movement, attribute, etc. of the target portion are detected.
  • the movement of the target portion for example, velocity, acceleration, angular velocity, angular acceleration, etc. of the target portion are assumed.
  • the attribute of the target portion for example, the shape, color, material, temperature, etc. of the target portion are assumed.
  • the position where the detection unit 21 is installed may be any position as long as data regarding the state of the target portion can be detected, and there is no particular limitation.
  • the detection unit 21 may be provided on either the surface or the inside of the object 12.
  • the detection unit 21 may be configured by a wearable device including various sensors, and the object 12 may be equipped with the detection unit 21.
  • the photographed image may be of any type as long as it can detect the same type of state as the state to be detected by each detection unit 21.
  • all the target objects 12 do not necessarily have to be the same type of objects. Further, the types of states to be detected by the detection units 21 do not necessarily have to be the same.
  • FIG. 2 is a block diagram showing a configuration example of the information processing unit 23 of the information processing system 11 of FIG.
  • the information processing unit 23 includes a reception unit 51, a storage unit 52, a state detection unit 53, and a recognition unit 54.
  • the state detection unit 53 includes a state detection unit 53A and a state detection unit 53B.
  • the receiving unit 51 is capable of communication corresponding to the communication system of each detection unit 21 and the communication system of the imaging unit 22.
  • the reception unit 51 receives the detection data transmitted from each detection unit 21 and the captured image data transmitted from the imaging unit 22, and stores the data in the storage unit 52.
  • the state detection unit 53A detects the state of each unit in the captured image based on the captured image data stored in the storage unit 52.
  • the state detection unit 53A supplies data indicating the detection result to the recognition unit 54.
  • the state detection unit 53B detects the state of the target portion of each target object 12 based on the detection data stored in the storage unit 52.
  • the state detection unit 53B supplies data indicating the detection result to the recognition unit 54.
  • the recognition unit 54 performs recognition processing of a target area corresponding to the target portion of each target 12 in the captured image based on the state of each unit in the captured image and the state of the target portion of each target 12.
  • the recognition unit 54 outputs data indicating the recognition result of the target area of each target object 12.
  • FIG. 3 is a schematic diagram showing a specific configuration example and installation example of the imaging unit 22.
  • the imaging unit 22 includes the depth sensor 101.
  • the depth sensor 101 is installed, for example, on the ceiling in the shooting space and shoots as if looking down on the shooting space. Further, the depth sensor 101 includes an IMU (Inertial Measurement Unit), and the relationship between the optical axis direction of the depth sensor 101 and the installation direction of the IMU is known.
  • the IMU includes, for example, an acceleration sensor and an angular velocity sensor, and further includes a geomagnetic sensor and the like as necessary. Therefore, the depth sensor 101 can detect the gravity direction with respect to the optical axis using the IMU.
  • the depth sensor 101 transmits captured image data (depth image) obtained by capturing and captured image data including a detection result of the gravity direction to the information processing system 11.
  • the imaging unit 22 includes the depth sensor 101 as in this example will be described below.
  • each detection unit 21 includes an IMU
  • the state detection unit 53A detects the posture of each unit in the captured image
  • the state detection unit 53B detects the posture of the target portion of each target object 12. ..
  • this process is started when the power of the information processing unit 23 is turned on, and is ended when the power of the information processing unit 23 is turned off.
  • step S1 the information processing system 11 starts acquisition of captured image data and detection data.
  • the depth sensor 101 starts photographing the photographing space and detecting the gravity direction.
  • the depth sensor 101 transmits captured image data including the obtained captured image (depth image) and the detection result of the gravity direction to the information processing unit 23.
  • Each detection unit 21 starts detecting the acceleration and angular velocity of the target portion of each target object 12, and the direction of gravity. Each detection unit 21 transmits the detection data indicating the detection result to the information processing unit 23.
  • the receiving unit 51 of the information processing unit 23 receives the captured image data and the detection data, and stores them in the storage unit 52.
  • step S2 the state detection unit 53A detects the state of each unit in the captured image.
  • the state detection unit 53A divides the captured image into a plurality of areas.
  • the state detection unit 53A detects a feature point in a captured image, tracks the detected feature point over a plurality of frames, and detects a region including a feature point that makes similar movements, thereby detecting a plurality of captured images. Divide into areas.
  • the type of feature points is not particularly limited, but, for example, corners, human face parts, and the like are used.
  • the state detecting unit 53A divides the captured image into a plurality of regions by tracking each part in the captured image over a plurality of frames using an optical flow and detecting a region that moves in the same manner.
  • the state detection unit 53A divides the captured image into a plurality of segmentation regions by using an arbitrary method such as semantic segmentation.
  • the state detection unit 53A uses bone tracking to track the movement of the skeleton of a person, a robot, or the like in a captured image, thereby dividing the person, the robot, or the like in the captured image into parts.
  • the state detection unit 53A calculates a normal vector of each area (hereinafter, referred to as a divided area) in the captured image. Since the captured image is a depth image and each pixel has information in the depth direction, it is easy to calculate the normal vector of each divided area.
  • the state detection unit 53A calculates the angle ⁇ c(t) of the calculated normal vector with respect to the direction of gravity using the following equation (1).
  • n indicates the normal vector and g indicates the gravity vector indicating the gravity direction.
  • the state detection unit 53A supplies the recognition unit 54 with data indicating the detection result of the posture of each divided area in the captured image.
  • step S3 the state detection unit 53B detects the state of a part of each object 12.
  • the state detection unit 53B calculates the posture of the target portion of each target 12 based on the detection result of the angular velocity and acceleration of the target portion that is a part of each target 12. For example, the state detection unit 53B calculates an angle ⁇ o(t) with respect to the gravity direction of the target portion of each target object 12 at time t.
  • the state detection unit 53B supplies the recognition unit 54 with data indicating the detection result of the posture of the target portion of each target object 12.
  • step S4 the recognition unit 54 obtains the correlation between the state of each part in the captured image and the state of a part of each target object 12. Specifically, for example, the recognition unit 54 detects the posture (angle ⁇ c(t)) of each divided area in the captured image detected by the state detection unit 53A, and the target object 12 detected by the state detection unit 53B. Correlation coefficients are calculated for all combinations with the orientation (angle ⁇ o(t)) of the target portion of.
  • the recognition unit 54 selects one of the divided areas in the captured image and one of the target portions of each target object 12.
  • the recognition unit 54 calculates the cross-correlation coefficient r(m) between the posture of the selected divided area and the posture of the selected target portion using the following equation (2).
  • f(n) indicates the sample value (detection value) of the posture of the n-th target portion from the reference time t0.
  • h(n+m) indicates a sample value (detection value) of the posture of the n+m-th divided area from the reference time t0.
  • N indicates the total number of samples used for calculating the cross-correlation coefficient r(m). Therefore, the cross-correlation coefficient between the sample values of the N postures of the target portion and the sample values of the N postures of the divided area m samples after the target portion is calculated by the equation (1).
  • the recognizing unit 54 sets a time that is a predetermined time before the current time t to the reference time t0, sets the shift amount m to 0, and sets the mutual relationship between the posture of the selected divided region and the posture of the target portion. Calculate the number r(0). Then, the recognizing unit 54 calculates the cross-correlation coefficient r(m) between the posture of the selected divided area and the posture of the target portion while shifting the shift amount m one by one to a predetermined maximum value.
  • FIG. 5 shows an example of the calculation result of the cross-correlation coefficient r(m).
  • the horizontal axis represents the shift amount m
  • the depth axis represents the time t
  • the height axis represents the cross-correlation coefficient r(m).
  • the curve in the graph shows the waveform of the cross-correlation coefficient r(m) at each time t, and the circle on the waveform shows the peak of the cross-correlation coefficient r(m).
  • the recognition unit 54 obtains the maximum value (hereinafter, referred to as the maximum cross-correlation coefficient) of the calculated cross-correlation coefficient r(m), for example.
  • the recognition unit 54 calculates the maximum cross-correlation coefficient for all combinations of each divided area in the captured image and the target portion of each target object 12 by the same process.
  • step S5 the recognition unit 54 recognizes the target area.
  • the recognition unit 54 extracts a divided area in which the maximum cross-correlation coefficient between the target portion of the target object 12-1 and the target portion continues for a predetermined time or more from a captured image. Then, the recognition unit 54 recognizes the extracted region as a target region corresponding to the target portion of the target object 12-1. As a result, the divided area whose posture correlates with the target portion of the target object 12-1 is recognized as the target area. For example, a divided area having the same posture as the target portion of the object 12-1 or a target portion of the object 12-1 or a divided area having the same movement as the detection unit 21-1 is recognized as the target area. It
  • the recognition unit 54 recognizes the divided area having the maximum average value of the maximum cross-correlation coefficients as the target area.
  • the recognition unit 54 sets the continuous area including the divided area around the divided area as the target area. You may recognize.
  • the recognition unit 54 It is recognized that the target portion of -1 does not exist in the captured image (exists outside the capturing space of the depth sensor 101).
  • the recognition unit 54 also performs the same processing on the objects 12-2 to 12-m. As a result, the target area corresponding to the target portion of each target 12 is recognized in the captured image.
  • the target area is not necessarily fixed and may change depending on the movement of the target object 12.
  • the ring type device 203 as the detection unit 21 including the IMU is provided between the second joint and the third joint of the index finger 202 of the hand 201 of the target object 12.
  • An example of being attached is shown.
  • the change in the posture detected based on the detection data from the ring-shaped device 203 is changed in the posture of the portion between the second joint and the third joint of the index finger 202. Almost matches.
  • the portion between the second joint and the third joint of the index finger 202 is the target portion, and as shown in FIG. 7, the area 211 including the target portion is recognized as the target area.
  • the entire hand 201 when the entire hand 201 is moved without moving the joint of the index finger 202, the change in the posture detected based on the detection data from the ring-shaped device 203 is substantially the same as the change in the posture of the entire hand 201.
  • the entire hand 201 is the target portion, and the region 212 including the entire hand 201 is recognized as the target region, as shown in FIG.
  • FIG. 9 illustrates an example in which the earphone type device 233 as the detection unit 21 including the IMU is attached to the ear 232 of the head 231 of the target 12 when the person is the target 12. ..
  • the change in the posture detected based on the detection data from the earphone device 233 substantially matches the change in the posture of the head 231.
  • the head 231 is the target portion, and the area 211 including the head 231 is recognized as the target area.
  • the change in the posture detected based on the detection data from the earphone device 233 substantially matches the change in the posture of the part of the target object 12 excluding the arms and legs.
  • the part of the target object 12 excluding the arms and legs is the target part, and the region including the target part is recognized as the target region.
  • the target portion and the other object or another object A region including a part of is recognized as the target region.
  • the target object 12 is a person and the target portion is a hand
  • an area including the hand and an object held in the hand or a part of the object held in the hand may be recognized as the target area.
  • the recognition unit 54 outputs data indicating the recognition result of the target area of each target 12.
  • the recognition accuracy of a part (target part) of each target object 12 is improved.
  • a marker for example, a retroreflective marker, a color marker, an invisible marker, etc.
  • a visually uncharacteristic portion of the target object 12 it is possible to accurately recognize the portion.
  • the object 12 is an object without a monochrome pattern
  • a robot such as a manipulator having a plurality of joints is monochromatic and has no pattern
  • the addition of the marker is unnecessary, and since the IMU can be built in the object 12, it is possible to recognize a part of the object 12 without spoiling the appearance of the object 12.
  • the specific target object 12 it is possible to accurately recognize a part of the specific target object 12 from objects having a similar appearance. For example, when there are a plurality of objects 12 having the same appearance, it is possible to accurately recognize a part of the specific object 12 among them. Specifically, for example, when the same product is displayed, it is possible to accurately recognize a part of the specific product.
  • the object 12 is an object that makes complicated movements such as an animal or an articulated robot, a part of the object 12 can be accurately recognized. Further, even when the object 12 is not a rigid body but deforms, a part of the object 12 can be accurately recognized.
  • the information about the target 12 or the target portion in the detection data it becomes possible to recognize not only the target portion but also the information about the target 12 or the target portion. For example, it becomes possible to recognize the attribute such as the name of the target object 12 or the target portion.
  • the area in which the target portion exists in the captured image can be estimated based on the information about the target object 12 or the target portion. For example, in the above-described processing, when the hand is moved while grasping the target object 12, it is assumed that the area including the hand is recognized as the target area. In this case, for example, it is possible to presume that the object 12 is present in the hand based on the information on the object 12 or the target portion.
  • the target object 12 when recognizing a target part based on velocity or acceleration, it is difficult to recognize (the target area corresponding to) the target part unless the target part continuously moves for a certain period of time or more.
  • the recognition accuracy of the target portion decreases. Therefore, for example, when the target object 12 is an operation device such as a game controller, the target object 12 needs to be largely moved, which increases the burden on the user. Further, when many moving objects are present in the captured image, the load for detecting the movement of each moving object increases. On the other hand, if the detection accuracy of the movement of the moving body is reduced in order to reduce the load, the recognition accuracy of the target portion, which is one of the moving bodies, will decrease. Further, depending on the position of the image capturing unit 22, a direction in which the movement of the target portion is difficult to detect occurs, and when the target portion moves in that direction, the recognition accuracy of the target portion may decrease.
  • the target part when the target part is recognized based on the posture of the target part as in the information processing system 11, the target part can be accurately recognized even when the target part is stationary.
  • the target portion when there are many objects having the same posture as the target portion, for example, when many objects including the target object 12 are placed on the same desk, it may be difficult to recognize the target portion.
  • the target portion moves even a little, the target portion can be accurately recognized.
  • the position of the image capturing unit 22 has little influence on the detection accuracy of the posture of the target portion. Therefore, regardless of the position of the imaging unit 22, the recognition accuracy of the target portion is kept good.
  • the postures of the divided regions in the photographed image and the postures of the target portion of the target object 12 may be changed. It is possible to calculate the correlation coefficient and recognize the target portion. Furthermore, it suffices to detect the posture of the target portion in the direction of gravity, and it is not necessary to detect the posture of the target portion in the world coordinate system. Therefore, in the information processing unit 23, it is possible to reduce the equipment and load necessary for detecting the posture.
  • the depth image is used as a captured image to detect the orientation of each region in the captured image
  • another method is used to detect the orientation of each region in the captured image
  • the visual information may be used to detect the posture of each area in the visual information.
  • the posture of each part of the object 12 may be detected based on the image of the object 12 registered in advance and the image of the object 12 in the captured image.
  • the posture of each area in the visual information may be detected using three-dimensional visual information such as a point cloud.
  • IMU Input Multiplier
  • FIG. 10 shows an example of performing the recognition process of the object 12a that makes a rotational motion.
  • the object 12a includes a rotating unit 251, and a rotary encoder (not shown) that detects the amount of rotation of the rotating unit 251.
  • the image capturing unit 22 includes a camera 252, and the camera 252 can capture an image of the object 12a.
  • the state detection unit 53A detects the angle and the angular acceleration of each area in the captured image from the camera 252.
  • the state detecting unit 53B detects the angle and angular acceleration of the rotating unit 251 based on the detection data from the rotary encoder.
  • the recognition unit 54 based on the correlation between the angle and angular acceleration of each region in the captured image detected by the state detection unit 53A, and the angle and angular acceleration of the rotating unit 251 detected by the state detection unit 53B, The target area corresponding to the rotating unit 251 is recognized.
  • FIG. 11 shows an example of performing the recognition process of the object 12b that performs translational motion.
  • the object 12b includes a movable portion 262 that moves in translation on the base 261 and a linear encoder (not shown) that detects the position of the movable portion 262.
  • the image capturing unit 22 includes a camera 263, and the camera 263 can capture the object 12b.
  • the state detection unit 53A detects the position, speed, and acceleration of each area of the captured image from the camera 263.
  • the state detection unit 53B detects the position, speed, and acceleration of the movable unit 262 based on the detection data from the linear encoder.
  • the recognition unit 54 recognizes the position, velocity, and acceleration of each area in the captured image detected by the state detection unit 53A and the position, velocity, and acceleration of the movable unit 262 detected by the state detection unit 53B.
  • the target area corresponding to the movable portion 262 is recognized based on the correlation.
  • FIG. 12 shows an example of performing the recognition process of the target area based on the temperature of the target object 12c.
  • the object 12c is equipped with a temperature sensor 301.
  • the image capturing unit 22 includes a thermal sensor 302.
  • the thermal sensor 302 detects the temperature of the surface of the object 12c and generates a thermal image showing the distribution of the detected temperature.
  • the state detection unit 53A detects the temperature of each area in the thermal image from the thermal sensor 302.
  • the state detection unit 53B detects the temperature near the temperature sensor 301 of the object 12c based on the detection data from the temperature sensor 301.
  • the recognition unit 54 performs thermal detection based on the correlation between the temperature of each region in the thermal image detected by the state detection unit 53A and the temperature near the temperature sensor 301 of the object 12c detected by the state detection unit 53B. A target area including the vicinity of the temperature sensor 301 of the target object 12c is recognized in the image.
  • the temperature sensor 301 is provided near the movable portion. Accordingly, it is possible to recognize the area including the movable portion as the target area based on the temperature change due to the heat generated by the movement of the movable portion.
  • the temperature sensor 301 is built in the tableware. Then, for example, it is possible to recognize the region including the temperature sensor 301 of the tableware as the target region based on the temperature change when the dish is served with the dish.
  • the temperature sensor 301 is provided near the thermoelectric element.
  • a thermoelectric element is provided in order to enhance the user experience by using a change in temperature. Then, for example, the region including the thermoelectric element can be recognized as the target region based on the temperature change generated by the thermoelectric element.
  • thermoelectric element may be provided in the target part to actively change the temperature of the target part. This makes it possible to accurately recognize a portion of the object 12 in which the temperature change is small in the thermal image.
  • the object 12 when the object 12 includes a deformable device such as a soft actuator, the part of the object 12 including the deformable device can be recognized.
  • a deformable device such as a soft actuator
  • the transformation device detects its own shape and sends detection data indicating the detection result.
  • the state detection unit 53A detects the shape of each area in the captured image.
  • the state detection unit 53B detects the shape of the deformable device based on the detection data.
  • the recognition unit 54 based on the correlation between the shape of each region in the captured image detected by the state detection unit 53A, and the shape of the portion including the deformation device of the object 12 detected by the state detection unit 53B, A target area including a portion of the object 12 including the deformation device is recognized in the captured image.
  • the posture of an object is generally represented by a quaternion, but for example, it is possible to use the correlation of the quaternion posture change amount.
  • the correlation may be obtained based on the angle in the three-dimensional direction, or the correlation may be obtained based on the angle in the two-dimensional direction.
  • the depth sensor 101 is provided with the IMU to detect the gravity direction
  • the gravity direction may be detected by a different method.
  • the weight direction may be estimated based on the wall or floor in the captured image. Further, for example, when the depth sensor 101 is fixed, the gravity direction with respect to the optical axis of the depth sensor 101 may be measured in advance and the measurement result may be given to the information processing unit 23.
  • the type and number of image sensors included in the image capturing unit 22 can be changed according to the state to be detected.
  • an image sensor that detects normal visible light an infrared sensor that can detect infrared rays, an ultrasonic sensor, a polarization sensor that can detect a normal vector, and the like can be used. Is.
  • the state detecting unit 53A may be provided in the image capturing unit 22, and the image capturing unit 22 may detect the state of each region in the captured image and transmit the data indicating the detection result to the information processing unit 23. ..
  • the state detection unit 53B may be provided in the detection unit 21 so that the detection unit 21 detects the state of the target portion based on the detection data and transmits the data indicating the detection result to the information processing unit 23. Good.
  • one object 12 may be provided with a plurality of detection units 21. Accordingly, it is possible to recognize a plurality of target portions of one target object 12.
  • the detection unit 21 and the target portion may be separated. That is, the detection unit 21 may detect the state of the portion of the object 12 that is distant from the detection unit 21, and the target region corresponding to the portion that is distant from the detection unit 21 may be recognized.
  • the present technology can be applied to the recognition processing of the entire target 12.
  • the target object 12 has a simple configuration and the posture of the entire target object 12 is detected based on the detection data of the detection unit 21, it is possible to recognize the target area corresponding to the entire target object 12. ..
  • the series of processes described above can be executed by hardware or software.
  • a program forming the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 13 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input/output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, or the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the recording unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided, for example, by recording it on a removable medium 1011 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input/output interface 1005 by mounting the removable medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in the ROM 1002 or the recording unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present technology can have a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing apparatus including a recognition unit that recognizes a corresponding target area.
  • the recognition unit recognizes the target area based on a correlation between a state of each area in the visual information and a state of a part of the object based on the detection data. apparatus.
  • the recognition unit recognizes, as the target area, an area in the visual information that has the same attitude as the attitude of a part of the object detected based on the detection data.
  • the recognizing unit recognizes, as the target area, an area in the visual information that makes a movement similar to the movement of a part of the object detected based on the detection data.
  • Information processing device The information processing device according to any one of (1) to (4), wherein the part of the object is a part to be detected by the detection unit.
  • the information processing device includes at least one of a posture, a velocity, an acceleration, an angular velocity, an angular acceleration, a position, a shape, and a temperature.
  • the detection unit includes an acceleration sensor and an angular velocity sensor, The information processing device according to (8), wherein the state includes at least one of a posture, a velocity, an acceleration, an angular velocity, and an angular acceleration.
  • the visual information is a thermal image that is an image showing the distribution of temperature,
  • the detection unit includes a temperature sensor, The information processing device according to (8), wherein the state includes temperature.
  • the detection unit includes an encoder, The information processing device according to (8), wherein the state includes at least one of velocity, acceleration, angular velocity, angular acceleration, and position.
  • a portion of the object comprises a deformable device, The detection unit includes a sensor that detects the shape of the device, The information processing device according to (8), wherein the state includes a shape.
  • the information processing apparatus according to any one of (1) to (12), further including a state detection unit that detects at least one of a state of each area in the visual information and a state of a part of the object.
  • the information processing device Further comprising a receiver for receiving the detection data, The information processing device according to (13), wherein the state detection unit detects a state of a part of the object based on the received detection data. (15) The information processing device Based on the state of each area in the visual information, and the state of the part of the object based on the detection data detected by the detection unit included in the object included in the visual information, to the part of the object in the visual information An information processing method for recognizing a corresponding target area.
  • 11 information processing system 12, 12a, 12b, 12c target object, 13 non-target object, 21 detection unit, 22 imaging unit, 23 information processing unit, 51 reception unit, 53, 53A, 53B status detection unit, 54 recognition unit, 101 depth sensor, 251 rotating part, 252 camera, 262 movable part, 263 camera, 301 temperature sensor, 302 thermal sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、物体の一部分の認識精度を向上させることができるようにする情報処理装置、情報処理方法、及び、記録媒体に関する。 情報処理装置は、視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する認識部を備える。本技術は、例えば、スマートフォン、タブレットコンピュータ等に適用できる。

Description

情報処理装置、情報処理方法、及び、記録媒体
　本技術は、情報処理装置、情報処理方法、及び、記録媒体に関し、特に、物体の一部分の認識精度を向上させるようにした情報処理装置、情報処理方法、及び、記録媒体に関する。
　近年、画像内の人の顔を認識する顔認識技術の普及が進んでいる（例えば、特許文献１参照）。
特開２０１７－９１０５９号公報
　しかしながら、顔認識技術では、人の顔以外の部分を認識することはできない。また、一般的に、顔認識技術のように画像を用いた物体認識技術は、顔のように視覚的な特徴が多い部分の認識は得意であるが、視覚的な特徴が少ない部分の認識は不得意である。
　本技術は、このような状況に鑑みてなされたものであり、物体の一部分の認識精度を向上させるようにするものである。
　本技術の一側面の情報処理装置は、視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する認識部を備える。
　本技術の一側面の情報処理方法は、情報処理装置が、視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する。
　本技術の一側面の記録媒体に記録されているプログラムは、視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する処理をコンピュータに実行させる。
　本技術の一側面においては、視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域が認識される。
本技術を適用した情報処理システムの一実施の形態を示すブロック図である。 情報処理部の構成例を示すブロック図である。 撮影部の構成例及び設置例を示す図である。 認識処理を説明するためのフローチャートである。 相互相関係数の計算結果の例を示す図である。 対象領域の認識例を説明するための図である。 対象領域の認識例を説明するための図である。 対象領域の認識例を説明するための図である。 対象領域の認識例を説明するための図である。 認識処理の第１の変形例を説明するための図である。 認識処理の第２の変形例を説明するための図である。 認識処理の第３の変形例を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜＜１．実施の形態＞＞
　まず、図１乃至図９を参照して、本技術の実施の形態について説明する。
　　＜情報処理システム１１の構成例＞
　情報処理システム１１は、物体認識処理を行うシステムである。特に、情報処理システム１１は、物体全体だけでなく、物体の一部分の認識が可能である。
　情報処理システム１は、検出部２１－１乃至検出部２１－ｍ、撮影部２２、及び、情報処理部２３を備える。
　検出部２１－１は、対象物１２－１に設けられ、対象物１２－１の一部分（以下、対象部分と称する）の状態に関するデータを検出する。対象部分は、検出部２１－１の検出対象となる部分であって、検出部２１－１を含む部分である。
　検出部２１－１は、検出結果を示す検出データを情報処理部２３に送信する。なお、検出データの送信には、任意の方式の有線通信又は無線通信を用いることができる。
　検出部２１－２乃至検出部２１－ｍも、検出部２１－１と同様に、それぞれ対象物１２－２乃至対象物１２－ｍの対象部分の状態に関するデータを検出し、検出結果を示す検出データを情報処理部２３に送信する。
　なお、以下、対象物１２－１乃至対象物１２－ｍ、及び、検出部２１－１乃至検出部２１－ｍを個々に区別する必要がない場合、単に、対象物１２及び検出部２１と称する。
　撮影部２２は、対象物１２、及び、非対象物１３－１乃至非対象物１３－ｎを含む空間（以下、撮影空間と称する）内の撮影を行う。すなわち、撮影部２２は、撮影空間内の対象物１２－１乃至対象物１２－ｍ及び非対象物１３－１乃至非対象物１３－ｎを含む画像（以下、撮影画像と称する）を撮影する。撮影部２２は、撮影画像を含むデータである撮影画像データを情報処理部２３に送信する。なお、撮影画像データの送信には、任意の方式の有線通信又は無線通信を用いることができる。
　なお、非対象物１３－１乃至非対象物１３－ｎは、撮影空間内に存在する対象物１２以外の物体であり、その種類は問わない。また、以下、非対象物１３－１乃至非対象物１３－ｎを個々に区別する必要がない場合、単に非対象物１３と称する。
　情報処理部２３は、例えば、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、ゲーム端末等の情報処理装置により構成される。情報処理部２３は、各検出部２１からの検出データ、及び、撮影部２２からの撮影画像データに基づいて、各対象物１２の認識処理を行う。より具体的には、情報処理部２３は、撮影画像内の各対象物１２の対象部分に対応する領域（以下、対象領域と称する）の認識処理を行う。情報処理部２３は、各対象物１２の対象領域の認識結果を示すデータを出力する。
　なお、対象物１２は、検出部２１を設けることが可能な物体であれば、その種類は特に限定されない。また、対象物１２は、動体でも静止物でもよい。
　さらに、検出部２１の検出対象となる状態は、撮影画像でも検出可能な状態であれば、特に限定されない。例えば、対象部分の位置、姿勢、動き、属性等のうち１つ以上が検出される。対象部分の動きとしては、例えば、対象部分の速度、加速度、角速度、角加速度等が想定される。対象部分の属性としては、例えば、対象部分の形状、色、材質、温度等が想定される。
　また、検出部２１を設置する位置は、対象部分の状態に関するデータが検出可能な位置であればよく、特に制限はない。例えば、検出部２１は、対象物１２の表面又は内部のいずれに設けられてもよい。また、例えば、対象物１２が人である場合、検出部２１を各種のセンサを備えるウエアラブルデバイスにより構成し、対象物１２が検出部２１を装着するようにしてもよい。
　さらに、撮影画像は、各検出部２１の検出対象となる状態と同じ種類の状態が検出可能な画像であれば、その種類は特に問わない。
　また、各対象物１２は、必ずしも全て同じ種類の物体でなくてもよい。さらに、各検出部２１の検出対象となる状態の種類は、必ずしも全て同じでなくてもよい。
　　＜情報処理部２３の構成例＞
　図２は、図１の情報処理システム１１の情報処理部２３の構成例を示すブロック図である。
　情報処理部２３は、受信部５１、記憶部５２、状態検出部５３、及び、認識部５４を備える。状態検出部５３は、状態検出部５３Ａ及び状態検出部５３Ｂを備える。
　受信部５１は、各検出部２１の通信方式、及び、撮影部２２の通信方式に対応した通信が可能である。受信部５１は、各検出部２１から送信される検出データ、及び、撮影部２２から送信される撮影画像データを受信し、記憶部５２に記憶させる。
　状態検出部５３Ａは、記憶部５２に記憶されている撮影画像データに基づいて、撮影画像内の各部の状態を検出する。状態検出部５３Ａは、検出結果を示すデータを認識部５４に供給する。
　状態検出部５３Ｂは、記憶部５２に記憶されている検出データに基づいて、各対象物１２の対象部分の状態を検出する。状態検出部５３Ｂは、検出結果を示すデータを認識部５４に供給する。
　認識部５４は、撮影画像内の各部の状態、及び、各対象物１２の対象部分の状態に基づいて、撮影画像において各対象物１２の対象部分に対応する対象領域の認識処理を行う。認識部５４は、各対象物１２の対象領域の認識結果を示すデータを出力する。
　　＜撮影部２２の構成例及び設置例＞
　図３は、撮影部２２の具体的な構成例及び設置例を示す模式図である。
　ここでは、撮影部２２がデプスセンサ１０１を備える例が示されている。
　デプスセンサ１０１は、例えば、撮影空間内の天井に設置され、撮影空間を見下ろすように撮影する。また、デプスセンサ１０１は、ＩＭＵ（Inertial Measurement Unit）を備えており、デプスセンサ１０１の光軸方向とＩＭＵの設置方向との関係は既知であるものとする。ＩＭＵは、例えば、加速度センサ及び角速度センサを備え、さらに必要に応じて、地磁気センサ等を備える。従って、デプスセンサ１０１は、ＩＭＵを用いて光軸に対する重力方向を検出することが可能である。デプスセンサ１０１は、撮影により得られた撮影画像（デプス画像）、及び、重力方向の検出結果を含む撮影画像データを情報処理システム１１に送信する。
　なお、以下、この例のように、撮影部２２がデプスセンサ１０１を備える場合について説明する。
　また、以下、各検出部２１がＩＭＵを備え、状態検出部５３Ａが撮影画像内の各部の姿勢を検出し、状態検出部５３Ｂが各対象物１２の対象部分の姿勢を検出する場合について説明する。
　　＜認識処理＞
　次に、図４のフローチャートを参照して、情報処理システム１１により実行される認識処理について説明する。
　なお、この処理は、例えば、情報処理部２３の電源がオンされたとき開始され、情報処理部２３の電源がオフされたとき終了する。
　ステップＳ１において、情報処理システム１１は、撮影画像データ及び検出データの取得を開始する。
　具体的には、デプスセンサ１０１は、撮影空間の撮影及び重力方向の検出を開始する。デプスセンサ１０１は、得られた撮影画像（デプス画像）及び重力方向の検出結果を含む撮影画像データを情報処理部２３に送信する。
　各検出部２１は、各対象物１２の対象部分の加速度及び角速度、並びに、重力方向の検出を開始する。各検出部２１は、検出結果を示す検出データを情報処理部２３に送信する。
　情報処理部２３の受信部５１は、撮影画像データ及び検出データを受信し、記憶部５２に記憶させる。
　ステップＳ２において、状態検出部５３Ａは、撮影画像内の各部の状態を検出する。
　具体的には、状態検出部５３Ａは、撮影画像を複数の領域に分割する。
　なお、撮影画像の領域の分割には、任意の手法を用いることができる。
　例えば、状態検出部５３Ａは、撮影画像内の特徴点を検出し、検出した特徴点を複数フレームにわたって追跡し、同様の動きをする特徴点を含む領域を検出することにより、撮影画像を複数の領域に分割する。特徴点の種類は特に限定されないが、例えば、コーナ、人の顔のパーツ等が用いられる。
　例えば、状態検出部５３Ａは、オプティカルフローを用いて、撮影画像内の各部の追跡を複数フレームにわたって行い、同様の動きをする領域を検出することにより、撮影画像を複数の領域に分割する。
　例えば、状態検出部５３Ａは、セマンティックセグメンテーション等の任意の手法を用いて、撮影画像を複数のセグメンテーション領域に分割する。
　例えば、状態検出部５３Ａは、ボーントラッキングを用いて、撮影画像内の人やロボット等の骨格の動きを追跡することにより、撮影画像内の人やロボット等をパーツ毎に分割する。
　次に、状態検出部５３Ａは、撮影画像内の各領域（以下、分割領域と称する）の法線ベクトルを算出する。なお、撮影画像は、デプス画像であり、各画素が奥行き方向の情報を有するため、各分割領域の法線ベクトルの算出は容易である。状態検出部５３Ａは、次式（１）を用いて、算出した法線ベクトルの重力方向に対する角度θｃ（ｔ）を算出する。
　θｃ（ｔ）＝arccos（（ｎ・ｇ）／｜ｎ｜｜ｇ｜）　・・・（１）
　なお、ｎは法線ベクトルを示し、ｇは重力方向を示す重力ベクトルを示している。
　このようにして、時刻ｔにおける各分割領域の姿勢（角度θｃ（ｔ））が検出される。
　状態検出部５３Ａは、撮影画像内の各分割領域の姿勢の検出結果を示すデータを認識部５４に供給する。
　ステップＳ３において、状態検出部５３Ｂは、各対象物１２の一部分の状態を検出する。
　例えば、状態検出部５３Ｂは、各対象物１２の一部分である対象部分の角速度及び加速度の検出結果に基づいて、各対象物１２の対象部分の姿勢を算出する。例えば、状態検出部５３Ｂは、時刻ｔにおける各対象物１２の対象部分の重力方向に対する角度θｏ（ｔ）を算出する。
　状態検出部５３Ｂは、各対象物１２の対象部分の姿勢の検出結果を示すデータを認識部５４に供給する。
　ステップＳ４において、認識部５４は、撮影画像内の各部の状態と、各対象物１２の一部分の状態との相関関係を求める。具体的には、例えば、認識部５４は、状態検出部５３Ａにより検出された撮影画像内の各分割領域の姿勢（角度θｃ（ｔ））と、状態検出部５３Ｂにより検出された各対象物１２の対象部分の姿勢（角度θｏ（ｔ））との全ての組合せについて、相関係数を算出する。
　例えば、認識部５４は、撮影画像内の分割領域のうちの１つ、及び、各対象物１２の対象部分のうちの１つを選択する。認識部５４は、次式（２）を用いて、選択した分割領域の姿勢と、選択した対象部分の姿勢との相互相関係数ｒ（ｍ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、ｆ（ｎ）は、基準時刻ｔ０からｎ番目の対象部分の姿勢のサンプル値（検出値）を示している。ｈ（ｎ＋ｍ）は、基準時刻ｔ０からｎ＋ｍ番目の分割領域の姿勢のサンプル値（検出値）を示している。Ｎは、相互相関係数ｒ（ｍ）の算出に用いるサンプルの総数を示している。従って、式（１）により、対象部分のＮ個の姿勢のサンプル値と、対象部分よりｍサンプル後の分割領域のＮ個の姿勢のサンプル値との間の相互相関係数が算出される。
　認識部５４は、現在の時刻ｔから所定の時間前の時刻を基準時刻ｔ０に設定するとともに、シフト量ｍを０に設定し、選択した分割領域の姿勢と対象部分の姿勢との相互相関係数ｒ（０）を算出する。その後、認識部５４は、シフト量ｍを所定の最大値まで１つずつシフトしながら、選択した分割領域の姿勢と対象部分の姿勢との間の相互相関係数ｒ（ｍ）を算出する。
　図５は、相互相関係数ｒ（ｍ）の計算結果の例を示している。横軸はシフト量ｍを示し、奥行き方向の軸は時刻ｔを示し、高さ方向の軸は相互相関係数ｒ（ｍ）を示している。
　また、グラフ内の曲線は、各時刻ｔにおける相互相関係数ｒ（ｍ）の波形を示し、波形上の丸は相互相関係数ｒ（ｍ）のピークを示している。
　例えば、撮影画像内の分割領域の姿勢と、対象物１２の対象部分の姿勢とを検出するタイミングに時間差があったとしても、図５に示されるように、シフト量ｍを調整することにより、両者の間の相互相関係数ｒ（ｍ）を正確に求めることができる。
　そして、認識部５４は、例えば、算出した相互相関係数ｒ（ｍ）のうちの最大値（以下、最大相互相関係数と称する）を求める。
　認識部５４は、同様の処理により、撮影画像内の各分割領域と、各対象物１２の対象部分との全ての組合せについて、最大相互相関係数を算出する。
　ステップＳ５において、認識部５４は、対象領域を認識する。
　例えば、認識部５４は、対象物１２－１の対象部分との間の最大相互相関係数が所定の時間以上継続して所定の閾値以上となる分割領域を撮影画像から抽出する。そして、認識部５４は、抽出した領域を対象物１２－１の対象部分に対応する対象領域として認識する。これにより、対象物１２－１の対象部分と姿勢が相関する分割領域が、対象領域として認識される。例えば、対象物１２－１の対象部分と同様の姿勢をとる分割領域、又は、対象物１２－１の対象部分或いは検出部２１－１と同様の動きをする分割領域が、対象領域として認識される。
　なお、複数の分割領域が抽出された場合、すなわち、対象物１２－１の対象部分との間の最大相互相関係数が所定の時間以上継続して所定の閾値以上となる分割領域が複数存在する場合、例えば、認識部５４は、最大相互相関係数の平均値が最大となる分割領域を対象領域として認識する。このとき、最大相互相関係数の平均値が最大となる分割領域の周囲の分割領域も抽出されている場合、例えば、認識部５４は、その周囲の分割領域も含む連続した領域を対象領域として認識するようにしてもよい。
　また、対象物１２－１の対象部分との間の最大相互相関係数が所定の時間以上継続して所定の閾値以上となる分割領域が存在しない場合、例えば、認識部５４は、対象物１２－１の対象部分は、撮影画像内に存在しない（デプスセンサ１０１の撮影空間の外に存在する）と認識する。
　認識部５４は、対象物１２－２乃至対象物１２－ｍについても同様の処理を行う。これにより、撮影画像において、各対象物１２の対象部分に対応する対象領域が認識される。
　なお、対象領域は、必ずしも固定されておらず、対象物１２の動きにより変化する場合がある。
　例えば、図６は、人が対象物１２である場合に、ＩＭＵを備える検出部２１としての指輪型デバイス２０３が、対象物１２の手２０１の人差し指２０２の第２関節と第３関節の間に装着されている例を示している。
　例えば、人差し指２０２の関節が動かされた場合、指輪型デバイス２０３からの検出データに基づいて検出される姿勢の変化が、人差し指２０２の第２関節と第３関節との間の部分の姿勢の変化と略一致する。この場合、人差し指２０２の第２関節と第３関節との間の部分が対象部分となり、図７に示されるように、当該対象部分を含む領域２１１が対象領域として認識される。
　一方、例えば、人差し指２０２の関節を動かさずに手２０１全体が動かされた場合、指輪型デバイス２０３からの検出データに基づいて検出される姿勢の変化が、手２０１全体の姿勢の変化と略一致する。この場合、手２０１全体が対象部分となり、図８に示されるように、手２０１全体を含む領域２１２が対象領域として認識される。
　例えば、図９は、人が対象物１２である場合に、ＩＭＵを備える検出部２１としてのイヤホン型デバイス２３３が、対象物１２の頭部２３１の耳２３２に装着されている例を示している。
　例えば、頭部２３１のみが動かされた場合、イヤホン型デバイス２３３からの検出データに基づいて検出される姿勢の変化が、頭部２３１の姿勢の変化と略一致する。この場合、頭部２３１が対象部分となり、頭部２３１を含む領域２１１が対象領域として認識される。
　一方、例えば、対象物１２が歩いて移動した場合、イヤホン型デバイス２３３からの検出データに基づいて検出される姿勢の変化が、対象物１２の腕及び脚を除く部分の姿勢の変化と略一致する。この場合、対象物１２の腕及び脚を除く部分が対象部分となり、当該対象部分を含む領域が対象領域として認識される。
　なお、例えば、対象物１２の対象部分と連なる他の物体又は他の物体の一部分が、対象部分と同じ姿勢をとったり、同じ動きをしたりする場合、対象部分と、他の物体又は他の物体の一部分とを含む領域が対象領域として認識される。例えば、対象物１２が人で、対象部分が手である場合、手と、手に持っている物体又は手に持っている物体の一部分とを含む領域が対象領域として認識される場合がある。
　認識部５４は、各対象物１２の対象領域の認識結果を示すデータを出力する。
　その後、処理はステップＳ２に戻り、ステップＳ２乃至ステップＳ５の処理が繰り返し実行される。
　以上のようにして、各対象物１２の一部分（対象部分）の認識精度が向上する。
　例えば、対象物１２の視覚的に特徴のない部分にマーカ（例えば、再帰性反射マーカ、カラーマーカ、不可視マーカ等）等を付けなくても、当該部分を正確に認識することが可能になる。例えば、対象物１２が単色の模様がない物体である場合に、その対象物１２の一部分を正確に認識することが可能になる。具体的には、例えば、複数の関節を備えるマニピュレータ等のロボットが単色で模様がない場合に、そのロボットの骨組みの一部を正確に認識することが可能になる。また、上述したようにマーカの付加が不要なのに加えて、ＩＭＵは対象物１２に内蔵できるため、対象物１２の外観を損ねることなく、対象物１２の一部分を認識することが可能になる。
　例えば、同じような外観を持つものの中から、特定の対象物１２の一部分を正確に認識することができる。例えば、同じ外観の対象物１２が複数ある場合に、その中の特定の対象物１２の一部分を正確に認識することができる。具体的には、例えば、同じ製品が陳列されている場合、そのうちの特定の製品の一部分を正確に認識することが可能になる。
　また、対象物１２が動物や多関節のロボット等の複雑な動きをする物体であっても、対象物１２の一部分を正確に認識することが可能になる。また、対象物１２が剛体ではなく変形する場合にも、対象物１２の一部分を正確に認識することが可能になる。
　さらに、例えば、対象物１２又は対象部分に関する情報を検出データに含ませることにより、対象部分を認識するだけでなく、対象物１２又は対象部分に関する情報まで認識することが可能になる。例えば、対象物１２又は対象部分の名称等の属性を認識することが可能になる。
　また、例えば、対象部分が他の物体により隠れていても、対象物１２又は対象部分に関する情報に基づいて、撮影画像内において対象部分が存在する領域を推定することができる。例えば、上述した処理では、対象物１２を握った状態で手が動かされた場合、その手を含む領域が対象領域として認識されることが想定される。この場合、例えば、対象物１２又は対象部分に関する情報に基づいて、その手の中に対象物１２が存在すると推定することが可能になる。
　さらに、例えば、速度又は加速度に基づいて対象部分を認識する場合、対象部分が一定時間以上連続して動かないと、対象部分（に対応する対象領域）を認識することは困難である。また、対象部分の動きが小さいと、対象部分の認識精度が低下する。そのため、例えば、対象物１２がゲームのコントローラ等の操作デバイスである場合、対象物１２を大きく動かす必要が生じ、ユーザの負担が増大する。また、撮影画像内に移動体が多数存在する場合、各移動体の動きを検出するための負荷が増大する。一方、負荷を軽減するために移動体の動きの検出精度を落とすと、移動体のうちの１つである対象部分の認識精度が低下する。また、撮影部２２の位置により、対象部分の動きの検出が困難な方向が生じ、対象部分がその方向に動く場合、対象部分の認識精度が低下する場合がある。
　一方、情報処理システム１１のように、対象部分の姿勢に基づいて対象部分を認識する場合、対象部分が静止していても、対象部分を正確に認識することが可能になる。ただし、対象部分と同じ姿勢の物体が多数存在する場合、例えば、対象物１２を含め多数の物体が同じ机の上に置かれている場合、対象部分の認識が困難になる可能性がある。しかし、この場合でも、対象部分が少しでも動けば、対象部分を正確に認識することが可能になる。また、撮影部２２の位置が対象部分の姿勢の検出精度に与える影響は小さい。そのため、撮影部２２の位置に関わらず、対象部分の認識精度が良好に保たれる。
　また、図５を参照して上述したように、検出部２１と撮影部２２の同期を取らなくても、撮影画像内の分割領域の姿勢と対象物１２の対象部分の姿勢との間の相互相関係数を算出し、対象部分を認識することが可能である。さらに、対象部分の重力方向に対する姿勢を検出すればよく、対象部分のワールド座標系における姿勢を検出する必要がない。そのため、情報処理部２３において、姿勢の検出に必要な装備や負荷を削減することが可能になる。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　以上の説明では、撮影画像にデプス画像を用いて、撮影画像内の各領域の姿勢を検出する例を示したが、別の方法により撮影画像内の各領域の姿勢を検出したり、画像以外の視覚情報を用いて、視覚情報内の各領域の姿勢を検出したりするようにしてもよい。
　例えば、事前に登録された対象物１２の画像と撮影画像内の対象物１２の画像に基づいて、対象物１２の各部の姿勢を検出するようにしてもよい。
　例えば、ポイントクラウドのような３次元の視覚情報を用いて、視覚情報内の各領域の姿勢を検出するようにしてもよい。
　また、以上の説明では、撮影画像内の各領域の姿勢と対象物１２の対象部分の姿勢との相関関係に基づいて対象領域を認識する例を示したが、本技術では、視覚情報と検出部２１の検出データの両方で検出可能な状態であれば、任意の状態の相関関係を用いることが可能である。
　例えば、ＩＭＵを用いることにより、物体の角度以外に、速度、加速度、角速度、及び、位置を検出することが可能である。そこで、例えば、角度、速度、加速度、角速度、及び、位置のうち１つ以上の状態の相関関係を用いることが可能である。
　また、図１０は、回転運動を行う対象物１２ａの認識処理を行う例を示している。
　例えば、対象物１２ａは、回転部２５１、及び、回転部２５１の回転量を検出するロータリエンコーダ（不図示）を備えている。
　撮影部２２はカメラ２５２を備えており、カメラ２５２は、対象物１２ａの撮影が可能である。
　状態検出部５３Ａは、カメラ２５２からの撮影画像内の各領域の角度及び角加速度を検出する。
　状態検出部５３Ｂは、ロータリエンコーダからの検出データに基づいて、回転部２５１の角度及び角加速度を検出する。
　認識部５４は、状態検出部５３Ａにより検出された撮影画像内の各領域の角度及び角加速度と、状態検出部５３Ｂにより検出された回転部２５１の角度及び角加速度との相関関係に基づいて、回転部２５１に対応する対象領域を認識する。
　図１１は、並進運動を行う対象物１２ｂの認識処理を行う例を示している。
　例えば、対象物１２ｂは、台２６１の上を並進運動する可動部２６２、並びに、可動部２６２の位置を検出するリニアエンコーダ（不図示）を備えている。
　撮影部２２はカメラ２６３を備えており、カメラ２６３は、対象物１２ｂの撮影が可能である。
　状態検出部５３Ａは、カメラ２６３からの撮影画像の各領域の位置、速度、及び、加速度を検出する。
　状態検出部５３Ｂは、リニアエンコーダからの検出データに基づいて、可動部２６２の位置、速度、及び、加速度を検出する。
　認識部５４は、状態検出部５３Ａにより検出された撮影画像内の各領域の位置、速度、及び、加速度と、状態検出部５３Ｂにより検出された可動部２６２の位置、速度、及び、加速度との相関関係に基づいて、可動部２６２に対応する対象領域を認識する。
　図１２は、対象物１２ｃの温度に基づいて対象領域の認識処理を行う例を示している。
　対象物１２ｃは、温度センサ３０１を備えている。
　撮影部２２はサーマルセンサ３０２を備えている。サーマルセンサ３０２は、対象物１２ｃの表面の温度を検出し、検出した温度の分布を示すサーマル画像を生成する。
　状態検出部５３Ａは、サーマルセンサ３０２からのサーマル画像内の各領域の温度を検出する。
　状態検出部５３Ｂは、温度センサ３０１からの検出データに基づいて、対象物１２ｃの温度センサ３０１付近の温度を検出する。
　認識部５４は、状態検出部５３Ａにより検出されたサーマル画像内の各領域の温度と、状態検出部５３Ｂにより検出された対象物１２ｃの温度センサ３０１付近の温度との相関関係に基づいて、サーマル画像において対象物１２ｃの温度センサ３０１付近を含む対象領域を認識する。
　例えば、対象物１２ｃが、可動部（例えば、モータ等）を備える物体（例えば、ドローン等）である場合、可動部付近に温度センサ３０１が設けられる。これにより、可動部が動くことにより発生する熱による温度変化に基づいて、可動部を含む領域を対象領域として認識することが可能である。
　例えば、対象物１２ｃが食器である場合、食器内に温度センサ３０１が内蔵される。そして、例えば、食器に料理が盛り付けられたときの温度変化に基づいて、食器の温度センサ３０１を含む領域を対象領域として認識することが可能である。
　例えば、対象物１２ｃが、ペルチェ素子等の熱電素子を備える場合、熱電素子付近に温度センサ３０１が設けられる。例えば、対象物１２ｃが、ＶＲ（Virtual Reality）グローブ等の触覚デバイスである場合、温度の変化を用いてユーザ体験を高めるために熱電素子が設けられる。そして、例えば、熱電素子により発生する温度変化に基づいて、熱電素子を含む領域を対象領域として認識することが可能である。
　なお、対象部分の温度変化が少ない場合、対象部分に熱電素子を設け、能動的に対象部分の温度を変化させるようにしてもよい。これにより、サーマル画像内において、対象物１２の温度変化が少ない部分を正確に認識することが可能になる。
　さらに、例えば、ソフトアクチュエータのように変形可能な変形デバイスを対象物１２が備える場合、対象物１２の変形デバイスを備える部分の認識が可能である。
　例えば、変形デバイスは、自身の形状を検出し、検出結果を示す検出データを送信する。
　状態検出部５３Ａは、撮影画像内の各領域の形状を検出する。
　状態検出部５３Ｂは、検出データに基づいて、変形デバイスの形状を検出する。
　認識部５４は、状態検出部５３Ａにより検出された撮影画像内の各領域の形状と、状態検出部５３Ｂにより検出された対象物１２の変形デバイスを備える部分の形状との相関関係に基づいて、撮影画像において対象物１２の変形デバイスを備える部分を含む対象領域を認識する。
　また、例えば、物体の姿勢はクォータニオンで表現されることが一般的であるが、例えば、クォータニオンの姿勢変化量の相関関係を用いることが可能である。例えば、時間的な角速度の変化に基づく相関関係や、外積ベクトルの方向変化に基づく相関関係を用いることが可能である。この場合、３次元方向の角度に基づいて相関関係を求めるようにしてもよいし、２次元方向の角度に基づいて相関関係を求めるようにしてもよい。
　なお、相関関係の演算には、上述した相互相関係数以外の相関係数を用いたり、相関係数以外の方法を用いたりすることも可能である。
　さらに、以上の説明では、デプスセンサ１０１にＩＭＵを設けて重力方向を検出する例を示したが、異なる方法により重力方向を検出するようにしてもよい。
　例えば、撮影画像内の壁や床に基づいて、重量方向を推定するようにしてもよい。また、例えば、デプスセンサ１０１が固定される場合、事前にデプスセンサ１０１の光軸に対する重力方向を測定し、測定結果を情報処理部２３に与えておくようにしてもよい。
　また、撮影部２２が備えるイメージセンサの種類や数は、検出対象となる状態に応じて変更することが可能である。例えば、上述したデプスセンサ１０１以外にも、通常の可視光を検出するイメージセンサ、赤外線の検出が可能な赤外センサ、超音波センサ、法線ベクトルの検出が可能な偏光センサ等を用いることが可能である。
　さらに、撮影画像以外の視覚情報を用いることが可能である。例えば、上述したサーマル画像、ポイントクラウド、磁気センサにより検出される磁場画像等を用いることが可能である。
　また、例えば、状態検出部５３Ａを撮影部２２に設け、撮影部２２が、撮影画像内の各領域の状態を検出し、検出結果を示すデータを情報処理部２３に送信するようにしてもよい。
　さらに、例えば、状態検出部５３Ｂを検出部２１に設け、検出部２１が、検出データに基づいて対象部分の状態を検出し、検出結果を示すデータを情報処理部２３に送信するようにしてもよい。
　また、例えば、１つの対象物１２に複数の検出部２１を設けるようにしてもよい。これにより、１つの対象物１２の複数の対象部分を認識することができる。
　さらに、検出部２１と対象部分が離れていてもよい。すなわち、検出部２１が、対象物１２において検出部２１から離れた部分の状態を検出し、検出部２１から離れた部分に対応する対象領域が認識されるようにしてもよい。
　また、例えば、対象物１２の対象部分の動きを認識することにより、対象部分を用いたタンジブルなユーザインタフェースを実現することが可能である。
　さらに、例えば、検出部２１の検出データに基づいて対象物１２全体の状態を検出可能な場合、本技術は、対象物１２全体の認識処理にも適用することが可能である。例えば、対象物１２がシンプルな構成であり、検出部２１の検出データに基づいて対象物１２全体の姿勢が検出される場合、対象物１２全体に対応する対象領域を認識することが可能である。
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する認識部を
　備える情報処理装置。
（２）
　前記認識部は、前記視覚情報内の各領域の状態と、前記検出データに基づく前記物体の一部分の状態との相関関係に基づいて、前記対象領域を認識する
　前記（１）に記載の情報処理装置。
（３）
　前記認識部は、前記検出データに基づいて検出される前記物体の一部分の姿勢と同様の姿勢をとる前記視覚情報内の領域を前記対象領域として認識する
　前記（２）に記載の情報処理装置。
（４）
　前記認識部は、前記検出データに基づいて検出される前記物体の一部分の動きと同様の動きをする前記視覚情報内の領域を前記対象領域として認識する
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記物体の一部分は、前記検出部の検出対象となる部分である
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記物体の一部分は、前記検出部を含む部分である
　前記（５）に記載の情報処理装置。
（７）
　前記認識部は、前記検出部と同様の動きをする前記視覚情報内の領域を前記対象領域として認識する
　前記（６）に記載の情報処理装置。
（８）
　前記状態は、姿勢、速度、加速度、角速度、角加速度、位置、形状、及び、温度のうち少なくとも１つを含む
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記検出部は、加速度センサ及び角速度センサを備え、
　前記状態は、姿勢、速度、加速度、角速度、及び、角加速度のうち少なくとも１つを含む
　前記（８）に記載の情報処理装置。
（１０）
　前記視覚情報は、温度の分布を示す画像であるサーマル画像であり、
　前記検出部は、温度センサを備え、
　前記状態は、温度を含む
　前記（８）に記載の情報処理装置。
（１１）
　前記検出部は、エンコーダを含み、
　前記状態は、速度、加速度、角速度、角加速度、及び、位置のうち少なくとも１つを含む
　前記（８）に記載の情報処理装置。
（１２）
　前記物体の一部分は、変形可能なデバイスを備え、
　前記検出部は、前記デバイスの形状を検出するセンサを備え、
　前記状態は、形状を含む
　前記（８）に記載の情報処理装置。
（１３）
　前記視覚情報内の各領域の状態、及び、前記物体の一部分の状態のうち少なくとも１つを検出する状態検出部を
　さらに備える前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記検出データを受信する受信部を
　さらに備え、
　前記状態検出部は、受信した前記検出データに基づいて、前記物体の一部分の状態を検出する
　前記（１３）に記載の情報処理装置。
（１５）
　情報処理装置が、
　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する
　情報処理方法。
（１６）
　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する
　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　情報処理システム，　１２，１２ａ，１２ｂ，１２ｃ　対象物，　１３　非対象物，　２１　検出部，　２２　撮影部，　２３　情報処理部，　５１　受信部，　５３，５３Ａ，５３Ｂ　状態検出部，　５４　認識部，　１０１　デプスセンサ，　２５１　回転部，　２５２　カメラ，　２６２　可動部，　２６３　カメラ，　３０１　温度センサ，　３０２　サーマルセンサ

Claims (16)

  1. 　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する認識部を
    　備える情報処理装置。
  2. 　前記認識部は、前記視覚情報内の各領域の状態と、前記検出データに基づく前記物体の一部分の状態との相関関係に基づいて、前記対象領域を認識する
    　請求項１に記載の情報処理装置。
  3. 　前記認識部は、前記検出データに基づいて検出される前記物体の一部分の姿勢と同様の姿勢をとる前記視覚情報内の領域を前記対象領域として認識する
    　請求項２に記載の情報処理装置。
  4. 　前記認識部は、前記検出データに基づいて検出される前記物体の一部分の動きと同様の動きをする前記視覚情報内の領域を前記対象領域として認識する
    　請求項２に記載の情報処理装置。
  5. 　前記物体の一部分は、前記検出部の検出対象となる部分である
    　請求項１に記載の情報処理装置。
  6. 　前記物体の一部分は、前記検出部を含む部分である
    　請求項５に記載の情報処理装置。
  7. 　前記認識部は、前記検出部と同様の動きをする前記視覚情報内の領域を前記対象領域として認識する
    　請求項６に記載の情報処理装置。
  8. 　前記状態は、姿勢、速度、加速度、角速度、角加速度、位置、形状、及び、温度のうち少なくとも１つを含む
    　請求項１に記載の情報処理装置。
  9. 　前記検出部は、加速度センサ及び角速度センサを備え、
    　前記状態は、姿勢、速度、加速度、角速度、及び、角加速度のうち少なくとも１つを含む
    　請求項８に記載の情報処理装置。
  10. 　前記視覚情報は、温度の分布を示す画像であるサーマル画像であり、
    　前記検出部は、温度センサを備え、
    　前記状態は、温度を含む
    　請求項８に記載の情報処理装置。
  11. 　前記検出部は、エンコーダを含み、
    　前記状態は、速度、加速度、角速度、角加速度、及び、位置のうち少なくとも１つを含む
    　請求項８に記載の情報処理装置。
  12. 　前記物体の一部分は、変形可能なデバイスを備え、
    　前記検出部は、前記デバイスの形状を検出するセンサを備え、
    　前記状態は、形状を含む
    　請求項８に記載の情報処理装置。
  13. 　前記視覚情報内の各領域の状態、及び、前記物体の一部分の状態のうち少なくとも１つを検出する状態検出部を
    　さらに備える請求項１に記載の情報処理装置。
  14. 　前記検出データを受信する受信部を
    　さらに備え、
    　前記状態検出部は、受信した前記検出データに基づいて、前記物体の一部分の状態を検出する
    　請求項１３に記載の情報処理装置。
  15. 　情報処理装置が、
    　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する
    　情報処理方法。
  16. 　視覚情報内の各領域の状態、及び、前記視覚情報に含まれる物体が備える検出部により検出される検出データに基づく前記物体の一部分の状態に基づいて、前記視覚情報内の前記物体の一部分に対応する対象領域を認識する
    　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2019/051425 2019-01-18 2019-12-27 情報処理装置、情報処理方法、及び、記録媒体 WO2020149147A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-007068 2019-01-18
JP2019007068A JP2020119024A (ja) 2019-01-18 2019-01-18 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2020149147A1 true WO2020149147A1 (ja) 2020-07-23

Family

ID=71614432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051425 WO2020149147A1 (ja) 2019-01-18 2019-12-27 情報処理装置、情報処理方法、及び、記録媒体

Country Status (2)

Country Link
JP (1) JP2020119024A (ja)
WO (1) WO2020149147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117642631A (zh) 2021-07-15 2024-03-01 积水医疗株式会社 含有tarc的组合物、稀释剂、减少tarc残留的方法、吸附抑制剂和连续分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ATR-Promotions", SMALL WIRELESS MULTIFUNCTIONAL SENSOR (TSND121) USER'S MANUAL, 1 June 2017 (2017-06-01), pages 1 - 10, Retrieved from the Internet <URL:https://www.atr-p.com/products/pdf/TSND121-usersmanual.pdf> [retrieved on 20200310] *
KOGAWA, KAZUHIKO ET AL.: "Measurement of the deformation of flexible object for a soft actuator", IEICE TECHNICAL REPORT, vol. 104, no. 742, 11 March 2005 (2005-03-11), pages 215 - 220 *
SHINDO, YASUTAKA ET AL.: "Position and orientation estimation of an acceleration and angular-velocity sensor with help of human pose information", IEICE TECHNICAL REPORT, vol. 113, no. 38, 9 May 2013 (2013-05-09), pages 19 - 24, XP058203961 *

Also Published As

Publication number Publication date
JP2020119024A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
KR102296267B1 (ko) 3d 공간에서의 포즈 추정
TWI722280B (zh) 用於多個自由度之控制器追蹤
GB2557465A (en) Method for calibrating a camera and calibration system
US10825197B2 (en) Three dimensional position estimation mechanism
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
Ribo et al. A new optical tracking system for virtual and augmented reality applications
CN112567201A (zh) 距离测量方法以及设备
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
EP3252714A1 (en) Camera selection in positional tracking
CN107577451B (zh) 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质
WO2017057054A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017043181A1 (ja) センサ装置、センサシステム及び情報処理装置
KR20150088636A (ko) 위치 추정 장치 및 방법
TWI642903B (zh) 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
KR101896827B1 (ko) 사용자 자세 추정 장치 및 방법
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
WO2017201266A2 (en) Real-time visual-inertial motion tracking fault detection
EP3761629B1 (en) Information processing device, autonomous mobile body, information processing method, and program
EP3269302A1 (en) Information processing apparatus and information processing method
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
WO2020149147A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
Carraro et al. Real-time marker-less multi-person 3d pose estimation in rgb-depth camera networks
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
JP5863034B2 (ja) 情報端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910220

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910220

Country of ref document: EP

Kind code of ref document: A1