WO2019150954A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2019150954A1
WO2019150954A1 PCT/JP2019/001127 JP2019001127W WO2019150954A1 WO 2019150954 A1 WO2019150954 A1 WO 2019150954A1 JP 2019001127 W JP2019001127 W JP 2019001127W WO 2019150954 A1 WO2019150954 A1 WO 2019150954A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
image
information
persons
silhouette
Prior art date
Application number
PCT/JP2019/001127
Other languages
English (en)
French (fr)
Inventor
純平 松永
田中　清明
信二 高橋
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019150954A1 publication Critical patent/WO2019150954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing apparatus for identifying a person shown in a captured image.
  • a technique for identifying a person appearing in a captured image there is a technique for acquiring a facial feature amount of a person from the captured image and identifying the person from the acquired facial feature amount.
  • the feature amount of one face of one image is approximate to the feature amount of one face of another image, and the feature amount of one face of one image It is determined whether or not there are a plurality of relationships that do not approximate the feature amounts of all other faces other than one face of the image. When there are a plurality of such relationships, it is determined that one face of one image and one face of another image are the faces of the same person.
  • the identification result When the identification result is used for door locking / unlocking, etc., since the person actively faces the camera, the accurate facial feature quantity of the person can be obtained from the captured image. However, when the identification result is used for other purposes, the person may not turn his face to the camera, and the accurate facial feature quantity of the person may not be obtained from the captured image. . For this reason, in the conventional technique for identifying a person from facial feature amounts, the person may not be identified with high accuracy.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an information processing apparatus capable of identifying a person shown in a captured image even when a face is not captured.
  • a method of identifying a person based on at least one of posture, gesture, silhouette, flow line, and staying place of a person in a captured image Is adopted.
  • the first aspect of the present invention includes image acquisition means for acquiring a captured image, and the posture, gesture, silhouette, flow line, and staying place of a person shown in the image from the image.
  • an information processing apparatus comprising: an information acquisition unit that acquires feature information indicating at least one of the features as a feature of the person; and an identification unit that identifies the person based on the feature information .
  • the posture, gesture, silhouette, flow line, staying location, etc. of a person shown in the captured image can be acquired even if the face of the person is not captured. Since these characteristics are unique to the person, the person can be identified from these characteristics.
  • the information acquisition means may acquire skeleton information indicating the skeleton of the person from the image, and acquire the feature information based on the skeleton information.
  • the information processing apparatus further includes storage means for storing reference information indicating the characteristics of the person, and the identification means compares the feature information with each reference information, and the person shown in the image May be identified. You may further have an imaging means which images the said image.
  • the identifying unit identifies some of the two or more persons based on feature information corresponding to the persons, and the 2 It is preferable to identify the remaining persons among the persons over the person based on the characteristic information corresponding to the persons and the identification result of the part of the persons.
  • the storage means stores, for each of the plurality of persons, two or more reference information corresponding to two or more combinations of the person and another person, and two or more persons are reflected in the image.
  • the identifying means identifies a part of the two or more persons by comparing feature information corresponding to the persons with the reference information, and the two or more persons.
  • the remaining person may be identified by comparing the feature information corresponding to the person with each reference information corresponding to the combination of the identified part of the persons.
  • the characteristics (posture, gesture, flow line, place of stay, etc.) of the person may change depending on the other person.
  • the posture and gestures of one person between when other people include a specific person father, mother, brother, brother, sister, sister, boss, subordinate, etc.
  • father, mother, brother, brother, sister, sister, boss, subordinate, etc. May be different. Therefore, one person can be identified with higher accuracy by considering the identification result of another person.
  • the present invention can be understood as an information processing system having at least a part of the above configuration or function.
  • the present invention also provides an information processing method or information processing system control method including at least a part of the above processing, a program for causing a computer to execute these methods, or such a program non-temporarily. It can also be understood as a recorded computer-readable recording medium.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing system according to the first embodiment.
  • FIG. 3 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an image captured by the monitoring camera according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a difference in posture according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of reference information according to the first embodiment.
  • FIG. 7 is a block diagram illustrating a configuration example of a communication robot according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing system according to the first embodiment.
  • FIG. 3 is a flowchart
  • FIG. 8 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the third embodiment.
  • FIG. 9A is a diagram illustrating an example of reference information according to the third embodiment
  • FIG. 9B is a diagram illustrating an example of a silhouette indicated by a mask image according to the third embodiment.
  • FIG. 10 is a diagram illustrating an example of a silhouette image and a mask image according to the third embodiment.
  • FIG. 11 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the fourth embodiment.
  • FIG. 12 is a diagram illustrating an example of a stay map (feature information) according to the fourth embodiment.
  • FIG. 13A is a diagram illustrating an example of reference information according to the fourth embodiment, and FIG.
  • FIG. 13B is a diagram illustrating an example of a stay map (reference information) according to the fourth embodiment.
  • FIG. 14 is a diagram illustrating an example of a flow line according to a modification of the present invention.
  • FIG. 15 is a flowchart illustrating a processing flow example of the information processing apparatus according to the fifth embodiment.
  • FIG. 16 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the sixth embodiment.
  • FIG. 17 is a diagram illustrating an example of reference information according to the sixth embodiment.
  • FIG. 1 is a block diagram showing a configuration example of an information processing apparatus 100 to which the present invention is applied.
  • the information processing apparatus 100 includes an image input unit 101, a control unit 102, a storage unit 103, and an output unit 104.
  • the control unit 102 includes an information acquisition unit 111 and an identification unit 112.
  • the image input unit 101 acquires a captured image (image data).
  • the image input unit 101 is an input terminal to which image data is input.
  • the image input unit 101 is an example of an image acquisition unit of the present invention.
  • the control unit 102 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls various information processing and each component.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the information acquisition unit 111 is a feature that indicates, from the image acquired by the image input unit 101, at least one of the posture, gesture, silhouette, flow line, and stay location of the person shown in the image as the feature of the person. Get information.
  • the information acquisition unit 111 is an example of an information acquisition unit of the present invention.
  • the identification unit 112 identifies a person shown in the image acquired by the image input unit 101 based on the feature information acquired by the information acquisition unit 111.
  • the identification unit 112 is an example of an identification unit of the present invention.
  • the storage unit 103 stores programs executed by the control unit 102, various data used by the control unit 102, and the like.
  • the storage unit 103 is an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the storage unit 103 is an example of a storage unit of the present invention.
  • the output unit 104 outputs the identification result of the identification unit 112 to an external device, a component (not shown) of the information processing apparatus 100, and the like.
  • the output unit 104 is, for example, an output terminal that outputs identification result data.
  • the information processing apparatus 100 it is possible to identify a person in the captured image even when the face is not captured. Specifically, the posture, gesture, silhouette, flow line, staying location, etc. of a person shown in the captured image can be acquired even if the face of the person is not captured. Since these characteristics are unique to the person, the person can be identified from these characteristics.
  • a first embodiment of the present invention will be described.
  • Surveillance cameras may be used to manage employees, residents (residents), etc., and to improve security in the workplace, community, and home. People rarely turn their faces toward the surveillance camera.
  • an example of identifying a person appearing in an image captured by a monitoring camera will be described.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing system according to the first embodiment.
  • a monitoring camera 200 and a management device 300 are connected to the information processing apparatus 100 in FIG. 1. At least one of the monitoring camera 200 and the management apparatus 300 may be a part of the information processing apparatus 100.
  • the monitoring camera 200 is an imaging device that captures an image and outputs the captured image to the information processing apparatus 100.
  • the imaging range of the monitoring camera 200 may be fixed or may change.
  • An image captured by the monitoring camera 200 is input to the image input unit 101 of the information processing apparatus 100.
  • a person shown in the image is identified by the processing of the control unit 102 (the information acquisition unit 111 and the identification unit 112) of the information processing apparatus 100. Is done.
  • the output unit 104 of the information processing apparatus 100 outputs the identification result of the control unit 102 (identification unit 112) to the management apparatus 300.
  • the management apparatus 300 performs various processes using the identification result output from the information processing apparatus 100.
  • the management apparatus 300 generates statistical data of a plurality of identification results in a predetermined period, or notifies the administrator (user of the management apparatus 300) of statistical data and identification results. Notification to the administrator is realized by, for example, screen display using a display unit such as a liquid crystal monitor, audio output using a speaker, and the like.
  • the information acquisition unit 111 acquires feature information indicating a posture and a gesture.
  • FIG. 3 is a flowchart illustrating an example of a processing flow of the information processing apparatus 100 according to the first embodiment.
  • the image input unit 101 acquires an image captured by the monitoring camera 200 from the monitoring camera 200 (step S301).
  • FIG. 4 shows an example of an image captured by the monitoring camera 200.
  • a person 401 is shown in an image 400 captured by the monitoring camera 200.
  • the information acquisition unit 111 acquires skeleton information indicating the skeleton of the person shown in the image from the image acquired in step S301 (step S302).
  • the skeleton information is acquired using, for example, OpenPose.
  • the skeletal information is information indicating a human body or information indicating a part of the human body (head, neck, shoulder, elbow, hand, waist, knee, ankle, eye, ear, fingertip, etc.). Therefore, the acquisition of skeleton information can be said to be “human body detection”, “part detection”, and the like.
  • the skeleton (skeleton information) 402 of the person 401 is detected from the image 400.
  • the information acquisition unit 111 detects the posture and gesture of the person shown in the image acquired in step S301 based on the skeleton information acquired in step S302 (steps S303 and S304).
  • a combination of the detection result (posture) in step S303 and the detection result (grass) in step S304 is the feature information of the person shown in the image acquired in step S301.
  • the process of step S303 (posture detection) and the process of step S304 (prediction detection) may be performed in parallel or sequentially.
  • the order of posture detection and gesture detection is not particularly limited.
  • step S303 as the posture detection result, for example, information indicating upright, stoop, O-leg, X-leg, etc. is obtained.
  • the shape of the skeleton is different between the case of the dorsum and the normal case.
  • the shape of the skeleton depends on the posture. Therefore, the posture can be detected from the shape of the skeleton based on the skeleton information.
  • step S304 information indicating, for example, walking, flexing, lying down, arms folded, etc., is obtained as a result of gesture detection.
  • the positional relationship between the upper arm and the forearm differs depending on whether the arm is folded or not.
  • the positional relationship of each part depends on the gesture. Therefore, a gesture can be detected from the positional relationship of each part based on the skeleton information.
  • a gesture involving movement such as walking or bending may be detected using a plurality of pieces of skeleton information respectively corresponding to a plurality of images captured at different times.
  • For walking information indicating the ratio between the stride width and the shoulder width may be obtained.
  • postures and gestures may be detected by other methods that do not use skeleton information. For example, posture detection or gesture detection using pattern matching or the like may be performed.
  • the identification unit 112 identifies the person shown in the image acquired in step S301 based on the feature information obtained by the processing in steps S303 and S304 (step S305).
  • the storage unit 103 stores in advance reference information indicating the characteristics of each of a plurality of persons. Then, the identification unit 112 compares the feature information with each reference information, and identifies a person shown in the image.
  • the reference information may be manually registered with respect to the information processing apparatus 100, or may be automatically registered using an image captured by the monitoring camera 200.
  • FIG. 6 shows an example of reference information according to the first embodiment.
  • reference information 601 to 603 are registered in advance.
  • the reference information 601 includes, as characteristics of “Mr. A”, “posture (back): normal”, “posture (leg): normal”, and “step ratio (step ratio when shoulder width is 1): 1 .5 ".
  • the reference information 602 indicates “posture (back): stoop”, “posture (leg): O leg”, and “step ratio: 1.3” as characteristics of “Mr. B”.
  • the reference information 603 indicates “posture (back): stoop”, “posture (leg): O leg”, and “step ratio: 1.0” as the characteristics of “Mr. C”.
  • the reference information 601 to 603 are registered in advance, and “posture (back): normal”, “posture (leg): normal”, and “step ratio: 1 ..
  • the reference information 601 is the information most similar to the feature information among the reference information 601 to 603. Therefore, the identifying unit 112 determines that the person shown in the image acquired in step S301 is “Mr. A”.
  • the output unit 104 outputs the identification result of step S305 to the management apparatus 300 (step S306).
  • the first embodiment even when a face is not captured by the surveillance camera, it is based on the feature information indicating the posture and gesture of the person shown in the image captured by the surveillance camera. The person can be identified.
  • a second embodiment of the present invention will be described.
  • users may be identified for appropriate communication with users.
  • the communication robot acquires a facial feature amount of a person from an image captured by its imaging unit, and identifies the person from the acquired facial feature amount.
  • the person does not always face the communication robot (imaging unit) before identification.
  • a communication robot spontaneously communicates with a user, it is unlikely that the user turns his face to the communication robot before identification.
  • faces may be similar among family members. Therefore, even if a certain person in the family faces his / her face to the communication robot, and the accurate face feature amount of the person is obtained, the communication robot may not be able to identify the person from the face feature amount. .
  • FIG. 7 is a block diagram illustrating a configuration example of a robot (communication robot) 700 according to the second embodiment.
  • the robot 700 includes an imaging unit 701, an image input unit 101, a control unit 102, a storage unit 103, an output unit 104, and a communication unit 702.
  • the control unit 102 includes an information acquisition unit 111 and an identification unit 112.
  • the imaging unit 701 performs imaging and outputs the captured image to the image input unit 101.
  • the imaging unit 701 is an imaging sensor such as a CCD or CMOS sensor.
  • the image input unit 101, the control unit 102, the storage unit 103, and the output unit 104 are as described in the first embodiment.
  • the image input unit 101 acquires the image captured by the imaging unit 701 from the imaging unit 701, and the output unit 104 outputs the identification result to the communication unit 702.
  • the communication unit 702 Based on the identification result output from the output unit 104, the communication unit 702 performs processing for communication with a person shown in the image captured by the imaging unit 701.
  • the communication unit 702 includes a display unit such as a liquid crystal monitor, a speaker, and the like.
  • the communication unit 702 provides a screen display using a display unit such as a liquid crystal monitor and a speaker based on the identification result for providing information to the person of the identification result, talking with the person of the identification result, and the like. Perform audio output, etc.
  • step S ⁇ b> 301 the image input unit 101 acquires an image captured by the imaging unit 701 from the imaging unit 701.
  • step S306 the output unit 104 outputs the identification result of step S305 to the communication unit 702.
  • the feature information indicating the posture and gesture of the person in the captured image is used.
  • a person can be identified.
  • due to differences in real age and mental age there is a high possibility that postures and gestures are different even among family members. Therefore, by considering the posture and gesture, each person in the family can be identified with high accuracy.
  • silhouettes, flow lines, staying places, and the like are different even between persons in a family. An example that considers silhouettes, flow lines, staying places, etc. will be described later.
  • a third embodiment of the present invention will be described.
  • the example in which the feature information indicating the posture and the gesture is acquired has been described.
  • feature information further indicating the silhouette of a person shown in a captured image is acquired.
  • the configuration of the information processing apparatus according to the third embodiment is the same as that of the information processing apparatus 100 according to the first embodiment (FIGS. 1 and 2) or the configuration of the robot 700 according to the second embodiment (FIG. 7). ).
  • FIG. 8 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the third embodiment.
  • the image input unit 101 acquires a captured image (step S301), and the information acquisition unit 111 acquires skeleton information (step S302). .
  • the information acquisition unit 111 obtains the posture, gesture, and silhouette of the person shown in the image acquired in step S301. It is detected (steps S303, S304, S800).
  • the combination of the detection result (posture) in step S303, the detection result (gesture) in step S304, and the detection result (silhouette) in step S800 is the feature information of the person shown in the image acquired in step S301.
  • the process of step S303 (posture detection), the process of step S304 (prediction detection), and the process of step S800 (silhouette detection) may be performed in parallel or sequentially.
  • the order of posture detection, gesture detection, and silhouette detection is not particularly limited.
  • step S800 the silhouette of a person is detected from the image using, for example, Mask R-CNN.
  • the identification unit 112 uses the obtained feature information (specifically, the feature information obtained by the processing in steps S303, S304, and S800). Based on this, the person shown in the image acquired in step S301 is identified (step S305).
  • FIG. 9A shows an example of reference information according to the third embodiment.
  • reference information 901 to 903 are registered in advance.
  • the reference information 901 indicates “posture (back): normal”, “step ratio: 1.5”, and “mask image: I1” as the characteristics of “Mr. A”.
  • the reference information 902 indicates “posture (back): stoop”, “step ratio: 1.3”, and “mask image: I2” as characteristics of “Mr. B”.
  • the reference information 903 indicates “posture (back): stoop”, “step ratio: 1.3”, and “mask image: I3” as characteristics of “Mr. C”.
  • Mask images I1 to I3 are images showing silhouettes.
  • FIG. 9B shows an example of silhouettes corresponding to the mask images I1 to I3. “Mr. A”, “Mr. B”, and “Mr. C” have different body shapes. Therefore, as shown in FIG. 9B, the silhouettes are different between the mask images I1 to I3.
  • the reference information 901 to 903 is registered in advance, and “posture (back): stoop”, “step ratio: 1.3”, and “silhouette image: through the processes of steps S303, S304, and S800.
  • feature information indicating “Ip” is acquired.
  • the silhouette image is an image indicating the silhouette detected in step S800.
  • “posture (back): stoop” and “step ratio: 1.3” match those in the reference information 902 and 903. Therefore, from the feature information “posture (back): stoop” and “step ratio: 1.3”, the person in the image acquired in step S301 is “Mr. B” or “Mr. C”. Cannot determine if it exists.
  • the identification unit 112 compares the silhouette image Ip of the feature information with the mask image I2 of the reference information 902 and the mask image I3 of the reference information 903. Thereby, the identification unit 112 can determine that the degree of similarity between the detected silhouette and the silhouette of “Mr. B” is higher than the degree of similarity between the silhouette detected at step S800 and the silhouette of “Mr. C”. As a result, the identification unit 112 can determine that the person shown in the image acquired in step S301 is “Mr. B”. As described above, in the third embodiment, by further considering the silhouette, it becomes possible to identify a person who cannot be identified even if only the posture and the gesture are taken into consideration.
  • the size of the silhouette of a person depends on the distance between the camera (imaging unit) and the person. Therefore, the detected silhouette is subjected to size normalization to generate a silhouette image, or a mask image corresponding to the silhouette subjected to size normalization is prepared in advance.
  • the silhouette is normalized so that, for example, the size from the tip of the head to the tip of the foot becomes a predetermined value.
  • FIG. 10 shows an example of a silhouette image and a mask image.
  • FIG. 10 shows a mask image corresponding to a part of the arm, but the mask image may be an image corresponding to the whole person or an image corresponding to a part of the person. Good.
  • the mask image is composed of a plurality of regions (a plurality of silhouette determination regions).
  • the attribute “1” corresponding to the silhouette is assigned to the silhouette determination region corresponding to the silhouette indicated by the mask image.
  • An attribute “0” corresponding to the background is assigned to the silhouette determination region corresponding to the background indicated by the mask image.
  • the identification unit 112 determines whether the attribute (silhouette / background) of the silhouette image matches the attribute (1/0; silhouette / background) of the mask image for each silhouette determination region. Then, the identification unit 112 calculates the ratio of the total number of matching areas (silhouette determination areas determined to match) to the total number of silhouette determination areas, the total number of matching areas, and the like as the similarity of silhouettes.
  • the size of the silhouette determination area is not particularly limited.
  • the silhouette determination area may be an area of one pixel or an area for a plurality of pixels.
  • the silhouette determination area may include both the silhouette and the background indicated by the silhouette image.
  • the attribute of the silhouette image in the silhouette determination region may be determined based on the size of the silhouette (the silhouette indicated by the silhouette image) in the silhouette determination region. For example, the attribute “silhouette” of the silhouette image is acquired for the silhouette determination region whose silhouette size indicated by the silhouette image is equal to or larger than the threshold, and the attribute “background” of the silhouette image is acquired for the silhouette determination region that is not May be obtained.
  • the output unit 104 outputs the identification result of step S305 (step S306).
  • the third embodiment it is possible to identify a person with higher accuracy than in the first and second embodiments by using the feature information further indicating the silhouette.
  • a fourth embodiment of the present invention will be described.
  • an example will be described in which feature information indicating the posture, gesture, and stay location of a person shown in a captured image is acquired.
  • the configuration of the information processing apparatus according to the fourth embodiment is the same as that of the information processing apparatus 100 according to the first embodiment (FIGS. 1 and 2) or the configuration of the robot 700 according to the second embodiment (FIG. 7). ).
  • FIG. 11 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the fourth embodiment.
  • the image input unit 101 acquires a captured image (step S301), and the information acquisition unit 111 acquires skeleton information (step S302). .
  • the information acquisition unit 111 detects the posture, gesture, and staying place of the person in the image acquired in step S301 based on the skeleton information acquired in step S302 (steps S303 and S304). , S1100).
  • the combination of the detection result (posture) in step S303, the detection result (step gesture) in step S304, and the detection result (stay place) in step S1100 is the feature information of the person shown in the image acquired in step S301. .
  • the processing of step S303 posterior detection
  • the processing of step S304 prediction detection
  • the processing of step S1100 detection of stay location
  • the order of posture detection, gesture detection, and stay location detection is not particularly limited.
  • step S1100 the information acquisition unit 111 detects the staying place of the person based on, for example, the position of the skeleton (person position; person position) indicated by the skeleton information. Specifically, a plurality of stay determination areas constituting the imaging range are determined in advance. The information acquisition unit 111 calculates the ratio of staying time (staying rate) to the length of the predetermined period for each stay determination area based on the time change of the person position in the predetermined period such as the past several minutes. Thereby, a stay map (heat map) indicating the stay rate of each stay determination area is obtained as a stay location detection result. For example, the stay map Mp shown in FIG. 12 is obtained.
  • the identification unit 112 uses the obtained feature information (specifically, the feature information obtained by the processing in steps S303, S304, and S1100). Based on this, the person shown in the image acquired in step S301 is identified (step S305).
  • FIG. 13A shows an example of reference information according to the fourth embodiment.
  • reference information 1301 to 1303 is registered in advance.
  • the reference information 1301 indicates “posture (back): normal”, “step ratio: 1.5”, and “stay map: M1” as features of “father”.
  • the reference information 1302 indicates “posture (back): stoop”, “step ratio: 1.3”, and “stay map: M2” as the characteristics of “mother”.
  • the reference information 1303 indicates “posture (back): stoop”, “step ratio: 1.3”, and “stay map: M3” as the characteristics of the “sister”.
  • the stay maps M1 to M3 of the reference information 1301 to 1303 indicate stay rates in a predetermined period such as the past month, for example.
  • FIG. 13B shows an example of the stay maps M1 to M3. For example, my father is often near the walkway in the living room, my mother is often in the kitchen, my sister is often near the wall in the living room, and so on. To do. Therefore, as shown in FIG. 13B, the stay rate distribution differs among the stay maps M1 to M3.
  • the reference information 1301 to 1303 is registered in advance, and “posture (back): stoopback”, “step ratio: 1.3”, and “stay map: by the processing of steps S303, S304, and S1100.
  • “posture (back): stoopback” and “step ratio: 1.3” match those in the reference information 1302 and 1303. Therefore, according to the feature information “posture (back): stoop” and “step ratio: 1.3”, whether the person shown in the image acquired in step S301 is “mother” or “sister” Cannot be determined.
  • the identification unit 112 compares the stay map Mp of the feature information with the stay map M2 of the reference information 1302 (mother) and the stay map M3 of the reference information 1303 (elder sister). Accordingly, the identification unit 112 can determine that the similarity between the stay map Mp and the stay map M3 of the “sister” is higher than the similarity between the stay map Mp and the stay map M2 of the “mother”. As a result, the identification unit 112 can determine that the person shown in the image acquired in step S301 is “sister”. As described above, in the fourth embodiment, by further considering the stay location in addition to the posture and the gesture, it becomes possible to identify a person who cannot be identified even if only the posture and the gesture are considered.
  • step S1100 the information acquisition unit 111 may detect a stay determination area having the highest stay rate as a stay place.
  • a stay determination area with the highest stay rate, a stay determination area specified by the user, or the like may be indicated as the stay place.
  • the identification unit 112 may determine whether the stay location detected in step S1100 matches or does not match the stay location of the reference information.
  • the output unit 104 outputs the identification result of step S305 (step S306).
  • the person can be detected with higher accuracy than the first embodiment and the second embodiment. Can be identified.
  • FIG. 14 shows an example of the flow lines of father, mother and sister. Just as the place of stay (stay rate) depends on the person, the flow line also depends on the person. Therefore, as shown in FIG. 14, the flow line is different between the father, the mother, and the older sister.
  • a fifth embodiment of the present invention will be described.
  • an example will be described in which feature information indicating the posture, gesture, silhouette, and staying place of a person in a captured image is acquired. That is, in the fifth embodiment, an example of a combination of the third embodiment and the fourth embodiment will be described.
  • the configuration of the information processing apparatus according to the fifth embodiment is the same as the configuration of the information processing apparatus 100 according to the first embodiment (FIGS. 1 and 2) or the configuration of the robot 700 according to the second embodiment (FIG. 7). ).
  • FIG. 15 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the fifth embodiment.
  • the image input unit 101 acquires a captured image (step S301), and the information acquisition unit 111 acquires skeleton information (step S302). .
  • the information acquisition unit 111 detects the posture, gesture, silhouette, and stay location of the person in the image acquired in step S301 based on the skeleton information acquired in step S302 (step S303). , S304, S800, S1100).
  • the combination of the detection result (posture) in step S303, the detection result (step gesture) in step S304, the detection result (silhouette) in step S800, and the detection result (stay place) in step S1100 is the image acquired in step S301. This is characteristic information of the person in the picture.
  • the process of step S303 (posture detection), the process of step S304 (prediction detection), the process of step S800 (silhouette detection), and the process of step S1100 (stay place detection) may be performed in parallel. May be done.
  • the order of posture detection, gesture detection, silhouette detection, and stay location detection is not particularly limited.
  • the processing at step S303 (attitude detection) and the processing at step S304 (grass detection) are as described in the first embodiment.
  • the processing in step S800 (silhouette detection) is as described in the third embodiment.
  • the processing in step S1100 (stay place detection) is as described in the fourth embodiment.
  • the identification unit 112 performs the obtained feature information (specifically, the feature information obtained by the processing in steps S303, S304, S800, and S1100). ) To identify a person in the image acquired in step S301 (step S305).
  • the human identification accuracy is improved by further considering the silhouette in addition to the posture and gesture.
  • the person identification accuracy is improved by further considering the staying place in addition to the posture and the gesture. Therefore, by further considering both the silhouette and the staying place in addition to the posture and the gesture, it is possible to identify the person with higher accuracy than in the third embodiment and the fourth embodiment. For example, even if identification based on any of posture, gesture, silhouette, and staying place cannot be successful, it is only necessary that identification based on the rest of posture, gesture, silhouette, and staying place can be successful. Therefore, the probability of successful identification increases.
  • the output unit 104 outputs the identification result of step S305 (step S306).
  • a person is identified with higher accuracy than the first to fourth embodiments by using the feature information indicating the posture, gesture, silhouette, and staying place. it can.
  • the configuration of the information processing apparatus according to the sixth embodiment is the same as that of the information processing apparatus 100 according to the first embodiment (FIGS. 1 and 2) or the configuration of the robot 700 according to the second embodiment (FIG. 7). ).
  • FIG. 16 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the sixth embodiment.
  • the image input unit 101 acquires a captured image (step S301), and the information acquisition unit 111 acquires skeleton information (step S302). .
  • the skeleton information of each person is acquired.
  • the information acquisition unit 111 acquires feature information based on the skeleton information acquired in step S302 (step S1601).
  • step S1601 for example, processes such as steps S303, S304, S800, and S1100 in FIG. 15 are performed.
  • steps S303, S304, S800, and S1100 in FIG. 15 are performed.
  • the identification unit 112 identifies a person in the image acquired in step S301 based on the feature information acquired in step S1601 (step S305). .
  • each person is identified.
  • a plurality of pieces of reference information respectively corresponding to a plurality of persons may be similar to one piece of feature information, so that a person corresponding to the feature information may not be identified.
  • the remaining persons may be persons who have failed to be identified in step S305, or may be persons who have not been identified in step S305.
  • the identification unit 112 Based on the feature information corresponding to the remaining person (feature information acquired in step S1601) and the identification result of the partial person (identification result of step S305), the identification unit 112 The remaining person is identified (step S1602).
  • the storage unit 103 stores in advance two or more pieces of reference information corresponding to two or more combinations of the person and another person for each of the plurality of persons. Then, the identification unit 112 compares the feature information corresponding to the remaining person with each reference information corresponding to the combination of the part of persons to identify the remaining person.
  • the characteristics (posture, gesture, flow line, place of stay, etc.) of the person may change depending on the other person.
  • the posture and gestures of one person between when other people include a specific person father, mother, brother, brother, sister, sister, boss, subordinate, etc.
  • father, mother, brother, brother, sister, sister, boss, subordinate, etc. May be different. Therefore, one person can be identified with higher accuracy by considering the identification result of another person.
  • FIG. 17 shows an example of reference information according to the sixth embodiment.
  • the reference information 1701 to 1713 in FIG. 17 is registered in advance, and the feature information of the two persons A and B is acquired in step S1601.
  • the characteristic information of the person A indicates “posture (back): normal”, “step ratio: 1.5”, and “stay map: M1”, and the characteristic information of the person B includes “posture (back): stoop”. ”,“ Step ratio: 1.3 ”, and“ stay map: M2 ”.
  • Step S305 since the characteristic information of the person A is similar to the reference information 1701 to 1704 of “Father”, it can be determined in Step S305 that the person A is “Father”.
  • the feature information of the person B is similar to the reference information 1705 to 1709 of the “mother” and the reference information 1710 of the “sister”. Therefore, in step S305, whether the person B is “mother” or “sister ”Cannot be determined.
  • step S1602 when it is determined in step S305 that the person A is “father”, in step S1602, the reference information 1706 of “mother” together with “father” among the reference information 1701 to 1713 is displayed. , Reference information 1711 of “sister” together with “father” is referred to. Since the feature information of the person B is more similar to the reference information 1706 of the “mother” than the reference information 1711 of the “sister”, it can be determined in step S1602 that the person B is the “mother”.
  • FIG. 17 shows an example in which the stay location (stay map) changes depending on the person together, but the posture, gesture, flow line, etc. may change depending on the person. .
  • the output unit 104 outputs the identification results of steps S305 and S1602 (step S306).
  • the sixth embodiment it is possible to identify another person with higher accuracy than in the first to fifth embodiments by considering the person identified based on the feature information. For example, by considering a person identified based on feature information, a person who could not be identified can be identified.
  • the feature indicated by the feature information is not particularly limited.
  • the feature information indicates one, two, three, four, or five of posture, gesture, silhouette, flow line, and staying place.
  • the feature information may indicate features different from the posture, gesture, silhouette, flow line, and stay location. The same applies to the reference information.
  • Image acquisition means (101) for acquiring a captured image
  • Information acquisition means (111) for acquiring, from the image, feature information indicating at least one of the posture, gesture, silhouette, flow line, and stay location of the person shown in the image as a feature of the person
  • An information processing apparatus (100) comprising: identification means (112) for identifying the person based on the feature information.
  • SYMBOLS 100 Information processing apparatus 101: Image input part 102: Control part 103: Storage part 104: Output part 111: Information acquisition part 112: Identification part 200: Monitoring camera 300: Management apparatus 700: Communication robot 701: Imaging part 702: Communication Part 400: Image 401: Person 402: Skeleton (skeleton information) 601 to 603, 901 to 903: Reference information 1301 to 1303, 1701 to 1713: Reference information I1 to I3, Ip: Mask image M1 to M3, Mp: Stay map (heat map)

Abstract

撮像された画像に写っている人物を識別する情報処理装置が、撮像された画像を取得する画像取得手段と、前記画像から、当該画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかを当該人物の特徴として示す特徴情報を取得する情報取得手段と、前記特徴情報に基づいて、前記人物を識別する識別手段と、を有する。

Description

情報処理装置
　本発明は、撮像された画像に写っている人物を識別する情報処理装置に関する。
　撮像された画像に写っている人物を識別する技術として、撮像された画像から人物の顔特徴量を取得し、取得した顔特徴量から当該人物を識別する技術がある。
　特許文献１に開示の技術では、一の画像の一の顔の特徴量と他の画像の一の顔の特徴量とが近似しており且つ一の画像の一の顔の特徴量と他の画像の一の顔以外のすべての他の顔の特徴量とが近似していないような関係が複数存在するかどうかが判定される。そして、そのような関係が複数存在する場合には、一の画像の一の顔と他の画像の一の顔とが同一人物の顔であると判定される。
特開２０１５－２２５５６７号公報
　識別結果をドアの施解錠などのために利用する場合には、人物がカメラに対して積極的に顔を向けるため、撮像された画像から当該人物の正確な顔特徴量が得られる。しかしながら、識別結果が他の目的で利用される場合には、人物がカメラに対して顔を向けないことがあり、撮像された画像から当該人物の正確な顔特徴量が得られないことがある。そのため、顔特徴量から人物を識別する従来技術では、人物を高精度に識別できないことがある。
　本発明は、上記実情に鑑みなされたものであって、顔が撮像されていない場合でも撮像された画像に写っている人物を識別できる情報処理装置を提供することを目的とする。
　上記目的を達成するために、本発明では、撮像された画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかに基づいて当該人物を識別する、という方法を採用する。
　具体的には、本発明の第一態様は、撮像された画像を取得する画像取得手段と、前記画像から、当該画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかを当該人物の特徴として示す特徴情報を取得する情報取得手段と、前記特徴情報に基づいて、前記人物を識別する識別手段と、を有することを特徴とする情報処理装置を提供する。
　この構成によれば、顔が撮像されていない場合でも撮像された画像に写っている人物を識別できる。具体的には、撮像された画像に写っている人物の姿勢、仕草、シルエット、動線、滞在場所、等は、当該人物の顔が撮像されていなくても取得できる。そして、それらの特徴は人物固有のものであるため、それらの特徴から人物を識別できる。
　前記情報取得手段は、前記人物の骨格を示す骨格情報を前記画像から取得し、当該骨格情報に基づいて前記特徴情報を取得してもよい。複数の人物のそれぞれについて、その人物の特徴を示す参照情報を記憶する記憶手段をさらに有し、前記識別手段は、前記特徴情報と各参照情報を比較して、前記画像に写っている前記人物を識別してもよい。前記画像を撮像する撮像手段、をさらに有してもよい。
　前記画像に２人以上の人物が写っている場合に、前記識別手段は、前記２人以上の人物のうちの一部の人物を、その人物に対応する特徴情報に基づいて識別し、前記２人以上の人物のうちの残りの人物を、その人物に対応する特徴情報と、前記一部の人物の識別結果とに基づいて識別するとよい。前記記憶手段は、前記複数の人物のそれぞれについて、その人物と他の人物との２つ以上の組み合わせにそれぞれ対応する２つ以上の参照情報を記憶し、前記画像に２人以上の人物が写っている場合に、前記識別手段は、前記２人以上の人物のうちの一部の人物を、その人物に対応する特徴情報と、前記各参照情報とを比較して識別し、前記２人以上の人物のうちの残りの人物を、その人物に対応する特徴情報と、識別された前記一部の人物との組み合わせに対応する各参照情報とを比較して識別してもよい。
　一の人物が他の人物と一緒にいる場合には、一の人物の特徴（姿勢、仕草、動線、滞在場所、等）が他の人物に依存して変わることがある。例えば、他の人物に特定の人物（父、母、兄、弟、姉、妹、上司、部下、等）が含まれている場合とそうでない場合との間で、一の人物の姿勢や仕草が異なることがある。そのため、他の人物の識別結果を考慮することにより、一の人物をより高精度に識別できる。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する情報処理システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、情報処理方法又は情報処理システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、顔が撮像されていない場合でも撮像された画像に写っている人物を識別できる。
図１は、本発明が適用された情報処理装置の構成例を示すブロック図である。 図２は、第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 図３は、第１の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 図４は、第１の実施形態に係る監視カメラによって撮像された画像の一例を示す図である。 図５は、第１の実施形態に係る姿勢の違いの一例を示す図である。 図６は、第１の実施形態に係る参照情報の一例を示す図である。 図７は、第２の実施形態に係るコミュニケーションロボットの構成例を示すブロック図である。 図８は、第３の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 図９Ａは、第３の実施形態に係る参照情報の一例を示す図であり、図９Ｂは、第３の実施形態に係るマスク画像によって示されたシルエットの一例を示す図である。 図１０は、第３の実施形態に係るシルエット画像とマスク画像の一例を示す図である。 図１１は、第４の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 図１２は、第４の実施形態に係る滞在マップ（特徴情報）の一例を示す図である。 図１３Ａは、第４の実施形態に係る参照情報の一例を示す図であり、図１３Ｂは、第４の実施形態に係る滞在マップ（参照情報）の一例を示す図である。 図１４は、本発明の変形例に係る動線の一例を示す図である。 図１５は、第５の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 図１６は、第６の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 図１７は、第６の実施形態に係る参照情報の一例を示す図である。
　＜適用例＞
　本発明の適用例について説明する。撮像された画像に写っている人物を識別する従来技術では、撮像された画像から人物の顔特徴量が取得され、取得した顔特徴量から当該人物が識別される。識別結果をドアの施解錠などのために利用する場合には、人物がカメラに対して積極的に顔を向けるため、撮像された画像から当該人物の正確な顔特徴量が得られる。しかしながら、識別結果が他の目的で利用される場合には、人物がカメラに対して顔を向けないことがあり、撮像された画像から当該人物の正確な顔特徴量が得られないことがある。そのため、上記従来技術では、人物を高精度に識別できないことがある。
　図１は、本発明が適用された情報処理装置１００の構成例を示すブロック図である。情報処理装置１００は、画像入力部１０１、制御部１０２、記憶部１０３、及び、出力部１０４を有する。制御部１０２は、情報取得部１１１と識別部１１２を有する。
　画像入力部１０１は、撮像された画像（画像データ）を取得する。例えば、画像入力部１０１は、画像データが入力される入力端子である。画像入力部１０１は、本発明の画像取得手段の一例である。
　制御部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、等を含み、各種情報処理や各構成要素の制御を行う。
　情報取得部１１１は、画像入力部１０１によって取得された画像から、当該画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかを当該人物の特徴として示す特徴情報を取得する。情報取得部１１１は、本発明の情報取得手段の一例である。
　識別部１１２は、情報取得部１１１によって取得された特徴情報に基づいて、画像入力部１０１によって取得された画像に写っている人物を識別する。識別部１１２は、本発明の識別手段の一例である。
　記憶部１０３は、制御部１０２で実行されるプログラム、制御部１０２で使用される各種データ、等を記憶する。例えば、記憶部１０３は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。記憶部１０３は、本発明の記憶手段の一例である。
　出力部１０４は、識別部１１２の識別結果を、外部装置、情報処理装置１００の不図示の構成要素、等へ出力する。出力部１０４は、例えば、識別結果のデータを出力する出力端子である。
　情報処理装置１００の上記構成によれば、顔が撮像されていない場合でも撮像された画像に写っている人物を識別できる。具体的には、撮像された画像に写っている人物の姿勢、仕草、シルエット、動線、滞在場所、等は、当該人物の顔が撮像されていなくても取得できる。そして、それらの特徴は人物固有のものであるため、それらの特徴から人物を識別できる。
　＜第１の実施形態＞
　本発明の第１の実施形態について説明する。従業員や住人（住民）などを管理したり、職場、地域、家庭、等におけるセキュリティを向上させたりするために、監視カメラが利用されることがある。人物が監視カメラに対して顔を向けることは少ない。第１の実施形態では、監視カメラによって撮像された画像に写っている人物を識別する例を説明する。
　図２は、第１の実施形態に係る情報処理システムの構成例を示すブロック図である。図２の情報処理システムでは、図１の情報処理装置１００に監視カメラ２００と管理装置３００とが接続されている。監視カメラ２００と管理装置３００の少なくとも一方は情報処理装置１００の一部であってもよい。
　監視カメラ２００は、撮像を行い、撮像した画像を情報処理装置１００へ出力する撮像装置である。監視カメラ２００の撮像範囲は、固定であってもよいし、変化してもよい。情報処理装置１００の画像入力部１０１には、監視カメラ２００によって撮像された画像が入力される。監視カメラ２００によって撮像された画像が画像入力部１０１に入力されると、当該画像に写っている人物が、情報処理装置１００の制御部１０２（情報取得部１１１と識別部１１２）の処理によって識別される。そして、情報処理装置１００の出力部１０４が、制御部１０２（識別部１１２）の識別結果を、管理装置３００へ出力する。管理装置３００は、情報処理装置１００から出力された識別結果を用いて各種処理を行う。例えば、管理装置３００は、所定期間における複数の識別結果の統計データを生成したり、統計データや識別結果を管理者（管理装置３００のユーザ）に通知したりする。管理者への通知は、例えば、液晶モニタなどの表示部を用いた画面表示、スピーカを用いた音声出力、等によって実現される。第１の実施形態では、情報取得部１１１は、姿勢と仕草を示す特徴情報を取得する。
　図３は、第１の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。
　まず、画像入力部１０１が、監視カメラ２００によって撮像された画像を監視カメラ２００から取得する（ステップＳ３０１）。図４は、監視カメラ２００によって撮像された画像の一例を示す。図４では、監視カメラ２００によって撮像された画像４００に人物４０１が写っている。
　次に、情報取得部１１１が、ステップＳ３０１で取得された画像から、当該画像に写っている人物の骨格を示す骨格情報を取得する（ステップＳ３０２）。骨格情報は、例えば、ＯｐｅｎＰｏｓｅなどを使って取得される。骨格情報は、人体を示す情報でもあるし、人体の部位（頭、首、肩、肘、手、腰、膝、足首、目、耳、指先、等）を示す情報でもある。そのため、骨格情報の取得は「人体検出」や「部位検出」などとも言える。図４では、画像４００から、人物４０１の骨格（骨格情報）４０２が検出されている。
　そして、情報取得部１１１が、ステップＳ３０２で取得された骨格情報に基づいて、ステップＳ３０１で取得された画像に写っている人物の姿勢と仕草を検出する（ステップＳ３０３，Ｓ３０４）。ステップＳ３０３の検出結果（姿勢）とステップＳ３０４の検出結果（仕草）との組み合わせが、ステップＳ３０１で取得された画像に写っている人物の特徴情報である。ステップＳ３０３の処理（姿勢検出）とステップＳ３０４の処理（仕草検出）とは、並列に行われてもよいし、順番に行われてもよい。姿勢検出と仕草検出の順番は特に限定されない。
　ステップＳ３０３では、姿勢の検出結果として、例えば、直立、猫背、Ｏ脚、Ｘ脚、等を示す情報が得られる。図５に示すように、猫背の場合と正常の場合との間で、骨格の形状は異なる。このように、骨格の形状は姿勢に依存する。そのため、骨格情報に基づいて、骨格の形状から姿勢を検出できる。
　ステップＳ３０４では、仕草の検出結果として、例えば、歩行、屈伸、寝転び、腕組み、等を示す情報が得られる。腕組みの場合と腕組みでない場合との間で、上腕と前腕の間の位置関係などは異なる。このように、各部位の位置関係は仕草に依存する。そのため、骨格情報に基づいて、各部位の位置関係から仕草を検出できる。歩行や屈伸などの動きを伴う仕草は、互いに異なる時間に撮像された複数の画像にそれぞれ対応する複数の骨格情報を用いて検出されてもよい。歩行については、歩幅と肩幅の比率を示す情報が得られてもよい。
　なお、骨格情報を用いない他の方法で姿勢や仕草が検出されてもよい。例えば、パターンマッチングなどを用いた姿勢検出や仕草検出が行われてもよい。
　次に、識別部１１２が、ステップＳ３０３，Ｓ３０４の処理によって得られた特徴情報に基づいて、ステップＳ３０１で取得された画像に写っている人物を識別する（ステップＳ３０５）。例えば、記憶部１０３は、複数の人物のそれぞれについて、その人物の特徴を示す参照情報を予め記憶する。そして、識別部１１２は、特徴情報と各参照情報を比較して、画像に写っている人物を識別する。参照情報は、情報処理装置１００に対して手動で登録されてもよいし、監視カメラ２００によって撮像された画像を用いて自動で登録されてもよい。
　図６は、第１の実施形態に係る参照情報の一例を示す。図６では、参照情報６０１～６０３が予め登録されている。参照情報６０１は、「Ａさん」の特徴として、「姿勢（背）：正常」、「姿勢（脚）：正常」、及び、「歩幅比（肩幅を１とした時の歩幅の比率）：１．５」を示す。参照情報６０２は、「Ｂさん」の特徴として、「姿勢（背）：猫背」、「姿勢（脚）：Ｏ脚」、及び、「歩幅比：１．３」を示す。そして、参照情報６０３は、「Ｃさん」の特徴として、「姿勢（背）：猫背」、「姿勢（脚）：Ｏ脚」、及び、「歩幅比：１．０」を示す。
　ここで、参照情報６０１～６０３が予め登録されており、且つ、ステップＳ３０３，Ｓ３０４の処理によって「姿勢（背）：正常」、「姿勢（脚）：正常」、及び、「歩幅比：１．４」を示す特徴情報が取得された場合を考える。この場合には、参照情報６０１～６０３のうち特徴情報に最も類似する情報は参照情報６０１である。そのため、識別部１１２は、ステップＳ３０１で取得された画像に写っている人物が「Ａさん」であると判定する。
　次に、出力部１０４が、ステップＳ３０５の識別結果を管理装置３００へ出力する（ステップＳ３０６）。
　以上述べたように、第１の実施形態によれば、監視カメラによって顔が撮像されていない場合でも、監視カメラによって撮像された画像に写っている人物の姿勢と仕草を示す特徴情報に基づいて、当該人物を識別できる。
　＜第２の実施形態＞
　本発明の第２の実施形態について説明する。ユーザ（従業員、顧客、住人、等）に有意義な情報を提供したり、ユーザとの会話を行ったりするコミュニケーションロボットでは、ユーザとの適切なコミュニケーションのために、ユーザの識別が行われることが好ましい。例えば、コミュニケーションロボットは、自身の撮像部で撮像された画像から人物の顔特徴量を取得し、取得した顔特徴量から当該人物を識別する。
　しかしながら、識別前に人物がコミュニケーションロボット（撮像部）に対して顔を向けるとは限らない。特に、コミュニケーションロボットが自発的にユーザとコミュニケーションをとる場合には、当該ユーザが識別前にコミュニケーションロボットに対して顔を向ける可能性は低い。また、遺伝などの影響により、家族における人物間で顔が似ていることがある。そのため、家族における或る人物がコミュニケーションロボットに対して顔を向けており、当該人物の正確な顔特徴量が得られたとしても、コミュニケーションロボットは、当該人物を顔特徴量から特定できないことがある。
　第２の実施形態では、コミュニケーションロボットに本発明を適用した例を説明する。
　図７は、第２の実施形態に係るロボット（コミュニケーションロボット）７００の構成例を示すブロック図である。ロボット７００は、撮像部７０１、画像入力部１０１、制御部１０２、記憶部１０３、出力部１０４、及び、コミュニケーション部７０２を有する。制御部１０２は、情報取得部１１１と識別部１１２を有する。
　撮像部７０１は、撮像を行い、撮像した画像を画像入力部１０１へ出力する。例えば、撮像部７０１は、ＣＣＤやＣＭＯＳセンサなどの撮像センサである。画像入力部１０１、制御部１０２、記憶部１０３、及び、出力部１０４については、第１の実施形態で述べたとおりである。但し、画像入力部１０１は、撮像部７０１によって撮像された画像を撮像部７０１から取得し、出力部１０４は、識別結果をコミュニケーション部７０２へ出力する。コミュニケーション部７０２は、出力部１０４から出力された識別結果に基づいて、撮像部７０１によって撮像された画像に写っている人物とのコミュニケーションのための処理を行う。例えば、コミュニケーション部７０２は、液晶モニタなどの表示部、スピーカ、等を含む。そして、コミュニケーション部７０２は、識別結果の人物への情報の提供、識別結果の人物との会話、等のために、識別結果に基づいて、液晶モニタなどの表示部を用いた画面表示、スピーカを用いた音声出力、等を行う。
　ロボット７００の処理フロー例は、第１の実施形態（図３）と同様である。但し、ステップＳ３０１にて、画像入力部１０１は、撮像部７０１によって撮像された画像を撮像部７０１から取得する。ステップＳ３０６にて、出力部１０４は、ステップＳ３０５の識別結果をコミュニケーション部７０２へ出力する。
　以上述べたように、第２の実施形態によれば、コミュニケーションロボットにおいて、顔が撮像されていない場合でも、撮像された画像に写っている人物の姿勢と仕草を示す特徴情報に基づいて、当該人物を識別できる。また、実年齢の差や精神年齢の差などにより、家族における人物間であっても姿勢や仕草が異なる可能性は高い。そのため、姿勢や仕草を考慮することにより、家族における各人物も高精度に特定できる。同様に、家族における人物間であってもシルエット、動線、滞在場所、等が異なる可能性は高い。シルエット、動線、滞在場所、等を考慮する例については後述する。
　＜第３の実施形態＞
　本発明の第３の実施形態について説明する。第１および第２の実施形態では、姿勢と仕草を示す特徴情報が取得される例を説明した。第３の実施形態では、撮像された画像に写っている人物のシルエットをさらに示す特徴情報を取得する例を説明する。
　第３の実施形態に係る情報処理装置の構成は、第１の実施形態に係る情報処理装置１００の構成（図１，２）、または、第２の実施形態に係るロボット７００の構成（図７）と同様である。
　図８は、第３の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。
　まず、第１の実施形態や第２の実施形態と同様に、画像入力部１０１が、撮像された画像を取得し（ステップＳ３０１）、情報取得部１１１が、骨格情報を取得する（ステップＳ３０２）。
　次に、情報取得部１１１が、ステップＳ３０１で取得された画像やステップＳ３０２で取得された骨格情報に基づいて、ステップＳ３０１で取得された画像に写っている人物の姿勢、仕草、及び、シルエットを検出する（ステップＳ３０３，Ｓ３０４，Ｓ８００）。ステップＳ３０３の検出結果（姿勢）、ステップＳ３０４の検出結果（仕草）、及び、ステップＳ８００の検出結果（シルエット）の組み合わせが、ステップＳ３０１で取得された画像に写っている人物の特徴情報である。ステップＳ３０３の処理（姿勢検出）、ステップＳ３０４の処理（仕草検出）、及び、ステップＳ８００の処理（シルエット検出）は、並列に行われてもよいし、順番に行われてもよい。姿勢検出、仕草検出、及び、シルエット検出の順番は特に限定されない。
　ステップＳ３０３の処理（姿勢検出）とステップＳ３０４の処理（仕草検出）とについては、第１の実施形態で述べたとおりである。ステップＳ８００では、例えば、Ｍａｓｋ　Ｒ－ＣＮＮなどを使って画像から人物のシルエットが検出される。
　次に、第１の実施形態や第２の実施形態と同様に、識別部１１２が、得られた特徴情報（具体的には、ステップＳ３０３，Ｓ３０４，Ｓ８００の処理によって得られた特徴情報）に基づいて、ステップＳ３０１で取得された画像に写っている人物を識別する（ステップＳ３０５）。
　図９Ａは、第３の実施形態に係る参照情報の一例を示す。図９Ａでは、参照情報９０１～９０３が予め登録されている。参照情報９０１は、「Ａさん」の特徴として、「姿勢（背）：正常」、「歩幅比：１．５」、及び、「マスク画像：Ｉ１」を示す。参照情報９０２は、「Ｂさん」の特徴として、「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「マスク画像：Ｉ２」を示す。そして、参照情報９０３は、「Ｃさん」の特徴として、「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「マスク画像：Ｉ３」を示す。
　マスク画像Ｉ１～Ｉ３はシルエットを示す画像である。図９Ｂは、マスク画像Ｉ１～Ｉ３に対応するシルエットの一例を示す。「Ａさん」、「Ｂさん」、及び、「Ｃさん」は、体型が互いに異なる。そのため、図９Ｂに示すように、マスク画像Ｉ１～Ｉ３の間でシルエットが異なる。
　ここで、参照情報９０１～９０３が予め登録されており、且つ、ステップＳ３０３，Ｓ３０４，Ｓ８００の処理によって「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「シルエット画像：Ｉｐ」を示す特徴情報が取得された場合を考える。シルエット画像は、ステップＳ８００で検出されたシルエットを示す画像である。この場合には、「姿勢（背）：猫背」と「歩幅比：１．３」は、参照情報９０２，９０３のそれらと一致する。そのため、特徴情報の「姿勢（背）：猫背」と「歩幅比：１．３」からでは、ステップＳ３０１で取得された画像に写っている人物が「Ｂさん」であるか「Ｃさん」であるかを判別できない。
　第３の実施形態では、例えば、識別部１１２は、特徴情報のシルエット画像Ｉｐを、参照情報９０２のマスク画像Ｉ２や参照情報９０３のマスク画像Ｉ３と比較する。それにより、識別部１１２は、ステップＳ８００で検出されたシルエットと「Ｃさん」のシルエットとの類似度よりも、検出されたシルエットと「Ｂさん」のシルエットとの類似度が高いと判定できる。その結果、識別部１１２は、ステップＳ３０１で取得された画像に写っている人物が「Ｂさん」であると判定できる。このように、第３の実施形態では、シルエットをさらに考慮することで、姿勢と仕草のみを考慮しても識別できない人物が識別可能となる。
　なお、人物のシルエットのサイズは、カメラ（撮像部）と当該人物との距離に依存する。そのため、検出されたシルエットがサイズの正規化が施されてシルエット画像が生成されたり、サイズの正規化が施されたシルエットに対応するマスク画像が予め用意されたりする。シルエットは、例えば、頭の先から足先までのサイズが所定値となるように正規化される。
　シルエットの類似度の取得方法例をより詳細に説明する。図１０は、シルエット画像とマスク画像の一例を示す。図１０には腕の一部に対応するマスク画像が示されているが、マスク画像は、人物の全体に対応する画像であってもよいし、人物の一部に対応する画像であってもよい。図１０に示すように、マスク画像は複数の領域（複数のシルエット判定領域）からなる。マスク画像によって示されたシルエットに対応するシルエット判定領域には、当該シルエットに対応する属性「１」が割り当てられている。そして、マスク画像によって示された背景に対応するシルエット判定領域には、当該背景に対応する属性「０」が割り当てられている。
　識別部１１２は、シルエット判定領域ごとに、シルエット画像の属性（シルエット／背景）が、マスク画像の属性（１／０；シルエット／背景）と一致するか否かを判定する。そして、識別部１１２は、シルエット判定領域の総数に対する一致領域（一致すると判定されたシルエット判定領域）の総数の比率、一致領域の総数、等を、シルエットの類似度として算出する。
　なお、シルエット判定領域のサイズは特に限定されない。シルエット判定領域は、１画素の領域であってよいし、複数の画素分の領域であってもよい。シルエット判定領域が複数の画素分の領域である場合には、当該シルエット判定領域に、シルエット画像によって示されたシルエットと背景の両方が含まれることがある。その場合には、シルエット判定領域におけるシルエット（シルエット画像によって示されたシルエット）のサイズなどに基づいて、当該シルエット判定領域におけるシルエット画像の属性を判定してもよい。例えば、シルエット画像によって示されたシルエットのサイズが閾値以上であるシルエット判定領域に対して、シルエット画像の属性「シルエット」を取得し、そうでないシルエット判定領域に対して、シルエット画像の属性「背景」を取得してもよい。
　次に、第１の実施形態や第２の実施形態と同様に、出力部１０４が、ステップＳ３０５の識別結果を出力する（ステップＳ３０６）。
　以上述べたように、第３の実施形態によれば、シルエットをさらに示す特徴情報を用いることにより、第１の実施形態や第２の実施形態よりも高精度に人物を識別できる。
　＜第４の実施形態＞
　本発明の第４の実施形態について説明する。第４の実施形態では、撮像された画像に写っている人物の姿勢、仕草、及び、滞在場所を示す特徴情報を取得する例を説明する。
　第４の実施形態に係る情報処理装置の構成は、第１の実施形態に係る情報処理装置１００の構成（図１，２）、または、第２の実施形態に係るロボット７００の構成（図７）と同様である。
　図１１は、第４の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。
　まず、第１の実施形態や第２の実施形態と同様に、画像入力部１０１が、撮像された画像を取得し（ステップＳ３０１）、情報取得部１１１が、骨格情報を取得する（ステップＳ３０２）。
　次に、情報取得部１１１が、ステップＳ３０２で取得された骨格情報に基づいて、ステップＳ３０１で取得された画像に写っている人物の姿勢、仕草、及び、滞在場所を検出する（ステップＳ３０３，Ｓ３０４，Ｓ１１００）。ステップＳ３０３の検出結果（姿勢）、ステップＳ３０４の検出結果（仕草）、及び、ステップＳ１１００の検出結果（滞在場所）の組み合わせが、ステップＳ３０１で取得された画像に写っている人物の特徴情報である。ステップＳ３０３の処理（姿勢検出）、ステップＳ３０４の処理（仕草検出）、及び、ステップＳ１１００の処理（滞在場所検出）は、並列に行われてもよいし、順番に行われてもよい。姿勢検出、仕草検出、及び、滞在場所検出の順番は特に限定されない。
　ステップＳ３０３の処理（姿勢検出）とステップＳ３０４の処理（仕草検出）とについては、第１の実施形態で述べたとおりである。ステップＳ１１００では、情報取得部１１１は、例えば、骨格情報によって示された骨格の位置（人物の位置；人物位置）などに基づいて人物の滞在場所を検出する。具体的には、撮像範囲を構成する複数の滞在判定領域が予め定められている。情報取得部１１１は、過去数分間などの所定期間における人物位置の時間変化に基づいて、当該所定期間の長さに対する滞在時間の比率（滞在率）を、滞在判定領域ごとに算出する。それにより、滞在場所の検出結果として、各滞在判定領域の滞在率を示す滞在マップ（ヒートマップ）が得られる。例えば、図１２に示す滞在マップＭｐが得られる。
　次に、第１の実施形態や第２の実施形態と同様に、識別部１１２が、得られた特徴情報（具体的には、ステップＳ３０３，Ｓ３０４，Ｓ１１００の処理によって得られた特徴情報）に基づいて、ステップＳ３０１で取得された画像に写っている人物を識別する（ステップＳ３０５）。
　図１３Ａは、第４の実施形態に係る参照情報の一例を示す。図１３Ａでは、参照情報１３０１～１３０３が予め登録されている。参照情報１３０１は、「父」の特徴として、「姿勢（背）：正常」、「歩幅比：１．５」、及び、「滞在マップ：Ｍ１」を示す。参照情報１３０２は、「母」の特徴として、「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「滞在マップ：Ｍ２」を示す。そして、参照情報１３０３は、「姉」の特徴として、「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「滞在マップ：Ｍ３」を示す。
　参照情報１３０１～１３０３の滞在マップＭ１～Ｍ３は、例えば、過去１ヶ月などの所定期間での滞在率を示す。図１３Ｂは、滞在マップＭ１～Ｍ３の一例を示す。例えば、父はリビングの通路寄りにいることが多く、母は台所にいることが多く、姉はリビングの壁寄りにいることが多い、等のように、滞在場所（滞在率）は人物に依存する。そのため、図１３Ｂに示すように、滞在マップＭ１～Ｍ３の間で滞在率の分布が異なる。
　ここで、参照情報１３０１～１３０３が予め登録されており、且つ、ステップＳ３０３，Ｓ３０４，Ｓ１１００の処理によって「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「滞在マップ：Ｍｐ（図１２）」を示す特徴情報が取得された場合を考える。この場合には、「姿勢（背）：猫背」と「歩幅比：１．３」は、参照情報１３０２，１３０３のそれらと一致する。そのため、特徴情報の「姿勢（背）：猫背」と「歩幅比：１．３」からでは、ステップＳ３０１で取得された画像に写っている人物が「母」であるか「姉」であるかを判別できない。
　第４の実施形態では、例えば、識別部１１２は、特徴情報の滞在マップＭｐを、参照情報１３０２（母）の滞在マップＭ２や参照情報１３０３（姉）の滞在マップＭ３と比較する。それにより、識別部１１２は、滞在マップＭｐと「母」の滞在マップＭ２との類似度よりも、滞在マップＭｐと「姉」の滞在マップＭ３との類似度が高いと判定できる。その結果、識別部１１２は、ステップＳ３０１で取得された画像に写っている人物が「姉」であると判定できる。このように、第４の実施形態では、姿勢や仕草に加え滞在場所をさらに考慮することで、姿勢と仕草のみを考慮しても識別できない人物が識別可能となる。
　なお、滞在場所に関する処理は上記処理に限られない。例えば、ステップＳ１１００にて、情報取得部１１１は、滞在率が最も高い滞在判定領域を滞在場所として検出してもよい。参照情報では、滞在率が最も高い滞在判定領域や、ユーザによって指定された滞在判定領域などが、滞在場所として示されていてもよい。そして、ステップＳ３０５にて、識別部１１２は、ステップＳ１１００で検出された滞在場所と参照情報の滞在場所との一致／不一致を判定してもよい。
　次に、第１の実施形態や第２の実施形態と同様に、出力部１０４が、ステップＳ３０５の識別結果を出力する（ステップＳ３０６）。
　以上述べたように、第４の実施形態によれば、姿勢や仕草に加え滞在場所をさらに示す特徴情報を用いることにより、第１の実施形態や第２の実施形態よりも高精度に人物を識別できる。
　なお、人物の動線（移動経路）を考慮してもよい。動線は、例えば、滞在マップと同様の方法で検出される。図１４は、父、母、及び、姉の動線の一例を示す。滞在場所（滞在率）が人物に依存するのと同様に、動線も人物に依存する。そのため、図１４に示すように、父、母、及び、姉の間で動線が異なる。
　＜第５の実施形態＞
　本発明の第５の実施形態について説明する。第５の実施形態では、撮像された画像に写っている人物の姿勢、仕草、シルエット、及び、滞在場所を示す特徴情報を取得する例を説明する。即ち、第５の実施形態では、第３の実施形態と第４の実施形態との組み合わせの例を説明する。
　第５の実施形態に係る情報処理装置の構成は、第１の実施形態に係る情報処理装置１００の構成（図１，２）、または、第２の実施形態に係るロボット７００の構成（図７）と同様である。
　図１５は、第５の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。
　まず、第１の実施形態や第２の実施形態と同様に、画像入力部１０１が、撮像された画像を取得し（ステップＳ３０１）、情報取得部１１１が、骨格情報を取得する（ステップＳ３０２）。
　次に、情報取得部１１１が、ステップＳ３０２で取得された骨格情報に基づいて、ステップＳ３０１で取得された画像に写っている人物の姿勢、仕草、シルエット、及び、滞在場所を検出する（ステップＳ３０３，Ｓ３０４，Ｓ８００，Ｓ１１００）。ステップＳ３０３の検出結果（姿勢）、ステップＳ３０４の検出結果（仕草）、ステップＳ８００の検出結果（シルエット）、及び、ステップＳ１１００の検出結果（滞在場所）の組み合わせが、ステップＳ３０１で取得された画像に写っている人物の特徴情報である。ステップＳ３０３の処理（姿勢検出）、ステップＳ３０４の処理（仕草検出）、ステップＳ８００の処理（シルエット検出）、及び、ステップＳ１１００の処理（滞在場所検出）は、並列に行われてもよいし、順番に行われてもよい。姿勢検出、仕草検出、シルエット検出、及び、滞在場所検出の順番は特に限定されない。
　ステップＳ３０３の処理（姿勢検出）とステップＳ３０４の処理（仕草検出）とについては、第１の実施形態で述べたとおりである。ステップＳ８００の処理（シルエット検出）については、第３の実施形態で述べたとおりである。ステップＳ１１００の処理（滞在場所検出）については、第４の実施形態で述べたとおりである。
　次に、第１の実施形態や第２の実施形態と同様に、識別部１１２が、得られた特徴情報（具体的には、ステップＳ３０３，Ｓ３０４，Ｓ８００，Ｓ１１００の処理によって得られた特徴情報）に基づいて、ステップＳ３０１で取得された画像に写っている人物を識別する（ステップＳ３０５）。
　第３の実施形態で述べたように、姿勢と仕草に加えシルエットをさらに考慮することで、人物の識別精度が向上する。そして、第４の実施形態で述べたように、姿勢と仕草に加え滞在場所をさらに考慮することでも、人物の識別精度が向上する。そのため、姿勢と仕草に加えシルエットと滞在場所の両方をさらに考慮することで、第３の実施形態や第４の実施形態よりも高精度に人物を識別できる。例えば、姿勢、仕草、シルエット、及び、滞在場所のうちのいずれかに基づく識別に成功できなくても、姿勢、仕草、シルエット、及び、滞在場所のうちの残りに基づく識別に成功できればよい。そのため、識別に成功する確率が増す。
　次に、第１の実施形態や第２の実施形態と同様に、出力部１０４が、ステップＳ３０５の識別結果を出力する（ステップＳ３０６）。
　以上述べたように、第５の実施形態によれば、姿勢、仕草、シルエット、及び、滞在場所を示す特徴情報を用いることにより、第１～第４の実施形態よりも高精度に人物を識別できる。
　＜第６の実施形態＞
　本発明の第６の実施形態について説明する。第６の実施形態では、撮像された画像に２人以上の人物が写っている場合の例を説明する。
　第６の実施形態に係る情報処理装置の構成は、第１の実施形態に係る情報処理装置１００の構成（図１，２）、または、第２の実施形態に係るロボット７００の構成（図７）と同様である。
　図１６は、第６の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。
　まず、第１の実施形態や第２の実施形態と同様に、画像入力部１０１が、撮像された画像を取得し（ステップＳ３０１）、情報取得部１１１が、骨格情報を取得する（ステップＳ３０２）。撮像された画像に２人以上の人物が写っている場合には、各人物の骨格情報が取得される。
　次に、第１～第５の実施形態と同様に、情報取得部１１１が、ステップＳ３０２で取得された骨格情報に基づいて特徴情報を取得する（ステップＳ１６０１）。ステップＳ１６０１では、例えば、図１５のステップＳ３０３，Ｓ３０４，Ｓ８００，Ｓ１１００などの処理が行われる。撮像された画像に２人以上の人物が写っている場合には、各人物の特徴情報が取得される。
　そして、第１～第５の実施形態と同様に、識別部１１２が、ステップＳ１６０１で取得された特徴情報に基づいて、ステップＳ３０１で取得された画像に写っている人物を識別する（ステップＳ３０５）。撮像された画像に２人以上の人物が写っている場合には、各人物の識別が行われる。ステップＳ３０５では、複数の人物にそれぞれ対応する複数の参照情報が１つの特徴情報に類似することなどによって、当該特徴情報に対応する人物を識別できないことがある。ここでは、撮像された画像に写っている２人以上の人物のうちの一部の人物のみが、ステップＳ３０５で識別され、当該２人以上の人物のうちの残りの人物が識別されなかったとする。残りの人物は、ステップＳ３０５で識別に失敗した人物であってもよいし、ステップＳ３０５で識別の対象とされなかった人物であってもよい。
　次に、識別部１１２が、上記残りの人物に対応する特徴情報（ステップＳ１６０１で取得された特徴情報）と、上記一部の人物の識別結果（ステップＳ３０５の識別結果）とに基づいて、当該残りの人物を識別する（ステップＳ１６０２）。例えば、記憶部１０３は、複数の人物のそれぞれについて、その人物と他の人物との２つ以上の組み合わせにそれぞれ対応する２つ以上の参照情報を予め記憶する。そして、識別部１１２は、上記残りの人物に対応する特徴情報と、上記一部の人物との組み合わせに対応する各参照情報とを比較して、当該残りの人物を識別する。
　一の人物が他の人物と一緒にいる場合には、一の人物の特徴（姿勢、仕草、動線、滞在場所、等）が他の人物に依存して変わることがある。例えば、他の人物に特定の人物（父、母、兄、弟、姉、妹、上司、部下、等）が含まれている場合とそうでない場合との間で、一の人物の姿勢や仕草が異なることがある。そのため、他の人物の識別結果を考慮することにより、一の人物をより高精度に識別できる。
　図１７は、第６の実施形態に係る参照情報の一例を示す。ここでは、図１７の参照情報１７０１～１７１３が予め登録されており、且つ、ステップＳ１６０１において２人の人物Ａ，Ｂの特徴情報が取得されたとする。人物Ａの特徴情報は、「姿勢（背）：正常」、「歩幅比：１．５」、及び、「滞在マップ：Ｍ１」を示し、人物Ｂの特徴情報は、「姿勢（背）：猫背」、「歩幅比：１．３」、及び、「滞在マップ：Ｍ２」を示す。
　この場合には、人物Ａの特徴情報は「父」の参照情報１７０１～１７０４に類似するため、ステップＳ３０５にて、人物Ａが「父」であると判定できる。一方で、人物Ｂの特徴情報は、「母」の参照情報１７０５～１７０９と、「姉」の参照情報１７１０とに類似するため、ステップＳ３０５にて、人物Ｂが「母」であるか「姉」であるかを判別できない。
　第３の実施形態では、ステップＳ３０５で人物Ａが「父」であると判定されると、ステップＳ１６０２では、参照情報１７０１～１７１３のうち、「父」と一緒の「母」の参照情報１７０６と、「父」と一緒の「姉」の参照情報１７１１とが参照されることになる。人物Ｂの特徴情報は、「姉」の参照情報１７１１よりも「母」の参照情報１７０６に類似しているため、ステップＳ１６０２にて、人物Ｂが「母」であると判定できる。
　なお、図１７には、一緒の人物に依存して滞在場所（滞在マップ）が変わる例が示されているが、一緒の人物に依存して姿勢、仕草、動線、等が変わることもある。
　次に、第１～第５の実施形態と同様に、出力部１０４が、ステップＳ３０５，Ｓ１６０２の識別結果を出力する（ステップＳ３０６）。
　以上述べたように、第６の実施形態によれば、特徴情報に基づいて識別された人物を考慮することで、第１～第５の実施形態よりも高精度に他の人物を識別できる。例えば、特徴情報に基づいて識別された人物を考慮することで、識別できなかった人物が識別できるようになる。
　＜その他＞
　上述した各実施形態は、本発明の例示に過ぎない。本発明は上記の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。上述した各構成、以下で述べる各構成、等を適宜組み合わせることも可能である。例えば、姿勢、仕草、シルエット、動線、及び、滞在場所のうちの少なくともいずれかが特徴情報によって示されれば、特徴情報によって示される特徴は特に限定されない。例えば、特徴情報は、姿勢、仕草、シルエット、動線、及び、滞在場所のうちの１つ、２つ、３つ、４つ、または、５つを示す。特徴情報は、姿勢、仕草、シルエット、動線、及び、滞在場所とは異なる特徴を示してもよい。参照情報についても同様である。
　＜付記＞
　撮像された画像を取得する画像取得手段（１０１）と、
　前記画像から、当該画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかを当該人物の特徴として示す特徴情報を取得する情報取得手段（１１１）と、
　前記特徴情報に基づいて、前記人物を識別する識別手段（１１２）と、を有することを特徴とする情報処理装置（１００）。
　１００：情報処理装置　１０１：画像入力部　１０２：制御部　１０３：記憶部　１０４：出力部　１１１：情報取得部　１１２：識別部
　２００：監視カメラ　３００：管理装置
　７００：コミュニケーションロボット　７０１：撮像部　７０２：コミュニケーション部
　４００：画像　４０１：人物　４０２：骨格（骨格情報）
　６０１～６０３，９０１～９０３：参照情報
　１３０１～１３０３，１７０１～１７１３：参照情報
　Ｉ１～Ｉ３，Ｉｐ：マスク画像
　Ｍ１～Ｍ３，Ｍｐ：滞在マップ（ヒートマップ）

Claims (6)

  1. 　撮像された画像を取得する画像取得手段と、
    　前記画像から、当該画像に写っている人物の姿勢、仕草、シルエット、動線、及び、滞在場所の少なくともいずれかを当該人物の特徴として示す特徴情報を取得する情報取得手段と、
    　前記特徴情報に基づいて、前記人物を識別する識別手段と、
    を有することを特徴とする情報処理装置。
  2. 　前記情報取得手段は、前記人物の骨格を示す骨格情報を前記画像から取得し、当該骨格情報に基づいて前記特徴情報を取得する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 　複数の人物のそれぞれについて、その人物の特徴を示す参照情報を記憶する記憶手段をさらに有し、
    　前記識別手段は、前記特徴情報と各参照情報を比較して、前記画像に写っている前記人物を識別する
    ことを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記画像に２人以上の人物が写っている場合に、前記識別手段は、
    　　前記２人以上の人物のうちの一部の人物を、その人物に対応する特徴情報に基づいて識別し、
    　　前記２人以上の人物のうちの残りの人物を、その人物に対応する特徴情報と、前記一部の人物の識別結果とに基づいて識別する
    ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記記憶手段は、前記複数の人物のそれぞれについて、その人物と他の人物との２つ以上の組み合わせにそれぞれ対応する２つ以上の参照情報を記憶し、
    　前記画像に２人以上の人物が写っている場合に、前記識別手段は、
    　　前記２人以上の人物のうちの一部の人物を、その人物に対応する特徴情報と、前記各参照情報とを比較して識別し、
    　　前記２人以上の人物のうちの残りの人物を、その人物に対応する特徴情報と、識別された前記一部の人物との組み合わせに対応する各参照情報とを比較して識別する
    ことを特徴とする請求項３に記載の情報処理装置。
  6. 　前記画像を撮像する撮像手段、をさらに有する
    ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
PCT/JP2019/001127 2018-02-02 2019-01-16 情報処理装置 WO2019150954A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-017236 2018-02-02
JP2018017236A JP6922768B2 (ja) 2018-02-02 2018-02-02 情報処理装置

Publications (1)

Publication Number Publication Date
WO2019150954A1 true WO2019150954A1 (ja) 2019-08-08

Family

ID=67478697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001127 WO2019150954A1 (ja) 2018-02-02 2019-01-16 情報処理装置

Country Status (2)

Country Link
JP (1) JP6922768B2 (ja)
WO (1) WO2019150954A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033785A (ja) * 2019-08-27 2021-03-01 富士通クライアントコンピューティング株式会社 情報処理装置、及びプログラム
JP7282704B2 (ja) * 2020-02-25 2023-05-29 エヌ・ティ・ティ・コムウェア株式会社 個体推定装置、個体推定方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP2016076259A (ja) * 2015-12-21 2016-05-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017199303A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162241A (ja) * 2014-02-28 2015-09-07 キヤノン株式会社 情報提供効果を測定する測定システム及び情報提供効果測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP2016076259A (ja) * 2015-12-21 2016-05-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017199303A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2019133566A (ja) 2019-08-08
JP6922768B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
CN109477951B (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
US9875425B2 (en) Individual identification device, and identification threshold setting method
JP4984728B2 (ja) 被写体照合装置および被写体照合方法
TWI496092B (zh) 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法
Chen et al. A fall detection system based on infrared array sensors with tracking capability for the elderly at home
WO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP7238902B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013145481A (ja) カメラ装置、通信システム及びカメラシステム
JP2013197625A5 (ja)
WO2019150954A1 (ja) 情報処理装置
JP6941950B2 (ja) 画像提供システム、画像提供方法、および画像提供プログラム
JP7435837B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7172705B2 (ja) 感情推定装置、感情推定方法、プログラム、及び感情推定システム
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
WO2021241293A1 (ja) 行動体特定システム
JP7311478B2 (ja) 情報処理装置、情報処理プログラム及び情報処理システム
JP2020052788A (ja) 画像処理装置及びその方法、プログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
WO2020208917A1 (ja) 身体機能管理システム、及び、身体機能管理方法
JP7396364B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2021135592A (ja) 個体推定装置、個体推定方法、およびプログラム
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
Nitta et al. Privacy-aware remote monitoring system by skeleton recognition
JP2020149337A (ja) 画像検索装置、画像検索方法およびコンピュータプログラム
WO2022107215A1 (ja) リスク情報生成装置、リスク情報生成方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19747701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19747701

Country of ref document: EP

Kind code of ref document: A1