WO2024257422A1 - 画像解析装置、画像解析方法、および画像解析プログラム - Google Patents

画像解析装置、画像解析方法、および画像解析プログラム Download PDF

Info

Publication number
WO2024257422A1
WO2024257422A1 PCT/JP2024/009265 JP2024009265W WO2024257422A1 WO 2024257422 A1 WO2024257422 A1 WO 2024257422A1 JP 2024009265 W JP2024009265 W JP 2024009265W WO 2024257422 A1 WO2024257422 A1 WO 2024257422A1
Authority
WO
WIPO (PCT)
Prior art keywords
point information
skeleton point
analysis
time
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/009265
Other languages
English (en)
French (fr)
Inventor
和浩 小島
宏 宮本
崇 南條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2024539948A priority Critical patent/JP7563662B1/ja
Priority to JP2024166818A priority patent/JP2024180408A/ja
Publication of WO2024257422A1 publication Critical patent/WO2024257422A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an image analysis device, an image analysis method, and an image analysis program.
  • Patent Document 1 discloses an abnormal behavior detection system that "extracts skeletal position information representing the skeletal position of a person from a person included in each frame of a time-series image consisting of a certain number of frames that is a time series of captured images. The system determines whether or not the people included in each frame of the time-series image are the same person based on the extracted skeletal position information. The system generates behavioral features for the same person included in a certain number of frames or more of the time-series images based on the extracted skeletal position information.
  • the system generates an attribute histogram by histogramming the occurrence frequency of the generated behavioral features for each attribute of the person, and stores the attribute histogram in a storage unit that can be used to detect abnormal behavior of the person based on the person's behavioral features" (see the abstract of Patent Document 1).
  • Patent Document 1 performs complex scene recognition and judgment based only on the attributes and behavior recognition results of each individual person. However, it is sometimes not possible to determine whether an individual person is normal or abnormal based on the analysis results alone.
  • the present invention aims to provide an image analysis device, an image analysis method, and an image analysis program that can perform highly accurate scene recognition based on attributed skeleton point information.
  • a time-series image acquisition unit that acquires time-series images of a plurality of people; a skeleton point information acquisition unit that acquires a plurality of skeleton point information of each of the plurality of persons from each frame image of the time-series images; an attribute information acquisition unit that acquires a plurality of pieces of attribute information corresponding to the plurality of pieces of skeleton point information; an attribute-attached skeleton point information generating unit that associates the skeleton point information with the attribute information to generate a plurality of pieces of attribute-attached skeleton point information; a behavior analysis unit that performs behavior analysis on each of the plurality of pieces of attributed skeleton point information and performs a composite analysis of the plurality of behavior analysis results; a scene analysis output unit that outputs a result of analyzing a scene in the time-series images;
  • An image analysis device comprising:
  • the scene analysis output unit outputting an analysis result of the scene based on the relationship between different attributes and the behavior analysis result of the plurality of attribute-attached skeleton point information; An image analysis device according to (1).
  • the scene analysis output unit analyzing interactions of the plurality of attributed skeleton point information when outputting the scene analysis result; An image analysis device according to (1).
  • the analysis of the interaction includes: and outputting an analysis result of the scene based on an action analysis result of the second attribute-attached skeleton point information, which is a result of the first attribute-attached skeleton point information having first attribute information related to a first person acting on the second attribute-attached skeleton point information having second attribute information related to a second person different from the first person.
  • An image analysis device according to (3).
  • the attribute information between the different attributes is based on the role of the person.
  • An image analysis device according to (2).
  • the attributed skeleton point information generating unit forming a group of attributed skeleton point information to which the same attribute is assigned with respect to the plurality of attributed skeleton point information; An image analysis device according to (1).
  • the scene analysis output unit outputting an alert according to the result of the analysis of the scene; An image analysis device according to (1).
  • the behavior analysis unit storing the time-series images obtained when the plurality of behavioral analysis results are analyzed; An image analysis device according to (1).
  • the behavior analysis unit storing the time-series images in a buffer until the processing of the composite analysis is completed, and deleting the time-series images when the processing is completed; (8) An image analysis device according to (8).
  • the attribute information acquisition unit acquires the attribute information from the time-series image at the same time as the skeleton point information acquisition unit acquires the skeleton point information from the time-series image.
  • An image analysis device according to (1).
  • a time-series image acquisition unit that acquires time-series images of a plurality of people; a skeleton point information acquisition unit that acquires a plurality of skeleton point information of each of the plurality of persons from each frame image of the time-series images; an attribute information acquisition unit that acquires a plurality of pieces of attribute information corresponding to the plurality of pieces of skeleton point information; an attribute-attached skeleton point information generating unit that associates the skeleton point information with the attribute information to generate a plurality of pieces of attribute-attached skeleton point information; a scene analysis output unit that outputs a result of analyzing a scene in the time-series images based on the plurality of attributed skeleton point information;
  • An image analysis device comprising:
  • (13) acquiring time-series images of a plurality of people; acquiring a plurality of skeleton point information of each of the plurality of persons from each frame image of the time-series images; acquiring a plurality of pieces of attribute information corresponding to the plurality of pieces of skeleton point information; generating a plurality of pieces of attributed skeleton point information by associating the skeleton point information with the attribute information; outputting a result of analyzing a scene in the time-series images based on the plurality of pieces of attributed skeleton point information; Perform image analysis methods.
  • highly accurate scene recognition can be performed based on attributed skeleton point information.
  • FIG. 2 is a functional block diagram showing functions of the image analysis device according to the first embodiment.
  • FIG. 1 is a block diagram showing hardware of an image analysis device according to a first embodiment.
  • FIG. 13 is an explanatory diagram showing a person making a fist pump.
  • FIG. 1 is an explanatory diagram showing areas that can be detected by Openpose.
  • FIG. 4 lists the sites that can be detected.
  • 13 is a diagram showing a skeleton estimation table in which a skeleton point information acquisition unit acquires a human rectangle, skeleton information, and a person ID and estimates a skeleton.
  • FIG. 13 is a diagram showing an attribute information acquisition table in which an attribute information acquisition unit acquires attribute information and person IDs.
  • FIG. 8 is a diagram showing a table in which the time and estimated ID are expanded from the attribute information acquisition table in FIG. 7 .
  • 9 is a diagram showing an information integration table obtained by integrating the skeleton estimation table of FIG. 6 and the attribute information acquisition table of FIG. 8 .
  • FIG. 13 is a diagram showing a behavior information table showing behavior information for each integrated person ID. 13 is a diagram showing a behavior analysis table in which a behavior information table is integrated into an information integration table.
  • FIG. FIG. 13 shows an interaction table generated by a scene analysis output unit.
  • FIG. 11 is a functional block diagram showing functions of an image analysis device according to a second embodiment.
  • FIG. 11 is a functional block diagram showing functions of an image analysis device according to a third embodiment.
  • First Embodiment is a functional block diagram showing functions of an image analyzing device 100 according to the first embodiment.
  • the image analyzing device 100 is generally a device that performs behavior analysis of attributed skeleton point information, and performs a composite analysis of the behavior analysis results to output a scene analysis result.
  • the image analysis device 100 is configured with a time-series image acquisition unit 10, a skeleton point information acquisition unit 20, an attribute information acquisition unit 30, an attributed skeleton point information generation unit 40, a behavior analysis unit 50, and a scene analysis output unit 60.
  • the time-series image acquisition unit 10 acquires images of multiple people over time from a camera 200 (see FIG. 2) described below. In other words, the time-series image acquisition unit 10 acquires time-series images of multiple people. Thus, the time-series image acquisition unit 10 can output time-series images in units of frames. Note that the time-series image acquisition unit 10 may acquire images of multiple people from a storage device in which previously shot video is recorded, and is not particularly limited.
  • the skeleton point information acquisition unit 20 acquires multiple skeleton point information for each of multiple people from each frame image of the time series image on a frame-by-frame basis.
  • the skeleton point information acquisition unit 20 estimates the skeleton of each of the multiple people on a frame-by-frame basis to acquire skeleton point information and a person ID (IDentification) (per person).
  • the skeleton point information acquisition unit 20 also acquires a person rectangle.
  • a person rectangle is an area (coordinates) in which a person is present, refers to a rectangular image area, and refers to an area for object detection (person detection).
  • the skeleton point information acquisition unit 20 acquires skeleton point information, which are key points for each of the multiple people, as well as a person rectangle and a person ID from the frame images, using, for example, Openpose developed at Carnegie Mellon University.
  • the attribute information acquisition unit 30 estimates the attributes of the subject (person) from each frame image of the time-series image to acquire attribute information and a person ID. In other words, the attribute information acquisition unit 30 acquires multiple pieces of attribute information corresponding to each of the multiple pieces of skeleton point information. Thus, the attribute information acquisition unit 30 acquires a person rectangle, attribute information, and a person ID (per person). The attribute information acquisition unit 30 acquires attribute information, a person rectangle, and a person ID for each of the multiple people from the frame images, for example, using FORXAI developed by the applicant of this case. In addition, for example, in the analysis of a school, the attribute information acquisition unit 30 may assign an attribute indicating that the person is a teacher or a student from age information among the attribute information.
  • the attribute information acquisition unit 30 may acquire attribute information from the time-series image at the same time that the skeleton point information acquisition unit 20 acquires skeleton point information from the time-series image.
  • the attributed skeleton point information generating unit 40 integrates skeleton point information and attribute information for the same person. In other words, the attributed skeleton point information generating unit 40 associates the skeleton point information with the attribute information to generate multiple pieces of attributed skeleton point information.
  • the attributed skeleton point information generating unit 40 can output a human rectangle, skeleton points, attribute information, and an integrated human ID (per person).
  • the attributed skeleton point information generating unit 40 may also form groups of attributed skeleton point information to which the same attribute has been assigned for multiple pieces of attributed skeleton point information.
  • the attributed skeleton point information generating unit 40 may form a group of attributed skeleton point information to which the attribute of a male has been assigned, or a group of attributed skeleton point information to which the attribute of a middle-aged person has been assigned.
  • the behavior analysis unit 50 analyzes the behavior of people in a scene from the skeleton point information and attribute information of the same frame image. In other words, the behavior analysis unit 50 performs a composite analysis of multiple behavior analysis results obtained by analyzing the behavior of each of the multiple pieces of attribute-attached skeleton point information.
  • the behavior analysis unit 50 analyzes the combination of the teacher's behavior and the students' behavior.
  • the behavior analysis unit 50 acquires a human rectangle, skeleton points, attribute information, behavior information, and an integrated person ID (per person). Then, the behavior analysis unit 50 analyzes, for example, the following four states:
  • the behavior analysis unit 50 analyzes whether the teacher and students in the frame image fall into one of the following four states: (1) The teacher is not moving and the students are sleeping; (2) The teacher is not moving and the students are wandering around; (3) The teacher is not moving and the students are walking towards the blackboard; or (4) The teacher is wandering around and the students are not moving.
  • the subjects analyzed by the behavior analysis unit 50 are not limited to teachers and students in a school, but may also be store clerks and customers, police officers and a crowd, etc.
  • the behavior analysis unit 50 performs a composite analysis of the groups belonging to the teacher and the groups belonging to the students.
  • the behavior analysis unit 50 analyzes the interactions between groups by fitting them into one-to-one, one-to-many, or many-to-many relationships.
  • the behavior analysis unit 50 performing an analysis using the interactions between groups is referred to as performing a composite analysis.
  • the behavior analysis unit 50 may also store in the storage unit 120 time-series images obtained when analyzing multiple behavior analysis results.
  • the behavior analysis unit 50 may also store the time-series images in a buffer until the processing for performing the composite analysis is completed, and delete the time-series images when the processing is completed.
  • the scene analysis output unit 60 analyzes the scene from the attribute information and the behavior information. In other words, the scene analysis output unit 60 outputs the analysis result of the scene in the time-series images.
  • the scene analysis output unit 60 may output an alert depending on the results of scene analysis. For example, in the case of (2), when the teacher is not moving and the students are wandering around, it is desirable to output an alert to the staff room since the class is in disarray.
  • the scene analysis output unit 60 may also output scene analysis results based on the relationships between different attributes and the behavior analysis results of multiple attributed skeleton point information. For example, if the attribute information acquisition unit 30 acquires people with different attributes, such as a teacher and a student, the scene analysis output unit 60 may analyze and output that a state in which the teacher is standing and the student is sitting is a normal state indicating that a regular lesson is taking place.
  • FIG. 2 is a block diagram showing hardware of the image analysis device 100 according to the first embodiment.
  • the image analysis device 100 is connected to a camera 200.
  • the image analysis device 100 constitutes an image analysis system 300 by being connected to the camera 200.
  • Camera 200 captures an image of a subject and generates an image (called a captured image). Camera 200 generates captured images over time, thereby generating a continuous time-series image (i.e., a video).
  • the image analysis device 100 is configured with a CPU (Central Processing Unit) 110, a memory unit 120, a ROM (Read Only Memory) 130, a RAM (Random Access Memory) 140, an input unit 150, a display unit 160, and a communication unit 170.
  • a CPU Central Processing Unit
  • memory unit 120 a memory unit 120
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 110 reads out and executes the image analysis program 121 stored in the memory unit 120, thereby realizing the time-series image acquisition unit 10, skeleton point information acquisition unit 20, attribute information acquisition unit 30, attributed skeleton point information generation unit 40, behavior analysis unit 50, and scene analysis output unit 60 shown in FIG. 1.
  • the CPU 110 also controls the overall operation of the image analysis device 100. At this time, various data stored in the memory unit 120 are referenced.
  • the memory unit 120 is composed of a large-capacity storage medium such as a semiconductor memory or a hard disk drive, for example.
  • the CPU 110 transmits and receives various data to and from external devices connected to a communication network such as a LAN (Local Area Network) or a WAN (Wide Area Network) via the communication unit 170.
  • the CPU 110 for example, obtains captured images transmitted from the camera 200 and processes them.
  • the communication unit 170 is composed of a communication control card such as a NIC (Network Interface Card).
  • a communication control card such as a NIC (Network Interface Card).
  • the input unit 150 includes various operation keys such as a numeric keypad and a start key.
  • the input unit 150 accepts various input operations by the user and outputs operation signals to the CPU 110.
  • the display unit 160 is, for example, a liquid crystal display, and displays captured images, text, figures, etc.
  • the image analysis device 100 shown in FIG. 2 is not limited to the first embodiment shown in FIG. 1, and the image analysis device 101 according to the second embodiment to the image analysis device 102 according to the fourth embodiment can also be realized by the configuration of the image analysis device 100 shown in FIG. 2.
  • the skeleton point information acquisition unit 20 acquires skeleton points including the movements of a standing person S and skeleton points including the movements of a sitting person T. Furthermore, the attribute information acquisition unit 30 acquires an attribute of middle-aged as an attribute of the standing person S and an attribute of child as an attribute of the sitting person T. From this state, the scene analysis output unit 60 of the first embodiment outputs a scene analysis result indicating that a normal lesson is being conducted.
  • the skeleton point information acquisition unit 20 acquires skeleton points, for example, by a method (such as Openpose) that uses deep learning to extract a person's pose in real time.
  • a method such as Openpose
  • Fig. 3 is an explanatory diagram showing a person making a fist pump. As shown in Fig. 3, the person is raising both hands and making a fist pump.
  • Openpose can detect and obtain point coordinates and joint points of a human using only images (including moving images) captured by the camera 200, without using an acceleration sensor or the like.
  • Figure 4 is an explanatory diagram showing the areas that can be detected by Openpose.
  • Figure 5 is a list of the areas that can be detected by Figure 4.
  • Openpose detects the parts corresponding to Figures 4 and 5 by estimating the human skeleton. That is, Openpose detects nose 500, neck 501, right shoulder 502, right elbow 503, right wrist 504, left shoulder 505, left elbow 506, left wrist 507, middle hip 508, right hip 509, right knee 510, right ankle 511, left hip 512, left knee 513, left ankle 514, right eye 515, left eye 516, right ear 517, left ear 518, left thumb 519, left little finger 520, left heel 521, right thumb 522, right little finger 523, and right heel 524.
  • the skeleton point information acquisition unit 20 acquires, for example, a human rectangle, skeleton points, and a human ID for each person from one frame image.
  • FIG. 6 shows a skeleton estimation table in which the skeleton point information acquisition unit 20 acquires a human rectangle, skeleton information, and a person ID, and estimates the skeleton.
  • the estimated ID is person S
  • the center coordinates (X, Y) of the human rectangle are (100, 100)
  • the rectangular frame has a height H of 120 and a width W of 20.
  • the skeleton point information acquisition unit 20 estimates, as skeleton information, the center coordinates (X, Y) of the nose to be (100, 110), and the center coordinates of the right heel to be (90, 150).
  • the estimated ID of person T has the center coordinates (X, Y) of the person rectangle at (110, 160), and the rectangular frame has H of 180 and W of 30.
  • the attribute information acquisition unit 30 estimates attributes and acquires attribute information and a person ID.
  • the attribute information acquisition unit 30 estimates attributes, it can apply a publicly known attribute estimation process.
  • FIG. 7 shows an attribute information acquisition table in which the attribute information acquisition unit 30 acquires attribute information and person IDs.
  • a column for attribute information has been added to the skeleton estimation table of Figure 6 instead of skeleton information.
  • the attribute information estimates whether or not the person is wearing glasses, gender, age, body orientation, and clothing color.
  • the attribute information acquisition unit 30 estimates that for person S, whose estimated ID at time 1, the person is not wearing glasses, is female, is middle-aged, is facing forward, and is wearing red clothing.
  • the attribute information acquisition unit 30 also estimates that the person T, whose estimated ID at time 2, is not wearing glasses, is female, is a child, is facing forward, and is wearing red clothing.
  • the attribute information acquisition unit 30 estimates the middle-aged woman of person S to be a teacher and the child of person T to be a student from the age information, and assigns attributes to each.
  • the attribute information acquisition unit 30 may acquire attribute information from the time-series image at the same time that the skeleton point information acquisition unit 20 acquires skeleton point information from the time-series image.
  • the attributed skeleton point information generation unit 40 performs a process of integrating skeleton point information and attribute information of the same person from the skeleton estimation table of FIG. 6 and the attribute information acquisition table of FIG. 7.
  • the skeleton estimation table of FIG. 6 and the attribute information acquisition table of FIG. 8 are integrated using an expanded version of the attribute information acquisition table of FIG. 7.
  • the attribute information acquisition table of FIG. 8 is an expanded version of the attribute information acquisition table of FIG. 7 with respect to the time and estimated ID.
  • FIG. 9 shows an information integration table that combines the skeleton estimation table of FIG. 6 and the attribute information acquisition table of FIG. 8.
  • the attributed skeleton point information generation unit 40 merges the estimated ID of person S in the skeleton estimation table of FIG. 6 with the estimated ID of person S in the attribute information acquisition table of FIG. 8, and also merges the estimated ID of person T in the skeleton estimation table of FIG. 6 with the estimated ID of person T in the attribute information acquisition table of FIG. 8.
  • the attributed skeleton point information generating unit 40 acquires human rectangle information contained in the skeleton point information shown in FIG. 6.
  • the attributed skeleton point information generating unit 40 acquires human rectangle information contained in the attribute information shown in FIG. 8.
  • the attributed skeleton point information generating unit 40 calculates Iu (IoU) from the human rectangle (skeleton points) and the human rectangle (attribute information).
  • the attributed skeleton point information generator 40 calculates Iu using the following formula (1).
  • the attributed skeleton point information generation unit 40 searches for the pair with the highest Iu, and if Iu is equal to or greater than a threshold, it generates an integrated person ID, and if Iu is less than the threshold, it does not form a pair.
  • the estimated ID of person S in the skeleton estimation table of FIG. 6 is integrated with the estimated ID of person S in the attribute information acquisition table of FIG. 8, and the estimated ID of person T in the skeleton estimation table of FIG. 6 is integrated with the estimated ID of person T in the attribute information acquisition table of FIG. 8.
  • the behavior analysis unit 50 can integrate behavior information into the information integration table of FIG. 9 by using a behavior recognition technique using skeleton detection.
  • a behavior recognition technique using skeleton detection For example, as described in Japanese Patent Application No. 2002-095108, behavior can be recognized from the time-series skeleton point information by considering the time-series skeleton point information as point cloud data and carrying out machine learning on a learning model using the behavior labels indicated by this point cloud data and the point cloud data as teacher data.
  • the behavior recognition technique is not particularly limited.
  • FIG. 10 is a behavior information table showing behavior information for each integrated person ID.
  • a person with an integrated ID of person S is shown standing, and a person with an integrated ID of person T is shown sitting.
  • the behavior analysis unit 50 generates a behavior analysis table and an interaction table by integrating the behavior information table of FIG. 10 with the information integration table of FIG. 9.
  • FIG. 11 shows a behavior analysis table that combines the behavior information table of FIG. 10 with the information integration table of FIG. 9.
  • the behavior analysis unit 50 generates an interaction table showing interactions between middle-aged people with the attribute of teacher and children with the attribute of student based on the behavior analysis table in FIG. 11.
  • FIG. 12 shows an interaction table generated by the behavior analysis unit 50.
  • the horizontal direction shows the behavior of middle-aged people whose attribute is teacher
  • the vertical direction shows the behavior of children whose attribute is student, with the analysis of the scene being shown in a matrix format.
  • the scene analysis output unit 60 can analyze the scene using the interaction table in Figure 12, and determines that a situation in which the teacher's behavior is facing away from the students and the students' behavior is standing is abnormal, and that other behaviors are normal.
  • the scene analysis output unit 60 can output a scene analysis by acquiring the human rectangle, skeleton points, attribute information, behavior information, and integrated human ID (per person) from the attributed skeleton point information generation unit 40 in Figure 1.
  • Second Embodiment 13 is a functional block diagram showing the functions of an image analyzing device 101 according to the second embodiment.
  • the image analyzing device 101 of the second embodiment differs from the image analyzing device 100 of the first embodiment in that the scene analysis output unit 60 includes an interaction detection unit 61.
  • the other configurations are the same as those of the first embodiment, and therefore will not be described.
  • the interaction detection unit 61 detects interactions. Therefore, when outputting the scene analysis results, the scene analysis output unit 60 analyzes interactions between multiple pieces of attribute-attached skeleton point information.
  • the behavior analysis unit 50 analyzes the behavior of multiple customers. Specifically, the behavior analysis unit 50 analyzes the behavior of (1) some customers entering the store, while (2) some customers just passing by.
  • the interaction detection unit 61 detects changes in customer behavior in response to the store clerk's actions to attract customers by holding a limited-time sale.
  • a change in behavior means a change in a person's behavior. Therefore, the interaction detection unit 61 detects changes in customer behavior in response to the announcement of a limited-time sale.
  • the scene analysis output unit 60 uses information in the time-series images to determine whether or not a limited-time sale has been effective from changes in the captured images. For example, the scene analysis output unit 60 uses timestamp information contained in the time-series images. The scene analysis output unit 60 may also use timestamp information contained in a human rectangle. This allows the scene analysis output unit 60 to output the effects of the event, such as whether or not the number of customers has increased in response to customer attraction actions due to the limited-time sale.
  • the scene analysis results include timestamp information. Timestamp information includes the time, duration, frame number, etc. The timestamp indicates that the image was taken at the time stamped on it.
  • the scene analysis output unit 60 of the second embodiment outputs a scene analysis result based on a behavior analysis result of second attribute-attached skeleton point information resulting from the action of first attribute-attached skeleton point information having first attribute information related to a first person on second attribute-attached skeleton point information having second attribute information related to a second person different from the first person, as an analysis of an interaction.
  • the behavior analysis unit 50 analyzes each of the following states: (1) Student A is taking notes, (2) Student B is not taking notes, and (3) Student C is using his/her mobile phone.
  • the interaction detection unit 61 of the scene analysis output unit 60 detects scenes where the teacher is writing on the blackboard but the students are not moving their hands.
  • the scene analysis output unit 60 determines that students B and C are in a boring state, and outputs the level of boring class based on the ratio of the three students excluding student A (1-1 (student A)/3 (students A-C)).
  • the behavior analysis unit 50 analyzes each state as follows: (1) Students A, B, and C dance at appropriate times, (2) Student D dances at a later time than the teacher, and (3) Student E is sitting down and taking a break.
  • the interaction detection unit 61 of the scene analysis output unit 60 detects discrepancies in the timing of each of students A-D dancing in response to the teacher's example.
  • the scene analysis output unit 60 extracts the four students (students A-D) who are dancing out of the five students A-E, and outputs the ratio of students dancing at the appropriate timing (3 students (students A-C) / 4 students (students A-D)) as the students' level of understanding.
  • the behavior analysis unit 50 analyzes the evacuation behavior of the crowd E in response to the guiding instructions from the police officers.
  • the attribute information acquisition unit 30 acquires, for example, the relationship between police officers and a crowd as a relationship between different attributes.
  • the interaction detection unit 61 of the scene analysis output unit 60 detects the evacuation behavior of crowd E in response to the guiding instructions from the police officers.
  • the scene analysis output unit 60 outputs the ratio (1-crowd E/total number of crowds) of the total crowd (1) excluding the attributes of crowd E that has taken evacuating behavior as the panic level.
  • Fourth Embodiment 14 is a functional block diagram showing functions of an image analyzing device 102 according to the fourth embodiment.
  • the image analyzing device 102 includes a time-series image acquiring unit 10, a skeleton point information acquiring unit 20, an attribute information acquiring unit 30, an attribute-attached skeleton point information generating unit 40, and a scene analysis output unit 62.
  • the image analysis device 102 according to the fourth embodiment shown in FIG. 14 differs from the image analysis device 100 according to the first embodiment shown in FIG. 1 in that it does not include a behavior analysis unit 50.
  • the scene analysis output unit 62 outputs the results of scene analysis in time-series images based on multiple attributed skeleton point information.
  • the scene analysis output unit 62 processes the multiple attributed skeleton point information together using behavioral analysis and AI (Artificial Intelligence). More specifically, the results of scene analysis can be output by inputting the attributed skeleton point information in time series to a learning model that has been machine-learned using the attributed skeleton point information in time series (point cloud data) and the scene analysis results (scene labels) as training data.
  • AI Artificial Intelligence
  • the scene analysis output unit 62 can analyze the scene based on a learning model created by machine learning by acquiring the human rectangle, skeleton points, attribute information, behavior information, and integrated human ID (per person) from the attributed skeleton point information generation unit 40 in FIG. 14.
  • the image analysis device 100 is configured to include a time-series image acquisition unit 10, a skeleton point information acquisition unit 20, an attribute information acquisition unit 30, an attribute-attached skeleton point information generation unit 40, a behavior analysis unit 50, and a scene analysis output unit 60.
  • the behavior analysis unit 50 performs behavior analysis on each of the multiple pieces of attributed skeleton point information, and performs a composite analysis of the multiple behavior analysis results.
  • the scene analysis output unit 60 outputs the analysis results of the scenes in the time-series images.
  • the image analysis device 100 can utilize the interactions between groups by the behavior analysis unit 50 performing a composite analysis of multiple behavior analysis results. Therefore, the image analysis device 100 can perform highly accurate scene recognition by utilizing the interactions between groups.
  • the image analysis device 100 may output a scene analysis result based on the relationship between different attributes and the behavior analysis result of multiple attribute-attached skeleton point information by the scene analysis output unit 60.
  • the image analysis device 100 can acquire relationships between different attributes using the attribute information acquisition unit 30, so the scene analysis output unit 60 can use interactions between groups in the behavior analysis results of multiple attribute-attached skeleton point information.
  • the scene analysis output unit 60 can analyze and output that when the teacher is standing and the students are sitting, this is a normal state indicating that a regular lesson is taking place.
  • the image analysis device 100 can perform more complex scene recognition.
  • the image analysis device 100 also includes an interaction detection unit 61 in the scene analysis output unit 60.
  • the interaction detection unit 61 detects interactions. This allows the scene analysis output unit 60 to analyze interactions between multiple pieces of attribute-attached skeleton point information when outputting the scene analysis results.
  • the interaction detection unit 61 detects a change in customer behavior in response to a store clerk's customer-attracting behavior due to a limited-time sale. This allows the scene analysis output unit 60 to use information in the time-series images to determine from the behavior change whether the customer-attracting behavior due to the limited-time sale is effective.
  • the image analysis device 100 outputs a scene analysis result based on the behavior analysis result of the second attribute-attached skeleton point information resulting from the action of the first attribute-attached skeleton point information having first attribute information relating to a first person on the second attribute-attached skeleton point information having second attribute information relating to a second person different from the first person, as an analysis of an interaction, by the scene analysis output unit 60 according to the second embodiment.
  • the interaction detection unit 61 of the scene analysis output unit 60 analyzes the scene of a student whose hands are not moving while the teacher is writing on the blackboard.
  • the scene analysis output unit 60 determines that students B and C are in a bored state, and can output the degree of boringness of the lesson based on the ratio of students excluding student A out of the three (1-1 (student A)/3 (students A-C)).
  • the interaction detection unit 61 of the scene analysis output unit 60 analyzes the difference in timing of each of students A to D dancing in response to the teacher's example.
  • the scene analysis output unit 60 can output the students' level of understanding based on the ratio of students who dance at the appropriate timing among the four students A to D (3 students (students A to C) / 4 students (students A to D)).
  • the interaction detection unit 61 of the scene analysis output unit 60 detects evacuation behavior of the crowd E in response to guidance instructions from the police officers.
  • the scene analysis output unit 60 can output the ratio (1-crowd E/total number of crowds) of the total crowd, with the whole crowd being set at 1, excluding the attributes of the crowd E that has taken evacuating behavior, as the panic level.
  • the image analysis device 100 includes an image analysis device 102 that is configured to include a time-series image acquisition unit 10, a skeleton point information acquisition unit 20, an attribute information acquisition unit 30, an attribute-attached skeleton point information generation unit 40, and a scene analysis output unit 62.
  • the attributed skeleton point information generation unit 40 integrates skeleton point information and attribute information of the same person from the skeleton estimation table and the attribute information acquisition table.
  • the scene analysis output unit 62 outputs the analysis results of scenes in time-series images based on multiple pieces of attributed skeleton point information.
  • the image analysis device 100 can perform scene analysis in the scene analysis output unit 62.
  • the attribute information between different attributes may be based on the role of a person.
  • the different attributes may include a teacher attribute and a student attribute.
  • the attributed skeleton point information generating unit 40 may form groups of attributed skeleton point information to which the same attribute is assigned for a plurality of pieces of attributed skeleton point information. This allows the image analyzing devices 100 to 102 according to the first to fourth embodiments to utilize interactions between groups and perform more complex scene recognition.
  • the scene analysis output units 60 and 62 may output an alert depending on the scene analysis results.
  • the image analysis devices 100 to 102 according to the first to fourth embodiments can be applied to, for example, surveillance cameras, people flow systems, and DX (Digital Transformation) in factories.
  • the behavior analysis unit 50 may store time-series images obtained when analyzing a plurality of behavior analysis results in the storage unit 120.
  • the behavior analysis unit 50 may also store the time-series images in a buffer until the processing for performing the composite analysis is completed, and delete the time-series images when the processing is completed. This allows the storage unit 120 to appropriately secure the necessary storage capacity.
  • the attribute information acquiring unit 30 may acquire attribute information from the time-series image at the same time as the skeleton point information acquiring unit acquires skeleton point information from the time-series image. This can improve real-time performance.
  • the attribute information acquiring unit 30 is not limited to acquiring attribute information from the time-series image, and may, for example, be input by a user for each piece of skeleton information, or may acquire attribute information from another database.
  • the image analysis devices 100 to 102 according to the first to fourth embodiments may, for example, link the voice to the behavioral analysis and perform a composite analysis of the behavioral analysis result together with the voice. This can improve the accuracy of scene recognition.
  • REFERENCE SIGNS LIST 10 Time-series image acquisition unit 20 Skeleton point information acquisition unit 30 Attribute information acquisition unit 40 Attribute-attached skeleton point information generation unit 50 Action analysis unit 60, 62 Scene analysis output unit 61 Interaction detection unit 100 Image analysis device 110 CPU 120 Storage unit 121 Image analysis program 130 ROM 140 RAM 150 Input unit 160 Display unit 170 Communication unit 200 Camera 300 Image analysis system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

画像解析装置（１００）は、複数の人物が撮像された時系列画像を取得する時系列画像取得部（１０）と、時系列画像の各フレーム画像から複数の人物それぞれの複数の骨格点情報を取得する骨格点情報取得部（２０）と、複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する属性情報取得部（３０）と、骨格点情報と属性情報とを関連づけて、複数の属性付き骨格点情報を生成する属性付き骨格点情報生成部（４０）と、複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する行動解析部（５０）と、時系列画像における場面の解析結果を出力する場面解析出力部（６０）と、を備える。

Description

画像解析装置、画像解析方法、および画像解析プログラム
　本発明は、画像解析装置、画像解析方法、および画像解析プログラムに関する。
　従来、人の属性ごとに行動特徴量の出現頻度をヒストグラム化し、行動特徴量に基づき、場面の解析結果を出力する装置が提案されている。
　例えば、特許文献１には、「システムが、撮影画像の時系列であり一定数以上のフレームからなる時系列画像の各フレームに含まれる人物から当該人物の骨格位置を表す骨格位置情報を抽出する。システムが、当該抽出された骨格位置情報に基づき、時系列画像の各フレームに含まれる人物が同一人物であるか否かを判定する。システムが、時系列画像の所定数以上のフレームに含まれる同一人物の人物について、当該抽出された骨格位置情報に基づき、行動特徴量を生成する。システムは、当該生成された行動特徴量の出現頻度を、人物の属性ごとにヒストグラム化した属性ヒストグラムを生成し、人物の行動特徴量に基づき当該人物の異常行動を検出するために使用され得る当該属性ヒストグラムを記憶部に格納する。」異常行動検出システムが開示されている（特許文献１の要約書参照）。
特開２０２２－１７９３９号公報
　特許文献１に開示された異常行動検出システムは、個々の人物の属性と行動認識結果だけで、複雑な場面認識をして判断している。しかし、個々の人物の解析結果だけでは、正常か異常かを判断できないことがある。
　具体的には、先生と生徒とが学校の教室にいる場合に、生徒がその教室内を歩いている状況を想定する。この場合、先生が板書をしていれば、生徒が教室内を歩く行動は、学級崩壊、と判断される。一方、先生が生徒に指示し、生徒が黒板に向かって歩いていれば、その教室では正常な授業が行われている、と判断される。
　このように、生徒が教室内を歩く行動は、先生の行動との相互作用により正常か異常かの認識が変わってくる。このため、個々の人物の属性と行動認識だけでは、正しく認識できない場面も存在する。
　そこで、本発明は、属性付き骨格点情報に基づいて、精度の高い場面認識を行うことができる、画像解析装置、画像解析方法、および画像解析プログラムを提供することを課題とする。
　すなわち、本発明の上記課題は、下記の構成により解決される。
（１）　複数の人物が撮像された時系列画像を取得する時系列画像取得部と、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する骨格点情報取得部と、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する属性情報取得部と、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する属性付き骨格点情報生成部と、
　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する行動解析部と、
　前記時系列画像における場面の解析結果を出力する場面解析出力部と、
　を備える画像解析装置。
（２）　前記場面解析出力部は、
　異なる属性間の関係性と、前記複数の属性付き骨格点情報の行動解析結果とに基づいて、前記場面の解析結果を出力する、
　（１）に記載の画像解析装置。
（３）　前記場面解析出力部は、
　前記場面の解析結果を出力する際に、前記複数の属性付き骨格点情報の相互作用を解析する、
　（１）に記載の画像解析装置。
（４）　前記相互作用の解析とは、
　第１の人物に係る第１の属性情報を持つ第１属性付き骨格点情報が、前記第１の人物と異なる第２の人物に係る第２の属性情報を持つ第２の属性付き骨格点情報に対して作用した結果の前記第２の属性付き骨格点情報の行動解析結果に基づいて、前記場面の解析結果を出力することである、
　（３）に記載の画像解析装置。
（５）　前記異なる属性間の属性情報は、前記人物の役割に基づくものである、
　（２）に記載の画像解析装置。
（６）　前記属性付き骨格点情報生成部は、
　前記複数の属性付き骨格点情報に関して同じ属性が付与された属性付き骨格点情報のグループを形成する、
　（１）に記載の画像解析装置。
（７）　前記場面解析出力部は、
　前記場面の解析結果に応じて、アラートを出力する、
　（１）に記載の画像解析装置。
（８）　前記行動解析部は、
　前記複数の行動解析結果を解析した際の前記時系列画像を記憶する、
　（１）に記載の画像解析装置。
（９）　前記行動解析部は、
　前記複合的に解析する処理が終了するまで前記時系列画像をバッファで保存して、当該処理が終了すると当該時系列画像を削除する、
　（８）に記載の画像解析装置。
（１０）　前記骨格点情報取得部による前記時系列画像からの前記骨格点情報の取得と同時に、前記属性情報取得部は、前記時系列画像から前記属性情報を取得する、
　（１）に記載の画像解析装置。
（１１）　複数の人物が撮像された時系列画像を取得する時系列画像取得部と、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する骨格点情報取得部と、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する属性情報取得部と、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する属性付き骨格点情報生成部と、
　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力する場面解析出力部と、
　を備える画像解析装置。
（１２）　複数の人物が撮像された時系列画像を取得するステップと、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得するステップと、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得するステップと、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成するステップと、
　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析するステップと、
　前記時系列画像における場面の解析結果を出力するステップと、
　を実行する画像解析方法。
（１３）　複数の人物が撮像された時系列画像を取得するステップと、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得するステップと、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得するステップと、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成するステップと、
　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力するステップと、
　を実行する画像解析方法。
（１４）　複数の人物が撮像された時系列画像を取得する手順、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する手順、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する手順、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する手順、
　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する手順、
　前記時系列画像における場面の解析結果を出力する手順、
　をコンピュータに実行させるための画像解析プログラム。
（１５）　複数の人物が撮像された時系列画像を取得する手順、
　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する手順、
　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する手順、
　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する手順、
　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力する手順、
　をコンピュータに実行させるための画像解析プログラム。
　本発明によれば、属性付き骨格点情報に基づいて、精度の高い場面認識を行うことができる。
第１実施形態に係る画像解析装置の機能を示した機能ブロック図である。 第１実施形態に係る画像解析装置のハードウェアを示したブロック図である。 人物がガッツポーズをしている状態を示した説明図である。 Openposeで検出することができる部位を示した説明図である。 図４で検出することができる部位をリスト化したものである。 骨格点情報取得部が人矩形、骨格情報、人ＩＤを取得し、骨格を推定する骨格推定テーブルを示した図である。 属性情報取得部が属性情報、人ＩＤを取得した属性情報取得テーブルを示した図である。 図７の属性情報取得テーブルの時刻と推定ＩＤを拡張したテーブルを示した図である。 図６の骨格推定テーブルと、図８の属性情報取得テーブルとを統合した情報統合テーブルを示した図である。 統合人ＩＤごとに行動情報を示した行動情報テーブルを示した図である。 情報統合テーブルに行動情報テーブルを統合した行動解析テーブルを示した図である。 場面解析出力部が生成した相互作用表を示した図である。 第２実施形態に係る画像解析装置の機能を示した機能ブロック図である。 第３実施形態に係る画像解析装置の機能を示した機能ブロック図である。
　以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は、以下の実施の形態に限定されるものではない。
　＜第１実施形態＞
［画像解析装置の全体構成］
　図１は、第１実施形態に係る画像解析装置１００の機能を示した機能ブロック図である。画像解析装置１００は、概略、属性付き骨格点情報を行動解析し、行動解析結果を複合的に解析することで、場面の解析結果を出力する装置である。
　図１に示すように、画像解析装置１００は、時系列画像取得部１０、骨格点情報取得部２０、属性情報取得部３０、属性付き骨格点情報生成部４０、行動解析部５０および場面解析出力部６０を備えて構成されている。
　時系列画像取得部１０は、後述するカメラ２００（図２を参照）から、複数の人物が撮像された画像を経時的に取得する。換言すれば、時系列画像取得部１０は、複数の人物が撮像された時系列画像を取得する。よって、時系列画像取得部１０は、１フレーム単位の時系列画像を出力することができる。なお、時系列画像取得部１０は、撮影済の動画が記録されているストレージから、複数の人物が撮像された画像を取得してもよく、特に限定されない。
　骨格点情報取得部２０は、時系列画像の各フレーム画像から複数の人物それぞれの複数の骨格点情報を１フレーム単位で取得する。骨格点情報取得部２０は、１フレーム単位で複数の人物それぞれの骨格を推定することで、骨格点情報と、人ＩＤ（IDentification）（人単位）と、を取得する。また、骨格点情報取得部２０は、人矩形を取得する。人矩形とは、人物がいる領域（座標）であって、長方形の画像領域を意味し、物体検出（人物検出）の領域を意味する。骨格点情報取得部２０は、例えば、カーネギーメロン大学で開発されたOpenposeなどを使って、フレーム画像から複数人物それぞれのキーポイントである骨格点情報と人矩形と人ＩＤを取得する。
　属性情報取得部３０は、時系列画像の各フレーム画像から被写体（人物）の属性を推定することで、属性情報と人ＩＤを取得する。換言すれば、属性情報取得部３０は、複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する。よって、属性情報取得部３０は、人矩形と、属性情報と、人ＩＤ（人単位）とを取得する。属性情報取得部３０は、例えば、本件の出願人によって開発されたFORXAIなどを使って、フレーム画像から複数人物それぞれの属性情報と人矩形と人ＩＤを取得する。また、属性情報取得部３０は、例えば、学校の解析において、属性情報のうち年代情報からその人物が先生であることを示す属性、または、生徒であることを示す属性情報を付与してもよい。
　また、属性情報取得部３０は、骨格点情報取得部２０による時系列画像からの骨格点情報の取得と同時に、時系列画像から属性情報を取得してもよい。
　属性付き骨格点情報生成部４０は、同一人物の骨格点情報と属性情報を統合する。換言すれば、属性付き骨格点情報生成部４０は、骨格点情報と属性情報とを関連づけて、複数の属性付き骨格点情報を生成する。属性付き骨格点情報生成部４０は、人矩形と、骨格点と、属性情報と、統合人ＩＤ（人単位）を出力できる。
　また、属性付き骨格点情報生成部４０は、複数の属性付き骨格点情報に関して同じ属性が付与された属性付き骨格点情報のグループを形成してもよい。例えば、属性付き骨格点情報生成部４０では、男性の属性が付与されている属性付き骨格点情報のグループや、中年の属性が付与されている属性付き骨格点情報のグループを形成することができる。
　行動解析部５０は、同一フレーム画像の骨格点情報と属性情報から、その場面にいる人々の行動を解析する。換言すれば、行動解析部５０は、複数の属性付き骨格点情報のそれぞれを行動解析して得た複数の行動解析結果を複合的に解析する。
　例えば、学校を解析対象とする場合、先生が生徒に教室内で授業をしている状況を想定する。この場合、行動解析部５０は、先生の行動と生徒の行動との組み合わせを解析する。行動解析部５０は、人矩形と、骨格点と、属性情報と、行動情報と、統合人ＩＤ（人単位）と、を取得する。そして、行動解析部５０は、例えば、以下の４つの状態を解析する。
　行動解析部５０は、例えば、フレーム画像に写っている先生と生徒が、（１）．先生が動いておらず、生徒が寝ている状態、（２）．先生が動いておらず、生徒がうろついている状態、（３）．先生が動いておらず、生徒が黒板に向かって歩いている状態、（４）．先生がうろついており、生徒が動いていない状態の４つの状態の何れに該当するか否かを解析する。なお、行動解析部５０が解析する対象は、学校における先生と生徒に限定されず、店員とお客、警察官と群衆などであってもよい。
　ここで、行動解析部５０では、先生に属するグループと生徒に属するグループを複合的に解析する。本実施形態の行動解析部５０は、グループ間の相互作用を、１対１、１対多、多対多の何れかに当て嵌めて解析する。このように、例えば、行動解析部５０が、グループ間の相互作用を利用して解析することを、複合的に解析する、という。
　また、行動解析部５０は、複数の行動解析結果を解析した際の時系列画像を、記憶部１２０に記憶してもよい。また、行動解析部５０は、複合的に解析する処理が終了するまで時系列画像をバッファで保存して、当該処理が終了すると当該時系列画像を削除してもよい。
　場面解析出力部６０は、属性情報と行動情報から場面を解析する。換言すれば、場面解析出力部６０は、時系列画像における場面の解析結果を出力する。
　上述した学校の場合、（１）．の先生が動いておらず、生徒が寝ている状態は、退屈な授業の状態を意味しており、先生による授業が下手であることを示している。（２）．の先生が動いておらず、生徒がうろついている状態は、学級崩壊していることを意味している。（３）．の先生が動いておらず、生徒が黒板に向かって歩いている状態は、生徒が板書に行く正常な授業を意味している。（４）．の先生がうろついており、生徒が動いていない状態も、正常な授業を意味している。
　なお、場面解析出力部６０は、場面の解析結果に応じて、アラートを出力してもよい。例えは、（２）．の先生が動いておらず、生徒がうろついている状態は、学級崩壊しているため、職員室にアラートを出力することが望ましい。
　また、場面解析出力部６０は、異なる属性間の関係性と、複数の属性付き骨格点情報の行動解析結果とに基づいて、場面の解析結果を出力してもよい。例えば、属性情報取得部３０が先生と生徒という異なる属性の人物を取得した場合、場面解析出力部６０は、先生が立っており、生徒が座っている状態において、通常の授業中を示す正常な状態である、と解析して出力することができる。
［画像解析装置のハードウェアの構成］
　図２は、第１実施形態に係る画像解析装置１００のハードウェアを示したブロック図である。画像解析装置１００は、カメラ２００に接続される。画像解析装置１００は、カメラ２００に接続されることで、画像解析システム３００を構成する。
　カメラ２００は、被写体を撮像し、画像（これを撮像画像という。）を生成する。カメラ２００は、撮像画像を経時的に生成することで、連続した時系列画像（すなわち、動画である。）を生成する。
　画像解析装置１００は、ＣＰＵ（Central Processing Unit）１１０、記憶部１２０、ＲＯＭ（Read Only Memory）１３０、ＲＡＭ（Random Access Memory）１４０、入力部１５０、表示部１６０、および通信部１７０を備えて構成されている。
　ＣＰＵ１１０は、記憶部１２０に格納されている画像解析プログラム１２１を読み出して実行することで、図１に示した時系列画像取得部１０、骨格点情報取得部２０、属性情報取得部３０、属性付き骨格点情報生成部４０、行動解析部５０、および場面解析出力部６０を具現化する。また、ＣＰＵ１１０は、画像解析装置１００の全体動作を制御する。このとき、記憶部１２０に格納されている各種データが参照される。記憶部１２０は、例えば、半導体メモリやハードディスクドライブなどの大容量記憶媒体で構成される。
　ＣＰＵ１１０は、通信部１７０を介して、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続された外部の装置との間で、各種データの送受信を行う。ＣＰＵ１１０は、例えば、カメラ２００から送信された撮像画像を取得し、処理を施す。
　通信部１７０は、例えばＮＩＣ（Network Interface Card）等の通信制御カードで構成される。
　入力部１５０は、テンキー、スタートキー等の各種操作キーを備える。入力部１５０は、ユーザによる各種入力操作を受け付けて、操作信号をＣＰＵ１１０に出力する。
　表示部１６０は、例えば、液晶ディスプレイなどであり、撮像画像、文字、図形などを表示する。
　なお、図２に示す画像解析装置１００は、図１に示す第１実施形態に限定されるものではなく、第２実施形態に係る画像解析装置１０１から第４実施形態に係る画像解析装置１０２も、図２に示す画像解析装置１００の構成により実現される。
［第１実施形態の具体例］
　例えば、骨格点情報取得部２０は、立っている人Ｓの動作を含む骨格点と、座っている人Ｔの動作を含む骨格点と、を取得する。また、属性情報取得部３０は、立っている人Ｓの属性として中年という属性と、座っている人Ｔの属性として子供という属性と、を取得する。このような状態から、第１実施形態の場面解析出力部６０は、正常授業が行われている、と場面の解析結果を出力する。
　ここで、骨格点情報取得部２０は、例えば、深層学習を用いた人物のポーズをリアルタイムに抽出する手法（例えば、Openposeなど）により、骨格点を取得する。
　図３は、人物がガッツポーズをしている状態を示した説明図である。図３に示すように、人物が両手を挙げて、ガッツポーズをしている。
　例えば、Openposeでは、加速度センサなどを用いることなく、カメラ２００による撮像画像（動画像を含む）のみで人間の点座標や関節点を検出することができ、点座標や関節点を取得することができる。
　図４は、Openposeで検出することができる部位を示した説明図である。図５は、図４で検出することができる部位をリスト化したものである。
　図４および図５に示すように、Openposeでは、人間の骨格を推定することで、図４および図５に対応する部位を検出する。すなわち、Openposeでは、鼻５００、首５０１、右肩５０２、右肘５０３、右手首５０４、左肩５０５、左肘５０６、左手首５０７、中ヒップ５０８、右ヒップ５０９、右膝５１０、右足首５１１、左ヒップ５１２、左膝５１３、左足首５１４、右目５１５、左目５１６、右耳５１７、左耳５１８、左親指５１９、左小指５２０、左踵５２１、右親指５２２、右小指５２３、および右踵５２４を検出する。
　骨格点情報取得部２０は、図１に示すように、例えば、１フレーム画像から人矩形と、骨格点と、人ＩＤとをそれぞれ人物単位で取得する。
　図６は、骨格点情報取得部２０が人矩形、骨格情報、人ＩＤを取得し、骨格を推定する骨格推定テーブルを示した図である。
　図６では、時刻、推定ＩＤ、人矩形、骨格情報の各欄を備えている。例えば、時刻１では、推定ＩＤが人Ｓについて、人矩形の中心座標（Ｘ，Ｙ）が（１００，１００）を有し、矩形枠として、高さを示すＨが１２０、幅を示すＷが２０となっている。
　骨格点情報取得部２０は、この状態から、骨格情報として、鼻の中心座標（Ｘ，Ｙ）を（１００，１１０）と推定し、右踵の中心座標を、（９０，１５０）を推定する。
　また、時刻２では、推定ＩＤが人Ｔについて、人矩形の中心座標（Ｘ，Ｙ）が（１１０，１６０）を有し、矩形枠として、Ｈが１８０、Ｗが３０となっている。
　一方、属性情報取得部３０は、属性を推定し、属性情報、人ＩＤを取得する。なお、属性情報取得部３０が属性を推定する際、公知の属性推定処理を適用することができる。
　図７は、属性情報取得部３０が属性情報、人ＩＤを取得した属性情報取得テーブルを示した図である。
　図７では、図６の骨格推定テーブルに対し、骨格情報の代わりに属性情報の欄が追加されている。属性情報では、眼鏡の有無、性別、年代、体の向き、服色を推定する。属性情報取得部３０は、例えば、時刻１の推定ＩＤが人Ｓについて、眼鏡をかけておらず、性別は女性で、年代は中年で、前向きであり、服色が赤であることを推定している。
　また、属性情報取得部３０は、時刻２の推定ＩＤが人Ｔについて、眼鏡をかけておらず、性別は女性で、年代は子供で、前向きであり、服色が赤であることを推定している。ここで、属性情報取得部３０は、年代情報から、人Ｓの中年の女性を先生と推定し、人Ｔの子供を生徒と推定して、それぞれ属性を付与する。
　なお、属性情報取得部３０は、骨格点情報取得部２０による時系列画像からの骨格点情報の取得と同時に、時系列画像から属性情報を取得してもよい。
　属性付き骨格点情報生成部４０は、図６の骨格推定テーブルと、図７の属性情報取得テーブルとから、同一人物の骨格点情報や属性情報を統合する処理を行う。なお、一例として、図７の属性情報取得テーブルを拡張した図８を用いて、図６の骨格推定テーブルと、図８の属性情報取得テーブルを統合する。図８の属性情報取得テーブルは、図７の属性情報取得テーブルの時刻と推定ＩＤを拡張したテーブルである。
　図９は、図６の骨格推定テーブルと、図８の属性情報取得テーブルとを統合した情報統合テーブルを示した図である。
　属性付き骨格点情報生成部４０は、例えば、図６の骨格推定テーブルの推定ＩＤが人Ｓと、図８の属性情報取得テーブルの推定ＩＤが人Ｓとを統合するとともに、図６の骨格推定テーブルの推定ＩＤが人Ｔと、図８の属性情報取得テーブルの推定ＩＤが人Ｔとを統合する。
　具体的には、まず、属性付き骨格点情報生成部４０は、図６に示す骨格点情報が持つ人矩形情報を取得する。次に、属性付き骨格点情報生成部４０は、図８に示す属性情報が持つ人矩形情報を取得する。そして、属性付き骨格点情報生成部４０は、人矩形（骨格点）と人矩形（属性情報）から、Ｉu（ＩｏＵ）を計算する。
　ここで、属性付き骨格点情報生成部４０は、次式（１）を用いて、Ｉuを計算する。
Figure JPOXMLDOC01-appb-M000001
  
　属性付き骨格点情報生成部４０は、Ｉuが一番高いペアを探し、そのＩuが閾値以上であれば、統合人ＩＤを生成し、閾値未満であれば、ペアを形成しない。
　このように、図９では、図６の骨格推定テーブルの推定ＩＤが人Ｓと、図８の属性情報取得テーブルの推定ＩＤが人Ｓとを統合するとともに、図６の骨格推定テーブルの推定ＩＤが人Ｔと、図８の属性情報取得テーブルの推定ＩＤが人Ｔとを統合する。
　なお、この具体例では、行動解析部５０は、骨格検出を用いた行動認識技術を用いることで、図９の情報統合テーブルに、行動情報を統合することができる。例えば、特願2002-095108に記載のように、時系列の骨格点情報を点群データと考え、この点群データが示す行動ラベルと点群データとを教師データとして学習モデルに機械学習させることで、時系列の骨格点情報から行動認識を行うことができる。なお、行動認識技術は、特に限定されるものではない。
　図１０は、統合人ＩＤごとに行動情報を示した行動情報テーブルである。図１０では、統合ＩＤが人Ｓの人物は、立っている状態を示しており、統合ＩＤが人Ｔの人物は、座っている状態を示している。
　行動解析部５０は、図９の情報統合テーブルに、図１０の行動情報テーブルを統合することで、行動解析テーブルを生成し、相互作用表を生成する。
　図１１は、図９の情報統合テーブルに図１０の行動情報テーブルを統合した行動解析テーブルを示している。
　行動解析部５０は、図１１の行動解析テーブルに基づいて、中年で属性が先生と、子供で属性が生徒との相互作用を示す相互作用表を生成する。
　図１２は、行動解析部５０が生成した相互作用表を示したものである。図１２では、横方向には、属性が先生である中年の行動が記載され、縦方向には、属性が生徒である子供の行動が記載され、場面の解析がマトリックス状に記載されている。
　場面解析出力部６０では、図１２の相互作用表を用いて場面の解析を行うことができ、先生の行動が後ろ向きで合って、生徒の行動が立っている状態を異常と判定し、それ以外の行動については正常と判断することを示している。
　これにより、場面解析出力部６０は、図１の属性付き骨格点情報生成部４０から人矩形と、骨格点と、属性情報と、行動情報と、統合人ＩＤ（人単位）を取得することで、場面の解析を出力することができる。
　＜第２実施形態＞
　図１３は、第２実施形態に係る画像解析装置１０１の機能を示した機能ブロック図である。第２実施形態の画像解析装置１０１が第１実施形態の画像解析装置１００と異なる点は、場面解析出力部６０が、相互作用検出部６１を備えている点である。その他の構成は、第１実施形態と同一であるため、説明を省略する。
　相互作用検出部６１は、相互作用を検出する。よって、場面解析出力部６０は、場面の解析結果を出力する際に、複数の属性付き骨格点情報の相互作用を解析する。
　例えば、小売業の場合、店員がタイムセールの案内を告知した状態を想定する。この場合、行動解析部５０は、複数の客の行動を解析する。具体的には、行動解析部５０は、（１）．ある客は来店するが、（２）．ある客は通過する、という行動を解析する。
　相互作用検出部６１は、店員のタイムセールによる客寄せ行動に対し、客の行動変容を検出する。行動変容とは、人の行動が変わることを意味する。よって相互作用検出部６１は、タイムセールの告知により、客の行動が変わることを検出する。
　場面解析出力部６０は、時系列画像における情報を利用し、タイムセールによる効果があるかどうかを撮像画像の変化から判断する。例えば、場面解析出力部６０は、時系列画像に含まれるタイムスタンプ情報を利用する。場面解析出力部６０は、人矩形に含まれるタイムスタンプ情報を利用してもよい。これにより、場面解析出力部６０は、例えば、タイムセールによる客寄せ行動に対し、集客が増えたかどうか等のイベントの効果を出力することができる。
　なお、場面の解析結果には、タイムスタンプ情報が含まれる。タイムスタンプ情報は、時刻、時間、フレーム番号などが該当する。タイムスタンプは、タイムスタンプに刻印されている時刻にその撮像画像が撮影されたことを示すものである。
　＜第３実施形態＞
　第３実施形態では、第２実施形態の場面解析出力部６０が、相互作用の解析として、第１の人物に係る第１の属性情報を持つ第１属性付き骨格点情報が、第１の人物と異なる第２の人物に係る第２の属性情報を持つ第２の属性付き骨格点情報に対して作用した結果の第２の属性付き骨格点情報の行動解析結果に基づいて、場面の解析結果を出力する。
　例えば、学校の場合、先生が板書している状態を想定する。この場合、行動解析部５０は、（１）．ある生徒Ａは、ノートを取っており、（２）．ある生徒Ｂは、ノートを取っておらず、（３）．また、ある生徒Ｃは、携帯を触っている、という各状態を解析する。
　場面解析出力部６０の相互作用検出部６１は、先生が板書している状態でありながら、手が動いていない生徒について場面を検出する。場面解析出力部６０は、生徒Ｂと生徒Ｃが退屈な状態に該当し、３名の生徒のうち生徒Ａを除いた比率（１－１名（生徒Ａ）／３名（生徒Ａ～Ｃ））により、退屈な授業度として出力する。
　また、例えば、ダンスレッスンの場合、先生がダンスを生徒に例示する状態を想定する。この場合、行動解析部５０は、（１）．ある生徒Ａ、Ｂ、Ｃは、適切なタイミングでダンスを踊り、（２）．ある生徒Ｄは、先生よりタイミングが遅れてダンスを踊り、（３）．ある生徒Ｅは、座って休憩している、と各状態を解析する。
　場面解析出力部６０の相互作用検出部６１は、先生の例示に対し、各生徒Ａ～Ｄが踊るタイミングのズレを検出する。場面解析出力部６０は、５名の生徒Ａ～Ｅのうち、ダンスを踊っている４名の生徒（生徒Ａ～Ｄ）を抽出し、適切なタイミングでダンスを踊る生徒の比率（３名（生徒Ａ～Ｃ）／４名（生徒Ａ～Ｄ））により、生徒の理解度として出力する。
　また、例えば、警察の場合、警察が群集に誘導指示する状態を想定する。この場合、行動解析部５０は、警察官による誘導指示に対し、群衆Ｅの避難行動を解析する。属性情報取得部３０は、例えば、異なる属性間の関係性として、警察官と群衆という関係性を取得する。
　場面解析出力部６０の相互作用検出部６１は、警察官による誘導指示に対し、群衆Ｅの避難行動を検出する。場面解析出力部６０は、全体を１とした総群衆のうち、避難行動した群衆Ｅの属性を除いた比率（１－群衆Ｅ／総群衆数）を、パニック度として出力する。
　＜第４実施形態＞
　図１４は、第４実施形態に係る画像解析装置１０２の機能を示した機能ブロック図である。図１４に示すように、画像解析装置１０２は、時系列画像取得部１０、骨格点情報取得部２０、属性情報取得部３０、属性付き骨格点情報生成部４０、および場面解析出力部６２を備えて構成されている。
　図１４に示す第４実施形態に係る画像解析装置１０２が、図１に示す第１実施形態に係る画像解析装置１００と異なる点は、行動解析部５０を備えていない点である。
　場面解析出力部６２は、複数の属性付き骨格点情報を基に、時系列画像における場面の解析結果を出力する。場面解析出力部６２は、場面の解析を行う際、複数の属性付き骨格点情報を基に、行動解析とＡＩ（Artificial Intelligence）とを用いて、まとめて処理する。より具体的には、時系列の属性付き骨格点情報（点群データ）とその場面解析結果（シーンラベル）とを教師データとして機械学習させた学習モデルに、時系列の属性付き骨格点情報を入力することで、場面の解析結果を出力することができる。
　これにより、場面解析出力部６２は、図１４の属性付き骨格点情報生成部４０から人矩形と、骨格点と、属性情報と、行動情報と、統合人ＩＤ（人単位）を取得することで、機械学習による学習モデルに基づいて、場面の解析を行うことができる。
＜作用・効果＞
　以上説明したように、第１実施形態に係る画像解析装置１００は、時系列画像取得部１０、骨格点情報取得部２０、属性情報取得部３０、属性付き骨格点情報生成部４０、行動解析部５０、および場面解析出力部６０を備えて構成されている。
　第１実施形態に係る画像解析装置１００は、行動解析部５０が、複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する。場面解析出力部６０は、時系列画像における場面の解析結果を出力する。
　これにより、第１実施形態に係る画像解析装置１００は、行動解析部５０が複数の行動解析結果を複合的に解析することにより、グループ間の相互作用を利用することができる。よって、画像解析装置１００は、グループ間の相互作用を利用することで、精度の高い場面認識を行うことができる。
　また、第１実施形態に係る画像解析装置１００は、場面解析出力部６０により、異なる属性間の関係性と、複数の属性付き骨格点情報の行動解析結果とに基づいて、場面の解析結果を出力してもよい。
　第１実施形態に係る画像解析装置１００は、属性情報取得部３０により異なる属性間の関係性を取得することができるので、場面解析出力部６０は、複数の属性付き骨格点情報の行動解析結果にグループ間の相互作用を利用できる。
　例えば、属性情報取得部３０が先生と生徒という異なる属性間の関係性を取得した場合に、場面解析出力部６０は、先生が立っており、生徒が座っている状態において、通常の授業中を示す正常な状態である、と解析して出力することができる。
　このように、第１実施形態に係る画像解析装置１００は、より複雑な場面認識を行うことができる。
　また、第２実施形態に係る画像解析装置１００は、場面解析出力部６０において相互作用検出部６１を備えている。相互作用検出部６１は、相互作用を検出する。これにより、場面解析出力部６０は、場面の解析結果を出力する際に、複数の属性付き骨格点情報の相互作用を解析することができる。
　例えば、相互作用検出部６１は、店員のタイムセールによる客寄せ行動に対し、客の行動変容を検出する。これにより、場面解析出力部６０は、時系列画像における情報を利用し、タイムセールによる客寄せ行動に効果があるかどうかを、行動変容から判断することができる。
　また、第３実施形態に係る画像解析装置１００は、第２実施形態の場面解析出力部６０が、相互作用の解析として、第１の人物に係る第１の属性情報を持つ第１属性付き骨格点情報が、第１の人物と異なる第２の人物に係る第２の属性情報を持つ第２の属性付き骨格点情報に対して作用した結果の第２の属性付き骨格点情報の行動解析結果に基づいて、場面の解析結果を出力する。
　例えば、学校の場合、場面解析出力部６０の相互作用検出部６１は、先生が板書している状態でありながら、手が動いていない生徒について場面を解析する。場面解析出力部６０は、生徒Ｂと生徒Ｃが退屈な状態に該当し、３名の生徒のうち生徒Ａを除いた比率（１－１名（生徒Ａ）／３名（生徒Ａ～Ｃ））により、退屈な授業度として出力できる。
　また、例えば、ダンスレッスンの場合、場面解析出力部６０の相互作用検出部６１は、先生の例示に対し、各生徒Ａ～Ｄが踊るタイミングのズレを解析する。場面解析出力部６０は、４名の生徒Ａ～Ｄのうち、適切なタイミングでダンスを踊る生徒の比率（３名（生徒Ａ～Ｃ）／４名（生徒Ａ～Ｄ））により、生徒の理解度として出力することができる。
　また、例えば、警察の場合、場面解析出力部６０の相互作用検出部６１は、警察官による誘導指示に対し、群衆Ｅの避難行動を検出する。場面解析出力部６０は、全体を１とした総群衆のうち、避難行動した群衆Ｅの属性を除いた比率（１－群衆Ｅ／総群衆数）を、パニック度として出力することができる。
　また、第４実施形態に係る画像解析装置１００は、画像解析装置１０２は、時系列画像取得部１０、骨格点情報取得部２０、属性情報取得部３０、属性付き骨格点情報生成部４０、および場面解析出力部６２を備えて構成されている。
　属性付き骨格点情報生成部４０は、骨格推定テーブルと、属性情報取得テーブルとから、同一人物の骨格点情報や属性情報を統合する。第４実施形態では、行動解析部５０の代わりに骨格検出を用いた行動認識技術（行動解析とＡＩ）を用いることで、場面解析出力部６２は、複数の属性付き骨格点情報を基に、時系列画像における場面の解析結果を出力する。
　このように、第４実施形態に係る画像解析装置１００は、場面解析出力部６２において場面の解析を行うことができる。
（変形例）
　本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｆ）のようなものがある。
（ａ）　異なる属性間の属性情報は、人物の役割に基づくものであってもよい。例えば、異なる属性には、先生の属性と生徒の属性とが該当する。
（ｂ）　属性付き骨格点情報生成部４０は、複数の属性付き骨格点情報に関して同じ属性が付与された属性付き骨格点情報のグループを形成してもよい。これにより、第１実施形態から第４実施形態に係る画像解析装置１００～１０２は、グループ間の相互作用を利用することができ、より複雑な場面認識を行うことができる。
（ｃ）　場面解析出力部６０，６２は、場面の解析結果に応じて、アラートを出力してもよい。これにより、第１実施形態から第４実施形態に係る画像解析装置１００～１０２は、例えば、監視カメラ、人流システム、工場でのＤＸ（Digital Transformation：デジタルトランスフォーメーション）などに適用することができる。
（ｄ）　行動解析部５０は、複数の行動解析結果を解析した際の時系列画像を、記憶部１２０に記憶してもよい。また、行動解析部５０は、複合的に解析する処理が終了するまで時系列画像をバッファで保存して、当該処理が終了すると当該時系列画像を削除してもよい。これにより、記憶部１２０は、必要な記憶容量を、適宜、確保することができる。
（ｅ）　属性情報取得部３０は、骨格点情報取得部による時系列画像からの骨格点情報の取得と同時に、時系列画像から属性情報を取得してもよい。これにより、リアルタイム性を向上させることができる。また、属性情報取得部３０は、属性情報を時系列画像から取得することに限定されず、例えば、個々の骨格情報に対してユーザがそれぞれ入力してもよく、また、他のデータベースなどから属性情報を取得してもよい。
（ｆ）　第１実施形態から第４実施形態に係る画像解析装置１００～１０２は、例えば、音声を行動解析に紐づけて、行動解析結果を音声とともに複合的に解析してもよい。これにより、場面認識の精度を向上させることができる。
　１０　時系列画像取得部
　２０　骨格点情報取得部
　３０　属性情報取得部
　４０　属性付き骨格点情報生成部
　５０　行動解析部
　６０，６２　場面解析出力部
　６１　相互作用検出部
　１００　画像解析装置
　１１０　ＣＰＵ
　１２０　記憶部
　１２１　画像解析プログラム
　１３０　ＲＯＭ
　１４０　ＲＡＭ
　１５０　入力部
　１６０　表示部
　１７０　通信部
　２００　カメラ
　３００　画像解析システム

Claims (15)

  1. 　複数の人物が撮像された時系列画像を取得する時系列画像取得部と、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する骨格点情報取得部と、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する属性情報取得部と、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する属性付き骨格点情報生成部と、
    　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する行動解析部と、
    　前記時系列画像における場面の解析結果を出力する場面解析出力部と、
    　を備える画像解析装置。
  2. 　前記場面解析出力部は、
    　異なる属性間の関係性と、前記複数の属性付き骨格点情報の行動解析結果とに基づいて、前記場面の解析結果を出力する、
    　請求項１に記載の画像解析装置。
  3. 　前記場面解析出力部は、
    　前記場面の解析結果を出力する際に、前記複数の属性付き骨格点情報の相互作用を解析する、
    　請求項１に記載の画像解析装置。
  4. 　前記相互作用の解析とは、
    　第１の人物に係る第１の属性情報を持つ第１属性付き骨格点情報が、前記第１の人物と異なる第２の人物に係る第２の属性情報を持つ第２の属性付き骨格点情報に対して作用した結果の前記第２の属性付き骨格点情報の行動解析結果に基づいて、前記場面の解析結果を出力することである、
    　請求項３に記載の画像解析装置。
  5. 　前記異なる属性間の属性情報は、前記人物の役割に基づくものである、
    　請求項２に記載の画像解析装置。
  6. 　前記属性付き骨格点情報生成部は、
    　前記複数の属性付き骨格点情報に関して同じ属性が付与された属性付き骨格点情報のグループを形成する、
    　請求項１に記載の画像解析装置。
  7. 　前記場面解析出力部は、
    　前記場面の解析結果に応じて、アラートを出力する、
    　請求項１に記載の画像解析装置。
  8. 　前記行動解析部は、
    　前記複数の行動解析結果を解析した際の前記時系列画像を記憶する、
    　請求項１に記載の画像解析装置。
  9. 　前記行動解析部は、
    　前記複合的に解析する処理が終了するまで前記時系列画像をバッファで保存して、当該処理が終了すると当該時系列画像を削除する、
    　請求項８に記載の画像解析装置。
  10. 　前記骨格点情報取得部による前記時系列画像からの前記骨格点情報の取得と同時に、前記属性情報取得部は、前記時系列画像から前記属性情報を取得する、
    　請求項１に記載の画像解析装置。
  11. 　複数の人物が撮像された時系列画像を取得する時系列画像取得部と、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する骨格点情報取得部と、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する属性情報取得部と、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する属性付き骨格点情報生成部と、
    　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力する場面解析出力部と、
    　を備える画像解析装置。
  12. 　複数の人物が撮像された時系列画像を取得するステップと、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得するステップと、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得するステップと、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成するステップと、
    　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析するステップと、
    　前記時系列画像における場面の解析結果を出力するステップと、
    　を実行する画像解析方法。
  13. 　複数の人物が撮像された時系列画像を取得するステップと、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得するステップと、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得するステップと、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成するステップと、
    　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力するステップと、
    　を実行する画像解析方法。
  14. 　複数の人物が撮像された時系列画像を取得する手順、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する手順、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する手順、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する手順、
    　前記複数の属性付き骨格点情報のそれぞれを行動解析して、複数の行動解析結果を複合的に解析する手順、
    　前記時系列画像における場面の解析結果を出力する手順、
    　をコンピュータに実行させるための画像解析プログラム。
  15. 　複数の人物が撮像された時系列画像を取得する手順、
    　前記時系列画像の各フレーム画像から前記複数の人物それぞれの複数の骨格点情報を取得する手順、
    　前記複数の骨格点情報のそれぞれに対応する複数の属性情報を取得する手順、
    　前記骨格点情報と前記属性情報とを関連づけて、複数の属性付き骨格点情報を生成する手順、
    　前記複数の属性付き骨格点情報を基に、前記時系列画像における場面の解析結果を出力する手順、
    　をコンピュータに実行させるための画像解析プログラム。
PCT/JP2024/009265 2023-06-16 2024-03-11 画像解析装置、画像解析方法、および画像解析プログラム Ceased WO2024257422A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024539948A JP7563662B1 (ja) 2023-06-16 2024-03-11 画像解析装置、画像解析方法、および画像解析プログラム
JP2024166818A JP2024180408A (ja) 2023-06-16 2024-09-26 画像解析装置、画像解析方法、および画像解析プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-099028 2023-06-16
JP2023099028 2023-06-16

Publications (1)

Publication Number Publication Date
WO2024257422A1 true WO2024257422A1 (ja) 2024-12-19

Family

ID=93851767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009265 Ceased WO2024257422A1 (ja) 2023-06-16 2024-03-11 画像解析装置、画像解析方法、および画像解析プログラム

Country Status (1)

Country Link
WO (1) WO2024257422A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668366A (zh) * 2019-10-15 2021-04-16 华为技术有限公司 图像识别方法、装置、计算机可读存储介质及芯片
CN112906484A (zh) * 2021-01-25 2021-06-04 北京市商汤科技开发有限公司 一种视频帧处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668366A (zh) * 2019-10-15 2021-04-16 华为技术有限公司 图像识别方法、装置、计算机可读存储介质及芯片
CN112906484A (zh) * 2021-01-25 2021-06-04 北京市商汤科技开发有限公司 一种视频帧处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MORITA, TOMOYUKI ET AL. : "A Method for Mining Patterns from Multimodal Interaction Log", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 47, no. 1, 15 January 2006 (2006-01-15), JP , pages 121 - 130, XP009559388, ISSN: 1882-7764 *

Similar Documents

Publication Publication Date Title
Yun et al. Automatic recognition of children engagement from facial video using convolutional neural networks
Venture et al. Recognizing emotions conveyed by human gait
Chen et al. Fall detection system based on real-time pose estimation and SVM
Alhimale et al. The implementation of an intelligent and video-based fall detection system using a neural network
Avola et al. Deep temporal analysis for non-acted body affect recognition
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
CN114967937B (zh) 一种虚拟人运动生成方法与系统
Anwar Real time face expression recognition of children with autism
Bhargavas et al. Human identification using gait recognition
CN109977856B (zh) 一种多源视频中复杂行为识别的方法
CN111274854B (zh) 一种人体动作识别方法和视觉增强处理系统
Vernikos et al. A deep regression approach for human activity recognition under partial occlusion
Azad et al. Real-time human-computer interaction based on face and hand gesture recognition
Gutiérrez et al. Fall detection in low-illumination environments from far-infrared images using pose detection and dynamic descriptors
Zaffar et al. A Novel CNN-RNN Model for E-Cheating Detection Based on Video Surveillance
Kasturi et al. Human fall recognition using the spatiotemporal 3d cnn
Kareem et al. Using skeleton based optimized residual neural network architecture of deep learning for human fall detection
JP7563662B1 (ja) 画像解析装置、画像解析方法、および画像解析プログラム
CN113766297B (zh) 视频处理方法、播放终端及计算机可读存储介质
CN115546893A (zh) 一种啦啦操视频的评价可视化方法和系统
WO2024257422A1 (ja) 画像解析装置、画像解析方法、および画像解析プログラム
Mastorakis Human fall detection methodologies: from machine learning using acted data to fall modelling using myoskeletal simulation
Meng et al. Detection of abnormal gait from skeleton data
Mohd et al. An optimized low computational algorithm for human fall detection from depth images based on Support Vector Machine classification

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2024539948

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823045

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE