WO2021131159A1 - 計測装置及び計測方法 - Google Patents

計測装置及び計測方法 Download PDF

Info

Publication number
WO2021131159A1
WO2021131159A1 PCT/JP2020/032451 JP2020032451W WO2021131159A1 WO 2021131159 A1 WO2021131159 A1 WO 2021131159A1 JP 2020032451 W JP2020032451 W JP 2020032451W WO 2021131159 A1 WO2021131159 A1 WO 2021131159A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
space
constraint
measuring device
person
Prior art date
Application number
PCT/JP2020/032451
Other languages
English (en)
French (fr)
Inventor
弘充 中川
田中　毅
大輔 福井
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to EP20905149.9A priority Critical patent/EP4083568A4/en
Priority to CN202080056914.3A priority patent/CN114222529B/zh
Priority to US17/642,903 priority patent/US20220366560A1/en
Publication of WO2021131159A1 publication Critical patent/WO2021131159A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Definitions

  • the present invention relates to data measurement.
  • preventive medical services are one of the fields with high expectations in anticipation of aging medical care.
  • Preventive medicine is not the idea of treating after getting sick, but the idea of clarifying possible future health risks for everyone, and continuously maintaining and increasing health so as not to get sick. is there.
  • measurement data acquired in large quantities in daily life often contains noise, which makes it difficult to select an analysis target.
  • measurement data acquired in large quantities in daily life often contains noise, which makes it difficult to select an analysis target.
  • Patent Document 1 it is disclosed that the waist portion where the movement during walking is small is measured in order to obtain data with less noise. As a result, the generation of measurement noise can be reduced.
  • Patent Document 2 it is disclosed that a case where a sudden change occurs such as a phenomenon in which a tracking point flies occurs is removed as noise. Thereby, the measurement noise can be removed.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2017-20236
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2016-179171
  • Patent Document 1 can reduce the noise of measurement error, but has a problem that the analysis site is limited.
  • Patent Document 2 has a problem that it is effective for removing noise of measurement error but not so effective for reflection noise.
  • the present invention is a measuring device including a processor and a storage unit, and the storage unit includes time-by-time measurement data acquired by the photographing device. Retaining the spatiotemporal constraint, the processor extracts the position of the object from the measurement data for each time, determines whether the object satisfies the spatiotemporal constraint, and the object is the spatiotemporal constraint. It is characterized in that it is determined whether or not the object is an analysis target based on the result of determining whether or not the constraint is satisfied.
  • the physical configuration of the entire system according to the first embodiment is shown.
  • the logical configuration of the entire system according to the first embodiment is shown.
  • the configuration of the table stored in the measurement DB according to the first embodiment is shown.
  • the configuration of the table stored in the determination DB according to the first embodiment is shown.
  • the configuration of the table stored in the analysis DB according to the first embodiment is shown. It is a flowchart which shows the processing of the depth recording part which concerns on Example 1.
  • FIG. It is a flowchart which shows the process of the time determination part which concerns on Example 1.
  • FIG. is a flowchart which shows the process of the space determination part which concerns on Example 1.
  • FIG. 1 It is a flowchart which shows the process of the analysis target extraction part which concerns on Example 1.
  • FIG. The logical configuration of the entire system according to the second embodiment is shown.
  • the configuration of the table stored in the determination DB according to the second embodiment is shown.
  • FIG. It is a flowchart which shows the process of the space-time determination part which concerns on Example 2.
  • FIG. It is a flowchart which shows the process of the analysis target extraction part which concerns on Example 2.
  • FIG. It is a flowchart which shows the processing of the U / I control unit which concerns on Example 2.
  • FIG. The constraint setting screen displayed in the second embodiment is shown.
  • the "interface unit” is one or more interface devices.
  • One or more interfaces may be one or more interface devices of the same type (for example, one or more NIC (Network Interface Card)) or two or more different interface devices (for example, NIC and HBA (Host Bus Adapter)). There may be.
  • NIC Network Interface Card
  • HBA Home Bus Adapter
  • the "storage unit” is one or more memories. At least one memory may be a volatile memory or a non-volatile memory.
  • the storage unit may include one or more PDEVs in addition to one or more memories.
  • PDEV means a physical storage device, typically a non-volatile storage device (eg, an auxiliary storage device).
  • the PDEV may be, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the "processor unit” is one or more processors. At least one processor is typically a CPU (Central Processing Unit). The processor may include hardware circuits that perform some or all of the processing.
  • CPU Central Processing Unit
  • the function may be described by the expression of "kkk unit” (excluding the interface unit, the storage unit, and the processor unit), but the function is such that one or more computer programs are executed by the processor unit. It may be realized by one or more hardware circuits (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)).
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the program source may be, for example, a program distribution computer or a computer-readable recording medium (eg, a non-temporary recording medium).
  • the description of each function is an example, and a plurality of functions may be combined into one function, or one function may be divided into a plurality of functions.
  • the information may be explained by an expression such as "xxx table”, but the information may be expressed by any data structure. That is, the "xxx table” can be referred to as "xxx information” in order to show that the information does not depend on the data structure. Further, in the following description, the configuration of each table is an example, and one table may be divided into two or more tables, or all or a part of the two or more tables may be one table. Good.
  • time is expressed in units of year, month, day, hour, minute, and second, but the unit of time may be coarser or finer than that, or may be a different unit.
  • the "data set” means data (a logical mass of electronic data) composed of one or more data elements, and is, for example, any of a record, a file, a key value pair, and a taple. But it may be.
  • FIG. 1 shows the physical configuration of the entire system according to the first embodiment.
  • the system according to the first embodiment has an analysis device 100 and a measurement device 110 connected via a network 120.
  • the analysis device 100 is a device that analyzes data.
  • the analysis device 100 includes a network interface 104, a memory 102, a storage device 103, and a processor 101 connected to them.
  • the processor 101 executes various processes by controlling each part in the analysis device 100 as needed according to the program stored in the memory 102.
  • the memory 102 is, for example, a semiconductor memory such as a DRAM (Dynamic Random Access Memory), and is a program executed by the processor 101, data referred to in a process executed by the processor 101 according to the program, and a process executed by the processor 101. Stores the data generated as a result.
  • DRAM Dynamic Random Access Memory
  • the storage device 103 is, for example, a storage device such as an HDD or an SSD, and stores various data used in the processing executed by the processor 101.
  • the above programs and data may be stored in the storage device 103, and at least a part of them may be copied to the memory 102 as needed, or the updated data on the memory 102 may be stored in the storage device as needed. It may be copied to 103.
  • the network interface 104 is connected to the network 120 and communicates with the measuring device 110 via the network 120.
  • the measuring device 110 is a device that measures data.
  • the measuring device 110 includes a network interface 114, a memory 112, a storage device 113, an input device 115, an output device 116, a photographing device 117, and a processor 111 connected to them.
  • the processor 111 executes various processes by controlling each part in the measuring device 110 as needed according to the program stored in the memory 112.
  • the memory 112 is, for example, a semiconductor memory such as a DRAM, and is a program executed by the processor 111, data referred to in a process executed by the processor 111 according to the program, and data generated as a result of the process executed by the processor 111. Etc. are stored.
  • the storage device 113 is, for example, a storage device such as an HDD or an SSD, and stores various data used in the processing executed by the processor 111.
  • the above programs and data may be stored in the storage device 113, and at least a part of them may be copied to the memory 102 as needed, or the updated data on the memory 112 may be stored in the storage device as needed. It may be copied to 113.
  • the network interface 114 is connected to the network 120 and communicates with the analysis device 100 via the network 120.
  • the input device 115 is a device that receives information input from the user of the measuring device 110, and may include at least one of, for example, a keyboard, a mouse, and a touch panel.
  • the output device 116 is a device that outputs information to the user of the measuring device 110, and may include at least one of, for example, an image display device and a printer.
  • the photographing device 117 may be any device as long as it is a device that photographs the measurement target and acquires the image.
  • the photographing device 117 may be a normal RGB camera or an infrared camera that captures a two-dimensional image, or a depth camera or the like that can acquire depth information for each pixel in addition to the two-dimensional image.
  • FIG. 2 shows the logical configuration of the entire system according to the first embodiment.
  • the measuring device 110 has a measuring unit 210, a determination unit 220, a measurement DB (database) 230, and a determination DB 240.
  • the measuring unit 210 includes a depth recording unit 211 and a skeletal coordinate estimation unit 212.
  • the determination unit 220 includes a time determination unit 221, a space determination unit 222, and an analysis target extraction unit 223. Both the measurement unit 210 and the determination unit 220 are functional blocks in which the processor 111 of the measurement device 110 executes a program stored in the memory 112. That is, in the following description, the process executed by the measurement unit 210 or the determination unit 220 is actually executed by the processor 111 according to the program stored in the memory 112.
  • the measurement DB 230 and the determination DB 240 are stored in the storage device 113 of the measurement device 110.
  • the measurement DB 230 includes a depth table 231 and a skeleton coordinate table 232. Details of these will be described later with reference to FIG.
  • the determination DB 240 includes a time constraint table 241, a space constraint table 242, and a determination result table 243. Details of these will be described later with reference to FIG.
  • the analysis device 100 has an analysis DB 250. This is stored in the storage device 103 of the analysis device 100.
  • the analysis DB 250 includes the analysis target table 251. Details of the analysis target table 251 will be described later with reference to FIG.
  • the depth recording unit 211 of the measurement unit 210 extracts depth information from the video data captured by the photographing device 117 and records it in the depth table 231.
  • the photographing device 117 is a depth camera. Details of the processing of the depth recording unit 211 will be described later with reference to FIG.
  • the skeleton coordinate estimation unit 212 of the measurement unit 210 estimates the skeleton coordinates of each photographed person with reference to the depth table 231 and records the result in the skeleton coordinate table 232. Details of the processing of the skeleton coordinate estimation unit 212 will be described later with reference to FIG.
  • the time determination unit 221 of the determination unit 220 calculates the time corresponding rate for each photographed person with reference to the skeleton coordinate table 232 and the time constraint table 241 and records the result in the determination result table 243. Details of the processing of the time determination unit 221 will be described later with reference to FIG.
  • the space determination unit 222 of the determination unit 220 refers to the skeleton coordinate table 232 and the space constraint table 242, calculates the spatial applicability rate for each photographed person, and records the result in the determination result table 243. Details of the processing of the space determination unit 222 will be described later with reference to FIG.
  • the analysis target extraction unit 223 of the determination unit 220 refers to the skeleton coordinate table 232 and the determination result table 243, extracts skeleton coordinate data related to the person to be analyzed, and transmits it to the analysis device 100.
  • the analysis device 100 records the data received from the analysis target extraction unit 223 in the analysis target table 251. Details of the processing of the analysis target extraction unit 223 will be described later with reference to FIG.
  • a person to be analyzed makes a predetermined movement (for example, walking), the state is photographed by a photographing device 117 (for example, a depth camera), and the motor function of the person is analyzed from the measurement data obtained thereby.
  • a photographing device 117 for example, a depth camera
  • the motor function of the person is analyzed from the measurement data obtained thereby.
  • it is not always the case that only the person to be analyzed is in the photographing range of the photographing apparatus 117.
  • a staff member who takes a picture, an assistant of a person to be analyzed, a passerby who has nothing to do with the picture, etc. may be taken together with the person to be analyzed.
  • the measurement unit 210 extracts the skeleton coordinates of each time for each person from the measurement data.
  • the determination unit 220 determines whether the person is the analysis target from the skeleton coordinates at each time for each person, and outputs the skeleton coordinates of the person determined to be the analysis target to the analysis device 100. Since the analysis process performed by the analysis device 100 may be any, the description thereof will be omitted in this embodiment.
  • FIG. 3 shows the configuration of the table stored in the measurement DB 230 according to the first embodiment.
  • the depth table 231 and the skeleton coordinate table 232 are stored in the measurement DB 230.
  • the depth table 231 includes a plurality of records, each of which corresponds to one frame of video, as shown in FIG. 3, for example.
  • Each record consists of a measurement time 231-1 and depth information for each pixel (for example, the depth 231-2 of the pixel 1, the depth 231-3 of the pixel 2, the depth 231-4 of the pixel 3, and the like).
  • the measurement time 231-1 is the shooting time of each frame.
  • the depth information such as depths 231-2 to 4 indicates the depth of each pixel in each frame, that is, the distance from the photographing device 117 to the photographing target corresponding to each pixel. Although omitted in FIG. 3, the depth information of all the pixels of each frame is actually recorded in the depth table 231.
  • the skeleton coordinate table 232 includes a plurality of records, for example, as shown in FIG. 3, and each record contains information on the skeleton coordinates of one person included in one frame of the video. Specifically, each record consists of measurement time 232-1, person 234-2, and skeletal coordinate information for each person (for example, coordinates 232-3 of joint 1 of a person and coordinates 232-4 of joint 2). ..
  • the measurement time 232-1 is the shooting time of each frame.
  • Person 232-2 is identification information of each person included in each frame.
  • the coordinates 232-3 of the joint 1 and the coordinates 232-4 of the joint 2 are coordinate values of the positions of the joints of each person (for example, three-dimensional coordinate values indicating the positions in the space to be photographed). Although omitted in FIG. 3, the coordinate values of all the joints extracted from each person are actually recorded in the skeletal coordinate table 232.
  • FIG. 4 shows the configuration of the table stored in the determination DB 240 according to the first embodiment.
  • the determination DB 240 stores a time constraint table 241, a space constraint table 242, and a determination result table 243.
  • time constraint table 241 Information indicating the time constraint for selecting the analysis target is recorded in the time constraint table 241.
  • the time constraint table 241 is composed of 241-1 at the start, 241-2 at the end, and 241-3 at the time rate, for example, as shown in FIG.
  • the start time 241-1 and the end time 241-2 are information for designating the start point and the end point of the time zone as a reference for determining whether or not the person included in the video is the analysis target, and the time rate 241-3. Is information indicating the threshold value of the ratio of records included in the time zone (that is, the time corresponding rate). Details of the determination with reference to these will be described later with reference to FIG.
  • the space constraint table 242 includes, for example, a vertical range 242-1, a horizontal range 242-2, and a porosity 242-3, as shown in FIG.
  • the vertical range 242-1 and the horizontal range 242-2 are information that specifies the range of the space that serves as a reference for determining whether or not the person included in the video is the analysis target, and the porosity 242-3 is the information. This is information indicating the threshold value of the ratio of records included in the range (that is, the porosity). Details of the determination with reference to these will be described later with reference to FIG.
  • the determination result table 243 records the results of calculations performed with reference to the skeleton coordinate table 232, the time constraint table 241 and the spatial constraint table 242 in order to determine whether or not the person included in the video is the analysis target.
  • the determination result table 243 includes, for example, a person 243-1, a time matching rate 243-2, and a space matching rate 243-3, as shown in FIG.
  • Person 243-1 is identification information of each person included in the video, and corresponds to person 234-2 in the skeleton coordinate table 232.
  • the time hit rate 243-2 and the space hit rate 243-3 the time hit rate and the space hit rate calculated for each person are recorded, respectively. Details of these calculations will be described later with reference to FIG.
  • the predetermined action to be performed by the person to be analyzed is “walking”. Specifically, according to the signal issued by the photographer, the person to be analyzed walks a predetermined walking course, the photographing device 117 photographs the state, and the photographing is stopped when the walking in the walking course is completed. An example will be described.
  • the person to be analyzed since the person to be analyzed starts walking according to the signal and stops shooting when the walking is completed, most of the data related to the person to be analyzed among the photographed data has a time of 5 to 15 seconds. It is assumed that it is included in the range of. On the other hand, if the captured data contains data about a person not to be analyzed, it is assumed that the person is moving independently of the signal or is only temporarily reflected in the shooting range. , It is assumed that the rate at which the data of such a person is included in the above time range (that is, the time hit rate) is low.
  • the time rate 241-3 is a threshold value for discriminating the person to be analyzed based on the time corresponding rate, and an appropriate value (“80%” in the example of FIG. 4) is set for the discrimination.
  • the coordinate values indicating the range of the walking course are set to the vertical range 242-1 and the horizontal range 242-2.
  • the coordinate value of one axis is set to the vertical range 242-1 and the coordinate value of the axis orthogonal to it is set to the horizontal range 242. It may be set as -2.
  • such a method of specifying the range of space is an example, and the range of space may be specified by another method.
  • the person to be analyzed since the person to be analyzed tries to walk on the walking course, it is assumed that most of the positions of the data related to the person to be analyzed among the captured data are included in the above space. To. On the other hand, if the captured data contains data about a person not to be analyzed, that person is assumed to be walking a little off the walking course if it is a staff member or a caregiver, and is irrelevant. Since it is assumed that walking in the walking course is temporary for a passerby, the rate at which the position indicated by the data of such a person is included in the above space range (that is, the space hit rate). Is expected to be low.
  • the porosity 242-3 is a threshold value for discriminating the person to be analyzed based on the porosity, and an appropriate value (“90%” in the example of FIG. 4) is set for the discrimination.
  • the information recorded in the time constraint table 241 and the information recorded in the space constraint table 242 are examples of spatiotemporal constraints.
  • spatiotemporal constraints are set independently for each of time and space, but they may be set in association with each other. The latter example will be described later in Example 2.
  • FIG. 5 shows the configuration of the table stored in the analysis DB 250 according to the first embodiment.
  • the analysis target table 251 is stored in the analysis DB 250.
  • the records related to the person determined to be the analysis target are recorded in the analysis target table 251.
  • each record in the analysis target table 251 is composed of a measurement time 251-1, a person 251-2, coordinates 251-3 of joint 1, coordinates 251-4 of joint 2, and the like. These correspond to the measurement time 232-1 of the skeletal coordinate table 232, the person 232-2, the coordinates 232-3 of the joint 1, the coordinates 232-4 of the joint 2, and the like, respectively.
  • the analysis target table 251 contains only records related to the person determined to be the analysis target (person “P2” in the example of FIG. 5).
  • FIG. 6 is a flowchart showing the processing of the depth recording unit 211 according to the first embodiment.
  • the depth recording unit 211 acquires the data captured by the photographing device 117 and starts the depth recording, the following steps S601 to S603 are repeatedly executed until the photographing is stopped.
  • the depth recording unit 211 acquires the depth data set from the photographing device 117 (S601). Next, the depth recording unit 211 adds a record to the depth table 231 and records the acquired depth data set (S602). As a result, a record including the measurement time of the acquired depth data set and the corresponding depth information of each pixel is added to the depth table 231. Next, the depth recording unit 211 calls the skeleton coordinate estimation unit 212 (S603). When the shooting is stopped, the processing of the depth recording unit 211 ends.
  • FIG. 7 is a flowchart showing the processing of the skeleton coordinate estimation unit 212 according to the first embodiment.
  • the skeleton coordinate estimation unit 212 acquires records for the shooting time from the depth table 231 (S701). Next, the skeleton coordinate estimation unit 212 recognizes the skeleton coordinates for each person from the acquired record (S702). At this time, since the skeleton coordinate estimation unit 212 can use a known depth recognition model, the description of the detailed recognition method will be omitted.
  • the skeleton coordinate estimation unit 212 adds a record including the coordinate values obtained as a result of the recognition of the skeleton coordinates to the skeleton coordinate table 232 (S703).
  • the skeleton coordinate estimation unit 212 calls the time determination unit 221 (S704) and ends the process.
  • FIGS. 6 and 7 are examples of processing when the photographing device 117 is a depth camera.
  • the photographing device 117 may be an ordinary RGB camera or the like that does not measure the depth.
  • the measurement unit 210 records the video information acquired from the photographing device 117 in the measurement DB 230.
  • the RGB value for each pixel and the like are recorded.
  • the skeleton coordinate estimation unit 212 estimates the skeleton coordinates using the image recognition model with reference to the RGB values of each frame. At this time, the skeleton coordinate estimation unit 212 can use any recognition model such as a known OpenPose.
  • FIG. 8 is a flowchart showing the processing of the time determination unit 221 according to the first embodiment.
  • the time determination unit 221 acquires the measurement time 321-1 of the first record of the depth table 231 as the shooting start time (S801). For example, when the depth table 231 is as shown in FIG. 3, the value of the measurement time 321-1 of the first record is acquired on June 30, 2019 at 15:00:00.
  • the time determination unit 221 acquires the number of seconds of the start time 241-1 and the end time 241-2 from the time constraint table 421 (S802). For example, when the time constraint table 421 is as shown in FIG. 4, 5 seconds and 15 seconds are acquired as the number of seconds at the start time 241-1 and the end time 241-2, respectively.
  • the time determination unit 221 executes the following steps S803 to S806 until all the records in the skeleton coordinate table 232 are acquired.
  • the time determination unit 221 acquires a record that has not yet been acquired from the skeleton coordinate table 232, refers to the person 234-2 of the record, and counts up the total number of records corresponding to the person (that is, +1). (S803).
  • the time determination unit 221 generates the difference between the measurement time 232-1 of the record and the shooting start time acquired in S801 as the elapsed time from the shooting start (S804).
  • the elapsed time of each record is generated when 15:00:00 on June 30, 2019 is set as time 0.
  • the time determination unit 221 sets the elapsed time calculated in step S804 within the range from the start time to the end time acquired in step S802 (5 seconds or more and 15 seconds or less in the above example) for the record. It is determined whether or not there is (S805).
  • step S805 When it is determined in step S805 that the elapsed time is within the range from the start time to the end time (S805: Yes), the time determination unit 221 counts up (that is, the number of time corresponding persons corresponding to the record). +1) (S806). On the other hand, if it is determined in step S805 that the elapsed time is out of the range from the start time to the end time (S805: No), the time determination unit 221 does not execute step S806 with respect to the record.
  • the time determination unit 221 calculates the ratio of the number of time hits to the total number of records as the time hit rate for each person (S807).
  • the time determination unit 221 records the time corresponding rate for each person in the record corresponding to the person in the determination result table 243 as the time applicable rate 243-2 (S808).
  • FIG. 9 is a flowchart showing the processing of the space determination unit 222 according to the first embodiment.
  • the space determination unit 222 acquires the coordinates of the vertical range 242-1 and the horizontal range 242-2 from the space constraint table 422 (S901). For example, when the space constraint table 422 is as shown in FIG. 4, (2, 5) and (-1, 1) are acquired as the coordinates of the vertical range 242-1 and the horizontal range 242-2, respectively.
  • the space determination unit 222 executes the following steps S902 to S905 until all the records in the skeleton coordinate table 232 are acquired.
  • the space determination unit 222 acquires a record that has not yet been acquired from the skeleton coordinate table 232, refers to the person 234-2 of the record, and counts up the total number of records corresponding to the person (that is, +1). (S902).
  • the space determination unit 222 acquires the vertical value and the horizontal value of each joint coordinate of the record (S903). Specifically, the space determination unit 222 has a value on the same coordinate axis as the coordinate axis of the vertical range 242-1 of the space constraint table 242 and a value on the same coordinate axis as the coordinate axis of the horizontal range 242-2 among the values of each joint coordinate. And get the value of.
  • the space determination unit 222 compares each joint coordinate acquired in step S903 with the vertical range and horizontal range acquired in step S901, and the vertical value of each joint coordinate is included in the vertical range, and each is included. It is determined whether the horizontal value of the joint coordinates is included in the horizontal range (S904).
  • one record of the skeletal coordinate table 232 contains a plurality of joint coordinates of one person.
  • the space determination unit 222 may determine whether all of the above-mentioned plurality of joint coordinates are included in the vertical range and the horizontal range, and a predetermined ratio or a predetermined number of joint coordinates are included in the vertical range and the horizontal range. It may be determined whether or not the joints of one or more predetermined parts are included in the vertical range and the horizontal range.
  • the vertical value and the horizontal value of the coordinates are compared with the vertical range 242-1 and the horizontal range 242-2 of the space constraint table 422, respectively, because the position of the acquired person is a predetermined space. It is an example of a method of determining whether or not it is included in the range of, and the determination may be performed by a method other than the above.
  • step S904 When it is determined in step S904 that the joint coordinate values are included in the vertical range and the horizontal range (S904: Yes), the space determination unit 222 counts up (that is, +1) the number of people corresponding to the space corresponding to the record. (S905). On the other hand, if it is determined in step S904 that the joint coordinate values are not included in the vertical range and the horizontal range (S904: No), the space determination unit 222 does not execute step S905 with respect to the record.
  • steps S902 to S905 When the processing of steps S902 to S905 is completed for all the records in the skeleton coordinate table 232, the total number of records for each person in the skeleton coordinate table 232 is counted, and the joint coordinate values are set in the vertical range and the horizontal range for each person. This means that the number of records included in the range is counted as the number of spaces.
  • the space determination unit 222 calculates the ratio of the number of spatially applicable records to the total number of records as the spatially applicable ratio for each person (S906).
  • the space determination unit 222 records the space applicability rate for each person as the space applicability rate 243-3 of the record corresponding to the person in the determination result table 243 (S907).
  • FIG. 10 is a flowchart showing the processing of the analysis target extraction unit 223 according to the first embodiment.
  • the analysis target extraction unit 223 acquires the time rate 241-3 of the time constraint table 241 (S1001). Next, the analysis target extraction unit 223 acquires the porosity 242-3 of the space constraint table 242 (S1002).
  • the analysis target extraction unit 223 executes the following steps S1003 to S1005 until all the records in the determination result table 243 are acquired.
  • the analysis target extraction unit 223 acquires a record that has not yet been acquired from the determination result table 243, and determines whether the time corresponding rate 243-2 of the record is the time rate 241-3 or more (S1003). ..
  • step S1003 when it is determined that the time hit rate 243-2 of the record is the time rate 241-3 or more (S1003: Yes), the analysis target extraction unit 223 determines that the spatial hit rate 243-3 of the record is It is determined whether the porosity is 242-3 or more (S1004).
  • the analysis target extraction unit 223 is the person corresponding to the record (that is, the record). The person identified by the value of 243-1) (S1005).
  • step S1003 when it is determined that the time hit rate 243-2 of the record is not equal to or higher than the time rate 241-3 (S1003: No), the analysis target extraction unit 223 executes steps S1004 and S1005 for the record. do not. Further, in step S1004, when it is determined that the spatial hit ratio 243-3 of the record is not equal to or higher than the spatial ratio 242-3 (S1004: No), the analysis target extraction unit 223 does not execute S1005 for the record.
  • the analysis target extraction unit 223 records the record in which the identification information of the person held in step S1005 is recorded as the person 232-2 in the skeleton coordinate table. It is extracted from 232 (S1006) and stored in the analysis target table 251 (S1007).
  • the analysis target table 251 is transmitted to the analysis device 100 and stored in the analysis DB 250.
  • the analysis target extraction unit 223 deletes the record for which the above processing has been completed from the depth table 231 and the skeleton coordinate table 232 and the determination result table 243 (S1008). This completes the process of the analysis target extraction unit 223.
  • steps S1003 to S1005 a person whose time hit rate is determined to be equal to or higher than the time rate and whose spatial hit rate is determined to be equal to or higher than the porosity is retained as an analysis target.
  • a determination is an example, and a determination other than the above may be made.
  • one of the determination results may be emphasized by giving different weights to the determination of the time corresponding rate and the determination of the spatial corresponding rate. As a result, it is possible to appropriately extract the analysis target by giving flexible determination conditions according to the situation.
  • Example 2 of the present invention will be described. Except for the differences described below, each part of the system of the second embodiment has the same function as each part of the same reference numeral of the first embodiment, and thus the description thereof will be omitted.
  • FIG. 11 shows the logical configuration of the entire system according to the second embodiment.
  • the measuring device 110 of the second embodiment is described in the first embodiment except that the determination unit 220 is replaced by the determination unit 1120, the determination DB 240 is replaced by the determination DB 1130, and the U / I (user interface) control unit 1140 is provided. It is the same as the measuring device 110 of.
  • the determination DB 1130 is stored in the storage device 113 of the measuring device 110, and includes the pitch table 1131, the spatiotemporal constraint table 1132, and the determination result table 1133. Details of these will be described later with reference to FIG.
  • the determination unit 1120 is a functional block in which the processor 111 of the measuring device 110 executes a program stored in the memory 112, similarly to the determination unit 220 of the first embodiment.
  • the determination unit 1120 includes a pitch extraction unit 1121, a spatiotemporal determination unit 1122, and an analysis target extraction unit 1123.
  • the pitch extraction unit 1121 refers to the skeleton coordinate table 232, extracts periodic movements, specifies the start time and end time, and records them in the pitch table 1131. Details of the processing of the pitch extraction unit 1121 will be described later with reference to FIG.
  • the spatiotemporal determination unit 1122 refers to the skeleton coordinate table 232 and the spatiotemporal constraint table 1132, calculates the spatiotemporal applicability rate for each photographed person, and records the result in the determination result table 1133. Details of the processing of the space-time determination unit 1122 will be described later with reference to FIG.
  • the analysis target extraction unit 1123 extracts the skeleton coordinate data regarding the person to be analyzed by referring to the skeleton coordinate table 232 and the determination result table 1133, and transmits it to the analysis device 100.
  • the analysis device 100 records the data received from the analysis target extraction unit 1123 in the analysis target table 251. Details of the processing of the analysis target extraction unit 1123 will be described later with reference to FIG.
  • the U / I control unit 1140 controls the display of the user interface screen and the reception of information input from the user via the input device 115 and the output device 116. Details of the processing of the U / I control unit 1140 and the provided user interface will be described later with reference to FIGS. 16 and 17.
  • FIG. 12 shows the configuration of the table stored in the determination DB 1130 according to the second embodiment.
  • the determination DB 1130 stores the pitch table 1131, the spatiotemporal constraint table 1132, and the determination result table 1133.
  • the pitch table 1131 includes a person 1131-1, a pitch 1131-2, a start time 1131-3, and an end time 1131-4.
  • Person 1131-1 is identification information of each person included in the video, and corresponds to person 232-2 in the skeleton coordinate table 232.
  • the pitch 1131-2 is information indicating the order of the cycles of the extracted periodic movements.
  • the start time 1131-3 and the end time 1131-4 are information indicating the start point and the end point of each cycle.
  • periodic movements for example, walking
  • the first cycle that is, the first pitch
  • the next cycle that is, the second pitch
  • one pitch corresponds to one cycle, which is a unit of repetition, such as a cycle from when a person touches the left foot to the next touching on the left foot in the case of walking.
  • the space-time constraint table 1132 corresponds to the type 11321, the selection 1132-2, the pitch 1132-3, the vertical range 1132-4, the horizontal range 1132-5, and the space-time. It consists of a rate of 1132-6.
  • Type 1132-1 indicates the type of movement.
  • types of movement include natural walking, knee bent walking (that is, walking with the knees bent and the center of gravity lowered), or car phrase walking (that is, walking with the tip of a toe).
  • Selection 1132-2 indicates whether or not each movement type has been selected as the extraction target. For example, the fact that "True” is selected indicates that "False” is not selected. In the example of FIG. 12, natural walking is selected, and knee bent walking is not selected.
  • Pitch 1132-3 is information that specifies each part when the period in which the extracted periodic movement is performed is divided into a plurality of parts.
  • the vertical range 1132-4 and the horizontal range 1132-5 are information that specifies the range of the space that serves as a reference for determining whether or not the person included in the video is the analysis target, and the extracted periodic movements. Is specified for each part of the period during which was performed.
  • the spatiotemporal applicability rate 1132-6 is information indicating the threshold value of the ratio of records (that is, the spatiotemporal applicability rate) included in the range specified by the vertical range 1132-4 and the horizontal range 1132-5.
  • the period during which the movement was performed is 0% to 50% (that is, the first half) and 50% to 100%. It is divided into (that is, the latter half) part.
  • (2,5) and (-2,0) are set as the vertical range 1132-4 and the horizontal range 1132-5 corresponding to the first half, respectively, and "90%" is set as the spatiotemporal hit ratio 1132-6.
  • (2,5) and (0,2) are set as the vertical range 1132-4 and the horizontal range 1132-5 corresponding to the latter half, respectively, and "80%” is set as the spatiotemporal hit ratio 1132-6.
  • a person to be analyzed is asked to start walking from a certain start point to a turning point, then turn back at the turning point and walk to a goal point adjacent to the starting point, and take a picture of the situation.
  • the period during which the periodic movement corresponds to the period during which the person to be analyzed walks from the start point to the goal point.
  • the first half corresponds to the starting point to the turning point, and the second half corresponds to the turning point to the goal point.
  • 1 pitch corresponds to 2 steps.
  • the period for the first 2 pitches that is, 4 steps
  • the period for the first 2 pitches that is, 4 steps
  • the latter 2 pitches that is, 4
  • the period of steps is specified as the period from the turning point to the goal point.
  • the vertical range 1132-4 and the horizontal range 1132-5 should be set accordingly. Can be done.
  • different spatiotemporal hit rates 1132-6 can be set in the first half and the second half accordingly. ..
  • the above is an example. For example, when a person walks on a straight line from a start point to a goal point only once, it is not necessary to divide based on the pitch as described above, and the first pitch to the last.
  • the period up to the pitch can be extracted as the period during which the periodic movement is performed. Further, for example, when a person walks around the contour of a rectangular area once, or when a person walks two or more round trips in a certain section, the division into more than two parts may be performed.
  • the determination result table 1133 records the results of calculations performed with reference to the skeleton coordinate table 232, the pitch table 1131, and the spatiotemporal constraint table 1132 in order to determine whether or not the person included in the video is the analysis target.
  • the determination result table 1133 includes, for example, as shown in FIG. 12, a person 1133-1, a pitch 1133-2, and a spatiotemporal hit rate 1133-3.
  • the person 1133-1 is the identification information of each person included in the video, and corresponds to the person 234-2 in the skeleton coordinate table 232.
  • the pitch 1133-2 is information that specifies the portion of the period during which the extracted periodic movements are performed, and corresponds to the pitch 1132-3 of the spatiotemporal constraint table 1132.
  • the spatiotemporal applicability rate calculated for each person is recorded in the spatiotemporal applicability rate 1133-3. Details of these calculations will be described later with reference to FIG.
  • FIG. 13 is a flowchart showing the processing of the pitch extraction unit 1121 according to the second embodiment.
  • the pitch extraction unit 1121 acquires the record of the skeleton coordinate table 232 (S1301).
  • the pitch extraction unit 1121 removes the measurement noise by smoothing (S1302).
  • the pitch extraction unit 1121 may perform smoothing by arranging the joint coordinates of the acquired skeleton coordinate table 232 records in chronological order for each joint of a person and taking a moving average.
  • the pitch extraction unit 1121 extracts a time group indicating the cycle of movement of the person by frequency analysis for each person (S1303).
  • the pitch extraction unit 1121 may extract the period of movement of the person by a method such as Fourier transforming the smoothed time-series joint coordinate data.
  • the pitch extraction unit 1121 stores the start time and end time of the extracted cycle in the pitch table 1131 for each person and each pitch (S1304).
  • FIG. 14 is a flowchart showing the processing of the space-time determination unit 1122 according to the second embodiment.
  • the spatiotemporal determination unit 1122 refers to the spatiotemporal constraint table 1132, extracts a record for which selection 1132-2 is "True”, and determines the ratio recorded in the pitch 1132-3 of the extracted record. Hold (S1401). In the example of FIG. 12, the first two records are extracted and the values “50%” and “100%” of pitch 1132-3 are retained.
  • the space-time determination unit 1122 refers to the pitch table 1131 and counts the total number of stored pitches for each person (S1402). Next, the space-time determination unit 1122 divides the pitch based on the ratio of the pitches held in step S1401 and the total number of pitches counted in step S1402 (S1403).
  • step S1402 when the pitch table 1131 shown in FIG. 12 is referred to in step S1402, the pitches 1 and 2 stored in the first two records are extracted with respect to the person "P1". Assuming that pitches 3 and 4 are further stored in the pitch table 1131 with respect to the person "P1", although omitted in FIG. 12, four pitches of pitches 1 to 4 are counted in step S1402. Then, in step 1403, the four pitches correspond to a set of pitches 1 to 2 corresponding to "0 to 50%" (that is, the first half) and a pitch 3 corresponding to "50 to 100%" (that is, the second half). It is divided into sets from to 4.
  • the space-time determination unit 1122 executes the following processes S1404 to S1410 for each divided pitch.
  • the space-time determination unit 1122 selects one of the divided pitch sets and acquires the start time of the first pitch and the set time of the last pitch included in the set (S1404). For example, in the case of a set consisting of pitches 1 and 2 of the person P1 in FIG. 12, the value of the start time 1131-3 of the pitch 1 and the value of the end time 1131-4 of the pitch 2 are acquired.
  • the space-time determination unit 1122 extracts records within the range from the start time to the end time acquired in step S1404 from the skeleton coordinate table 232 (S1405).
  • the space-time determination unit 1122 acquires the vertical range and the horizontal range of the record of the selected type to which the pitch ratio corresponds from the space-time constraint table 1132 (S1406). For example, when natural walking is selected and pitches 1 and 2 of 0 to 50% of pitches 1 to 4 are selected as described above, the corresponding values of the vertical range 1132-4 (2, 5) and The value (-2,0) in the horizontal range 1132-5 is acquired.
  • the spatiotemporal determination unit 1122 acquires the vertical value and the horizontal value of each joint coordinate from the record extracted in step S1405 (S1407), and determines whether they are included in the vertical range and the horizontal range. , The number of records determined to be included is totaled (S1408). The determination here may be performed in the same manner as in step S904 of FIG.
  • the spatiotemporal determination unit 1122 generates a spatiotemporal hit ratio from the ratio of the number of records aggregated in step S1408 to the number of records extracted in step S1405 (S1409).
  • the space-time determination unit 1122 determines the identification information of the person and the ratio of the pitches (for example, "50%" indicating that the pitches 1 and 2 are 0 to 50% when the pitches 1 and 2 are selected as described above). , And the spatiotemporal hit ratio generated in step S1409 is stored in the determination result table 1133 (S1410).
  • the space-time determination unit 1122 also executes the above steps S1404 to S1410 for the rest of the set of pitches divided in step S1403. Further, the space-time determination unit 1122 executes the above processing for all the persons extracted from the pitch table 1131.
  • FIG. 15 is a flowchart showing the processing of the analysis target extraction unit 1123 according to the second embodiment.
  • the analysis target extraction unit 1123 refers to the spatiotemporal constraint table 1132 and extracts a record for which selection 1132-2 is "True" (S1501).
  • the analysis target extraction unit 1123 executes the following steps S1502 to S1503 until all the records in the determination result table 1133 are acquired.
  • the analysis target extraction unit 1123 acquires a record that has not yet been acquired from the determination result table 1133, and the value of the spatiotemporal hit rate 1133-3 of the acquired record corresponds to the acquired record in the spatiotemporal constraint table. It is determined whether or not the spatiotemporal hit ratio of 1132 records is equal to or greater than the value of 1132-6 (S1502).
  • the record in the spatiotemporal constraint table 1132 corresponding to the acquired record is the record whose value of selection 1132-2 is "True" and the value of pitch 1132-3 is the pitch 1133-2 of the acquired record.
  • the analysis target The extraction unit 1123 holds the corresponding flag corresponding to the value of the person 1133-1 and the value of the pitch 1133-2 of the acquired record (S1503).
  • the analysis is performed.
  • the target extraction unit 1123 does not execute step S1503.
  • the analysis target extraction unit 1123 holds a person whose corresponding flag is held at all the corresponding pitches (S1504).
  • step S1504 will be described when the spatiotemporal constraint table 1132 as shown in FIG. 12 is set and the determination result table 1133 as shown in FIG. 12 is obtained.
  • the spatiotemporal hit rate 1133-3 in the first half is "100%", which is equal to or higher than the corresponding threshold value (that is, the value of the spatiotemporal hit rate 1132-6) "90%", but in the latter half.
  • the spatiotemporal hit rate 1133-3 is "0%", which is smaller than the corresponding threshold "80%”.
  • the spatiotemporal hit rate 1133-3 "96%" in the first half and the spatiotemporal hit rate 1133-3 "90%” in the second half are both equal to or higher than the corresponding threshold values.
  • step S1504 the person "P2" is held.
  • the analysis target extraction unit 1123 extracts a record in which the identification information of the person held in step S1504 is recorded as the person 232-2 from the skeleton coordinate table 232 (S1505), and puts it in the analysis target table 251.
  • the analysis target table 251 is transmitted to the analysis device 100 and stored in the analysis DB 250.
  • the analysis target extraction unit 223 deletes the record for which the above processing has been completed from the depth table 231 and the skeleton coordinate table 232 and the determination result table 1133 (S1507). This completes the process of the analysis target extraction unit 223.
  • FIG. 16 is a flowchart showing the processing of the U / I control unit 1140 according to the second embodiment.
  • the U / I control unit 1140 When the U / I control unit 1140 starts processing, it first refers to the spatiotemporal constraint table 1132 (S1601), then refers to the depth table 231 and the skeleton coordinate table 232 (S1602), and then displays the constraint setting screen. (S1603).
  • S1601 the spatiotemporal constraint table 1132
  • S1602 the depth table 231 and the skeleton coordinate table 232
  • S1603 displays the constraint setting screen.
  • the U / I control unit 1140 determines whether or not some information has been input via the constraint setting screen (S1604), and if it is input (S1604: Yes), updates the contents of the table according to the input information. (S1605).
  • the U / I control unit 1140 determines whether the instruction to close the constraint setting screen has been input (S1606), and if not input (S1606: No), returns to step S1604. When the instruction to close the constraint setting screen is input (S1606: Yes), the U / I control unit 1140 ends the process.
  • FIG. 17 shows the constraint setting screen displayed in the second embodiment.
  • the constraint setting screen 1700 shown in FIG. 17 is a screen displayed by the output device 116, and includes a space-time corresponding rate setting unit 1701, a pitch division number setting unit 1702, a pitch selection unit 1703, a space designation unit 1704, a setting button 1708, and the like. Includes close button 1709.
  • the spatio-temporal applicability rate setting unit 1701 sets the ratio of the number of pitches (for example, 0 to 50%) for each type of movement (for example, natural walking, knee bent walking, car phrase walking, etc.) and the period during which the movement is performed. This is an area for setting the spatiotemporal hit ratio 1132-6 for each portion divided based on (50 to 100%, etc.). The user can input a threshold value of a desired spatiotemporal hit ratio in this area.
  • the pitch division number setting unit 1702 is an area for setting how many parts the period during which the periodic movement is performed is divided. The user can enter a desired number of divisions in this area.
  • the pitch selection unit 1703 is an area for setting which type of movement pitch to select. For example, when the user sets one of the movement types in the space-time corresponding rate setting unit 1701 and inputs the selection in the pitch selection unit 1703, the selection 1132-2 corresponding to the movement type is "True”. Is set to.
  • the space designation unit 1704 is an area for setting the vertical range 1132-4 and the horizontal range 1132-5 of the space-time constraint table 1132.
  • a plan view of a space for the photographing device 117 to photograph the movement of the person 1706 to be analyzed may be displayed.
  • the photographing device 117 and the photographing range 1705 by the photographing device 117 are displayed.
  • the user sets the vertical range 1132-4 and the horizontal range 1132-5 in the space separated by the rectangle 1707. can do.
  • the input information is reflected in the spatiotemporal constraint table 1132. Further, when the user operates the close button 1709, the constraint setting screen 1700 is closed.
  • the contents of the time constraint table 241 and the space constraint table 242 of the first embodiment can also be set by U / I through the screen in the same manner as described above.
  • the above embodiment of the present invention includes the following examples.
  • a measuring device for example, measuring device 110 having a processor (for example, processor 111) and a storage unit (for example, at least one of a memory 112 and a storage device 113), and the storage unit is a photographing device (for example, photographing). It holds measurement data for each time (for example, depth table 231) acquired by the apparatus 117) and space-time constraints (for example, time constraint table 241 and space constraint table 242, or spatiotemporal constraint table 1132.).
  • the processor extracts the position of the object from the measurement data for each time (for example, the processing of the skeleton coordinate estimation unit 212) and determines whether the object satisfies the space-time constraint (for example, the processing of the time determination unit and the space determination unit).
  • the processing of the spatiotemporal determination unit determines whether the object is the analysis target based on the result of the determination of whether the object satisfies the spatiotemporal constraint (for example, the processing of the analysis target extraction unit 223 or the analysis target extraction unit 1123). ).
  • the space-time constraint may include a time constraint (for example, time constraint table 241) and a space constraint (for example, space constraint table 242).
  • the processor determines whether the object satisfies the time constraint (for example, the processing of the time determination unit 221), determines whether the object satisfies the space constraint (for example, the processing of the space determination unit 222), and the object is the time constraint. It may be determined whether the object is the analysis target based on the result of the determination as to whether or not the object satisfies the space constraint.
  • the time constraint may include a time range (eg, 241-1 at the start and 241-2 at the end).
  • the processor calculates the time applicability rate (for example, time applicability rate 243-2), which is the ratio of the measurement data whose time is included in the time range, to the measurement data from which the position of the object is extracted, and is based on the time applicability rate. , You may determine if the object meets the time constraints.
  • the time constraint may include a threshold value of the time corresponding rate (for example, time rate 241-3).
  • the processor may determine that the object satisfies the time constraint when the time hit rate is greater than or equal to the time hit rate threshold.
  • the space constraint may include the range of the space included in the space photographed by the photographing apparatus (for example, the vertical range 242-1 and the horizontal range 242-2).
  • the processor calculates the spatial applicability rate (for example, spatial applicability rate 243-3), which is the ratio of the measurement data in which the position of the object is included in the range of space, to the measurement data from which the position of the object is extracted, and the spatial applicability rate. It may be determined whether the object satisfies the space constraint based on.
  • the space constraint may include a threshold value of the space corresponding rate (for example, the space rate 242-3).
  • the processor may determine that the object satisfies the spatial constraint when the spatial applicability is greater than or equal to the spatial applicability threshold.
  • the spatiotemporal constraint includes a condition for specifying the time range based on the measurement data (for example, type 1132-1 to pitch 1132-3 of the spatiotemporal constraint table 1132) and the time range. May include a range of spaces corresponding to (eg, vertical range 1132-4 and horizontal range 1132-5).
  • the processor determines the spatiotemporal applicability rate (for example, spatiotemporal applicability rate 1133-3), which is the ratio of the measurement data in which the position of the object is included in the spatial range to the measurement data within the time range specified based on the condition. It may be calculated (for example, the processing of the spatiotemporal determination unit 1122), and it may be determined whether or not the object satisfies the spatiotemporal constraint based on the spatiotemporal hit ratio.
  • the spatiotemporal constraint may include a threshold value of the spatiotemporal applicability rate (for example, the spatiotemporal applicability rate 1123-6).
  • the processor may determine that the object satisfies the spatiotemporal constraint when the spatiotemporal applicability is greater than or equal to the spatiotemporal applicability threshold.
  • the object is a person.
  • the condition for specifying the time range based on the measurement data includes information for selecting the type of movement of the person (for example, type 1132-1 and selection 1132-2).
  • the time range specified based on the conditions is the start time of pitch 1131-2 corresponding to the value of pitch 1132-3, which is the period during which the movement of the selected person is performed, which is specified based on the measurement data. It may be the period specified by 1131-3 and the end time 1131-4).
  • the conditions for specifying the time range based on the measurement data include information for selecting the type of periodic movement of the person (for example, type 1132-1 and selection 1132-2). Includes information (eg, pitch 1132-3) that specifies the percentage of the number of cycles (eg, pitch) to divide a period of periodic movement (eg, walking) into multiple time ranges.
  • the space range corresponding to the time range and the threshold value of the spatiotemporal hit ratio may be set for each time range (for example, for each value of pitch 1132-3).
  • the processor Based on the measurement data, the processor performs a period of periodic movement (for example, from the start time 1131-3 of the first pitch of all the pitches of one person stored in the pitch table 1130 to the last pitch.
  • the end time (the period up to 1131-4) is set according to the ratio.
  • a plurality of time ranges may be specified, and the spatiotemporal applicability rate may be calculated for each specified time range.
  • the object may be a person.
  • the processor extracts the position of one or more joints of the person (for example, the coordinate value of each joint in the skeletal coordinate table 232) as the position of the object, and one of the persons determined to be the analysis target extracted from the measurement data.
  • the above joint positions may be output as data to be analyzed (for example, analysis target table 251).
  • the photographing device is a depth camera that acquires depth data as measurement data
  • the processor may extract the positions of one or more joints of a person based on the depth data.
  • the photographing device may be a camera that acquires video data in visible light or invisible light as measurement data.
  • the processor may extract the position of one or more joints of the person based on the video data.
  • the person to be analyzed can be extracted from the video in which a person other than the person to be analyzed may be reflected.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-mentioned examples have been described in detail for a better understanding of the present invention, and are not necessarily limited to those having all the configurations of the description.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is possible to add the configuration of another embodiment to the configuration of one embodiment.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in non-volatile semiconductor memories, hard disk drives, storage devices such as SSDs (Solid State Drives), or computer-readable non-computers such as IC cards, SD cards, and DVDs. It can be stored in a temporary data storage medium.
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown on the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

プロセッサと、記憶部と、を有する計測装置であって、記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、プロセッサは、時刻ごとの計測データから物体の位置を抽出し、物体が時空間の制約を満たすかを判定し、物体が時空間の制約を満たすかの判定の結果に基づいて、物体が解析対象かを判定する。

Description

計測装置及び計測方法 参照による取り込み
　本出願は、令和１年（２０１９年）１２月２６日に出願された日本出願である特願２０１９－２３６３２５の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、データの計測に関する。
　近年、超高齢化社会の未来を見据えた国民の健康意識の高まりを受け、ヘルスケア業界が着目されている。それに伴い、医療現場におけるＩＴ（Information Technology）技術活用も着実に進歩しており、再生医療機器、介護ロボット、保険指導サービス支援など、新たな事業分野や医療サービスが次々と開拓されている。
　なかでも予防医療サービスは、高齢化医療を見据えて期待が大きい分野の一つである。予防医療とは、病気になってから治療を行うという考え方ではなく、誰にでも将来起こりうる健康リスクを明確化し、病気にならないように継続的に健康維持、増進行動を行っていくという考え方である。
　これら健康リスクを明確化したり、健康維持、増進行動の効果を確認したりするためには、計測による継続的な健康状態の定量化が必要となる。ＩｏＴ（Internet of Things）技術やウェアラブルデバイスの進展により、定量化に向けては、各ユーザが日常生活の中で計測を行うことができるようになってきた。
一方で、日常生活の中で大量に取得した計測データにはノイズが含まれることが多く、解析対象の選定が難しくなるという問題がある。例えば、公共の場で撮影した映像を解析する場合、どのデータを解析対象とするか画一的に判断することが難しくなる。
　特許文献１によれば、ノイズの少ないデータを得るために歩行時の動きが小さい腰部の測定を行うことが開示されている。これにより、計測ノイズの発生を減らすことができる。
　特許文献２によれば、追従ポイントが飛ぶ現象が生じるなど急激な変化が生じた場合をノイズとして除去することが開示されている。これにより、計測ノイズを除くことができる。
　　特許文献１：特開２０１７－２０２２３６号公報
　　特許文献２：特開２０１６－１７９１７１号公報
　特許文献１の技術では、計測誤差のノイズを軽減できるが解析部位が限定されてしまうという問題がある。
　特許文献２の技術では、計測誤差のノイズ除去には有効だが映り込みのノイズにはあまり有効でないという問題がある。
　よって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが課題となる。
　上記の課題の少なくとも一つを解決するために、本発明は、プロセッサと、記憶部と、を有する計測装置であって、前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、前記プロセッサは、前記時刻ごとの計測データから物体の位置を抽出し、前記物体が前記時空間の制約を満たすかを判定し、前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定することを特徴とする。
　本発明の一態様によれば、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１に係るシステム全体の物理構成を示す。 実施例１に係るシステム全体の論理構成を示す。 実施例１に係る計測ＤＢに格納されるテーブルの構成を示す。 実施例１に係る判定ＤＢに格納されるテーブルの構成を示す。 実施例１に係る解析ＤＢに格納されるテーブルの構成を示す。 実施例１に係る深度記録部の処理を示すフローチャートである。 実施例１に係る骨格座標推定部の処理を示すフローチャートである。 実施例１に係る時間判定部の処理を示すフローチャートである。 実施例１に係る空間判定部の処理を示すフローチャートである。 実施例１に係る解析対象抽出部の処理を示すフローチャートである。 実施例２に係るシステム全体の論理構成を示す。 実施例２に係る判定ＤＢに格納されるテーブルの構成を示す。 実施例２に係るピッチ抽出部の処理を示すフローチャートである。 実施例２に係る時空間判定部の処理を示すフローチャートである。 実施例２に係る解析対象抽出部の処理を示すフローチャートである。 実施例２に係るＵ／Ｉ制御部の処理を示すフローチャートである。 実施例２において表示される制約設定画面を示す。
　以下、図面を参照して、本発明の幾つかの実施例を説明する。但し、それらの実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。
　以下の説明では、「インターフェース部」は、１以上のインターフェース装置である。１以上のインターフェースは、１以上の同種のインターフェース装置（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェース装置（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
　また、以下の説明では、「記憶部」は、１以上のメモリである。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、１以上のメモリに加えて、１以上のＰＤＥＶを含んでもよい。「ＰＤＥＶ」は、物理的な記憶装置を意味し、典型的には、不揮発性の記憶装置（例えば補助記憶装置）でよい。ＰＤＥＶは、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）でよい。
　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
　また、以下の説明では、「ｋｋｋ部」（インターフェース部、記憶部およびプロセッサ部を除く）の表現にて機能を説明することがあるが、機能は、１以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。プログラムがプロセッサ部によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶部および／またはインターフェース部等を用いながら行われるため、機能はプロセッサ部の少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が１つの機能にまとめられたり、１つの機能が複数の機能に分割されたりしてもよい。
　また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
　また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。
　また、以下の説明では、「データセット」とは、１以上のデータ要素から成るデータ（論理的な電子データの塊）を意味し、例えば、レコード、ファイル、キーバリューペア及びタプルのうちのいずれでもよい。
　図１は、実施例１に係るシステム全体の物理構成を示す。
　実施例１に係るシステムは、ネットワーク１２０を介して接続された解析装置１００および計測装置１１０を有する。
　解析装置１００は、データを分析する装置である。解析装置１００は、ネットワークインターフェース１０４、メモリ１０２、記憶装置１０３、および、それらに接続されたプロセッサ１０１を有する。
　プロセッサ１０１は、メモリ１０２に格納されたプログラムに従って、必要に応じて解析装置１００内の各部を制御することによって種々の処理を実行する。
　メモリ１０２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリであり、プロセッサ１０１によって実行されるプログラム、プロセッサ１０１がプログラムに従って実行する処理において参照されるデータ、および、プロセッサ１０１が実行する処理の結果として生成されたデータ等を格納する。
　記憶装置１０３は、例えばＨＤＤまたはＳＳＤ等の記憶装置であり、プロセッサ１０１が実行する処理において使用される種々のデータを格納する。例えば、上記のプログラム及びデータが記憶装置１０３に格納され、必要に応じてそれらの少なくとも一部がメモリ１０２にコピーされてもよいし、メモリ１０２上で更新されたデータが必要に応じて記憶装置１０３にコピーされてもよい。
　ネットワークインターフェース１０４は、ネットワーク１２０に接続され、ネットワーク１２０を介して計測装置１１０と通信する。
　計測装置１１０は、データを計測する装置である。計測装置１１０は、ネットワークインターフェース１１４、メモリ１１２、記憶装置１１３、入力装置１１５、出力装置１１６、撮影装置１１７、および、それらに接続されたプロセッサ１１１を有する。
　プロセッサ１１１は、メモリ１１２に格納されたプログラムに従って、必要に応じて計測装置１１０内の各部を制御することによって種々の処理を実行する。
　メモリ１１２は、例えばＤＲＡＭ等の半導体メモリであり、プロセッサ１１１によって実行されるプログラム、プロセッサ１１１がプログラムに従って実行する処理において参照されるデータ、および、プロセッサ１１１が実行する処理の結果として生成されたデータ等を格納する。
　記憶装置１１３は、例えばＨＤＤまたはＳＳＤ等の記憶装置であり、プロセッサ１１１が実行する処理において使用される種々のデータを格納する。例えば、上記のプログラム及びデータが記憶装置１１３に格納され、必要に応じてそれらの少なくとも一部がメモリ１０２にコピーされてもよいし、メモリ１１２上で更新されたデータが必要に応じて記憶装置１１３にコピーされてもよい。
　ネットワークインターフェース１１４は、ネットワーク１２０に接続され、ネットワーク１２０を介して解析装置１００と通信する。
　入力装置１１５は、計測装置１１０のユーザからの情報の入力を受ける装置であり、例えばキーボード、マウス及びタッチパネル等の少なくともいずれかを含んでもよい。
　出力装置１１６は、計測装置１１０のユーザに情報を出力する装置であり、例えば画像表示装置及びプリンタ等の少なくともいずれかを含んでもよい。
　撮影装置１１７は、計測対象を撮影してその映像を取得する装置であれば、どのようなものであってもよい。例えば、撮影装置１１７は、２次元の映像を撮影する通常のＲＧＢカメラまたは赤外線カメラ等の他、２次元の映像に加えて画素ごとの深度情報を取得可能な深度カメラ等であってもよい。
　図２は、実施例１に係るシステム全体の論理構成を示す。
　計測装置１１０は、計測部２１０、判定部２２０、計測ＤＢ（データベース）２３０及び判定ＤＢ２４０を有する。計測部２１０は、深度記録部２１１及び骨格座標推定部２１２を含む。判定部２２０は、時間判定部２２１、空間判定部２２２及び解析対象抽出部２２３を含む。計測部２１０及び判定部２２０は、いずれも計測装置１１０のプロセッサ１１１がメモリ１１２に格納されたプログラムを実行することによる機能ブロックである。すなわち、以下の説明において計測部２１０又は判定部２２０が実行する処理は、実際には、プロセッサ１１１がメモリ１１２に格納されたプログラムに従って実行する。
　計測ＤＢ２３０及び判定ＤＢ２４０は、計測装置１１０の記憶装置１１３に格納される。計測ＤＢ２３０は、深度テーブル２３１及び骨格座標テーブル２３２を含む。これらの詳細は図３を参照して後述する。判定ＤＢ２４０は、時間制約テーブル２４１、空間制約テーブル２４２及び判定結果テーブル２４３を含む。これらの詳細は図４を参照して後述する。
　解析装置１００は、解析ＤＢ２５０を有する。これは、解析装置１００の記憶装置１０３に格納される。解析ＤＢ２５０は、解析対象テーブル２５１を含む。解析対象テーブル２５１の詳細は図５を参照して後述する。
　計測部２１０の深度記録部２１１は、撮影装置１１７によって撮影された映像データから深度情報を抽出して深度テーブル２３１に記録する。ここでは、撮影装置１１７が深度カメラである例を示している。深度記録部２１１の処理の詳細は図６を参照して後述する。
　計測部２１０の骨格座標推定部２１２は、深度テーブル２３１を参照して、撮影された人物ごとの骨格座標を推定してその結果を骨格座標テーブル２３２に記録する。骨格座標推定部２１２の処理の詳細は図７を参照して後述する。
　判定部２２０の時間判定部２２１は、骨格座標テーブル２３２及び時間制約テーブル２４１を参照して、撮影された人物ごとの時間該当率を計算し、その結果を判定結果テーブル２４３に記録する。時間判定部２２１の処理の詳細は図８を参照して後述する。
　判定部２２０の空間判定部２２２は、骨格座標テーブル２３２及び空間制約テーブル２４２を参照して、撮影された人物ごとの空間該当率を計算し、その結果を判定結果テーブル２４３に記録する。空間判定部２２２の処理の詳細は図９を参照して後述する。
　判定部２２０の解析対象抽出部２２３は、骨格座標テーブル２３２及び判定結果テーブル２４３を参照して、解析対象の人物に関する骨格座標データを抽出して、それを解析装置１００に送信する。解析装置１００は、解析対象抽出部２２３から受信したデータを解析対象テーブル２５１に記録する。解析対象抽出部２２３の処理の詳細は図１０を参照して後述する。
　ここで、本実施例の計測装置１１０及び解析装置１００を使用した計測及び解析の一例を説明する。例えば、解析対象の人物に所定の動き（例えば歩行等）をしてもらってその様子を撮影装置１１７（例えば深度カメラ）で撮影し、それによって得られた計測データから当該人物の運動機能等を解析する場合を想定する。このとき、撮影装置１１７の撮影範囲に解析対象の人物だけがいるとは限らない。例えば、撮影を行うスタッフ、解析対象の人物の介助者、又は撮影と全く無関係な通行人等が解析対象の人物とともに撮影される場合がある。
　計測部２１０は、計測データから人物ごとの各時刻の骨格座標を抽出する。判定部２２０は、人物ごとに、各時刻の骨格座標から、その人物が解析対象かを判定して、解析対象と判定された人物の骨格座標を解析装置１００に出力する。解析装置１００が行う解析処理はどのようなものであってもよいため、本実施例では説明を省略する。
　図３は、実施例１に係る計測ＤＢ２３０に格納されるテーブルの構成を示す。
　図２に示すように、計測ＤＢ２３０には深度テーブル２３１及び骨格座標テーブル２３２が格納される。深度テーブル２３１は、例えば図３に示すように、各々が映像の１フレームに相当する複数のレコードを含む。各レコードは、計測時刻２３１－１及び画素ごとの深度情報（例えば画素１の深度２３１－２、画素２の深度２３１－３及び画素３の深度２３１－４等）からなる。
　計測時刻２３１－１は、各フレームの撮影時刻である。深度２３１－２～４等の深度情報は、各フレーム内の画素ごとの深度、すなわち、撮影装置１１７から各画素に対応する撮影対象までの距離を示す。図３では省略されているが、実際には各フレームの全画素の深度情報が深度テーブル２３１に記録される。
　骨格座標テーブル２３２は、例えば図３に示すように、複数のレコードを含み、各レコードは、映像の１フレームに含まれる一人の人物の骨格座標の情報を含む。具体的には、各レコードは、計測時刻２３２－１、人物２３２－２及び人物ごとの骨格座標の情報（例えば人物の関節１の座標２３２－３及び関節２の座標２３２－４等）からなる。
　計測時刻２３２－１は、各フレームの撮影時刻である。人物２３２－２は、各フレームに含まれる各人物の識別情報である。関節１の座標２３２－３及び関節２の座標２３２－４等は、各人物の各関節の位置の座標値（例えば撮影対象の空間内の位置を示す３次元座標値）である。図３では省略されているが、実際には各人物から抽出された全ての関節の座標値が骨格座標テーブル２３２に記録される。
　図３の例では、２０１９年６月３０日の１５時０分１０秒に撮影された１フレームから二人の人物が抽出され、それぞれに識別情報「Ｐ１」及び「Ｐ２」が与えられ、それぞれの人物の各関節の座標値が記録されている。
　図４は、実施例１に係る判定ＤＢ２４０に格納されるテーブルの構成を示す。
　図２に示すように、判定ＤＢ２４０には時間制約テーブル２４１、空間制約テーブル２４２及び判定結果テーブル２４３が格納される。
　時間制約テーブル２４１には、解析対象を選定するための時間的な制約を示す情報が記録される。具体的には、時間制約テーブル２４１は、例えば図４に示すように、開始時２４１－１、終了時２４１－２及び時間率２４１－３からなる。
　開始時２４１－１及び終了時２４１－２は、映像に含まれる人物が解析対象であるかを判定するための基準となる時間帯の始点及び終点を指定する情報であり、時間率２４１－３は、その時間帯に含まれるレコードの割合（すなわち時間該当率）の閾値を示す情報である。これらを参照した判定の詳細は図８を参照して後述する。
　空間制約テーブル２４２には、解析対象を選定するための空間的な制約を示す情報が記録される。具体的には、空間制約テーブル２４２は、例えば図４に示すように、縦範囲２４２－１、横範囲２４２－２及び空間率２４２－３からなる。
　縦範囲２４２－１及び横範囲２４２－２は、映像に含まれる人物が解析対象であるかを判定するための基準となる空間の範囲を指定する情報であり、空間率２４２－３は、その範囲に含まれるレコードの割合（すなわち空間該当率）の閾値を示す情報である。これらを参照した判定の詳細は図９を参照して後述する。
　判定結果テーブル２４３には、映像に含まれる人物が解析対象であるかを判定するために骨格座標テーブル２３２、時間制約テーブル２４１及び空間制約テーブル２４２を参照して行われた計算の結果が記録される。具体的には、判定結果テーブル２４３は、例えば図４に示すように、人物２４３－１、時間該当率２４３－２及び空間該当率２４３－３からなる。
　人物２４３－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。時間該当率２４３－２及び空間該当率２４３－３には、それぞれ、各人物について計算された時間該当率及び空間該当率が記録される。これらの計算の詳細は図１０を参照して後述する。
　ここで、時間制約テーブル２４１及び空間制約テーブル２４２の設定の例について説明する。ここでは、解析対象の人物にしてもらう所定の動作が「歩行」である例を説明する。具体的には、撮影者が発した合図に従って、所定の歩行コースを解析対象の人物に歩行してもらい、その様子を撮影装置１１７が撮影し、歩行コース内の歩行が終了したら撮影を停止する例について説明する。
　このとき、例えば、撮影を開始してから、合図に従って解析対象の人物が実際に歩き始めるまでの時間が５秒程度であり、撮影を開始してから１５秒程度経過すると歩行コース内の歩行が終了すると想定される場合、開始時２４１－１及び終了時２４１－２にはそれぞれ「５秒」及び「１５秒」が設定される。
　この場合、解析対象の人物は、合図に従って歩き始めて、歩行が終了したら撮影を停止することから、撮影されたデータのうち当該解析対象の人物に関するデータのほとんどが上記の５秒から１５秒の時間の範囲に含まれていると想定される。一方、撮影されたデータに解析対象外の人物に関するデータが含まれる場合、その人物は、合図と無関係に動いているか、あるいは、一時的に撮影範囲内に写りこんでいるだけであると想定され、そのような人物のデータが上記の時間の範囲に含まれる率（すなわち時間該当率）は低いと想定される。時間率２４１－３は、時間該当率に基づいて解析対象の人物を判別するための閾値であり、判別のために適切な値（図４の例では「８０％」）が設定される。
　また、上記の歩行コースの範囲を示す座標値が縦範囲２４２－１及び横範囲２４２－２に設定される。例えば撮影装置１１７によって撮影される空間内の位置を直交座標系の座標値によって特定する場合に、一つの軸の座標値を縦範囲２４２－１として、それに直交する軸の座標値を横範囲２４２－２として設定してもよい。ただしこのような空間の範囲の特定方法は一例であり、別の方法で空間の範囲を特定してもよい。
　この場合も、解析対象の人物は歩行コースを歩こうとするため、撮影されたデータのうち当該解析対象の人物に関するデータのほとんどの位置が上記の空間の範囲内に含まれていると想定される。一方、撮影されたデータに解析対象外の人物に関するデータが含まれる場合、その人物は、例えばそれがスタッフ又は介助者であれば歩行コースから少し外れたところを歩いていると想定され、無関係な通行人であれば歩行コース内を歩行するのは一時的であると想定されることから、そのような人物のデータが示す位置が上記の空間の範囲内に含まれる率（すなわち空間該当率）は低いと想定される。空間率２４２－３は、空間該当率に基づいて解析対象の人物を判別するための閾値であり、判別のために適切な値（図４の例では「９０％」）が設定される。
　なお、時間制約テーブル２４１に記録される情報及び空間制約テーブル２４２に記録される情報は、時空間の制約の一例である。実施例１では、時空間の制約が、時間と空間のそれぞれにおいて独立に設定されるが、それらが関連付けて設定されてもよい。後者の例については、実施例２において後述する。
　図５は、実施例１に係る解析ＤＢ２５０に格納されるテーブルの構成を示す。
　図２に示すように、解析ＤＢ２５０には解析対象テーブル２５１が格納される。解析対象テーブル２５１には、骨格座標テーブル２３２に格納されたレコードのうち、解析対象であると判定された人物に関するレコードが記録される。具体的には、解析対象テーブル２５１の各レコードは、計測時刻２５１－１、人物２５１－２、関節１の座標２５１－３及び関節２の座標２５１－４等からなる。これらは、それぞれ、骨格座標テーブル２３２の計測時刻２３２－１、人物２３２－２、関節１の座標２３２－３及び関節２の座標２３２－４等に対応する。ただし、骨格座標テーブル２３２と異なり、解析対象テーブル２５１には、解析対象であると判定された人物（図５の例では人物「Ｐ２」）に関するレコードのみを含んでいる。
　図６は、実施例１に係る深度記録部２１１の処理を示すフローチャートである。
　深度記録部２１１は、撮影装置１１７が撮影したデータを取得して深度記録を開始すると、撮影が停止するまで、以下のステップＳ６０１～Ｓ６０３を繰り返し実行する。
　最初に、深度記録部２１１は、撮影装置１１７から深度データセットを取得する（Ｓ６０１）。次に、深度記録部２１１は、深度テーブル２３１にレコードを追加して、取得した深度データセットを記録する（Ｓ６０２）。これによって、取得した深度データセットの計測時刻と、それに対応する各画素の深度情報とを含むレコードが深度テーブル２３１に追加される。次に、深度記録部２１１は、骨格座標推定部２１２を呼び出す（Ｓ６０３）。撮影が停止すると、深度記録部２１１の処理が終了する。
　図７は、実施例１に係る骨格座標推定部２１２の処理を示すフローチャートである。
　最初に、骨格座標推定部２１２は、深度テーブル２３１から撮影時間分のレコードを取得する（Ｓ７０１）。次に、骨格座標推定部２１２は、取得したレコードから、人物ごとの骨格座標を認識する（Ｓ７０２）。このとき、骨格座標推定部２１２は、公知の深度認識モデルを用いることができるため、認識の詳細な方法についての説明は省略する。
　次に、骨格座標推定部２１２は、骨格座標の認識の結果として得られた座標値を含むレコードを骨格座標テーブル２３２に追加する（Ｓ７０３）。次に、骨格座標推定部２１２は、時間判定部２２１を呼び出して（Ｓ７０４）、処理を終了する。
　上記の図６及び図７は、撮影装置１１７が深度カメラである場合の処理の例である。しかし、前述のように、撮影装置１１７は深度を計測しない通常のＲＧＢカメラ等であってもよい。その場合、計測部２１０は、撮影装置１１７から取得した映像情報を計測ＤＢ２３０に記録する。例えば、深度テーブル２３１における各フレームの画素ごとの深度の代わりに、画素ごとのＲＧＢ値等が記録される。骨格座標推定部２１２は、各フレームのＲＧＢ値を参照して、画像認識モデルを用いて骨格座標を推定する。このとき、骨格座標推定部２１２は、例えば公知のＯｐｅｎＰｏｓｅなど、任意の認識モデルを用いることができる。
　図８は、実施例１に係る時間判定部２２１の処理を示すフローチャートである。
　最初に、時間判定部２２１は、深度テーブル２３１の最初のレコードの計測時刻３２１－１を撮影開始時刻として取得する（Ｓ８０１）。例えば深度テーブル２３１が図３に示す通りである場合、最初のレコードの計測時刻３２１－１の値である２０１９年６月３０日１５時０分０秒００が取得される。
　次に、時間判定部２２１は、時間制約テーブル４２１から開始時２４１－１及び終了時２４１－２の秒数を取得する（Ｓ８０２）。例えば時間制約テーブル４２１が図４に示す通りである場合、開始時２４１－１及び終了時２４１－２の秒数としてそれぞれ５秒及び１５秒が取得される。
　次に、時間判定部２２１は、骨格座標テーブル２３２のレコードを全て取得するまで、以下のステップＳ８０３からＳ８０６の処理を実行する。まず、時間判定部２２１は、骨格座標テーブル２３２からまだ取得していないレコードを取得して、当該レコードの人物２３２－２を参照し、当該人物に対応するレコードの総数をカウントアップ（すなわち＋１）する（Ｓ８０３）。
　次に、時間判定部２２１は、当該レコードの計測時刻２３２－１とＳ８０１で取得した撮影開始時刻との差分を、撮影開始からの経過時刻として生成する（Ｓ８０４）。これによって、例えば上記の図３及び図４の例においては、２０１９年６月３０日１５時０分０秒００を時刻０としたときの各レコードの経過時刻が生成される。
　次に、時間判定部２２１は、当該レコードについて、ステップＳ８０４で計算された経過時刻がステップＳ８０２で取得された開始時から終了時までの範囲内（上記の例では５秒以上１５秒以下）であるかを判定する（Ｓ８０５）。
　ステップＳ８０５において、経過時刻が開始時から終了時までの範囲内であると判定された場合（Ｓ８０５：Ｙｅｓ）、時間判定部２２１は、当該レコードに対応する人物の時間該当数をカウントアップ（すなわち＋１）する（Ｓ８０６）。一方、ステップＳ８０５において、経過時刻が開始時から終了時までの範囲外であると判定された場合（Ｓ８０５：Ｎｏ）、時間判定部２２１は、当該レコードに関してステップＳ８０６を実行しない。
　骨格座標テーブル２３２の全てのレコードについて上記のステップＳ８０３からＳ８０６の処理が終了すると、骨格座標テーブル２３２の人物ごとのレコードの総数が計数され、さらに、人物ごとに、経過時刻が開始時から終了時までの範囲内であるレコードの数が時間該当数として計数されたことになる。
　次に、時間判定部２２１は、人物ごとに、レコード総数に対する時間該当数の割合を時間該当率として計算する（Ｓ８０７）。
　次に、時間判定部２２１は、人物ごとの時間該当率を判定結果テーブル２４３の当該人物に対応するレコードに時間該当率２４３－２として記録する（Ｓ８０８）。
　以上で時間判定部２２１の処理が終了する。
　図９は、実施例１に係る空間判定部２２２の処理を示すフローチャートである。
　最初に、空間判定部２２２は、空間制約テーブル４２２から縦範囲２４２－１及び横範囲２４２－２の座標を取得する（Ｓ９０１）。例えば空間制約テーブル４２２が図４に示す通りである場合、縦範囲２４２－１及び横範囲２４２－２の座標としてそれぞれ（２，５）及び（－１，１）が取得される。
　次に、空間判定部２２２は、骨格座標テーブル２３２のレコードを全て取得するまで、以下のステップＳ９０２からＳ９０５の処理を実行する。まず、空間判定部２２２は、骨格座標テーブル２３２からまだ取得していないレコードを取得して、当該レコードの人物２３２－２を参照し、当該人物に対応するレコードの総数をカウントアップ（すなわち＋１）する（Ｓ９０２）。
　次に、空間判定部２２２は、当該レコードの各関節座標の縦の値及び横の値を取得する（Ｓ９０３）。具体的には、空間判定部２２２は、各関節座標の値のうち、空間制約テーブル２４２の縦範囲２４２－１の座標軸と同じ座標軸上の値と、横範囲２４２－２の座標軸と同じ座標軸上の値とを取得する。
　次に、空間判定部２２２は、ステップＳ９０３で取得した各関節座標とステップＳ９０１で取得した縦範囲及び横範囲とを比較し、各関節座標の縦の値が縦範囲に含まれ、かつ、各関節座標の横の値が横範囲に含まれるかを判定する（Ｓ９０４）。
　ここで、骨格座標テーブル２３２の一つのレコードには一人の人物の複数の関節座標が含まれている。空間判定部２２２は、ステップＳ９０４において、上記の複数の関節座標の全てが縦範囲及び横範囲に含まれるかを判定してもよいし、所定の割合又は所定の数の関節座標が縦範囲及び横範囲に含まれるかを判定してもよいし、１以上の所定の部位の関節が縦範囲及び横範囲に含まれるかを判定してもよい。
　また、上記のように座標の縦の値と横の値とをそれぞれ空間制約テーブル４２２の縦範囲２４２－１及び横範囲２４２－２と比較するのは、取得された人物の位置が所定の空間の範囲に含まれるかを判定する方法の一例であり、上記以外の方法によって判定が行われてもよい。
　ステップＳ９０４において、関節座標値が縦範囲及び横範囲に含まれると判定された場合（Ｓ９０４：Ｙｅｓ）、空間判定部２２２は、当該レコードに対応する人物の空間該当数をカウントアップ（すなわち＋１）する（Ｓ９０５）。一方、ステップＳ９０４において、関節座標値が縦範囲及び横範囲に含まれないと判定された場合（Ｓ９０４：Ｎｏ）、空間判定部２２２は、当該レコードに関してステップＳ９０５を実行しない。
　骨格座標テーブル２３２の全てのレコードについて上記のステップＳ９０２からＳ９０５の処理が終了すると、骨格座標テーブル２３２の人物ごとのレコードの総数が計数され、さらに、人物ごとに、関節座標値が縦範囲及び横範囲に含まれるレコードの数が空間該当数として計数されたことになる。
　次に、空間判定部２２２は、人物ごとに、レコード総数に対する空間該当数の割合を空間該当率として計算する（Ｓ９０６）。
　次に、空間判定部２２２は、人物ごとの空間該当率を判定結果テーブル２４３の当該人物に対応するレコードの空間該当率２４３－３として記録する（Ｓ９０７）。
　以上で空間判定部２２２の処理が終了する。
　図１０は、実施例１に係る解析対象抽出部２２３の処理を示すフローチャートである。
　最初に、解析対象抽出部２２３は、時間制約テーブル２４１の時間率２４１－３を取得する（Ｓ１００１）。次に、解析対象抽出部２２３は、空間制約テーブル２４２の空間率２４２－３を取得する（Ｓ１００２）。
　次に、解析対象抽出部２２３は、判定結果テーブル２４３のレコードを全て取得するまで、以下のステップＳ１００３からＳ１００５の処理を実行する。まず、解析対象抽出部２２３は、判定結果テーブル２４３からまだ取得していないレコードを取得して、当該レコードの時間該当率２４３－２が時間率２４１－３以上であるかを判定する（Ｓ１００３）。
　ステップＳ１００３において、当該レコードの時間該当率２４３－２が時間率２４１－３以上であると判定された場合（Ｓ１００３：Ｙｅｓ）、解析対象抽出部２２３は、当該レコードの空間該当率２４３－３が空間率２４２－３以上であるかを判定する（Ｓ１００４）。
　ステップＳ１００４において、当該レコードの空間該当率２４３－３が空間率２４２－３以上であると判定された場合（Ｓ１００４：Ｙｅｓ）、解析対象抽出部２２３は、当該レコードに対応する人物（すなわち当該レコードの人物２４３－１の値によって識別される人物）を保持する（Ｓ１００５）。
　一方、ステップＳ１００３において、当該レコードの時間該当率２４３－２が時間率２４１－３以上でないと判定された場合（Ｓ１００３：Ｎｏ）、解析対象抽出部２２３は、当該レコードに関してステップＳ１００４及びＳ１００５を実行しない。また、ステップＳ１００４において、当該レコードの空間該当率２４３－３が空間率２４２－３以上でないと判定された場合（Ｓ１００４：Ｎｏ）、解析対象抽出部２２３は、当該レコードに関してＳ１００５を実行しない。
　判定結果テーブル２４３の全てのレコードについて上記のステップＳ１００３からＳ１００５が終了すると、解析対象抽出部２２３は、ステップＳ１００５において保持した人物の識別情報が人物２３２－２として記録されているレコードを骨格座標テーブル２３２から抽出して（Ｓ１００６）、それを解析対象テーブル２５１に格納する（Ｓ１００７）。解析対象テーブル２５１は解析装置１００に送信され、解析ＤＢ２５０に格納される。
　その後、解析対象抽出部２２３は、深度テーブル２３１、骨格座標テーブル２３２及び判定結果テーブル２４３から、上記の処理が終了したレコードを消去する（Ｓ１００８）。以上で解析対象抽出部２２３の処理が終了する。
　図１０では、ステップＳ１００３～Ｓ１００５に示すように、時間該当率が時間率以上であると判定され、かつ、空間該当率が空間率以上であると判定された人物が解析対象として保持される。しかし、このような判定は一例であり、上記以外の判定が行われてもよい。例えば、時間該当率の判定と空間該当率の判定のそれぞれに異なる重みを与えることによって、いずれかの判定結果を重視してもよい。これによって、状況に応じて柔軟な判定条件を与えて適切に解析対象を抽出することができる。
　次に、本発明の実施例２について説明する。以下に説明する相違点を除き、実施例２のシステムの各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
　図１１は、実施例２に係るシステム全体の論理構成を示す。
　実施例２の計測装置１１０は、判定部２２０が判定部１１２０によって置き換えられ、判定ＤＢ２４０が判定ＤＢ１１３０によって置き換えられ、さらにＵ／Ｉ（ユーザインターフェース）制御部１１４０を有する点を除いて、実施例１の計測装置１１０と同様である。
　判定ＤＢ１１３０は、計測装置１１０の記憶装置１１３に格納され、ピッチテーブル１１３１、時空間制約テーブル１１３２及び判定結果テーブル１１３３を含む。これらの詳細は図１２を参照して後述する。
　判定部１１２０は、実施例１の判定部２２０と同様に、計測装置１１０のプロセッサ１１１がメモリ１１２に格納されたプログラムを実行することによる機能ブロックである。Ｕ／Ｉ制御部１１４０も同様である。すなわち、以下の説明において判定部１１２０又はＵ／Ｉ制御部１１４０が実行する処理は、実際には、プロセッサ１１１がメモリ１１２に格納されたプログラムに従って実行する。
　判定部１１２０は、ピッチ抽出部１１２１、時空間判定部１１２２及び解析対象抽出部１１２３を含む。
　ピッチ抽出部１１２１は、骨格座標テーブル２３２を参照して、周期性のある動きを抽出して、その開始時刻及び終了時刻を特定してピッチテーブル１１３１に記録する。ピッチ抽出部１１２１の処理の詳細は図１３を参照して後述する。
　時空間判定部１１２２は、骨格座標テーブル２３２及び時空間制約テーブル１１３２を参照して、撮影された人物ごとの時空間該当率を計算し、その結果を判定結果テーブル１１３３に記録する。時空間判定部１１２２の処理の詳細は図１４を参照して後述する。
　解析対象抽出部１１２３は、骨格座標テーブル２３２及び判定結果テーブル１１３３を参照して、解析対象の人物に関する骨格座標データを抽出して、それを解析装置１００に送信する。解析装置１００は、解析対象抽出部１１２３から受信したデータを解析対象テーブル２５１に記録する。解析対象抽出部１１２３の処理の詳細は図１５を参照して後述する。
　Ｕ／Ｉ制御部１１４０は、入力装置１１５及び出力装置１１６を介したユーザインターフェース画面の表示及びユーザから入力された情報の受け付けを制御する。Ｕ／Ｉ制御部１１４０の処理及び提供されるユーザインターフェースの詳細は図１６及び図１７を参照して後述する。
　図１２は、実施例２に係る判定ＤＢ１１３０に格納されるテーブルの構成を示す。
　図１１に示すように、判定ＤＢ１１３０にはピッチテーブル１１３１、時空間制約テーブル１１３２及び判定結果テーブル１１３３が格納される。
　ピッチテーブル１１３１には、骨格座標テーブルから抽出された各人物の周期性のある動きの各周期の時間を特定する情報が記録される。具体的には、ピッチテーブル１１３１は、例えば図１２に示すように、人物１１３１－１、ピッチ１１３１－２、開始時刻１１３１－３及び終了時刻１１３１－４からなる。
　人物１１３１－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。ピッチ１１３１－２は、抽出された周期性のある動きの周期の順序を示す情報である。開始時刻１１３１－３及び終了時刻１１３１－４は、それぞれの周期の始点及び終点を示す情報である。
　例えば、図１２の先頭及び２番目のレコードは、識別情報「Ｐ１」によって識別される人物の骨格座標から周期性のある動き（例えば歩行等）が抽出され、その最初の周期（すなわち１ピッチ目）が２０１９年６月３０日１５時００分１０．００秒に始まって１１．２３秒に終わり、その次の周期（すなわち２ピッチ目）が１１．２３秒に始まって１２．４９秒に終わったことを示している。ここで、１つのピッチとは、例えば歩行の場合において、人物が左足を接地してから次に左足を接地するまでの周期など、繰り返しの単位となる１周期に相当する。
　時空間制約テーブル１１３２には、解析対象を選定するための時間的及び空間的な制約を示す情報が記録される。具体的には、時空間制約テーブル１１３２は、例えば図１２に示すように、種別１１３２－１、選択１１３２－２、ピッチ１１３２－３、縦範囲１１３２－４、横範囲１１３２－５及び時空間該当率１１３２－６からなる。
　種別１１３２－１は、動きの種類を示す。動きの種類の例として、自然歩行、ニーベント歩行（すなわち膝を曲げて重心を下げた状態での歩行）、又はカーフレーズ歩行（すなわち爪先立ちでの歩行）などが挙げられる。
　選択１１３２－２は、それぞれの動きの種別が抽出の対象として選択されたか否かを示す。例えば、「Ｔｒｕｅ」が選択されたことを、「Ｆａｌｓｅ」が選択されていないことを示す。図１２の例では、自然歩行が選択されており、ニーベント歩行は選択されていない。
　ピッチ１１３２－３は、抽出された周期性のある動きが行われた期間が複数の部分に分割されるときに、それぞれの部分を指定する情報である。
　縦範囲１１３２－４及び横範囲１１３２－５は、映像に含まれる人物が解析対象であるかを判定するための基準となる空間の範囲を指定する情報であり、抽出された周期性のある動きが行われた期間の部分ごとに指定される。
　時空間該当率１１３２－６は、縦範囲１１３２－４及び横範囲１１３２－５によって指定される範囲に含まれるレコードの割合（すなわち時空間該当率）の閾値を示す情報である。
　例えば、図１２に示す時空間制約テーブル１１３２の最初の二つのレコードによれば、周期性のある動きである「自然歩行」が抽出の対象として選択されている。そして、その動きが行われた期間（例えば解析対象の人物が合図に従って事前歩行を開始してから終了するまでの期間）が、０％～５０％（すなわち前半）の部分と５０％～１００％（すなわち後半）の部分とに分割される。
　前半に対応する縦範囲１１３２－４及び横範囲１１３２－５としてそれぞれ（２，５）及び（－２，０）が設定され、時空間該当率１１３２－６として「９０％」が設定される。後半に対応する縦範囲１１３２－４及び横範囲１１３２－５としてそれぞれ（２，５）及び（０，２）が設定され、時空間該当率１１３２－６として「８０％」が設定される。
　上記の例は、解析対象の人物に、あるスタート地点から折り返し地点まで歩行を開始してもらい、折り返し地点で折り返してスタート地点に隣接するゴール地点まで歩行してもらってその様子を撮影する場合などを想定している。すなわち周期性のある動き（例えば自然歩行）が行われた期間が、解析対象の人物がスタート地点からゴール地点まで歩行する期間に相当する。そのうち前半がスタート地点から折り返し地点まで、後半が折り返し地点からゴール地点までに相当する。
　例えば、上記のように、人物が左足を接地してから次に左足を接地するまでの周期などを１ピッチとした場合、１ピッチは２歩に相当する。例えばある人物の骨格座標からピッチ１から４までの４ピッチが抽出された場合、前半の２ピッチ（すなわち４歩）分の期間がスタート地点から折り返し地点までの期間、後半の２ピッチ（すなわち４歩）分の期間が折り返し地点からゴール地点までの期間として特定される。
　また、例えば前半と後半の歩行コースが平行して隣接するなど、前半と後半の歩行コースが異なっている場合には、それぞれに合わせて縦範囲１１３２－４及び横範囲１１３２－５を設定することができる。また、例えば目標物の有無などによって前半と後半における歩行コースからの外れやすさに差がある場合には、それに合わせて、前半と後半で異なる時空間該当率１１３２－６を設定することができる。
　なお、上記は一例であり、例えば人物がスタート地点からゴール地点までの直線上を１度だけ歩行する場合には、上記のようにピッチに基づいて分割をする必要はなく、最初のピッチから最後のピッチまでの期間を周期性のある動きが行われた期間として抽出することができる。また、例えば人物が矩形の領域の輪郭を１周するように歩行する場合、又は、ある区間を２往復以上歩行する場合などは、２より多くの部分への分割が行われてもよい。
　判定結果テーブル１１３３には、映像に含まれる人物が解析対象であるかを判定するために骨格座標テーブル２３２、ピッチテーブル１１３１及び時空間制約テーブル１１３２を参照して行われた計算の結果が記録される。具体的には、判定結果テーブル１１３３は、例えば図１２に示すように、人物１１３３－１、ピッチ１１３３－２及び時空間該当率１１３３－３からなる。
　人物１１３３－１は、映像に含まれる各人物の識別情報であり、骨格座標テーブル２３２の人物２３２－２に対応する。ピッチ１１３３－２は、抽出された周期性のある動きが行われた期間の部分を指定する情報であり、時空間制約テーブル１１３２のピッチ１１３２－３に対応する。時空間該当率１１３３－３には、各人物について計算された時空間該当率が記録される。これらの計算の詳細は図１４を参照して後述する。
　図１３は、実施例２に係るピッチ抽出部１１２１の処理を示すフローチャートである。
　最初に、ピッチ抽出部１１２１は、骨格座標テーブル２３２のレコードを取得する（Ｓ１３０１）。次に、ピッチ抽出部１１２１は、平滑化によって計測ノイズを除去する（Ｓ１３０２）。例えば、ピッチ抽出部１１２１は、取得した骨格座標テーブル２３２のレコードの関節座標を、人物の関節ごとに時系列に並べて、移動平均をとるなどの方法によって平滑化を行ってもよい。
　次に、ピッチ抽出部１１２１は、人物ごとの周波数解析によって、人物の動きの周期を示す時刻群を抽出する（Ｓ１３０３）。例えば、ピッチ抽出部１１２１は、平滑化された時系列の関節座標のデータをフーリエ変換するなどの方法によって、人物の動きの周期を抽出してもよい。
　次に、ピッチ抽出部１１２１は、人物ごと及びピッチごとに、抽出された周期の開始時刻及び終了時刻をピッチテーブル１１３１に格納する（Ｓ１３０４）。
　以上でピッチ抽出部１１２１の処理が終了する。
　図１４は、実施例２に係る時空間判定部１１２２の処理を示すフローチャートである。
　最初に、時空間判定部１１２２は、時空間制約テーブル１１３２を参照して、選択１１３２－２が「Ｔｒｕｅ」であるレコードを抽出し、抽出したレコードのピッチ１１３２－３に記録されている割合を保持する（Ｓ１４０１）。図１２の例では、先頭の二つのレコードが抽出され、ピッチ１１３２－３の値「５０％」及び「１００％」が保持される。
　次に、時空間判定部１１２２は、ピッチテーブル１１３１を参照して、人物ごとに、格納されているピッチの総数をカウントする（Ｓ１４０２）。次に、時空間判定部１１２２は、ステップＳ１４０１で保持されたピッチの割合と、ステップＳ１４０２でカウントされたピッチの総数とに基づいて、ピッチを分割する（Ｓ１４０３）。
　例えば、ステップＳ１４０２において図１２に示すピッチテーブル１１３１が参照された場合、人物「Ｐ１」に関して、最初の二つのレコードに格納されたのピッチ１及び２が抽出される。仮に、図１２では省略されているが、人物「Ｐ１」に関してさらにピッチ３及び４がピッチテーブル１１３１に格納されているとすると、ステップＳ１４０２ではピッチ１～４の４つのピッチがカウントされる。そして、ステップ１４０３では、それらの４つのピッチが、「０～５０％」（すなわち前半）に対応するピッチ１から２までの集合と、「５０～１００％」（すなわち後半）に対応するピッチ３から４までの集合とに分割される。
　次に、時空間判定部１１２２は、分割したピッチごとに、以下のステップＳ１４０４からＳ１４１０の処理を実行する。
　まず、時空間判定部１１２２は、分割したピッチの集合のうち一つを選択して、それに含まれる最初のピッチの開始時刻と最後のピッチの集合時刻とを取得する（Ｓ１４０４）。例えば図１２の人物Ｐ１のピッチ１、２からなる集合の場合、ピッチ１の開始時刻１１３１－３の値と、ピッチ２の終了時刻１１３１－４の値とが取得される。
　次に、時空間判定部１１２２は、骨格座標テーブル２３２から、ステップＳ１４０４で取得された開始時刻から終了時刻までの範囲内のレコードを抽出する（Ｓ１４０５）。
　次に、時空間判定部１１２２は、時空間制約テーブル１１３２から、選択された種別の、ピッチの割合が該当するレコードの縦範囲及び横範囲を取得する（Ｓ１４０６）。例えば自然歩行が選択されており、上記の通りピッチ１から４のうち０～５０％のピッチ１及び２が選択されている場合、それに対応する縦範囲１１３２－４の値（２，５）及び横範囲１１３２－５の値（－２，０）が取得される。
　次に、時空間判定部１１２２は、ステップＳ１４０５で抽出したレコードから、各関節座標の縦の値及び横の値を取得し（Ｓ１４０７）、それらが縦範囲及び横範囲に含まれるかを判定し、含まれると判定されたレコードの数を集計する（Ｓ１４０８）。なお、ここでの判定は、図９のステップＳ９０４と同様に行ってもよい。
　次に、時空間判定部１１２２は、ステップＳ１４０５で抽出したレコードの数に対する、ステップＳ１４０８で集計したレコードの数の割合から、時空間該当率を生成する（Ｓ１４０９）。
　次に、時空間判定部１１２２は、人物の識別情報と、ピッチの割合（例えば上記のようにピッチ１及び２が選択された場合には０～５０％であることを示す「５０％」）、及び、ステップＳ１４０９で生成された時空間該当率を、判定結果テーブル１１３３に格納する（Ｓ１４１０）。
　時空間判定部１１２２は、ステップＳ１４０３で分割されたピッチの集合の残りについても上記のステップＳ１４０４～Ｓ１４１０の処理を実行する。さらに、時空間判定部１１２２は、ピッチテーブル１１３１から抽出された全ての人物について上記の処理を実行する。
　以上で時空間判定部１１２２の処理が終了する。
　図１５は、実施例２に係る解析対象抽出部１１２３の処理を示すフローチャートである。
　最初に、解析対象抽出部１１２３は、時空間制約テーブル１１３２を参照して、選択１１３２－２が「Ｔｒｕｅ」であるレコードを抽出する（Ｓ１５０１）。
　次に、解析対象抽出部１１２３は、判定結果テーブル１１３３の全てのレコードを取得するまで、以下のステップＳ１５０２～Ｓ１５０３の処理を実行する。
　まず、解析対象抽出部１１２３は、判定結果テーブル１１３３からまだ取得していないレコードを取得して、取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上であるかを判定する（Ｓ１５０２）。ここで、取得したレコードに対応する時空間制約テーブル１１３２のレコードとは、選択１１３２－２の値が「Ｔｒｕｅ」であり、かつ、ピッチ１１３２－３の値が取得したレコードのピッチ１１３３－２の値と同じであるレコードである。
　取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上である場合（Ｓ１５０２：Ｙｅｓ）、解析対象抽出部１１２３は、取得したレコードの人物１１３３－１の値及びピッチ１１３３－２の値に対応する該当フラグを保持する（Ｓ１５０３）。
　一方、取得したレコードの時空間該当率１１３３－３の値が、取得したレコードに対応する時空間制約テーブル１１３２のレコードの時空間該当率１１３２－６の値以上でない場合（Ｓ１５０２：Ｎｏ）、解析対象抽出部１１２３はステップＳ１５０３を実行しない。
　判定結果テーブル１１３３の全てのレコードについて上記のステップＳ１５０２～Ｓ１５０３の処理が終了すると、解析対象抽出部１１２３は、対応する全てのピッチにおいて該当フラグが保持されている人物を保持する（Ｓ１５０４）。
　ここで、図１２に示すような時空間制約テーブル１１３２が設定されている場合において、図１２に示すような判定結果テーブル１１３３が得られた場合のステップＳ１５０４を説明する。人物「Ｐ１」については、前半の時空間該当率１１３３－３が「１００％」であり、対応する閾値（すなわち時空間該当率１１３２－６の値）「９０％」以上であるが、後半の時空間該当率１１３３－３は「０％」であり、対応する閾値「８０％」より小さい。人物「Ｐ２」については、前半の時空間該当率１１３３－３「９６％」及び後半の時空間該当率１１３３－３「９０％」がいずれも対応する閾値以上である。人物「Ｐ３」については、前半の時空間該当率１１３３－３「０％」及び後半の時空間該当率１１３３－３「３％」がいずれも対応する閾値より小さい。このため、ステップＳ１５０４では人物「Ｐ２」が保持される。
　次に、解析対象抽出部１１２３は、ステップＳ１５０４において保持した人物の識別情報が人物２３２－２として記録されているレコードを骨格座標テーブル２３２から抽出して（Ｓ１５０５）、それを解析対象テーブル２５１に格納する（Ｓ１５０６）。解析対象テーブル２５１は解析装置１００に送信され、解析ＤＢ２５０に格納される。
　その後、解析対象抽出部２２３は、深度テーブル２３１、骨格座標テーブル２３２及び判定結果テーブル１１３３から、上記の処理が終了したレコードを消去する（Ｓ１５０７）。以上で解析対象抽出部２２３の処理が終了する。
　図１６は、実施例２に係るＵ／Ｉ制御部１１４０の処理を示すフローチャートである。
　Ｕ／Ｉ制御部１１４０は、処理を開始すると、まず時空間制約テーブル１１３２を参照し（Ｓ１６０１）、次に深度テーブル２３１及び骨格座標テーブル２３２を参照し（Ｓ１６０２）、次に制約設定画面を表示する（Ｓ１６０３）。制約設定画面の例については図１７を参照して後述する。
　次に、Ｕ／Ｉ制御部１１４０は、制約設定画面を介して何らかの情報が入力されたかを判定し（Ｓ１６０４）、入力された場合（Ｓ１６０４：Ｙｅｓ）、入力された情報に従ってテーブルの内容を更新する（Ｓ１６０５）。
　その後、Ｕ／Ｉ制御部１１４０は、制約設定画面を閉じる指示が入力されたかを判定し（Ｓ１６０６）、入力されなければ（Ｓ１６０６：Ｎｏ）ステップＳ１６０４に戻る。制約設定画面を閉じる指示が入力された場合（Ｓ１６０６：Ｙｅｓ）、Ｕ／Ｉ制御部１１４０は処理を終了する。
　図１７は、実施例２において表示される制約設定画面を示す。
　図１７に示す制約設定画面１７００は、出力装置１１６によって表示される画面であり、時空間該当率設定部１７０１、ピッチ分割数設定部１７０２、ピッチ選択部１７０３、空間指定部１７０４、設定ボタン１７０８及び閉じるボタン１７０９を含む。
　時空間該当率設定部１７０１は、それぞれの動きの種別（例えば自然歩行、ニーベント歩行及びカーフレーズ歩行等）ごと、及び、その動きが行われた期間をピッチ数の割合（例えば０～５０％及び５０～１００％等）に基づいて分割した部分ごとの時空間該当率１１３２－６を設定するための領域である。ユーザは、この領域に、所望の時空間該当率の閾値を入力することができる。
　ピッチ分割数設定部１７０２は、周期性のある動きが行われた期間をいくつの部分に分割するかを設定するための領域である。ユーザは、この領域に、所望の分割数を入力することができる。
　ピッチ選択部１７０３は、どの種別の動きのピッチを選択するかを設定するための領域である。例えば、ユーザは、時空間該当率設定部１７０１においていずれかの動きの種別を設定して、ピッチ選択部１７０３において選択の入力をすると、その動きの種別に対応する選択１１３２－２が「Ｔｒｕｅ」に設定される。
　空間指定部１７０４は、時空間制約テーブル１１３２の縦範囲１１３２－４及び横範囲１１３２－５を設定するための領域である。この領域には、例えば、撮影装置１１７が解析対象の人物１７０６の動きを撮影するための空間の平面図が表示されてもよい。図１７の例では、撮影装置１１７、撮影装置１１７による撮影範囲１７０５が表示されている。ユーザが入力装置１１５を操作して例えば空間の制約を示す矩形１７０７の位置及び大きさを設定することによって、その矩形１７０７によって区切られる空間内の縦範囲１１３２－４及び横範囲１１３２－５を設定することができる。
　ユーザが上記の領域に所望の情報を入力して設定ボタン１７０８を操作すると、入力された情報が時空間制約テーブル１１３２に反映される。また、ユーザが閉じるボタン１７０９を操作すると、制約設定画面１７００が閉じる。
　実施例１では説明を省略したが、実施例１の時間制約テーブル２４１及び空間制約テーブル２４２の内容も上記と同様に画面を通じたＵ／Ｉによって設定することができる。
　以上の本発明の実施例によれば、計測データの時間と空間との関係性の該当率を閾値判定することで、システムが想定する計測プロトコルに則らない動作を概ね除去することができる。これによって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。
　上記の本発明の実施形態は、次のような例を含む。
　（１）プロセッサ（例えばプロセッサ１１１）と、記憶部（例えばメモリ１１２及び記憶装置１１３の少なくとも一方）と、を有する計測装置（例えば計測装置１１０）であって、記憶部は、撮影装置（例えば撮影装置１１７）によって取得された時刻ごとの計測データ（例えば深度テーブル２３１）と、時空間の制約（例えば時間制約テーブル２４１及び空間制約テーブル２４２、又は、時空間制約テーブル１１３２）と、を保持する。プロセッサは、時刻ごとの計測データから物体の位置を抽出し（例えば骨格座標推定部２１２の処理）、物体が時空間の制約を満たすかを判定し（例えば時間判定部及び空間判定部の処理、又は、時空間判定部の処理）、物体が時空間の制約を満たすかの判定の結果に基づいて、物体が解析対象かを判定する（例えば解析対象抽出部２２３又は解析対象抽出部１１２３の処理）。
　これによって、計測誤差及び映り込みのノイズが多い環境下でも、解析手法に影響を与えることなく必要な計測データを抽出することが可能となる。
　（２）上記（１）において、時空間の制約は、時間の制約（例えば時間制約テーブル２４１）及び空間の制約（例えば空間制約テーブル２４２）を含んでもよい。プロセッサは、物体が時間の制約を満たすかを判定し（例えば時間判定部２２１の処理）、物体が空間の制約を満たすかを判定し（例えば空間判定部２２２の処理）、物体が時間の制約を満たすかの判定及び物体が空間の制約を満たすかの判定の結果に基づいて、物体が解析対象かを判定してもよい。
　（３）上記（２）において、時間の制約は、時間の範囲（例えば開始時２４１－１及び終了時２４１－２）を含んでもよい。プロセッサは、物体の位置が抽出された計測データに対する、時刻が時間の範囲に含まれる計測データの割合である時間該当率（例えば時間該当率２４３－２）を計算し、時間該当率に基づいて、物体が時間の制約を満たすかを判定してもよい。
　（４）上記（３）において、時間の制約は、時間該当率の閾値（例えば時間率２４１－３）を含んでもよい。プロセッサは、時間該当率が時間該当率の閾値以上である場合に、物体が時間の制約を満たすと判定してもよい。
　（５）上記（２）において、空間の制約は、撮影装置によって撮影される空間に含まれる空間の範囲（例えば縦範囲２４２－１及び横範囲２４２－２）を含んでもよい。プロセッサは、物体の位置が抽出された計測データに対する、物体の位置が空間の範囲に含まれる前記計測データの割合である空間該当率（例えば空間該当率２４３－３）を計算し、空間該当率に基づいて、物体が空間の制約を満たすかを判定してもよい。
　（６）上記（５）において、空間の制約は、空間該当率の閾値（例えば空間率２４２－３）を含んでもよい。プロセッサは、空間該当率が空間該当率の閾値以上である場合に、物体が空間の制約を満たすと判定してもよい。
　上記（２）～（６）によれば、物体が時間の制約及び空間の制約のそれぞれを満たしているかを判断して、解析対象であるかを判定することができる。それぞれの制約を独立に設定することで、状況に応じた柔軟な判定をすることができる。
　（７）上記（１）において、時空間の制約は、計測データに基づいて時間の範囲を特定する条件（例えば時空間制約テーブル１１３２の種別１１３２－１～ピッチ１１３２－３）と、時間の範囲に対応する空間の範囲（例えば縦範囲１１３２－４及び横範囲１１３２－５）と、を含んでもよい。プロセッサは、条件に基づいて特定された時間の範囲内の計測データに対する、物体の位置が空間の範囲に含まれる計測データの割合である時空間該当率（例えば時空間該当率１１３３－３）を計算し（例えば時空間判定部１１２２の処理）、時空間該当率に基づいて、物体が時空間の制約を満たすかを判定してもよい。
　（８）上記（７）において、時空間の制約は、時空間該当率の閾値（例えば時空間該当率１１２３－６）を含んでもよい。プロセッサは、時空間該当率が時空間該当率の閾値以上である場合に、物体が時空間の制約を満たすと判定してもよい。
　（９）上記（８）において、物体は人物であり、
　計測データに基づいて時間の範囲を特定する条件は、人物の動きの種類を選択する情報（例えば種別１１３２－１及び選択１１３２－２）を含み、
　条件に基づいて特定された時間の範囲は、計測データに基づいて特定された、選択された人物の動きが行われた期間（例えばピッチ１１３２－３の値に該当するピッチ１１３１－２の開始時刻１１３１－３及び終了時刻１１３１－４によって特定される期間）であってもよい。
　（１０）上記（９）において、計測データに基づいて時間の範囲を特定する条件は、人物の周期性のある動きの種類を選択する情報（例えば種別１１３２－１及び選択１１３２－２）と、周期性のある動き（例えば歩行など）が行われた期間を複数の時間の範囲に分割するために周期（例えばピッチ）の数の割合を指定する情報（例えばピッチ１１３２－３）とを含み、時間の範囲に対応する空間の範囲及び時空間該当率の閾値は、時間の範囲ごと（例えばピッチ１１３２－３の値ごと）に設定されてもよい。プロセッサは、計測データに基づいて、周期性のある動きが行われた期間（例えばピッチテーブル１１３０に格納された一人の人物の全ピッチのうち最初のピッチの開始時刻１１３１－３から最後のピッチの終了時刻１１３１－４までの期間）を、指定された周期の数の割合に応じて（例えば０～５０％に相当する前半２ピッチの期間と５０～１００％に相当する後半２ピッチの期間などに）分割することによって、複数の時間の範囲を特定し、特定された時間の範囲ごとに、時空間該当率を計算してもよい。
　上記（７）～（１０）によれば、物体の動きに応じて適切に時間の範囲を特定することができるため、適切に解析対象であるかの判定を行うことができる。
　（１１）上記（１）において、物体は人物であってもよい。プロセッサは、人物の１以上の関節の位置（例えば骨格座標テーブル２３２の各関節の座標値）を物体の位置として抽出し、計測データから抽出された、解析対象であると判定された人物の１以上の関節の位置を、解析対象のデータ（例えば解析対象テーブル２５１）として出力してもよい。
　（１２）上記（１１）において、撮影装置は、計測データとして深度データを取得する深度カメラであり、プロセッサは、深度データに基づいて人物の１以上の関節の位置を抽出してもよい。
　（１３）上記（１１）において、撮影装置は、計測データとして可視光又は不可視光による映像データを取得するカメラであってもよい。プロセッサは、映像データに基づいて人物の１以上の関節の位置を抽出してもよい。
　上記（１１）～（１３）によれば、解析対象の人物以外の人物が写りこんでいる可能性がある映像から、解析対象の人物を抽出することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
　また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

Claims (14)

  1. 　プロセッサと、記憶部と、を有する計測装置であって、
    　前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、
    　前記プロセッサは、
    　前記時刻ごとの計測データから物体の位置を抽出し、
    　前記物体が前記時空間の制約を満たすかを判定し、
    　前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定することを特徴とする計測装置。
  2. 　請求項１に記載の計測装置であって、
    　前記時空間の制約は、時間の制約及び空間の制約を含み、
    　前記プロセッサは、
    　前記物体が前記時間の制約を満たすかを判定し、
    　前記物体が前記空間の制約を満たすかを判定し、
    　前記物体が前記時間の制約を満たすかの判定及び前記物体が前記空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定することを特徴とする計測装置。
  3. 　請求項２に記載の計測装置であって、
    　前記時間の制約は、時間の範囲を含み、
    　前記プロセッサは、
    　前記物体の位置が抽出された前記計測データに対する、前記時刻が前記時間の範囲に含まれる前記計測データの割合である時間該当率を計算し、
    　前記時間該当率に基づいて、前記物体が前記時間の制約を満たすかを判定することを特徴とする計測装置。
  4. 　請求項３に記載の計測装置であって、
    　前記時間の制約は、前記時間該当率の閾値を含み、
    　前記プロセッサは、前記時間該当率が前記時間該当率の閾値以上である場合に、前記物体が前記時間の制約を満たすと判定することを特徴とする計測装置。
  5. 　請求項２に記載の計測装置であって、
    　前記空間の制約は、前記撮影装置によって撮影される空間に含まれる空間の範囲を含み、
    　前記プロセッサは、
    　前記物体の位置が抽出された前記計測データに対する、前記物体の位置が前記空間の範囲に含まれる前記計測データの割合である空間該当率を計算し、
    　前記空間該当率に基づいて、前記物体が前記空間の制約を満たすかを判定することを特徴とする計測装置。
  6. 　請求項５に記載の計測装置であって、
    　前記空間の制約は、前記空間該当率の閾値を含み、
    　前記プロセッサは、前記空間該当率が前記空間該当率の閾値以上である場合に、前記物体が前記空間の制約を満たすと判定することを特徴とする計測装置。
  7. 　請求項１に記載の計測装置であって、
    　前記時空間の制約は、前記計測データに基づいて時間の範囲を特定する条件と、前記時間の範囲に対応する空間の範囲と、を含み、
    　前記プロセッサは、前記条件に基づいて特定された時間の範囲内の前記計測データに対する、前記物体の位置が前記空間の範囲に含まれる前記計測データの割合である時空間該当率を計算し、
    　前記時空間該当率に基づいて、前記物体が前記時空間の制約を満たすかを判定することを特徴とする計測装置。
  8. 　請求項７に記載の計測装置であって、
    　前記時空間の制約は、前記時空間該当率の閾値を含み、
    　前記プロセッサは、前記時空間該当率が前記時空間該当率の閾値以上である場合に、前記物体が前記時空間の制約を満たすと判定することを特徴とする計測装置。
  9. 　請求項８に記載の計測装置であって、
    　前記物体は人物であり、
    　前記計測データに基づいて時間の範囲を特定する条件は、人物の動きの種類を選択する情報を含み、
    　前記条件に基づいて特定された時間の範囲は、前記計測データに基づいて特定された、前記選択された人物の動きが行われた期間であることを特徴とする計測装置。
  10. 　請求項９に記載の計測装置であって、
    　前記計測データに基づいて時間の範囲を特定する条件は、人物の周期性のある動きの種類を選択する情報と、前記周期性のある動きが行われた期間を複数の前記時間の範囲に分割するために周期の数の割合を指定する情報とを含み、
    　前記時間の範囲に対応する空間の範囲及び前記時空間該当率の閾値は、前記時間の範囲ごとに設定され、
    　前記プロセッサは、
    　前記計測データに基づいて、前記周期性のある動きが行われた期間を、前記指定された周期の数の割合に応じて分割することによって、前記複数の時間の範囲を特定し、
    　前記特定された時間の範囲ごとに、前記時空間該当率を計算することを特徴とする計測装置。
  11. 　請求項１に記載の計測装置であって、
    　前記物体は人物であり、
    　前記プロセッサは、
    　前記人物の１以上の関節の位置を前記物体の位置として抽出し、
    　前記計測データから抽出された、前記解析対象であると判定された人物の前記１以上の関節の位置を、解析対象のデータとして出力することを特徴とする計測装置。
  12. 　請求項１１に記載の計測装置であって、
    　前記撮影装置は、前記計測データとして深度データを取得する深度カメラであり、
    　前記プロセッサは、前記深度データに基づいて前記人物の１以上の関節の位置を抽出することを特徴とする計測装置。
  13. 　請求項１１に記載の計測装置であって、
    　前記撮影装置は、前記計測データとして可視光又は不可視光による映像データを取得するカメラであり、
    　前記プロセッサは、前記映像データに基づいて前記人物の１以上の関節の位置を抽出することを特徴とする計測装置。
  14. 　プロセッサと、記憶部と、を有する計測装置が実行する計測方法であって、
    　前記記憶部は、撮影装置によって取得された時刻ごとの計測データと、時空間の制約と、を保持し、
    　前記計測方法は、
    　前記プロセッサが、前記時刻ごとの計測データから物体の位置を抽出する手順と、
    　前記プロセッサが、前記物体が前記時空間の制約を満たすかを判定する手順と、
    　前記プロセッサが、前記物体が前記時空間の制約を満たすかの判定の結果に基づいて、前記物体が解析対象かを判定する手順と、を含むことを特徴とする計測方法。
PCT/JP2020/032451 2019-12-26 2020-08-27 計測装置及び計測方法 WO2021131159A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20905149.9A EP4083568A4 (en) 2019-12-26 2020-08-27 MEASURING DEVICE AND MEASURING METHOD
CN202080056914.3A CN114222529B (zh) 2019-12-26 2020-08-27 计测装置及计测方法
US17/642,903 US20220366560A1 (en) 2019-12-26 2020-08-27 Measurement apparatus and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236325A JP7198196B2 (ja) 2019-12-26 2019-12-26 計測装置及び計測方法
JP2019-236325 2019-12-26

Publications (1)

Publication Number Publication Date
WO2021131159A1 true WO2021131159A1 (ja) 2021-07-01

Family

ID=76575832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032451 WO2021131159A1 (ja) 2019-12-26 2020-08-27 計測装置及び計測方法

Country Status (5)

Country Link
US (1) US20220366560A1 (ja)
EP (1) EP4083568A4 (ja)
JP (1) JP7198196B2 (ja)
CN (1) CN114222529B (ja)
WO (1) WO2021131159A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276010A (ja) * 2004-03-26 2005-10-06 San Electronics Kk 画像センサ
JP2016179171A (ja) 2015-03-24 2016-10-13 富士ゼロックス株式会社 立位姿勢評価装置
WO2017130902A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017202236A (ja) 2016-05-13 2017-11-16 花王株式会社 歩行分析方法及び歩行分析装置
JP2019121904A (ja) * 2018-01-04 2019-07-22 富士通株式会社 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288786A (ja) * 2001-03-26 2002-10-04 Sumitomo Electric Ind Ltd 広域渋滞判定方法、広域渋滞判定システム及び判定装置
JP3815689B2 (ja) * 2003-11-20 2006-08-30 松下電器産業株式会社 移動物体検出装置及び移動物体検出方法
JP4257421B2 (ja) * 2003-11-28 2009-04-22 独立行政法人産業技術総合研究所 動作体運動データ分節処理装置。
JP3910629B2 (ja) * 2004-08-03 2007-04-25 松下電器産業株式会社 人物判定装置及び人物検索追跡装置
KR20150004461A (ko) * 2013-07-02 2015-01-13 한양대학교 산학협력단 HY R-score: 깊이 영상을 이용한 환자 상태 평가 방법 및 장치
JP6341708B2 (ja) * 2014-03-17 2018-06-13 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US10121066B1 (en) * 2017-11-16 2018-11-06 Blast Motion Inc. Method of determining joint stress from sensor data
CN109919137B (zh) * 2019-03-28 2021-06-25 广东省智能制造研究所 一种行人结构化特征表达方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276010A (ja) * 2004-03-26 2005-10-06 San Electronics Kk 画像センサ
JP2016179171A (ja) 2015-03-24 2016-10-13 富士ゼロックス株式会社 立位姿勢評価装置
WO2017130902A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017202236A (ja) 2016-05-13 2017-11-16 花王株式会社 歩行分析方法及び歩行分析装置
JP2019121904A (ja) * 2018-01-04 2019-07-22 富士通株式会社 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083568A4

Also Published As

Publication number Publication date
EP4083568A1 (en) 2022-11-02
EP4083568A4 (en) 2023-12-06
CN114222529B (zh) 2023-11-14
JP2021104160A (ja) 2021-07-26
US20220366560A1 (en) 2022-11-17
CN114222529A (zh) 2022-03-22
JP7198196B2 (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
US20220036559A1 (en) Method and apparatus for determining volumetric data of a predetermined anatomical feature
US20210366152A1 (en) Method and apparatus with gaze estimation
JP6666488B2 (ja) 画像抽出装置
US20150310262A1 (en) Apparatus and method of determining facial expression type
JP2017504370A (ja) 創傷アセスメントおよびマネジメントのための方法およびシステム
KR101957811B1 (ko) 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치
Mousse et al. Percentage of human-occupied areas for fall detection from two views
EP3373194B1 (en) Image retrieval apparatus and image retrieval method
US20200196913A1 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
US9220462B2 (en) Imaging sensor and method for biometric mapping of facial skin
CN111598046A (zh) 人脸遮挡检测方法及人脸遮挡检测装置
JP6413310B2 (ja) 見守り装置、表示方法及びプログラム
Banerjee et al. Exploratory analysis of older adults’ sedentary behavior in the primary living area using kinect depth data
Duncan et al. Applications of 3D photography in craniofacial surgery
WO2021131159A1 (ja) 計測装置及び計測方法
JP2021505264A (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
JP5852530B2 (ja) 移動体追跡表示装置、移動体追跡表示方法およびプログラム
CN116110116A (zh) 通过联合边缘和云计算维护隐私的人类动作识别、存储和检索
Yadollahi et al. Separation of overlapping dental arch objects using digital records of illuminated plaster casts
WO2023013099A1 (ja) 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
WO2019237286A1 (zh) 一种筛选局部特征点的方法及装置
JP6118783B2 (ja) 核医学画像の処理及び表示
Wang et al. Visual bubble: Protecting privacy in wearable cameras
JP5730228B2 (ja) 核医学画像の処理及び表示
WO2022054439A1 (ja) 医用画像処理システム、医用画像処理方法、情報処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020905149

Country of ref document: EP

Effective date: 20220726