WO2023013099A1 - 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム - Google Patents

計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム Download PDF

Info

Publication number
WO2023013099A1
WO2023013099A1 PCT/JP2022/002448 JP2022002448W WO2023013099A1 WO 2023013099 A1 WO2023013099 A1 WO 2023013099A1 JP 2022002448 W JP2022002448 W JP 2022002448W WO 2023013099 A1 WO2023013099 A1 WO 2023013099A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
measurement data
data
similarity
condition
Prior art date
Application number
PCT/JP2022/002448
Other languages
English (en)
French (fr)
Inventor
弘充 中川
毅 田中
大輔 福井
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Publication of WO2023013099A1 publication Critical patent/WO2023013099A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a measurement system, a measurement device, a measurement data processing method, and a measurement data processing program.
  • preventive medical services are one of the fields with high expectations in view of aging medical care.
  • Preventive medicine is not the idea of treating people after they become ill, but the idea of clarifying possible health risks that may occur to anyone in the future, and continuously maintaining and promoting their health to prevent illness. be.
  • the measurement data obtained in daily life has variations in measurement conditions, making it difficult to perform highly reliable analysis.
  • the measurement data obtained in daily life has variations in measurement conditions, making it difficult to perform highly reliable analysis.
  • there are differences in conditions such as one user photographing walking from the front and another user photographing the state of walking from the side. and the two gaits cannot be simply compared.
  • Patent Literature 1 discloses that feature dictionary data is created from comprehensively collected camera images at multiple locations and heterogeneous data. As a result, highly reliable analysis can be realized.
  • Patent Literature 2 discloses analyzing teacher data and controlling a camera so as to shoot test data under the same shooting conditions. As a result, highly reliable analysis can be realized.
  • Patent Document 1 With the technology of Patent Document 1, highly reliable analysis is possible, but there is a problem that the cost of collecting a large amount of data is high.
  • Patent Document 2 Although the technique of Patent Document 2 can perform highly reliable analysis, there is the problem that the camera control does not take into consideration the restrictions on the shooting location.
  • one representative measurement system and measurement device of the present invention includes a measurement data acquisition unit that acquires measurement data of a target, and a processing unit that processes the measurement data, The processing unit estimates a skeleton of the target living body from the measurement data, estimates measurement conditions related to the measurement data using the estimation result of the skeleton, and compares the measurement conditions with presupposed conditions. is obtained, and measurement data relating to the evaluation of the state of the object is selected based on the similarity.
  • one of the typical measurement data processing methods of the present invention includes a measurement data acquisition step of acquiring measurement data of a target, a skeleton estimation step of estimating a skeleton of the target living body from the measurement data, and A condition estimation step of estimating a measurement condition related to the measurement data using the estimation result of the skeleton; a similarity calculation step of obtaining a similarity between the measurement condition and a previously assumed assumed condition; and based on the similarity and a selection step of selecting measurement data relating to the evaluation of the state of the object.
  • one of the representative measurement data processing programs of the present invention includes a process of receiving measurement data of a target, a process of estimating the skeleton of the living body as the target from the measurement data, and estimating the skeleton.
  • FIG. 2 is a physical configuration diagram of the entire system according to the first embodiment;
  • FIG. 2 is a functional configuration diagram of the entire system according to the first embodiment;
  • FIG. Explanatory drawing which shows the structure of the table which measurement DB stores.
  • Explanatory drawing which shows the structure of the table which determination DB stores.
  • Explanatory drawing which shows the structure of the table which analysis DB stores.
  • 4 is a flowchart showing the flow of depth recording processing; 4 is a flowchart showing the flow of skeleton coordinate estimation processing.
  • 4 is a flowchart showing the flow of measurement condition estimation processing.
  • 4 is a flowchart showing the flow of similarity calculation processing.
  • 4 is a flowchart showing the flow of analysis target selection processing.
  • 10 is a logical configuration diagram of the entire system according to the second embodiment; 4 is a flowchart showing the flow of determination control processing; 4 is a flowchart showing the flow of measurement condition determination processing; 4 is a flowchart showing the flow of U/I control processing; Explanatory drawing which shows an example of a structure of a measurement condition confirmation screen.
  • an "interface unit” is one or more interface devices.
  • the one or more interfaces may be one or more similar interface devices (e.g. one or more NICs (Network Interface Cards)) or two or more different types of interface devices (e.g. NIC and HBA (Host Bus Adapter)). There may be.
  • NICs Network Interface Cards
  • HBA Home Bus Adapter
  • a “storage unit” is one or more memories.
  • the at least one memory may be volatile memory or non-volatile memory.
  • the storage unit may include one or more PDEVs in addition to one or more memories.
  • PDEV means physical storage, which can typically be non-volatile storage (eg, secondary storage).
  • the PDEV may be, for example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • a "processor unit” is one or more processors. At least one processor is typically a CPU (Central Processing Unit). A processor may include hardware circuitry that performs some or all of the processing.
  • CPU Central Processing Unit
  • the function may be described using the expression "kkk unit” (excluding the interface unit, storage unit, and processor unit), but the function is defined as one or more computer programs executed by the processor unit. or by one or more hardware circuits (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)).
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the program source may be, for example, a program distribution computer or a computer-readable recording medium (for example, a non-temporary recording medium).
  • the description of each function is an example, and multiple functions may be combined into one function, or one function may be divided into multiple functions.
  • the information may be described using expressions such as "xxx table”, but the information may be expressed in any data structure. That is, the "xxx table” can be referred to as "xxx information” to indicate that the information is data structure independent. Also, in the following description, the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of two or more tables may be one table. good.
  • time is expressed in units of year, month, day, hour, minute, and second, but the unit of time may be coarser or finer than that, or may be different.
  • data set means data consisting of one or more data elements (a logical chunk of electronic data), for example, any one of records, files, key-value pairs and tuples. It's okay.
  • FIG. 1 shows the physical configuration of the entire system according to the first embodiment.
  • the measurement system shown in FIG. 1 has a configuration in which an analysis device 100 is connected to a plurality of measurement devices 110 via a network 120 .
  • the analysis device 100 is a device that analyzes data. Analysis device 100 has network interface 104, memory 102, storage device 103, and processor 101 connected thereto. The analysis device 100 expands the programs stored in the storage device 103 into the memory 102 and sequentially executes them by the processor 101, thereby realizing a data analysis function.
  • the analysis apparatus 100 learns a machine learning model using measurement data obtained by measuring a person's walking state and the person's health condition as learning data, thereby obtaining an index indicating the health condition from natural walking. Quantify. This index is useful for evaluating orthopedic and cranial nervous system diseases that affect locomotory functions.
  • the analysis device 100 collects measurement data from multiple measurement devices 110 via the network 120 and network interface 104 .
  • the measurement data can be used for learning a machine learning model and for evaluating health conditions by a machine learning model that has already been trained.
  • the measuring device 110 has a processor 111 , a memory 112 , a storage device 113 , a network interface 114 , an input device 115 , an output device 116 and a sensor 117 .
  • the input device 115 is an interface that receives input from the operator of the measuring device 110, and includes, for example, operation buttons, a keyboard, and a touch panel.
  • the output device 116 is an interface for outputting to the operator, such as a display device.
  • the sensor 117 is a device that acquires measurement data. Any sensor can be used as the sensor 117, but in this embodiment, an image capturing device (for example, a Time-of-Flight Camera, etc.) captures images in chronological order and associates depth data with each pixel. ) as the sensor 117 will be described.
  • an image capturing device for example, a Time-of-Flight Camera, etc.
  • the measuring device 110 expands the programs stored in the storage device 113 into the memory 112 and sequentially executes them by the processor 111, thereby realizing various functions. Functions of the measurement device 110 will be described with reference to FIG.
  • FIG. 2 is a functional configuration diagram of the entire system according to the first embodiment.
  • the measurement device 110 has an imaging device 200 , a measurement unit 210 , a determination unit 220 , a measurement DB (database) 230 and a determination DB 240 .
  • the imaging device 200 is one of the sensors 117 and, as already described, acquires time-series image data and depth data as measurement data.
  • the measuring unit 210 and the determining unit 220 are functions implemented by the processor 111 executing programs.
  • a measurement DB 230 and a determination DB 240 are stored in the storage device 113 .
  • the measuring unit 210 has a depth recording unit 211 and a skeleton coordinate estimating unit 212 .
  • the depth recording unit 211 stores the measurement data as a depth table 231 in the measurement DB 230 .
  • a skeleton coordinate estimation unit 212 estimates the skeleton of the target living body from the measurement data.
  • the skeletal coordinate estimation unit 212 refers to the depth table 231 to estimate the joint coordinates of the person to be measured, and stores them as the skeletal coordinate table 232 in the measurement DB 230 .
  • the determination unit 220 has a measurement condition estimation unit 221 , a similarity calculation unit 222 and an analysis target selection unit 223 .
  • the measurement condition estimating unit 221 estimates the measurement condition related to the measurement data using the skeleton estimation result. Specifically, the measurement condition estimation unit 221 calculates the horizontal plane and walking direction from the ground coordinates of the skeleton data, and obtains the measurement conditions such as the walking distance and angle from the horizontal plane, the walking direction, and the camera coordinate system. In addition, the measurement conditions can include the installation height and shooting direction of the camera.
  • the measurement condition estimator 221 stores the estimated measurement conditions as a measurement condition table 241 in the determination DB 240 .
  • the similarity calculation unit 222 determines the degree of similarity between the measurement conditions and the assumed conditions assumed in advance, and assigns it to the measurement data. Specifically, the similarity calculation unit 222 obtains the similarity using a value obtained by normalizing the difference between the measurement condition and the assumed condition, and stores it in the determination DB 240 as a similarity table 243 .
  • the analysis target selection unit 223 selects measurement data based on the degree of similarity. Specifically, the analysis target selection unit 223 determines whether or not the similarity is equal to or greater than the similarity threshold for each item, stores it in the determination result table 244, and selects measurement data from the determination result of each item. , to the analyzer 100 .
  • the assumed condition used by the similarity calculation unit 222 and the similarity threshold used by the analysis target selection unit are stored in the determination DB 240 as an assumed condition table 242 .
  • the analysis device 100 stores the data received from the measurement device 110 in the analysis DB 250 as the analysis target table 251 .
  • the analysis DB 250 is constructed inside the storage device 103 of the analysis device 100 .
  • the analysis device 100 can use the data in the analysis target table for learning of a learning model and evaluation of targets.
  • FIG. 3 is an explanatory diagram showing the structure of a table stored in the measurement DB.
  • the depth table 231 stored in the measurement DB 230 is a table that associates the measurement time with the depth value of each pixel.
  • one row in the depth table 231 indicates one image acquired at a certain time, and for the sake of convenience, one row is defined as one record and called a depth record.
  • the data acquired along the time series for a certain time range specifically, a time range that can include several steps or more, is treated as a group of measurement data.
  • a plurality of depth records corresponding to the time range are used as one measurement data group.
  • the skeleton coordinate table 232 stored in the measurement DB 230 is a table that associates the measurement time with the coordinates of each joint.
  • One row in the skeletal coordinate table 232 indicates the coordinates of a plurality of joints included in one image acquired at a certain time.
  • a plurality of skeletal coordinate records corresponding to the time range also correspond to one group of measurement data.
  • FIG. 4 is an explanatory diagram showing the structure of a table stored in the judgment DB.
  • a measurement condition table 241 stored in the determination DB 240 is a table having items of installation height, camera depression angle, walking distance, and traveling direction.
  • the installation height indicates how high the photographing device 200 is installed with respect to the floor on which the target person walks.
  • the camera depression angle is a height component in the imaging direction of the imaging device 200 with respect to the walking direction.
  • Walked distance indicates the distance walked by the subject.
  • the traveling direction is the horizontal component of the photographing direction of the photographing device 200 with respect to the walking direction.
  • Measurement conditions are obtained for the measurement data group. That is, one measurement condition is obtained from a plurality of skeletal coordinate records corresponding to a predetermined time range.
  • the items of the measurement condition table 241 are referred to as condition columns of the measurement condition table 241 for convenience.
  • the assumed condition table 242 shows items such as installation height, camera depression angle, walking distance, traveling direction, and similarity threshold.
  • the items of installation height, camera depression angle, walking distance, and traveling direction are the same as those of the measurement condition table 241, but while the measurement condition table 241 indicates the conditions at the time of acquisition of the measurement data, the assumption condition table 242 It is a value that assumes in advance desirable conditions when acquiring measurement data. Also, the similarity threshold is used when selecting measurement data as data to be analyzed.
  • the similarity table 243 indicates the degree of similarity between each item (condition column) of the measurement condition table 241 and the assumed conditions shown in the assumed condition table 242 .
  • the items of the similarity table 243 are referred to as condition columns of the similarity table 243 for convenience.
  • the determination result table 244 for each item (condition column) of the measurement condition table 241, if the similarity is equal to or greater than the similarity threshold of the assumed condition table 242, "true” is displayed, and if the similarity is less than the similarity threshold, "false " is stored.
  • FIG. 5 is an explanatory diagram showing the structure of a table stored in the analysis DB.
  • An analysis target table 251 stored in the analysis DB 250 is a table that associates measurement times with coordinates for each joint, similar to the skeleton coordinate table 232 stored in the measurement DB 230 .
  • skeleton coordinate table 232 skeleton data estimated for all measurement data groups are registered.
  • data whose measurement conditions are similar to the assumed conditions are selected as analysis targets and registered in the analysis target table 251 .
  • selection and registration are performed for the measurement data group. That is, a plurality of skeletal coordinate records corresponding to one measurement data group are all selected as one group and registered in the analysis target table 251 .
  • FIG. 6 is a flowchart showing the flow of depth recording processing.
  • the depth recording unit 211 repeats the processing from step S601 to step S603 from the start of the imaging of the imaging device 200 until it stops.
  • Step S601 is a step in which the depth recording unit 211 acquires image data and depth data.
  • Step S602 is a step in which the depth recording unit 211 registers a depth record in the depth table 231 based on the acquired image data and depth data.
  • Step S ⁇ b>603 is a step in which the depth recording unit 211 calls the skeleton coordinate estimation unit 212 .
  • FIG. 7 is a flowchart showing the flow of skeleton coordinate estimation processing.
  • the skeleton coordinate estimation unit 212 called from the depth recording unit 211 sequentially executes the processing from step S701 to step S704.
  • Step S701 is a step in which the skeletal coordinate estimation unit 212 acquires depth records corresponding to the imaging time from the depth table 231 .
  • Step S702 is a step in which the skeletal coordinate estimation unit 212 recognizes the skeletal coordinates of each person from the depth record. Any method can be used to recognize the skeletal coordinates.
  • Step S ⁇ b>703 is a step in which the skeleton coordinate estimation unit 212 registers the skeleton coordinate record in the skeleton coordinate table 232 .
  • Step S ⁇ b>704 is a step in which the skeleton coordinate estimation unit 212 calls the measurement condition estimation unit 221 .
  • FIG. 8 is a flowchart showing the flow of measurement condition estimation processing.
  • the measurement condition estimation unit 221 called from the skeleton coordinate estimation unit 212 first sequentially executes the processing from step S801 to step S803.
  • Step S801 is a step in which the measurement condition estimation unit 221 acquires a set of records corresponding to one measurement data group from the skeleton coordinate table.
  • the records acquired at this time may be all skeletal coordinate records within the time range corresponding to one measurement data group, or the first record and the last record of the time range may be selectively acquired. .
  • Step S802 is a step in which the measurement condition estimation unit 221 generates a vertical course vector.
  • the coordinates in the skeleton coordinate table use an xyz coordinate system in which the z-axis is the depth direction of the image, the y-axis is the vertical direction of the image, and the x-axis is the horizontal direction of the image.
  • the measurement condition estimation unit 221 generates a vertical course vector from (y coordinate, z coordinate) of the predetermined joint in the first record and (y coordinate, z coordinate) of the predetermined joint in the last record.
  • Step S803 is a step in which the measurement condition estimation unit 221 calculates the camera depression angle and records it in the measurement condition table 241.
  • the measurement condition estimation unit 221 calculates the angle formed by the vertical course vector with reference to the z coordinate system of the camera, and records it in the camera depression angle column of the measurement condition table.
  • Step S804 is processing in which the measurement condition estimation unit 221 generates vertical correction data based on the camera depression angle.
  • the measurement condition estimator 221 rotates all (y-coordinates, z-coordinates) using the camera depression angle, and stores them in the memory as vertical correction data. With this rotation, the z-coordinate axis is horizontal to the floor and the y-coordinate axis is vertical to the floor. It is assumed that the x-coordinate axis is horizontal to the floor surface at the time of photographing and does not need to be rotated.
  • Step S805 is a step in which the measurement condition estimation unit 221 calculates the walking distance from the vertical correction data.
  • the measurement condition estimation unit 221 calculates the difference between the maximum z-coordinate and the minimum z-coordinate of the vertical correction data, and records it in the walking distance column of the measurement condition table 241 .
  • the target person is photographed when walking toward the photographing device 200 .
  • Such a state can be realized by installing the photographing device 200 in the corridor, by encouraging the user to walk along the line drawn on the floor, or the like.
  • Step S806 is a step in which the measurement condition estimation unit 221 calculates the installation height.
  • the measurement condition estimation unit 221 calculates the difference between the origin, which is the position of the imaging device 200 , and the minimum y-coordinate of the vertical correction data, and records it in the installation height column of the measurement condition table 241 .
  • Step S807 is a step in which the measurement condition estimation unit 221 generates a horizontal course vector.
  • the measurement condition estimation unit 221 generates a horizontal course vector from (x coordinate, z coordinate) of the predetermined joint in the first record and (x coordinate, z coordinate) of the predetermined joint in the last record.
  • Step S808 is a step in which the measurement condition estimation unit 221 calculates the traveling direction.
  • the measurement condition estimation unit 221 calculates the angle formed by the horizontal course vector with reference to the x-coordinate system of the imaging device 200 and records it in the column of the traveling direction of the measurement condition table 241 .
  • FIG. 9 is a flowchart showing the flow of similarity calculation processing.
  • the similarity calculation unit 222 sequentially executes the processing from step S901 to step S903 for all the condition columns of the measurement condition table 241 .
  • Step S901 is a step in which the similarity calculation unit 222 acquires measurement conditions and assumed conditions.
  • the similarity calculation unit 222 acquires the numerical value of the certain condition column of the measurement condition table 241 and the numerical value of the certain condition column of the assumed condition table 242 .
  • Step S902 is a step in which the degree-of-similarity calculation unit 222 calculates the degree of divergence.
  • the similarity calculator 222 normalizes the difference between the value of the condition column of the measurement condition table 241 and the value of the condition column of the assumed condition table 242 to calculate the degree of divergence.
  • Step S903 is a step in which the similarity calculation unit 222 calculates the similarity from the deviation.
  • the similarity calculator 222 calculates the similarity by subtracting 100 times the divergence from 100, and records it in the condition column of the similarity table 243 .
  • FIG. 10 is a flowchart showing the flow of analysis target selection processing.
  • the analysis target selection unit 223 first executes the following step S1001.
  • Step S ⁇ b>1001 is a step in which the analysis target selection unit 223 acquires the numerical value of the similarity threshold in the assumption condition table 242 .
  • the analysis target selection unit 223 executes loop processing from step S1002 to step S1004 for all columns.
  • Step S1002 is a step in which the analysis target selection unit 223 acquires the numerical value (similarity) of a certain condition column in the similarity table.
  • Step S1003 is a step in which the analysis target selection unit 223 compares the similarity threshold acquired in step S1001 with the similarity acquired in step S1002.
  • step S1002 if the similarity is equal to or greater than the similarity threshold (step S1002; Yes), the process proceeds to step 1004. If the similarity is less than the similarity threshold (step S1002; No), the loop processing of steps S1002 to S1004 is terminated without proceeding to step S1004.
  • Step S1004 is processing in which the analysis target selection unit 223 records true in the condition column of the determination result table.
  • Step S1005 is a step in which the analysis target selection unit 223 determines whether or not all columns in the determination result table are true. If all columns are true (step S1005; Yes), go to step 1006; If there is a column that is not true (step S1005; No), the process ends without proceeding to step S1006.
  • Step S ⁇ b>1006 is a step in which the analysis target selection unit 223 acquires all records in the skeleton coordinate table 232 and stores them in the analysis target table 251 . After step S1006, the analysis target selection process ends.
  • the measurement apparatus 110 selects measurement data based on the similarity of the measurement conditions obtained from the horizontal plane, the traveling direction, and the camera coordinate system. Data close to normal measurement data can be obtained.
  • the measuring device 110 is installed in a plurality of different locations, and even if measurement data cannot be obtained under completely the same conditions due to restrictions on shooting locations, etc., the measurement is performed under conditions similar to the assumed conditions. Data can be obtained efficiently. For this reason, it is possible to realize highly reliable analysis without collecting a large amount of data and taking into account restrictions on shooting locations.
  • FIG. 2 is a logical configuration diagram of a system according to the second embodiment.
  • the measurement apparatus 110 in the system shown in FIG. 2 further includes a measurement condition determination section 224, a determination control section 225 and a U/I control section 260 in addition to the configuration of the first embodiment. Since other configurations and operations are the same as those of the first embodiment, the same constituent elements are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the measurement DB 230 and the determination DB 240 store the same data as in the first embodiment.
  • the measurement device 110 may be connected to the analysis device 100 as in the first embodiment.
  • the measurement condition determination unit 224 is one of the functions of the determination unit 220 and determines measurement conditions based on the similarity calculated by the similarity calculation unit 222 .
  • the determination control unit 225 is one of the functions of the determination unit 220, and controls the entire processing related to determination of measurement conditions.
  • the U/I control unit 260 is connected to the input device 115 and the output device 116 and controls input/output related to measurement condition relationships.
  • FIG. 12 is a flowchart showing the flow of determination control processing.
  • the determination control unit 225 sequentially executes the processing from step S1201 to step S1203.
  • Step S ⁇ b>1201 is a step in which the determination control section 225 calls the measurement condition estimation section 221 .
  • the measurement condition estimation unit 221 estimates measurement conditions and stores them in the measurement condition table 241 in the same manner as in the first embodiment.
  • Step S ⁇ b>1202 is a step in which the determination control unit 225 calls the similarity calculation unit 222 .
  • the similarity calculation unit 222 calculates the similarity and stores it in the similarity table 243 as in the first embodiment.
  • Step S ⁇ b>1203 is a step in which the determination control unit 225 calls the measurement condition determination unit 224 . After the processing by the determination control unit 225, the determination control processing ends.
  • FIG. 13 is a flowchart showing the flow of measurement condition determination processing.
  • the measurement condition determination unit 224 first executes the next step S1301.
  • Step S ⁇ b>1301 is a step in which the measurement condition determination unit 224 acquires the numerical value of the similarity threshold in the assumption condition table 242 . Thereafter, the measurement condition determination unit 224 executes loop processing from step S1302 to step S1304 for all columns.
  • Step S1302 is a step in which the measurement condition determination unit 224 acquires the numerical value (similarity) of a certain condition column in the similarity table.
  • Step S1303 is a step in which the measurement condition determination unit 224 compares the similarity threshold acquired in step S1301 with the similarity acquired in step S1302.
  • step S1302 if the similarity is equal to or greater than the similarity threshold (step S1302; Yes), the process proceeds to step 1304. If the similarity is less than the similarity threshold (step S1302; No), the loop processing of steps S1302 to S1304 is terminated without proceeding to step S1304.
  • Step S1304 is processing in which the measurement condition determination unit 224 records true in the condition column of the determination result table.
  • Step S1305 is a step in which the measurement condition determination unit 224 determines whether or not all columns in the determination result table are true. If there is a column that is not true (step S1305; No), go to step 1306; If all columns are true (step S1305; Yes), the process ends without proceeding to step S1306.
  • Step S ⁇ b>1306 is a step in which the measurement condition determination unit 224 deletes the depth table 231 and the skeleton coordinate table 232 . After step S1306, the measurement condition determination process ends.
  • FIG. 14 is a flowchart showing the flow of U/I control processing.
  • the U/I control unit 260 refers to the measurement condition table 241 (step S1401), refers to the assumed condition table 242 (step S1402), refers to the similarity table 243 (step S1403), and refers to the determination result table 244. (step S1404).
  • the U/I control unit 260 causes the output device 116 to display a measurement condition confirmation screen showing measurement conditions, assumed conditions, similarity, and determination results (step S1405).
  • the U/I control unit 260 determines whether or not an operation requesting re-execution of measurement condition determination has been received (step S1406). If an operation to re-execute measurement condition determination is accepted (step S1406; Yes), the U/I control unit 260 calls the determination control unit 225 (step S1407).
  • step S1407 or if an operation to re-execute measurement condition determination has not been received (step S1406; No), the U/I control unit 260 determines whether or not to end the screen display (step S1408). If the screen display is not finished (step S1408; No), the process returns to step S1406. If the screen display is finished (step S1408; Yes), the U/I control is finished when the screen display is finished.
  • FIG. 15 is an explanatory diagram showing an example of the configuration of the measurement condition confirmation screen.
  • the measurement condition confirmation screen D1500 shown in FIG. 15 compares and displays assumed values, measured values, and degrees of similarity for each item of installation height, camera depression angle, walking distance, and traveling direction.
  • the installation height items whose similarity is lower than the similarity threshold are displayed in a different manner from the other items, thereby indicating that they are items that should be improved.
  • the measurement condition confirmation screen D1500 generates and displays a design showing the positional relationship between the object and the imaging device 200 based on the installation height, camera depression angle, walking distance, and traveling direction, and requests re-execution of measurement condition determination.
  • this measurement condition confirmation screen D1500 the operator can recognize that the installation height needs to be improved. Then, when the installation height of the photographing device 200 is changed, photographing is performed again, and the recalculation button is operated, the evaluation result of the measurement conditions after the change is displayed. By repeating this, it is possible to bring the measurement conditions closer to the assumed conditions.
  • the measurement device 110 can select and correct the measurement conditions according to the limitations of the shooting location by using the similarity of the measurement conditions. As a result, highly reliable analysis can be achieved without collecting a large amount of data and taking into consideration the limitations of shooting locations.
  • the measurement system disclosed in the embodiments includes the sensor 117 as a measurement data acquisition unit that acquires target measurement data, and the processor 111 as a processing unit that processes the measurement data.
  • the processing unit estimates a skeleton of the target living body from the measurement data, estimates measurement conditions related to the measurement data using the estimation result of the skeleton, and compares the measurement conditions with presupposed conditions. A degree of similarity is obtained, and measurement data for evaluating the state of the object is selected based on the degree of similarity.
  • the measurement system can efficiently collect data relating to the evaluation of the condition of the subject without collecting a large amount of data and taking into consideration the limitations of the imaging location.
  • the measurement data is data obtained by measuring the walking of the target in chronological order.
  • the measurement condition may include the traveling direction and/or distance of the walking.
  • the measurement data includes photographing data obtained by photographing the object with a camera
  • the measurement conditions include the installation height and/or photographing direction of the camera.
  • the measurement data may further include depth data associated with the imaging data.
  • the disclosed measurement system can display the measurement conditions and the assumed conditions in comparison. Therefore, it is possible to easily modify the measurement conditions and bring them closer to the assumed conditions.
  • the processing unit obtains the degree of similarity using a value obtained by normalizing the difference between the measurement condition and the assumed condition. Further, as an example, the processing unit performs the selection by comparing the similarity with a similarity threshold. Therefore, it is possible to easily evaluate how similar the measurement conditions are to the assumed conditions, and select measurement data obtained under measurement conditions similar to the assumed conditions.
  • the processing unit selects data relating to the evaluation of the health condition of the subject.
  • Selected data can be used for training a machine learning model and/or for assessing the health status by the machine learning model. Such a configuration contributes to quantifying the subject's health index.
  • the configuration for selecting measurement data in which the similarity of all items is equal to or higher than the similarity threshold is shown. Selection may be made by
  • the configuration for evaluating the measurement conditions is added to the configuration for selecting the measurement data.
  • the configuration for outputting the measurement condition confirmation screen to the operator of the measurement device 110 is shown, but the measurement condition confirmation screen is output to the operator of the analysis device 100 and the operation of the analysis device 100 is performed.
  • the configuration may be such that the operator instructs the operator of the measuring device 110 to improve the measurement conditions.
  • the sensor 11 is described as a specific example of the measurement data acquisition unit, but the measurement data acquisition unit need not be the sensor itself. For example, it is possible to employ a configuration in which measurement data is acquired by any method, such as reading already measured data or receiving from another device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

対象の計測データを取得する計測データ取得部と、前記計測データを処理する処理部とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する。かかる構成及び動作により、大量のデータを収集することなく、計測データを取得する場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することができる。

Description

計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
　本発明は、計測システム、計測装置、計測データ処理方法及び計測データ処理プログラムに関する。
　近年、超高齢化社会の未来を見据えた国民の健康意識の高まりを受け、ヘルスケア業界が着目されている。それに伴い、医療現場におけるＩＴ(Information Technology)技術活用も着実に進歩しており、再生医療機器、介護ロボット、保険指導サービス支援など、新たな事業分野や医療サービスが次々と開拓されている。
　なかでも予防医療サービスは、高齢化医療を見据えて期待が大きい分野の一つである。予防医療とは、病気になってから治療を行うという考え方ではなく、誰にでも将来起こりうる健康リスクを明確化し、病気にならないように継続的に健康維持、増進行動を行っていくという考え方である。
　これら健康リスクを明確化したり、健康維持、増進行動の効果を確認したりするためには、計測による継続的な健康状態の定量化が必要となる。ＩｏＴ(Internet of Things)技術やウェアラブルデバイスの進展により、定量化に向けては、各ユーザが日常生活の中で計測を行うことができるようになってきた。
　一方で、日常生活の中で得られる計測データは計測条件にばらつきがあり、高信頼な分析を行うことが難しくなるという問題がある。例えば、歩行の様子を撮影して分析に用いる場合、あるユーザは正面から歩行の様子を撮影しており、別のユーザは側面から歩行の様子を撮影しているといったような条件の差異があると、双方の歩行を単純に比較することはできない。
　分析に寄与するデータを得るため、大量のデータを収集する方法がある。例えば、特許文献１によれば、網羅的に収集した複数地点のカメラ映像及び異種データから特徴の辞書データを作成することが開示されている。これにより、高信頼な分析が実現できる。
　また、取得条件を制御して、分析に寄与するデータを効率的に取得することも考えられている。例えば、特許文献２によれば、教師データを解析して同じ撮影条件でテストデータを撮影させるようにカメラを制御することが開示されている。これにより高信頼な分析が実現できる。
特開２０１４－５９７２９号公報 ＷＯ２０１８／１００６７６号公報
　特許文献１の技術では、高信頼な分析はできるが大量のデータを収集するコストがかかるという問題がある。
　特許文献２の技術では、高信頼な分析はできるがカメラ制御に撮影場所の制限が考慮されないという問題がある。
　これらのことから、大量のデータを収集することなく、撮影場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することが重要な課題となっている。
　上記目的を達成するために、代表的な本発明の計測システム及び計測装置の一つは、対象の計測データを取得する計測データ取得部と、前記計測データを処理する処理部とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定することを特徴とする。
　また、代表的な本発明の計測データ処理方法の一つは、対象の計測データを取得する計測データ取得ステップと、前記計測データから前記対象である生体の骨格を推定する骨格推定ステップと、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定する条件推定ステップと、前記計測条件と予め想定された想定条件との類似度を求める類似度算定ステップと、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する選定ステップとを含むことを特徴とする。
　また、代表的な本発明の計測データ処理プログラムの一つは、コンピュータに、対象の計測データを受け付けるプロセスと、前記計測データから前記対象である生体の骨格を推定するプロセスと、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定するプロセスと、前記計測条件と予め想定された想定条件との類似度を求めるプロセスと、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定するプロセスとを実行させることを特徴とする。
　本発明によれば、対象の状態の評価に係るデータを効率的に収集することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
実施例１に係るシステム全体の物理構成図。 実施例１に係るシステム全体の機能構成図。 計測ＤＢが格納するテーブルの構成を示す説明図。 判定ＤＢが格納するテーブルの構成を示す説明図。 分析ＤＢが格納するテーブルの構成を示す説明図。 深度記録処理の流れを示すフローチャート。 骨格座標推定処理の流れを示すフローチャート。 計測条件推定処理の流れを示すフローチャート。 類似度計算処理の流れを示すフローチャート。 分析対象選定処理の流れを示すフローチャート。 実施例２に係るシステム全体の論理構成図。 判定制御処理の流れを示すフローチャート。 計測条件判定処理の流れを示すフローチャート。 Ｕ／Ｉ制御処理の流れを示すフローチャート。 計測条件確認画面の構成の一例を示す説明図。
　以下、図面を参照して、本発明の幾つかの実施例を説明する。但し、それらの実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。
　以下の説明では、「インターフェース部」は、１以上のインターフェース装置である。１以上のインターフェースは、１以上の同種のインターフェース装置（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェース装置（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。
　また、以下の説明では、「記憶部」は、１以上のメモリである。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、１以上のメモリに加えて、１以上のＰＤＥＶを含んでもよい。「ＰＤＥＶ」は、物理的な記憶装置を意味し、典型的には、不揮発性の記憶装置（例えば補助記憶装置）でよい。ＰＤＥＶは、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）でよい。
　また、以下の説明では、「プロセッサ部」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
　また、以下の説明では、「ｋｋｋ部」（インターフェース部、記憶部およびプロセッサ部を除く）の表現にて機能を説明することがあるが、機能は、１以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。プログラムがプロセッサ部によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶部および／またはインターフェース部等を用いながら行われるため、機能はプロセッサ部の少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が１つの機能にまとめられたり、１つの機能が複数の機能に分割されたりしてもよい。
　また、以下の説明では、「ｘｘｘテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
　また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。
　また、以下の説明では、「データセット」とは、１以上のデータ要素から成るデータ（論理的な電子データの塊）を意味し、例えば、レコード、ファイル、キーバリューペア及びタプルのうちのいずれでもよい。
　図１は、実施例１に係るシステム全体の物理構成を示す。図１に示した計測システムは、分析装置１００がネットワーク１２０を介して複数の計測装置１１０と接続された構成を有する。
　分析装置１００はデータを分析する装置である。分析装置１００は、ネットワークインターフェース１０４、メモリ１０２、記憶装置１０３、および、それらに接続されたプロセッサ１０１を有する。分析装置１００は、記憶装置１０３に格納されたプログラムをメモリ１０２に展開し、プロセッサ１０１により順次実行することで、データ分析機能を実現する。
　具体的には、分析装置１００は、人物の歩行の様子を計測した計測データとその人物の健康状態とを学習データとして機械学習モデルの学習を行うことで、自然歩行から健康状態を示す指標を定量化する。この指標は、運動器の機能に影響を与える整形外科系や脳神経系の疾患等の評価に有用である。
　分析装置１００は、ネットワーク１２０及びネットワークインターフェース１０４を介して、複数の計測装置１１０から計測データを収集する。計測データは、機械学習モデルの学習や、学習済みの機械学習モデルによる健康状態の評価に用いることができる。
　計測装置１１０は、プロセッサ１１１、メモリ１１２、記憶装置１１３、ネットワークインターフェース１１４、入力装置１１５、出力装置１１６及びセンサ１１７を有する。入力装置１１５は、計測装置１１０の操作者からの入力を受け付けるインターフェースであり、例えば操作ボタン、キーボード、タッチパネルなどである。出力装置１１６は、操作者に対する出力を行うインターフェースであり、例えばディスプレイ装置などである。
　センサ１１７は、計測データを取得する装置である。センサ１１７としては、任意のものを用いることができるが、本実施例では、画像を時系列に沿って撮影するとともに、各画素に深度データを対応付ける撮影装置（例えば、Time-of-Flight Camera等）をセンサ１１７として採用する場合を例示して説明を行うこととする。
　また、計測装置１１０は、記憶装置１１３に格納されたプログラムをメモリ１１２に展開し、プロセッサ１１１により順次実行することで、各種機能を実現する。計測装置１１０の機能について、図２を参照して説明する。
　図２は、実施例１に係るシステム全体の機能構成図である。図２に示すように、計測装置１１０は、撮影装置２００、計測部２１０、判定部２２０、計測ＤＢ（database）２３０、判定ＤＢ２４０を有する。
　撮影装置２００は、センサ１１７の一つであり、すでに説明したように、時系列の画像データ及び深度データを計測データとして取得する。計測部２１０及び判定部２２０は、プロセッサ１１１がプログラムを実行することで実現される機能である。計測ＤＢ２３０及び判定ＤＢ２４０は、記憶装置１１３に格納される。
　計測部２１０は、深度記録部２１１及び骨格座標推定部２１２を有する。深度記録部２１１は、計測データを深度テーブル２３１として計測ＤＢ２３０に格納する。骨格座標推定部２１２は、計測データから前記対象である生体の骨格を推定する。具体的には、骨格座標推定部２１２は、深度テーブル２３１を参照し、計測の対象である人物の関節座標を推定して骨格座標テーブル２３２として計測ＤＢ２３０に格納する。
　判定部２２０は、計測条件推定部２２１、類似度計算部２２２及び分析対象選定部２２３を有する。計測条件推定部２２１は、骨格の推定結果を用いて計測データに係る計測条件を推定する。具体的には、計測条件推定部２２１は、骨格データの接地座標から水平面と歩行の進行方向を計算し、水平面と進行方向とカメラ座標系から歩行の距離や角度などの計測条件を求める。また、計測条件には、カメラの設置高さや撮影方向を含むことができる。計測条件推定部２２１は、推定した計測条件を計測条件テーブル２４１として判定ＤＢ２４０に格納する。
　類似度計算部２２２は、計測条件と予め想定された想定条件との類似度を判定し、計測データへ付与する。具体的には、類似度計算部２２２は、計測条件と想定条件の差分を正規化した値を用いて類似度を求め、類似度テーブル２４３として判定ＤＢ２４０に格納する。
　分析対象選定部２２３は、類似度に基づいて計測データを選定する。具体的には、分析対象選定部２２３は、類似度が類似度閾値以上であるか否かを項目ごとに判定して判定結果テーブル２４４に格納し、各項目の判定結果から計測データを選定し、分析装置１００に送信する。
　類似度計算部２２２が用いる想定条件と、分析対象選定部が用いる類似度閾値は、想定条件テーブル２４２として判定ＤＢ２４０に格納されている。
　分析装置１００は、計測装置１１０から受信したデータを分析対象テーブル２５１として分析ＤＢ２５０に格納する。分析ＤＢ２５０は、分析装置１００が有する記憶装置１０３の内部に構築されている。分析装置１００は、分析対象テーブルのデータを学習モデルの学習用や、対象の評価に用いることができる。
　図３は、計測ＤＢが格納するテーブルの構成を示す説明図である。計測ＤＢ２３０が格納する深度テーブル２３１は、計測時刻と各画素の深度の値とを対応付けたテーブルである。ここで、深度テーブル２３１における１行は、ある時刻で取得された１の画像を示しており、便宜上、１行を１つのレコードとし、深度レコードという。歩行の計測においては、ある程度の時間範囲、具体的には数歩以上の歩様を含みうる時間範囲について、時系列に沿って取得したデータを１まとまりの計測データ群として取り扱うことになるが、図３の深度テーブル２３１では、時間範囲に相当する複数の深度レコードを１まとまりの計測データ群として用いることになる。
　また、計測ＤＢ２３０が格納する骨格座標テーブル２３２は、計測時刻と関節ごとの座標とを対応付けたテーブルである。骨格座標テーブル２３２における１行は、ある時刻で取得された１の画像に含まれる複数の関節の座標を示しており、便宜上、１行を１つのレコードとし、骨格座標レコードという。骨格座標レコードについても、時間範囲に相当する複数の骨格座標レコードが１まとまりの計測データ群に対応することになる。
　図４は、判定ＤＢが格納するテーブルの構成を示す説明図である。判定ＤＢ２４０が格納する計測条件テーブル２４１は、設置高、カメラ俯角、歩行距離、進行方向の項目を有するテーブルである。設置高は、対象の人物が歩行する床面に対し、どれだけの高さに撮影装置２００が設置されているかを示す。カメラ俯角は、歩行の方向に対する撮影装置２００の撮影方向の高さ成分である。歩行距離は、対象が歩行した距離を示す。進行方向は、歩行の方向に対する撮影装置２００の撮影方向の水平成分である。計測条件は、計測データ群に対して求められる。すなわち、所定の時間範囲に相当する複数の骨格座標レコードから１つの計測条件が求められる。なお、計測条件テーブル２４１の項目を便宜上、計測条件テーブル２４１の条件カラムという。
　想定条件テーブル２４２は、設置高、カメラ俯角、歩行距離、進行方向、類似度閾値の項目を示す。設置高、カメラ俯角、歩行距離、進行方向の項目は、計測条件テーブル２４１と同様であるが、計測条件テーブル２４１が計測データの取得時の条件を示しているのに対し、想定条件テーブル２４２では計測データを取得する際の望ましい条件を事前に想定した値となる。また、類似度閾値は、計測データを分析対象データとして選定する際に用いる。
　類似度テーブル２４３は、計測条件テーブル２４１が有する各項目（条件カラム）について、想定条件テーブル２４２に示された想定条件との類似度を示している。類似度テーブル２４３の項目を便宜上、類似度テーブル２４３の条件カラムという。判定結果テーブル２４４は、計測条件テーブル２４１が有する各項目（条件カラム）について、類似度が想定条件テーブル２４２の類似度閾値以上である場合に「true」、類似度閾値未満である場合に「false」の値が格納される。
　図５は、分析ＤＢが格納するテーブルの構成を示す説明図である。分析ＤＢ２５０が格納する分析対象テーブル２５１は、計測ＤＢ２３０に格納された骨格座標テーブル２３２と同様に、計測時刻と関節ごとの座標とを対応付けたテーブルである。骨格座標テーブル２３２には、全ての計測データ群についてそれぞれ推定された骨格のデータが登録されている。骨格座標テーブル２３２に登録されたデータのうち、計測条件が想定条件に類似するものが、分析対象として選定され、分析対象テーブル２５１に登録されることになる。このとき、選定と登録は、計測データ群に対して行われる。すなわち、１の計測データ群に対応する複数の骨格座標レコードが全て、１つのまとまりとして選定され、分析対象テーブル２５１に登録される。
　図６は、深度記録処理の流れを示すフローチャートである。深度記録部２１１は、撮影装置２００の撮影が開始してから停止するまで、ステップＳ６０１からステップＳ６０３の処理を繰り返す。
　ステップＳ６０１は、深度記録部２１１が、画像データ及び深度データを取得するステップである。
　ステップＳ６０２は、深度記録部２１１が、取得した画像データ及び深度データに基づいて、深度レコードを深度テーブル２３１に登録するステップである。
　ステップＳ６０３は、深度記録部２１１が、骨格座標推定部２１２を呼び出すステップである。
　図７は、骨格座標推定処理の流れを示すフローチャートである。深度記録部２１１から呼び出された骨格座標推定部２１２は、ステップＳ７０１からステップＳ７０４の処理を順次実行する。
　ステップＳ７０１は、骨格座標推定部２１２が、撮影時間分の深度レコードを深度テーブル２３１から取得するステップである。
　ステップＳ７０２は、骨格座標推定部２１２が、深度レコードから人物毎の骨格座標を認識するステップである。骨格座標の認識には、任意の手法を用いることができる。
　ステップＳ７０３は、骨格座標推定部２１２が、骨格座標レコードを骨格座標テーブル２３２に登録するステップである。
　ステップＳ７０４は、骨格座標推定部２１２が、計測条件推定部２２１を呼び出すステップである。
　図８は、計測条件推定処理の流れを示すフローチャートである。骨格座標推定部２１２から呼び出された計測条件推定部２２１は、まず、ステップＳ８０１からステップＳ８０３の処理を順次実行する。
　ステップＳ８０１は、計測条件推定部２２１が、骨格座標テーブルから１つの計測データ群に相当するレコードのセットを取得するステップである。このとき取得するレコードは、１つの計測データ群に相当する時間範囲内の全ての骨格座標レコードであってもよいが、時間範囲の最初のレコードと最後のレコードを選択的に取得してもよい。
　ステップＳ８０２は、計測条件推定部２２１が、垂直進路ベクトルを生成するステップである。ここで、骨格座標テーブルにおける座標は、画像の奥行方向をｚ軸、画像の縦方向をｙ軸、画像の横方向をｘ軸とするｘｙｚ座標系を用いている。計測条件推定部２２１は、最初のレコードの所定の関節の(ｙ座標，ｚ座標)と最後のレコードの所定の関節の(ｙ座標，ｚ座標)から垂直進路ベクトルを生成する。
　ステップＳ８０３は、計測条件推定部２２１が、カメラ俯角を算出して計測条件テーブル２４１に記録するステップである。計測条件推定部２２１は、カメラのｚ座標系を基準として垂直進路ベクトルのなす角度を算出して、計測条件テーブルのカメラ俯角のカラムに記録する。
　ステップＳ８０３の後、計測条件推定部２２１は、ステップＳ８０１で取得した全てのレコードの全ての関節について、ステップＳ８０４の処理を実行する。
　ステップＳ８０４は、計測条件推定部２２１が、カメラ俯角に基づいて、垂直補正データを生成する処理である。計測条件推定部２２１は、カメラ俯角を用いて全ての(ｙ座標，ｚ座標）を回転して、メモリに垂直補正データとして保持させる。この回転により、ｚ座標軸は床面に水平となり、ｙ座標軸は床面に垂直となる。なお、ｘ座標軸は、撮影時点で床面と水平であり、回転の必要はないものとする。
　全てのレコードの全ての関節について、ステップＳ８０４の処理を実行した後、計測条件推定部２２１は、ステップＳ８０５からステップＳ８０８の処理を順次実行する。
　ステップＳ８０５は、計測条件推定部２２１が、垂直補正データから歩行距離を算出するステップである。計測条件推定部２２１は、垂直補正データの最大ｚ座標と最小ｚ座標の差分を算出して、計測条件テーブル２４１の歩行距離のカラムに記録する。ここでは、対象の人物が撮影装置２００に向かって歩くときに撮影を行うことを想定している。このような状態は、廊下に撮影装置２００を設置したり、床面に引いた線に沿って歩くよう促す等により実現すればよい。
　ステップＳ８０６は、計測条件推定部２２１が、設置高を算出するステップである。計測条件推定部２２１は、撮影装置２００の位置である原点と垂直補正データの最小ｙ座標の差分を算出して、計測条件テーブル２４１の設置高のカラムに記録する。
　ステップＳ８０７は、計測条件推定部２２１が水平進路ベクトルを生成するステップである。計測条件推定部２２１は、最初のレコードの所定の関節の(ｘ座標，ｚ座標)と最後のレコードの所定の関節の(ｘ座標，ｚ座標)から水平進路ベクトルを生成する。
　ステップＳ８０８は、計測条件推定部２２１が進行方向を算出するステップである。計測条件推定部２２１は、撮影装置２００のｘ座標系を基準として水平進路ベクトルのなす角度を算出して、計測条件テーブル２４１の進行方向のカラムに記録する。
　図９は、類似度計算処理の流れを示すフローチャートである。類似度計算部２２２は、計測条件テーブル２４１の条件カラムの全てについて、ステップＳ９０１からステップＳ９０３の処理を順次実行する。
　ステップＳ９０１は、類似度計算部２２２が計測条件と想定条件を取得するステップである。類似度計算部２２２は、計測条件テーブル２４１のある条件カラムの数値と想定条件テーブル２４２のある条件カラムの数値を取得する。
　ステップＳ９０２は、類似度計算部２２２が乖離度を算出するステップである。類似度計算部２２２は、計測条件テーブル２４１の条件カラムの値と想定条件テーブル２４２の条件カラムの値の差分を正規化して乖離度を算出する。
　ステップＳ９０３は、類似度計算部２２２が乖離度から類似度を算出するステップである。類似度計算部２２２は、１００から乖離度を１００倍した数値を引いて類似度を算出し、類似度テーブル２４３の条件カラムへ記録する。
　図１０は、分析対象選定処理の流れを示すフローチャートである。分析対象選定部２２３は、まず、次のステップＳ１００１を実行する。
　ステップＳ１００１は、分析対象選定部２２３が想定条件テーブル２４２の類似度閾値の数値を取得するステップである。その後、分析対象選定部２２３は、全てのカラムについてステップＳ１００２からステップＳ１００４のループ処理を実行する。
　ステップＳ１００２は、分析対象選定部２２３が類似度テーブルのある条件カラムの数値（類似度）を取得するステップである。
　ステップＳ１００３は、分析対象選定部２２３がステップＳ１００１で取得した類似度閾値とステップＳ１００２で取得した類似度とを比較するステップである。比較の結果、類似度が類似度閾値以上ならば（ステップＳ１００２；Ｙｅｓ）、ステップ１００４に進む。類似度が類似度閾値未満ならば（ステップＳ１００２；Ｎｏ）、ステップＳ１００４に進まずステップＳ１００２～ステップＳ１００４のループ処理を終了する。
　ステップＳ１００４は、分析対象選定部２２３が、判定結果テーブルの条件カラムにtrueを記録する処理である。
　ステップＳ１００２～ステップＳ１００４のループ処理を全てのカラムについて実行した後、分析対象選定部２２３は、ステップＳ１００５に進む。
　ステップＳ１００５は、分析対象選定部２２３が、判定結果テーブルの全てのカラムがtrueであるか否かを判定するステップである。全てのカラムがtrueであるならば（ステップＳ１００５；Ｙｅｓ）、ステップ１００６に進む。trueでないカラムがあるならば（ステップＳ１００５；Ｎｏ）、ステップＳ１００６に進まず処理を終了する。
　ステップＳ１００６は、分析対象選定部２２３が、骨格座標テーブル２３２の全レコードを取得して、分析対象テーブル２５１に格納するステップである。ステップＳ１００６の後、分析対象選定処理を終了する。
　本実施例１によれば、計測装置１１０は、水平面と進行方向とカメラ座標系から求めた計測条件の類似度に基づき計測データを選定することで、システムが想定する計測条件で撮影された理想的な計測データに近いデータを取得することができる。例えば、計測装置１１０が複数の異なる場所に設置され、それぞれ撮影場所の制限等により、完全に同一の条件で計測データを取得することができないとしても、想定した条件に類似する条件で計測されたデータを効率的に得ることができる。このため、大量のデータを収集することなく、撮影場所の制限を考慮しながら、高信頼な分析を実現することが可能となる。
　実施例２では、計測条件の判定を行うシステムについて説明する。図２は、実施例２に係るシステムの論理構成図である。図２に示したシステムにおける計測装置１１０は、実施例１の構成に加え、計測条件判定部２２４、判定制御部２２５及びＵ／Ｉ制御部２６０をさらに備える。その他の構成及び動作は、実施例１と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。また、図示を省略したが、計測ＤＢ２３０及び判定ＤＢ２４０には、実施例１と同様のデータが格納されている。さらに、図示を省略したが、計測装置１１０は、実施例１と同様に、分析装置１００と接続されてもよい。
　計測条件判定部２２４は、判定部２２０の機能の一つであり、類似度計算部２２２により計算された類似度に基づいて、計測条件の判定を行う。
　判定制御部２２５は、判定部２２０の機能の一つであり、計測条件の判定に係る処理の全体を制御する。
　Ｕ／Ｉ制御部２６０は、入力装置１１５及び出力装置１１６と接続され、計測条件の関係に係る入出力を制御する。
　図１２は、判定制御処理の流れを示すフローチャートである。判定制御部２２５は、処理を開始すると、ステップＳ１２０１からステップＳ１２０３の処理を順次実行する。
　ステップＳ１２０１は、判定制御部２２５が、計測条件推定部２２１を呼び出すステップである。計測条件推定部２２１は、実施例１と同様に、計測条件を推定し、計測条件テーブル２４１に格納する。
　ステップＳ１２０２は、判定制御部２２５が、類似度計算部２２２を呼び出すステップである。類似度計算部２２２は、実施例１と同様に、類似度を計算し、類似度テーブル２４３に格納する。
　ステップＳ１２０３は、判定制御部２２５が、計測条件判定部２２４を呼び出すステップである。判定制御部２２５による処理の後、判定制御処理は終了する。
　図１３は、計測条件判定処理の流れを示すフローチャートである。計測条件判定部２２４は、判定制御部２２５から呼び出されると、まず、次のステップＳ１３０１を実行する。
　ステップＳ１３０１は、計測条件判定部２２４が想定条件テーブル２４２の類似度閾値の数値を取得するステップである。その後、計測条件判定部２２４は、全てのカラムについてステップＳ１３０２からステップＳ１３０４のループ処理を実行する。
　ステップＳ１３０２は、計測条件判定部２２４が類似度テーブルのある条件カラムの数値（類似度）を取得するステップである。
　ステップＳ１３０３は、計測条件判定部２２４がステップＳ１３０１で取得した類似度閾値とステップＳ１３０２で取得した類似度とを比較するステップである。比較の結果、類似度が類似度閾値以上ならば（ステップＳ１３０２；Ｙｅｓ）、ステップ１３０４に進む。類似度が類似度閾値未満ならば（ステップＳ１３０２；Ｎｏ）、ステップＳ１３０４に進まずステップＳ１３０２～ステップＳ１３０４のループ処理を終了する。
　ステップＳ１３０４は、計測条件判定部２２４が、判定結果テーブルの条件カラムにtrueを記録する処理である。
　ステップＳ１３０２～ステップＳ１３０４のループ処理を全てのカラムについて実行した後、計測条件判定部２２４は、ステップＳ１３０５に進む。
　ステップＳ１３０５は、計測条件判定部２２４が、判定結果テーブルの全てのカラムがtrueであるか否かを判定するステップである。trueでないカラムがあるならば（ステップＳ１３０５；Ｎｏ）、ステップ１３０６に進む。全てのカラムがtrueであるならば（ステップＳ１３０５；Ｙｅｓ）、ステップＳ１３０６に進まず処理を終了する。
　ステップＳ１３０６は、計測条件判定部２２４が、深度テーブル２３１と骨格座標テーブル２３２を消去するステップである。ステップＳ１３０６の後、計測条件判定処理を終了する。
　図１４は、Ｕ／Ｉ制御処理の流れを示すフローチャートである。Ｕ／Ｉ制御部２６０は、計測条件テーブル２４１を参照し（ステップＳ１４０１）、想定条件テーブル２４２を参照し（ステップＳ１４０２）、類似度テーブル２４３を参照し（ステップＳ１４０３）、判定結果テーブル２４４を参照する（ステップＳ１４０４）。
　その後、Ｕ／Ｉ制御部２６０は、計測条件、想定条件、類似度、判定結果を示す計測条件確認画面を出力装置１１６に表示させる（ステップＳ１４０５）。ステップＳ１４０５の後、Ｕ／Ｉ制御部２６０は、計測条件判定の再実行を求める操作を受け付けたか否かを判定する（ステップＳ１４０６）。計測条件判定の再実行操作を受け付けたならば（ステップＳ１４０６；Ｙｅｓ）、Ｕ／Ｉ制御部２６０は、判定制御部２２５を呼び出す（ステップＳ１４０７）。
　ステップＳ１４０７の後、もしくは計測条件判定の再実行操作を受け付けていない場合（ステップＳ１４０６；Ｎｏ）、Ｕ／Ｉ制御部２６０は、画面の表示を終了するか否かを判定する（ステップＳ１４０８）。画面の表示を終了しない場合には（ステップＳ１４０８；Ｎｏ）、ステップＳ１４０６に戻る。画面の表示を終了するならば（ステップＳ１４０８；Ｙｅｓ）、画面の表示の終了とともに、Ｕ／Ｉ制御を終了する。
　図１５は、計測条件確認画面の構成の一例を示す説明図である。図１５に示した計測条件確認画面Ｄ１５００は、設置高、カメラ俯角、歩行距離及び進行方向の各項目について、想定値、計測値、類似度を対比させて表示している。また、類似度が類似度閾値を下回った設置高の項目に関しては、他の項目とは表示態様を異ならせることで、改善すべき項目であることを示している。
　さらに、計測条件確認画面Ｄ１５００は、設置高、カメラ俯角、歩行距離及び進行方向に基づいて、対象と撮影装置２００の位置関係を示す図案を生成して表示し、計測条件判定の再実行を求めるための「再計算」ボタンを設けている。
　この計測条件確認画面Ｄ１５００により、操作者は、設置高の改善が必要であることを認識することができる。そして、撮影装置２００の設置高を変更し、再度の撮影を行って再計算ボタンを操作すると、変更後の計測条件の評価結果が表示される。これを繰り返すことで、計測条件を想定条件に近づけることが可能である。
　本実施例２によれば、計測装置１１０は、計測条件の類似度を用いることで、撮影場所の制限に応じて計測条件を選択して修正することができる。これにより、大量のデータを収集することなく、撮影場所の制限を考慮しながら、高信頼な分析を実現することが可能となる。
　上述してきたように、実施例に開示した計測システムは、対象の計測データを取得する計測データ取得部としてのセンサ１１７と、前記計測データを処理する処理部としてのプロセッサ１１１とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する。
　かかる構成及び動作により、計測システムは、大量のデータを収集することなく、撮影場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することができる。
　また、一例として、前記計測データは、前記対象の歩行を時系列に沿って計測したデータである。この場合、前記計測条件は、前記歩行の進行方向及び／又は距離を含むことができる。
　かかる構成及び動作により、歩行の様子、すなわち歩様から対象の状態を評価するためのデータを収集できる。
　また、一例として、前記計測データは、カメラにより前記対象を撮影した撮影データを含み、前記計測条件は、前記カメラの設置高さ及び／又は撮影方向を含む。また、前記計測データは、前記撮影データに対応付けられた深度データをさらに含んでもよい。
　かかる構成及び動作により、カメラの撮影条件が類似するデータを効率的に収集することができる。
　また、開示の計測システムは、前記計測条件と前記想定条件とを対比表示することができる。このため、計測条件を容易に修正し、想定条件に近づけることができる。
　また、一例として、前記処理部は、前記計測条件と前記想定条件の差分を正規化した値を用いて前記類似度を求める。また、一例として、前記処理部は、前記類似度と類似度閾値とを比較して前記選定を行う。このため、計測条件が想定条件にどの程度類似するかを簡易に評価し、想定条件に類似する計測条件の下で得られた計測データを選定することができる。
　また、一例として、前記処理部は、前記対象の健康状態の評価に係るデータを選定する。選定されたデータは、機械学習モデルの学習及び／又は前記機械学習モデルによる前記健康状態の評価に用いることができる。かかる構成によれば、対象の健康指標を定量化することに寄与する。
　以上、本発明の幾つかの実施例を説明したが、それらは本発明の説明のための例示であって、本発明の範囲をそれらの実施例に限定する趣旨ではない。本発明は、他の種々の形態でも実施する事が可能である。
　例えば、上記の各実施例では、全ての項目の類似度が類似度閾値以上である計測データを選定する構成を示したが、複数の項目を総合して１つの評価値をもとめ、この評価値により選定を行ってもよい。
　また、上記実施例２では、計測データの選定を行う構成に計測条件を評価する構成を付加する場合を示したが、計測条件の評価のみを行う構成として実施してもよい。
　また、上記実施例２では、計測装置１１０の操作者に対して計測条件確認画面を出力する構成を示したが、分析装置１００の操作者に計測条件確認画面を出力し、分析装置１００の操作者が計測装置１１０の操作者に計測条件の改善を指示するように構成してもよい。
　また、上記の各実施例では、センサ１１を計測データ取得部の具体例として説明を行ったが、計測データ取得部はセンサそのものである必要はない。たとえば計測済みのデータを読み込む、他の装置から受信するなど、任意の方法で計測データを取得する構成を採用することができる。
１００：分析装置、１０１：プロセッサ、１０２：メモリ、１０３：記憶装置、１０４：ネットワークインターフェース、１１０：計測装置、１１１：プロセッサ、１１２：メモリ、１１３：記憶装置、１１４：ネットワークインターフェース、１１５：入力装置、１１６：出力装置、１１７：センサ、１２０：ネットワーク、２００：撮影装置、２１０：計測部、２１１：深度記録部、２１２：骨格座標推定部、２２０：判定部、２２１：計測条件推定部、２２２：類似度計算部、２２３：分析対象選定部、２２４：計測条件判定部、２２５：判定制御部、２３０：計測ＤＢ、２３１：深度テーブル、２３２：骨格座標テーブル、２４０：判定ＤＢ、２４１：計測条件テーブル、２４２：想定条件テーブル、２４３：類似度テーブル、２４４：判定結果テーブル、２５０：分析ＤＢ、２５１：分析対象テーブル、２６０：Ｕ／Ｉ制御部
 

Claims (13)

  1. 　対象の計測データを取得する計測データ取得部と、
    　前記計測データを処理する処理部とを有し、
    　前記処理部は、
    　前記計測データから前記対象である生体の骨格を推定し、
    　前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、
    　前記計測条件と予め想定された想定条件との類似度を求め、
    　前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する
    　ことを特徴とする計測システム。
  2. 　前記計測データは、前記対象の歩行を時系列に沿って計測したデータであることを特徴とする請求項１に記載の計測システム。
  3. 　前記計測条件は、前記歩行の進行方向及び／又は距離を含むことを特徴とする請求項２に記載の計測システム。
  4. 　前記計測データは、カメラにより前記対象を撮影した撮影データを含み、前記計測条件は、前記カメラの設置高さ及び／又は撮影方向を含むことを特徴とする請求項１に記載の計測システム。
  5. 　前記計測データは、前記撮影データに対応付けられた深度データをさらに含むことを特徴とする請求項４に記載の計測システム。
  6. 　前記計測条件と前記想定条件とを対比表示する出力制御部をさらに備えたことを特徴とする請求項１に記載の計測システム。
  7. 　前記処理部は、前記計測条件と前記想定条件の差分を正規化した値を用いて前記類似度を求めることを特徴とする請求項１に記載の計測システム。
  8. 　前記処理部は、前記類似度と類似度閾値とを比較して前記選定を行うことを特徴とする請求項１に記載の計測システム。
  9. 　前記処理部は、前記対象の健康状態の評価に係る計測データを選定することを特徴とする請求項１に記載の計測システム。
  10. 　前記選定されたデータを、機械学習モデルの学習及び／又は前記機械学習モデルによる前記健康状態の評価に用いることを特徴とする請求項９に記載の計測システム。
  11. 　対象の計測データを取得する計測データ取得部と、
    　前記計測データを処理する処理部とを有し、
    　前記処理部は、
    　前記計測データから前記対象である生体の骨格を推定し、
    　前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、
    　前記計測条件と予め想定された想定条件との類似度を求め、
    　前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する
    　ことを特徴とする計測装置。
  12. 　対象の計測データを取得する計測データ取得ステップと、
    　前記計測データから前記対象である生体の骨格を推定する骨格推定ステップと、
    　前記骨格の推定結果を用いて前記計測データに係る計測条件を推定する条件推定ステップと、
    　前記計測条件と予め想定された想定条件との類似度を求める類似度算定ステップと、
    　前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する選定ステップと
    　を含むことを特徴とする計測データ処理方法。
  13. 　コンピュータに、
    　対象の計測データを受け付けるプロセスと、
    　前記計測データから前記対象である生体の骨格を推定するプロセスと、
    　前記骨格の推定結果を用いて前記計測データに係る計測条件を推定するプロセスと、
    　前記計測条件と予め想定された想定条件との類似度を求めるプロセスと、
    　前記類似度に基づいて前記対象の状態の評価に係る計測データを選定するプロセスと
    　を実行させることを特徴とする計測データ処理プログラム。
     
PCT/JP2022/002448 2021-08-02 2022-01-24 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム WO2023013099A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021126860A JP2023021782A (ja) 2021-08-02 2021-08-02 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
JP2021-126860 2021-08-02

Publications (1)

Publication Number Publication Date
WO2023013099A1 true WO2023013099A1 (ja) 2023-02-09

Family

ID=85155530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002448 WO2023013099A1 (ja) 2021-08-02 2022-01-24 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム

Country Status (2)

Country Link
JP (1) JP2023021782A (ja)
WO (1) WO2023013099A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162425A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 骨格姿勢推定装置、方法、及びプログラム
WO2017170832A1 (ja) * 2016-03-31 2017-10-05 Ｎｅｃソリューションイノベータ株式会社 歩行分析装置、歩行分析方法、及びコンピュータ読み取り可能な記録媒体
JP2019102877A (ja) * 2017-11-29 2019-06-24 富士通株式会社 カメラの外部パラメータの推定方法、推定装置および推定プログラム
US20200273200A1 (en) * 2019-02-25 2020-08-27 Microsoft Technology Licensing, Llc Camera localization based on skeletal tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162425A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 骨格姿勢推定装置、方法、及びプログラム
WO2017170832A1 (ja) * 2016-03-31 2017-10-05 Ｎｅｃソリューションイノベータ株式会社 歩行分析装置、歩行分析方法、及びコンピュータ読み取り可能な記録媒体
JP2019102877A (ja) * 2017-11-29 2019-06-24 富士通株式会社 カメラの外部パラメータの推定方法、推定装置および推定プログラム
US20200273200A1 (en) * 2019-02-25 2020-08-27 Microsoft Technology Licensing, Llc Camera localization based on skeletal tracking

Also Published As

Publication number Publication date
JP2023021782A (ja) 2023-02-14

Similar Documents

Publication Publication Date Title
Berssenbrügge et al. 2D and 3D analysis methods of facial asymmetry in comparison
JP5142009B2 (ja) 診断医用画像の知識ベースを作成する命令を含むコンピュータ・アクセス可能な媒体
JP5142010B2 (ja) 結合重症度変化スコアを生成するコンピュータ
Pang et al. Automatic detection and quantification of hand movements toward development of an objective assessment of tremor and bradykinesia in Parkinson's disease
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
Mehdizadeh et al. Concurrent validity of human pose tracking in video for measuring gait parameters in older adults: a preliminary analysis with multiple trackers, viewing angles, and walking directions
CN103717122A (zh) 眼科诊断支持设备和眼科诊断支持方法
Zhu et al. A computer vision-based system for stride length estimation using a mobile phone camera
WO2019069864A1 (ja) 医療情報処理システム
Herrick et al. Quantitative nailfold capillaroscopy—update and possible next steps
Cáceres et al. Evaluation of an eye-pointer interaction device for human-computer interaction
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
Palmer et al. Cliniface: phenotypic visualisation and analysis using non-rigid registration of 3D facial images
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
Fan et al. Reliability of a human pose tracking algorithm for measuring upper limb joints: comparison with photography-based goniometry
WO2023013099A1 (ja) 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
Vignoud et al. Video-based automated analysis of MDS-UPDRS III parameters in Parkinson disease
Huang et al. Image-recognition-based system for precise hand function evaluation
Gionfrida et al. Validation of two-dimensional video-based inference of finger kinematics with pose estimation
Kour et al. Sensor technology with gait as a diagnostic tool for assessment of Parkinson’s disease: a survey
Bevilacqua et al. A RGB-D sensor based tool for assessment and rating of movement disorders
Criss et al. Video assessment of finger tapping for Parkinson's disease and other movement disorders
Okkalidis et al. A review of foot pose and trajectory estimation methods using inertial and auxiliary sensors for kinematic gait analysis
JP7198196B2 (ja) 計測装置及び計測方法
Hu et al. Towards a Visualizable, De-identified Synthetic Biomarker of Human Movement Disorders

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22852528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE