WO2020071143A1 - 多次元データ可視化装置、方法およびプログラム - Google Patents

多次元データ可視化装置、方法およびプログラム

Info

Publication number
WO2020071143A1
WO2020071143A1 PCT/JP2019/036886 JP2019036886W WO2020071143A1 WO 2020071143 A1 WO2020071143 A1 WO 2020071143A1 JP 2019036886 W JP2019036886 W JP 2019036886W WO 2020071143 A1 WO2020071143 A1 WO 2020071143A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
multidimensional data
node
transformation model
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/036886
Other languages
English (en)
French (fr)
Inventor
隆司 伊勢崎
良輔 青木
渡部　智樹
山田　智広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/282,182 priority Critical patent/US11687554B2/en
Publication of WO2020071143A1 publication Critical patent/WO2020071143A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ or muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2264—Multidimensional index structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • Non-Patent Document 1 a technique has been proposed to visualize the motion state by generating and presenting a map in which multi-dimensional time-series data is mapped to a two-dimensional space using self-organizing mapping (SOM).
  • SOM self-organizing mapping
  • Non-Patent Document 1 has the following problems to be solved. That is, the actual exercise state includes a state close to the ideal exercise state (near positive example) and a state far from the ideal exercise state (negative example). When trying to visualize a motion state, such a real motion state (near positive example, negative example) and an ideal motion state (positive example) are displayed in a two-dimensional space. In the technique described in No. 1, since the differentiation between the actual motion state and the ideal motion state is not considered, it may be difficult to determine the difference between the two motion states.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a technique for clearly distinguishing a plurality of multidimensional data when visualizing the data.
  • One embodiment of the multidimensional data visualization device or method according to the present invention includes a plurality of nodes holding reference vectors of the same dimension as input multidimensional data, and coordinates in a space to be the plurality of nodes and the projection destination. And a table storing information representing the correspondence between the two. Then, first and second multi-dimensional data for learning are acquired, and their feature amounts are respectively extracted from the acquired first and second multi-dimensional data, and the extracted first and second multi-dimensional data are extracted. The reference vector of the node is updated based on each feature amount of the dimensional data. And calculating a distance between respective coordinates when projecting the updated node based on each feature amount of the first and second multidimensional data into the projection destination space according to the table; The table is updated so that the distance is equal to or greater than a threshold.
  • FIG. 1 is a block diagram showing a functional configuration of an exercise state visualization device which is an embodiment of the multidimensional data visualization device according to the present invention.
  • FIG. 2 is a flowchart illustrating an example of a processing procedure and processing contents in a projective transformation model learning phase of the motion state visualization device illustrated in FIG. 1.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure and processing contents of a projection table update process in the projection transformation model learning phase illustrated in FIG.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure and processing contents of the node movement processing illustrated in FIG.
  • FIG. 5 is a diagram illustrating an example of a myoelectric signal (positive example).
  • FIG. 6 is a diagram illustrating an example of a myoelectric signal (negative example).
  • FIG. 7 is a diagram illustrating an example of a feature amount (positive example) calculated from the myoelectric signal illustrated in FIG. 5.
  • FIG. 8 is a diagram illustrating an example of a feature amount (negative example) calculated from the myoelectric signal illustrated in FIG. 6.
  • FIG. 9 is a diagram illustrating an example of the projection table.
  • FIG. 10 is a diagram illustrating an example of a two-dimensional space.
  • FIG. 11 is a diagram illustrating an example in which the coordinate values of each node represented by the projection table illustrated in FIG. 9 are plotted in a two-dimensional space.
  • FIG. 12 is a diagram showing an example of the projection table after moving the node coordinate values of the projection table shown in FIG.
  • FIG. 1 is a block diagram showing a functional configuration of an exercise state visualization device which is an embodiment of the multidimensional data visualization device according to the present invention.
  • the exercise state visualization device 1 is connected to the myoelectric signal measurement device 2 and the display device 3 via a signal cable, a LAN (Local Area Network), or a wireless network such as a wireless LAN or Bluetooth (registered trademark).
  • a LAN Local Area Network
  • a wireless network such as a wireless LAN or Bluetooth (registered trademark).
  • the myoelectric signal measuring device 2 attaches electrodes to a plurality of muscle parts corresponding to a muscular activity system to be monitored by the subject, and outputs a time-series myoelectric signal continuously detected by each electrode. It has a function to output.
  • the display device 3 includes a terminal device having a display such as a personal computer, a smartphone, a tablet-type terminal, and a wearable terminal, and receives display data for visualizing the exercise state output from the exercise state visualization device 1. It has the function of displaying.
  • the exercise state visualization device 1 is composed of, for example, a personal computer or a server computer, and includes a control unit 11, a storage unit 12, and an interface unit 13.
  • the interface unit 13 receives each of the myoelectric signals output from the myoelectric signal measurement device 2, converts each of the myoelectric signals into, for example, digital data waveform data, and outputs the converted waveform data to the control unit 11.
  • the interface unit 13 outputs display data for visualizing the exercise state generated by the control unit 11 to the display device 3.
  • the storage unit 12 includes, as storage media, a nonvolatile memory such as a hard disk drive (HDD) or a solid state drive (SSD) that can be written and read at any time, and a nonvolatile memory such as a read only memory (ROM). , And a volatile memory such as a RAM (Random Access Memory).
  • the storage area is provided with a program storage area and a data storage area.
  • the program storage area stores programs required to execute various control processes according to an embodiment of the present invention.
  • the data storage area is provided with a myoelectric signal storage unit 121, a feature amount storage unit 122, and a projection transformation model storage unit 123.
  • the myoelectric signal storage section 121 is used to store waveform data of each myoelectric signal acquired from the myoelectric signal measurement device 2, that is, multidimensional time-series data.
  • the feature amount storage unit 122 is used to store data representing a feature amount of a waveform calculated from the waveform data of each myoelectric signal.
  • the projective transformation model storage unit 123 is used to store the projective transformation model generated by the control unit 10.
  • the control unit 10 includes, for example, a hardware processor such as a CPU (Central Processing Unit), and includes a myoelectric signal acquisition unit 111, a preprocessing unit 112, and a control function for realizing an embodiment of the present invention.
  • a feature amount calculation unit 113, a node information update unit 114, a projection table update unit 115, and a motion state visualization unit 116 are provided. Each of these control functions is realized by causing the hardware processor to execute a program stored in the program storage area.
  • the myoelectric signal acquisition section 111 performs a process of capturing the waveform data of each myoelectric signal output from the myoelectric signal measurement device 2, that is, multidimensional time-series data from the interface unit 13. At this time, as the waveform data of each of the myoelectric signals, waveform data (positive example data) corresponding to an ideal exercise state and waveform data (negative example data) corresponding to an exercise state far from ideal are prepared, Labeled positive and negative examples respectively.
  • the preprocessing unit 112 performs a filtering process on each of the positive example waveform data and the negative example waveform data acquired by the myoelectric signal acquisition unit 111 using a notch filter and a bandpass filter, respectively. The body motion noise and the AC noise component are removed from each of the waveform data. Then, the preprocessing unit 112 causes the myoelectric signal storage unit 121 to store the positive example waveform data and the negative example waveform data after the filtering process.
  • the characteristic amount calculation unit 113 reads each of the positive example waveform data and the negative example waveform data from the myoelectric signal storage unit 121 at a predetermined sampling interval, and for each read sample, obtains the waveform characteristic from each of the above waveform data. Calculate the amount.
  • the feature quantity may be an amplitude feature quantity or a frequency feature quantity.
  • the characteristic amount calculation unit 113 causes the characteristic amount storage unit 122 to store data representing the characteristic amount of the waveform calculated for each sample in a time series.
  • the ⁇ node information updating unit 114 constructs a projective transformation model based on the feature amounts of the positive example and negative example waveform data stored in the feature amount storage unit 122.
  • the projective transformation model projects, for example, a multidimensional vector represented by a set of feature amounts of each waveform data for each sample into a lower-dimensional space (for example, a two-dimensional space) according to a self-organizing map approach. Is what you do.
  • the self-organizing map defines a plurality of nodes having reference vectors and a projection table for projecting the node information into a two-dimensional space. Therefore, the projective transformation model is represented by the node information and the projective table. An example of the node information update processing will be described later in detail.
  • the projection table update unit 115 performs a projective transformation of the feature amount of each of the positive example and negative example waveform data into a two-dimensional space for each sample based on the projective transformation model learned by the node information update unit 114. From the result, the Euclidean distance in the two-dimensional space between the positive example data and the negative example data is calculated for each sample. When the Euclidean distance is smaller than the threshold value, the projection table is updated.
  • the process of updating the projection table is a process of moving the plot position of the negative example data in the two-dimensional space so that the Euclidean distance is equal to or greater than the threshold. An example of the projection table updating process will also be described later in detail.
  • the projection table updating unit 115 uses the node information and the projection table at this time as the information representing the projection conversion model. It is stored in the storage unit 123.
  • the motion state visualization unit 116 corresponds to the feature amount of the myoelectric signal waveform of the subject to be visualized and the target motion state in a state where the motion state visualization phase is set.
  • the characteristic amount of the target myoelectric signal waveform is read from the calculation unit 113.
  • the motion state visualization unit 116 performs a projective transformation of each of the read feature amounts into a two-dimensional space according to the projective transformation model stored in the projective transformation model storage unit 123, and displays display data representing the transformation result in the interface unit 13 Is output to the display device 3.
  • FIG. 2 is a flowchart illustrating an example of a processing procedure and a processing content of a projective transformation model construction phase by the control unit 11 of the motion state visualization device 1.
  • the exercise state visualization device 1 controls the myoelectric signal acquisition section 111 to control the myoelectric signal acquisition section 111 in step S1 based on the positive three myoelectric signals and the negative three myoelectric signals output from the myoelectric signal measurement device 2.
  • the data is received by the interface unit 13 and converted into waveform data composed of digital signals.
  • the myoelectric signal measurement device 2 has a function of converting an electromyographic signal from an analog signal to a digital signal, the conversion processing to the digital signal by the interface unit 13 becomes unnecessary.
  • step S2 under the control of the pre-processing unit 112, the motion state visualization device 1 applies the notch filter and the band to the acquired three sets of waveform data of the positive example and the three sets of waveform data of the negative example. Perform a filtering process using a pass filter. As a result, the body motion noise and the AC noise component included in each of the positive example waveform data and the negative example waveform data are removed. Then, the exercise state visualization device 1 causes the myoelectric signal storage unit 121 to store the waveform data of the positive example and the waveform data of the negative example after the filtering process in a time-series manner.
  • FIGS. 5A, 5B, and 5C show examples of waveform data of the positive example after the filtering processing
  • FIGS. 6A, 6B, and 6C show negative waveform data after the filtering processing. An example of each waveform data of the example is shown.
  • step S3 under the control of the feature amount calculation unit 113, the motion state visualization device 1 calculates the amplitude from each of the waveform data of the positive example and the waveform data of the negative example. Is performed as follows.
  • the feature amount calculation unit 113 reads each of the positive example waveform data and the negative example waveform data from the myoelectric signal storage unit 121 at a predetermined sampling interval, and for each read sample, reads the amplitude from each of the waveform data. Is calculated.
  • the feature amount of the amplitude can be calculated as, for example, a root mean square (RMS).
  • RMS root mean square
  • R 2 [R 2 (1), R 2 (2),..., R 2 (n)]
  • R 3 [R 3 (1), R 3 (2),..., R 3 (n)].
  • FIGS. 7A, 7B, and 7C show examples of time-series data of RMS values calculated as amplitude feature amounts from the respective waveform data of the positive example
  • FIGS. 8A, 8B, and 8C. Shows an example of the time-series data of the RMS value calculated as the amplitude feature amount from each waveform data of the negative example.
  • the time series data of these RMS values is hereinafter also referred to as amplitude feature data.
  • a frequency characteristic amount may be calculated in addition to the amplitude characteristic amount.
  • the motion state visualization device 1 also stores the positive example and the negative example amplitude feature amount data R 1 , R 2 , and R 3 stored in the feature amount storage unit 122. Then, a learning process for constructing a projective transformation model is performed.
  • a model that uses the self-organizing map approach to project the above-mentioned three series of amplitude feature data R 1 , R 2 , and R 3 for each sample into a two-dimensional space for each of the positive and negative examples. To construct.
  • the self-organizing map holds a plurality of nodes in a specific space, and each node has a reference vector having the same dimension as the input waveform data. In this example, it is assumed that there are 100 nodes, for example. Each node is denoted by m 1 to m 100 .
  • Has a reference vector like w k, 1 , w k, 2 , w k, 3 are reference vectors for the respective amplitude feature data R 1 , R 2 , R 3 , and are used for updating the self-organizing map and projecting the input waveform data. .
  • each node m 1, ..., m k, ... having a projection table projecting the m 100 to two-dimensional space.
  • Projection table in the initial state, the nodes m 1, ..., m k, ..., the coordinate value is set to m 100 is evenly distributed in the two-dimensional space.
  • FIG. 9 shows an example of the projection table in this case. Using this projection table, the k-th node mk is projected to a coordinate value (p, q) on a two-dimensional plane, for example, as shown in FIG.
  • Motion state visualization device 1 in step S4 the node information under the control of the updating unit 114, an amplitude characteristic amount data R 1 in 3 series positive example from the feature storage unit 122, R 2, R 3 and negative examples
  • the three series of amplitude feature data R 1 , R 2 , and R 3 are read for each sample, and the reference vector of each node is updated using the amplitude feature data R 1 , R 2 , and R 3 .
  • Sgood (i) [R 1 good (i), R 2 good (i), R 3 good (i)]
  • Sbad (i) [R 1 bad (i), R 2 bad (i), R 3 bad (i)]
  • the motion state visualization device 1 outputs, to the projection table updating unit 115, each node information holding the updated reference vector and information representing the projection table as a projection conversion model.
  • the projection table update unit 115 receives the node information and the projection conversion model including the projection table from the node information updating unit 114. Then, in step S51, it is determined whether or not it is necessary to move the coordinate value of the node information, and if it is determined that the coordinate value is necessary, a process of moving the coordinate value of the node is executed.
  • FIG. 4 is a flowchart showing the procedure and the contents of the movement process of the node coordinates.
  • the projection table updating unit 115 sets samples i in order from 1 to n, and for each i, the i-th sample of each of the above-described positive example and negative example amplitude feature data is converted into a two-dimensional space based on the projection table. Is projected.
  • nodes having reference vectors are dispersed, and the amplitude feature data is plotted at nodes having a short Euclidean distance.
  • the projection table updating unit 115 calculates a threshold ⁇ for determining the Euclidean distance D in step S511.
  • the threshold value ⁇ is, for example, in the case of the t-th sample, using the correlation coefficient of the positive example data and the Euclidean distance, Is calculated by
  • step S512 the projection table updating unit 115 compares the calculated Euclidean distance D (t) with the calculated threshold ⁇ (t). And D (t) ⁇ (t)
  • step S513 the node of the negative example data is set such that the Euclidean distance D (t) between the node on which the negative example data is plotted and the node on which the positive example data is plotted is equal to or larger than the threshold value ⁇ (t). Move the two-dimensional space coordinates of. On the other hand, if D (t) ⁇ ⁇ (t), it is not moved.
  • D (t) ⁇ ⁇ (t) the two-dimensional space coordinates of the node m 18 are not moved.
  • D (t ') ⁇ (t' until the condition of) for example, to move the coordinate values of node m 76 in the X-axis direction.
  • D (t ') ⁇ (t' until the condition of) for example, to move the coordinate values of node m 76 in the X-axis direction.
  • to move the coordinate values of node m 76 to m 76 (6,7).
  • the projection table updating unit 115 ends the node moving process in step S51, it determines whether or not the node has been moved in step S52. If the result of this determination is that node movement has not been performed, it is considered that updating of the projection table has been completed, and the projection table is stored in the projection transformation model storage unit 123 in step S53.
  • the projection table updating unit 115 updates the coordinate value of the projection conversion destination corresponding to the corresponding node in the projection table to the coordinate value of the moved node.
  • Figure 12 shows a configuration of a projection table after moving the coordinate values of the node m 76.
  • the projection table updating unit 115 feeds back the updated node information and the projection table to the node information updating unit 114.
  • the node information updating unit 114 updates the reference vector of the updated node based on the updated updated node information and the projection table.
  • the exercise state visualization device 1 repeatedly executes the series of processes (1-1) to (1-3) described above based on the myoelectric signals at the time of predetermined exercise provided by different subjects, Thereby, the projective transformation model is learned. Thus, a projective transformation model is constructed.
  • Motion state visualization phase When the construction of the projective transformation model is completed, the motion state visualization phase is set in the motion state visualization device 1. Then, a process of visualizing the motion state of the user can be performed using the projective transformation model constructed above.
  • the waveform data of the myoelectric signal corresponding to the exercise state targeted for the user is previously input to the exercise state visualization device 1 and stored in the myoelectric signal storage unit 121. .
  • the exercise state visualizing device 1 converts the three series of myoelectric signals output from the myoelectric signal measuring device 2 attached to the user to the myoelectric signal.
  • the data is fetched via the interface unit 13.
  • the myoelectric signal is converted by the interface unit 13 into waveform data composed of a digital signal.
  • the exercise state visualization device 1 measures the waveform of the measured user's EMG signal stored in the EMG storage unit 121 under the control of the feature amount calculation unit 113. An amplitude feature amount is extracted from the data (measured waveform data). At the same time, the exercise state visualization device 1 extracts an amplitude feature amount from waveform data (target waveform data) of the myoelectric signal corresponding to the target exercise state stored in the myoelectric signal storage unit 121. For any of the waveform data, the feature amount of the amplitude is calculated for each sample, for example, as a root mean square (RMS). The amplitude feature data calculated from the measured waveform data and the amplitude feature data calculated from the target waveform data are temporarily stored in the feature storage unit 122.
  • RMS root mean square
  • the motion state visualization device 1 first reads a projective transformation model from the projective transformation model storage unit 123 under the control of the movement state visualization unit 116. Then, the amplitude characteristic amount data calculated from the measured waveform data and the amplitude characteristic amount data calculated from the target waveform data are read from the characteristic amount storage unit 122, respectively, and these amplitude characteristic amount data are read by the projective transformation model. Is used to projectively convert to coordinates in two-dimensional space. Then, the motion state visualization unit 116 generates display data for simultaneously displaying the two-dimensional spatial coordinate values corresponding to the respective projection-converted amplitude feature data, and transmits the display data from the interface unit 13 to the display device 3. Output and display.
  • the projection table of the projective transformation model updates the coordinate values of the transformation destination of the node such that the Euclidean distance D (i) in the two-dimensional space of the positive example data and the negative example data is equal to or larger than the threshold ⁇ (i). Is set.
  • the distance between the two-dimensional coordinate value representing the measured motion state of the user and the two-dimensional coordinate value representing the target motion state, which has been projectively transformed based on the projection table of the projective transformation model is:
  • the motion state is displayed at a position sufficiently distant in the two-dimensional space. Therefore, when the user looks at the display data, the user can clearly grasp the deviation of his / her actual exercise state from the target exercise state.
  • the motion state visualization device includes a projective transformation model to which a self-organizing map is applied.
  • This projective transformation model includes a plurality of nodes holding reference vectors corresponding to multidimensional input data composed of myoelectric signals, and coordinates in a two-dimensional space to which these nodes and reference vectors held by the nodes are projected. And a projection table representing the correspondence between Then, the exercise state visualization device performs the following processing. That is, first, in the learning phase of the projective transformation model, the multidimensional input data of each of the positive and negative examples is obtained, and the amplitude feature amount is calculated from the multidimensional input data.
  • each of the calculated amplitude feature amount data of the positive example and the negative example is learned as a reference vector of the plurality of nodes for each sample.
  • a node trained by the amplitude feature data of the positive example and a node trained by the amplitude feature data of the negative example are projected on a two-dimensional space in accordance with the projection table. Calculate the distance. Then, the coordinates of the projection table are updated so that the calculated Euclidean distance is equal to or larger than the threshold.
  • the movement state visualization phase when the feature amount corresponding to the actual movement state of the user and the feature amount corresponding to the target movement state are projected onto the two-dimensional space using the learned projection transformation model.
  • the projective transformation model has been described as projecting the feature amounts respectively extracted from the three series of myoelectric signals into a two-dimensional space.
  • the number of input signals is not limited to three, but may be two or four or more.
  • the projective transformation destination may be a one-dimensional space or a three-dimensional space other than the two-dimensional space. .
  • other methods such as principal component analysis and multidimensional scaling are applied. be able to.
  • a feature amount is extracted from a plurality of series of myoelectric signals, and this multidimensional feature amount is projectively transformed into visualization information representing a lower-dimensional body motion.
  • the present invention is not limited to this, and information representing cardiopulmonary movements such as heartbeat signals and electrocardiographic signals, information representing respiratory conditions, and images of movements of other parts of the body such as the head, eyes, and mouth Even when acquiring multi-dimensional information representing various various movements of the body, such as information, and projecting and transforming features extracted from this multi-dimensional information into lower-dimensional visualization information, , Applicable.
  • the present invention is also applicable to a case where multidimensional data representing the operating state of a machine such as a manufacturing facility or a robot is projectively transformed into lower-dimensional data and visualized.
  • the motion state visualization device executes only the learning phase of the projective transformation model, and the projective transformation model learned by the motion state visualization device is downloaded and provided to, for example, a user terminal device.
  • the user may be able to confirm his / her exercise state on his / her own terminal device. In this way, the load on the terminal device can be reduced.
  • the display device 3 is a device different from the exercise status visualization device 1 has been described as an example.
  • the exercise status visualization device performs display like a personal computer, a smartphone, or a wearable terminal.
  • a display device provided in the exercise state visualization device may be used.
  • the type and configuration of the motion state visualization device, the processing procedure and the processing content of the projective transformation model learning phase, and the like can be variously modified without departing from the gist of the present invention.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying its constituent elements in an implementation stage without departing from the scope of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

この発明の一実施形態は、多次元データに対応する次元の参照ベクトルを保持する複数のノードと、射影テーブルとを有する射影変換モデルを備える。射影テーブルは、上記ノードの番号と、各ノードが保持する参照ベクトルの射影先となる二次元空間における座標との対応関係を表す。そして、先ず学習フェーズにおいて、正例および負例の各多次元入力データを取得してそれぞれその振幅特徴量を算出し、当該各振幅特徴量データをサンプルごとに上記複数のノードの参照ベクトルとして学習させる。次に、正例の振幅特徴量データにより学習されたノードと、負例の振幅特徴量データにより学習されたノードを、射影テーブルに従い二次元空間に射影したときの各座標のユークリッド距離を算出し、算出されたユークリッド距離が閾値以上となるように上記射影テーブルの座標を更新する。

Description

多次元データ可視化装置、方法およびプログラム
　この発明の一態様は、例えば、筋活動を表す多次元の時系列データを可視化するために使用される、多次元データ可視化装置、方法およびプログラムに関する。
　近年、例えば医療や福祉、スポーツ分野において、種々の身体運動を解析する試みがなされている。運動は、一般的に複数筋の時系列的な活動により構成されている。そのため、理想の運動を実現するためには、複数筋の時系列的な活動を分析し、個々の筋について瞬間ごとに筋肉の収縮、弛緩、緊張度を調整することが必要である。筋活動は、筋肉の収縮に伴って筋繊維を通過する電気信号、つまり筋電信号を計測することにより分析可能である。ところが、筋電信号のような多次元の時系列データを目視で分析することは困難である。
　そこで、例えば、自己組織化写像（Self-Organizing Map : SOM）を用いて多次元の時系列データを二次元空間に写像したマップを生成し提示することで、運動状態を可視化する技術が提案されている（例えば非特許文献１を参照）。
横田 紘季、大島 成通、水野 直樹、「自己組織化写像を用いた人体運動情報の可視化（筋骨格モデルシミュレーションに基づく最適動作を利用した身体知マップの生成）」、日本機械学会論文集、Vol.82,No.834,2016、公開日 2016/02/25
　ところが、非特許文献１に記載された技術には以下のような解決すべき課題があった。すなわち、現実の運動状態には、理想の運動状態に近い状態（近正例）と、理想の運動状態からかけ離れている状態（負例）とがある。運動状態を可視化しようとする場合、このような現実の運動状態（近正例、負例）と理想の運動状態（正例）とを二次元空間上に表示することになるが、非特許文献１に記載された技術では現実の運動状態と理想の運動状態との差別化が考慮されていないため、両運動状態の差分を判別し難くなる場合があった。
　この発明は上記事情に着目してなされたもので、複数の多次元データを可視化する際に、その差分を明確に判別できるようにした技術を提供しようとするものである。
　この発明に係る多次元データ可視化装置または方法の一つの態様は、入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを使用する。そして、学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出し、抽出された前記第１および第２の多次元データの各特徴量に基づいてそれぞれ前記ノードの参照ベクトルを更新する。そして、前記第１および第２の多次元データの各特徴量をもとにそれぞれ更新されたノードを前記テーブルに従い、前記射影先となる空間に射影したときの各座標間の距離を算出し、当該距離が閾値以上となるように前記テーブルを更新するようにしたものである。
　この発明の一つの態様によれば、複数の多次元データを可視化する際に、その差分を明確に判別できるようにした技術を提供することができる。
図１は、この発明に係る多次元データ可視化装置の一実施形態である運動状態可視化装置の機能構成を示すブロック図である。 図２は、図１に示した運動状態可視化装置の射影変換モデル学習フェーズにおける処理手順と処理内容の一例を示すフローチャートである。 図３は、図２に示した射影変換モデル学習フェーズにおける射影テーブル更新処理の処理手順と処理内容の一例を示すフローチャートである。 図４は、図３に示したノード移動処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、筋電信号（正例）の一例を示す図である。 図６は、筋電信号（負例）の一例を示す図である。 図７は、図５に示した筋電信号から算出された特徴量（正例）の一例を示す図である。 図８は、図６に示した筋電信号から算出された特徴量（負例）の一例を示す図である。 図９は、射影テーブルの一例を示す図である。 図１０は、二次元空間の一例を示す図である。 図１１は、図９に示した射影テーブルにより表される各ノードの座標値を二次元空間にプロットした例を示す図である。 図１２は、図９に示した射影テーブルのノード座標値を移動した後の射影テーブルの一例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　［一実施形態］
　（構成例）
　図１は、この発明に係る多次元データ可視化装置の一実施形態である運動状態可視化装置の機能構成を示すブロック図である。　
　運動状態可視化装置１は、信号ケーブル、ＬＡＮ（Local Area Network）、または無線ＬＡＮやBluetooth（登録商標）等の無線ネットワークを介して、筋電信号計測装置２および表示装置３に接続される。
　筋電信号計測装置２は、例えば、被験者の監視対象となる筋活動系に対応する複数の筋部位にそれぞれ電極を装着し、各電極によりそれぞれ連続的に検出された時系列の筋電信号を出力する機能を有する。
　表示装置３は、例えばパーソナルコンピュータやスマートフォン、タブレット型端末、ウェアラブル端末のようにディスプレイを備えた端末装置からなり、運動状態可視化装置１から出力される運動状態を可視化するための表示データを受け取って表示する機能を有する。
　運動状態可視化装置１は、例えばパーソナルコンピュータまたはサーバコンピュータからなり、制御ユニット１１と、記憶ユニット１２と、インタフェースユニット１３とを備える。インタフェースユニット１３は、筋電信号計測装置２から出力された各筋電信号を受信して、例えばディジタル信号からなる波形データにそれぞれ変換し、変換後の各波形データを制御ユニット１１へ出力する。またインタフェースユニット１３は、制御ユニット１１により生成された、運動状態を可視化するための表示データを表示装置３へ出力する。
　記憶ユニット１２は、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
　データ記憶領域には、筋電信号記憶部１２１と、特徴量記憶部１２２と、射影変換モデル記憶部１２３とが設けられている。筋電信号記憶部１２１は、上記筋電信号計測装置２から取得された各筋電信号の波形データ、つまり多次元の時系列データを記憶するために用いられる。特徴量記憶部１２２は、上記各筋電信号の波形データからそれぞれ算出される波形の特徴量を表すデータを記憶するために用いられる。射影変換モデル記憶部１２３は、制御ユニット１０により生成された射影変換モデルを記憶するために使用される。
　制御ユニット１０は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサを備え、この発明の一実施形態を実現するための制御機能として、筋電信号取得部１１１と、前処理部１１２と、特徴量算出部１１３と、ノード情報更新部１１４と、射影テーブル更新部１１５と、運動状態可視化部１１６とを備えている。これらの制御機能は、いずれも上記プログラム記憶領域に記憶されたプログラムを上記ハードウェアプロセッサに実行させることにより実現される。
　筋電信号取得部１１１は、筋電信号計測装置２から出力された各筋電信号の波形データ、つまり多次元の時系列データをインタフェースユニット１３から取り込む処理を行う。このとき、上記各筋電信号の波形データとしては、理想の運動状態に対応する波形データ（正例データ）と、理想からかけ離れた運動状態に対応する波形データ（負例データ）が用意され、それぞれ正例および負例のラベルが付される。
　前処理部１１２は、上記筋電信号取得部１１１により取り込まれた正例の各波形データ、および負例の各波形データに対し、それぞれノッチフィルタやバンドパスフィルタを用いてフィルタリング処理を行うことで、上記各波形データから体動ノイズおよび交流ノイズ成分を除去する。そして前処理部１１２は、上記フィルタリング処理後の正例の各波形データおよび負例の各波形データを筋電信号記憶部１２１に記憶させる。
　特徴量算出部１１３は、上記筋電信号記憶部１２１から正例の各波形データおよび負例の各波形データを所定のサンプリング間隔で読み込み、読み込んだサンプルごとに上記各波形データからそれぞれ波形の特徴量を算出する。例えば、特徴量としては振幅特徴量または周波数特徴量が考えられる。そして特徴量算出部１１３は、正例および負例の各々について、上記サンプルごとに算出された波形の特徴量を表す各データを時系列に従い特徴量記憶部１２２に記憶させる。
　ノード情報更新部１１４は、射影変換モデル構築フェーズにおいて、上記特徴量記憶部１２２に記憶された正例および負例の各波形データの特徴量に基づいて、射影変換モデルを構築する。射影変換モデルは、例えば、自己組織化マップのアプローチに従い、サンプルごとにその各波形データの特徴量の組により表される多次元ベクトルを、それより低次元の空間（例えば二次元空間）に射影するものである。自己組織化マップでは、参照ベクトルを持つ複数のノードと、当該ノード情報を二次元空間に射影するための射影テーブルとを定義している。そのため、射影変換モデルはこのノード情報と射影テーブルとにより表される。このうちノード情報の更新処理については、その一例を後に詳しく説明する。
　射影テーブル更新部１１５は、上記ノード情報更新部１１４により学習された射影変換モデルに基づいて、上記正例および負例の各波形データの特徴量をサンプルごとに二次元空間へ射影変換し、その結果からサンプルごとに正例データと負例データの二次元空間におけるユークリッド距離を算出する。そして、ユークリッド距離が閾値より小さい場合に、射影テーブルの更新処理を行う。射影テーブルの更新処理は、上記ユークリッド距離が閾値以上となるように二次元空間における負例データのプロット位置を移動させる処理である。この射影テーブルの更新処理の一例についても後に詳しく述べる。
　射影テーブル更新部１１５は、すべてのサンプルにおいて正例データと負例データのユークリッド距離が閾値以上になった場合に、このときのノード情報と射影テーブルを、射影変換モデルを表す情報として射影変換モデル記憶部１２３に格納する。
　運動状態可視化部１１６は、射影変換モデル構築フェーズの終了後、運動状態可視化フェーズが設定された状態で、可視化対象となる被験者の筋電信号波形の特徴量と、目標となる運動状態に対応する目標筋電信号波形の特徴量を、算出部１１３から読み込む。そして運動状態可視化部１１６は、上記読み込まれた各特徴量を、射影変換モデル記憶部１２３に記憶された射影変換モデルに従い二次元空間に射影変換し、その変換結果を表す表示データをインタフェースユニット１３から表示装置３へ出力させる処理を行う。
　（動作例）
　次に、以上のように構成された運動状態可視化装置１の動作例を説明する。　
　（１）射影変換モデル構築フェーズ
　射影変換モデルの構築フェーズが設定されると、運動状態可視化装置１は以下のように射影変換モデルを構築するための学習処理を実行する。　
　図２は、運動状態可視化装置１の制御ユニット１１による射影変換モデル構築フェーズの処理手順と処理内容の一例を示すフローチャートである。
　（１－１）筋電信号の取得および前処理
　筋電信号計測装置２では、被験者の監視対象となる筋活動系に対応する複数の筋部位に電極が装着され、これらの電極により連続的な筋電信号が検出される。このとき、被験者の理想的な運動状態において検出された各筋電信号には「正例」ラベルが付される。一方、被験者の理想からかけ離れた運動状態において検出された各筋電信号には「負例」ラベルが付される。なお、この例では、筋電信号計測装置２は３個の電極を使用し、これにより正例および負例とも３系列の筋電信号ＥＭＧ１，ＥＭＧ２，ＥＭＧ３が出力される場合について説明を行う。
　運動状態可視化装置１は、上記筋電信号計測装置２から出力された正例の３系列の筋電信号および負例の３系列の筋電信号を、ステップＳ１において筋電信号取得部１１１の制御の下、インタフェースユニット１３により受信し、ディジタル信号からなる波形データに変換する。なお、筋電信号計測装置２が筋電信号をアナログ信号からディジタル信号に変換する機能を有している場合には、インタフェースユニット１３による上記ディジタル信号への変換処理は不要となる。
　運動状態可視化装置１は、続いてステップＳ２において、前処理部１１２の制御の下、上記取得された正例の３系列の波形データおよび負例の３系列の波形データに対しそれぞれノッチフィルタやバンドパスフィルタを用いたフィルタリング処理を行う。この結果、上記正例の各波形データおよび負例の各波形データに含まれる、体動ノイズおよび交流ノイズ成分が除去される。そして運動状態可視化装置１は、上記フィルタリング処理後の正例の各波形データおよび負例の各波形データを、筋電信号記憶部１２１に時系列で記憶させる。図５（ａ），（ｂ），（ｃ）は上記フィルタリング処理後の正例の各波形データの一例を、また図６（ａ），（ｂ），（ｃ）は上記フィルタリング処理後の負例の各波形データの一例をそれぞれ示す。
　（１－２）特徴量の算出
　運動状態可視化装置１は、次にステップＳ３において、特徴量算出部１１３の制御の下、上記正例の各波形データおよび負例の各波形データの各々から振幅の特徴量を抽出するための処理を以下のように実行する。
　すなわち、特徴量算出部１１３は、上記筋電信号記憶部１２１から正例の各波形データおよび負例の各波形データを所定のサンプリング間隔で読み込み、読み込んだサンプルごとに上記各波形データからそれぞれ振幅の特徴量を算出する。
　振幅の特徴量は、例えば二乗平均平方根（Root Mean Square：ＲＭＳ）として算出することができる。いま、上記筋電信号記憶部１２１に記憶されたノイズ成分除去処理後の筋電信号（筋電波形データ）のうち、サンプルｉにおける信号をｄ1(i)、ｄ2(i)、ｄ3(i)とすると、上記サンプルｉにおけるＲＭＳ値Ｒ1(i)，Ｒ2(i)，Ｒ3(i)は下式により算出される。
Figure JPOXMLDOC01-appb-M000001
 なお、ＮはＲＭＳを計算するサンプル幅であり、この例ではＮ＝１００とする。
　そして特徴量算出部１１３は、正例の各波形データおよび負例の各波形データからそれぞれ算出された、すべてのサンプルの振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 を、時系列で特徴量記憶部１２２に記憶させる。いま、サンプル数をｎ個とすると、Ｒ1 ，Ｒ2 ，Ｒ3 は以下のように表される。　
　　　　　　Ｒ1 ＝［Ｒ1 (1)，Ｒ1 (2)，…，Ｒ1 (n)］
　　　　　　Ｒ2 ＝［Ｒ2 (1)，Ｒ2 (2)，…，Ｒ2 (n)］
　　　　　　Ｒ3 ＝［Ｒ3 (1)，Ｒ3 (2)，…，Ｒ3 (n)］。
　図７（ａ），（ｂ），（ｃ）は正例の各波形データから振幅特徴量として算出されたＲＭＳ値の時系列データの一例を、図８（ａ），（ｂ），（ｃ）は負例の各波形データから振幅特徴量として算出されたＲＭＳ値の時系列データの一例をそれぞれ示す。これらのＲＭＳ値の時系列データを、以後振幅特徴量データとも言う。なお、波形データの特徴量としては、振幅の特徴量以外に、周波数の特徴量を算出するようにしてもよい。
　（１－３）ノード情報の更新
　次に運動状態可視化装置１は、上記特徴量記憶部１２２に記憶された、正例および負例の各振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 をもとに、射影変換モデルを構築するための学習処理を行う。この例では、自己組織化マップのアプローチを用い、正例および負例の各々について、上記３系列の振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 をサンプルごとに二次元空間に射影するモデルを構築する。
　自己組織化マップは、特定空間においてノードを複数保持し、各ノードはそれぞれ入力波形データと同一次元の参照ベクトルを持つ。この例では、例えば１００個のノードを持つこととする。各ノードはｍ1 ～ｍ100と表記する。
　いま、ｋ番目のノードをｍk としたとき、ノードｍk は
　　　　　　ｍk ＝［ｗk,1，ｗk,2，ｗk,3］
のような参照ベクトルを持つ。ｗk,1，ｗk,2，ｗk,3はそれぞれ各振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 に対する参照ベクトルであり、自己組織化マップの更新や入力波形データの射影に用いられる。
　また自己組織化マップは、各ノードｍ1 ，…，ｍk ，…，ｍ100を２次元空間に射影する射影テーブルを持つ。射影テーブルは、初期状態では、各ノードｍ1 ，…，ｍk ，…，ｍ100が二次元空間において均等に分散するように座標値が設定される。図９にこの場合の射影テーブルの一例を示す。この射影テーブルを用いると、ｋ番目のノードｍk は二次元平面において例えば図１０に示すように座標値（ｐ，ｑ）に射影される。
　運動状態可視化装置１は、ステップＳ４において、ノード情報更新部１１４の制御の下、上記特徴量記憶部１２２から正例の３系列の振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 および負例の３系列の振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 をそれぞれサンプルごとに読み込み、これらの振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3を用いて各ノードの参照ベクトルを更新する。
　例えば、正例の振幅特徴量データのサンプルｉにおけるデータをＳgood(i) 、負例の振幅特徴量データのサンプルｉにおけるデータをＳbad(i) とすると、これらのサンプルｉにおけるデータＳgood(i) ，Ｓbad(i) はそれぞれ下式で表される。　
　　　　　　Ｓgood(i) ＝［Ｒ1 good(i) ，Ｒ2 good(i) ，Ｒ3 good(i) ］
　　　　　　Ｓbad(i) ＝［Ｒ1 bad(i) ，Ｒ2 bad(i) ，Ｒ3 bad(i) ］
　なお、振幅特徴量データＲ1 good(i) ，Ｒ2 good(i) ，Ｒ3 good(i)およびＲ1 bad(i) ，Ｒ2 bad(i) ，Ｒ3 bad(i) の読み込みは、振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3に付与された正例、負例の各ラベルに基づいて行われる。なお、上記正例および負例の各振幅特徴量データＳgood(i) ，Ｓbad(i) に基づく各ノードの参照ベクトルの更新処理は、非特許文献１に詳しく記載されている。
　運動状態可視化装置１は、上記更新された参照ベクトルを保持する各ノード情報と、射影テーブルを表す情報を、射影変換モデルとして射影テーブル更新部１１５へ出力する。
　（１－４）射影テーブルの更新
　上記射影テーブルは、初期状態においては正例と負例の二次元空間への変換座標値が近い値に設定されている場合があり、この場合プロット後の正例と負例の変換後の二次元座標間の距離が近くなって両者の差別化が図り難くなる。
　そこで、射影テーブル更新部１１５は、ステップＳ５において以下のように射影テーブルの更新処理を実行する。図３はその処理手順と処理内容を示すフローチャートである。
　すなわち、射影テーブル更新部１１５は、上記特徴量記憶部１２２から正例の振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 および負例の振幅特徴量データＲ1 ，Ｒ2 ，Ｒ3 をサンプルごとに読み込む。また射影テーブル更新部１１５は、上記ノード情報更新部１１４からノード情報および射影テーブルを含む射影変換モデルを受け取る。そして、ステップＳ５１において、ノード情報の座標値を移動させる必要があるか否かを判定し、必要があると判定された場合に当該ノードの座標値を移動させる処理を実行する。
　図４は、当該ノード座標の移動処理の手順と処理内容を示すフローチャートである。射影テーブル更新部１１５は、サンプルｉを１～ｎまで順に設定し、ｉごとに上記正例および負例の各振幅特徴量データのｉ番目のサンプルについてそれぞれ射影テーブルをもとに二次元空間への射影変換を行う。自己組織化マップにおいては、参照ベクトルを持つノードが分散しており、上記振幅特徴量データはユークリッド距離が近いノードにプロットされる。
　例えば、いま射影テーブルが図９に示すように構成されているものとし、この条件でｉ＝t番目のサンプルとｉ＝t′番目のサンプルにおける、正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) が、下式の組み合わせでユークリッド距離が近い場合を考える。　
　　　　　　Ｓgood(t) →ｍ33
　　　　　　Ｓgood(t′) →ｍ18
　　　　　　Ｓbad(t) →ｍ75
　　　　　　Ｓbad(t′) →ｍ76
　この例では、上記正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) を二次元空間に射影変換すると、図１１に示すようになる。
　射影テーブル更新部１１５は、ステップＳ５１１において、先ず上記正例データＳgood(t) ，Ｓgood(t′) および負例データＳbad(t) ，Ｓbad(t′) の二次元空間におけるユークリッド距離Ｄを算出する。このとき、ｔ番目のサンプルにおける正例データＳgood(t) と負例データＳbad(t) の二次元空間におけるユークリッド距離Ｄ(t) は、下式により算出される。
Figure JPOXMLDOC01-appb-M000002
 　同様に、ｔ′番目のサンプルにおける正例データＳgood(t′) と負例データＳbad(t′) の二次元空間におけるユークリッド距離Ｄ(t′) は、
　　　　　　Ｄ(t′)＝１
のように算出される。
　またそれと共に射影テーブル更新部１１５は、ステップＳ５１１において、上記ユークリッド距離Ｄを判定するための閾値θを算出する。閾値θは、例えばｔ番目のサンプルの場合、正例データの相関係数とユークリッド距離を用いて、
Figure JPOXMLDOC01-appb-M000003
 により算出される。
　射影テーブル更新部１１５は、次にステップＳ５１２において、上記算出されたユークリッド距離Ｄ(t) を上記算出された閾値θ(t) と比較する。そして、
　　　　　　Ｄ(t) ＜θ(t) 
であれば、ステップＳ５１３において、負例データがプロットされているノードと正例データがプロットされたノードとのユークリッド距離Ｄ(t) が閾値θ(t) 以上になるように負例データのノードの二次元空間座標を移動させる。一方、Ｄ(t) ≧θ(t) であれば移動させない。
　例えば、
　　　　　　θ(t) ＝（√15）
　　　　　　θ(t′) ＝２
の場合には、Ｄ(t) ≧θ(t) であるため、ノードｍ18の二次元空間座標の移動は行わない。これに対し、ｔ′番目のサンプルにおけるユークリッド距離Ｄ(t′) はＤ(t′) ＝１であり、
　　　　　　Ｄ(t′) ＜θ(t′) 
と判定される。このため、射影テーブル更新部１１５は、ノードｍ76の座標値を別の座標値に移動させる。
　なお、移動ノードの選択方法は問わないが、Ｄ(t′) ＜θ(t′) の条件を満たすまで、例えばノードｍ76の座標値をＸ軸方向に移動させる。例えば、ノードｍ76の座標値をｍ76＝(6,7)に移動させる。
　射影テーブル更新部１１５は、上記ステップＳ５１によるノードの移動処理を終了すると、ステップＳ５２においてノード移動が行われたか否かを判定する。この判定の結果、ノード移動が行われなかった場合は、射影テーブルの更新は終了したと見なし、ステップＳ５３において上記射影テーブルを射影変換モデル記憶部１２３に格納する。
　これに対しノード移動が行われた場合には、射影テーブル更新部１１５は、射影テーブルの該当するノードに対応する射影変換先の座標値を、上記移動後のノードの座標値に更新する。図１２は上記ノードｍ76の座標値を移動させた後の射影テーブルの構成を示すものである。
　射影テーブルを更新した場合、射影テーブル更新部１１５は、更新後のノード情報と射影テーブルをノード情報更新部１１４にフィードバックする。ノード情報更新部１１４は、上記フィードバックされた更新後のノード情報と射影テーブルをもとに、更新されたノードの参照ベクトルを更新する。
　運動状態可視化装置１は、異なる被験者から提供された所定の運動時の筋電信号に基づいて、それぞれ先に述べた（１－１）～（１－３）による一連の処理を繰り返し実行し、これにより射影変換モデルを学習する。かくして、射影変換モデルは構築される。
　（２）運動状態可視化フェーズ
　上記射影変換モデルの構築が終了すると、運動状態可視化装置１には運動状態可視化フェーズが設定される。そして、以後上記構築された射影変換モデルを用いて、ユーザの運動状態を可視化する処理が可能となる。
　ユーザの運動状態を可視化する際には、当該ユーザにとって目標となる運動状態に対応する筋電信号の波形データを予め運動状態可視化装置１に入力し、筋電信号記憶部１２１に記憶しておく。
　（２－１）筋電信号の取得および前処理
　この状態で運動状態可視化装置１は、上記ユーザに装着された筋電信号計測装置２から出力された３系列の筋電信号を、筋電信号取得部１１１の制御の下、インタフェースユニット１３を介して取り込む。このとき、筋電信号はインタフェースユニット１３によりディジタル信号からなる波形データに変換される。
　運動状態可視化装置１は、続いて前処理部１１２の制御の下、上記取得された３系列の波形データに対しそれぞれノッチフィルタやバンドパスフィルタを用いたフィルタリング処理を行う。この結果、上記正例の各波形データおよび負例の各波形データに含まれる、体動ノイズおよび交流ノイズ成分が除去される。そして運動状態可視化装置１は、上記フィルタリング処理後の各波形データを筋電信号記憶部１２１に記憶させる。
　（２－２）特徴量の抽出
　運動状態可視化装置１は、次に特徴量算出部１１３の制御の下、上記筋電信号記憶部１２１に記憶された、計測されたユーザの筋電信号の波形データ（計測波形データ）から振幅の特徴量を抽出する。またそれと共に運動状態可視化装置１は、上記筋電信号記憶部１２１に記憶された、目標となる運動状態に対応する筋電信号の波形データ（目標波形データ）から振幅の特徴量を抽出する。いずれの波形データについても、振幅の特徴量は、サンプルごとに例えば二乗平均平方根（Root Mean Square：ＲＭＳ）として算出される。上記計測波形データから算出された振幅特徴量データおよび目標波形データから算出された振幅特徴量データは、特徴量記憶部１２２に一旦記憶される。
　（２－３）運動状態の可視化処理
　運動状態可視化装置１は、次に運動状態可視化部１１６の制御の下、先ず射影変換モデル記憶部１２３から射影変換モデルを読み込む。そして、上記特徴量記憶部１２２から、上記計測波形データから算出された振幅特徴量データおよび上記目標波形データから算出された振幅特徴量データをそれぞれ読み込み、これらの振幅特徴量データを上記射影変換モデルを用いて二次元空間の座標に射影変換する。そして運動状態可視化部１１６は、上記射影変換された各振幅特徴量データに対応する二次元空間座標値を同時に表示するための表示データを生成し、当該表示データをインタフェースユニット１３から表示装置３に出力し、表示させる。
　このとき、上記射影変換モデルの射影テーブルは、正例データと負例データの二次元空間におけるユークリッド距離Ｄ(i) が閾値θ(i) 以上となるようにノードの変換先の座標値が更新設定されている。このため、上記射影変換モデルの射影テーブルをもとに射影変換された、ユーザの計測された運動状態を表す二次元座標値と、目標とする運動状態を表す二次元座標値との距離は、計測された運動状態が目標とする運動状態に対しかけ離れている場合に、二次元空間上において十分に離れた位置に表示される。従って、ユーザは上記表示データを見た場合に、目標とする運動状態に対する自身の実際の運動状態のずれを明確に把握することが可能となる。
　（効果）
　以上詳述したように一実施形態に係る運動状態可視化装置は、自己組織化マップを適用した射影変換モデルを備えている。この射影変換モデルは、筋電信号からなる多次元の入力データに対応する参照ベクトルを保持する複数のノードと、これらのノードと当該ノードが保持する参照ベクトルの射影先となる二次元空間における座標との対応関係を表す射影テーブルとを有する。そして、運動状態可視化装置は以下の処理を行う。すなわち、先ず上記射影変換モデルの学習フェーズにおいて、正例および負例それぞれの多次元入力データを取得して、当該多次元入力データからそれぞれ振幅特徴量を算出する。そして、算出された当該正例および負例の各振幅特徴量データを、それぞれサンプルごとに上記複数のノードの参照ベクトルとして学習させる。次に、上記正例の振幅特徴量データにより学習されたノードと、上記負例の振幅特徴量データにより学習されたノードを、上記射影テーブルに従い二次元空間に射影したときの各座標間のユークリッド距離を算出する。そして、算出されたユークリッド距離が閾値以上となるように上記射影テーブルの座標を更新する。
　従って、運動状態可視化フェーズにおいて、上記学習済の射影変換モデルを用いて、ユーザの実際の運動状態に対応する特徴量および目標とする運動状態に対応する特徴量を二次元空間に射影したときに、上記実際の運動状態と目標とする運動状態の二次元空間における各射影座標を適切な距離だけ離した状態で表示することが可能となる。このため、ユーザは上記表示を見ることで、自身の実際の運動状態と目標とする運動状態との差を明確に判別することが可能となる。
　［変形例］
　（１）前記一実施形態では、射影変換モデルを、３系列の筋電信号からそれぞれ抽出した特徴量を二次元空間に射影変換するものとして説明した。しかし、入力信号は３系列に限らず２系列または４系列以上であってもよく、射影変換先は二次元空間以外に一次元空間や三次元空間等の他の次元の空間であってもよい。また、射影変換モデルにおいて、多次元情報をそれより低次元の空間に射影変換する手法としては、自己組織化マップを用いる以外に、主成分分析や多次元尺度法等の他の手法を適用することができる。
　（２）前記一実施形態では、複数系列の筋電信号からそれぞれその特徴量を抽出し、この多次元の特徴量をそれよりも低次元の体動を表す可視化情報に射影変換する場合を例にとって説明した。しかしこの発明は、それに限らず、心拍信号や心電信号等の心肺の動きを表す情報や、呼吸の状態を表す情報、頭や目、口等の体の他の部位の動きを撮像した画像情報等のような、身体の種々様々な動きを表す多次元の情報を取得し、この多次元の情報から抽出した特徴量をそれより低次元の可視化情報に射影変換して可視化する場合にも、適用できる。さらには、製造設備やロボット等の機械の動作状態を表す多次元データをそれより低次元のデータに射影変換して可視化する場合にも、この発明は適用可能である。
　（３）前記一実施形態では、射影変換モデルの学習フェーズと、運動状態の可視化フェーズを、１台の運動状態可視化装置１で実行する場合を例にとって説明した。しかし、それに限らず、運動状態可視化装置では射影変換モデルの学習フェーズのみを実行し、この運動状態可視化装置において学習された射影変換モデルを、例えばユーザの端末装置等にダウンロードして提供することで、ユーザが自身の端末装置で自身の運動状態を確認できるようにしてもよい。このようにすると、端末装置の負荷を軽減できる。
　（４）前記一実施形態では、表示装置３を運動状態可視化装置１とは別の装置とした場合を例にとって説明したが、運動状態可視化装置がパーソナルコンピュータやスマートフォン、ウェアラブル端末などのように表示機能を有する端末装置により構成される場合には、運動状態可視化装置に備えられた表示装置を使用してもよい。
　その他、運動状態可視化装置の種類や構成や、射影変換モデル学習フェーズの処理手順および処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　１…運動状態可視化装置
　２…筋電信号計測装置
　３…表示装置
　１１…制御ユニット
　１２…記憶ユニット
　１３…インタフェースユニット
　１１１…筋電信号取得部
　１１２…前処理部
　１１３…特徴量算出部
　１１４…ノード情報更新部
　１１５…射影テーブル更新部
　１１６…運動状態可視化部
　１２１…筋電信号記憶部
　１２２…特徴量記憶部
　１２３…射影変換モデル記憶部

Claims (7)

  1. 　入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを備える多次元データ可視化装置であって、
    　学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出する第１の特徴量抽出部と、
    　抽出された前記第１および第２の多次元データの各特徴量に基づいて、それぞれ前記ノードの参照ベクトルを更新するノード更新部と、
    　前記第１および第２の多次元データの各特徴量をもとに、それぞれ更新されたノードを前記テーブルに従い前記射影先となる空間に射影したときの各座標間の距離を算出し、当該距離が閾値以上となるように前記テーブルを更新するテーブル更新部と
    　を備える多次元データ可視化装置。
  2. 　前記射影変換モデルは、前記テーブルとして、前記複数のノードと前記多次元データより低次元の空間における座標との対応関係を表す情報を記憶するテーブルを有する、請求項１に記載の多次元データ可視化装置。
  3. 　前記射影変換モデルは、自己組織化マップを適用して構築されるものである、請求項１に記載の多次元データ可視化装置。
  4. 　可視化対象となる第３および第４の多次元データを取得し、取得された第３および第４の多次元データからそれぞれその特徴量を抽出する第２の特徴量抽出部と、
    　抽出された前記第３および第４の多次元データの各特徴量を、前記ノードおよびテーブルが更新された後の射影変換モデルに入力し、当該射影変換モデルから出力される、前記第３および第４の多次元データに対応する前記空間の座標に基づいて、当該空間の座標を一覧表示するための表示データを生成し出力する可視化部と
    　を、さらに備える請求項１乃至３のいずれかに記載の多次元データ可視化装置。
  5. 　入力される多次元データと同一次元の参照ベクトルを保持する複数のノードと、当該複数のノードと射影先となる空間における座標との対応関係を表す情報を記憶するテーブルとを有する射影変換モデルを備える装置が実行する多次元データ可視化方法であって、
    　学習用の第１および第２の多次元データを取得し、取得された第１および第２の多次元データからそれぞれその特徴量を抽出する過程と、
    　抽出された前記第１および第２の多次元データの各特徴量に基づいて、それぞれ前記ノードの参照ベクトルを更新する過程と、
    　前記第１および第２の多次元データの各特徴量をもとにそれぞれ更新されたノードを前記テーブルに従い前記射影先となる空間に射影したときの各座標間の距離を算出し、当該距離が閾値以上となるように前記テーブルを更新する過程と
    　を備える多次元データ可視化方法。
  6. 　可視化対象となる第３および第４の多次元データを取得し、取得された第３および第４の多次元データからそれぞれその特徴量を抽出する過程と、
    　抽出された前記第３および第４の多次元データの各特徴量を、前記ノードおよびテーブルが更新された後の射影変換モデルに入力し、当該射影変換モデルから出力される、前記第３および第４の多次元データに対応する前記空間の座標に基づいて、当該空間の座標を一覧表示するための表示データを生成し出力する過程と
    　を、さらに備える請求項５に記載の多次元データ可視化方法。
  7. 　請求項１乃至４のいずれかに記載の多次元データ可視化装置が備える前記各部の処理を、プロセッサに実行させるプログラム。
PCT/JP2019/036886 2018-10-04 2019-09-20 多次元データ可視化装置、方法およびプログラム Ceased WO2020071143A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/282,182 US11687554B2 (en) 2018-10-04 2019-09-20 Multidimensional data visualization apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018189363A JP7023210B2 (ja) 2018-10-04 2018-10-04 多次元データ可視化装置、方法およびプログラム
JP2018-189363 2018-10-04

Publications (1)

Publication Number Publication Date
WO2020071143A1 true WO2020071143A1 (ja) 2020-04-09

Family

ID=70055888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036886 Ceased WO2020071143A1 (ja) 2018-10-04 2019-09-20 多次元データ可視化装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11687554B2 (ja)
JP (1) JP7023210B2 (ja)
WO (1) WO2020071143A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010590A (zh) * 2021-02-24 2021-06-22 光大兴陇信托有限责任公司 一种统一监管报送方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048821B (zh) * 2021-11-22 2025-12-19 中国石油化工股份有限公司 多维数据融合的监测方法、监测系统、电子设备及存储介质
CN115774803B (zh) * 2023-02-10 2023-04-18 中大体育产业集团股份有限公司 一种体测站点的可视化标识方法及系统
JP2025028569A (ja) * 2023-08-18 2025-03-03 株式会社東芝 情報処理装置、情報処理方法およびプログラム
CN118356169B (zh) * 2024-06-19 2024-08-27 济南宝林信息技术有限公司 一种医疗护理自动监测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011030781A1 (ja) * 2009-09-14 2011-03-17 国立大学法人大阪大学 筋シナジー解析方法、筋シナジー解析装置、及び筋シナジーインターフェース
JP2017086892A (ja) * 2016-10-17 2017-05-25 日本電信電話株式会社 運動状態と心理状態とのフィードバック方法、システム、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US20200075167A1 (en) * 2018-08-30 2020-03-05 Regents Of The University Of Minnesota Dynamic activity recommendation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011030781A1 (ja) * 2009-09-14 2011-03-17 国立大学法人大阪大学 筋シナジー解析方法、筋シナジー解析装置、及び筋シナジーインターフェース
JP2017086892A (ja) * 2016-10-17 2017-05-25 日本電信電話株式会社 運動状態と心理状態とのフィードバック方法、システム、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010590A (zh) * 2021-02-24 2021-06-22 光大兴陇信托有限责任公司 一种统一监管报送方法及系统
CN113010590B (zh) * 2021-02-24 2023-07-07 光大兴陇信托有限责任公司 一种统一监管报送方法及系统

Also Published As

Publication number Publication date
US20220012262A1 (en) 2022-01-13
JP2020057328A (ja) 2020-04-09
JP7023210B2 (ja) 2022-02-21
US11687554B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
WO2020071143A1 (ja) 多次元データ可視化装置、方法およびプログラム
Shanmuganathan et al. R-CNN and wavelet feature extraction for hand gesture recognition with EMG signals
TWI726742B (zh) 心臟圖形顯示系統
US20200289016A1 (en) Determining intended user movement to control an external device
WO2020237102A1 (en) Scoring metric for physical activity performance and training
Belli et al. Does enforcing glenohumeral joint stability matter? A new rapid muscle redundancy solver highlights the importance of non-superficial shoulder muscles
JP2018187044A (ja) 感情推定装置、感情推定方法およびコンピュータプログラム
WO2023081090A1 (en) Contactless stress monitoring using wireless signals
JP6203324B1 (ja) 認知状態推定システム及び認知状態推定方法
Lamounier et al. On the use of Augmented Reality techniques in learning and interpretation of cardiologic data
Veer Interpretation of surface electromyograms to characterize arm movement
CN112244833B (zh) 一种基于协作机械臂的人体上肢多维末端刚度测量方法
Zaki et al. Smart medical chatbot with integrated contactless vital sign monitor
KR20210129955A (ko) 모발 상태를 분석하는 방법 및 이를 이용한 모발 정보 제공 장치 및 시스템
Alashti et al. Efficient skeleton-based human activity recognition in ambient assisted living scenarios with multi-view CNN
JPH11313807A (ja) 生体内部活動領域推定方法、装置及びその記録媒体
JP5124439B2 (ja) 多次元時系列データ分析装置及びコンピュータプログラム
JP2017023449A (ja) 活動量推定装置、活動量推定方法、プログラム、モデル生成装置、及びモデル生成方法
WO2019152566A1 (en) Systems and methods for subject specific kinematic mapping
CN116313043A (zh) 基于多流图神经网络的多动症智能决策支持方法及系统
Wang Non-invasive vision-based measurement of hand kinematics and interaction
JP2010231452A (ja) 多次元時系列データ分析装置及び多次元時系列データ分析プログラム
Borbély et al. Estimating the instantaneous wrist flexion angle from multi-channel surface EMG of forearm muscles
JP6319820B2 (ja) 属性要因分析方法、装置、およびプログラム
Li et al. Feature Triggered Short-Term Drift Calibration of IMU Position on Human Lower Limbs under Random Motions with Convolution-Deconvolution Prediction Models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869318

Country of ref document: EP

Kind code of ref document: A1