WO2019135403A1 - ラベル付与装置、ラベル付与方法、及びプログラム - Google Patents

ラベル付与装置、ラベル付与方法、及びプログラム Download PDF

Info

Publication number
WO2019135403A1
WO2019135403A1 PCT/JP2018/048551 JP2018048551W WO2019135403A1 WO 2019135403 A1 WO2019135403 A1 WO 2019135403A1 JP 2018048551 W JP2018048551 W JP 2018048551W WO 2019135403 A1 WO2019135403 A1 WO 2019135403A1
Authority
WO
WIPO (PCT)
Prior art keywords
teacher
action
time
label
keyword
Prior art date
Application number
PCT/JP2018/048551
Other languages
English (en)
French (fr)
Inventor
井上　創造
Original Assignee
国立大学法人九州工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人九州工業大学 filed Critical 国立大学法人九州工業大学
Priority to JP2019563982A priority Critical patent/JP7239991B2/ja
Priority to US16/959,596 priority patent/US20200387670A1/en
Priority to CN201880085379.7A priority patent/CN112020707A/zh
Publication of WO2019135403A1 publication Critical patent/WO2019135403A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Definitions

  • the present invention relates to a labeling apparatus, a labeling method, and a program.
  • Priority is claimed on Japanese Patent Application No. 2018-000806, filed January 5, 2018, the content of which is incorporated herein by reference.
  • Patent Document 1 As a technique for estimating human behavior using such supervised learning, for example, information other than information obtained from the action pattern recognition result based on the information obtained from the position sensor or the motion sensor and the information from the position sensor or the motion sensor An information processing apparatus that provides information in combination with the above is known (Patent Document 1).
  • the information processing apparatus described in Patent Document 1 acquires text information and time information when text information is input, analyzes the acquired text, and extracts information related to the user's experience from the text information.
  • the type feature is extracted from the text information, and input is performed using the learning model based on the extracted type feature. Determine the type of experience from the type feature amount.
  • the present invention has been made in view of the above, and provides a labeling apparatus, a labeling method, and a program that can easily provide a teacher label of teacher data used for learning of machine learning.
  • the present invention has been made to solve the above-described problems, and one aspect of the present invention is to provide training data (TDD) used for learning machine learning for estimating a time series of behavior from data detected by a sensor.
  • TDD training data
  • a candidate label of the labeling device (1) wherein the action keyword (KA) indicating the action is included in the text data (TX) recorded in the natural language text format;
  • the keyword extraction unit (10) extracted as (LC) and the teacher label candidates (LC) extracted by the keyword extraction unit (10)
  • time information TI And a selection unit (14) for selecting the teacher label (LL) corresponding to.
  • the keyword extraction unit extracts the time information from the text data.
  • the keyword extraction unit when the keyword extraction unit detects a plurality of the teacher label candidates with respect to one action in the extracted teacher label candidates, a plurality of the teacher label candidates may be extracted. A smaller number of the teacher label candidates than the teacher label candidates are extracted.
  • the keyword extraction unit extracts the teacher label candidate using any one of morphological analysis, dependency analysis, and case frame analysis.
  • the selection unit selects the teacher label from the teacher label candidates extracted by the keyword extraction unit using supervised learning.
  • one aspect of the present invention is a method of labeling teacher data used for learning machine learning for estimating a time series of an action from data detected by a sensor, wherein the action is recorded in a natural language text format
  • a computer that performs labeling of teacher data used for learning machine learning to estimate a time series of an action from data detected by a sensor, the action being a natural language text
  • FIG. 1 is a diagram showing an outline of action recognition by machine learning using the labeling apparatus 1 according to the present embodiment.
  • this action recognition by machine learning the time series of the action of the subject is estimated.
  • Behavior recognition by machine learning using the labeling apparatus 1 includes a learning phase and an estimation phase.
  • teacher data TD is generated, and a learning model LM is generated by machine learning using the generated teacher data TD.
  • the labeling apparatus 1 of this embodiment generates this teacher data TD.
  • the teacher data TD is a set of the feature amount vector FV extracted from the sensor data SD1 and the teacher label LL.
  • the teacher label LL is a keyword indicating a subject's behavior.
  • the teacher label LL is, for example, a keyword that indicates the subject's behavior such as [eated], "toilet”, “drinked”, “taked tablets”, “taked”, “walk”, “run”, etc. It is.
  • the sensor data SD1 is time-series data in which values measured by a sensor that measures the motion and posture of a subject are arranged in order of time when the values are measured.
  • the sensor is, for example, a sensor that acquires biological information of a subject, an accelerometer that detects body movement of the subject, or the like.
  • the values measured by the sensor are the subject's heart rate and the acceleration of the part of the body to which the sensor is attached.
  • This sensor may be provided on the subject's body or may be provided around the subject. When installed around the subject, the sensor may measure the behavior or posture of the subject by performing image analysis on an image of the subject taken by a camera installed around the subject.
  • the sensor may be an environmental sensor. If the sensor is an environmental sensor, environmental data such as ambient brightness of the subject, room temperature, air temperature, and humidity may be measured. Also, the sensor may be a human sensor.
  • the senor can identify that the data to be measured is data about the subject. For example, the sensor can distinguish between the motion and posture of the subject and the motion and posture of a person other than the subject. The sensor can also distinguish between environmental data of the subject's residence and environmental data of other locations.
  • the teacher label LL is generated from the extracted teacher label candidate LC by extracting the action keyword KA as the teacher label candidate LC by natural language processing from the text data TX in which the subject's action is recorded using natural language text format Be done.
  • the action keyword KA is a keyword indicating a subject's action.
  • the teacher label candidate LC is a candidate for the teacher label LL. That is, a keyword indicating the subject's behavior is extracted as a candidate for the teacher label LL.
  • the text data TX is, for example, data described as a business log in which the state of care of a subject is recorded in a care facility.
  • time information TI indicating candidates for the time when the subject's behavior is performed is extracted together with the teacher label candidate LC.
  • the time information TI includes start time information BT indicating a candidate of start time and end time information ET indicating a candidate of end time.
  • the label segment LS is generated from the teacher label candidate LC and the start time information BT and the end time information ET of the subject's behavior.
  • the label segment LS is a set of the teacher label candidate LC and the start time information BT and the end time information ET.
  • the time interval from the candidate of the subject's action start time indicated by the start time information BT to the candidate of the subject's action end time indicated by the end time information ET is referred to as a time section IN of the label segment LS.
  • the start time of the action indicated by the start time information BT included in the label segment LS may be referred to as the start time of the label segment LS or the like.
  • the end time of the action indicated by the end time information ET included in the label segment LS may be referred to as the start time of the label segment LS or the like.
  • the feature amount vector FV is a vector in which one or more feature amounts extracted from the sensor data SD1 are arranged.
  • the feature quantities of the sensor data SD1 include an average, standard deviation, maximum value, minimum value, increase rate, and average value of first derivative of data values in a certain time interval.
  • the time interval is called a time window TW.
  • the extracted one or more feature amounts constitute a feature amount vector FV at the time indicated by the median of the time window TW.
  • the size of the time window TW may be determined in advance based on the number of seconds or the like, or may be determined as a size suitable for extracting a feature amount.
  • the interval between the time windows TW may be determined in advance using the number of seconds or the like, or may be determined as an interval suitable for extracting the feature amount.
  • one or more feature quantities in the time window TW1 are extracted as feature quantity vectors FV1 at times indicated by the median value of the time window TW1.
  • One or more feature quantities in the time window TW2 are extracted as a feature quantity vector FV2 at the time indicated by the median value of the time window TW2.
  • One or more feature quantities in the time window TW3 are extracted as a feature quantity vector FV3 at the time indicated by the median of the time window TW3.
  • only the time window TW1 to the time window TW3 are illustrated, but feature quantity vectors corresponding to time windows other than the time window TW1 to the time window TW3 are also extracted.
  • one or more label segments LS1, label segments LS2,... are generated from text data TX in which the subject's action corresponding to the time indicated by the sensor data SD1 is recorded.
  • Sample SM1, sample SM2, sample using supervised learning from extracted feature quantity vector FV1, feature quantity vector FV2, feature quantity vector FV3,..., And generated label segment LS1, label segment LS2,. SM3, ... are generated.
  • a sample is a set of a feature quantity vector FV at a certain time and a teacher label LL at this time.
  • the sample SM1 is a set of the feature amount vector FV1 and the teacher label LL1.
  • the time corresponding to each of the feature amount vector FV1, the feature amount vector FV2, the feature amount vector FV3,... Corresponds to the time interval IN1 of the label segment LS1 and the time interval IN2 of the label segment LS2.
  • the generated sample SM1, sample SM2, sample SM3, and so on become teacher data TD.
  • the learning model LM is generated by machine learning using the teacher data TD.
  • the learning model LM is a function that outputs a keyword indicating an action of a subject indicated by the sensor data SD1 when a certain feature quantity vector FVj extracted from the sensor data SD1 is input.
  • the behavior of the subject is estimated from the sensor data SD2 using the learning model LM learned in the learning phase.
  • the text data TX in which the subject's action corresponding to the time indicated by the sensor data SD2 is recorded is not used, and the estimation label EL is estimated from the sensor data SD2 based on the learning model LM. Be done.
  • the estimated label EL is a keyword indicating the action of the subject corresponding to the time indicated by the sensor data SD2.
  • a feature quantity vector EFV1 corresponding to the time window ETW1 is generated.
  • a feature amount vector EFV2 corresponding to the time window ETW2 is generated.
  • a feature amount vector EFV3 corresponding to the time window ETW3 is generated.
  • the feature amount vector EFV1 the feature amount vector EFV2, the feature amount vector EFV3,..., The estimated label EL1, the estimated label EL2, the estimated label EL3,.
  • FIG. 2 is a view showing an example of the configuration of the labeling apparatus 1 according to the present embodiment.
  • the labeling apparatus 1 applies a supervisor label LL to the feature quantity vector FV extracted from the sensor data SD1.
  • the labeling apparatus 1 generates teacher data TD by assigning a teacher label LL to the feature quantity vector FV.
  • the labeling apparatus 1 generates teacher data TD from the text data TX supplied by the text data supply unit 2 and the sensor data SD1 supplied by the first sensor data supply unit 3.
  • the label assignment device 1 supplies the generated teacher data TD to the behavior estimation device 4.
  • the label assignment device 1 includes a keyword extraction unit 10, a preprocessing unit 11, a time window cutout unit 12, a feature quantity calculation unit 13, a selection unit 14, and a teacher data generation unit 15.
  • the keyword extraction unit 10 acquires text data TX supplied by the text data supply unit 2.
  • the keyword extraction unit 10 selects the action keyword KA from the acquired text data TX.
  • the keyword extraction unit 10 extracts the selected action keyword KA as a teacher label candidate LC. That is, the keyword extraction unit 10 extracts a keyword (action keyword KA) indicating the subject's action included in the text data TX in which the subject's action is recorded in the natural language text format as a candidate of the teacher label (teacher label candidate LC) Do.
  • the keyword extraction unit 10 selects a plurality of teacher label candidates LC1, teacher label candidates LC2, ... extract a smaller number of teacher label candidates LC than.
  • the keyword extraction unit 10 has a teacher label candidate LCi, a teacher label candidate LCj, and a teacher label candidate LCk that have similar meanings and relationships to one action.
  • Action keyword KA1, action keyword KA2,..., Action keyword KAi, action keyword KAj, and action keyword KAk having similar meanings and relationships are consolidated into one intensive action keyword KAC1.
  • the keyword extraction unit 10 extracts the aggregation action keyword KAC1 as the teacher label candidate LC1.
  • the keyword extraction unit 10 aggregates the action keyword KA1, the action keyword KA2,... Selected using any of the morphological analysis, the dependency analysis, and the case frame analysis. That is, the keyword extraction unit 10 extracts the teacher label candidate LC1 using any one of morphological analysis, dependency analysis, and case frame analysis.
  • the keyword extraction unit 10 combines, for example, an action keyword KA1, an action keyword KA2,..., For example, in the case where action keywords KA1 having similar meanings and relationships, action keywords KA1,. You may aggregate by correlating with. Examples of the action class include, for example, “sleep”, “meal”, “toilet”, “dose”, “exercise” and the like. For example, the keyword extraction unit 10 consolidates the action keyword KA1 "drinked” and the action keyword KA2 "pilled” into the intensive action keyword KAC1 "dose”.
  • the keyword extraction unit 10 combines action keywords KA1 having similar meanings and relationships, action keywords KA2,... Into one integrated action keyword KAC1, but the present invention is not limited thereto.
  • the keyword extraction unit 10 may extract an action keyword KA11, an action keyword KA12,... Having similar meanings or relationships as the teacher label candidate LC1, the teacher label candidate LC1,.
  • the keyword extraction unit 10 combines action keywords KA1 having similar meanings and relationships, action keywords KA1,... By associating them with action classes, but the present invention is not limited thereto.
  • the keyword extraction unit 10 selects one aggregation action keyword KAC1 based on a predetermined order, for example, from among action keywords KA1 and action keywords KA2.
  • KA2, ... may be consolidated.
  • the keyword extraction unit 10 consolidates the action keyword KA1 "drinked” and the action keyword KA2 "pilled” into the intensive action keyword KAC1 "drinked”.
  • the keyword extraction unit 10 selects the time keyword TK from the text data TX.
  • the time keyword TK is a keyword indicating a time.
  • the keyword extraction unit 10 selects the start time keyword BTK from the selected time keyword TK.
  • the keyword extraction unit 10 selects an end time keyword ETK corresponding to the selected start time keyword BTK.
  • the start time keyword BTK is a keyword indicating a candidate for the start time of the subject's action.
  • the end time keyword ETK is a keyword indicating a candidate for the end time of the subject's action.
  • the keyword extraction unit 10 extracts the selected start time keyword BTK as the start time information BT.
  • the keyword extraction unit 10 extracts the selected end time keyword ETK as end time information ET. That is, the keyword extraction unit 10 extracts, from the acquired text data TX, time information TI indicating a candidate for a time when an action is performed.
  • the keyword extraction unit 10 generates a label segment LS by combining the extracted teacher label candidate LC, the extracted start time information BT, and the end time information ET.
  • the time interval IN of the label segment LS generated by the keyword extraction unit 10 may overlap with each other among a plurality of label segments LS1, label segments LS2,. That is, according to the plurality of label segments LS1, the label segments LS2,... Generated by the keyword extraction unit 10, the plurality of teacher label candidates LC1, the teacher label candidates LC2,. .
  • One teacher label LL is selected by the selection unit 14 from the plurality of teacher label candidates LC1, the teacher label candidates LC2,.
  • the keyword extraction unit 10 supplies the generated label segment LS to the selection unit 14.
  • the preprocessing unit 11 acquires sensor data SD1 supplied by the first sensor data supply unit 3.
  • the preprocessing unit 11 preprocesses the acquired sensor data SD1 and generates preprocessed sensor data PSD1.
  • the pre-processing performed on the sensor data SD1 is processing for shaping the sensor data SD1 into a format that can be analyzed to extract the feature amount.
  • the preprocessing unit 11 supplies the generated preprocessed sensor data PSD1 to the time window cutout unit 12.
  • the time window cutout unit 12 acquires preprocessed sensor data PSD1 supplied by the preprocessing unit 11.
  • the time window cutout unit 12 allocates a time window (time window TW1 to time window TW3) to the acquired preprocessed sensor data PSD1, and generates sensor data WSD1 with time window.
  • the time window cutout unit 12 supplies the generated time windowed sensor data WSD 1 to the feature amount calculation unit 13.
  • the feature quantity calculation unit 13 calculates a feature quantity vector FV (feature quantity vector FV1, feature quantity vector FV2, feature quantity vector FV3, and the like for each time window assigned from the time window cutout sensor data WSD1 supplied by the time window cutout unit 12). Calculate ). The feature amount calculation unit 13 supplies the calculated feature amount vector FV to the selection unit 14 and the teacher data generation unit 15.
  • the selection unit 14 performs processing of selecting one teacher label candidate LCi as the teacher label LL from the plurality of teacher label candidates LC1, the teacher label candidates LC2,. That is, the selecting unit 14 selects the teacher label LL corresponding to the time information TI indicating the candidate of the time when the action is performed, from the teacher label candidates LC extracted by the keyword extracting unit 10.
  • the selection unit 14 selects one teacher label LL using the selection learning ML 14.
  • the learning for selection ML14 is supervised learning, but is different from machine learning used to generate the learning model LM. The learning for selection ML 14 will be described later.
  • the selection unit 14 includes a selection teacher data generation unit 140, a multiple label learning selection unit 141, and a time correction unit 142.
  • the selection teacher data generation unit 140 generates selection teacher data LTD.
  • the selection teacher data LTD is teacher data used in the selection learning ML 14.
  • the selection teacher data LTD and the teacher data TD generated by the teacher data generation unit 15 are different.
  • the selection teacher data generation unit 140 generates selection teacher data LTD based on the label segment LS supplied by the keyword extraction unit 10 and the feature amount vector FV supplied by the feature amount calculation unit 13.
  • the selection teacher data generation unit 140 supplies the generated selection teacher data LTD to the multiple label learning selection unit 141.
  • the uncorrected teacher label ULL1 is the teacher label LL before the process of correcting the time lag described later.
  • the multiple-label learning selection unit 141 generates an uncorrected segment DS by combining the selected uncorrected teacher label ULL with the start time and the end time of the action indicated by the uncorrected teacher label ULL.
  • the multiple-label learning selection unit 141 supplies the generated uncorrected segment DS to the time correction unit 142.
  • the time correction unit 142 corrects the start time and end time of the uncorrected segment DS supplied by the multiple label learning selection unit 141.
  • uncorrected segments DS may be fragmented or overlapped in time, and it is necessary to correct the start time and end time in order to eliminate the fragmentation or overlap in time.
  • the time correction unit 142 corrects the start time and end time of the uncorrected segment DS based on the uncorrected segment DS supplied by the multiple-label learning selection unit 141 and the label segment LS supplied by the keyword extraction unit 10.
  • the time correction unit 142 selects the uncorrected teacher label ULL included in the uncorrected segment DS in which the time shift has been corrected as the teacher label LL at each time included in the time section of the uncorrected segment DS.
  • the time correction unit 142 generates a correction segment CS by combining the selected teacher label LL with the start time and end time of the action included in the uncorrected segment DS whose time lag has been corrected.
  • the time correction unit 142 supplies the generated correction segment CS to the teacher data generation unit 15.
  • the teacher data generation unit 15 generates the sample SM by combining the feature amount vector FV supplied by the feature amount calculation unit 13 with the teacher label LL based on the correction segment CS supplied by the selection unit 14.
  • the teacher data generation unit 15 selects a correction segment CS in which the time interval IN of the correction segment CS corresponds to the feature quantity vector FV.
  • the teacher data generation unit 15 combines the teacher label LL included in the selected correction segment CS with the feature quantity vector FV.
  • the text data supply unit 2 supplies the text data TX in which the action is recorded using the natural language text format to the labeling device 1.
  • the text data supply unit 2 is, for example, a storage device in which text data TX is stored.
  • the first sensor data supply unit 3 supplies the sensor data SD1 to the labeling device 1.
  • the first sensor data supply unit 3 is, for example, a sensor attached to the subject's body.
  • the first sensor data supply unit 3 may be a storage device that stores the sensor data SD1.
  • the first sensor data supply unit 3 may be configured integrally with the text data supply unit 2.
  • the first sensor data supply unit 3 may be an arithmetic device that processes data measured by the sensor.
  • the behavior estimation device 4 includes a learning unit 40 and an estimation unit 41.
  • the learning unit 40 performs machine learning using the teacher data TD supplied by the labeling apparatus 1.
  • the learning unit 40 generates a learning model LM by machine learning.
  • the estimation unit 41 estimates the estimated label EL from the sensor data SD2 supplied by the second sensor data supply unit 5 based on the learning model LM generated by the learning unit 40.
  • the behavior estimation device 4 and the labeling device 1 are configured independently, but the behavior estimation device 4 and the labeling device 1 may be configured integrally. Good.
  • the second sensor data supply unit 5 supplies the sensor data SD2 to the behavior estimation device 4.
  • FIG. 3 is a diagram showing an example of learning processing of the labeling apparatus 1 according to the present embodiment.
  • the preprocessing unit 11 acquires sensor data SD1 supplied by the first sensor data supply unit 3 (step S10).
  • the preprocessing unit 11 performs preprocessing on the acquired sensor data SD1 (step S20).
  • the preprocessing unit 11 generates the preprocessed sensor data PSD1 as a result of performing the preprocessing on the sensor data SD1.
  • the preprocessing unit 11 supplies the generated preprocessed sensor data PSD1 to the time window cutout unit 12.
  • the time window cutout unit 12 acquires preprocessed sensor data PSD1 supplied by the preprocessing unit 11.
  • the time window cutout unit 12 allocates a time window TW (time window TW1 to time window TW3) to the preprocessed sensor data PSD1 supplied by the preprocessing unit 11, and generates sensor data WSD1 with a time window. (Step S30).
  • the time window cutout unit 12 supplies the generated time windowed sensor data WSD 1 to the feature amount calculation unit 13.
  • the feature amount calculation unit 13 acquires sensor data WSD1 with a time window supplied by the time window cutout unit 12. The feature amount calculation unit 13 extracts one or more feature amounts for each time window TW from the acquired sensor data WSD1 with time window (step S40). The feature amount calculation unit 13 generates a feature amount vector FV from one or more feature amounts extracted from the sensor data WSD1 with a time window. The feature quantity calculation unit 13 performs dimension reduction processing on the generated feature quantity vector FV (step S50).
  • the process of dimension reduction is, for example, a process of reducing the dimension of the feature quantity vector FV by principal component analysis.
  • the feature quantity calculation unit 13 supplies the feature quantity vector FV subjected to the dimension reduction processing to the selection teacher data generation unit 140 and the teacher data generation unit 15.
  • the teacher data generation unit 15 generates teacher data TD based on the feature quantity vector FV and the correction segment CS (step S60). The details of the process in which the labeling apparatus 1 generates the teacher data TD will be described later with reference to FIG.
  • the teacher data generation unit 15 supplies the generated teacher data TD to the behavior estimation device 4.
  • the learning unit 40 of the behavior estimation device 4 generates a learning model LM based on the teacher data TD supplied by the teacher data generation unit 15 (step S70).
  • FIG. 4 is a diagram showing an example of a generation process of teacher data TD of the labeling apparatus 1 according to the present embodiment.
  • the keyword extraction unit 10 acquires the text data TX supplied by the text data supply unit 2 (step S600).
  • the keyword extraction unit 10 selects the action keyword KA from the acquired text data TX (step S601).
  • the keyword extraction unit 10 selects the action keyword KA using a known natural language processing method.
  • Known natural language processing includes morphological analysis, dependency analysis, and case frame analysis.
  • the keyword extraction unit 10 combines action keywords KA having similar meanings and relationships among the selected action keywords KA into one intensive action keyword KAC.
  • the keyword extraction unit 10 extracts the aggregated action keyword KAC aggregated as the teacher label candidate LC.
  • the keyword extraction unit 10 may use context analysis in addition to morphological analysis, dependency analysis, and case frame analysis.
  • the keyword extraction unit 10 may use, for example, anaphoric analysis as context analysis to estimate an instruction target such as a pronoun or a directive, or may complement an omitted noun phrase.
  • FIG. 5 is a diagram showing an example of text data TX according to the present embodiment.
  • FIG. 6 is a diagram showing an example of label candidates according to the present embodiment.
  • the text data TX is, for example, an excerpt of a text of a business diary which records the care from the evening to the night of a certain day of a care recipient who is a subject.
  • the keyword extraction unit 10 decomposes the text data TX into morphemes using morpheme analysis.
  • the keyword extraction unit 10 selects the time keyword TK from the decomposed morphemes.
  • the keyword extraction unit 10 takes dinner using text data TX “person in charge: ⁇ ⁇ Taro, care recipient: ⁇ ⁇ Jiro, date of care: October XX XX 20 XX, using morphological analysis. I had a good appetite than usual, took pill A at 18 o'clock, I was not able to put on my slippers when trying to go to the bathroom at 19 o'clock, and I was fluttered and talked with the care recipient about the use of the slippers. From “20 o'clock too late to go to bed”, “17:30”, “18”, “19” and “20:00” are selected as the time keywords TK.
  • the keyword extracting unit 10 selects the start time keyword BTK from the selected time keyword TK. For example, the keyword extracting unit 10 selects one of the time keywords TK “17:30”, “18”, “19”, and “20”. From the hour, “17:30", “18”, “19” and "20:00" are selected as the start time keywords BTK.
  • the keyword extraction unit 10 selects an end time keyword ETK corresponding to the selected start time keyword BTK from the selected time keyword TK.
  • the keyword extraction unit 10 selects, as the end time keyword ETK corresponding to the selected start time keyword BTK, the time keyword TK indicating the time next to the time indicated by the start time keyword BTK among the selected time keywords TK. select.
  • the keyword extraction unit 10 selects the start time keyword BTK “17:30” selected from the time keywords TK “17:30”, “18”, “19” and “20:00”.
  • "18 o'clock”, “19 o'clock”, and "20 o'clock” are selected as end time keywords ETK corresponding to "18 o'clock” and "19 o'clock", respectively.
  • the keyword extraction unit 10 selects the end time corresponding to the start time keyword BTK “20 o'clock” Select "24 o'clock” as the keyword ETK.
  • the end time keyword ETK corresponding to the start time keyword BTK “20:00” may be extracted from the text data TX of the next day or later using morpheme analysis instead of “24:00”.
  • the keyword extraction unit 10 extracts the selected start time keyword BTK as the start time information BT.
  • the keyword extraction unit 10 extracts the selected end time keyword ETK as end time information ET.
  • the keyword extraction unit 10 sets “start time: 17:30” and “end time: 18 o'clock”, “start time: 18 o'clock”, and “end time: 19” as the start time information BT and the end time information ET.
  • the time “start time: 19 o'clock” and “end time: 20 o'clock”, and "start time: 20 o'clock” and “end time: 24 o'clock” are extracted.
  • the keyword extracting unit 10 has, for example, "start time: 17:30" as the start time information BT and "end time: 18:00" as the end time information ET. Generate label segment A.
  • the keyword extraction unit 10 similarly generates the label segment B, the label segment C, and the label segment D.
  • start time information BT and the end time information ET are generated based on the start time keyword BTK and the end time keyword ETK selected from the text data TX, the accuracy is sufficient to generate the teacher data TD. There are times when it does not have.
  • the accuracy of the time indicated by the start time information BT and the end time information ET is enhanced by the learning for selection ML 14 by the selection unit 14.
  • the keyword extraction unit 10 selects the time keyword TK indicating the new time next to the time indicated by the start time keyword BTK as the end time keyword ETK. There is no gap between The keyword extraction unit 10 may extract, as the end time information ET, a time when a predetermined time has elapsed from the start time indicated by the start time keyword BTK. When the time when a predetermined time has elapsed from the start time indicated by the start time keyword BTK is extracted as the end time information ET, there may be a portion where the label segments LS overlap on the time axis.
  • the keyword extraction unit 10 determines in advance the typical required time of the action indicated by the teacher label candidate LC, and corrects the start time information BT or the end time information ET for the label segment LS including the teacher label candidate LC. It is also good.
  • the keyword extraction unit 10 extracts the teacher label candidate LC from the text data TX.
  • the keyword extraction unit 10 selects the action keyword KA from the texts used for selecting the start time keyword BTK and the end time keyword ETK.
  • the keyword extraction unit 10 selects the action keyword KA using morphological analysis, dependency analysis, and case frame analysis.
  • the keyword extraction unit 10 uses the text “Take dinner at 17:30, usually with appetite” used for selecting the start time keyword BTK and the end time keyword ETK for the label segment A. From this, "supper” and “appetage” are selected as the action keyword KA.
  • the keyword extraction unit 10 selects “tablet A” as the action keyword KA from among the text “I took tablet A at 18 o'clock” for selecting the start time keyword BTK and the end time keyword ETK for the label segment B. Select "Dose”.
  • the keyword extraction unit 10 is unable to wear slippers when trying to go to the bathroom at 19 o'clock when the text used for selecting the start time keyword BTK and the end time keyword ETK.
  • the keyword extraction unit 10 selects “bedtime” as the action keyword KA from the text “20 o'clock after bedtime” used for selecting the start time keyword BTK and the end time keyword ETK.
  • the keyword extraction unit 10 selects a sentence or a part related to the subject's action from the selected text. For example, the keyword extraction unit 10 reads from the text “When trying to go to the bathroom at 19 o'clock, I could not put on my slippers well and I was about to fall. I consulted with the care recipient about the availability of the slippers.” Select "I was not able to put on my slippers when trying to go to the bathroom at 19 o'clock, and I was about to fall over" as a part related to the subject's behavior.
  • the keyword extraction unit 10 may use a dictionary database (not shown) when selecting a sentence or part related to the subject's action from the selected text.
  • the keyword extraction unit 10 selects the action keyword KA matching the keyword registered in advance in the dictionary database or the action keyword KA related to the action class. Only sentences or parts that contain may be selected.
  • the keyword extraction unit 10 has been selected in the past as the action keyword KA related to the keyword registered in advance in the dictionary database. Only sentences or parts including the action keyword KA may be selected.
  • the keyword extraction unit 10 aggregates, for each label segment LS, action keywords KA having similar meanings and relationships among the selected action keywords KA into the aggregation action keyword KAC.
  • the keyword extraction unit 10 aggregates action keywords KA in association with the action class.
  • the action class may be registered in advance in the dictionary database. In the example illustrated in FIG. 5, the keyword extraction unit 10 aggregates “supper” and “appetite” as “meal”.
  • the keyword extraction unit 10 aggregates “tablet A” and “dose” as “dose”.
  • the keyword extraction unit 10 consolidates “restroom”, “let's go”, “slipper”, “do not wear”, “light on”, and “fall” as a “restroom”.
  • the keyword extraction unit 10 when there is no action class corresponding to the selected action keyword KA, the keyword extraction unit 10 newly generates an action class, and causes the selected action keyword KA to correspond to the action class that has generated the action keyword KA. May be integrated into the aggregation action keyword KAC.
  • the keyword extraction unit 10 extracts the action keyword KA selected by the above-described process as the teacher label candidate LC.
  • the keyword extraction unit 10 determines in advance the typical required time of each action indicated by the teacher label candidate LC, and sets time information TI (start time information BT, and the like) to be paired with each teacher label candidate LC.
  • the end time information ET may be corrected.
  • the keyword extraction unit 10 corrects the time information TI (the start time information BT and the end time information ET), for example, the keyword extraction unit 10 takes 3 minutes as the required time for “take”. May correct the end time indicated by the end time information ET of the label segment B from “19:00:00” to “18:03:00”.
  • the keyword extraction unit 10 determines that the required time for “toilet” is 5 minutes, the keyword extraction unit 10 indicates that the end time indicated by the end time information ET of the label segment C is “20:00:00” to “19. You may correct it as "0:00".
  • the case where the time keyword TK and the action keyword KA are indicated in the text data TX is taken as an example of the work logbook for nursing care, but the text data TX is used for one day's work.
  • the contents may be described collectively.
  • the keyword extraction unit 10 may extract nouns whose time can be estimated, and may generate time information TI (start time information BT and end time information ET). For example, the keyword extraction unit 10 may generate the start time information BT “start time: 17:00” from the noun “evening”.
  • the keyword extraction unit 10 supplies the generated label segment LS to the selection teacher data generation unit 140 and the time correction unit 142.
  • the selection teacher data generation unit 140 acquires the label segment LS supplied by the keyword extraction unit 10.
  • the selection teacher data generation unit 140 acquires the feature amount vector FV supplied by the feature amount calculation unit 13.
  • the selection teacher data generation unit 140 generates the selection teacher data LTD from the feature quantity vector FV and the label segment LS.
  • the teacher label candidate probability distribution PA will be described with reference to FIG.
  • FIG. 7 is a view showing an example of an outline of selection processing of the teacher label candidate LC of the selection unit 14 according to the present embodiment.
  • the teacher label candidate probability distribution PA is a probability distribution obtained by adding up the probability distributions of the teacher label candidate LC for each action indicated by the teacher label candidate LC for common actions.
  • the probability distribution for each behavior indicated by the teacher label candidate LC is, for example, a Gaussian distribution.
  • the standard deviation of this Gaussian distribution is proportional to the length of the time interval IN of the label segment LS.
  • the mean of this Gaussian distribution is the time in the middle of the time interval IN.
  • the teacher label candidate probability distribution PA is normalized.
  • the selection teacher data generation unit 140 supplies the generated selection teacher data LTD to the multiple label learning selection unit 141.
  • the multi-label learning selection unit 141 starts from the selection teacher data LTD the start time for the action indicated by the uncorrected teacher label ULL along with the uncorrected teacher label ULL and The end time is selected using the learning for selection ML14.
  • the multiple-label learning selection unit 141 calculates a first probability distribution from the selection teacher data LTD by machine learning.
  • the first probability distribution is a probability distribution that indicates the probability that there is an action indicated by the teacher label candidate LCj at a time corresponding to the feature quantity vector FV when the feature quantity vector FV is given.
  • the multiple label learning selection unit 141 calculates a second probability distribution based on the calculated first probability distribution.
  • the second probability distribution is the probability distribution of the action indicated by the teacher label candidate LCj at the time corresponding to the feature quantity vector FV given the feature quantity vector FV included in the selection teacher data LTD.
  • the selection teacher data LTD2 is generated.
  • the multiple-label learning selection unit 141 calculates the first probability distribution using the generated second selection teacher data LTD2 instead of the selection teacher data LTD.
  • the multiple-label learning selection unit 141 repeats the above process until the second probability distribution converges.
  • the largest teacher label candidate LC2 j is selected as an uncorrected teacher label ULL at each time.
  • the multiple-label learning selection unit 141 selects one uncorrected teacher label ULL for each time.
  • the uncorrected teacher label ULL selected by the multiple label learning selection unit 141 is given at each time.
  • the uncorrected teacher labels ULL indicate that the uncorrected teacher labels ULL indicating different behaviors are adjacent to each other. Determine the start time and end time of the action shown.
  • the multiple-label learning selection unit 141 selects the start time and the end time of the action based on the determination result.
  • the multiple-label learning selection unit 141 generates an uncorrected segment DS by combining the selected uncorrected teacher label ULL with the determined start time and end time of the action.
  • the multiple-label learning selection unit 141 supplies the generated uncorrected segment DS to the time correction unit 142.
  • the time correction unit 142 acquires the uncorrected segment DS supplied by the multiple label learning selection unit 141.
  • the time correction unit 142 acquires the label segment LS supplied by the keyword extraction unit 10.
  • Uncorrected segments DS may be fragmented with respect to the time during which one action lasts, and may deviate from the actual action start time and end time.
  • the time correction unit 142 corrects the time shift of the uncorrected segment DS (step S604).
  • to correct the time shift of the uncorrected segment DS means to correct the start time and the end time included in the uncorrected segment DS.
  • the time correction unit 142 corrects the time lag between the uncorrected segment DS1 and the uncorrected segment DS2 adjacent to the uncorrected segment DS1 will be described.
  • the time correction unit 142 generates an action amount corresponding to a certain time interval.
  • the action amount corresponding to a certain time interval is an amount obtained by counting the uncorrected teacher label ULL at each time of the certain time interval for each action indicated by the uncorrected teacher label ULL.
  • the time correction unit 142 uses the generated action amount as a likelihood.
  • the likelihood is the likelihood that a certain time interval is included during the time interval IN of the uncorrected segment DS.
  • the time correction unit 142 calculates an action amount corresponding to a time interval from a time C1 corresponding to the middle point of the time interval IN1 of the label segment LS1 to a certain time T.
  • the time correction unit 142 changes the time T in a section between the time C1 and the time C2 corresponding to the middle point of the time segment IN2 of the label segment LS2, the time T at which the action amount becomes maximum judge.
  • the time correction unit 142 determines whether the determined time T is to be the start time or the end time of the uncorrected segment DS1 according to the order on the time axis of the time C1 and the time C2. If the time C2 is later on the time axis than the time C1, the time correction unit 142 sets the determined time T as the end time of the uncorrected segment DS1. On the other hand, when the time C2 is earlier on the time axis than the time C1, the time correction unit 142 sets the determined time T as the start time of the uncorrected segment DS1.
  • the time correction unit 142 sets the middle point of the overlapping time segment to the end time of the uncorrected segment DS1 and the start of the uncorrected segment DS2. It is time.
  • the time correction unit 142 sets the middle point of the gap to the end time of the uncorrected segment DS1 and the start time of the uncorrected segment DS2. Do.
  • the time correction unit 142 selects the uncorrected teacher label ULL included in the uncorrected segment DS in which the time shift has been corrected as the teacher label LL at each time included in the time section of the uncorrected segment DS.
  • the time correction unit 142 generates a correction segment CS by combining the selected teacher label LL with the start time and end time of the action included in the uncorrected segment DS whose time lag has been corrected.
  • the time correction unit 142 supplies the generated correction segment CS to the teacher data generation unit 15.
  • the teacher data generation unit 15 generates teacher data (step S605).
  • the teacher data generation unit 15 acquires the correction segment CS supplied by the time correction unit 142.
  • the teacher data generation unit 15 acquires the feature amount vector FV supplied by the feature amount calculation unit 13.
  • the teacher data generation unit 15 generates the sample SM by combining the acquired feature amount vector FV and the teacher label LL based on the acquired correction segment CS.
  • the teacher data generation unit 15 selects a correction segment CS in which the time interval IN of the correction segment CS corresponds to the feature quantity vector FV.
  • the teacher data generation unit 15 combines the teacher label LL included in the selected correction segment CS with the feature quantity vector FV.
  • the teacher data generation unit 15 generates teacher data TD from the sample SM1, the sample SM2,.
  • the teacher data generation unit 15 supplies the generated teacher data TD to the behavior estimation device 4.
  • the time correction unit 142 corrects the time lag of the uncorrected segment DS and selects the teacher label LL.
  • the process of correcting the time shift of the uncorrected segment DS may be omitted, and the multiple-label learning selection unit 141 may select the uncorrected teacher label ULL included in the generated uncorrected segment DS as the teacher label LL.
  • the multiple label learning selection unit 141 selects the teacher label LL, the multiple label learning selection unit 141 supplies the uncorrected segment DS as the corrected segment CS to the teacher data generation unit 15.
  • FIG. 7 is a diagram showing an example of estimation processing of the behavior estimation device 4 according to the present embodiment.
  • the process shown in FIG. 7 is executed after the learning model LM is generated by the process shown in FIG.
  • each process of step S110, step S120, step S130, step S140, and step S150 is the same as each process of step S10, step S20, step S30, step S40, and step S50 in FIG. Omit.
  • the estimation unit 41 estimates the estimated label EL from the sensor data SD2 supplied by the second sensor data supply unit 5 based on the learning model LM generated by the learning unit 40 (step S160).
  • the estimation unit 41 displays the estimated label EL thus estimated on a display device (not shown) or stores the estimated label EL in a storage device (not shown).
  • the labeling apparatus 1 is a labeling apparatus for teaching data used for learning machine learning for estimating a time series of an action from data detected by a sensor.
  • a keyword extraction unit 10 and a selection unit 14 are provided.
  • the keyword extraction unit 10 extracts an action keyword KA indicating an action included in the text data TX in which the action is recorded in a natural language text format as a teacher label candidate LC which is a candidate for a teacher label.
  • the selection unit 14 selects the teacher label LL corresponding to the time information TI indicating the candidate of the time when the action is performed, from the teacher label candidates LC extracted by the keyword extraction unit 10.
  • the labeling apparatus 1 can select the teacher label LL from among the teacher label candidates LC extracted from the text data TX, so that the teacher data TD used for learning of machine learning
  • the teacher label LL can be simply attached.
  • the keyword extraction unit 10 also extracts time information TI from the text data TX.
  • the labeling apparatus 1 according to the present embodiment can improve the accuracy of the start time or the end time of the action indicated by the teacher label LL, so using the teacher data TD generated by the labeling apparatus 1 The prediction accuracy of the learning model LM to be learned can be enhanced.
  • the keyword extraction unit 10 detects a plurality of teacher label candidates when there are a plurality of teacher label candidates (teacher label candidate LC1, teacher label candidate LC2,...) For one action in the extracted teacher label candidates LC.
  • a smaller number of teacher label candidates LC than (the teacher label candidate LC1, the teacher label candidate LC2,...) Is extracted.
  • the labeling apparatus 1 can aggregate synonyms and extract the teacher label candidate LC, so the efficiency in extracting the teacher label candidate LC) from the text data TX is This can be enhanced compared to the case where synonyms are not consolidated.
  • the keyword extraction unit 10 extracts the teacher label candidate LC using any one of morphological analysis, dependency analysis, and case frame analysis.
  • the labeling apparatus 1 can use morphological analysis, dependency analysis, and case frame analysis when extracting the teacher label candidate LC from the text data TX.
  • the prediction accuracy of the learning model LM to be learned using the teacher data TD generated by can be enhanced compared to the case of not using any of morphological analysis, dependency analysis and case frame analysis.
  • the selection unit 14 selects the teacher label LL from the teacher label candidates LC extracted by the keyword extraction unit 10 using the supervised learning (learning for selection ML 14).
  • the labeling apparatus 1 can increase the accuracy of selecting the teacher label LL from the teacher label candidate LC extracted from the text data TX, and thus the teacher data generated by the labeling apparatus 1 The prediction accuracy of the learning model LM learned using TD can be enhanced.
  • the labeling apparatus 1 according to the present embodiment can be applied to behavior recognition of a nurse or a patient in a hospital.
  • the results of action recognition can be used to improve the efficiency and optimization of nursing, and predict the patient's condition.
  • the labeling apparatus 1 according to the present embodiment may be applied to action recognition of a carer or a care receiver in a care facility.
  • the results of action recognition can be used to improve the efficiency and optimization of care, to grasp the condition of the care recipient, and to predict the condition.
  • the keyword extraction unit 10 extracts the candidate of the start time of the subject's action or the candidate of the end time from the text data TX.
  • the candidate of the start time of the subject's action or the end The method of extracting time candidates may be extracted from other than text data TX.
  • the candidate of the start time of the subject's behavior or the candidate of the end time may be extracted based on the information of the time when the text data TX was created.
  • the time window cutout unit 12 converts the preprocessed sensor data PSD1 into a time window (time window TW1 to Although the time window TW3) is assigned to generate the sensor data WSD1 with the time window
  • the method of calculating the feature quantity vector FV in a certain time interval from the preprocessed sensor data PSD1 is not limited to this.
  • a known change point detection algorithm or a known Hidden Markov Model may be used as a method of calculating the feature quantity vector FV in a certain time interval from the preprocessed sensor data PSD1.
  • the selecting unit 14 uses the supervised learning (selection learning ML 14) from among the candidate (teacher label candidate LC) of the teacher labels extracted by the keyword extracting unit 10, the teacher label LL.
  • the selection unit 14 selects the teacher label candidate (teacher label candidate LC) from among a plurality of teacher label candidates (teacher label candidate LC1, teacher label candidate LC2, ).
  • the teacher label may be selected using the position information of the subject and the personal ID.
  • the selection unit 14 may use a method other than the supervised learning (selection learning ML 14) described in the embodiment as a method for the selection unit 14 to select a candidate for teacher label (teacher label candidate LC).
  • the selection unit 14 may select the teacher label candidate LC1 extracted from the text data TX by the keyword extraction unit 10 based on the history information indicating the frequency at which the teacher label candidate LC1 has been extracted in the past. For example, the selecting unit 14 stores the teacher label candidate LC1 extracted in the past by the keyword extracting unit 10 in the database as history information, and calculates the frequency at which the teacher label candidate LC1 is extracted based on the history information.
  • the teacher label candidate LC1 extracted by the keyword extraction unit 10 in the past is the teacher label candidate LC1 extracted before the timing at which the keyword extraction unit 10 performs the process of extracting the teacher label candidate LC1.
  • the selection unit 14 may calculate the frequency at which the teacher label candidate LC1 is extracted from among the teacher label candidates LC1 extracted from the text data TX, instead of based on the history information stored in the database.
  • the keyword extraction unit 10 may be realized by a computer.
  • a program for realizing the control function may be recorded in a computer readable recording medium, and the program recorded in the recording medium may be read and executed by a computer system.
  • the “computer system” is a computer system built in the labeling device 1 and the behavior estimation device 4 and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” means a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system. Furthermore, the “computer-readable recording medium” is one that holds a program dynamically for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case may also include one that holds a program for a certain period of time. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.
  • LSI Large Scale Integration
  • Each functional block of the labeling apparatus 1 and the behavior estimation apparatus 4 may be individually processorized, or part or all of them may be integrated and processed.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. In the case where an integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology, integrated circuits based on such technology may also be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ラベル付与装置は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与装置であって、行動が自然言語テキスト形式で記録されたテキストデータに含まれる行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出部と、キーワード抽出部が抽出した教師ラベルの候補の中から、行動が行われた時刻の候補を示す時刻情報に対応する教師ラベルを選択する選択部と、を備える。

Description

ラベル付与装置、ラベル付与方法、及びプログラム
　本発明は、ラベル付与装置、ラベル付与方法、及びプログラムに関する。
　本願は、２０１８年１月５日に、日本に出願された特願２０１８－０００８０６号に基づき優先権を主張し、その内容をここに援用する。
　人間が身につけたセンサから取得されたデータ、あるいは環境を測定するセンサから取得されたセンサデータから、人間の行動を推定する行動認識の技術が知られている。行動認識の技術では、人間の行動を推定することにより、業務の自動記録や可視化、行動を振り返ることによる業務改善が可能となる。また、センサなどから取得されたデータと、業績等の他のデータとを組み合わせて業務改善に役立たせることが考えられる。
　センサを始めとする時系列データを用いる行動認識には、機械学習の一分野である教師あり学習が使われる。教師あり学習では、教師データを用いて学習モデルを生成する。教師データとは、実際の行動を示す情報である教師ラベルと、センサから取得されたデータから抽出される特徴量とを組み合わせたデータである。教師あり学習では、生成された学習モデルに基づいて、センサから取得されたデータから抽出される特徴量から行動を示す教師ラベルを推定する。
　このような教師あり学習を用いて人間の行動を推定する技術として、例えば、位置センサやモーションセンサから取得した情報に基づいた行動パターン認識結果と、位置センサやモーションセンサから取得した情報以外の情報とを組み合わせ、情報を提供する情報処理装置が知られている（特許文献１）。特許文献１に記載の情報処理装置では、テキスト情報と、テキスト情報が入力された時刻情報とを取得し、取得したテキストを解析し、ユーザの体験に関する情報をテキスト情報から抽出する。特許文献１に記載の情報処理装置では、ユーザの体験に関する情報を得る場合、テキスト情報から種類特徴量を抽出し、抽出された種類特徴量に基づいて、学習モデルを利用して、入力された種類特徴量から体験の種類を判別する。
特開２０１３－２５０８６１号公報
　しかしながら、特許文献１に記載の情報処理装置のような技術においては、機械学習アルゴリズムを用いているため、学習モデルを生成するために教師データを作成する必要がある。教師データを作成するには、センサから取得されたデータから特徴量を抽出し、抽出した特徴量に対応する教師ラベルを付与しなければならない。教師ラベルの付与（アノテーション）は人間が行うため、特徴量に対応する教師ラベルの選択に手間と時間がかかり負担が大きい。このため、教師データの十分な収集ができず、精度の高い行動認識を実施するのが困難であった。
　本発明は上記の点に鑑みてなされたものであり、機械学習の学習に用いられる教師データの教師ラベルの付与を簡便に行うことができるラベル付与装置、ラベル付与方法、及びプログラムを提供する。
　本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データ（ＴＤ）のラベル付与装置（１）であって、前記行動が自然言語テキスト形式で記録されたテキストデータ（ＴＸ）に含まれる前記行動を示す行動キーワード（ＫＡ）を教師ラベルの候補である教師ラベル候補（ＬＣ）として抽出するキーワード抽出部（１０）と、前記キーワード抽出部（１０）が抽出した前記教師ラベル候補（ＬＣ）の中から、前記行動が行われた時刻の候補を示す時刻情報（ＴＩ）に対応する前記教師ラベル（ＬＬ）を選択する選択部（１４）と、を備えるラベル付与装置である。
　また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、前記テキストデータから前記時刻情報を抽出する。
　また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、抽出した前記教師ラベル候補において、１つの前記行動に対して複数の前記教師ラベル候補があるときは、複数の前記教師ラベル候補よりも少ない個数の前記教師ラベル候補を抽出する。
　また、本発明の一態様は、上記のラベル付与装置において、前記キーワード抽出部は、形態素解析、係り受け解析、及び格フレーム解析のいずれかの手法を使って前記教師ラベル候補を抽出する。
　また、本発明の一態様は、上記のラベル付与装置において、前記選択部は、前記キーワード抽出部が抽出した前記教師ラベル候補の中から前記教師ラベルを、教師あり学習を用いて選択する。
　また、本発明の一態様は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与方法であって、前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出過程と、前記キーワード抽出過程において抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択過程と、を備えるラベル付与方法である。
　また、本発明の一態様は、コンピュータに、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与を行うコンピュータに、前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出ステップと、前記キーワード抽出ステップにおいて抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択ステップと、を実行させるプログラムである。
　本発明によれば、機械学習の学習に用いられる教師データの教師ラベルの付与を簡便に行うことができる。
本発明の実施形態に係るラベル付与装置を用いた機械学習による行動認識の概要を示す図である。 本発明の実施形態に係るラベル付与装置の構成の一例を示す図である。 本発明の実施形態に係るラベル付与装置の学習処理の一例を示す図である 本発明の実施形態に係るラベル付与装置の教師データの生成処理の一例を示す図である。 本発明の実施形態に係るテキストデータの一例を示す図である。 本発明の実施形態に係るセグメントの一例を示す図である。 本発明の実施形態に係る選択部の教師ラベル候補の選択処理の概要の一例を示す図である。 本発明の実施形態に係る行動推定装置の推定処理の一例を示す図である。
（実施形態）
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係るラベル付与装置１を用いた機械学習による行動認識の概要を示す図である。この機械学習による行動認識では、被験者の行動の時系列を推定する。ラベル付与装置１を用いた機械学習による行動認識には、学習フェーズと、推定フェーズとがある。
　学習フェーズでは、教師データＴＤが生成され、生成された教師データＴＤを用いた機械学習により学習モデルＬＭが生成される。本実施形態のラベル付与装置１は、この教師データＴＤを生成する。
　教師データＴＤは、センサデータＳＤ１から抽出される特徴量ベクトルＦＶと、教師ラベルＬＬとの組である。ここで教師ラベルＬＬとは、被験者の行動を示すキーワードである。教師ラベルＬＬは、例えば、［食べた］、「トイレ」、「薬を飲んだ」、「錠剤を服用した」、「服用」、「散歩」、「走った」などの被験者の行動を示すキーワードである。センサデータＳＤ１とは、被験者の動作や姿勢を測定するセンサが測定した値を、値が測定された時間の順に並べた時系列データである。
　センサとは、例えば、被験者の生体情報を取得するセンサや、被験者の体動を検知する加速度計などである。センサが測定した値とは、被験者の心拍数や、センサが取りつけられた身体の部位の加速度である。このセンサは、被験者の身体に設けられてもよいし、被験者の周囲に設置されてもよい。被験者の周囲に設置される場合、センサは、被験者の周囲に設置されたカメラが被験者を撮像した画像を画像解析することにより、被験者の動作や姿勢を測定してもよい。センサは、環境センサであってもよい。センサが環境センサである場合、被験者の周囲の明るさ、室温、気温、及び湿度などの環境データを測定してもよい。また、センサは、人感センサであってもよい。ただし、センサが被験者の周囲に設置される場合、センサは、測定するデータが被験者についてのデータであることを識別できる。例えば、センサは、被験者の動作や姿勢と被験者以外の人物の動作や姿勢とを区別できる。また、センサは、環境データを被験者の住居の環境データと、他の場所の環境データとを区別できる。
　教師ラベルＬＬは、自然言語テキスト形式を用いて被験者の行動が記録されたテキストデータＴＸから、自然言語処理により行動キーワードＫＡが、教師ラベル候補ＬＣとして抽出され、抽出された教師ラベル候補ＬＣから生成される。ここで行動キーワードＫＡとは、被験者の行動を示すキーワードである。教師ラベル候補ＬＣとは、教師ラベルＬＬの候補である。つまり、被験者の行動を示すキーワードが、教師ラベルＬＬの候補として抽出される。テキストデータＴＸは、例えば、介護施設において被験者の介護の様子が記録された業務日誌として記述されたデータである。
　被験者の行動が記録されたテキストデータＴＸからは、教師ラベル候補ＬＣとともに、被験者の行動が行われた時刻の候補を示す時刻情報ＴＩが抽出される。ここで時刻情報ＴＩには、開始時刻の候補を示す開始時刻情報ＢＴ、及び終了時刻の候補を示す終了時刻情報ＥＴがある。教師ラベル候補ＬＣと、被験者の行動の開始時刻情報ＢＴ及び終了時刻情報ＥＴとからラベルセグメントＬＳが生成される。ここでラベルセグメントＬＳとは、教師ラベル候補ＬＣと、開始時刻情報ＢＴ及び終了時刻情報ＥＴとの組である。以下では、開始時刻情報ＢＴが示す被験者の行動の開始時刻の候補から、終了時刻情報ＥＴが示す被験者の行動の終了時刻の候補までの時間区間を、ラベルセグメントＬＳの時間区間ＩＮと呼ぶ。また、ラベルセグメントＬＳに含まれる開始時刻情報ＢＴが示す行動の開始時刻を、ラベルセグメントＬＳの開始時刻などと呼ぶことがある。ラベルセグメントＬＳに含まれる終了時刻情報ＥＴが示す行動の終了時刻を、ラベルセグメントＬＳの開始時刻などと呼ぶことがある。
　特徴量ベクトルＦＶとは、センサデータＳＤ１から抽出される１以上の特徴量を並べたベクトルである。センサデータＳＤ１の特徴量とは、ある時間間隔におけるデータの値の平均、標準偏差、最大値、最小値、増加率、及び１次微分の平均値などである。以下、時間間隔を、時間窓ＴＷと呼ぶ。抽出された１以上の特徴量は、時間窓ＴＷの中央値によって示される時刻における特徴量ベクトルＦＶを構成する。
　時間窓ＴＷのサイズは、秒数などに基づいて予め決められてもよいし、特徴量を抽出するのに適したサイズとして決められてもよい。時間窓ＴＷ同士の間隔は、秒数などを用いて予め決められてもよいし、特徴量を抽出するのに適した間隔として決められてもよい。
　図１に示す例においては、時間窓ＴＷ１における１以上の特徴量が、時間窓ＴＷ１の中央値によって示される時刻における特徴量ベクトルＦＶ１として抽出されている。時間窓ＴＷ２における１以上の特徴量が、時間窓ＴＷ２の中央値によって示される時刻における特徴量ベクトルＦＶ２として抽出されている。時間窓ＴＷ３における１以上の特徴量が、時間窓ＴＷ３の中央値によって示される時刻における特徴量ベクトルＦＶ３として抽出されている。ただし、図１に示す例においては、時間窓ＴＷ１～時間窓ＴＷ３のみが図示されているが、時間窓ＴＷ１～時間窓ＴＷ３以外の時間窓に対応する特徴量ベクトルも抽出されている。
　図１に示す例では、センサデータＳＤ１が示す時間に対応する被験者の行動が記録されたテキストデータＴＸから１以上のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…が生成されている。ただし、図１に示す例においては、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２のみが図示されているが、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２以外のラベルセグメントＬＳｉ（ｉ＝３、４、…）も生成されている。
　抽出された特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…と、生成されたラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…とから、教師あり学習を用いて、サンプルＳＭ１、サンプルＳＭ２、サンプルＳＭ３、…が生成される。ここでサンプルとは、ある時刻における特徴量ベクトルＦＶと、この時刻における教師ラベルＬＬとの組である。例えば、サンプルＳＭ１は、特徴量ベクトルＦＶ１と教師ラベルＬＬ１との組である。
　ここで、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の数と、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…の数とは一般に異なる。また、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の各々に対応する時刻と、ラベルセグメントＬＳ１の時間区間ＩＮ１、ラベルセグメントＬＳ２の時間区間ＩＮ２、…とは対応しているとは限らない。特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…と、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…とから、教師あり学習により、特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…の各々に対応する教師ラベルＬＬ１、教師ラベルＬＬ２、教師ラベルＬＬ３、…が判定される。この教師あり学習の詳細については後述する。
　生成されたサンプルＳＭ１、サンプルＳＭ２、サンプルＳＭ３、…は教師データＴＤとなる。教師データＴＤを用いた機械学習により学習モデルＬＭが生成される。学習モデルＬＭは、センサデータＳＤ１から抽出されるある特徴量ベクトルＦＶｊが入力されると、センサデータＳＤ１が示す被験者の行動を示すキーワードを出力する関数である。
　推定フェーズでは、学習フェーズにおいて学習された学習モデルＬＭを用いて、センサデータＳＤ２から被験者の行動が推定される。推定フェーズにおいては、学習フェーズと異なり、センサデータＳＤ２が示す時間に対応する被験者の行動が記録されたテキストデータＴＸが用いられずに、学習モデルＬＭに基づいてセンサデータＳＤ２から推定ラベルＥＬが推定される。推定ラベルＥＬとは、センサデータＳＤ２が示す時間に対応する被験者の行動を示すキーワードである。
　センサデータＳＤ２から、時間窓ＥＴＷ１に対応する特徴量ベクトルＥＦＶ１が生成される。センサデータＳＤ２から、時間窓ＥＴＷ２に対応する特徴量ベクトルＥＦＶ２が生成される。センサデータＳＤ２から、時間窓ＥＴＷ３に対応する特徴量ベクトルＥＦＶ３が生成される。特徴量ベクトルＥＦＶ１、特徴量ベクトルＥＦＶ２、特徴量ベクトルＥＦＶ３、…から、学習モデルＬＭに基づいて推定ラベルＥＬ１、推定ラベルＥＬ２、推定ラベルＥＬ３、…がそれぞれ推定される。
（ラベル付与装置の構成）
　次に図２を参照しラベル付与装置１の構成について説明する。図２は、本実施形態に係るラベル付与装置１の構成の一例を示す図である。
　ラベル付与装置１は、センサデータＳＤ１から抽出される特徴量ベクトルＦＶに教師ラベルＬＬを付与する。ラベル付与装置１は、特徴量ベクトルＦＶに教師ラベルＬＬを付与することにより教師データＴＤを生成する。ここでラベル付与装置１は、テキストデータ供給部２が供給するテキストデータＴＸと、第１センサデータ供給部３が供給するセンサデータＳＤ１とから教師データＴＤを生成する。ラベル付与装置１は、生成した教師データＴＤを行動推定装置４に供給する。
　ラベル付与装置１は、キーワード抽出部１０と、前処理部１１と、時間窓切り出し部１２と、特徴量計算部１３と、選択部１４と、教師データ生成部１５とを備える。
　キーワード抽出部１０は、テキストデータ供給部２が供給するテキストデータＴＸを取得する。キーワード抽出部１０は、取得したテキストデータＴＸから、行動キーワードＫＡを選択する。キーワード抽出部１０は、選択した行動キーワードＫＡを教師ラベル候補ＬＣとして抽出する。つまり、キーワード抽出部１０は、被験者の行動が自然言語テキスト形式で記録されたテキストデータＴＸに含まれる被験者の行動を示すキーワード（行動キーワードＫＡ）を教師ラベルの候補（教師ラベル候補ＬＣ）として抽出する。
　キーワード抽出部１０は、抽出した教師ラベル候補ＬＣにおいて、１つの行動に対して複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…があるときは、複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…よりも少ない個数の教師ラベル候補ＬＣを抽出する。
　キーワード抽出部１０は、例えば、抽出した教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…において、１つの行動に対して似た意味や関連をもつ教師ラベル候補ＬＣｉ、教師ラベル候補ＬＣｊ、教師ラベル候補ＬＣｋがあるときは、選択した行動キーワードＫＡ１、行動キーワードＫＡ２、…のうち、似た意味や関連をもつ行動キーワードＫＡｉ、行動キーワードＫＡｊ、行動キーワードＫＡｋを１つの集約行動キーワードＫＡＣ１に集約する。キーワード抽出部１０は、集約行動キーワードＫＡＣ１を教師ラベル候補ＬＣ１として抽出する。ここでキーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って選択した行動キーワードＫＡ１、行動キーワードＫＡ２、…を集約する。つまり、キーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って教師ラベル候補ＬＣ１を抽出する。
　キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ１、…を１つの集約行動キーワードＫＡＣ１に集約する場合には、行動キーワードＫＡ１、行動キーワードＫＡ２、…を、例えば行動クラスと対応づけることにより集約してよい。行動クラスの具体例には、例えば、「睡眠」、「食事」、「トイレ」、「服用」、「運動」などがある。例えば、キーワード抽出部１０は、行動キーワードＫＡ１「薬を飲んだ」、行動キーワードＫＡ２「錠剤を服用した」を、集約行動キーワードＫＡＣ１「服用」に集約する。
　なお、本実施形態では、キーワード抽出部１０が、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ２、…を１つの集約行動キーワードＫＡＣ１に集約する場合について説明するが、これに限らない。キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１１、行動キーワードＫＡ１２、…を、各々そのまま教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ１、…として抽出してもよい。
　また、本実施形態では、キーワード抽出部１０が、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ１、…を行動クラスと対応づけることにより集約する場合について説明するが、これに限らない。キーワード抽出部１０は、似た意味や関連をもつ行動キーワードＫＡ１、行動キーワードＫＡ２、…の中から、例えば所定の順序に基づいて１つの集約行動キーワードＫＡＣ１を選択することにより行動キーワードＫＡ１、行動キーワードＫＡ２、…を集約してもよい。例えば、キーワード抽出部１０は、行動キーワードＫＡ１「薬を飲んだ」、行動キーワードＫＡ２「錠剤を服用した」を、集約行動キーワードＫＡＣ１「薬を飲んだ」に集約する。
　キーワード抽出部１０は、テキストデータＴＸから時刻キーワードＴＫを選択する。ここで時刻キーワードＴＫとは、時刻を示すキーワードである。キーワード抽出部１０は、選択した時刻キーワードＴＫから、開始時刻キーワードＢＴＫを選択する。さらにキーワード抽出部１０は、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫを選択する。ここで開始時刻キーワードＢＴＫとは、被験者の行動の開始時刻の候補を示すキーワードである。終了時刻キーワードＥＴＫとは、被験者の行動の終了時刻の候補を示すキーワードである。キーワード抽出部１０は、選択した開始時刻キーワードＢＴＫを開始時刻情報ＢＴとして抽出する。キーワード抽出部１０は、選択した終了時刻キーワードＥＴＫを終了時刻情報ＥＴとして抽出する。つまり、キーワード抽出部１０は、取得したテキストデータＴＸから行動が行われた時刻の候補を示す時刻情報ＴＩを抽出する。
　キーワード抽出部１０は、抽出した教師ラベル候補ＬＣと、抽出した開始時刻情報ＢＴ、及び終了時刻情報ＥＴとを組にしてラベルセグメントＬＳを生成する。キーワード抽出部１０が生成するラベルセグメントＬＳの時間区間ＩＮは、複数のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…同士において重なっている場合がある。つまり、キーワード抽出部１０が生成する複数のラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…によれば、ある時刻に対して複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…が対応してしまう場合がある。複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…から１つの教師ラベルＬＬが選択部１４によって選択される。キーワード抽出部１０は、生成したラベルセグメントＬＳを選択部１４に供給する。
　前処理部１１は、第１センサデータ供給部３が供給するセンサデータＳＤ１を取得する。前処理部１１は、取得したセンサデータＳＤ１に対して前処理を行い、前処理済みセンサデータＰＳＤ１を生成する。ここでセンサデータＳＤ１に対して行われる前処理とは、特徴量を抽出するための解析ができる形式にセンサデータＳＤ１を整形する処理である。前処理部１１は、生成した前処理済みセンサデータＰＳＤ１を時間窓切り出し部１２に供給する。
　時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１を取得する。時間窓切り出し部１２は、取得した前処理済みセンサデータＰＳＤ１に時間窓（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する。時間窓切り出し部１２は、生成した時間窓付きセンサデータＷＳＤ１を特徴量計算部１３に供給する。
　特徴量計算部１３は、時間窓切り出し部１２が供給する時間窓付きセンサデータＷＳＤ１から、割り当てられた時間窓毎に特徴量ベクトルＦＶ（特徴量ベクトルＦＶ１、特徴量ベクトルＦＶ２、特徴量ベクトルＦＶ３、…）を計算する。特徴量計算部１３は、計算した特徴量ベクトルＦＶを、選択部１４及び教師データ生成部１５に供給する。
　選択部１４は、複数の教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…から１つの教師ラベル候補ＬＣｉを教師ラベルＬＬとして選択する処理を行う。つまり、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から、行動が行われた時刻の候補を示す時刻情報ＴＩに対応する教師ラベルＬＬを選択する。ここで選択部１４は、選択用学習ＭＬ１４を用いて１つの教師ラベルＬＬを選択する。なお、選択用学習ＭＬ１４は、教師あり学習であるが、学習モデルＬＭの生成に用いられる機械学習とは異なる。選択用学習ＭＬ１４については後述する。
　選択部１４は、選択用教師データ生成部１４０と、複数ラベル学習選択部１４１と、時刻補正部１４２とを備える。
　選択用教師データ生成部１４０は、選択用教師データＬＴＤを生成する。ここで選択用教師データＬＴＤとは、選択用学習ＭＬ１４において用いられる教師データである。選択用教師データＬＴＤと、教師データ生成部１５が生成する教師データＴＤとは異なる。選択用教師データ生成部１４０は、キーワード抽出部１０が供給するラベルセグメントＬＳと、特徴量計算部１３が供給する特徴量ベクトルＦＶとに基づいて、選択用教師データＬＴＤを生成する。選択用教師データ生成部１４０は、生成した選択用教師データＬＴＤを複数ラベル学習選択部１４１に供給する。
　複数ラベル学習選択部１４１は、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）から１つの教師ラベル候補ＬＣｊを未補正教師ラベルＵＬＬとして選択する。ここで未補正教師ラベルＵＬＬ１は、後述する時刻のずれを補正する処理を行う前の教師ラベルＬＬである。ここで複数ラベル学習選択部１４１は、選択用教師データ生成部１４０が供給する選択用教師データＬＴＤと、選択用学習ＭＬ１４とを用いて１つの教師ラベル候補ＬＣｊを選択する。つまり、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の中から未補正教師ラベルＵＬＬを、教師あり学習を用いて選択する。
　複数ラベル学習選択部１４１は、選択した未補正教師ラベルＵＬＬと、この未補正教師ラベルＵＬＬが示す行動についての開始時刻及び終了時刻とを組にして未補正セグメントＤＳを生成する。複数ラベル学習選択部１４１は、生成した未補正セグメントＤＳを時刻補正部１４２に供給する。
　時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳの開始時刻及び終了時刻を補正する。ここで未補正セグメントＤＳ同士は、時間について断片化または重なっている場合があり、時間についての断片化または重なりを解消するために開始時刻及び終了時刻を補正する必要がある。時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳと、キーワード抽出部１０が供給するラベルセグメントＬＳとに基づいて未補正セグメントＤＳの開始時刻及び終了時刻を補正する。時刻補正部１４２は、時間のずれを補正した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを、この未補正セグメントＤＳの時間区間に含まれる各時刻における教師ラベルＬＬとして選択する。時刻補正部１４２は、選択した教師ラベルＬＬと、時間のずれを補正した未補正セグメントＤＳに含まれる行動の開始時刻及び終了時刻とを組にして補正セグメントＣＳを生成する。時刻補正部１４２は、生成した補正セグメントＣＳを教師データ生成部１５に供給する。
　教師データ生成部１５は、選択部１４が供給する補正セグメントＣＳに基づいて、特徴量計算部１３が供給する特徴量ベクトルＦＶと、教師ラベルＬＬとを組にしてサンプルＳＭを生成する。ここで教師データ生成部１５は、補正セグメントＣＳの時間区間ＩＮが、特徴量ベクトルＦＶに対応する時刻を含む補正セグメントＣＳを選択する。教師データ生成部１５は、選択した補正セグメントＣＳに含まれる教師ラベルＬＬを、特徴量ベクトルＦＶと組にする。
　テキストデータ供給部２は、自然言語テキスト形式を用いて行動が記録されたテキストデータＴＸをラベル付与装置１に供給する。テキストデータ供給部２は、例えば、テキストデータＴＸが記憶される記憶装置である。
　第１センサデータ供給部３は、センサデータＳＤ１をラベル付与装置１に供給する。第１センサデータ供給部３は、例えば、被験者の身体に取り付けられるセンサである。第１センサデータ供給部３は、センサデータＳＤ１を記憶する記憶装置であってもよい。また、第１センサデータ供給部３が記憶装置である場合、第１センサデータ供給部３は、テキストデータ供給部２と一体となって構成されてもよい。第１センサデータ供給部３は、センサが測定したデータを加工する演算装置であってもよい。
　行動推定装置４は、学習部４０と、推定部４１とを備える。
　学習部４０は、ラベル付与装置１が供給する教師データＴＤを用いて機械学習を行う。学習部４０は、機械学習により学習モデルＬＭを生成する。
　推定部４１は、学習部４０が生成した学習モデルＬＭに基づいて、第２センサデータ供給部５が供給するセンサデータＳＤ２から推定ラベルＥＬを推定する。
　なお、図２に示す例においては、行動推定装置４と、ラベル付与装置１とは独立して構成されているが、行動推定装置４とラベル付与装置１とは一体となって構成されてもよい。
　第２センサデータ供給部５は、行動推定装置４にセンサデータＳＤ２を供給する。
（学習フェーズ）
　ラベル付与装置１の処理について説明する。図３は、本実施形態に係るラベル付与装置１の学習処理の一例を示す図である。
　前処理部１１は、第１センサデータ供給部３が供給するセンサデータＳＤ１を取得する（ステップＳ１０）。前処理部１１は、取得したセンサデータＳＤ１に対して前処理を行う（ステップＳ２０）。前処理部１１は、センサデータＳＤ１に対して前処理を行った結果、前処理済みセンサデータＰＳＤ１を生成する。前処理部１１は生成した前処理済みセンサデータＰＳＤ１を時間窓切り出し部１２に供給する。
　時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１を取得する。時間窓切り出し部１２は、前処理部１１が供給する前処理済みセンサデータＰＳＤ１に対して時間窓ＴＷ（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する。（ステップＳ３０）。時間窓切り出し部１２は、生成した時間窓付きセンサデータＷＳＤ１を特徴量計算部１３に供給する。
　特徴量計算部１３は、時間窓切り出し部１２が供給する時間窓付きセンサデータＷＳＤ１を取得する。特徴量計算部１３は、取得した時間窓付きセンサデータＷＳＤ１から時間窓ＴＷ毎に１以上の特徴量を抽出する（ステップＳ４０）。特徴量計算部１３は、時間窓付きセンサデータＷＳＤ１から抽出した１以上の特徴量から特徴量ベクトルＦＶを生成する。
　特徴量計算部１３は、生成した特徴量ベクトルＦＶに対して次元削減の処理を行う（ステップＳ５０）。ここで次元削減の処理とは、例えば、主成分分析により特徴量ベクトルＦＶの次元を減らす処理である。特徴量計算部１３は、次元削減の処理をした特徴量ベクトルＦＶを、選択用教師データ生成部１４０及び教師データ生成部１５に供給する。
　教師データ生成部１５は、特徴量ベクトルＦＶと、補正セグメントＣＳとに基づいて教師データＴＤを生成する（ステップＳ６０）。ラベル付与装置１が教師データＴＤを生成する処理の詳細については図４を参照し後述する。教師データ生成部１５は、生成した教師データＴＤを行動推定装置４に供給する。
　行動推定装置４の学習部４０は、教師データ生成部１５が供給する教師データＴＤに基づいて学習モデルＬＭを生成する（ステップＳ７０）。
　図４は、本実施形態に係るラベル付与装置１の教師データＴＤの生成処理の一例を示す図である。
　キーワード抽出部１０は、テキストデータ供給部２が供給するテキストデータＴＸを取得する（ステップＳ６００）。
　キーワード抽出部１０は、取得したテキストデータＴＸから行動キーワードＫＡを選択する（ステップＳ６０１）。キーワード抽出部１０は、公知の自然言語処理の手法を使って行動キーワードＫＡを選択する。公知の自然言語処理とは、形態素解析、係り受け解析、及び格フレーム解析などである。キーワード抽出部１０は、選択した行動キーワードＫＡのうち、似た意味や関連をもつ行動キーワードＫＡを１つの集約行動キーワードＫＡＣに集約する。キーワード抽出部１０は、集約した集約行動キーワードＫＡＣを教師ラベル候補ＬＣとして抽出する。
　なお、キーワード抽出部１０は、形態素解析、係り受け解析、及び格フレーム解析に加えて、文脈解析を用いてもよい。キーワード抽出部１０は、文脈解析として、例えば、照応解析を用いて、代名詞や指示詞などの指示対象を推定したり、省略された名詞句を補完したりしてもよい。
　ここで、図５及び図６を参照し、キーワード抽出部１０がテキストデータＴＸから行動キーワードＫＡを選択する具体例について説明する。
　図５は、本実施形態に係るテキストデータＴＸの一例を示す図である。図６は、本実施形態に係るラベル候補の一例を示す図である。テキストデータＴＸは、一例として、被験者である被介護者の、ある日の夕方から夜にかけての介護について記録した業務日誌の文章の抜粋である。
　キーワード抽出部１０は、形態素解析を用いて、テキストデータＴＸを形態素に分解する。キーワード抽出部１０は、分解した形態素から時刻キーワードＴＫを選択する。
　例えば、キーワード抽出部１０は、形態素解析を用いて、テキストデータＴＸ「担当者：○○太郎、被介護者：△△次郎、介護した日付：２０ＸＸ年１０月ＸＸ日　１７時半、夕食をとる。普段より食欲あり。１８時に錠剤Ａを服用した。１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した。２０時すぎ就寝。」から、「１７時半」、「１８時」、「１９時」、及び「２０時」を時刻キーワードＴＫとして選択する。
　キーワード抽出部１０は、選択した時刻キーワードＴＫから、開始時刻キーワードＢＴＫを選択する例えば、キーワード抽出部１０は、時刻キーワードＴＫ「１７時半」、「１８時」、「１９時」、及び「２０時」から、開始時刻キーワードＢＴＫとして「１７時半」、「１８時」、「１９時」、及び「２０時」を選択する。
　キーワード抽出部１０は、選択した時刻キーワードＴＫから、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫを選択する。ここでキーワード抽出部１０は、選択した開始時刻キーワードＢＴＫに対応する終了時刻キーワードＥＴＫとして、選択した時刻キーワードＴＫのうち、この開始時刻キーワードＢＴＫが示す時刻の次に新しい時刻を示す時刻キーワードＴＫを選択する。
　図５に示す例では、キーワード抽出部１０は、時刻キーワードＴＫ「１７時半」、「１８時」、「１９時」、及び「２０時」から、選択した開始時刻キーワードＢＴＫ「１７時半」、「１８時」、及び「１９時」のそれぞれに対応する終了時刻キーワードＥＴＫとして「１８時」、「１９時」、及び「２０時」を選択する。ただし、図５に示すテキストデータＴＸからは開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫは選択されないため、キーワード抽出部１０は、開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫとして「２４時」を選択する。なお、開始時刻キーワードＢＴＫ「２０時」に対応する終了時刻キーワードＥＴＫは、「２４時」の代わりに、翌日以降のテキストデータＴＸから形態素解析を用いて抽出されてよい。
　キーワード抽出部１０は、選択した開始時刻キーワードＢＴＫを開始時刻情報ＢＴとして抽出する。キーワード抽出部１０は、選択した終了時刻キーワードＥＴＫを終了時刻情報ＥＴとして抽出する。例えば、キーワード抽出部１０は、開始時刻情報ＢＴ及び終了時刻情報ＥＴとして、「開始時刻：１７時半」及び「終了時刻：１８時」と、「開始時刻：１８時」及び「終了時刻：１９時」と、「開始時刻：１９時」及び「終了時刻：２０時」と、「開始時刻：２０時」及び「終了時刻：２４時」とを抽出する。
　図５に示す例では、図６に示すように、キーワード抽出部１０は、例えば、開始時刻情報ＢＴとして「開始時刻：１７時半」、終了時刻情報ＥＴとして「終了時刻：１８時」をもつラベルセグメントＡを生成する。キーワード抽出部１０は、ラベルセグメントＢ、ラベルセグメントＣ、及びラベルセグメントＤについても同様に生成する。
　開始時刻情報ＢＴ、及び終了時刻情報ＥＴは、テキストデータＴＸから選択された開始時刻キーワードＢＴＫ、及び終了時刻キーワードＥＴＫに基づいて生成されているため、教師データＴＤを生成するのに十分な精度をもたない場合がある。開始時刻情報ＢＴ、及び終了時刻情報ＥＴが示す時刻の精度は、選択部１４による選択用学習ＭＬ１４により高められる。
　本実施形態では、キーワード抽出部１０は、終了時刻キーワードＥＴＫとして、開始時刻キーワードＢＴＫが示す時刻の次に新しい時刻を示す時刻キーワードＴＫを選択するため、時間について隣り合うラベルセグメントＬＳ同士には時間の隙間がない。キーワード抽出部１０は、開始時刻キーワードＢＴＫが示す開始時刻から所定の時間が経過した時刻を、終了時刻情報ＥＴとして抽出してもよい。開始時刻キーワードＢＴＫが示す開始時刻から所定の時間が経過した時刻を終了時刻情報ＥＴとして抽出される場合、時間軸上においてラベルセグメントＬＳ同士が重なり合う部分があってもよい。
　キーワード抽出部１０は、教師ラベル候補ＬＣが示す行動の典型的な所要時間を予め決めておき、この教師ラベル候補ＬＣを含むラベルセグメントＬＳについて、開始時刻情報ＢＴまたは終了時刻情報ＥＴを補正してもよい。
　次にキーワード抽出部１０は、テキストデータＴＸから教師ラベル候補ＬＣを抽出する。
　キーワード抽出部１０は、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキストの中から、行動キーワードＫＡを選択する。ここでキーワード抽出部１０は、形態素解析、係り受け解析、及び格フレーム解析を用いて、行動キーワードＫＡを選択する。
　図５に示す例では、キーワード抽出部１０は、ラベルセグメントＡについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１７時半、夕食をとる。普段より食欲あり」の中から行動キーワードＫＡとして、「夕食」、及び「食欲」を選択する。
　キーワード抽出部１０は、ラベルセグメントＢについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１８時に錠剤Ａを服用した」の中から行動キーワードＫＡとして、「錠剤Ａ」、及び「服用」を選択する。
　キーワード抽出部１０は、ラベルセグメントＣについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した」の中から行動キーワードＫＡとして、「トイレ」、「行こう」、「スリッパ」、「履けず」を選択する。
　キーワード抽出部１０は、ラベルセグメントＤについて、開始時刻キーワードＢＴＫ及び終了時刻キーワードＥＴＫの選択に用いられたテキスト「２０時すぎ就寝」の中から行動キーワードＫＡとして、「就寝」を選択する。
　行動キーワードＫＡを選択する処理において、キーワード抽出部１０は、選択したテキストの中から、被験者の行動に関係する文や部分を選択する。例えば、キーワード抽出部１０は、テキスト「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった。スリッパの使用の可否について被介護者と相談した」の中から、被験者の行動に関する部分として「１９時にトイレに行こうとした際にスリッパを上手く履けず、ふらついて転びそうになった」を選択する。
　キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、不図示の辞書データベースを用いてよい。キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、辞書データベースに予め登録されたキーワードと一致する行動キーワードＫＡまたは行動クラスに関連する行動キーワードＫＡを含む文や部分のみを選択の対象としてよい。また、キーワード抽出部１０は、選択したテキストの中から被験者の行動に関係する文や部分を選択する際、辞書データベースに予め登録されたキーワードに関連する行動キーワードＫＡとして過去に選択したことのある行動キーワードＫＡを含む文や部分のみを選択の対象としてもよい。
　キーワード抽出部１０は、ラベルセグメントＬＳ毎に、選択した行動キーワードＫＡのうち似た意味や関連をもつ行動キーワードＫＡを集約行動キーワードＫＡＣに集約する。ここでキーワード抽出部１０は、行動クラスに対応させ行動キーワードＫＡを集約する。行動クラスは、予め辞書データベースに登録されてよい。
　図５に示す例では、キーワード抽出部１０は、「夕食」、及び「食欲」を「食事」として集約する。キーワード抽出部１０は、「錠剤Ａ」、及び「服用」を「服用」として集約する。キーワード抽出部１０は、「トイレ」、「行こう」、「スリッパ」、「履けず」、「ふらついて」、及び「転び」を「トイレ」として集約する。
　なお、キーワード抽出部１０は、選択した行動キーワードＫＡに対応する行動クラスが存在しない場合、行動クラスを新たに生成し、選択した行動キーワードＫＡを生成した行動クラスに対応させることにより、行動キーワードＫＡを集約行動キーワードＫＡＣに集約してよい。
　キーワード抽出部１０は、上述の処理により選択した行動キーワードＫＡを教師ラベル候補ＬＣとして抽出する。
　上述したように、キーワード抽出部１０は、教師ラベル候補ＬＣが示す各行動の典型的な所要時間を予め決めておき、各教師ラベル候補ＬＣと組にする時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を補正してもよい。キーワード抽出部１０が時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を補正する場合、キーワード抽出部１０は、例えば、「服用」の所要時間を３分とした場合、キーワード抽出部１０は、ラベルセグメントＢの終了時刻情報ＥＴが示す終了時刻を「１９：００：００」から「１８：０３：００」と補正してよい。また、キーワード抽出部１０は、「トイレ」の所要時間を５分とした場合、キーワード抽出部１０は、ラベルセグメントＣの終了時刻情報ＥＴが示す終了時刻を「２０：００：００」から「１９：０５：００」と補正してよい。
　本実施形態では、介護の業務日誌を例にとり、テキストデータＴＸには、時刻キーワードＴＫと、行動キーワードＫＡとが示されている場合について説明したが、テキストデータＴＸには、一日の業務の内容がまとめて記載されていてもよい。キーワード抽出部１０は、時刻キーワードＴＫの代わりに、時刻を推定することができる名詞を抽出し、時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）を生成してもよい。例えば、キーワード抽出部１０は、「夕方」という名詞から開始時刻情報ＢＴ「開始時刻：１７：００」を生成してもよい。
　図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
　キーワード抽出部１０は、生成したラベルセグメントＬＳを選択用教師データ生成部１４０及び時刻補正部１４２に供給する。選択用教師データ生成部１４０は、キーワード抽出部１０が供給するラベルセグメントＬＳを取得する。選択用教師データ生成部１４０は、特徴量計算部１３が供給する特徴量ベクトルＦＶを取得する。
　選択用教師データ生成部１４０は、選択用教師データＬＴＤを、特徴量ベクトルＦＶと、ラベルセグメントＬＳとから生成する。選択用教師データ生成部１４０は、ある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）を生成する（ステップＳ６０２）。選択用教師データ生成部１４０は、生成したある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の各々と、この時刻に対応する特徴量ベクトルＦＶとを組にすることにより選択用教師データＬＴＤを生成する。つまり、選択用教師データＬＴＤにおいては、ある時刻における複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の各々に、この時刻に対応する１つの特徴量ベクトルＦＶが対応している。
　ここで複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）が示す行動は、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…にそれぞれ含まれる教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…が示す行動のいずれかである。選択用教師データ生成部１４０は、生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）の割合を、教師ラベル候補確率分布ＰＡに基づいて決定する。つまり、選択用教師データ生成部１４０が生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）は、ラベルセグメントＬＳ１、ラベルセグメントＬＳ２、…にそれぞれ含まれる教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…を教師ラベル候補確率分布ＰＡに基づく割合において複製して得られる。ここで図７を参照し教師ラベル候補確率分布ＰＡについて説明する。
　図７は、本実施形態に係る選択部１４の教師ラベル候補ＬＣの選択処理の概要の一例を示す図である。教師ラベル候補確率分布ＰＡとは、教師ラベル候補ＬＣが示す行動毎の教師ラベル候補ＬＣの確率分布を、共通の行動について足しあげて得られる確率分布である。教師ラベル候補ＬＣが示す行動毎の確率分布とは、例えば、ガウス分布である。このガウス分布の標準偏差は、ラベルセグメントＬＳの時間区間ＩＮの長さに比例する。このガウス分布の平均は、時間区間ＩＮの中央の時刻である。
　つまり、選択用教師データＬＴＤに含まれる教師ラベル候補ＬＣの割合は、キーワード抽出部１０が抽出した時刻情報ＴＩ（開始時刻情報ＢＴ、及び終了時刻情報ＥＴ）から生成される確率分布である教師ラベル候補確率分布ＰＡに基づいて決定される。ある時刻ｔにおいて、教師ラベル候補ＬＣが示す行動毎の確率分布の割合が大きいほど、選択用教師データ生成部１４０が生成する複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）において、この教師ラベル候補ＬＣの割合は大きくなる。
　なお、教師ラベル候補確率分布ＰＡは正規化される。
　図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
　選択用教師データ生成部１４０は、生成した選択用教師データＬＴＤを複数ラベル学習選択部１４１に供給する。
　複数ラベル学習選択部１４１は、選択用教師データ生成部１４０が供給する選択用教師データＬＴＤ（特徴量ベクトルＦＶ、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）から、教師ラベル候補ＬＣを未補正教師ラベルＵＬＬとして選択する（ステップ０）。複数ラベル学習選択部１４１は、選択用教師データＬＴＤから、未補正教師ラベルＵＬＬとともに、この未補正教師ラベルＵＬＬが示す行動についての開始時刻及び終了時刻とを、選択用学習ＭＬ１４を用いて選択する。
　ここで選択用学習ＭＬ１４とは、選択用教師データ生成部１４０が生成した選択用教師データＬＴＤを用いた機械学習である。つまり、選択用学習ＭＬ１４とは、被験者の行動に応じて変化する所定の量を検出するセンサが検出したデータから抽出される特徴量と、複数の教師ラベル候補ＬＣｉ（ｉ＝１、２、…）とが、時刻毎に対応づけられたデータを教師データとして用いる学習である。
　複数ラベル学習選択部１４１は、選択用教師データＬＴＤから、機械学習により第１確率分布を算出する。ここで第１確率分布とは、特徴量ベクトルＦＶが与えられたときに、この特徴量ベクトルＦＶに対応する時刻における教師ラベル候補ＬＣｊが示す行動がある行動である確率を示す確率分布である。
　複数ラベル学習選択部１４１は、算出した第１確率分布に基づいて第２確率分布を算出する。ここで第２確率分布とは、選択用教師データＬＴＤに含まれる特徴量ベクトルＦＶが与えられたときの、この特徴量ベクトルＦＶに対応する時刻における教師ラベル候補ＬＣｊが示す行動の確率分布である。
　複数ラベル学習選択部１４１は、ある時刻における複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）を生成する。ここで、複数ラベル学習選択部１４１は、生成した複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）が示す行動の割合を、算出した第２確率分布に基づいて決定する。
　複数ラベル学習選択部１４１は、生成したある時刻における複数の教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）の各々と、この時刻に対応する特徴量ベクトルＦＶとを組にすることにより第２選択用教師データＬＴＤ２を生成する。複数ラベル学習選択部１４１は、生成した第２選択用教師データＬＴＤ２を、選択用教師データＬＴＤの代わりに用いて、第１確率分布を算出する。複数ラベル学習選択部１４１は、第２確率分布が収束するまで上記の処理を繰り返す。
　複数ラベル学習選択部１４１は、収束した第２確率分布に基づいて、特徴量ベクトルＦＶの各々に対して、教師ラベル候補ＬＣ２ｉ（ｉ＝１、２、…）の中から、第２確率分布が最大となる教師ラベル候補ＬＣ２ｊを未補正教師ラベルＵＬＬとして時刻毎に選択する。ここで複数ラベル学習選択部１４１は、時刻毎に未補正教師ラベルＵＬＬを１つ選択する。
　ここで、複数ラベル学習選択部１４１は、複数ラベル学習選択部１４１が選択した未補正教師ラベルＵＬＬは時刻毎に与えられている。複数ラベル学習選択部１４１は、未補正教師ラベルＵＬＬを時刻毎に並べたときに、互いに異なる行動を示す未補正教師ラベルＵＬＬが隣り合っている箇所を判定することにより、未補正教師ラベルＵＬＬが示す行動の開始時刻及び終了時刻を判定する。複数ラベル学習選択部１４１は、判定結果に基づいて行動の開始時刻及び終了時刻を選択する。
　複数ラベル学習選択部１４１は、選択した未補正教師ラベルＵＬＬと、判定した行動の開始時刻及び終了時刻とを組にして未補正セグメントＤＳを生成する。複数ラベル学習選択部１４１は、生成した未補正セグメントＤＳを時刻補正部１４２に供給する。
　時刻補正部１４２は、複数ラベル学習選択部１４１が供給する未補正セグメントＤＳを取得する。時刻補正部１４２は、キーワード抽出部１０が供給するラベルセグメントＬＳを取得する。
　未補正セグメントＤＳ同士は、１つの行動が持続していた時間について断片化し、実際の行動の開始時刻及び終了時刻からずれている場合がある。時刻補正部１４２は、未補正セグメントＤＳの時刻のずれを補正する（ステップＳ６０４）。ここで未補正セグメントＤＳの時刻のずれを補正するとは、未補正セグメントＤＳに含まれる開始時刻及び終了時刻を補正することである。
　ここで再び図７を参照し、時刻補正部１４２が、未補正セグメントＤＳ１と、この未補正セグメントＤＳ１と隣り合う未補正セグメントＤＳ２との時刻のずれを補正する場合について説明する。
　時刻補正部１４２は、ある時間間隔に対応する行動量を生成する。ここで、ある時間間隔に対応する行動量とは、ある時間間隔の各時刻における未補正教師ラベルＵＬＬを未補正教師ラベルＵＬＬが示す行動毎に数えた量である。時刻補正部１４２は、生成した行動量を尤度として用いる。ここで尤度とは、ある時間間隔が未補正セグメントＤＳの時間区間ＩＮの間に含まれる尤度である。
　時刻補正部１４２は、ラベルセグメントＬＳ１の時間区間ＩＮ１の中点に対応する時刻Ｃ１から、ある時刻Ｔまでの時間間隔に対応する行動量を算出する。
　時刻補正部１４２は、時刻Ｔを、時刻Ｃ１と、ラベルセグメントＬＳ２の時間区間ＩＮ２の中点に対応する時刻Ｃ２との間の区間において変化させたときに、行動量が最大となる時刻Ｔを判定する。
　時刻補正部１４２は、時刻Ｃ１と時刻Ｃ２との時間軸上の順序によって、判定した時刻Ｔを未補正セグメントＤＳ１の開始時刻とするか終了時刻とするかを判定する。時刻Ｃ２が時刻Ｃ１よりも時間軸上において後である場合、時刻補正部１４２は、判定した時刻Ｔを未補正セグメントＤＳ１の終了時刻とする。一方、時刻Ｃ２が時刻Ｃ１よりも時間軸上において前である場合、時刻補正部１４２は、判定した時刻Ｔを未補正セグメントＤＳ１の開始時刻とする。
　ここで未補正セグメントＤＳ１の開始時刻は、未補正セグメントＤＳ２の終了時刻よりも時間軸上において前であるとする。時刻補正部１４２は、時間軸上において未補正セグメントＤＳ１と未補正セグメントＤＳ２とが重なっている場合、重なっている時間区間の中点を、未補正セグメントＤＳ１の終了時刻及び未補正セグメントＤＳ２の開始時刻とする。時刻補正部１４２は、時間軸上において未補正セグメントＤＳ１と未補正セグメントＤＳ２との間に隙間がある場合、隙間の中点を、未補正セグメントＤＳ１の終了時刻及び未補正セグメントＤＳ２の開始時刻とする。
　図４に戻って、ラベル付与装置１の教師データＴＤ生成処理の説明を続ける。
　時刻補正部１４２は、時間のずれを補正した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを、この未補正セグメントＤＳの時間区間に含まれる各時刻における教師ラベルＬＬとして選択する。時刻補正部１４２は、選択した教師ラベルＬＬと、時間のずれを補正した未補正セグメントＤＳに含まれる行動の開始時刻及び終了時刻とを組にして補正セグメントＣＳを生成する。時刻補正部１４２は、生成した補正セグメントＣＳを教師データ生成部１５に供給する。
　教師データ生成部１５は、教師データを生成する（ステップＳ６０５）。教師データ生成部１５は、時刻補正部１４２が供給する補正セグメントＣＳを取得する。教師データ生成部１５は、特徴量計算部１３が供給する特徴量ベクトルＦＶを取得する。教師データ生成部１５は、取得した補正セグメントＣＳに基づいて、取得した特徴量ベクトルＦＶと、教師ラベルＬＬとを組にしてサンプルＳＭを生成する。ここで教師データ生成部１５は、補正セグメントＣＳの時間区間ＩＮが、特徴量ベクトルＦＶに対応する時刻を含む補正セグメントＣＳを選択する。教師データ生成部１５は、選択した補正セグメントＣＳに含まれる教師ラベルＬＬを、特徴量ベクトルＦＶと組にする。
　教師データ生成部１５は、時刻毎のサンプルＳＭ１、サンプルＳＭ２、…から教師データＴＤを生成する。教師データ生成部１５は、生成した教師データＴＤを行動推定装置４に供給する。
　なお、本実施形態においては、時刻補正部１４２が未補正セグメントＤＳの時刻のずれを補正し教師ラベルＬＬを選択する場合について説明しているが、これに限らない。未補正セグメントＤＳの時刻のずれを補正する処理を省略し、複数ラベル学習選択部１４１が、生成した未補正セグメントＤＳに含まれる未補正教師ラベルＵＬＬを教師ラベルＬＬとして選択してもよい。複数ラベル学習選択部１４１が教師ラベルＬＬを選択する場合、複数ラベル学習選択部１４１は、未補正セグメントＤＳを補正セグメントＣＳとして教師データ生成部１５に供給する。
（推定フェーズ）
　図７は、本実施形態に係る行動推定装置４の推定処理の一例を示す図である。図７に示す処理は、図３に示す処理により学習モデルＬＭが生成された後に実行される。
　なお、ステップＳ１１０、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０、及びステップＳ１５０の各処理は、図３におけるステップＳ１０、ステップＳ２０、ステップＳ３０、ステップＳ４０、及びステップＳ５０の各処理と同様であるため、説明を省略する。
　推定部４１は、学習部４０が生成した学習モデルＬＭに基づいて、第２センサデータ供給部５が供給するセンサデータＳＤ２から推定ラベルＥＬを推定する（ステップＳ１６０）。推定部４１は、推定した推定ラベルＥＬを表示装置（不図示）に表示させたり、記憶装置（不図示）に記憶させたりする。
（まとめ）
　以上に説明したように、本実施形態に係るラベル付与装置１は、センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与装置であって、キーワード抽出部１０と、選択部１４とを備える。
　キーワード抽出部１０は、行動が自然言語テキスト形式で記録されたテキストデータＴＸに含まれる行動を示す行動キーワードＫＡを教師ラベルの候補である教師ラベル候補ＬＣとして抽出する。
　選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から、行動が行われた時刻の候補を示す時刻情報ＴＩに対応する教師ラベルＬＬを選択する。
　この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから抽出された教師ラベル候補ＬＣの中から教師ラベルＬＬを選択することができるため、機械学習の学習に用いられる教師データＴＤの教師ラベルＬＬの付与を簡便に行うことができる。
　また、キーワード抽出部１０は、テキストデータＴＸから時刻情報ＴＩを抽出する。
　この構成により、本実施形態に係るラベル付与装置１は、教師ラベルＬＬが示す行動についての開始時刻または終了時刻の精度を高めることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を高めることができる。
　また、キーワード抽出部１０は、抽出した教師ラベル候補ＬＣにおいて、１つの行動に対して複数の教師ラベル候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）があるときは、複数の教師ラベル候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）よりも少ない個数の教師ラベル候補ＬＣを抽出する。
　この構成により、本実施形態に係るラベル付与装置１は、同義語を集約して教師ラベル候補ＬＣを抽出することができるため、テキストデータＴＸから教師ラベル候補ＬＣ）を抽出する際の効率を、同義語を集約しない場合に比べて高めることができる。
　また、キーワード抽出部１０は、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を使って教師ラベル候補ＬＣを抽出する。
　この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから教師ラベル候補ＬＣを抽出する際に、形態素解析、係り受け解析、格フレーム解析を用いることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を、形態素解析、係り受け解析、格フレーム解析のいずれかの手法を用いない場合に比べて高めることができる。
　また、選択部１４は、キーワード抽出部１０が抽出した教師ラベル候補ＬＣの中から教師ラベルＬＬを、教師あり学習（選択用学習ＭＬ１４）を用いて選択する。
　この構成により、本実施形態に係るラベル付与装置１は、テキストデータＴＸから抽出される教師ラベル候補ＬＣから教師ラベルＬＬを選択する精度を高めることができるため、ラベル付与装置１が生成する教師データＴＤを用いて学習される学習モデルＬＭの予測精度を高めることができる。
　本実施形態に係るラベル付与装置１は、病院における看護師または患者の行動認識に応用することができる。行動認識の結果は、看護の効率化や最適化、患者の容態予測などに役立てることができる。また、本実施形態に係るラベル付与装置１は、介護施設における介護士または被介護者の行動認識に応用されてもよい。行動認識の結果は、介護の効率化や最適化、被介護者の状態把握や容態予測などに役立てることができる。
　なお、上述した実施形態においては、キーワード抽出部１０がテキストデータＴＸから被験者の行動の開始時刻の候補または終了時刻の候補を抽出する場合について説明したが、被験者の行動の開始時刻の候補または終了時刻の候補が抽出される方法はテキストデータＴＸ以外から抽出されてもよい。例えば、被験者の行動の開始時刻の候補または終了時刻の候補は、テキストデータＴＸが作成された時刻の情報に基づいて抽出されてもよい。
　なお、上述した実施形態においては、前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法として、時間窓切り出し部１２が前処理済みセンサデータＰＳＤ１に時間窓（時間窓ＴＷ１～時間窓ＴＷ３）を割り当て、時間窓付きセンサデータＷＳＤ１を生成する場合について説明したが、前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法はこれに限らない。前処理済みセンサデータＰＳＤ１からある時間間隔における特徴量ベクトルＦＶを計算する方法には、例えば、公知の変化点検出アルゴリズムや公知の隠れマルコフモデルが用いられてもよい。
　なお、上述した実施形態においては、選択部１４が、キーワード抽出部１０が抽出した教師ラベルの候補（教師ラベル候補ＬＣ）の中から教師あり学習（選択用学習ＭＬ１４）を用いて、教師ラベルＬＬを選択する場合について説明したが、選択部１４は、複数の教師ラベルの候補（教師ラベル候補ＬＣ１、教師ラベル候補ＬＣ２、…）の中から教師ラベルの候補（教師ラベル候補ＬＣ）を選択する処理において、行動が行われた時刻の候補を示す時刻情報ＴＩに加えて、被験者の位置情報や個人ＩＤを用いて教師ラベルを選択してもよい。
　また、選択部１４は、選択部１４が教師ラベルの候補（教師ラベル候補ＬＣ）を選択する方法は実施形態において説明した教師あり学習（選択用学習ＭＬ１４）以外の方法を用いてもよい。
　例えば、選択部１４は、キーワード抽出部１０がテキストデータＴＸから抽出した教師ラベル候補ＬＣ１を、過去に教師ラベル候補ＬＣ１が抽出された頻度を示す履歴情報に基づいて選択してもよい。選択部１４は、例えば、キーワード抽出部１０が過去に抽出した教師ラベル候補ＬＣ１をデータベースに履歴情報として記憶させて、この履歴情報に基づいて教師ラベル候補ＬＣ１が抽出された頻度を算出する。ここでキーワード抽出部１０が過去に抽出した教師ラベル候補ＬＣ１とは、キーワード抽出部１０が教師ラベル候補ＬＣ１を抽出する処理を行うタイミングより以前に抽出された教師ラベル候補ＬＣ１である。また、選択部１４は、データベースに記憶された履歴情報に基づく代わりに、テキストデータＴＸから抽出した教師ラベル候補ＬＣ１の中から、教師ラベル候補ＬＣ１が抽出された頻度を算出してもよい。
　なお、上述した実施形態におけるラベル付与装置１及び行動推定装置４の一部、例えば、キーワード抽出部１０、前処理部１１、時間窓切り出し部１２、特徴量計算部１３、選択部１４、教師データ生成部１５、学習部４０、及び推定部４１をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ラベル付与装置１及び行動推定装置４に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　また、上述した実施形態におけるラベル付与装置１及び行動推定装置４の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。ラベル付与装置１及び行動推定装置４の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１…ラベル付与装置、２…テキストデータ供給部、３…第１センサデータ供給部、４…行動推定装置、４０…学習部、４１…推定部、５…第２センサデータ供給部、１０…キーワード抽出部、１１…前処理部、１２…時間窓切り出し部、１３…特徴量計算部、１４…選択部、１４０…選択用教師データ生成部、１４１…複数ラベル学習選択部、１４２…時刻補正部、１５…教師データ生成部、ＴＸ…テキストデータ、ＳＤ１、ＳＤ２…センサデータ、ＴＤ…教師データ、ＬＳ…ラベルセグメント、ＰＳＤ１…前処理済みセンサデータ、ＷＳＤ１…時間窓付きセンサデータ、ＦＶ…特徴量ベクトル、ＬＴＤ…選択用教師データ、ＤＳ…未補正セグメント、ＣＳ…補正セグメント

Claims (7)

  1. 　センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与装置であって、
    　前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出部と、
    　前記キーワード抽出部が抽出した前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択部と、
    　を備えるラベル付与装置。
  2. 　前記キーワード抽出部は、前記テキストデータから前記時刻情報を抽出する
    　請求項１に記載のラベル付与装置。
  3. 　前記キーワード抽出部は、抽出した前記教師ラベル候補において、１つの前記行動に対して複数の前記教師ラベル候補があるときは、複数の前記教師ラベル候補よりも少ない個数の前記教師ラベル候補を抽出する
    　請求項１または請求項２に記載のラベル付与装置。
  4. 　前記キーワード抽出部は、形態素解析、係り受け解析、及び格フレーム解析のいずれかの手法を使って前記教師ラベル候補を抽出する
    　請求項３に記載のラベル付与装置。
  5. 　前記選択部は、前記キーワード抽出部が抽出した前記教師ラベル候補の中から前記教師ラベルを、教師あり学習を用いて選択する
    　請求項１から請求項４のいずれか一項に記載のラベル付与装置。
  6. 　センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与方法であって、
    　前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出過程と、
    　前記キーワード抽出過程において抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択過程と、
    　を備えるラベル付与方法。
  7. 　センサが検出したデータから行動の時系列を推定するための機械学習の学習に用いられる教師データのラベル付与を行うコンピュータに、
    　前記行動が自然言語テキスト形式で記録されたテキストデータに含まれる前記行動を示す行動キーワードを教師ラベルの候補である教師ラベル候補として抽出するキーワード抽出ステップと、
    　前記キーワード抽出ステップにおいて抽出された前記教師ラベル候補の中から、前記行動が行われた時刻の候補を示す時刻情報に対応する前記教師ラベルを選択する選択ステップと、
    　を実行させるプログラム。
PCT/JP2018/048551 2018-01-05 2018-12-28 ラベル付与装置、ラベル付与方法、及びプログラム WO2019135403A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019563982A JP7239991B2 (ja) 2018-01-05 2018-12-28 ラベル付与装置、ラベル付与方法、及びプログラム
US16/959,596 US20200387670A1 (en) 2018-01-05 2018-12-28 Labeling device, labeling method, and program
CN201880085379.7A CN112020707A (zh) 2018-01-05 2018-12-28 标签添加装置、标签添加方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018000806 2018-01-05
JP2018-000806 2018-01-05

Publications (1)

Publication Number Publication Date
WO2019135403A1 true WO2019135403A1 (ja) 2019-07-11

Family

ID=67143710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048551 WO2019135403A1 (ja) 2018-01-05 2018-12-28 ラベル付与装置、ラベル付与方法、及びプログラム

Country Status (4)

Country Link
US (1) US20200387670A1 (ja)
JP (1) JP7239991B2 (ja)
CN (1) CN112020707A (ja)
WO (1) WO2019135403A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021181643A1 (ja) * 2020-03-13 2021-09-16
JPWO2021260836A1 (ja) * 2020-06-24 2021-12-30

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275154A (ja) * 1997-03-28 1998-10-13 Sumitomo Metal Ind Ltd 言語辞典制作支援システム及び言語辞典制作支援方法
JP2013246683A (ja) * 2012-05-28 2013-12-09 Sony Corp 情報処理装置、情報処理方法、および、プログラム
JP2013254372A (ja) * 2012-06-07 2013-12-19 Sony Corp 情報処理装置、電子機器、情報処理方法、及びプログラム
US20150318015A1 (en) * 2010-08-26 2015-11-05 Blast Motion Inc. Multi-sensor event detection system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003494A (ja) * 2010-06-16 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
EP2635965A4 (en) * 2010-11-05 2016-08-10 Rakuten Inc SYSTEMS AND METHODS RELATING TO KEYWORD EXTRACTION
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
US20150199965A1 (en) * 2014-01-16 2015-07-16 CloudCar Inc. System and method for recognition and automatic correction of voice commands
US10089580B2 (en) * 2014-08-11 2018-10-02 Microsoft Technology Licensing, Llc Generating and using a knowledge-enhanced model
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
JP6783443B2 (ja) * 2015-04-06 2020-11-11 国立研究開発法人産業技術総合研究所 情報処理装置、情報処理システム、情報処理方法、プログラム、及び記録媒体
US9818414B2 (en) * 2015-06-04 2017-11-14 Intel Corporation Dialogue system with audio watermark
CN107092592B (zh) * 2017-04-10 2020-06-05 浙江鸿程计算机系统有限公司 一种基于多情境数据和代价敏感集成模型的场所个性化语义识别方法
US11315560B2 (en) * 2017-07-14 2022-04-26 Cognigy Gmbh Method for conducting dialog between human and computer
JP6994874B2 (ja) * 2017-08-31 2022-01-14 リオン株式会社 アノテーション装置および騒音測定システム
EP3519936B1 (en) * 2017-12-08 2020-04-08 Google LLC Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
US10536287B1 (en) * 2017-12-13 2020-01-14 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
KR20230051619A (ko) * 2018-03-07 2023-04-18 구글 엘엘씨 사용자 지정 디바이스 액션들의 음성 기반 시작을 위한 시스템들 및 방법들
US10685652B1 (en) * 2018-03-22 2020-06-16 Amazon Technologies, Inc. Determining device groups
US10832679B2 (en) * 2018-11-20 2020-11-10 International Business Machines Corporation Method and system for correcting speech-to-text auto-transcription using local context of talk
US11210059B2 (en) * 2019-06-25 2021-12-28 International Business Machines Corporation Audible command modification
US11562735B1 (en) * 2020-03-31 2023-01-24 Amazon Technologies, Inc. Multi-modal spoken language understanding systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275154A (ja) * 1997-03-28 1998-10-13 Sumitomo Metal Ind Ltd 言語辞典制作支援システム及び言語辞典制作支援方法
US20150318015A1 (en) * 2010-08-26 2015-11-05 Blast Motion Inc. Multi-sensor event detection system
JP2013246683A (ja) * 2012-05-28 2013-12-09 Sony Corp 情報処理装置、情報処理方法、および、プログラム
JP2013254372A (ja) * 2012-06-07 2013-12-19 Sony Corp 情報処理装置、電子機器、情報処理方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021181643A1 (ja) * 2020-03-13 2021-09-16
WO2021181643A1 (ja) * 2020-03-13 2021-09-16 日本電気株式会社 学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム記録媒体
JP7420214B2 (ja) 2020-03-13 2024-01-23 日本電気株式会社 学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム
JPWO2021260836A1 (ja) * 2020-06-24 2021-12-30
WO2021260836A1 (ja) * 2020-06-24 2021-12-30 日本電気株式会社 学習モデル生成装置、ストレス推定装置、学習モデル生成方法、ストレス推定方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2019135403A1 (ja) 2020-12-17
US20200387670A1 (en) 2020-12-10
CN112020707A (zh) 2020-12-01
JP7239991B2 (ja) 2023-03-15

Similar Documents

Publication Publication Date Title
JP7031101B2 (ja) 方法、システムおよび有形コンピュータ可読デバイス
Xu et al. Optimizing statistical machine translation for text simplification
Holmstedt The relative clause in biblical Hebrew
Witzel et al. Comparisons of online reading paradigms: Eye tracking, moving-window, and maze
US20190034416A1 (en) Systems and methods for neural clinical paraphrase generation
CN112329964A (zh) 用于推送信息的方法、装置、设备以及存储介质
Alsharid et al. Captioning ultrasound images automatically
WO2019135403A1 (ja) ラベル付与装置、ラベル付与方法、及びプログラム
Specia et al. Translation quality and productivity: A study on rich morphology languages
US20210397787A1 (en) Domain-specific grammar correction system, server and method for academic text
US20120183935A1 (en) Learning device, determination device, learning method, determination method, and computer program product
JP2021523509A (ja) エキスパートレポートエディタ
TWI833072B (zh) 語音辨識系統及語音辨識方法
JP2018097468A (ja) 文分類学習装置、文分類装置、文分類学習方法、及び文分類学習プログラム
CN114446422A (zh) 病案标化方法、系统及相应设备和存储介质
Mucha et al. TEXT2TASTE: A Versatile Egocentric Vision System for Intelligent Reading Assistance Using Large Language Model
US11727685B2 (en) System and method for generation of process graphs from multi-media narratives
Wang et al. Huawei BabelTar NMT at WMT22 Biomedical Translation Task: How we further improve domain-specific NMT
Bandhu et al. Health care chatbot using natural language processing with SGD and ADAM optimizer parameter optimization
CN113793668B (zh) 基于人工智能的症状标准化方法、装置、电子设备及介质
Ghrenassia et al. Interactive segmentation of tongue contours in ultrasound video sequences using quality maps
Shah et al. Extracting modifiable risk factors from narrative preventive healthcare guidelines for EHR integration
Ryazanskaya et al. Automated Analysis of Discourse Coherence in Schizophrenia: Approximation of Manual Measures
CN114334049B (zh) 一种电子病历结构化处理方法和装置及设备
Huang Bayesian probabilistic model of discourse anaphoric comprehension, linguistic typology, and neo-Gricean pragmatics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897897

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019563982

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18897897

Country of ref document: EP

Kind code of ref document: A1