WO2021176514A1 - 学習処理プログラム、情報処理装置及び学習処理方法 - Google Patents

学習処理プログラム、情報処理装置及び学習処理方法 Download PDF

Info

Publication number
WO2021176514A1
WO2021176514A1 PCT/JP2020/008681 JP2020008681W WO2021176514A1 WO 2021176514 A1 WO2021176514 A1 WO 2021176514A1 JP 2020008681 W JP2020008681 W JP 2020008681W WO 2021176514 A1 WO2021176514 A1 WO 2021176514A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
feature amount
determination
input
Prior art date
Application number
PCT/JP2020/008681
Other languages
English (en)
French (fr)
Inventor
小林健
梅田裕平
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2020/008681 priority Critical patent/WO2021176514A1/ja
Priority to JP2022504775A priority patent/JP7368776B2/ja
Priority to EP20923361.8A priority patent/EP4116892A4/en
Publication of WO2021176514A1 publication Critical patent/WO2021176514A1/ja
Priority to US17/895,121 priority patent/US20220405526A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to a learning processing program, an information processing device, and a learning processing method.
  • anomaly detection (hereinafter, also simply referred to as anomaly detection) using a judgment model generated by machine learning has been performed.
  • anomaly detection is used, for example, in fields such as rough road detection based on automobile sensor data and visual inspection of products in factories.
  • the feature quantity vectors of the data to be determined for abnormality (hereinafter, also referred to as the determination target data) are distributed in the feature space, and the determination target data is normal. Identify the data with a large distance from the feature vector corresponding to the state data. Then, in the abnormality detection, each of the identified determination target data is detected as data in an abnormal state and presented to the user (see, for example, Non-Patent Document 1).
  • the user may manually label the learning data. Therefore, depending on the number of learning data that needs to be labeled, the man-hours required by the user for labeling may become enormous.
  • the above-mentioned determination model determines the state of each data by using, for example, the distance of the feature amount vector in the feature space. Therefore, in the determination model as described above, there is a possibility that the data of the abnormal state implicitly desired by the user cannot always be detected.
  • the user performs, for example, active learning that gives feedback to the learning data. Specifically, for example, the user labels a part of the data output from the determination model as the data in the abnormal state as to whether or not the data is in the abnormal state, and further, the labeled data. Supervised learning by using.
  • the user when performing active learning as described above, the user needs to comprehensively grasp the abnormal state of the data that needs to be detected in advance. Therefore, for example, if the user does not fully understand the abnormal state of the data, the above-mentioned active learning cannot be performed.
  • the feature quantities in the training data set for each of the data contained in the training data set are used using a determination model generated by training using the unlabeled training data set.
  • the degree of deviation is calculated, and based on the degree of deviation, one or more data included in the training data set or related data related to the one or more data is selected and output, and the user for the one or more data.
  • Accepts the input of the judgment result by, and based on the received judgment result determines the adjustment standard for adjusting the feature amount of each of the data included in the training data set, causes the computer to execute the process, and uses the judgment model.
  • the determination target data is determined, the feature amount of the determination target data is adjusted based on the adjustment reference.
  • FIG. 1 is a diagram illustrating a configuration of an information processing system 10.
  • FIG. 2 is a diagram illustrating a specific example of processing in the learning stage of the determination model.
  • FIG. 3 is a diagram illustrating a specific example of abnormality detection by the determination model.
  • FIG. 4 is a diagram illustrating a specific example of abnormality detection by the determination model.
  • FIG. 5 is a diagram illustrating a specific example of processing in the learning stage of the determination model.
  • FIG. 6 is a diagram illustrating a hardware configuration of the information processing device 1.
  • FIG. 7 is a block diagram of the function of the information processing device 1.
  • FIG. 8 is a flowchart illustrating an outline of the learning process according to the first embodiment.
  • FIG. 8 is a flowchart illustrating an outline of the learning process according to the first embodiment.
  • FIG. 9 is a flowchart illustrating an outline of the inference process according to the first embodiment.
  • FIG. 10 is a diagram illustrating an outline of a learning process according to the first embodiment.
  • FIG. 11 is a diagram illustrating a specific example of coordinate transformation of the feature vector by the adjuster.
  • FIG. 12 is a diagram illustrating a specific example of coordinate transformation of the feature vector by the adjuster.
  • FIG. 13 is a diagram illustrating a specific example of coordinate transformation of the feature vector by the adjuster.
  • FIG. 14 is a flowchart illustrating the details of the learning process according to the first embodiment.
  • FIG. 15 is a flowchart illustrating the details of the learning process according to the first embodiment.
  • FIG. 16 is a flowchart illustrating the details of the learning process according to the first embodiment.
  • FIG. 17 is a flowchart illustrating the details of the inference process according to the first embodiment.
  • FIG. 18 is a diagram illustrating details of the learning process according to the first embodiment.
  • FIG. 19 is a diagram illustrating details of the learning process according to the first embodiment.
  • FIG. 20 is a diagram illustrating details of the learning process according to the first embodiment.
  • FIG. 1 is a diagram illustrating a configuration of an information processing system 10.
  • the information processing system 10 includes an information processing device 1 and a user terminal 2 in which a user inputs information or the like.
  • the user terminal 2 is, for example, a PC (Personal Computer) used by the user, and is connected via a network NW such as an Internet network of the information processing device 1.
  • NW such as an Internet network of the information processing device 1.
  • the user terminal 2 accepts input of learning data 131 used for generating a determination model (not shown) for performing abnormality detection, for example. Then, when the user terminal 2 receives the input of the learning data 131, the user terminal 2 transmits the learning data 131 to the information processing device 1.
  • each of the learning data 131 may be, for example, each of the image data included in the moving image data captured by the camera mounted on the automobile. Further, each of the learning data 131 is, for example, time-series data (time-series data corresponding to the video data cut out for each predetermined window size) indicating changes in the video data captured by the camera mounted on the automobile. It may be each.
  • the information processing device 1 When the information processing device 1 receives the learning data 131 transmitted from the user terminal 2, for example, the received learning data 131 is stored in the information storage area 130. Then, in the learning stage, the information processing device 1 learns the learning data 131 stored in the information storage area 130 to generate a determination model for detecting an abnormality in the data.
  • the information processing apparatus 1 determines the determination target data as a determination model. Enter in. Then, the information processing device 1 outputs the value output from the determination model in connection with the input of the determination target data as information indicating whether or not the determination target data is data in an abnormal state.
  • FIG. 2 is a diagram illustrating a specific example of processing in the learning stage of the determination model.
  • the user When generating the determination model as described above, the user manually labels the learning data 131 after collecting the learning data 131 (S101) as shown in FIG. 2 (S102). Then, after selecting the learning method (S103), the user generates a determination model by using the labeled learning data 131 (S104). After that, the user confirms that, for example, the determination accuracy and the like satisfy the criteria (S105).
  • the state of each determination target data is determined in the inference stage, for example, by using the distance of the feature amount vector in the feature space. Therefore, in the determination model as described above, there is a possibility that the determination target data in the abnormal state implicitly desired by the user cannot always be detected.
  • abnormality detection by the determination model will be described.
  • each feature amount vector (each feature amount vector included in the vector group VG1, the vector group VG2, and the vector group VG3) corresponding to the learning data 131 learned in the learning stage is distributed in the feature space. Indicates the state.
  • the mail corresponding to each feature vector included in the vector group VG2 is, for example, a mail described by an expression far from the natural sentence, and the mail corresponding to each feature vector included in the vector group VG3. Is, for example, an email written in natural text. Therefore, in this case, as shown in FIG. 3, the determination model uses each feature amount vector included in the vector group VG2 from each feature amount vector (each feature amount vector corresponding to the normal mail) included in the vector group VG1. It is distributed at a distant position, and each feature amount vector included in the vector group VG3 is distributed at a position close to each feature amount vector corresponding to the normal mail.
  • the determination model may detect, for example, a spam mail described by an expression resembling a natural sentence as an abnormal state mail. It may not be possible. Further, in this case, the determination model may detect, for example, a normal mail described by an expression far from the natural sentence as a mail in an abnormal state. That is, in the determination model in which the learning is performed as described above, there is a possibility that the determination target data in the abnormal state implicitly desired by the user cannot always be detected.
  • the user performs active learning that gives feedback to the learning data 131. Specifically, for example, among the learning data 131 input to the determination model, the user labels the learning data 131 determined to be in the abnormal state as to whether or not the learning data 131 is in the abnormal state. Performed manually. Then, the user performs supervised learning by using the labeled learning data 131.
  • the user when performing active learning as described above, the user needs to comprehensively grasp the abnormal state of the data that needs to be detected in advance. Therefore, for example, if the user does not fully understand the abnormal state of the data, the above-mentioned active learning cannot be performed. Further, when the determination model determines that the data in the abnormal state is the data in the normal state, the user cannot detect such data.
  • the user regenerates the judgment model as shown in FIG. Due to the necessity, it becomes necessary to perform each work including labeling again, and the work man-hours by the user may become larger (NO in S106, S102, etc.).
  • the information processing device 1 in the present embodiment uses a determination model generated by learning using a plurality of unlabeled learning data 131 (hereinafter, also referred to as a learning data set) in the learning stage. , The degree of deviation of the feature amount in the training data set for each of the training data 131 included in the training data set is calculated.
  • the information processing apparatus 1 selects related data related to the data of one or more training data 131 included in the training data set or the data of one or more training data 131 included in the training data set based on the degree of deviation. Output. After that, the information processing device 1 accepts the input of the determination result by the user for the output one or more learning data 131. Subsequently, the information processing apparatus 1 determines an adjustment standard for adjusting each feature amount of the learning data 131 included in the learning data set based on the received determination result.
  • the information processing device 1 adjusts the feature amount of the judgment target data according to the adjustment standard, and then makes a judgment on the judgment target data.
  • the information processing device 1 is included in the learning data set by, for example, receiving input of only the determination result corresponding to a part of the learning data 131 included in the learning data set from the user and using the received determination result.
  • An adjustment standard for adjusting the feature amount of all the learning data 131 is determined.
  • the information processing apparatus 1 determines, for example, a matrix for performing coordinate transformation of the feature amount vector of each learning data 131 in the feature space as an adjustment reference based on the determination result.
  • the information processing device 1 can suppress the user's work man-hours associated with labeling, and also generate a determination model capable of detecting the abnormal state data implicitly desired by the user. Becomes possible.
  • FIG. 6 is a diagram illustrating a hardware configuration of the information processing device 1.
  • the information processing device 1 has a CPU 101 which is a processor, a memory 102, an external interface (I / O unit) 103, and a storage medium 104.
  • the parts are connected to each other via the bus 105.
  • the storage medium 104 has, for example, a program storage area (not shown) for storing a program 110 for performing a process of generating and adjusting a determination model (hereinafter, also simply referred to as a learning process). Further, the storage medium 104 has, for example, an information storage area 130 for storing information used when performing a learning process.
  • the storage medium 104 may be, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the CPU 101 executes the program 110 loaded from the storage medium 104 into the memory 102 to perform the learning process.
  • the external interface 103 communicates with the user terminal 2 via, for example, the network NW.
  • FIG. 7 is a block diagram of the function of the information processing device 1.
  • the data receiving unit 111 and the data management unit 112 are formed by organically collaborating with the hardware such as the CPU 101 and the memory 102 of the information processing device 1 and the program 110.
  • the model generation unit 113, the deviation degree calculation unit 114, the information output unit 115, the input reception unit 116, the feature amount adjustment unit 117, and the data determination unit 118 are realized.
  • the information processing device 1 stores the learning data 131 and the determination target data 132 in the information storage area 130.
  • the data receiving unit 111 receives, for example, a learning data set including a plurality of learning data 131 from the user terminal 2. Specifically, the data receiving unit 111 receives, for example, a learning data set composed of a plurality of unlabeled learning data 131. Then, the data management unit 112 stores the learning data set received by the data receiving unit 111 in the information storage area 130.
  • the model generation unit 113 generates a determination model by using a plurality of learning data 131 included in the learning data set stored in the information storage area 130.
  • the deviation degree calculation unit 114 deviates from the feature amount in the learning data set for each of the learning data 131 included in the learning data set stored in the information storage area 130. Calculate the degree.
  • the information output unit 115 selects one or more learning data 131 included in the learning data set based on the degree of deviation calculated by the degree of deviation calculation unit 114. Specifically, the information output unit 115 selects, for example, one or more learning data 131 in order from the one with the highest degree of deviation calculated by the degree of deviation calculation unit 114. Then, the information output unit 115 outputs, for example, one or more selected learning data 131 to the user terminal 2.
  • the input receiving unit 116 receives the input of the determination result by the user for one or more data output by the information output unit 115. Specifically, the input receiving unit 116 receives, for example, the determination result input by the user via the user terminal 2.
  • each of the one or more data output by the information output unit 115 is data in an abnormal state and has a high priority (hereinafter, also referred to as first data). Indicates whether the data is in an abnormal state and has a low priority (hereinafter, also referred to as the second data) or the data in the normal state (hereinafter, also referred to as the third data). Accepts input of judgment result.
  • the feature amount adjusting unit 117 determines an adjustment standard for adjusting each feature amount of the learning data 131 included in the learning data set stored in the information storage area 130 based on the determination result received by the input receiving unit 116. .. Specifically, when the feature amount adjusting unit 117 distributes the feature amount vectors corresponding to each of the learning data 131 included in the learning data stored in the information storage area 130 in the feature amount space, each learning in the feature amount space
  • the matrix for performing coordinate conversion of the feature vector of the data 131 is determined as an adjustment reference.
  • the feature amount adjusting unit 117 may, for example, reduce the degree of deviation corresponding to each of the learning data 131 indicating that the determination result received by the input receiving unit 116 is the first data. An adjustment standard for adjusting each feature amount of the learning data 131 included in the set is determined.
  • the data receiving unit 111 receives, for example, the determination target data 132 for determining by the determination model from the user terminal 2. Then, the data management unit 112 stores, for example, the determination target data 132 received by the data receiving unit 111 in the information storage area 130.
  • the data determination unit 118 inputs the determination target data 132 received by the data reception unit 111 into the determination model generated by the model generation unit 113.
  • the determination model adjusts the feature amount extracted from the determination target data 132 received by the data receiving unit 111 by using the adjustment reference determined by the feature amount adjusting unit 117. Then, the determination model determines the determination target data 132 received by the data receiving unit 111 by using the adjusted feature amount. Specifically, the determination model determines, for example, whether or not the determination target data 132 received by the data receiving unit 111 is data in an abnormal state.
  • the information output unit 115 outputs, for example, a determination result (for example, a determination result as to whether or not the determination target data 132 is data in an abnormal state) made by the data determination unit 118 to the user terminal 2.
  • a determination result for example, a determination result as to whether or not the determination target data 132 is data in an abnormal state
  • FIG. 8 is a flowchart illustrating an outline of the learning process according to the first embodiment.
  • FIG. 9 is a flowchart illustrating an outline of the inference process according to the first embodiment.
  • FIG. 10 is a diagram illustrating an outline of the learning process according to the first embodiment.
  • the information processing device 1 waits until, for example, the model learning timing is reached (NO in S1).
  • the model learning timing may be, for example, the timing at which the user inputs information to the effect that the determination model is learned via the user terminal 2.
  • the information processing device 1 is included in the learning data set by using the determination model generated by the learning using the learning data set without the label.
  • the degree of deviation of the feature amount in the training data set for each of the training data 131 is calculated (S2).
  • the information processing apparatus 1 selects and outputs one or more data included in the learning data set based on the degree of deviation calculated in the process of S2 (S3).
  • the information processing device 1 waits until it receives the input of the determination result by the user for one or more data output in the process of S3 (NO in S4).
  • the information processing apparatus 1 receives the learning included in the learning data set based on the accepted determination result.
  • An adjustment standard for adjusting each feature amount of the data 131 is determined (S5).
  • the information processing device 1 waits until, for example, the user inputs the determination target data 132 via the user terminal 2 (NO in S11).
  • the information processing apparatus 1 uses the determination model and the adjustment reference determined in the process of S5 to input the determination target data in the process of S11. A determination is made for 132 (S12).
  • the information processing device 1 outputs the determination result for the determination target data 132 input in the process of S11 (S13).
  • the information processing device 1 in the present embodiment accepts and accepts the input of only the determination result corresponding to a part of the learning data 131 included in the learning data set from the user. By using the determination result, the feature amounts of all the training data 131 included in the training data set are adjusted. Specifically, as shown in FIG. 10, the information processing apparatus 1 generates an adjuster that transforms the coordinates of the feature amount vector of each learning data 131 in the feature space as one of the functions constituting the determination model (). S108).
  • the information processing device 1 determines whether or not the determination target data 132 is data in an abnormal state by using a determination model including an adjuster.
  • the information processing device 1 can generate a determination model that can detect even the data of the abnormal state implicitly desired by the user while suppressing the work man-hours of the user associated with labeling.
  • the information processing apparatus 1 in the present embodiment generates the regulator as described above, it is not necessary to regenerate the generated determination model.
  • the user can suppress not only the work man-hours required for labeling the learning data 131 but also the work man-hours required for regenerating the determination model.
  • coordinate conversion of the feature vector by the adjuster will be described.
  • FIGS. 11 to 13 are diagrams illustrating a specific example of coordinate conversion of a feature vector by an adjuster.
  • both the learning data 131 in the normal state and the learning data 131 in the abnormal state will be learned in the learning stage.
  • the example shown in FIG. 11 shows a state in which each feature amount vector (each feature amount vector included in the vector group VG11) corresponding to the learning data 131 in the normal state is distributed in the feature space. Further, in the example shown in FIG. 11, each feature amount vector (each feature amount vector included in each of the vector group VG12 and the vector group VG13) corresponding to the learning data 131 in the abnormal state is distributed in the feature space. Is shown. Then, in the example shown in FIG. 11, each feature amount vector included in the vector group V13 is distributed closer to each feature amount vector included in the vector group V11 than each feature amount vector included in the vector group V12. Has been done.
  • the determination result in which the input is received from the user in the processing of S4 determines that the determination target data 132 corresponding to the feature amount vector included in the vector group VG13 corresponds to the feature amount vector included in the vector group VG12.
  • the information processing apparatus 1 indicates that each feature quantity vector included in the vector group V11 and each feature quantity vector included in the vector group V13, as shown in FIG. Generate an adjuster that performs coordinate conversion so that the distance between the two is larger than the distance between each feature vector included in the vector group V11 and each feature vector included in the vector group V12.
  • the user can use the adjuster, for example, as shown in FIG. 13, without labeling each of the feature quantity vectors included in the vector group VG12 and the vector group VG13, and the vector group VG12. It is possible to generate a determination model that detects the determination target data 132 corresponding to the feature amount vector included in the vector group VG13 as an abnormality rather than the determination target data 132 corresponding to the feature amount vector included in.
  • FIGS. 18 to 20 are diagrams for explaining the details of the learning process in the first embodiment.
  • FIG. 14 is a flowchart illustrating the learning data storage process according to the first embodiment.
  • the data receiving unit 111 of the information processing device 1 waits until, for example, receives the learning data 131 (learning data 131 included in the learning data set) from the user terminal 2 (NO in S21).
  • FIG. 15 is a flowchart illustrating the model generation process according to the first embodiment.
  • the model generation unit 113 of the information processing device 1 waits until the model generation timing is reached (NO in S31).
  • the model generation timing may be, for example, the timing at which the user inputs information to the effect that the generation of the determination model is started via the user terminal 2.
  • the model generation unit 113 corresponds to each of a part of the learning data 131 stored in the information storage area 130 (hereinafter, referred to as the first learning data 131a).
  • the feature amount to be used is specified (S32).
  • the first learning data 131a may be, for example, learning data 131 determined by the user to be in a normal state.
  • the model generation unit 113 After that, the model generation unit 113 generates a determination model by using each of the feature quantities specified in the process of S32 (S33).
  • the deviation degree calculation unit 114 of the information processing device 1 uses the determination model generated in the process of S33 to use a part of the learning data 131 stored in the information storage area 130 (hereinafter, the second learning data 131b).
  • the degree of deviation of the feature amount corresponding to each of (called) is calculated (S24).
  • the second learning data 131b may be, for example, learning data 131 different from the first learning data 131a, and may be learning data 131 determined to be in an abnormal state by the user.
  • the second learning data 131b is, for example, learning data 131 different from the first learning data 131a, and the learning data 131 determined to be in an abnormal state by the user and the learning data 131 determined to be in a normal state. It may include both of.
  • the deviation degree calculation unit 114 calculates the deviation degree of the feature amount corresponding to each of the second learning data 131b from the value output from the determination model in response to inputting each of the second learning data 131b. calculate. That is, the deviation degree calculation unit 114 calculates, for each second learning data 131b, a value indicating the deviation state of the feature amount vector with respect to the other second learning data 131b in the feature space as the deviation degree.
  • the degree of deviation of the feature amount corresponding to each learning data 131 will be described.
  • FIG. 18 is a diagram illustrating a specific example of the degree of deviation of the feature amount corresponding to each learning data 131.
  • the horizontal axis corresponds to the time
  • the vertical axis corresponds to the degree of deviation of the feature amount of the learning data 131 (learning data 131 acquired at each time) corresponding to each time.
  • the time series data for each minute corresponds to each of the learning data 131.
  • the learning data 131 having a degree of deviation of 0 indicates that the data is in a normal state.
  • the learning data 131 having a degree of deviation of not 0 indicates that the data is in an abnormal state.
  • the information output unit 115 of the information processing device 1 selects and outputs one or more second learning data 131b in descending order of the degree of deviation calculated in the process of S34 (S35). Specifically, the information output unit 115 outputs, for example, one or more second learning data 131b itself to the user terminal 2. Further, the information output unit 115 outputs, for example, related data indicating at least a part of the contents of one or more second learning data 131b to the user terminal 2.
  • S35 a specific example of the processing of S35 will be described.
  • FIG. 19 is a specific example for explaining a specific example of the processing of S35.
  • the graph shown in FIG. 19 shows that the data sets DG1, DG2, and DG3 exist as a set of learning data 131 in which the degree of deviation of the feature amount is not 0.
  • the information output unit 115 selects and outputs, for example, the data set DG3 having the largest average value of the deviation degree at each time among the data sets DG1, DG2, and DG3.
  • the input receiving unit 116 of the information processing device 1 waits until the input of the determination result by the user for one or more second learning data 131b output by the information output unit 115 is received (NO in S41).
  • each of the one or more second learning data 131b output by the information output unit 115 is in an abnormal state and has a high priority, the first data and the abnormal state. It accepts input of a determination result indicating which of the second data, which is data and has a low priority, and the third data, which is in a normal state, corresponds to.
  • the user when the user detects the existence of the second learning data 131b corresponding to the new abnormality, the user may determine the second learning data 131b as the first data. Further, in this case, the user may input a score indicating the degree of abnormality and the priority for each of the one or more second learning data 131b output by the information output unit 115.
  • the feature amount adjusting unit 117 of the information processing apparatus 1 receives the determination result for one or more second learning data 131b. Determines whether or not satisfies a predetermined condition (S42).
  • the feature amount adjusting unit 117 determines whether or not the number or ratio of the second learning data 131b determined as the first data among the one or more second learning data 131b is equal to or more than the threshold value. Make a judgment.
  • the feature amount adjusting unit 117 uses the determination result received in the process of S31.
  • the adjustment standard for adjusting the feature amount of the learning data 131 (first learning data 131a and second learning data 131b) stored in the information storage area 130 is determined (S43).
  • the feature amount adjusting unit 117 performs distance learning on the learning data 131 stored in the information storage area 130 by using, for example, the determination result received in the process of S31. Then, the feature amount adjusting unit 117 determines the adjustment standard so that each feature amount of the learning data 131 stored in the information storage area 130 follows the learning result of the distance learning.
  • the processing of S43 will be described.
  • the feature amount adjusting unit 117 performs distance learning so that the distance between each of the first and second data and the third data becomes large, for example. Further, the feature amount adjusting unit 117 performs distance learning so that the distance between the first data and the third data is larger than the distance between the second data and the third data, for example. Further, the feature amount adjusting unit 117 performs distance learning so that the distance between different third data becomes small, for example.
  • the feature amount adjusting unit 117 performs distance learning by solving the optimization problems shown in the following equations (1) to (4), for example.
  • the above equation (1) is an equation showing that the distance between each of the first and second data and the third data is increased
  • the equation (2) is an equation showing that the distance between different third data is decreased. It is an equation showing that (the distance between different third data is set to be equal to or less than the threshold value), and the equation (3) sets the distance between the first data and the third data as the distance between the second data and the third data. It is an equation showing that it is made larger than, and the equation (4) is an equation showing that the matrix M is a semi-regular value matrix.
  • X i indicates the i-th learning data 131
  • X j indicates the j-th learning data 131
  • N is the th of the learning data 131.
  • 3 Indicates a set of data
  • a + indicates a set of the first data of the training data 131
  • a ⁇ indicates a set of the second data of the training data 131
  • M corresponds to the adjustment criterion.
  • the matrix M to be used is shown.
  • the feature amount adjusting unit 117 decomposes the matrix M, which is the optimum solution of the optimization problem shown in the equations (1) to (4), as shown in the following equation (5).
  • the feature amount adjusting unit 117 performs coordinate conversion of the feature amount vector corresponding to each of the learning data 131 in the feature amount space by following the following equation (6).
  • the feature amount adjusting unit 117 performs coordinate conversion of the feature amount vector corresponding to each of the learning data 131 described in FIG. 19, for example.
  • the feature amount adjusting unit 117 can suppress the degree of deviation of the feature amount corresponding to each of the second learning data 131b.
  • the deviation degree calculation unit 114 uses the determination model generated in the process of S33 and the adjustment reference determined in the process of S43 in each of the second learning data 131b stored in the information storage area 130. The degree of deviation of the corresponding feature amount is calculated (S44).
  • the information output unit 115 selects and outputs one or more second learning data 131b in descending order of the degree of deviation calculated in the process of S44 (S45). After that, the input receiving unit 116 performs the processing after S41.
  • the information processing apparatus 1 ends the learning process.
  • FIG. 17 is a flowchart illustrating the inference process according to the first embodiment.
  • the data receiving unit 111 waits until, for example, the user inputs the determination target data 132 via the user terminal 2 (NO in S51).
  • the data determination unit 118 of the information processing apparatus 1 uses the determination model generated in the process of S33 and the adjustment reference determined in the process of S43. , The determination target data 132 input in the process of S51 is determined (S52).
  • the determination model adjusts the feature amount extracted from the determination target data 132 input in the process of S51 by using the adjustment standard determined in the process of S43. That is, in this case, the determination model performs coordinate conversion by using the adjustment reference (matrix) determined in the process of S43 for the feature amount vector corresponding to the determination target data 132 in the feature space. Then, the determination model determines whether or not the determination target data 132 input in the process of S51 is the data in the abnormal state by using the adjusted feature amount.
  • the feature amount extracted from the determination target data 132 input in the processing of S51 is adjusted by the processing of S43. Adjust by using all of the criteria.
  • the information output unit 115 outputs the determination result for the determination target data 132 input in the process of S51 (S53).
  • the information processing apparatus 1 in the present embodiment learns using the determination model generated by learning using a plurality of unlabeled learning data 131 (learning data sets).
  • the degree of deviation of the feature amount in the training data set for each of the training data 131 included in the data set is calculated.
  • the information processing apparatus 1 selects related data related to the data of one or more training data 131 included in the training data set or the data of one or more training data 131 included in the training data set based on the degree of deviation. Output. After that, the information processing device 1 accepts the input of the determination result by the user for the output one or more learning data 131. Subsequently, the information processing apparatus 1 determines an adjustment standard for adjusting each feature amount of the learning data 131 included in the learning data set based on the received determination result.
  • the information processing device 1 adjusts the feature amount of the determination target data according to the adjustment standard, and then determines the determination target data 132.
  • the information processing device 1 in the present embodiment accepts and accepts the input of only the determination result corresponding to a part of the learning data 131 included in the learning data set from the user. By using the determination result, the feature amounts of all the training data 131 included in the training data set are adjusted. Specifically, the information processing device 1 generates an adjustment reference (adjuster) for performing coordinate conversion of the feature amount vector of each learning data 131 in the feature space as one of the functions constituting the determination model.
  • an adjustment reference adjuster
  • the information processing device 1 determines whether or not the determination target data 132 is data in an abnormal state by using a determination model including an adjuster.
  • the information processing device 1 can generate a determination model that can detect even the data of the abnormal state implicitly desired by the user while suppressing the work man-hours of the user associated with labeling.
  • the information processing apparatus 1 in the present embodiment generates the regulator as described above, it is not necessary to regenerate the generated determination model.
  • the user can suppress not only the work man-hours required for labeling the learning data 131 but also the work man-hours required for regenerating the determination model.
  • Information processing device 2 User terminal 130: Information storage area 131: Learning data NW: Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、学習データセットに含まれるデータのそれぞれについての学習データセットにおける特徴量の外れ度を算出し、外れ度に基づいて、学習データセットに含まれる１以上のデータまたは１以上のデータに関連する関連データを選択して出力し、１以上のデータに対するユーザによる判定結果の入力を受け付け、受け付けた判定結果に基づいて、学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定し、判定モデルによる判定対象のデータの判定が行われる際に、判定対象のデータの特徴量は、調整基準に基づいて調整される。

Description

学習処理プログラム、情報処理装置及び学習処理方法
　本発明は、学習処理プログラム、情報処理装置及び学習処理方法に関する。
　近年、機械学習によって生成された判定モデルを用いた異常検知（以下、単に異常検知とも呼ぶ）が行われている。このような異常検知は、例えば、自動車のセンサデータに基づく悪路検出や、工場における製品の外観検査等の分野において用いられている。
　具体的に、上記のような判定モデルでは、例えば、異常判定の対象となるデータ（以下、判定対象データとも呼ぶ）のそれぞれの特徴量ベクトルを特徴空間に分布し、判定対象データのうち、正常状態のデータに対応する特徴量ベクトルからの距離の大きいデータを特定する。そして、異常検知では、特定した判定対象データのそれぞれを異常状態にあるデータとして検出してユーザに提示する（例えば、非特許文献１参照）。
https://en.wikipedia.org/wiki/Unsupervised_learning
　ここで、上記のような判定モデルの生成が行われる場合、ユーザは、手作業による学習データのラベル付けを行う場合がある。そのため、ラベル付けを行う必要がある学習データの数によっては、ラベル付けに伴うユーザによる作業工数が膨大になる場合がある。
　また、上記のような判定モデルは、例えば、特徴空間における特徴量ベクトルの距離を用いることによって各データの状態を判定する。そのため、上記のような判定モデルでは、ユーザが暗黙に所望する異常状態のデータ等を必ずしも検出することができない可能性がある。
　そこで、ユーザは、判定モデルの学習段階において、例えば、学習データにフィードバックを与える能動学習を行う。具体的に、ユーザは、例えば、異常状態にあるデータとして判定モデルから出力されたデータの一部について、異常状態にあるデータであるか否かのラベル付けを行い、さらに、ラベル付けされたデータを用いることによる教師あり学習を行う。
　これにより、ユーザは、例えば、ラベル付けの過程においてユーザが暗黙に所望していた異常状態の存在に気が付くことが可能になり、ユーザが暗黙に所望していた異常状態のデータについても検出可能な判定モデルを生成することが可能になる。また、ユーザは、ラベル付けに伴う作業工数を抑制することが可能になる。
　しかしながら、上記のような能動学習を行う場合、ユーザは、検知する必要があるデータの異常状態を予め網羅的に把握している必要がある。そのため、例えば、ユーザがデータの異常状態について十分に把握していない場合、上記のような能動学習を行うことができない。
　さらに、例えば、学習段階における作成者の設計等が適切でなかった等の理由によって判定モデルの再生成が必要となった場合、ラベル付けを含む作業を再度行う必要が生じ、ユーザによる作業工数がより膨大になる場合がある。
　そこで、一つの側面では、本発明は、判定モデルの改善を容易に行うことを可能とする学習処理プログラム、情報処理装置及び学習処理方法を提供することを目的とする。
　実施の形態の一態様では、ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、前記学習データセットに含まれるデータのそれぞれについての前記学習データセットにおける特徴量の外れ度を算出し、前記外れ度に基づいて、前記学習データセットに含まれる１以上のデータまたは前記１以上のデータに関連する関連データを選択して出力し、前記１以上のデータに対するユーザによる判定結果の入力を受け付け、受け付けた前記判定結果に基づいて、前記学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定する、処理をコンピュータに実行させ、前記判定モデルによる判定対象のデータの判定が行われる際に、判定対象のデータの特徴量は、前記調整基準に基づいて調整される。
　一つの側面によれば、判定モデルの改善を容易に行うことを可能とする。
図１は、情報処理システム１０の構成について説明する図である。 図２は、判定モデルの学習段階における処理の具体例について説明する図である。 図３は、判定モデルによる異常検知の具体例について説明する図である。 図４は、判定モデルによる異常検知の具体例について説明する図である。 図５は、判定モデルの学習段階における処理の具体例について説明する図である。 図６は、情報処理装置１のハードウエア構成を説明する図である。 図７は、情報処理装置１の機能のブロック図である。 図８は、第１の実施の形態における学習処理の概略を説明するフローチャート図である。 図９は、第１の実施の形態における推論処理の概略を説明するフローチャート図である。 図１０は、第１の実施の形態における学習処理の概略を説明する図である。 図１１は、調整器による特徴量ベクトルの座標変換の具体例について説明する図である。 図１２は、調整器による特徴量ベクトルの座標変換の具体例について説明する図である。 図１３は、調整器による特徴量ベクトルの座標変換の具体例について説明する図である。 図１４は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。 図１５は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。 図１６は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。 図１７は、第１の実施の形態における推論処理の詳細を説明するフローチャート図である。 図１８は、第１の実施の形態における学習処理の詳細を説明する図である。 図１９は、第１の実施の形態における学習処理の詳細を説明する図である。 図２０は、第１の実施の形態における学習処理の詳細を説明する図である。
　［情報処理システムの構成］
　初めに、情報処理システム１０の構成について説明を行う。図１は、情報処理システム１０の構成について説明する図である。
　情報処理システム１０は、図１に示すように、情報処理装置１と、ユーザが情報の入力等を行うユーザ端末２とを有する。ユーザ端末２は、例えば、ユーザが使用するＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であり、情報処理装置１のインターネット網等のネットワークＮＷを介して接続している。
　具体的に、ユーザ端末２は、例えば、異常検知を行うための判定モデル（図示しない）を生成するために用いられる学習データ１３１の入力を受け付ける。そして、ユーザ端末２は、学習データ１３１の入力を受け付けた場合、その学習データ１３１を情報処理装置１に送信する。
　なお、学習データ１３１のそれぞれは、例えば、自動車に搭載されたカメラによって撮像された動画データに含まれる画像データのそれぞれであってよい。また、学習データ１３１のそれぞれは、例えば、自動車に搭載されたカメラによって撮像された動画データの変化を示す時系列データ（所定のウインドウサイズごとに切り出された動画データに対応する時系列データ）のそれぞれであってよい。
　情報処理装置１は、ユーザ端末２から送信された学習データ１３１を受け付けた場合、例えば、受け付けた学習データ１３１を情報格納領域１３０に記憶する。そして、情報処理装置１は、学習段階において、情報格納領域１３０に記憶した学習データ１３１の学習を行うことにより、データの異常検知を行うための判定モデルの生成を行う。
　その後、例えば、推論段階において、ユーザ端末２を介して判定対象データ（異常状態にあるか否かが未知であるデータ）が入力された場合、情報処理装置１は、その判定対象データを判定モデルに入力する。そして、情報処理装置１は、判定対象データの入力に伴って判定モデルから出力された値を、判定対象データが異常状態にあるデータであるか否かを示す情報として出力する。
　［判定モデルの学習段階における処理の具体例］
　次に、判定モデルの学習段階における処理の具体例について説明を行う。図２は、判定モデルの学習段階における処理の具体例について説明する図である。
　ユーザは、上記のような判定モデルの生成を行う場合、図２に示すように、学習データ１３１の収集を行った後（Ｓ１０１）、手作業による学習データ１３１のラベル付けを行う（Ｓ１０２）。そして、ユーザは、学習方法の選択を行った後（Ｓ１０３）、ラベル付けを行った学習データ１３１を用いることによって判定モデルの生成を行う（Ｓ１０４）。その後、ユーザは、例えば、判定精度等が基準を満たしていることの確認を行う（Ｓ１０５）。
　そのため、ラベル付けを行う必要がある学習データ１３１の数によっては、ラベル付けに伴うユーザによる作業工数が膨大になる場合がある。
　また、上記のような判定モデルは、推論段階において、例えば、特徴空間における特徴量ベクトルの距離を用いることによって各判定対象データの状態を判定する。そのため、上記のような判定モデルでは、ユーザが暗黙に所望する異常状態にある判定対象データを必ずしも検出することができない可能性がある。以下、判定モデルによる異常検知の具体例について説明を行う。
　［判定モデルによる異常検知の具体例］
　図３及び図４は、判定モデルによる異常検知の具体例について説明する図である。なお、以下、外部から受信した複数のメールからスパムメールの検知を行う判定モデルを用いる場合について説明を行う。
　図３に示す例は、学習段階において学習した学習データ１３１に対応する各特徴量ベクトル（ベクトル群ＶＧ１、ベクトル群ＶＧ２及びベクトル群ＶＧ３に含まれる各特徴量ベクトル）が特徴空間に分布されている状態を示している。
　具体的に、ベクトル群ＶＧ２に含まれる各特徴量ベクトルに対応するメールは、例えば、自然文からかけ離れた表現によって記述されたメールであり、ベクトル群ＶＧ３に含まれる各特徴量ベクトルに対応するメールは、例えば、自然文によって記述されたメールである。そのため、判定モデルは、この場合、図３に示すように、ベクトル群ＶＧ２に含まれる各特徴量ベクトルを、ベクトル群ＶＧ１に含まれる各特徴量ベクトル（正常メールに対応する各特徴量ベクトル）から遠い位置に分布し、ベクトル群ＶＧ３に含まれる各特徴量ベクトルを、正常メールに対応する各特徴量ベクトルから近い位置に分布する。
　しかしながら、上記のような学習が行われた場合、判定モデルは、図４に示すように、例えば、自然文に似せた表現によって記述されたスパムメールを、異常状態にあるメールとして検知することができない可能性がある。また、判定モデルは、この場合、例えば、自然文からかけ離れた表現によって記述された正常メールを、異常状態にあるメールとして検知する可能性がある。すなわち、上記のように学習が行われた判定モデルでは、ユーザが暗黙に所望する異常状態にある判定対象データを必ずしも検出することができない可能性がある。
　そこで、ユーザは、例えば、学習段階（判定モデルの検証段階）において、学習データ１３１にフィードバックを与える能動学習を行う。具体的に、ユーザは、例えば、判定モデルに対して入力された学習データ１３１のうち、異常状態にあると判定された学習データ１３１について、異常状態にあるデータであるか否かのラベル付けを人手によって行う。そして、ユーザは、ラベル付けされた学習データ１３１を用いることによる教師あり学習を行う。
　これにより、ユーザは、例えば、ラベル付けの過程においてユーザが暗黙に所望していた異常状態の存在に気が付くことが可能になり、ユーザが暗黙に所望していた異常状態のデータについても検出可能な判定モデルを生成することが可能になる。
　しかしながら、上記のような能動学習を行う場合、ユーザは、検知する必要があるデータの異常状態を予め網羅的に把握している必要がある。そのため、例えば、ユーザがデータの異常状態について十分に把握していない場合、上記のような能動学習を行うことができない。また、異常状態にあるデータが正常状態にあるデータであると判定モデルによって判定された場合、ユーザは、このようなデータの検知を行うことができない。
　さらに、学習段階における作成者の設計等が適切でなかった等の理由によって判定モデルの判定精度等が基準を満たしていない場合、ユーザは、図５に示すように、判定モデルの再生成を行う必要性からラベル付けを含む各作業を再度行う必要が生じ、ユーザによる作業工数がより膨大になる場合がある（Ｓ１０６のＮＯ、Ｓ１０２等）。
　そこで、本実施の形態における情報処理装置１は、学習段階において、ラベルが付与されていない複数の学習データ１３１（以下、学習データセットとも呼ぶ）を用いた学習により生成された判定モデルを用いて、学習データセットに含まれる学習データ１３１のそれぞれについての学習データセットにおける特徴量の外れ度を算出する。
　そして、情報処理装置１は、外れ度に基づいて、学習データセットに含まれる１以上の学習データ１３１または学習データセットに含まれる１以上の学習データ１３１のデータに関連する関連データを選択して出力する。その後、情報処理装置１は、出力した１以上の学習データ１３１に対するユーザによる判定結果の入力を受け付ける。続いて、情報処理装置１は、受け付けた判定結果に基づいて、学習データセットに含まれる学習データ１３１のそれぞれの特徴量を調整する調整基準を決定する。
　その後、情報処理装置１は、推論段階において、判定対象データの特徴量を調整基準によって調整してから判定対象データについての判定を行う。
　すなわち、情報処理装置１は、例えば、学習データセットに含まれる一部の学習データ１３１に対応する判定結果のみの入力をユーザから受け付け、受け付けた判定結果を用いることによって、学習データセットに含まれる全ての学習データ１３１の特徴量の調整を行う調整基準を決定する。具体的に、情報処理装置１は、例えば、判定結果に基づいて、特徴空間における各学習データ１３１の特徴量ベクトルの座標変換を行う行列を調整基準として決定する。
　これにより、情報処理装置１は、ラベル付けに伴うユーザの作業工数を抑制することが可能になり、また、ユーザが暗黙に所望していた異常状態のデータを検出可能な判定モデルを生成することが可能になる。
　［情報処理システムのハードウエア構成］
　次に、情報処理システム１０のハードウエア構成について説明する。図６は、情報処理装置１のハードウエア構成を説明する図である。
　情報処理装置１は、図６に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、外部インターフェース（Ｉ／Ｏユニット）１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。
　記憶媒体１０４は、例えば、判定モデルの生成及び調整を行う処理（以下、単に学習処理とも呼ぶ）を行うためのプログラム１１０を記憶するプログラム格納領域（図示しない）を有する。また、記憶媒体１０４は、例えば、学習処理を行う際に用いられる情報を記憶する情報格納領域１３０を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）であってよい。
　ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０を実行して学習処理を行う。
　外部インターフェース１０３は、例えば、ネットワークＮＷを介することによってユーザ端末２と通信を行う。
　［情報処理システムの機能］
　次に、情報処理システム１０の機能について説明を行う。図７は、情報処理装置１の機能のブロック図である。
　情報処理装置１は、図７に示すように、情報処理装置１のＣＰＵ１０１やメモリ１０２等のハードウエアとプログラム１１０とが有機的に協働することにより、データ受信部１１１と、データ管理部１１２と、モデル生成部１１３と、外れ度算出部１１４と、情報出力部１１５と、入力受付部１１６と、特徴量調整部１１７と、データ判定部１１８とを含む各種機能を実現する。
　また、情報処理装置１は、図７に示すように、学習データ１３１と、判定対象データ１３２とを情報格納領域１３０に記憶する。
　初めに、学習段階における機能について説明を行う。
　データ受信部１１１は、例えば、複数の学習データ１３１を含む学習データセットをユーザ端末２から受信する。具体的に、データ受信部１１１は、例えば、ラベルが付加されていない複数の学習データ１３１からなる学習データセットを受信する。そして、データ管理部１１２は、データ受信部１１１が受信した学習データセットを情報格納領域１３０に記憶する。
　モデル生成部１１３は、情報格納領域１３０に記憶された学習データセットに含まれる複数の学習データ１３１を用いることによって判定モデルを生成する。
　外れ度算出部１１４は、モデル生成部１１３が生成した判定モデルを用いることによって、情報格納領域１３０に記憶された学習データセットに含まれる学習データ１３１のそれぞれについての学習データセットにおける特徴量の外れ度を算出する。
　情報出力部１１５は、外れ度算出部１１４が算出した外れ度に基づいて、学習データセットに含まれる１以上の学習データ１３１を選択する。具体的に、情報出力部１１５は、例えば、外れ度算出部１１４が算出した外れ度が高い方から順に１以上の学習データ１３１の選択を行う。そして、情報出力部１１５は、例えば、選択した１以上の学習データ１３１をユーザ端末２に出力する。
　入力受付部１１６は、情報出力部１１５が出力した１以上のデータに対するユーザによる判定結果の入力を受け付ける。具体的に、入力受付部１１６は、例えば、ユーザ端末２を介してユーザが入力した判定結果を受け付ける。
　さらに具体的に、入力受付部１１６は、例えば、情報出力部１１５が出力した１以上のデータのそれぞれが、異常状態にあるデータであって優先度が高いデータ（以下、第１データとも呼ぶ）と、異常状態にあるデータであって優先度が低いデータ（以下、第２データとも呼ぶ）と、正常状態にあるデータ（以下、第３データとも呼ぶ）とのうちのいずれであるかを示す判定結果の入力を受け付ける。
　特徴量調整部１１７は、入力受付部１１６が受け付けた判定結果に基づいて、情報格納領域１３０に記憶された学習データセットに含まれる学習データ１３１のそれぞれの特徴量を調整する調整基準を決定する。具体的に、特徴量調整部１１７は、情報格納領域１３０に記憶された学習データに含まれる学習データ１３１のそれぞれに対応する特徴量ベクトルを特徴空間に分布した場合において、その特徴空間における各学習データ１３１の特徴量ベクトルの座標変換を行う行列を調整基準として決定する。
　さらに具体的に、特徴量調整部１１７は、例えば、入力受付部１１６が受け付けた判定結果が第１データであることを示す学習データ１３１のそれぞれに対応する外れ度が小さくなるように、学習データセットに含まれる学習データ１３１のそれぞれの特徴量を調整する調整基準を決定する。
　次に、推論段階における機能について説明を行う。
　データ受信部１１１は、例えば、判定モデルによる判定を行う判定対象データ１３２をユーザ端末２から受信する。そして、データ管理部１１２は、例えば、データ受信部１１１が受信した判定対象データ１３２を情報格納領域１３０に記憶する。
　データ判定部１１８は、モデル生成部１１３が生成した判定モデルに対して、データ受信部１１１が受信した判定対象データ１３２を入力する。この場合、判定モデルは、データ受信部１１１が受信した判定対象データ１３２から抽出した特徴量を、特徴量調整部１１７が決定した調整基準を用いることによって調整する。そして、判定モデルは、調整した特徴量を用いることによって、データ受信部１１１が受信した判定対象データ１３２についての判定を行う。具体的に、判定モデルは、例えば、データ受信部１１１が受信した判定対象データ１３２が異常状態にあるデータであるか否かについての判定を行う。
　情報出力部１１５は、例えば、データ判定部１１８によって行われた判定結果（例えば、判定対象データ１３２が異常状態にあるデータであるか否かについての判定結果）をユーザ端末２に出力する。
　［第１の実施の形態の概略］
　次に、第１の実施の形態の概略について説明する。図８は、第１の実施の形態における学習処理の概略を説明するフローチャート図である。また、図９は、第１の実施の形態における推論処理の概略を説明するフローチャート図である。さらに、図１０は、第１の実施の形態における学習処理の概略を説明する図である。
　初めに、第１の実施の形態における学習処理の概略について説明を行う。
　情報処理装置１は、図８に示すように、例えば、モデル学習タイミングになるまで待機する（Ｓ１のＮＯ）。モデル学習タイミングは、例えば、ユーザがユーザ端末２を介して判定モデルの学習を行う旨の情報を入力したタイミングであってよい。
　そして、モデル学習タイミングになった場合（Ｓ１のＹＥＳ）、情報処理装置１は、ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、学習データセットに含まれる学習データ１３１のそれぞれについての学習データセットにおける特徴量の外れ度を算出する（Ｓ２）。
　続いて、情報処理装置１は、Ｓ２の処理で算出した外れ度に基づいて、学習データセットに含まれる１以上のデータを選択して出力する（Ｓ３）。
　その後、情報処理装置１は、Ｓ３の処理で出力した１以上のデータに対するユーザによる判定結果の入力を受け付けるまで待機する（Ｓ４のＮＯ）。
　そして、Ｓ３の処理で出力した１以上のデータに対するユーザによる判定結果の入力を受け付けた場合（Ｓ４のＹＥＳ）、情報処理装置１は、受け付けた判定結果に基づいて、学習データセットに含まれる学習データ１３１のそれぞれの特徴量を調整する調整基準を決定する（Ｓ５）。
　次に、第１の実施の形態における推論処理の概略について説明を行う。
　情報処理装置１は、図９に示すように、例えば、ユーザがユーザ端末２を介して判定対象データ１３２を入力するまで待機する（Ｓ１１のＮＯ）。
　そして、判定対象データ１３２が入力された場合（Ｓ１１のＹＥＳ）、情報処理装置１は、判定モデルとＳ５の処理で決定した調整基準とを用いることによって、Ｓ１１の処理で入力された判定対象データ１３２についての判定を行う（Ｓ１２）。
　その後、情報処理装置１は、Ｓ１１の処理で入力された判定対象データ１３２についての判定結果を出力する（Ｓ１３）。
　すなわち、本実施の形態における情報処理装置１は、学習段階（判定モデルの検証段階）において、学習データセットに含まれる一部の学習データ１３１に対応する判定結果のみの入力をユーザから受け付け、受け付けた判定結果を用いることによって、学習データセットに含まれる全ての学習データ１３１の特徴量の調整を行う。具体的に、情報処理装置１は、図１０に示すように、特徴空間における各学習データ１３１の特徴量ベクトルの座標変換を行う調整器を、判定モデルを構成する機能の一つとして生成する（Ｓ１０８）。
　そして、情報処理装置１は、推論段階において、調整器を含む判定モデルを用いることによって、判定対象データ１３２が異常状態にあるデータであるか否かについての判定を行う。
　これにより、情報処理装置１は、ラベル付けに伴うユーザの作業工数を抑制しながら、ユーザが暗黙に所望していた異常状態のデータについても検出可能な判定モデルを生成することが可能になる。
　また、本実施の形態における情報処理装置１は、上記のように調整器の生成を行う場合、生成済の判定モデルの再生成を要しない。
　これにより、ユーザは、学習データ１３１のラベル付けに要する作業工数に加え、判定モデルの再生成に要する作業工数についても抑制することが可能になる。以下、調整器による特徴量ベクトルの座標変換の具体例について説明を行う。
　［調整器による特徴量ベクトルの座標変換の具体例］
　図１１から図１３は、調整器による特徴量ベクトルの座標変換の具体例について説明する図である。以下、学習段階において正常状態にある学習データ１３１と異常状態にある学習データ１３１との両方を学習するものとして説明を行う。
　図１１に示す例は、正常状態にある学習データ１３１に対応する各特徴量ベクトル（ベクトル群ＶＧ１１に含まれる各特徴量ベクトル）が特徴空間に分布されている状態を示している。また、図１１に示す例は、異常状態にある学習データ１３１に対応する各特徴量ベクトル（ベクトル群ＶＧ１２及びベクトル群ＶＧ１３のそれぞれに含まれる各特徴量ベクトル）が特徴空間に分布されている状態を示している。そして、図１１に示す例では、ベクトル群Ｖ１２に含まれる各特徴量ベクトルよりもベクトル群Ｖ１３に含まれる各特徴量ベクトルの方が、ベクトル群Ｖ１１に含まれる各特徴量ベクトルから近い位置に分布されている。
　ここで、例えば、Ｓ４の処理でユーザから入力を受け付けた判定結果が、ベクトル群ＶＧ１３に含まれる特徴量ベクトルに対応する判定対象データ１３２を、ベクトル群ＶＧ１２に含まれる特徴量ベクトルに対応する判定対象データ１３２よりも異常として検知したい旨を示している場合、情報処理装置１は、図１２に示すように、ベクトル群Ｖ１１に含まれる各特徴量ベクトルとベクトル群Ｖ１３に含まれる各特徴量ベクトルとの間の距離を、ベクトル群Ｖ１１に含まれる各特徴量ベクトルとベクトル群Ｖ１２に含まれる各特徴量ベクトルとの間の距離よりも遠くするための座標変換を行う調整器を生成する。
　これにより、ユーザは、調整器を用いることで、例えば、図１３に示すように、ベクトル群ＶＧ１２及びベクトル群ＶＧ１３に含まれる特徴量ベクトルのそれぞれに対してラベル付けを行うことなく、ベクトル群ＶＧ１２に含まれる特徴量ベクトルに対応する判定対象データ１３２よりも、ベクトル群ＶＧ１３に含まれる特徴量ベクトルに対応する判定対象データ１３２を異常として検知する判定モデルの生成を行うことが可能になる。
　［第１の実施の形態の詳細］
　次に、第１の実施の形態の詳細について説明する。図１４から図１６は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。また、図１７は、第１の実施の形態における推論処理の詳細を説明するフローチャート図である。さらに、図１８から図２０は、第１の実施の形態における学習処理の詳細を説明する図である。
　［学習データ記憶処理］
　初めに、第１の実施の形態における学習処理のうち、学習データ１３１の記憶を行う処理（以下、学習データ記憶処理とも呼ぶ）について説明を行う。図１４は、第１の実施の形態における学習データ記憶処理について説明するフローチャート図である。
　情報処理装置１のデータ受信部１１１は、例えば、学習データ１３１（学習データセットに含まれる学習データ１３１）をユーザ端末２から受信するまで待機する（Ｓ２１のＮＯ）。
　そして、例えば、複数の学習データ１３１を含む学習データセットを受信した場合（Ｓ２１のＹＥＳ）、情報処理装置１のデータ管理部１１２は、Ｓ２１の処理で受信した学習データ１３１を情報格納領域１３０に記憶する（Ｓ２２）。
　［モデル生成処理］
　次に、第１の実施の形態における学習処理のうち、判定モデルの生成を行う処理（以下、モデル生成処理とも呼ぶ）について説明を行う。図１５は、第１の実施の形態におけるモデル生成処理について説明するフローチャート図である。
　情報処理装置１のモデル生成部１１３は、図１５に示すように、モデル生成タイミングになるまで待機する（Ｓ３１のＮＯ）。モデル生成タイミングは、例えば、ユーザがユーザ端末２を介して判定モデルの生成を開始する旨の情報を入力したタイミングであってよい。
　そして、モデル生成タイミングになった場合（Ｓ３１のＹＥＳ）、モデル生成部１１３は、情報格納領域１３０に記憶された学習データ１３１の一部（以下、第１学習データ１３１ａと呼ぶ）のそれぞれに対応する特徴量を特定する（Ｓ３２）。第１学習データ１３１ａは、例えば、ユーザによって正常状態にあると判定された学習データ１３１であってよい。
　その後、モデル生成部１１３は、Ｓ３２の処理で特定した特徴量のそれぞれを用いることによって、判定モデルを生成する（Ｓ３３）。
　次に、情報処理装置１の外れ度算出部１１４は、Ｓ３３の処理で生成した判定モデルを用いて、情報格納領域１３０に記憶された学習データ１３１の一部（以下、第２学習データ１３１ｂと呼ぶ）のそれぞれに対応する特徴量の外れ度を算出する（Ｓ２４）。第２学習データ１３１ｂは、例えば、第１学習データ１３１ａと異なる学習データ１３１であって、ユーザによって異常状態にあると判定された学習データ１３１であってよい。また、第２学習データ１３１ｂは、例えば、第１学習データ１３１ａと異なる学習データ１３１であって、ユーザによって異常状態にあると判定された学習データ１３１と正常状態にあると判定された学習データ１３１との両方を含むものであってよい。
　具体的に、外れ度算出部１１４は、第２学習データ１３１ｂのそれぞれを入力することに応じて判定モデルから出力された値から、第２学習データ１３１ｂのそれぞれに対応する特徴量の外れ度を算出する。すなわち、外れ度算出部１１４は、第２学習データ１３１ｂごとに、特徴空間における他の第２学習データ１３１ｂに対する特徴量ベクトルの乖離状態を示す値を外れ度として算出する。以下、各学習データ１３１に対応する特徴量の外れ度の具体例について説明を行う。
　［各学習データに対応する特徴量の外れ度の具体例］
　図１８は、各学習データ１３１に対応する特徴量の外れ度の具体例を説明する図である。図１８に示すグラフでは、横軸が時刻に対応し、縦軸が各時刻に対応する学習データ１３１（各時刻に取得された学習データ１３１）の特徴量の外れ度に対応する。なお、図１８に示す例では、例えば、１分毎の時系列データが学習データ１３１のそれぞれに対応する。
　具体的に、図１８に示す例において、例えば、外れ度が０である学習データ１３１は、正常状態にあるデータであることを示している。これに対し、例えば、外れ度が０でない学習データ１３１は、異常状態にあるデータであることを示している。
　図１５に戻り、情報処理装置１の情報出力部１１５は、Ｓ３４の処理で算出した外れ度が高い順に、１以上の第２学習データ１３１ｂを選択して出力する（Ｓ３５）。具体的に、情報出力部１１５は、例えば、１以上の第２学習データ１３１ｂのそのものをユーザ端末２に出力する。また、情報出力部１１５は、例えば、１以上の第２学習データ１３１ｂの少なくとも一部の内容を示す関連データをユーザ端末２に出力する。以下、Ｓ３５の処理の具体例について説明を行う。
　［Ｓ３５の処理の具体例］
　図１９は、Ｓ３５の処理の具体例について説明する具体例である。
　図１９で示すグラフは、特徴量の外れ度が０でない学習データ１３１の集合として、データ集合ＤＧ１、ＤＧ２、及びＤＧ３が存在していることを示している。
　そして、情報出力部１１５は、例えば、データ集合ＤＧ１、ＤＧ２及びＤＧ３のうち、各時刻の外れ度の平均値が最も大きいデータ集合ＤＧ３を選択して出力する。
　図１６に戻り、情報処理装置１の入力受付部１１６は、情報出力部１１５が出力した１以上の第２学習データ１３１ｂに対するユーザによる判定結果の入力を受け付けるまで待機する（Ｓ４１のＮＯ）。
　具体的に、入力受付部１１６は、情報出力部１１５が出力した１以上の第２学習データ１３１ｂのそれぞれが、異常状態にあるデータであって優先度が高い第１データと、異常状態にあるデータであって優先度が低い第２データと、正常状態にある第３データとのうちのいずれに対応するデータであるかを示す判定結果の入力を受け付ける。
　なお、ユーザは、この場合、新たな異常に対応する第２学習データ１３１ｂの存在を検知した場合に、その第２学習データ１３１ｂを第１データとして判定するものであってよい。また、ユーザは、この場合、情報出力部１１５が出力した１以上の第２学習データ１３１ｂのそれぞれについて、異常度合い及び優先度を示すスコアの入力を行うものであってもよい。
　そして、１以上の第２学習データ１３１ｂに対するユーザによる判定結果の入力を受け付けた場合（Ｓ４１のＹＥＳ）、情報処理装置１の特徴量調整部１１７は、１以上の第２学習データ１３１ｂに対する判定結果が所定の条件を満たすか否かを判定する（Ｓ４２）。
　具体的に、特徴量調整部１１７は、例えば、１以上の第２学習データ１３１ｂのうち、第１データとして判定された第２学習データ１３１ｂの数または割合が閾値以上であるか否かについての判定を行う。
　その結果、１以上の第２学習データ１３１ｂに対する判定結果が所定の条件を満たさないと判定した場合（Ｓ４２のＮＯ）、特徴量調整部１１７は、Ｓ３１の処理で受け付けた判定結果を用いることによって、情報格納領域１３０に記憶された学習データ１３１（第１学習データ１３１ａ及び第２学習データ１３１ｂ）の特徴量を調整する調整基準を決定する（Ｓ４３）。
　具体的に、特徴量調整部１１７は、例えば、Ｓ３１の処理で受け付けた判定結果を用いることによって、情報格納領域１３０に記憶された学習データ１３１についての距離学習を行う。そして、特徴量調整部１１７は、情報格納領域１３０に記憶された学習データ１３１のそれぞれの特徴量が距離学習の学習結果に従うように調整基準の決定を行う。以下、Ｓ４３の処理の具体例について説明を行う。
　［Ｓ４３の処理の具体例］
　初めに、学習データ１３１についての距離学習の具体例について説明を行う。
　特徴量調整部１１７は、例えば、第１及び第２データのそれぞれと第３データとの距離が大きくなるように距離学習を行う。また、特徴量調整部１１７は、例えば、第１データと第３データとの距離が第２データと第３データとの距離よりも大きくなるように距離学習を行う。さらに、特徴量調整部１１７は、例えば、異なる第３データの間の距離が小さくなるように距離学習を行う。
　具体的に、特徴量調整部１１７は、例えば、以下の式（１）から式（４）に示す最適化問題を解くことによって距離学習を行う。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　上記の式（１）は、第１及び第２データのそれぞれと第３データとの距離を大きくすることを示す式であり、式（２）は、異なる第３データの間の距離を小さくすること（異なる第３データの間の距離を閾値以下にすること）を示す式であり、式（３）は、第１データと第３データとの距離を第２データと第３データとの距離よりも大きくすることを示す式であり、式（４）は、行列Ｍが半正定値行列であることを示す式である。
　なお、上記の式（１）から（４）において、Ｘｉは、ｉ番目の学習データ１３１を示し、Ｘｊは、ｊ番目の学習データ１３１を示し、Ｎは、学習データ１３１のうちの第３データの集合を示し、Ａ＋は、学習データ１３１のうちの第１データの集合を示し、Ａ－は、学習データ１３１のうちの第２データの集合を示し、Ｍは、調整基準に対応する行列Ｍを示している。
　続いて、特徴量調整部１１７は、式（１）から式（４）に示す最適化問題の最適解である行列Ｍを以下の式（５）のように分解する。
Figure JPOXMLDOC01-appb-M000005
　その後、特徴量調整部１１７は、以下の式（６）に従うことによって、特徴空間における学習データ１３１のそれぞれに対応する特徴量ベクトルの座標変換を行う。
Figure JPOXMLDOC01-appb-M000006
　具体的に、特徴量調整部１１７は、例えば、図２０に示すように、図１９で説明した学習データ１３１のそれぞれに対応する特徴量ベクトルの座標変換を行う。
　これにより、特徴量調整部１１７は、第２学習データ１３１ｂのそれぞれに対応する特徴量の外れ度を抑えることが可能になる。
　なお、図２０で示す例では、データ集合ＤＧ１、ＤＧ２及びＤＧ３のそれぞれに対応する特徴量の外れ度が抑えられた一方、データ集合ＤＧ４に対応する特徴量の外れ度が上がったことを示している。
　図１６に戻り、外れ度算出部１１４は、Ｓ３３の処理で生成した判定モデルとＳ４３の処理で決定した調整基準とを用いて、情報格納領域１３０に記憶された第２学習データ１３１ｂのそれぞれに対応する特徴量の外れ度を算出する（Ｓ４４）。
　そして、情報出力部１１５は、Ｓ４４の処理で算出した外れ度が高い順に、１以上の第２学習データ１３１ｂを選択して出力する（Ｓ４５）。その後、入力受付部１１６は、Ｓ４１以降の処理を行う。
　一方、１以上の第２学習データ１３１ｂに対する判定結果が所定の条件を満たすと判定した場合（Ｓ４２のＹＥＳ）、情報処理装置１は、学習処理を終了する。
　［推論処理］
　次に、第１の実施の形態における推論処理について説明を行う。図１７は、第１の実施の形態における推論処理について説明するフローチャート図である。
　データ受信部１１１は、図１７に示すように、例えば、ユーザがユーザ端末２を介して判定対象データ１３２を入力するまで待機する（Ｓ５１のＮＯ）。
　そして、判定対象データ１３２が入力された場合（Ｓ５１のＹＥＳ）、情報処理装置１のデータ判定部１１８は、Ｓ３３の処理で生成した判定モデルとＳ４３の処理で決定した調整基準とを用いることによって、Ｓ５１の処理で入力された判定対象データ１３２についての判定を行う（Ｓ５２）。
　具体的に、判定モデルは、Ｓ５１の処理で入力された判定対象データ１３２から抽出した特徴量を、Ｓ４３の処理で決定した調整基準を用いることによって調整する。すなわち、判定モデルは、この場合、特徴空間における判定対象データ１３２に対応する特徴量ベクトルについて、Ｓ４３の処理で決定した調整基準（行列）を用いることによる座標変換を行う。そして、判定モデルは、調整した特徴量を用いることにより、Ｓ５１の処理で入力された判定対象データ１３２が異常状態にあるデータであるか否かについての判定を行う。
　なお、Ｓ４３の処理が複数回行われることによって調整基準（行列）が複数生成されている場合、Ｓ５１の処理で入力された判定対象データ１３２から抽出した特徴量を、Ｓ４３の処理で決定した調整基準の全てを用いることによって調整する。
　図１７に戻り、情報出力部１１５は、Ｓ５１の処理で入力された判定対象データ１３２についての判定結果を出力する（Ｓ５３）。
　このように、本実施の形態における情報処理装置１は、学習段階において、ラベルが付与されていない複数の学習データ１３１（学習データセット）を用いた学習により生成された判定モデルを用いて、学習データセットに含まれる学習データ１３１のそれぞれについての学習データセットにおける特徴量の外れ度を算出する。
　そして、情報処理装置１は、外れ度に基づいて、学習データセットに含まれる１以上の学習データ１３１または学習データセットに含まれる１以上の学習データ１３１のデータに関連する関連データを選択して出力する。その後、情報処理装置１は、出力した１以上の学習データ１３１に対するユーザによる判定結果の入力を受け付ける。続いて、情報処理装置１は、受け付けた判定結果に基づいて、学習データセットに含まれる学習データ１３１のそれぞれの特徴量を調整する調整基準を決定する。
　その後、情報処理装置１は、推論段階において、判定対象データの特徴量を調整基準によって調整してから判定対象データ１３２についての判定を行う。
　すなわち、本実施の形態における情報処理装置１は、学習段階（判定モデルの検証段階）において、学習データセットに含まれる一部の学習データ１３１に対応する判定結果のみの入力をユーザから受け付け、受け付けた判定結果を用いることによって、学習データセットに含まれる全ての学習データ１３１の特徴量の調整を行う。具体的に、情報処理装置１は、特徴空間における各学習データ１３１の特徴量ベクトルの座標変換を行う調整基準（調整器）を、判定モデルを構成する機能の一つとして生成する。
　そして、情報処理装置１は、推論段階において、調整器を含む判定モデルを用いることによって、判定対象データ１３２が異常状態にあるデータであるか否かについての判定を行う。
　これにより、情報処理装置１は、ラベル付けに伴うユーザの作業工数を抑制しながら、ユーザが暗黙に所望していた異常状態のデータについても検出可能な判定モデルを生成することが可能になる。
　また、本実施の形態における情報処理装置１は、上記のように調整器の生成を行う場合、生成済の判定モデルの再生成を要しない。
　これにより、ユーザは、学習データ１３１のラベル付けに要する作業工数に加え、判定モデルの再生成に要する作業工数についても抑制することが可能になる。
１：情報処理装置　　　　　　　２：ユーザ端末
１３０：情報格納領域　　　　　１３１：学習データ
ＮＷ：ネットワーク

Claims (14)

  1. 　ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、前記学習データセットに含まれるデータのそれぞれについての前記学習データセットにおける特徴量の外れ度を算出し、
    　前記外れ度に基づいて、前記学習データセットに含まれる１以上のデータまたは前記１以上のデータに関連する関連データを選択して出力し、
    　前記１以上のデータに対するユーザによる判定結果の入力を受け付け、
    　受け付けた前記判定結果に基づいて、前記学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定する、
    　処理をコンピュータに実行させ、
    　前記判定モデルによる判定対象のデータの判定が行われる際に、判定対象のデータの特徴量は、前記調整基準に基づいて調整される、
    　ことを特徴とする学習処理プログラム。
  2. 　請求項１において、
    　前記外れ度を算出する処理では、前記学習データセットに含まれるデータごとに、特徴空間における前記学習データセットに含まれる他のデータの特徴量ベクトルに対する各データの特徴量ベクトルの乖離状態を示す値を前記外れ度として算出する、
    　ことを特徴とする学習処理プログラム。
  3. 　請求項１において、
    　前記１以上のデータを出力する処理では、前記学習データセットに含まれるデータから、前記外れ度が高い順に１以上のデータを選択して出力する、
    　ことを特徴とする学習処理プログラム。
  4. 　請求項１において、
    　前記判定結果の入力を受け付ける処理では、前記１以上のデータのそれぞれが、異常状態にあるデータであって優先度が高い第１データと、異常状態にあるデータであって優先度が低い第２データと、正常状態にある第３データとを含む複数のデータのうちのいずれであるかを示す判定結果の入力を受け付ける、
    　ことを特徴とする学習処理プログラム。
  5. 　請求項４において、
    　前記調整基準を決定する処理では、前記１以上のデータのうちの前記第１データに対応する前記外れ度が小さくなるように、前記学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定する、
    　ことを特徴とする学習処理プログラム。
  6. 　請求項４において、
    　前記調整基準を決定する処理では、
    　前記判定結果を用いることによって、前記１以上のデータについての距離学習を行い、
    　前記１以上のデータのそれぞれの特徴量が前記距離学習の学習結果に従うように、前記調整基準の決定を行う、
    　ことを特徴とする学習処理プログラム。
  7. 　請求項６において、
    　前記調整基準を決定する処理では、前記第１及び第２データのそれぞれと前記第３データとの距離が大きく、かつ、前記第１データと前記第３データとの距離が前記第２データと前記第３データとの距離よりも大きく、かつ、異なる前記第３データの間の距離が小さくなるように、前記１以上のデータについての前記距離学習を行う、
    　ことを特徴とする学習処理プログラム。
  8. 　請求項６において、
    　前記調整基準を決定する処理では、特徴空間における前記第１データ及び前記第２データのそれぞれに対応する特徴量ベクトルの座標変換に用いる行列を前記調整基準として決定する、
    　ことを特徴とする学習処理プログラム。
  9. 　請求項４において、
    　前記外れ度を算出する処理と、前記１以上のデータを出力する処理と、前記判定結果の入力を受け付ける処理と、前記調整基準を決定する処理とを、前記１以上のデータに含まれる前記第１データの数または割合が閾値以上になるまで行う、
    　ことを特徴とする学習処理プログラム。
  10. 　請求項１において、さらに、
    　前記判定対象のデータの入力を受け付け、
    　前記調整基準を用いることによって前記判定対象のデータに対応する特徴量を調整し、
    　調整した前記特徴量の前記判定モデルに対する入力に応じて前記判定モデルから出力された値に基づいて、前記判定対象のデータについての判定を行い、
    　前記判定対象のデータについての判定結果を出力する、
    　処理をコンピュータに実行させることを特徴とする学習処理プログラム。
  11. 　ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、前記学習データセットに含まれるデータのそれぞれについての前記学習データセットにおける特徴量の外れ度を算出する外れ度算出部と、
    　前記外れ度に基づいて、前記学習データセットに含まれる１以上のデータまたは前記１以上のデータに関連する関連データを選択して出力する情報出力部と、
    　前記１以上のデータに対するユーザによる判定結果の入力を受け付ける入力受付部と、
    　受け付けた前記判定結果に基づいて、前記学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定する特徴量調整部と、を有し、
    　前記判定モデルによる判定対象のデータの判定が行われる際に、判定対象のデータの特徴量は、前記調整基準に基づいて調整される、
    　ことを特徴とする情報処理装置。
  12. 　請求項１１において、
    　前記入力受付部は、前記判定対象のデータの入力を受け付け、
    　前記特徴量調整部は、前記調整基準を用いることによって前記判定対象のデータに対応する特徴量を調整し、さらに、
    　調整した前記特徴量の前記判定モデルに対する入力に応じて前記判定モデルから出力された値に基づいて、前記判定対象のデータについての判定を行うデータ判定部を有し、
    　前記情報出力部は、前記判定対象のデータについての判定結果を出力する、
    　処理をコンピュータに実行させることを特徴とする情報処理装置。
  13. 　ラベルが付与されていない学習データセットを用いた学習により生成された判定モデルを用いて、前記学習データセットに含まれるデータのそれぞれについての前記学習データセットにおける特徴量の外れ度を算出し、
    　前記外れ度に基づいて、前記学習データセットに含まれる１以上のデータまたは前記１以上のデータに関連する関連データを選択して出力し、
    　前記１以上のデータに対するユーザによる判定結果の入力を受け付け、
    　受け付けた前記判定結果に基づいて、前記学習データセットに含まれるデータのそれぞれの特徴量を調整する調整基準を決定する、
    　処理をコンピュータに実行させ、
    　前記判定モデルによる判定対象のデータの判定が行われる際に、判定対象のデータの特徴量は、前記調整基準に基づいて調整される、
    　ことを特徴とする学習処理方法。
  14. 　請求項１３において、さらに、
    　前記判定対象のデータの入力を受け付け、
    　前記調整基準を用いることによって前記判定対象のデータに対応する特徴量を調整し、
    　調整した前記特徴量の前記判定モデルに対する入力に応じて前記判定モデルから出力された値に基づいて、前記判定対象のデータについての判定を行い、
    　前記判定対象のデータについての判定結果を出力する、
    　処理をコンピュータに実行させることを特徴とする学習処理方法。
PCT/JP2020/008681 2020-03-02 2020-03-02 学習処理プログラム、情報処理装置及び学習処理方法 WO2021176514A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/008681 WO2021176514A1 (ja) 2020-03-02 2020-03-02 学習処理プログラム、情報処理装置及び学習処理方法
JP2022504775A JP7368776B2 (ja) 2020-03-02 2020-03-02 学習処理プログラム、情報処理装置及び学習処理方法
EP20923361.8A EP4116892A4 (en) 2020-03-02 2020-03-02 LEARNING PROCESSING PROGRAM, INFORMATION PROCESSING DEVICE AND LEARNING PROCESSING METHOD
US17/895,121 US20220405526A1 (en) 2020-03-02 2022-08-25 Storage medium, information processing device, and training processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008681 WO2021176514A1 (ja) 2020-03-02 2020-03-02 学習処理プログラム、情報処理装置及び学習処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/895,121 Continuation US20220405526A1 (en) 2020-03-02 2022-08-25 Storage medium, information processing device, and training processing method

Publications (1)

Publication Number Publication Date
WO2021176514A1 true WO2021176514A1 (ja) 2021-09-10

Family

ID=77613946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008681 WO2021176514A1 (ja) 2020-03-02 2020-03-02 学習処理プログラム、情報処理装置及び学習処理方法

Country Status (4)

Country Link
US (1) US20220405526A1 (ja)
EP (1) EP4116892A4 (ja)
JP (1) JP7368776B2 (ja)
WO (1) WO2021176514A1 (ja)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYOKO SUDO , KAORU WAKABAYASHI , KENICHI ARAKAWA , TAKAYUKI YASUNO : "Detecting anomalous sequences in long duration monitoring videos", IPSJ SIG TECHNICAL REPORTS, vol. 2005, no. 112, 2005, pages 77 - 82, XP055955552, ISSN: 0919-6072 *
OKADA, SHOGO; KANDA, KENICHI; OHMOTO, YOSHIMASA; NISHIDA, TOYOAKI: "Image classification system based on interaction with human", PROCEEDINGS OF THE 24TH ANNUAL CONFERENCE OF JSAI; JUNE 9-11, 2010, vol. 24, 2010, pages 1 - 3, XP009538589, ISSN: 1347-9881, DOI: 10.11517/pjsai.JSAI2010.0_2G2OS96 *

Also Published As

Publication number Publication date
US20220405526A1 (en) 2022-12-22
EP4116892A4 (en) 2023-03-29
EP4116892A1 (en) 2023-01-11
JP7368776B2 (ja) 2023-10-25
JPWO2021176514A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
WO2018121737A1 (zh) 关键点预测、网络训练及图像处理方法和装置、电子设备
US11694109B2 (en) Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure
US10628709B2 (en) Image recognition device and image recognition method
CN106547852B (zh) 异常数据检测方法及装置、数据预处理方法及系统
JP6509717B2 (ja) 事例選択装置、分類装置、方法、及びプログラム
US20220245405A1 (en) Deterioration suppression program, deterioration suppression method, and non-transitory computer-readable storage medium
EP4068160A1 (en) Neural network training and face detection method and apparatus, and device and storage medium
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN113435409A (zh) 图像识别模型的训练方法、装置、存储介质及电子设备
US11823058B2 (en) Data valuation using reinforcement learning
CN110781970B (zh) 分类器的生成方法、装置、设备及存储介质
EP3767554A1 (en) Learning assistance device
JP6645441B2 (ja) 情報処理システム、情報処理方法、及び、プログラム
JP2017102865A (ja) 情報処理装置、情報処理方法及びプログラム
US20210166131A1 (en) Training spectral inference neural networks using bilevel optimization
US20220327394A1 (en) Learning support apparatus, learning support methods, and computer-readable recording medium
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN113641525A (zh) 变量异常修复方法、设备、介质及计算机程序产品
WO2021176514A1 (ja) 学習処理プログラム、情報処理装置及び学習処理方法
JP7472471B2 (ja) 推定システム、推定装置および推定方法
US11688175B2 (en) Methods and systems for the automated quality assurance of annotated images
US20230027309A1 (en) System and method for image de-identification to humans while remaining recognizable by machines
JP7306460B2 (ja) 敵対的事例検知システム、方法およびプログラム
CN114663972A (zh) 基于动作差分的目标标记方法及装置
WO2020194583A1 (ja) 異常検知装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20923361

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022504775

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020923361

Country of ref document: EP

Effective date: 20221004