WO2021005891A1 - システム、方法、及びプログラム - Google Patents

システム、方法、及びプログラム Download PDF

Info

Publication number
WO2021005891A1
WO2021005891A1 PCT/JP2020/019792 JP2020019792W WO2021005891A1 WO 2021005891 A1 WO2021005891 A1 WO 2021005891A1 JP 2020019792 W JP2020019792 W JP 2020019792W WO 2021005891 A1 WO2021005891 A1 WO 2021005891A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
input
model
result
prediction result
Prior art date
Application number
PCT/JP2020/019792
Other languages
English (en)
French (fr)
Inventor
鉄也 佐藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202080049471.5A priority Critical patent/CN114072821A/zh
Publication of WO2021005891A1 publication Critical patent/WO2021005891A1/ja
Priority to US17/568,163 priority patent/US20220129793A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Definitions

  • the present invention relates to a system, a method, and a program for managing a trained model of machine learning.
  • Patent Document 1 discloses a power demand prediction method for predicting power demand. Patent Document 1 discloses that by training a learning model with recent learning data, the trained model is replaced when the prediction accuracy is improved as compared with the current trained model.
  • the trained model as described above may have an unintended bias, and fairness may not be guaranteed.
  • the approval or disapproval of the loan is determined by a learned model based on input data such as the age, gender, income, and years of service of the target person.
  • Such a trained model may unintentionally be biased, such as making it easier to predict that men are approved than women, and easier to predict that older people are approved than younger people. If there is such a bias in the trained model in operation, it is desirable to correct this bias and ensure fairness.
  • the bias of the trained model is not considered at all, and fairness cannot be ensured.
  • An object of the present invention is to provide a system capable of correcting the bias of the trained model and ensuring fairness.
  • the system of one embodiment of the present invention is a system for managing a first model created by machine learning, and is the result of prediction by the first model using an input including a first input value.
  • a replacement means for replacing the first input value included in the input with a second input value and an input after the replacement are used.
  • FIG. 1 It is a schematic diagram which shows the whole structure of the system which concerns on Example 1 of this invention. It is a block diagram which shows the internal structure of the information processing apparatus which comprises the system which concerns on Example 1 of this invention.
  • (A) is a block diagram showing an example of the functional configuration of the fairness management system 101
  • (B) is a block diagram showing an example of the functional configuration of the prediction system 102
  • (C) is a block diagram showing an example of the functional configuration of the business system 103.
  • FIG. 5 is a flowchart showing a process in which the fairness management system 101 relearns the learning model and replaces the trained model 341 of the prediction system 102. It is a flowchart of padding process of learning data.
  • FIG. 1 is a schematic view showing an overall configuration of a system according to a first embodiment of the present invention.
  • the system 100 according to the first embodiment of the present invention includes a fairness management system 101, a prediction system 102, and a business system 103.
  • the fairness management system 101, the prediction system 102, and the business system 103 are each composed of one or more information processing devices.
  • a plurality of systems may be composed of one information processing device.
  • the information processing device refers to various computers such as personal computers, virtual machines, and the like.
  • a virtual machine is, for example, a virtual computer whose operation is emulated by a software program.
  • the information processing device 200 which is an example of this information processing device, will be described later with reference to FIG.
  • the fairness management system 101 is a system that monitors whether the trained model operated by the prediction system 102 can ensure fairness.
  • the trained model is created by training the training model with training data.
  • the trained model is a model created by machine learning.
  • fairness is a viewpoint of whether or not it is fair to, for example, a user who operates a learned model and receives a prediction result, and a user who actually receives a service based on the prediction result.
  • Fairness is, for example, the perspective of fairness to institutional, customary, and cultural standards in the country and environment in which the learned model is actually operated.
  • the criteria for judging fairness may change depending on the user and the usage environment.
  • the fact that such fairness is guaranteed for the output using the prediction result of the trained model is a state in which the fairness to such a standard is satisfied. It can be said that.
  • the criteria for determining fairness can be set, for example, by a user who operates a trained model.
  • the prediction system 102 is a system that receives a request from the fairness management system 101 and makes a prediction using the trained model 341 described later with reference to FIG. 3 (B).
  • the business system 103 is a system that examines a loan for the contents of an application from a user.
  • the network 104 is a network such as the Internet, and is not particularly limited in type.
  • the fairness management system 101, the prediction system 102, and the business system 103 can communicate with each other via the network 104.
  • FIG. 2 is a block diagram showing an example of the internal configuration of the information processing apparatus constituting the system 100 shown in FIG.
  • the information processing device 200 has a CPU 201 that executes a program that controls the operation of the system 100 according to the present embodiment.
  • CPU is an abbreviation for Central Processing Unit.
  • the information processing device 200 has a system bus 204.
  • the CPU 201 comprehensively controls each hardware connected to the system bus 204.
  • the information processing device 200 includes an HDD 210 and a disk controller 209.
  • HDD is an abbreviation for Hard Disk Drive.
  • the HDD 210 is an example of a storage device, and here, it is a large-capacity storage device.
  • the HDD 210 stores a program executed by the CPU 201.
  • the disk controller 209 controls the HDD 210.
  • the information processing device 200 has a memory 202.
  • the memory 202 functions as a main memory of the CPU 201, a work area, and the like.
  • the information processing device 200 has a NIC 203.
  • NIC is an abbreviation for Network Interface Card.
  • the NIC 203 bidirectionally transmits and receives data to and from other nodes connected to the network 104 via the network 104.
  • the information processing device 200 has a keyboard 206 and a keyboard controller 205.
  • the user operates the keyboard 206 to input instructions to the information processing device 200.
  • the keyboard controller 205 controls to accept instruction input by the keyboard 206.
  • the information processing device 200 may not have the keyboard controller 205 and the keyboard 206 depending on its role.
  • the information processing device 200 has a display 208 and a display controller 207.
  • the display 208 is a display module composed of a liquid crystal display or the like.
  • the display controller 207 controls the display on the display 208.
  • the information processing device 200 may not
  • FIG. 3A is a block diagram showing an example of the functional configuration of the fairness management system 101 shown in FIG.
  • the fairness management system 101 includes a presentation unit 301, a fairness management unit 302, a threshold value storage unit 303, a prediction result storage unit 304, a re-learning unit 305, a feedback data storage unit 306, and a communication unit 307.
  • Each configuration of the fairness management system 101 shown in FIG. 3A is realized by the CPU 201 reading the program stored in the HDD 210 of the fairness management system 101 into the memory 202 and executing the program.
  • the presentation unit 301 is a software module for generating a UI for setting a threshold value indicating fairness.
  • UI is an abbreviation for User Interface.
  • the UI for setting the threshold value indicating fairness will be described later with reference to FIG.
  • the fairness management unit 302 is a software module that determines whether the trained model and the learning model can ensure fairness. The process of determining whether fairness can be ensured will be described later with reference to FIGS. 7 and 8.
  • the threshold value storage unit 303 is a software module that stores the threshold value management table described later using Table 1.
  • the prediction result storage unit 304 is a software module that stores a prediction result management table described later using Table 2 and a prediction result statistical table described later using Table 3.
  • the re-learning unit 305 is a software module that relearns a learned model in the same learning state as the learned model 341 of the prediction system 102, which will be described later, which is operated in production, as a learning model.
  • the feedback data storage unit 306 is a software module that stores the feedback data management table described later using Table 4.
  • the communication unit 307 is a software module for communicating with the prediction system 102 and the business system 103 via the network 104.
  • FIG. 3B is a block diagram showing an example of the functional configuration of the prediction system 102.
  • the prediction system 102 has a trained model 341, a trained model replacement unit 342, and a communication unit 343.
  • Each configuration of the prediction system 102 shown in FIG. 3B is realized by the CPU 201 reading the program stored in the HDD 210 of the prediction system 102 into the memory 202 and executing the program.
  • the trained model 341 is a software module that determines whether or not to approve a loan based on input data such as the subject's age, gender, income, and years of service, and outputs a prediction result.
  • the trained model replacement unit 342 is a software module that replaces the trained model 341.
  • the communication unit 343 is a software module for communicating with the fairness management system 101 and the business system 103 via the network 104.
  • the prediction system 102 may communicate with the fairness management system 101 and not with the business system 103.
  • FIG. 3C is a block diagram showing an example of the functional configuration of the business system 103.
  • the business system 103 has a presentation unit 371, a logic unit 372, and a communication unit 373.
  • Each configuration of the business system 103 shown in FIG. 3C is realized by the CPU 201 reading the program stored in the HDD 210 of the business system 103 into the memory 202 and executing the program.
  • the presentation unit 371 is a software module for inputting application contents from a user and generating a UI for deciding whether or not to approve the loan.
  • the UI generated by the presentation unit 371 will be described later with reference to FIG.
  • the logic unit 372 is a software module that processes the data passed from the presentation unit 371.
  • the communication unit 373 is a software module for communicating with the fairness management system 101 and the prediction system 102 via the network 104.
  • the business system 103 may communicate with the fairness management system 101 and not with the prediction system 102.
  • Tables 1 to 4 are tables showing examples of tables managed by the fairness management system 101.
  • Table 1 is a table showing an example of the threshold value management table.
  • the threshold value management table is stored in the threshold value storage unit 303. In the threshold management table, one record indicates one threshold information.
  • the threshold management table has columns for threshold management ID, items, monitored values, comparison values, thresholds, and expected results.
  • the threshold value management ID is an ID for uniquely identifying the threshold value information.
  • the item is an item of input data monitored by the fairness management system 101 to ensure fairness.
  • the first row of Table 1 shows that gender is an item to be monitored.
  • Input data items to be monitored to ensure fairness include gender, nationality, regionality, educational background, race, age, and income.
  • the value to be monitored indicates a value for monitoring whether or not it is disadvantageous due to the bias of the trained model 341.
  • the value for monitoring whether or not it is disadvantageous is female.
  • the value to be monitored, "female,” is an example of the first input value.
  • the prediction result of the trained model 341 using the input data with the gender set to "female” is the first prediction result.
  • the value of the comparison target indicates the value of the comparison target for determining whether or not the value in the value column of the monitoring target is disadvantageous.
  • the value to be compared is male.
  • the value to be compared, "male” is an example of the second input value.
  • the threshold value is a threshold value indicating how much fairness can be guaranteed. For example, the first row of Table 1 shows that the threshold is 0.9.
  • the expected result shows what would be advantageous if the predicted result of the trained model 341 was.
  • the first row of Table 1 shows that it would be advantageous if the prediction result was approved. That is, the threshold information in which the threshold management ID in the first row of Table 1 is F001 is biased toward the trained model 341 if the female approval rate / male approval rate ⁇ 0.9 in the gender item of the input data. Has occurred, indicating that women are at a disadvantage.
  • Table 2 is a table showing an example of the prediction result table.
  • the prediction result table is stored in the prediction result storage unit 304.
  • one record indicates one prediction result information.
  • the prediction result table has columns for prediction ID, gender, age, income, and prediction result.
  • the prediction ID is an ID that uniquely indicates the prediction result information.
  • Gender, age, and income indicate the items of input data when the fairness management system 101 requests the prediction system 102 to make a prediction.
  • the prediction result table may also have input data items such as years of service.
  • the prediction result shows the result predicted by the prediction system 102. The process in which the business system 103 requests the prediction system 102 to predict the approval or disapproval of the loan via the fairness management system 101 will be described later with reference to FIG.
  • Table 3 is a table showing an example of the prediction result statistical table.
  • the prediction result statistics table is stored in the prediction result storage unit 304.
  • one record indicates one prediction result statistical information.
  • the forecast result statistics table has columns for items, values, number of applications, and number of approvals.
  • the item shows the item of the input data for which statistics were taken.
  • the value indicates the value of the input data for which statistics have been taken.
  • the number of applications indicates the number of requests for prediction to the prediction system 102.
  • the number of approvals indicates the number in which the prediction system 102 returns the prediction result as approval. For example, in the first row of Table 3, there are 100 applications for which the gender is female, and the prediction system 102 indicates that 40 of them are predicted to be approved.
  • Table 4 is a table showing an example of the feedback data management table.
  • the feedback data management table is stored in the feedback data storage unit 306.
  • one record indicates one feedback data.
  • the feedback data is information transmitted from the business system 103 to the fairness management system 101, and its processing will be described later with reference to FIG.
  • the feedback data management table has columns for feedback data ID, gender, age, income, and final result.
  • the feedback data ID is an ID that uniquely identifies the feedback data. Gender, age, and income indicate the items of input data when the business system 103 requests the fairness management system 101 to make a prediction.
  • the feedback data management table may also have input data items such as years of service.
  • the final result shows the result of the business system 103 determining whether or not to approve.
  • FIG. 4 is an example of the UI generated by the presentation unit 301 of the fairness management system 101.
  • This UI is generated by the presentation unit 301 in response to a request from the browser of the personal computer used by the user of the fairness management system 101, and is displayed on the browser of the personal computer.
  • Personal computer is an abbreviation for personal computer.
  • This personal computer is connected to the network 104 and can communicate with the fairness management system 101.
  • This personal computer may have a configuration different from that of the fairness management system 101, or may have a configuration of the fairness management system 101.
  • the browser of the personal computer connected to the fairness management system 101 displays the threshold information setting screen 400.
  • the threshold information setting screen 400 has a pull-down 401, a pull-down 402, a pull-down 403, a text box 404, a pull-down 405, a button 406, and a button 407.
  • the pull-down 401 is a pull-down for setting the input data items (corresponding to the items in Table 1) monitored by the fairness management system 101 to ensure fairness.
  • the pull-down 402 is a pull-down for setting a value (corresponding to the value of the monitoring target in Table 1) for monitoring whether or not the trained model 341 is disadvantaged due to the bias.
  • the pull-down 403 is a pull-down for setting a comparison target value (corresponding to the comparison target value in Table 1) for determining whether the monitored value set in the pull-down 402 is not disadvantageous.
  • the text box 404 is a text box for setting a value (corresponding to the threshold value in Table 1) indicating how much fairness can be guaranteed.
  • the pull-down 405 is a pull-down for setting a result (corresponding to the expected result in Table 1) indicating what is advantageous if the prediction result of the trained model 341 is advantageous.
  • the button 406 is a button for setting the threshold information with the contents input on the threshold information setting screen 400.
  • the presentation unit 301 detects that the button 406 is pressed by a request from the browser of the personal computer, the threshold value input to the threshold value management table shown in Table 1 via the threshold value storage unit 303 on the threshold value information setting screen 400. To save the information.
  • the button 407 is a button for canceling the setting of the threshold information.
  • FIG. 5 is an example of the UI generated by the presentation unit 371 of the business system 103.
  • This UI is generated by the presentation unit 371 in response to a request from the browser of the personal computer used by the person in charge of examining the loan application, and is displayed on the browser of the personal computer.
  • This personal computer is connected to the network 104 and can communicate with the business system 103.
  • This personal computer may have a different configuration from the business system 103, or may configure the business system 103.
  • the browser of the personal computer connected to the business system 103 displays the loan examination screen 500.
  • the loan examination screen 500 includes a text box 501, a text box 502, a pull-down 503, a pull-down 504, a pull-down 505, a button 506, a pull-down 507, a button 506, a button 508, and a button 509.
  • the text box 501 is a text box for inputting the name of the loan applicant (the person subject to the loan examination).
  • the text box 502 is a text box for inputting the address of the loan applicant.
  • the pull-down 503 is a pull-down for setting the gender of the loan applicant.
  • the pull-down 504 is a pull-down for setting the age of the loan applicant.
  • the pull-down 505 is a pull-down for setting the income of the loan applicant.
  • the loan examination screen 500 may also have a control for inputting information of the loan applicant such as years of service.
  • the control refers to a UI component such as a text box, pull-down, or button.
  • the button 506 is a button for predicting approval or disapproval based on the information of the loan applicant set on the loan examination screen 500.
  • the pull-down 507 is a pull-down for setting whether or not to approve the loan.
  • the button 506 is pressed and the prediction is performed, the prediction result is set to the pull-down 507.
  • the button 508 is a button for determining whether or not to approve the loan based on the contents input on the loan examination screen 500.
  • Button 509 is a button for canceling the loan examination.
  • FIG. 6 is a sequence diagram showing the processing of the business system 103, the fairness management system 101, and the prediction system 102 from the request for prediction of the loan examination to the feedback of the final result of the examination to the fairness management system 101. This process starts when the presentation unit 371 of the business system 103 detects that the button 506 on the loan examination screen 500 has been pressed by a request from the browser of the personal computer.
  • step S601 the communication unit 373 of the business system 103 requests the fairness management system 101 to predict the loan examination by using the information of the loan applicant set on the loan examination screen 500 as input data.
  • the input data need not be all the information of the loan applicant set on the loan examination screen 500, but only the data required by the trained model 341 of the prediction system 102.
  • the name and address are not included in the input data, but the gender, age, income, years of service, etc. are included in the input data.
  • the example shown in this embodiment is just an example, and the necessary input data is determined while making adjustments such as dimension reduction in the analysis of the learning data and the learning of the learning model.
  • the trained model 341 is an example of the first model.
  • step S602 the fairness management system 101 executes the prediction request rewriting process.
  • the threshold storage unit 303 acquires one threshold information from the threshold management table shown in Table 1 and transitions to step S702.
  • step S702 the fairness management unit 302 determines whether the threshold information has been acquired. If the fairness management unit 302 can acquire the threshold value information, the fairness management unit 302 proceeds to step S703. If the fairness management unit 302 cannot acquire the threshold value information, the fairness management unit 302 determines that the confirmation processing for all the threshold value information has been completed, and ends the processing.
  • step S703 the fairness management unit 302 acquires the prediction result statistical information that matches the corresponding item of the threshold information acquired in step S702 from the prediction result statistical table shown in Table 3 via the prediction result storage unit 304. To do. For example, when the threshold value management ID of the threshold value information acquired in step S702 is F001, the value in the item column is gender. Therefore, the fairness management unit 302 acquires the records of the first row and the second row in which the item column is gender among the records of the prediction result statistical table. Then, the fairness management unit 302 calculates the ratio from the acquired prediction result statistical information, and proceeds to step S704. For example, when the threshold management ID of the threshold information is F001, the ratio is the approval rate of women / the approval rate of men.
  • the number of female applications is 100 and the number of approvals is 40, so the female approval rate is 0.4. Moreover, since the number of applications for men is 200 and the number of approvals is 100, the approval rate for men is 0.5. Therefore, the ratio is 0.8.
  • “Approval” of a prediction result is an example in which the prediction result is a predetermined prediction result.
  • the number of applications is an example of the total number of predictions predicted by the first model using the inputs including the first input value.
  • the number of approvals is an example of the number of times that the prediction result predicted by the first model using the input including the first input value is a predetermined prediction result.
  • the female approval rate is an example of the first rate.
  • the male approval rate is an example of the second rate.
  • step S704 the fairness management unit 302 determines whether the ratio calculated in step S703 is lower than the threshold value of the threshold information acquired in step S701. For example, when the threshold value management ID of the threshold value information is F001, the value of the threshold value column in Table 1 is 0.9, and the ratio calculated in step S703 is 0.8, so that the fairness management unit 302 , The ratio is below the threshold value, and it is judged that there is a bias. If the ratio is below the threshold value, the fairness management unit 302 transitions to step S705. If the ratio does not fall below the threshold value, the fairness management unit 302 determines that fairness is guaranteed and proceeds to step S701. "The ratio is below the threshold value" is an example of a predetermined condition.
  • the predetermined conditions are, for example, the result of prediction by the first model using the input including the first input value and the result of prediction by the first model using the input including the second input value. This is a condition that is satisfied when there is a bias between them.
  • step S705 the fairness management unit 302 rewrites the corresponding item of the input data of the prediction request received in step S601 to the value to be compared with the threshold information, and transitions to step S701.
  • the threshold value management ID of the threshold information is F001
  • the gender is rewritten to male for the input data whose gender is female.
  • This rewriting process is an example of the replacement means.
  • the fairness management unit 302 determined from the ratio and the threshold value in step S704 the trained model 341 of the prediction system 102 is biased, and according to the trained model 341, it is easier for men to predict approval than women. .. Therefore, in this embodiment, the trained model 341 of the prediction system 102 can be easily determined to be approved by rewriting as in step S705.
  • step S603 the communication unit 307 of the fairness management system 101 requests the prediction system 102 for prediction.
  • the input data of the prediction request here may be different from the input data of the prediction request in step S601. This is because the input data of the prediction request may be rewritten in the process of step S705.
  • step S604 the trained model 341 of the prediction system 102 makes a prediction using the input data of the prediction request received in step S603, and determines whether or not to approve it.
  • the prediction result of the trained model 341 using the input data in which the gender is rewritten as "male” is the second prediction result.
  • the communication unit 343 of the prediction system 102 responds to the fairness management system 101 with the prediction result predicted in step S604.
  • the prediction result storage unit 304 of the fairness management system 101 records the input data requested for prediction in step S603 and the prediction result received in step S605 in the prediction result table shown in Table 2 as prediction result information. To add.
  • step S607 the prediction result storage unit 304 of the fairness management system 101 updates the prediction result statistical table shown in Table 3 from the input data requested for prediction in step S603 and the prediction result received in step S605. For example, when the value of the gender item of the input data is female and the prediction result is approval, the prediction result storage unit 304 sets the number of applications and the number of approvals in the first row of the prediction result statistics table in Table 3 to 1, respectively. Add cases.
  • step S608 the communication unit 307 of the fairness management system 101 responds to the business system 103 with the prediction result received in step S605.
  • step S609 the presentation unit 371 of the business system 103 generates a UI for displaying the prediction result received in step S608 on the pull-down 507 of the loan examination screen 500.
  • the person in charge of examining the loan application accepts the prediction result as it is, he / she presses the button 508 of the loan examination screen 500 displayed on the browser to confirm. If the person in charge of examining the loan application wants the result to be different from the predicted result, he / she operates the pull-down 507 to change the options and then presses the button 508 to confirm.
  • the presentation unit 371 of the business system 103 detects that the button 508 has been pressed, the process proceeds to step S610.
  • step S610 the communication unit 373 of the business system 103 transmits the content input on the loan examination screen 500 via the logic unit 372 to the fairness management system 101 as feedback data.
  • step S611 the feedback data storage unit 306 of the fairness management system 101 stores the feedback data received in step S610 in the feedback data management table shown in Table 4. This process is an example of a receiving means for receiving feedback on the second prediction result. In this way, by determining whether the trained model 341 is fair in step S704 and rewriting the content of the prediction request in step S705, fairness can be immediately ensured.
  • the prediction result table in Table 2 stores the input data of the prediction request in step S603. Therefore, the prediction result table stores the input data of the prediction request after being rewritten by the process of step S602.
  • the feedback data management table in Table 4 stores the input data of the prediction request in step S601. Since this input data is the input data before the process of step S602, the input data before rewriting by the process of step S602 is stored in the feedback data management table.
  • FIG. 8 is a flowchart showing a process in which the fairness management system 101 relearns the learning model and replaces the trained model 341 of the prediction system 102.
  • the processing of the flowchart shown in FIG. 8 is executed when a certain number of cases are stored in the feedback data management table of Table 4. In this embodiment, the number of cases is fixed, but this is just an example.
  • the process of FIG. 8 may be executed periodically.
  • the processes of steps S801 to S811 of FIG. 8 are processes executed by the fairness management system 101.
  • the processes of steps S851 and S852 of FIG. 8 are processes executed by the prediction system 102.
  • step S801 the feedback data storage unit 306 acquires a certain number of feedback data from the feedback management table in Table 4 and transitions to step S802.
  • step S802 the re-learning unit 305 divides the feedback data acquired in step S801 into learning data and verification data, and transitions to step S803.
  • the verification data is data for verifying whether the training model satisfies the conditions as a trained model. Generally, the verification data is not used for training, and the training data is Prepare separately.
  • step S803 the re-learning unit 305 inflates the learning data and transitions to step S804.
  • step S803 by inflating the learning data, it is possible to retrain even before a large amount of feedback data is accumulated, and the retrained trained model can be created more quickly. Details of the process in step S803 will be described later with reference to FIG.
  • the process of step S803 is a process performed as needed, and if a specified amount of feedback data is collected, re-learning may be performed without padding.
  • step S804 the re-learning unit 305 relearns using the trained model in the same learning state as the trained model 341 of the prediction system 102 as the learning model using the training data inflated in step S803, and transitions to step S805.
  • the feedback data used for the learning data includes the final result which is the correct answer data
  • a part of the learning data is used as the teacher data
  • the re-learning is supervised learning SVM (Support Vector Machine). ) Is used.
  • SVM Small Vector Machine
  • step S805 the re-learning unit 305 uses the verification data created in step S802 as input data, makes a prediction using the learning model re-learned in step S804, and transitions to step S806.
  • This retrained learning model is an example of the second model.
  • step S806 the re-learning unit 305 creates prediction result statistical information from the prediction result and input data output in the process of step S805, and transitions to step S807.
  • step S807 the threshold storage unit 303 acquires one threshold information from the threshold management table shown in Table 1 and transitions to step S808.
  • step S808 the fairness management unit 302 determines whether the threshold information has been acquired. If the fairness management unit 302 can acquire the threshold value information, the fairness management unit 302 proceeds to step S809. If the fairness management unit 302 cannot acquire the threshold value information, the fairness management unit 302 determines that all the threshold value information is in a state where fairness can be guaranteed, and proceeds to step S811.
  • step S809 the fairness management unit 302 calculates the ratio from the prediction result statistical information created in step S806 and transitions to step S810. The method of calculating the ratio is the same as in step S703.
  • step S810 the fairness management unit 302 determines whether the ratio calculated in step S809 is less than the threshold value of the threshold information acquired in step S807.
  • This determination process is the same process as the process in step S704.
  • This determination process is an example of a determination means for determining whether or not the result of prediction using the input for verification by the second model satisfies a predetermined condition. If the ratio is below the threshold value, the fairness management unit 302 determines that the relearned learning model is not yet in a state where fairness can be guaranteed, and ends the process. If the ratio does not fall below the threshold value, the fairness management unit 302 determines that the threshold information acquired in step S807 is guaranteed to be fair, and proceeds to step S807.
  • step S811 the relearning unit 305 transmits the relearned learning model as a learned model to the prediction system 102 via the communication unit 307, and requests the prediction system 102 to replace the trained model 341. And end the process.
  • step S851 the communication unit 343 of the prediction system 102 monitors whether or not there is a request for replacement of the trained model 341. When the prediction system 102 is requested to replace the trained model 341, the prediction system 102 proceeds to step S852. If there is no request for replacement of the trained model 341, the prediction system 102 continues to monitor the request for replacement of the trained model 341 in step S851.
  • the trained model replacement unit 342 replaces the trained model received in step S8851 with the trained model 341 of the prediction system 102, and ends the process.
  • This replacement process is an example of replacement means for replacing the first model with the second model.
  • the trained model 341 can be replaced with the trained model in a state where fairness can be guaranteed, which is created by re-learning using the feedback data.
  • the process of replacing the trained model in a state where fairness can be guaranteed, which is created by re-learning is an example of the creating means for creating the second model.
  • FIG. 9 is a flowchart of the padding process of the learning data.
  • This padding process is an example of a generation means that generates learning data in which at least a part of the values of the input overlaps based on the learning data including the input including the first input value and the second prediction result. is there.
  • the re-learning unit 305 defines additional learning data in the sky and transitions to step S902.
  • the re-learning unit 305 repeats the processes from step S902 to step S906 for the number of learning data.
  • step S903 the re-learning unit 305 determines whether the learning data created from the feedback data is the one for which the prediction request has been rewritten in the process of step S705. If the prediction request has been rewritten, the re-learning unit 305 transitions to step S904. If the prediction request has not been rewritten, the re-learning unit 305 transitions to step S906.
  • step S904 the re-learning unit 305 inflates the learning data and transitions to step S905.
  • the value of the rewritten item is fixed and the other values are changed.
  • the female of the gender rewritten in the process of step S705 is fixed, and the data in which the values of other items are rewritten is created. And use it as inflated learning data. Examples of the values of other items to be rewritten include making the age 30 years old and making the income 6.2 million yen.
  • the input data is rewritten in order to ensure fairness. Therefore, by using the feedback data for padding, learning data that can easily guarantee fairness is created.
  • step S905 the re-learning unit 305 adds the learning data created by padding in step S904 to the additional learning data.
  • step S907 the re-learning unit 305 adds the additional learning data of step S905 to the learning data used in the re-learning of step S804, and ends the process.
  • the re-learning unit 305 creates a learned model that can guarantee fairness by rewriting input data and using feedback data in order to ensure fairness. As a result, according to the present invention, it is possible to automatically replace the retrained trained model while ensuring fairness immediately.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

学習済モデルの偏りを補正し公平性を担保する。　機械学習により作成された第１のモデルを管理するシステムであって、第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換手段と、前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存手段と、前記第２の予測結果に対するフィードバックを受け付ける受付手段と、前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成手段と、を有する。

Description

システム、方法、及びプログラム
　本発明は、機械学習の学習済モデルを管理するシステム、方法、及びプログラムに関する。
　機械学習では、学習用データを用いて学習モデルを調整し、調整が完了した学習モデルを学習済モデルとして本番運用する。従来、このような学習済モデルを用いて、ある事柄を予測する予測システムが知られている。例えば、特許文献１には、電力需要量を予測する電力需要量予測方法が開示されている。この特許文献１は、学習モデルを近来の学習用データで学習させることで、現在の学習済モデルよりも予測精度が向上した場合には、学習済モデルを差し替えることを開示している。
特開２０００－２７６４６０号公報
　ところで、上述のような学習済モデルには意図しない偏りが生じることがあり、公平性を担保できていない場合がある。例えば、対象者に対するローンの承認可否を予測するシステムでは、対象者の年齢、性別、収入、及び勤続年数などの入力データを基に、学習済モデルによってローンの承認可否を判断する。このような学習済モデルには、女性より男性を承認と予測しやすい、年齢が低い人より高い人を承認と予測しやすい、といった偏りが意図せずに生じることがある。運用中の学習済モデルにこのような偏りがある場合、この偏りを補正し公平性を担保することが望まれる。
　しかしながら、特許文献１のような従来技術では、学習済モデルの偏りについては何ら考慮されておらず、公平性を担保することができなかった。
　本発明は、学習済モデルの偏りを補正し公平性を担保することができるシステムを提供することを目的とする。
　本発明の一実施形態のシステムは、機械学習により作成された第１のモデルを管理するシステムであって、第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換手段と、前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存手段と、前記第２の予測結果に対するフィードバックを受け付ける受付手段と、前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成手段と、を有する。
　本発明によれば、学習済モデルの偏りを補正し公平性を担保することができる。
本発明の実施例１に係るシステムの全体構成を示す模式図である。 本発明の実施例１に係るシステムを構成する情報処理装置の内部構成を示すブロック図である。 （Ａ）は、公平性管理システム１０１の機能構成の一例を示すブロック図であり、（Ｂ）は、予測システム１０２の機能構成の一例を示すブロック図であり、（Ｃ）は、業務システム１０３の機能構成の一例を示すブロック図である。 公平性管理システム１０１のプレゼンテーション部３０１が生成するＵＩの一例である。 業務システム１０３のプレゼンテーション部３７１が生成するＵＩの一例である。 ローンの審査の予測依頼から審査の最終結果を公平性管理システム１０１にフィードバックするまでの業務システム１０３、公平性管理システム１０１、及び予測システム１０２の処理を示したシーケンス図である。 予測依頼書き換え処理のフローチャートである。 公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替える処理を示したフローチャートである。 学習用データの水増し処理のフローチャートである。
　以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
＜システム構成＞
　図１は、本発明の実施例１に係るシステムの全体構成を示す模式図である。
　本発明の実施例１に係るシステム１００は、公平性管理システム１０１、予測システム１０２、及び業務システム１０３を有して構成される。公平性管理システム１０１、予測システム１０２、及び業務システム１０３は、それぞれが１台以上の情報処理装置で構成されている。複数のシステムが１台の情報処理装置で構成されていてもよい。ここで情報処理装置は、パーソナルコンピュータなどの各種コンピュータ、又は仮想マシンなどのことである。仮想マシンは、例えばソフトウェアプログラムで動作をエミュレートした仮想のコンピュータなどである。この情報処理装置の一例である情報処理装置２００については、図２を用いて後述する。公平性管理システム１０１は、予測システム１０２で動作する学習済モデルが公平性を担保できているかを監視するシステムである。学習済モデルは、学習モデルを学習用データで学習させることで作成される。学習済モデルは、機械学習により作成されたモデルである。
　ここで、公平性とは、例えば、学習済モデルを運用して予測結果を受け取るユーザー、及び実際に予測結果に基づくサービス提供を受けるユーザーにとって公平であるかどうかという観点である。また、公平性とは、例えば、学習済モデルが実際に運用される国、及び環境における、制度、慣習、及び文化に基づく基準に対して公平であるかどうかという観点である。つまり、公平性を判断するための基準は、利用者、及び利用環境に応じて変化する可能性がある。
　そして、本実施例において、学習済モデルの予測結果を用いたアウトプットについて、そのような公平性が担保されるということは、そのような基準に対しての公平さを満たしている状態であるといえる。なお、公平性を判断するための基準は、例えば、学習済モデルを運用するユーザーなどが設定することができる。
　予測システム１０２は、公平性管理システム１０１からの要求を受けて、図３（Ｂ）を参照して後述する学習済モデル３４１を用いて予測を行うシステムである。業務システム１０３は、ユーザーからの申請内容に対してローンの審査を行うシステムである。ネットワーク１０４は、インターネットなどのネットワークであり、特に種類を問わない。公平性管理システム１０１、予測システム１０２、及び業務システム１０３は、ネットワーク１０４を介して、それぞれ同士で通信を行うことができる。
＜情報処理装置の内部構成＞
　図２は、図１に示したシステム１００を構成する情報処理装置の内部構成の一例を示すブロック図である。
　図１に示した公平性管理システム１０１、予測システム１０２、及び業務システム１０３のそれぞれは、図２の情報処理装置２００によって構成される。
　情報処理装置２００は、本実施例に係るシステム１００の動作を制御するプログラムを実行するＣＰＵ２０１を有する。ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。情報処理装置２００は、システムバス２０４を有する。ＣＰＵ２０１は、システムバス２０４に接続される各ハードウェアを総括的に制御する。情報処理装置２００は、ＨＤＤ２１０及びディスクコントローラー２０９を有する。ＨＤＤは、Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅの略称である。ＨＤＤ２１０は、記憶装置の一例であり、ここでは大容量記憶装置である。ＨＤＤ２１０は、ＣＰＵ２０１で実行されるプログラムを記憶する。ディスクコントローラー２０９は、ＨＤＤ２１０を制御する。
　情報処理装置２００は、メモリー２０２を有する。メモリー２０２は、ＣＰＵ２０１の主メモリー、及びワークエリア等として機能する。情報処理装置２００は、ＮＩＣ２０３を有する。ＮＩＣは、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略称である。ＮＩＣ２０３は、ネットワーク１０４を介して、ネットワーク１０４に接続された他のノードと双方向でデータを送受信する。情報処理装置２００は、キーボード２０６及びキーボードコントローラー２０５を有する。ユーザーは、キーボード２０６を操作して情報処理装置２００に対する指示入力を行う。キーボードコントローラー２０５は、キーボード２０６による指示入力を受け付ける制御を行う。なお、情報処理装置２００は、その役割によっては、キーボードコントローラー２０５及びキーボード２０６を有しない構成でもよい。情報処理装置２００は、ディスプレイ２０８及びディスプレイコントローラー２０７を有する。ディスプレイ２０８は、液晶ディスプレイなどで構成される表示モジュールである。ディスプレイコントローラー２０７は、ディスプレイ２０８に表示する制御を行う。なお、情報処理装置２００は、その役割によっては、ディスプレイ２０８及びディスプレイコントローラー２０７を有しない構成でもよい。
＜公平性管理システムの機能構成＞
　図３（Ａ）は、図１に示した公平性管理システム１０１の機能構成の一例を示すブロック図である。
　公平性管理システム１０１は、プレゼンテーション部３０１、公平性管理部３０２、閾値格納部３０３、予測結果格納部３０４、再学習部３０５、フィードバックデータ格納部３０６、及び通信部３０７を有する。図３（Ａ）に示す公平性管理システム１０１が有する各構成は、公平性管理システム１０１のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。
　プレゼンテーション部３０１は、公平さを示す閾値を設定するＵＩを生成するためのソフトウェアモジュールである。ＵＩは、Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅの略称である。公平さを示す閾値を設定するＵＩについては、図４を用いて後述する。
　公平性管理部３０２は、学習済モデル及び学習モデルが公平性を担保できているかを判断するソフトウェアモジュールである。公平性を担保できているかを判断する処理については、図７及び図８を用いて後述する。
　閾値格納部３０３は、表１を用いて後述する閾値管理テーブルを格納するソフトウェアモジュールである。
　予測結果格納部３０４は、表２を用いて後述する予測結果管理テーブル、及び表３を用いて後述する予測結果統計テーブルを格納するソフトウェアモジュールである。
　再学習部３０５は、本番で運用されている後述する予測システム１０２の学習済モデル３４１と同じ学習状態の学習済モデルを学習モデルとして再学習させるソフトウェアモジュールである。
　フィードバックデータ格納部３０６は、表４を用いて後述するフィードバックデータ管理テーブルを格納するソフトウェアモジュールである。
　通信部３０７は、ネットワーク１０４を介して、予測システム１０２、及び業務システム１０３と通信するためのソフトウェアモジュールである。
＜予測システムの機能構成＞
　図３（Ｂ）は、予測システム１０２の機能構成の一例を示すブロック図である。
　予測システム１０２は、学習済モデル３４１、学習済モデル差し替え部３４２、及び通信部３４３を有する。図３（Ｂ）に示す予測システム１０２が有する各構成は、予測システム１０２のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。
　学習済モデル３４１は、対象者の年齢、性別、収入、及び勤続年数などの入力データを基にローンの承認可否を判断して予測結果を出力するソフトウェアモジュールである。
　学習済モデル差し替え部３４２は、学習済モデル３４１を差し替えるソフトウェアモジュールである。
　通信部３４３は、ネットワーク１０４を介して、公平性管理システム１０１、及び業務システム１０３と通信するためのソフトウェアモジュールである。予測システム１０２は、公平性管理システム１０１と通信し、業務システム１０３とは通信しないものであってもよい。
＜業務システムの機能構成＞
　図３（Ｃ）は、業務システム１０３の機能構成の一例を示すブロック図である。
　業務システム１０３は、プレゼンテーション部３７１、ロジック部３７２、及び通信部３７３を有する。図３（Ｃ）に示す業務システム１０３が有する各構成は、業務システム１０３のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。
　プレゼンテーション部３７１は、ユーザーからの申請内容を入力して、ローンの承認可否を決定するためのＵＩを生成するためのソフトウェアモジュールである。プレゼンテーション部３７１が生成するＵＩについては、図５を用いて後述する。
　ロジック部３７２は、プレゼンテーション部３７１から渡されたデータを処理するソフトウェアモジュールである。
　通信部３７３は、ネットワーク１０４を介して、公平性管理システム１０１、及び予測システム１０２と通信するためのソフトウェアモジュールである。業務システム１０３は、公平性管理システム１０１と通信し、予測システム１０２とは通信しないものであってもよい。
＜公平性管理システムが管理するテーブル＞
　表１から表４は、公平性管理システム１０１が管理するテーブルの例を示す表である。
Figure JPOXMLDOC01-appb-T000001
　表１は、閾値管理テーブルの一例を示す表である。閾値管理テーブルは、閾値格納部３０３に格納される。閾値管理テーブルにおいては、１つのレコードが１つの閾値情報を示している。閾値管理テーブルは、閾値管理ＩＤ、項目、監視対象の値、比較対象の値、閾値、及び期待の結果の各列を有する。
　閾値管理ＩＤは、閾値情報を一意に識別するためのＩＤである。
　項目は、公平性管理システム１０１が公平性を担保するために監視する入力データの項目である。例えば、表１の１行目においては、性別が監視する項目であることを示している。公平性を担保するために監視する入力データの項目としては、性別、国籍、地域性、学歴、人種、年齢、及び収入などが挙げられる。
　監視対象の値は、学習済モデル３４１の偏りにより不利になっていないかを監視する値を示している。例えば、表１の１行目においては、不利になっていないかを監視する値が女性であることを示している。監視する値である「女性」は、第１の入力値の一例である。性別を「女性」とした入力データを用いた学習済モデル３４１の予測結果が第１の予測結果である。
　比較対象の値は、監視対象の値の列の値が不利になっていないかを判断するための比較対象の値を示している。例えば、表１の１行目においては、比較対象の値が男性であることを示している。比較対象の値である「男性」は、第２の入力値の一例である。
　閾値は、どの程度であれば公平性を担保できるかを示す閾値である。例えば、表１の１行目においては、閾値が０．９であることを示している。
　期待の結果は、学習済モデル３４１の予測結果が何であれば有利となるのかを示している。例えば、表１の１行目においては、予測結果が承認であれば有利になることを示している。
　つまり、表１の１行目の閾値管理ＩＤがＦ００１である閾値情報は、入力データの性別の項目において、女性の承認率／男性の承認率＜０．９であれば学習済モデル３４１に偏りが生じており、女性が不利になっていると判断することを示している。
Figure JPOXMLDOC01-appb-T000002
　表２は、予測結果テーブルの一例を示す表である。予測結果テーブルは、予測結果格納部３０４に格納される。予測結果テーブルにおいては、１つのレコードが１つの予測結果情報を示している。予測結果テーブルは、予測ＩＤ、性別、年齢、収入、及び予測結果の各列を有する。
　予測ＩＤは、予測結果情報を一意に示すＩＤである。
　性別、年齢、及び収入は、公平性管理システム１０１から予測システム１０２に対して予測を依頼したときの入力データの項目を示している。予測結果テーブルは、この他に、勤続年数などの入力データの項目も有してもよい。
　予測結果は、予測システム１０２が予測した結果を示している。
　業務システム１０３が、公平性管理システム１０１を介して、予測システム１０２にローンの承認可否を予測依頼する処理については、図６を用いて後述する。
Figure JPOXMLDOC01-appb-T000003
　表３は、予測結果統計テーブルの一例を示す表である。予測結果統計テーブルは、予測結果格納部３０４に格納される。予測結果統計テーブルにおいては、１つのレコードが１つの予測結果統計情報を示している。予測結果統計テーブルは、項目、値、申請数、及び承認数の各列を有する。
　項目は、統計をとった入力データの項目を示している。
　値は、統計をとった入力データの値を示している。
　申請数は、予測システム１０２に予測を依頼した数を示している。
　承認数は、予測システム１０２が予測結果を承認として返してきた数を示している。
　例えば、表３の１行目においては、性別が女性である申請は１００件であり、予測システム１０２は、そのうちの４０件を承認と予測したことを示している。
Figure JPOXMLDOC01-appb-T000004
　表４は、フィードバックデータ管理テーブルの一例を示す表である。フィードバックデータ管理テーブルは、フィードバックデータ格納部３０６に格納される。フィードバックデータ管理テーブルにおいては、１つのレコードが１つのフィードバックデータを示している。フィードバックデータは、業務システム１０３から公平性管理システム１０１に送信される情報であり、その処理については図６を用いて後述する。フィードバックデータ管理テーブルは、フィードバックデータＩＤ、性別、年齢、収入、及び最終結果の各列を有する。
　フィードバックデータＩＤは、フィードバックデータを一意に識別するＩＤである。
　性別、年齢、及び収入は、業務システム１０３から公平性管理システム１０１に対して予測を依頼したときの入力データの項目を示している。フィードバックデータ管理テーブルは、この他に、勤続年数などの入力データの項目も有してもよい。
　最終結果は、業務システム１０３で承認可否を決定した結果を示している。
＜公平性管理システムのＵＩ＞
　図４は、公平性管理システム１０１のプレゼンテーション部３０１が生成するＵＩの一例である。本ＵＩは、例えば、公平性管理システム１０１の利用者が使用するパソコンのブラウザからのリクエストに応じてプレゼンテーション部３０１が生成し、そのパソコンのブラウザに表示される。パソコンは、パーソナルコンピュータの略称である。このパソコンは、ネットワーク１０４に接続され、公平性管理システム１０１と通信可能である。このパソコンは、公平性管理システム１０１と別の構成であってもよいし、公平性管理システム１０１を構成するものであってもよい。
　公平性管理システム１０１に接続されたパソコンのブラウザは、閾値情報設定画面４００を表示する。閾値情報設定画面４００は、プルダウン４０１、プルダウン４０２、プルダウン４０３、テキストボックス４０４、プルダウン４０５、ボタン４０６、及びボタン４０７を有する。
　プルダウン４０１は、公平性管理システム１０１が公平性を担保するために監視する入力データの項目（表１の項目に対応）を設定するためのプルダウンである。
　プルダウン４０２は、学習済モデル３４１の偏りにより不利になっていないかを監視する値（表１の監視対象の値に対応）を設定するプルダウンである。
　プルダウン４０３は、プルダウン４０２で設定した監視する値が不利になっていないかを判断するための比較対象の値（表１の比較対象の値に対応）を設定するためのプルダウンである。
　テキストボックス４０４は、どの程度であれば公平性を担保できるかを示す値（表１の閾値に対応）を設定するためのテキストボックスである。
　プルダウン４０５は、学習済モデル３４１の予測結果が何であれば有利となるのかを示す結果（表１の期待の結果に対応）を設定するためのプルダウンである。
　ボタン４０６は、閾値情報設定画面４００で入力された内容で、閾値情報を設定するためのボタンである。プレゼンテーション部３０１は、パソコンのブラウザからのリクエストによってボタン４０６が押下されたことを検知すると、閾値格納部３０３を介して表１に示した閾値管理テーブルに、閾値情報設定画面４００で入力された閾値情報を保存する。
　ボタン４０７は、閾値情報の設定をキャンセルするためのボタンである。
＜ローン申請の審査処理＞
　図５、図６、及び図７を用いて、業務システム１０３が、公平性管理システム１０１及び予測システム１０２と連携して、ローンの申請を審査する処理について説明する。
　図５は、業務システム１０３のプレゼンテーション部３７１が生成するＵＩの一例である。本ＵＩは、例えば、ローンの申請を審査する担当者が使用するパソコンのブラウザからのリクエストに応じてプレゼンテーション部３７１が生成し、そのパソコンのブラウザに表示される。このパソコンは、ネットワーク１０４に接続され、業務システム１０３と通信可能である。このパソコンは、業務システム１０３と別の構成であってもよいし、業務システム１０３を構成するものであってもよい。
　業務システム１０３に接続されたパソコンのブラウザは、ローン審査画面５００を表示する。ローン審査画面５００は、テキストボックス５０１、テキストボックス５０２、プルダウン５０３、プルダウン５０４、プルダウン５０５、ボタン５０６、プルダウン５０７、ボタン５０６、ボタン５０８、及びボタン５０９を有する。
　テキストボックス５０１は、ローンの申請者（ローン審査の対象者）の氏名を入力するためのテキストボックスである。
　テキストボックス５０２は、ローンの申請者の住所を入力するためのテキストボックスである。
　プルダウン５０３は、ローンの申請者の性別を設定するためのプルダウンである。
　プルダウン５０４は、ローンの申請者の年齢を設定するためのプルダウンである。
　プルダウン５０５は、ローンの申請者の収入を設定するためのプルダウンである。
　ローン審査画面５００は、その他、勤続年数などのローンの申請者の情報を入力するコントロールを有してもよい。ここで、コントロールとは、例えば、テキストボックス、プルダウン、又はボタンのようなＵＩ部品を指す。
　ボタン５０６は、ローン審査画面５００で設定されているローンの申請者の情報で承認可否を予測するためのボタンである。ボタン５０６が押下されると、これを受けた業務システム１０３は、図６を用いて後述する処理を実行する。
　プルダウン５０７は、ローンの承認可否を設定するためのプルダウンである。ボタン５０６が押下されて予測が行われると、その予測結果がプルダウン５０７に設定される。
　ボタン５０８は、ローン審査画面５００で入力されている内容でローン承認可否を決定するためのボタンである。
　ボタン５０９は、ローンの審査をキャンセルするためのボタンである。
　図６は、ローンの審査の予測依頼から審査の最終結果を公平性管理システム１０１にフィードバックするまでの業務システム１０３、公平性管理システム１０１、及び予測システム１０２の処理を示したシーケンス図である。本処理は、パソコンのブラウザからのリクエストによりローン審査画面５００のボタン５０６が押下されたことを、業務システム１０３のプレゼンテーション部３７１が検知すると開始する。
　ステップＳ６０１で、業務システム１０３の通信部３７３は、ローン審査画面５００で設定されていたローンの申請者の情報を入力データとして、公平性管理システム１０１にローン審査の予測を依頼する。ここで入力データとして用いるのは、ローン審査画面５００で設定されていたローンの申請者の情報すべてである必要はなく、予測システム１０２の学習済モデル３４１が必要とするデータのみでよい。例えば、本実施例では、氏名及び住所は入力データに含めず、性別、年齢、収入、及び勤続年数などを入力データに含める。本実施例で示すのはあくまで一例であり、必要な入力データは、学習データの分析や、学習モデルの学習で、次元削減などの調整を行ったりしていく中で決定する。学習済モデル３４１は第１のモデルの一例である。
　ステップＳ６０２で、公平性管理システム１０１は、予測依頼書き換え処理を実行する。ここで、図７のフローチャートを用いて公平性管理システム１０１が処理する予測依頼書き換え処理について説明する。図７は、予測依頼書き換え処理のフローチャートである。
　ステップＳ７０１で、閾値格納部３０３は、表１で示した閾値管理テーブルから閾値情報を１件取得して、ステップＳ７０２に遷移する。
　ステップＳ７０２で、公平性管理部３０２は、閾値情報を取得できたかを判断する。公平性管理部３０２は、閾値情報を取得できた場合は、ステップＳ７０３に遷移する。公平性管理部３０２は、閾値情報を取得できなかった場合は、すべての閾値情報についての確認処理が終了したと判断して処理を終了する。
　ステップＳ７０３で、公平性管理部３０２は、予測結果格納部３０４を介して、ステップＳ７０２で取得した閾値情報の該当項目に一致する予測結果統計情報を、表３で示した予測結果統計テーブルから取得する。例えば、ステップＳ７０２で取得した閾値情報の閾値管理ＩＤがＦ００１であった場合、項目の列の値は性別（gender）である。このため、公平性管理部３０２は、予測結果統計テーブルのレコードのうち、項目の列が性別（gender）である１行目と２行目のレコードを取得する。そして、公平性管理部３０２は、取得した予測結果統計情報から比率を計算し、ステップＳ７０４に遷移する。
　例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、比率は、女性の承認率／男性の承認率となる。予測結果統計情報から女性の申請数は１００であり承認数は４０であるため、女性の承認率は０．４である。また、男性の申請数は２００であり承認数は１００であるため、男性の承認率は０．５である。そのため、比率は０．８となる。
　予測結果の「承認」は、予測結果が所定の予測結果であることの一例である。申請数は、第１の入力値を含む入力を用いて第１のモデルにより予測した予測総数の一例である。承認数は、第１の入力値を含む入力を用いて第１のモデルにより予測した予測結果が所定の予測結果であった回数の一例である。女性の承認率は、第１の割合の一例である。男性の承認率は、第２の割合の一例である。
　ステップＳ７０４で、公平性管理部３０２は、ステップＳ７０３で計算した比率が、ステップＳ７０１で取得した閾値情報の閾値を下回っているかを判断する。例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、表１の閾値の列の値は０．９であり、ステップＳ７０３で計算した比率は０．８であるため、公平性管理部３０２は、比率が閾値を下回っており、偏りが生じている判断する。公平性管理部３０２は、比率が閾値を下回っている場合は、ステップＳ７０５に遷移する。公平性管理部３０２は、比率が閾値を下回っていない場合は、公平性が担保されていると判断してステップＳ７０１に遷移する。「比率が閾値を下回っていること」は、所定の条件の一例である。「比率が閾値を下回っている場合」は、予測の結果が所定の条件を満たす場合の一例である。「比率が閾値を下回っていない場合」は、予測の結果が所定の条件を満たさない場合の一例である。所定の条件は、例えば、第１の入力値を含む入力を用いた第１のモデルによる予測の結果と、第２の入力値を含む入力を用いた第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である。
　ステップＳ７０５で、公平性管理部３０２は、ステップＳ６０１で受信した予測依頼の入力データの該当の項目を、閾値情報の比較対象の値に書き換えて、ステップＳ７０１に遷移する。例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、性別が女性である入力データについて性別を男性に書き換える。この書き換える処理は、置換手段の一例である。公平性管理部３０２がステップＳ７０４で比率と閾値から判断したように、予測システム１０２の学習済モデル３４１には偏りがあり、学習済モデル３４１によれば女性より男性の方が承認と予測しやすい。そのため、本実施例では、ステップＳ７０５のように書き換えを行うことで、予測システム１０２の学習済モデル３４１が承認と判断しやすくする。
　図６の説明に戻る。ステップＳ６０３で、公平性管理システム１０１の通信部３０７は、予測システム１０２に予測依頼をする。なお、ここでの予測依頼の入力データは、ステップＳ６０１での予測依頼の入力データとは異なることがある。これは、ステップＳ７０５の処理で予測依頼の入力データの書き換えが行われることがあるためである。
　ステップＳ６０４で、予測システム１０２の学習済モデル３４１は、ステップＳ６０３で受信した予測依頼の入力データを用いて予測を行い、承認可否を判断する。性別を「男性」に書き換えた入力データを用いた学習済モデル３４１の予測結果が第２の予測結果である。
　ステップＳ６０５で、予測システム１０２の通信部３４３は、ステップＳ６０４で予測した予測結果を公平性管理システム１０１に応答する。
　ステップＳ６０６で、公平性管理システム１０１の予測結果格納部３０４は、ステップＳ６０３で予測依頼した入力データとステップＳ６０５で受信した予測結果を、予測結果情報として、表２で示した予測結果テーブルにレコードを追加する。
　ステップＳ６０７で、公平性管理システム１０１の予測結果格納部３０４は、ステップＳ６０３で予測依頼した入力データとステップＳ６０５で受信した予測結果から表３で示した予測結果統計テーブルを更新する。例えば、入力データの性別の項目の値が女性で、予測結果が承認であった場合、予測結果格納部３０４は、表３の予測結果統計テーブルの１行目の申請数と承認数をそれぞれ１件加算する。
　ステップＳ６０８で、公平性管理システム１０１の通信部３０７は、ステップＳ６０５で受信した予測結果を業務システム１０３に応答する。
　ステップＳ６０９で、業務システム１０３のプレゼンテーション部３７１は、ステップＳ６０８で受信した予測結果をローン審査画面５００のプルダウン５０７に表示するＵＩを生成する。ローンの申請を審査する担当者は、予測結果をそのまま受け入れる場合、ブラウザに表示されるローン審査画面５００のボタン５０８を押下して確定する。ローンの申請を審査する担当者は、予測結果と異なる結果としたい場合は、プルダウン５０７を操作して選択肢を変更してからボタン５０８を押下して確定する。業務システム１０３のプレゼンテーション部３７１が、ボタン５０８を押下されたことを検知するとステップＳ６１０に遷移する。
　ステップＳ６１０で、業務システム１０３の通信部３７３は、ロジック部３７２を介してローン審査画面５００で入力されている内容をフィードバックデータとして、公平性管理システム１０１に送信する。
　ステップＳ６１１で、公平性管理システム１０１のフィードバックデータ格納部３０６は、ステップＳ６１０で受信したフィードバックデータを表４で示したフィードバックデータ管理テーブルに格納する。この処理は、第２の予測結果に対するフィードバックを受け付ける受付手段の一例である。このように、ステップＳ７０４で学習済モデル３４１が公平であるかを判断して、ステップＳ７０５で予測依頼の内容を書き換えることによって、すぐに公平性を担保できるようになる。
　ここで、表２で示した予測結果テーブルと表４で示したフィードバックデータ管理テーブルについてさらに説明する。表２の予測結果テーブルには、ステップＳ６０３の予測依頼の入力データが格納される。このため、予測結果テーブルには、ステップＳ６０２の処理により書き換えられた後の予測依頼の入力データが格納される。一方、表４のフィードバックデータ管理テーブルには、ステップＳ６０１の予測依頼の入力データが格納される。この入力データはステップＳ６０２の処理よりも前の入力データであるため、フィードバックデータ管理テーブルには、ステップＳ６０２の処理による書き換え前の入力データが格納される。
＜学習済モデルの差し替え処理＞
　次に図８、及び図９を用いて、公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替えるまでの処理について説明する。
　図８は、公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替える処理を示したフローチャートである。図８で示すフローチャートの処理は、表４のフィードバックデータ管理テーブルに一定件数格納されたときに実行される。本実施例では一定件数としたが、あくまで一例であり、例えば図８の処理を定期的に実行するようにしてもよい。図８のステップＳ８０１からステップＳ８１１の処理は、公平性管理システム１０１で実行される処理である。図８のステップＳ８５１、及びステップＳ８５２の処理は、予測システム１０２で実行される処理である。
　ステップＳ８０１で、フィードバックデータ格納部３０６は、表４のフィードバック管理テーブルからフィードバックデータを一定件数取得して、ステップＳ８０２に遷移する。
　ステップＳ８０２で、再学習部３０５は、ステップＳ８０１で取得したフィードバックデータを学習用データと検証用データに分割してステップＳ８０３に遷移する。検証用データとは、学習モデルが、学習済モデルとしての条件を満たしているかを検証するためのデータであり、一般的に検証用データは学習には使用しないようにして、学習用データとは別に用意する。
　ステップＳ８０３で、再学習部３０５は、学習用データの水増しを行い、ステップＳ８０４に遷移する。本実施例によれば、学習用データの水増しを行うことで、フィードバックデータが大量に貯まる前であっても再学習させることができ、再学習した学習済モデルをより早く作成することができる。ステップＳ８０３の処理の詳細については、図９を用いて後述する。なお、ステップＳ８０３の処理は、必要に応じて行う処理であり、規定量のフィードバックデータが集まっているならば、水増しなしに、再学習を行ってもよい。
　ステップＳ８０４で、再学習部３０５は、予測システム１０２の学習済モデル３４１と同じ学習状態の学習済モデルを学習モデルとして、ステップＳ８０３で水増しした学習用データを用いて再学習してステップＳ８０５に遷移する。なお、学習用データに用いるフィードバックデータには正解データである最終結果が含まれるため、本実施例では学習用データの一部を教師データとして、再学習は教師あり学習であるＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を用いる。なお、本発明において、ＳＶＭはあくまで一例であり、その他、二項分類を行うアルゴリズムやニューラルネットワークなど様々な機械学習アルゴリズムが適用可能である。
　ステップＳ８０５で、再学習部３０５は、ステップＳ８０２で作成した検証用データを入力データとして、ステップＳ８０４で再学習した学習モデルで予測を行い、ステップＳ８０６に遷移する。この再学習した学習モデルは、第２のモデルの一例である。
　ステップＳ８０６で、再学習部３０５は、ステップＳ８０５の処理で出力された予測結果と入力データから予測結果統計情報を作成し、ステップＳ８０７に遷移する。
　ステップＳ８０７で、閾値格納部３０３は、表１で示した閾値管理テーブルから閾値情報を１件取得して、ステップＳ８０８に遷移する。
　ステップＳ８０８で、公平性管理部３０２は、閾値情報を取得できたかを判断する。公平性管理部３０２は、閾値情報を取得できた場合は、ステップＳ８０９に遷移する。公平性管理部３０２は、閾値情報を取得できなかった場合は、すべての閾値情報について公平性を担保できる状態になっていると判断してステップＳ８１１に遷移する。
　ステップＳ８０９で、公平性管理部３０２は、ステップＳ８０６で作成した予測結果統計情報から比率を計算しステップＳ８１０に遷移する。比率の計算方法はステップＳ７０３と同じである。
　ステップＳ８１０で、公平性管理部３０２は、ステップＳ８０９で計算した比率が、ステップＳ８０７で取得した閾値情報の閾値を下回っているかを判断する。この判断処理は、ステップＳ７０４の処理と同じ処理である。この判断処理は、第２のモデルによる検証用の入力を用いた予測の結果が、所定の条件を満たすか否かを判定する判定手段の一例である。公平性管理部３０２は、比率が閾値を下回っている場合は、再学習した学習モデルは、まだ公平性を担保できる状態ではないと判断して処理を終了する。公平性管理部３０２は、比率が閾値を下回っていない場合は、再学習した学習モデルはステップＳ８０７で取得した閾値情報については公平性が担保されていると判断してステップＳ８０７に遷移する。
　ステップＳ８１１で、再学習部３０５は、再学習した学習モデルを学習済モデルとして、通信部３０７を介して、予測システム１０２に送信し、予測システム１０２に対して学習済モデル３４１の差し替えの要求を行い、処理を終了する。
　ステップＳ８５１で、予測システム１０２の通信部３４３は、学習済モデル３４１の差し替えの要求があったかを監視する。予測システム１０２は、学習済モデル３４１の差し替えの要求があった場合は、ステップＳ８５２に遷移する。予測システム１０２は、学習済モデル３４１の差し替えの要求がなかった場合は、ステップＳ８５１で学習済モデル３４１の差し替えの要求の監視を続ける。
　ステップＳ８５２で、学習済モデル差し替え部３４２は、ステップＳ８８５１で受信した学習済モデルと予測システム１０２の学習済モデル３４１とを差し替えて処理を終了する。この差し替える処理は、第１のモデルを、第２のモデルに差し替える差し替え手段の一例である。このように本実施例によれば、学習済モデル３４１を、フィードバックデータを用いて再学習して作成した、公平性を担保できる状態の学習済モデルに差し替えることができる。この再学習して作成した、公平性を担保できる状態の学習済モデルに差し替える処理は、第２のモデルを作成する作成手段の一例である。
　図９を用いて、公平性管理システム１０１が処理する学習用データの水増し処理（ステップＳ８０３）の詳細について説明する。図９は、学習用データの水増し処理のフローチャートである。この水増し処理は、第１の入力値を含む入力と第２の予測結果とからなる学習用データに基づき、当該入力の少なくとも一部の値が重複する学習用データを生成する生成手段の一例である。
　ステップＳ９０１で、再学習部３０５は、追加の学習用データを空で定義してステップＳ９０２に遷移する。
　再学習部３０５は、ステップＳ９０２からステップＳ９０６までの処理を、学習用データの数だけ繰り返し行う。
　ステップＳ９０３で、再学習部３０５は、フィードバックデータから作成した学習用データが、ステップＳ７０５の処理で予測依頼が書き換えられたものであるかを判断する。再学習部３０５は、予測依頼が書き換えられたものであった場合は、ステップＳ９０４に遷移する。再学習部３０５は、予測依頼が書き換えられたものでなかった場合は、ステップＳ９０６に遷移する。
　ステップＳ９０４で、再学習部３０５は、学習用データの水増しを行い、ステップＳ９０５に遷移する。この水増しでは、書き換えられた項目の値は固定して、その他の値を変更する。例えば、表４のフィードバックデータＩＤがＤ００２であるレコードが学習用データである場合、ステップＳ７０５の処理で書き換えが行われた性別の女性は固定して、他の項目の値を書き換えたデータを作成し、水増しした学習用データとして用いる。書き換える他の項目の値の例として、年齢を３０歳にしたり、収入を６２０万円にしたりすることが挙げられる。ステップＳ７０５の処理では公平性を担保するために入力データの書き換えが行われているため、そのフィードバックデータを水増しに使うことで、公平性を担保しやすい学習用データが作成される。
　ステップＳ９０５で、再学習部３０５は、ステップＳ９０４で水増しにより作成された学習用データを追加の学習用データに追加する。
　ステップＳ９０７で、再学習部３０５は、ステップＳ９０５の追加の学習用データを、ステップＳ８０４の再学習で用いる学習用データに追加して、処理を終了する。
　以上、本発明によれば、再学習部３０５は、公平性を担保するために入力データの書き換え、フィードバックデータを用いて公平性を担保できる学習済モデルを作成する。このことで、本発明によれば、すぐに公平性を担保できるようにしつつ、再学習した学習済モデルに自動的に差し替えできる。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１　公平性管理システム
１０２　予測システム
１０３　業務システム

 

Claims (8)

  1. 　機械学習により作成された第１のモデルを管理するシステムであって、
    　第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換手段と、
    　前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存手段と、
    　前記第２の予測結果に対するフィードバックを受け付ける受付手段と、
    　前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成手段と、を有する
    　ことを特徴とするシステム。
  2. 　前記第２のモデルによる検証用の入力を用いた予測の結果が、前記所定の条件を満たすか否かを判定する判定手段をさらに有する
    　ことを特徴とする請求項１に記載のシステム。
  3. 　前記判定手段で前記第２のモデルによる検証用の入力を用いた予測の結果が、前記所定の条件を満たさないと判定された場合に、前記第１のモデルを、前記第２のモデルに差し替える差し替え手段をさらに有する
    　ことを特徴とする請求項２に記載のシステム。
  4. 　前記第２のモデルを作成するために、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データに基づき、当該入力の少なくとも一部の値が重複する学習用データを生成する生成手段をさらに有し、
    　前記作成手段は、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データと、前記生成手段で生成された学習用データと、を用いて機械学習を行うことで前記第２のモデルを作成する
    　ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
  5. 　前記所定の条件は、前記第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、前記第２の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である
    　ことを特徴とする請求項１から４のいずれか１項に記載のシステム。
  6. 　前記第１の入力値を含む入力を用いて前記第１のモデルにより予測した予測結果が所定の予測結果であった回数の、前記第１の入力値を含む入力を用いて前記第１のモデルにより予測した予測総数に対する割合を第１の割合とし、
    　前記第２の入力値を含む入力を用いて前記第１のモデルにより予測した予測結果が前記所定の予測結果であった回数の、前記第２の入力値を含む入力を用いて前記第１のモデルにより予測した予測総数に対する割合を第２の割合とし、
    　前記所定の条件は、前記第１の割合と前記第２の割合との比率に応じた条件である
    　ことを特徴とする請求項５に記載のシステム。
  7. 　機械学習により作成された第１のモデルを管理するシステムで実行される方法であって、
    　第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換工程と、
    　前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存工程と、
    　前記第２の予測結果に対するフィードバックを受け付ける受付工程と、
    　前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成工程と、を有する
    　ことを特徴とする方法。
  8. 　請求項１乃至６のいずれか１項に記載のシステムの各手段としてコンピュータを機能させるためのプログラム。

     
PCT/JP2020/019792 2019-07-08 2020-05-19 システム、方法、及びプログラム WO2021005891A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080049471.5A CN114072821A (zh) 2019-07-08 2020-05-19 系统、方法和程序
US17/568,163 US20220129793A1 (en) 2019-07-08 2022-01-04 System, method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019127056A JP7346110B2 (ja) 2019-07-08 2019-07-08 システム、方法、及びプログラム
JP2019-127056 2019-07-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/568,163 Continuation US20220129793A1 (en) 2019-07-08 2022-01-04 System, method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2021005891A1 true WO2021005891A1 (ja) 2021-01-14

Family

ID=74114186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019792 WO2021005891A1 (ja) 2019-07-08 2020-05-19 システム、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220129793A1 (ja)
JP (1) JP7346110B2 (ja)
CN (1) CN114072821A (ja)
WO (1) WO2021005891A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220500A1 (en) 2022-01-26 2023-08-02 Fujitsu Limited Data modification program, data modification method, and information processing apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023073967A1 (ja) * 2021-10-29 2023-05-04 富士通株式会社 精度判定プログラム、精度判定装置、および精度判定方法
JP2023113047A (ja) 2022-02-02 2023-08-15 富士通株式会社 機械学習プログラム，機械学習方法及び情報処理装置
JP2023176667A (ja) 2022-05-31 2023-12-13 富士通株式会社 判定プログラム、判定装置、および判定方法
JP2024029832A (ja) 2022-08-23 2024-03-07 富士通株式会社 判定プログラム、判定装置、および判定方法
US11928730B1 (en) 2023-05-30 2024-03-12 Social Finance, Inc. Training machine learning models with fairness improvement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172249A (ja) * 2005-12-21 2007-07-05 Fujitsu Ltd 文書分類プログラム、文書分類装置、および文書分類方法
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172249A (ja) * 2005-12-21 2007-07-05 Fujitsu Ltd 文書分類プログラム、文書分類装置、および文書分類方法
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKUI, TAMAKI ET AL.: "Part 4: Implementation / Test; Establishing a method to remove uncertainties in models is a future challenge", NIKKEI SYSTEMS, vol. 310, 14 January 2018 (2018-01-14), pages 62 - 67, ISSN: 1881-1620 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220500A1 (en) 2022-01-26 2023-08-02 Fujitsu Limited Data modification program, data modification method, and information processing apparatus

Also Published As

Publication number Publication date
JP7346110B2 (ja) 2023-09-19
JP2021012593A (ja) 2021-02-04
US20220129793A1 (en) 2022-04-28
CN114072821A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
WO2021005891A1 (ja) システム、方法、及びプログラム
Chien et al. Data-driven innovation to capture user-experience product design: An empirical study for notebook visual aesthetics design
CN111553759A (zh) 一种产品信息推送方法、装置、设备及存储介质
US11429892B2 (en) Recommending sequences of content with bootstrapped reinforcement learning
US9405427B2 (en) Adaptive user interface using machine learning model
CN109815459A (zh) 生成被调整到目标受众词汇的文本内容的目标概要
Himabindu et al. Conformal matrix factorization based recommender system
Saxena et al. Auto-adaptive learning-based workload forecasting in dynamic cloud environment
CN110705719A (zh) 执行自动机器学习的方法和装置
Wei et al. The fairness‐accuracy Pareto front
CN111708682B (zh) 数据预测方法、装置、设备及存储介质
US20180123993A1 (en) Method and apparatus for filtering a plurality of messages
CN111783873A (zh) 基于增量朴素贝叶斯模型的用户画像方法及装置
WO2012034606A2 (en) Multiverse recommendation method for context-aware collaborative filtering
CN103782290A (zh) 建议值的生成
JP2020112967A (ja) データ生成装置、予測器学習装置、データ生成方法、及び学習方法
Hamidi et al. Constructing adaptive configuration dialogs using crowd data
Pise et al. Evolving learners’ behavior in data mining
CN111382874B (zh) 实现线上机器学习模型的更新迭代的方法和装置
US11928560B2 (en) System, method, and storage medium
CN110580648A (zh) 基于人工智能的金融理财信息处理方法及装置
CN111401395B (zh) 一种数据处理方法、终端设备及存储介质
US20190236410A1 (en) Bootstrapping recommendation systems from passive data
US20230401416A1 (en) Leveraging multiple disparate machine learning model data outputs to generate recommendations for the next best action
US11983743B2 (en) Training an artificial intelligence engine for generating models to provide targeted actions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20837460

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20837460

Country of ref document: EP

Kind code of ref document: A1