WO2022264461A1 - 情報処理システム及び情報処理方法 - Google Patents
情報処理システム及び情報処理方法 Download PDFInfo
- Publication number
- WO2022264461A1 WO2022264461A1 PCT/JP2021/048707 JP2021048707W WO2022264461A1 WO 2022264461 A1 WO2022264461 A1 WO 2022264461A1 JP 2021048707 W JP2021048707 W JP 2021048707W WO 2022264461 A1 WO2022264461 A1 WO 2022264461A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- evaluation
- user
- generated data
- data
- information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 255
- 238000013210 evaluation model Methods 0.000 claims abstract description 59
- 238000010801 machine learning Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 abstract description 11
- 238000013528 artificial neural network Methods 0.000 description 21
- 238000011157 data evaluation Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Definitions
- this disclosure relates to an information processing system and an information processing method that perform processing related to evaluation of data generated using a machine learning model.
- Machine learning is a technology that allows computers to learn large amounts of data and automatically build models and algorithms that perform operations such as data classification and prediction. For example, through machine learning, it is possible to obtain a discriminative model that analyzes data such as images, voices, and texts, and a generative model that newly generates data such as images, voices, and texts.
- a model is constructed by, for example, a neural network.
- DNN deep neural networks
- GAN Generative Adversarial Network
- a GAN consists of a generator that generates data and a discriminator that discriminates the truth of the data. Due to mutual learning between the generator and the discriminator, the generator cannot discriminate the truth by the discriminator. data can be generated.
- GAN data that reflects the user's subjectivity and preferences may be required.
- a discriminator in GAN can judge the truth of data, but cannot evaluate the user's subjectivity. For this reason, the GAN cannot generate data that reflects the user's subjectivity and preferences.
- LPIPS Learning Perceptual Image Patch Similarity
- index for evaluating the image quality of a generated image, but it is not an index that indicates whether or not a generated image reflects the user's subjectivity and preferences.
- An object of the present disclosure is to provide an information processing system and an information processing method that perform processing related to subjective evaluation of data generated using a machine learning model.
- the present disclosure has been made in consideration of the above problems, and the first aspect thereof is a system feedback acquisition unit that acquires generated data and evaluation information based on an evaluation model for the generated data; a system feedback presentation unit that presents the generated data and the evaluation information; a user feedback acquisition unit that acquires a user evaluation of the generated data or the evaluation information; an output unit that outputs the user evaluation acquired by the user feedback acquisition unit; It is an information processing system including
- system refers to a logical assembly of multiple devices (or functional modules that implement specific functions), and each device or functional module is in a single housing. It does not matter whether or not In other words, both a single device consisting of a plurality of parts or functional modules and an assembly of a plurality of devices correspond to a "system.”
- the information processing system includes an interface presentation unit that presents an interface for inputting the user evaluation.
- the system feedback acquisition unit acquires the generated data and the evaluation information from one or more devices that generate data using the generative model and evaluate the generated data using the evaluation model.
- the output unit outputs the user evaluation to a device that updates each of a generation model for generating data and an evaluation model for evaluating generated data.
- a second aspect of the present disclosure is a system feedback acquisition step of acquiring generated data and evaluation information based on an evaluation model for the generated data; a system feedback presenting step of presenting the generated data and the evaluation information; a user feedback obtaining step of obtaining a user evaluation of the generated data or the evaluation information; an output step of outputting the user evaluation obtained in the user feedback obtaining step; It is an information processing method having
- a third aspect of the present disclosure is an evaluation unit that generates evaluation information for the generated data using an evaluation model; an acquisition unit that acquires user evaluation information for the evaluation information; an evaluation model updating unit that updates the evaluation model based on the user evaluation information; It is an information processing system including
- An information processing apparatus includes a generating unit that generates data using a generative model, and a generative model updating unit that updates the generative model based on the user evaluation information, and the evaluating unit includes: Generate evaluation information for the data generated by the generator.
- the evaluation unit outputs the evaluation information to the information terminal.
- the obtaining unit obtains, from the information terminal, user evaluation information input through an interface presented on the information terminal.
- a fourth aspect of the present disclosure is an evaluation step of generating evaluation information for the generated data using an evaluation model; an obtaining step of obtaining user evaluation information for the evaluation information; an evaluation model update step of updating the evaluation model based on the user evaluation information; It is an information processing method having
- an information processing system and information processing method for obtaining a user's evaluation of a simulated subjective evaluation by a machine learning model, and information for generating a subjective evaluation of subjective data generated using the machine learning model using the machine learning model.
- FIG. 1 is a diagram showing a configuration example of a data generation system 100.
- FIG. 2 is a flow chart showing data generation, evaluation, and learning procedures in the data generation system 100.
- FIG. 3 shows the generator 101 in the data generation phase.
- FIG. 4 shows the generator 101 and the evaluator 102 in the evaluation phase.
- FIG. 5 is a diagram showing a generative model and an evaluation model in the model update phase.
- FIG. 6 is a diagram showing a configuration example (first example) of an interface used for system feedback and user feedback.
- FIG. 7 is a diagram showing a configuration example (second example) of an interface used for system feedback and user feedback.
- FIG. 8 is a diagram showing a configuration example (third example) of an interface used for system feedback and user feedback.
- FIG. 9 is a diagram showing a configuration example (fourth example) of an interface used for system feedback and user feedback.
- FIG. 10 is a diagram showing a configuration example (fifth example) of an interface used for system feedback and user feedback.
- FIG. 11 is a diagram showing a configuration example (sixth example) of an interface used for system feedback and user feedback.
- FIG. 12 is a diagram showing a configuration example (seventh example) of an interface used for system feedback and user feedback.
- FIG. 13 is a diagram showing routes for transferring data between phases.
- FIG. 14 is a diagram showing a specific data flow between phases.
- FIG. 15 is a diagram showing a configuration example of an information processing system 1500. As shown in FIG.
- the present disclosure relates to technology for generating data reflecting user subjectivity and preferences using a machine learning model.
- the data is various, such as images, sounds (including music), and texts.
- sounds including music
- texts For convenience, an embodiment in which data is limited to images will be described below.
- GAN is a technology that generates data whose authenticity is difficult to identify through mutual learning between a generator that generates data and a discriminator that identifies the truth of the generated data.
- the present disclosure is a technique of generating data that reflects the user's subjectivity and preferences by using a generator that generates data and an evaluator that evaluates the generated data based on a specific user's subjectivity.
- FIG. 1 schematically shows a configuration example of a data generation system 100 that generates data that reflects user's subjectivity and preferences.
- the data generation system 100 is composed of a generator 101 that generates an image, and an evaluator 102 that evaluates the image generated by the generator 101 based on user's subjectivity and preferences.
- the generator 101 and the evaluator 102 are machine learning models each composed of a neural network, and set parameters (coefficients of each neuron) acquired during learning to generate images and subjectively evaluate the generated images.
- FIG. 1 shows the generator 101 in the data generation phase and the evaluator 102 in the generated data evaluation phase.
- the generator 101 consists of a neural network in which coefficients obtained during learning are set, inputs random numbers, and outputs a newly generated image.
- the evaluator 102 is composed of a neural network in which coefficients acquired during learning are set, receives an image generated by the generator 101, and outputs a simulated subjective evaluation that estimates a specific user's subjective evaluation of the generated image. do.
- the generator 101 updates the coefficients of the neural network so that the simulated subjective evaluation of the evaluator 102 for its own generated data is better. If the evaluator 102 has a subjective evaluation model created in a form that reflects the user's original subjectivity and preferences, such update processing can generate data that reflects the user's subjectivity and preferences.
- the generator 101 can be trained.
- a neural network is used for modeling the subjective evaluation in the evaluator 102, but there is a problem that the evaluation index is greatly affected by the purpose and individual differences. Therefore, it is desirable to be able to create different subjective evaluation models for different purposes in a short time and at a low cost, and it is even more desirable to provide a method for creating subjective evaluation models in a form that can reflect the subjectivity and preferences of each user.
- the data generated by the generator 101 is cut out for each element, mathematically modeled as an evaluation index, and an interface is provided that allows the user to adjust each evaluation index.
- generated data related to the data generated by the generator 101 is newly generated, subjective evaluation is relatively performed on these generated data, and the result is modeled.
- the data (such as images) generated by the generator 101 has various characteristics. According to the present disclosure, detailed user feedback is provided by the user appropriately adjusting the gain of each feature of the generated data via an interface, and simple user feedback is provided by rating related generated data as good or bad. be able to.
- FIG. 2 shows, in the form of a flowchart, the data generation, evaluation, and learning procedures in the data generation system 100 to which the present disclosure is applied.
- the generator 101 inputs a random number and outputs a newly generated image (step S201).
- the evaluator 102 inputs the image generated by the generator 101 and outputs a simulated subjective evaluation that simulates a specific user's subjective evaluation of the generated image (step S202).
- step S203 the data newly generated by the generator 101 in the data generation phase and the simulated subjective evaluation output by the evaluator 102 for the generated data in the data evaluation phase is presented to the user (step S203).
- the user feeds back the data generated by the generator 101 and the simulated subjective evaluation by the evaluator 102 to the data generation system 100 (step S204).
- the evaluator 102 outputs a simulated subjective evaluation of the generated data as an evaluation index that divides the characteristics of the generated data into multiple elements.
- the user is presented with simulated subjective evaluations for each evaluation index along with the generated data.
- the user feeds back his or her own subjective evaluation of each evaluation index to the data generation system 100 .
- steps S203 and S204 an interface for presenting the generated data and the simulated subjective evaluation to the user and an interface for inputting the user's original subjective evaluation of the generated data are prepared.
- the interface for inputting the user's own subjective evaluation may be an interface for the user to adjust the evaluation index for each element of the simulated subjective evaluation. Details of these interfaces will be given later.
- step S205 the coefficients of each neural network constituting the generator 101 and the evaluator 102 are calculated based on the feedback from the user in the preceding user feedback phase. is updated (step S205).
- FIG. 3 shows the generator 101 in the data generation phase.
- the neural network that constitutes the generator 101 is set with coefficients acquired during learning, inputs random numbers, and outputs newly generated data.
- FIG. 4 shows the evaluator 102 in the generated data evaluation (Data Evaluation) phase.
- the neural network that constitutes the evaluator 102 is set with the coefficients acquired during learning, inputs the generated data of the generator 101, and estimates the user's subjective evaluation of the generated data. Output simulated subjective evaluation.
- Fig. 5 shows the generative model and evaluation model in the model update phase.
- the coefficients of the neural networks constituting the generator 101 and the evaluator 102 are updated (Generator & Evaluator update).
- the coefficients of each neural network are updated based on the user's evaluation (User Feedback) of the data newly generated by the generator 101 .
- the simulated subjective evaluation and user feedback of the evaluator 102 for the data generated by the generator 101 are input into the evaluation model.
- the simulated subjective evaluation is output as an evaluation index obtained by dividing the features of the generated data into multiple elements, and the user feedback is an adjustment of the simulated subjective evaluation for each evaluation index.
- the coefficients of the neural network are updated so that the loss function based on the error with respect to the simulated subjective evaluation user feedback is minimized.
- the evaluator 102 is trained so as to obtain a simulated subjective evaluation that reflects the user's subjectivity and preferences for new data generated by the generator 101 .
- the generator 101 also receives user feedback for the data generated by the generator 101 itself, and updates the coefficients of the neural network so that the user feedback is better. In this way, the generator 101 learns so as to generate data that reflects the user's subjectivity and preferences.
- each phase may be implemented on a single device, the processing of each phase may be distributed and implemented on multiple devices.
- the user feedback phase it is conceivable to implement it in an information terminal (smartphone, tablet, personal computer, etc.) possessed by the user for the convenience of direct input by the user.
- each phase such as data generation, data evaluation, and coefficient updating, handles neural networks and has a large computational load, so it is conceivable to implement it on a device with high computing power on the cloud.
- each phase of data generation by the generator 101 and evaluation by the evaluator 102 is implemented in a first device
- a system feedback phase of presenting generated data and simulated subjective data to a user is implemented in a second device
- a user A data update phase based on feedback may be implemented in the third device.
- the second device that presents the generated data and the simulated subjective data to the user in the system feedback phase and the information terminal that receives the user feedback in the user feedback phase may be the same device.
- the user may operate a mouse, keyboard, touch panel, or the like to provide user feedback.
- the evaluator 102 divides the features of the data generated by the generator 101 into a plurality of elements and performs a simulated subjective evaluation for each element. Then, in the system feedback phase shown in the left half of FIG. (Evaluator Output) is presented to the user at the same time.
- the user feedback phase shown in the right half of FIG. 6 for example, an interface is prepared on the screen of the information terminal used by the user so that the user can adjust the simulated subjective evaluation for each element.
- the user can provide user feedback by adjusting, through the interface, evaluation values of several factors that characterize the generated data presented in the system feedback.
- a screen equipped with interfaces for adjusting the evaluation value a 1 of element 1 and the evaluation value a 2 of element 2, respectively, is presented. The user can change each evaluation value through manual input, operation of up/down cursor buttons, dial operation, or the like.
- the user's subjectivity and preferences can be reflected in detail in the data generation system 100 by using an interface that adjusts multiple elements that characterize generated data.
- the evaluator 102 outputs generated data related to the data generated by the generator 101 as a simulated subjective evaluation.
- “related” means, for example, "evaluated as data intended by the user”.
- the system feedback phase shown in the left half of FIG. 7 the data newly generated by the generator 101 (Generator Output) and the related generated data output by the evaluator 102 (Evaluator Output) are simultaneously presented to the user.
- a prepare an interface for The user can give user feedback by indicating through the interface whether the related generated data presented in the system feedback is the data that the user intends.
- there are prepared ⁇ and ⁇ buttons for the user to evaluate the quality of the related generated data and the user selects one of the buttons through mouse operation or screen touch operation. can do.
- the user's subjectivity and preferences can be easily obtained. 100 can be reflected.
- FIGS. 8 to 12 show specific interface configuration examples for each data type of data generated by the generator 101.
- FIGS. 8 and 9 show specific interface configuration examples when the generator 101 generates a face image
- FIGS. A specific interface configuration example is shown
- FIG. 10 shows a specific interface configuration example when the generator 101 generates advertising content.
- the evaluator 102 divides the features of the face image generated by the generator 101 into a plurality of elements and performs simulated subjective evaluation for each element. Then, in the system feedback phase shown in the left half of FIG. 8, the face image (Generator Output) newly generated by the generator 101 and the features of this face image are separated into a plurality of elements such as skin color and mouth by the evaluator 102. Simultaneously, the user is presented with the simulated subjective evaluation (Evaluator Output) output by the user. Then, in the user feedback phase shown in the right half of FIG.
- an interface is prepared for the user to adjust the simulated subjective evaluation for each element such as skin color and lips.
- the user can provide user feedback by adjusting the evaluation values of several elements that characterize the face image presented in the system feedback through the interface.
- the user gives feedback of subjective evaluation by the user himself, such as "deeper skin color” and “larger lips", in the form of changing the subjective index value, and the detailed user feedback is sent to the data generation system 100. It can be performed.
- the subjective index value can be changed, for example, by manually inputting a numerical value on the screen, operating up/down cursor buttons, dialing, or the like.
- the user's subjectivity and preferences can be reflected in detail in the data generation system 100 by using an interface that adjusts multiple elements that characterize the generated face image.
- the evaluator 102 outputs facial images related to the facial images generated by the generator 101 as simulated subjective evaluations.
- the face image newly generated by the generator 101 (Generator Output) and the related face image (Evaluator Output) generated by the evaluator 102 are simultaneously presented to the user.
- the user feedback phase shown in the right half of FIG. 9 for example, whether or not the related facial image as the simulated subjective evaluation is the facial image intended by the user is displayed on the screen of the information terminal used by the user.
- Prepare an interface for The user can easily provide user feedback by indicating through the interface whether or not the related facial image presented in the system feedback is the facial image intended by the user.
- the user is provided with ⁇ and ⁇ buttons for evaluating the quality of the related face image, and the user selects one of the buttons through mouse operation or screen touch operation. can do.
- the user's subjectivity and preferences can be easily data. It can be reflected in the generation system 100 .
- the evaluator 102 divides the features of the speech generated by the generator 101 into a plurality of elements and performs a simulated subjective evaluation for each element.
- the newly generated speech (Generator Output) by the generator 101 and the simulation output by the evaluator 102 by dividing the features of this speech into multiple elements such as volume and pitch A subjective evaluation (Evaluator Output) is presented to the user at the same time.
- a user can play back the generated sound to check its characteristics such as volume and pitch.
- an interface is prepared for the user to adjust the simulated subjective evaluation for each element such as volume and pitch.
- the user can provide user feedback by adjusting, through the interface, evaluation values of several elements that characterize the speech presented in the system feedback.
- the user provides subjective evaluation feedback such as "lower the volume” or “higher pitch” in the form of adjustment of the subjective index value, and provides detailed user feedback to the data generation system 100. It can be performed.
- a screen provided with an interface for adjusting each evaluation value of volume and pitch is presented. The user can change each evaluation value through manual input, operation of up/down cursor buttons, dial operation, or the like.
- the user's subjectivity and preferences can be reflected in detail in the data generation system 100 by using an interface that adjusts multiple elements that characterize the generated voice.
- the evaluator 102 outputs speech related to the speech generated by the generator 101 as a simulated subjective evaluation.
- the speech newly generated by the generator 101 (Generator Output) and the relevant speech generated by the evaluator 102 (Evaluator Output) are simultaneously presented to the user.
- the user can play back the generated voices and related voices to check their characteristics such as volume and pitch.
- a message is displayed on the screen of the information terminal used by the user to indicate whether or not the related voice as the simulated subjective evaluation is the voice intended by the user. Prepare an interface.
- the user can easily give user feedback by indicating through the interface whether or not the related voice presented in the system feedback is the voice intended by the user.
- ⁇ and ⁇ buttons are prepared for the user to evaluate the quality of the related voice, and the user selects one of the buttons through mouse operation or screen touch operation. be able to.
- a data generation system 100 that presents speech related to the generated speech as a simulated subjective evaluation and uses an interface for easily inputting an opinion on the related speech, thereby allowing the user's subjectivity and preferences to be easily evaluated. can be reflected in
- the learning of the device 102 can be performed.
- a generator 101 and an evaluator based on subjective evaluation feedback through the interfaces shown in FIGS. 102 can be learned.
- the user may select a part of the data newly generated by the generator 101 so as to provide user feedback on the selected part. good.
- an interface is presented for evaluating elements corresponding to the selected portion.
- an interface is presented for evaluating whether the selected part is the data intended by the user. .
- an interface for providing user feedback may be presented at a position corresponding to the content selection position.
- the evaluator 102 performs a simulated subjective evaluation of which portion of the advertising content generated by the generator 101 the user wants to emphasize.
- the advertising content (Generator Output) generated by the generator 101 and the evaluator 102 included the designation of the simulated subjective evaluation of the part that the user wanted to emphasize in this advertising content.
- Advertising content (Evaluator Output) is presented to the user at the same time.
- an interface is prepared on the screen of the information terminal used by the user to indicate the part that the user originally wants to emphasize on the advertising content.
- the user can provide user feedback by specifying a portion of the advertising content that the user originally wants to emphasize via the interface.
- the advertising content corresponding to the Evaluator Output is not limited to the advertising content that includes the designation of the simulated subjective evaluation part that the user wants to emphasize, but is presented as the advertising content that actually emphasizes the part designated by the simulated subjective evaluation.
- the interface presented on the screen of the information terminal used by the user may also present advertising content that emphasizes the portion specified by the user.
- the generator 101 and the evaluator 102 can be trained by subjective evaluation feedback through the interface shown in FIG.
- the advertisement content including the specification of the simulated subjective evaluation portion that the user wants to emphasize in the generated advertisement content is presented as the simulated subjective evaluation, and the portion of the advertisement content that the user originally wants to emphasize is simplified.
- the user's subjectivity and preferences can be easily reflected in the data generation system 100 by using the interface designated as .
- Section D Details of Data Generation, Evaluation, and Learning Procedures
- Section B the data generation, evaluation, and learning procedures in the data generation system 100 have been outlined.
- Section D the details of procedures for data generation, evaluation, and learning in the data generation system 100 will be described, including the data flow.
- each phase of data generation by the generator 101 and evaluation by the evaluator 102 is implemented in the first device, and a system feedback phase for presenting the generated data and simulated subjective data to the user is implemented in the second device,
- the data update phase based on user feedback is described as being implemented in the third device, and the user feedback phase is described as being implemented in the user terminal.
- FIG. 13 shows paths for transferring data between phases.
- the data transfer path from the data generation phase to the data evaluation phase is Path 1
- the data transfer path from the data evaluation phase to the system feedback phase is Path 2
- the data transfer path from the system feedback phase to the user feedback phase is Path 3
- a data transfer path from the user feedback phase to the model update phase is defined as Path4
- a data transfer path from the data evaluation phase to the model update phase is defined as Path5
- a data transfer path from the model update phase to the data generation phase is defined as Path6.
- Paths 1 to 6 connect the corresponding devices. It consists of a communication medium that Also, a data transfer path between a plurality of phases implemented in a single device (for example, Path1 between a data generation phase and a data evaluation phase) is implemented by communication between applications, for example.
- FIG. 14 shows the specific data flow between each phase.
- the neural network that constitutes the generator 101 is set with the coefficients obtained during learning, inputs random numbers, and outputs newly generated data. This generated data is transferred to the data evaluation phase via Path1.
- the neural network that constitutes the evaluator 102 is set with the coefficients acquired during learning, inputs the generated data via Path 1, and estimates the user's subjective evaluation of the generated data. output a simulated subjective evaluation.
- the data (Generator Output) newly generated by the generator 101 via Path 2 and the characteristics of the generated data by the evaluator 102 are divided into a plurality of elements.
- the simulated subjective evaluation (Evaluator Output) that has been cut out and output is acquired and presented to the user at the same time.
- the simulated evaluation results acquired via Path 3 are displayed on the screen of the information terminal used by the user, for example, on the interface for the user to adjust the simulated subjective evaluation for each element. Presented. The user can then adjust the evaluation values of some elements that characterize the generated data via the interface on the screen of the information terminal.
- the third device that learns the generative model used by the generator 101 and the evaluation model used by the evaluator 102 acquires a simulated subjective evaluation of the data generated by the evaluator 102 via Path 5
- User feedback for the simulated subjective evaluation is obtained via Path4.
- the simulated subjective evaluation and user feedback of the evaluator 102 for the data generated by the generator 101 are input to the evaluation model.
- the simulated subjective evaluation is an evaluation index obtained by dividing the features of the generated data into multiple elements, and the user feedback is adjustment of the simulated subjective evaluation for each evaluation index.
- the third device updates the coefficients of the neural network that constitutes the evaluation model so that the loss function based on the error of the user feedback of the simulated subjective evaluation is minimized.
- user feedback on simulated subjective evaluation of the generated data is input to the generative model.
- the third device updates the coefficients of the neural network that constitutes the generative model so as to improve user feedback.
- the coefficients of the generative model updated in the model update phase are set in the generative model used by the generator 101 via Path6 and used in the next data generation phase. Also, the coefficients of the evaluation model updated in the model update phase are set in the evaluation model used by the evaluator 102 via Path6 and are used in the next data evaluation phase.
- the subjective evaluation index is affected by the purpose and individual differences
- different subjective evaluation models can be created in a short time and at a low cost according to the procedure shown in FIG.
- the evaluation model is learned in a form that can reflect the user's subjectivity and preferences, and the user's intended data is generated.
- a data processing system 100 may be provided.
- FIG. 15 shows a configuration example of an information processing system 1500 used as, for example, first to third devices or a user's information terminal. Each element of the information processing system 1500 will be described below.
- a CPU (Central Processing Unit) 1501 is interconnected via a bus 1610 with ROM (Read Only Memory) 1502, RAM (Random Access Memory) 1503, mass storage device 1504, and input/output interface 1505. .
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 1501 can execute a program loaded from the ROM 1502 or the mass storage device 1504 to the RAM 1503 and temporarily store the work data being executed in the RAM 1503 to implement various processes.
- Programs executed by the CPU 1501 include a basic input/output program stored in the ROM 1502 and an operating system (OS) and application programs installed in the mass storage device 1504 .
- the OS provides an execution environment for application programs.
- the application program performs learning processing of the machine learning model, generation of data using the trained machine learning model, estimation of the subjective evaluation of the generated data, presentation of the generated data and its simulated subjective evaluation, user shall include an application program that obtains feedback and/or
- the information processing system 1500 operates as various devices related to the present disclosure by the CPU 1501 executing application programs under the execution environment provided by the OS.
- the ROM 1502 is a read-only memory that permanently stores basic input/output programs and device information.
- a RAM 1503 is composed of a volatile memory such as a DRAM (Dynamic RAM) and is used as a work area for the CPU 1501 .
- a large-capacity storage device 1504 is a HDD (Hard Disc Drive), SSD (Solid State Drive), or the like, and stores programs and data in file format.
- An HDD is a storage device that uses one or more magnetic disks fixed in a unit as recording media.
- the output unit 1511 includes an LCD (Liquid Crystal Display), a speaker, a printer, and the like, and outputs results of program execution by the CPU 1501, for example.
- An input unit 1512 includes a keyboard, mouse, microphone, etc., and receives instructions from the user.
- the communication unit 1513 has a wired or wireless communication interface that conforms to a predetermined communication protocol, and performs data communication with external devices.
- the communication unit 1513 communicates with other devices among the first to third devices. Also, when the information processing system 1500 operates as a user's information terminal, the communication unit 1513 communicates with the second device and the third device.
- the communication unit 1513 is connected to a wide area network such as the Internet.
- An application program can be downloaded from a download site on the Internet using the communication unit 1516 and installed in the information processing system 1500 .
- a drive 1514 loads a removable recording medium 1515 and performs read processing from the removable recording medium 1515 and write processing to the removable recording medium 1515 (however, in the case of a writable recording medium).
- the removable recording medium 1515 records programs and data in file format. Examples of the removable recording medium 1515 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
- the information processing system 1500 can operate as a first device by installing, for example, a program for generating data using a generative model and a program for estimating a subjective evaluation of data using an evaluation model.
- the information processing system 1500 can operate as a second device by installing a program that obtains and presents simulated subjective evaluations of data generated by the generative model and data generated by the evaluation model.
- the information processing system 1500 presents an interface for inputting the user's evaluation of the simulated subjective evaluation of the data generated by the generative model and the data generated by the evaluation model, and uploads the user's feedback obtained via the interface.
- a program By installing a program, it can operate as a user's information terminal.
- the information processing system 1500 installs a program for learning the generation model and the evaluation model (that is, updating the coefficients of each neural network) based on the simulated subjective evaluation of the data generated by the evaluation model and the evaluation fed back from the user. By doing so, it can operate as a third device.
- the present disclosure has mainly been described with an embodiment applied to a data generation system that generates images, but the gist of the present disclosure is not limited to this.
- the present disclosure can be applied to the generation of various data other than images, such as voice, music, and text, and subjective evaluation of the generated data.
- the evaluation model learned based on the present disclosure includes subjective evaluation of color image content generated from black and white image content, subjective evaluation of sound effects generated from video content, automatically generated animation character images and character It can be applied to subjective evaluation of speech.
- a system feedback acquisition unit that acquires generated data and evaluation information based on an evaluation model for the generated data; a system feedback presentation unit that presents the generated data and the evaluation information; a user feedback acquisition unit that acquires a user evaluation of the generated data or the evaluation information; an output unit that outputs the user evaluation acquired by the user feedback acquisition unit;
- Information processing system including;
- the system feedback acquisition unit acquires the generated data and the evaluation information from one or more devices that generate data using the generative model and evaluate the generated data using the evaluation model;
- the information processing system according to either (1) or (2) above.
- the system feedback acquisition unit acquires, as evaluation information for the generated data, an evaluation index obtained by dividing the characteristics of the generated data into a plurality of elements,
- the system feedback presentation unit presents the generated data and the evaluation index for each element,
- the interface presentation unit presents an interface for adjusting the evaluation index for each element,
- the information processing system according to either (2) or (3) above.
- the system feedback acquisition unit acquires generated data related to the generated data as evaluation information for the generated data; the system feedback presenter presents the generated data and the related generated data;
- the interface presenting unit presents an interface for inputting a user's intention for the related generated data;
- the output unit outputs the user evaluation to a device that updates each of a generation model that generates data and an evaluation model that evaluates generated data.
- a first device including the system feedback obtaining unit and the system feedback presenting unit; a second device including the user feedback acquisition unit and the output unit;
- the output unit outputs the user evaluation to the third device,
- the information processing system according to any one of (1) to (7) above.
- the system feedback acquisition unit acquires an evaluation of the generated data and the generated data using the evaluation model from the one or more devices.
- (10) a first device including the system feedback acquisition unit, the system feedback presentation unit, the user feedback acquisition unit, and the output unit;
- the information processing system according to any one of (1) to (9) above.
- the system feedback obtaining step as evaluation information for the generated data, an evaluation index obtained by dividing the characteristics of the generated data into a plurality of elements is obtained;
- the system feedback presentation step presents the generated data and the evaluation index for each element,
- the interface presentation step presents an interface for adjusting the evaluation index for each element;
- an evaluation unit that generates evaluation information for the generated data using an evaluation model
- an acquisition unit that acquires user evaluation information for the evaluation information
- an evaluation model updating unit that updates the evaluation model based on the user evaluation information
- a generator that generates data using the generative model; a generative model updating unit that updates the generative model based on the user evaluation information; including The evaluation unit generates evaluation information for the data generated by the generation unit.
- the evaluation unit outputs the evaluation information to an information terminal
- the acquisition unit acquires, from the information terminal, user evaluation information input through an interface presented on the information terminal.
- the information processing system according to either (15) or (16) above.
- the evaluation unit divides the characteristics of the generated data into a plurality of elements and evaluates each element,
- the acquisition unit acquires user evaluation information including information for adjusting the evaluation of each element of the plurality of elements.
- the information processing system according to any one of (15) to (17) above.
- the evaluator generates generated data associated with the generated data;
- the acquisition unit acquires user evaluation information including a user's intention for the related generated data.
- the information processing system according to any one of (15) to (18) above.
- An information processing method comprising:
- a data generation system comprising:
- (22) further comprising a model updating unit that updates at least one of the generation model and the evaluation model based on user evaluation of system feedback including data generated by the generation unit and subjective evaluation by the evaluation unit;
- a model updating unit that updates at least one of the generation model and the evaluation model based on user evaluation of system feedback including data generated by the generation unit and subjective evaluation by the evaluation unit;
- the evaluation unit generates, as a subjective evaluation of the generated data, an evaluation index obtained by dividing the characteristics of the generated data into a plurality of elements,
- the model updating unit updates the model based on a user's adjustment result of the evaluation index for each element.
- the evaluation unit generates data related to the generated data as a subjective evaluation of the generated data
- the model update unit updates the model based on the user's intention for the related data.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
機械学習モデルを用いて生成されたデータの主観評価に関する処理を行う情報処理システムを提供する。 情報処理システムは、生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得部と、前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部を含む。
Description
本明細書で開示する技術（以下、「本開示」とする）は、機械学習モデルを用いて生成されたデータの評価に関する処理を行う情報処理システム及び情報処理方法に関する。
機械学習は、コンピュータに大量のデータを学習させて、データの分類や予測などの動作を遂行するモデルやアルゴリズムを自動的に構築する技術である。例えば、機械学習により、画像や音声、テキストなどのデータを分析する識別モデルや、新たに画像や音声、テキストなどのデータを生成する生成モデルを得ることができる。モデルは例えばニューラルネットワークにより構成される。最近では、ニューラルネットワークを深層学習したディープニューラルネットワーク（ＤＮＮ）に関する技術の進展が著しい。
例えば、機械学習モデルを利用したデータ生成技術としてＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）が知られている（例えば、非特許文献１を参照のこと）。ＧＡＮは、データを生成する生成器（Ｇｅｎｅｒａｔｏｒ）とデータの真偽を識別する識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）からなり、生成器と識別器の相互学習により、生成器は識別器により真偽の識別が不能なデータを生成できるようになる。
他方、ユーザの主観や嗜好を反映したデータが必要になる場合がある。ＧＡＮにおける識別器は、データの真偽を判定することができてもユーザの主観を評価することができない。このため、ＧＡＮではユーザの主観や嗜好を反映したデータを生成することができない。
また、生成画像の画質を評価する指標としてＬＰＩＰＳ（Ｌｅａｒｎｅｄ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｐａｔｃｈ Ｓｉｍｉｌａｒｉｔｙ）が知られているが、生成画像がユーザの主観や嗜好を反映しているか否かを表す指標ではない。
Ｉ．Ｇｏｏｄｆｅｌｌｏｗ ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ"，Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，ｐｐ．２６７２－２６８０，２０１４
本開示の目的は、機械学習モデルを用いて生成されたデータの主観評価に関する処理を行う情報処理システム及び情報処理方法を提供することにある。
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得部と、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、
前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部と、
を含む情報処理システムである。
生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得部と、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、
前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部と、
を含む情報処理システムである。
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。すなわち、複数の部品又は機能モジュールからなる１つの装置も、複数の装置の集合体も、「システム」に相当する。
第１の側面に係る情報処理システムは、前記ユーザ評価を入力するためのインターフェースを提示するインターフェース提示部を含む。
前記システムフィードバック取得部は、生成モデルを用いたデータの生成及び前記評価モデルを用いた生成データの評価を行う１又は複数の装置から、前記生成データ及び前記評価情報を取得する。また、前記出力部は、前記ユーザ評価を、データを生成する生成モデル及び生成データを評価する評価モデルの各モデルを更新する装置に出力する。
また、本開示の第２の側面は、
生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得ステップと、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示ステップと、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得ステップと、
前記ユーザフィードバック取得ステップで取得したユーザ評価を出力する出力ステップと、
を有する情報処理方法である。
生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得ステップと、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示ステップと、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得ステップと、
前記ユーザフィードバック取得ステップで取得したユーザ評価を出力する出力ステップと、
を有する情報処理方法である。
また、本開示の第３の側面は、
生成されたデータに対する評価情報を、評価モデルを用いて生成する評価部と、
前記評価情報に対するユーザ評価情報を取得する取得部と、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新部と、
を含む情報処理システムである。
生成されたデータに対する評価情報を、評価モデルを用いて生成する評価部と、
前記評価情報に対するユーザ評価情報を取得する取得部と、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新部と、
を含む情報処理システムである。
第３の側面に係る情報処理装置は、生成モデルを用いてデータを生成する生成部と、前記ユーザ評価情報に基づいて前記生成モデルを更新する生成モデル更新部を含み、前記評価部は、前記生成部が生成したデータに対する評価情報を生成する。
前記評価部は、前記評価情報を情報端末に出力する。そして、前記取得部は、前記情報端末上で提示されたインターフェースを通じて入力されたユーザ評価情報を前記情報端末から取得する。
また、本開示の第４の側面は、
生成されたデータに対する評価情報を、評価モデルを用いて生成する評価ステップと、
前記評価情報に対するユーザ評価情報を取得する取得ステップと、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新ステップと、
を有する情報処理方法である。
生成されたデータに対する評価情報を、評価モデルを用いて生成する評価ステップと、
前記評価情報に対するユーザ評価情報を取得する取得ステップと、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新ステップと、
を有する情報処理方法である。
本開示によれば、機械学習モデルによる模擬主観評価に対するユーザの評価を取得する情報処理システム及び情報処理方法、機械学習モデルを用いて生成された主観データに対する主観評価を機械学習モデルにより生成する情報処理システム及び情報処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本開示について、以下の順に従って説明する。
Ａ．概要
Ｂ．データ生成、評価、及び学習の手順
Ｃ．インターフェースの構成例
Ｄ．データ生成、評価、及び学習の手順の詳細
Ｅ．情報処理システム
Ｂ．データ生成、評価、及び学習の手順
Ｃ．インターフェースの構成例
Ｄ．データ生成、評価、及び学習の手順の詳細
Ｅ．情報処理システム
Ａ．概要
本開示は、機械学習モデルを利用して、ユーザの主観や嗜好を反映したデータを生成する技術に関する。データは、画像や音声（音楽を含む）、テキストなどさまざまである。以下では、便宜上、データを画像に限定した実施形態について説明する。
本開示は、機械学習モデルを利用して、ユーザの主観や嗜好を反映したデータを生成する技術に関する。データは、画像や音声（音楽を含む）、テキストなどさまざまである。以下では、便宜上、データを画像に限定した実施形態について説明する。
ＧＡＮは、データを生成する生成器と生成したデータの真偽を識別する識別器の相互学習により真偽の識別が難しいデータを生成する技術である。これに対し、本開示は、データを生成する生成器と、生成したデータを特定のユーザの主観で評価する評価器を用いて、ユーザの主観や嗜好を反映したデータを生成する技術である。
図１には、ユーザの主観や嗜好を反映したデータを生成するデータ生成システム１００の構成例を模式的に示している。
データ生成システム１００は、画像を生成する生成器（Ｇｅｎｅｒａｔｏｒ）１０１と、生成器１０１が生成した画像をユーザの主観や嗜好で評価する評価器（Ｅｖａｌｕａｔｏｒ）１０２で構成される。生成器１０１と評価器１０２は、それぞれニューラルネットワークからなる機械学習モデルであり、学習時に獲得したパラメータ（各ニューロンの係数）を設定して、画像の生成や生成した画像の主観評価をそれぞれ行う。
図１には、データ生成（Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）フェーズにおける生成器１０１、及び生成データの評価（Ｄａｔａ Ｅｖａｕｌａｔｉｏｎ）フェーズにおける評価器１０２を示している。生成器１０１は、学習時に獲得した係数を設定したニューラルネットワークからなり、乱数を入力して、新たに生成した画像を出力する。また、評価器１０２は、学習時に獲得した係数を設定したニューラルネットワークからなり、生成器１０１が生成した画像を入力して、その生成画像に対する特定のユーザの主観評価を推定した模擬主観評価を出力する。
生成器１０１は、自身の生成データに対する評価器１０２の模擬主観評価がより良好となるように、ニューラルネットワークの係数を更新する。評価器１０２がユーザの本来の主観や嗜好を反映した形で作成された主観評価モデルを有していれば、このような更新処理によって、ユーザの主観や嗜好を反映したデータを生成できるように生成器１０１を学習していくことができる。
ここで、評価器１０２における主観評価のモデル化にはニューラルネットワークが用いられるが、評価指標は目的や個人差の影響を大いに受けるという問題がある。このため、目的毎に異なる主観評価モデルを短時間で且つ低コストで作成できることが望ましく、さらにユーザ毎の主観や嗜好を反映可能な形で主観評価モデルの作成方法が提供されるとなおよい。
例えばＧＡＮで用いられる識別器や、画質評価指標としてのＬＰＩＰＳなど、従来のデータ生成技術ではユーザの意図をデータ生成に反映させるためのインターフェースや評価指標がない。
そこで、本開示では、生成器１０１が生成したデータをさまざまな要素毎に切り出して、評価指標として数理モデル化し、各評価指標をユーザが調整できるインターフェースを用意するようにした。また、本開示では、生成器１０１が生成したデータに関連する生成データを新たに生成し、これらの生成データを相対的に主観評価して、その結果をモデル化するようにした。生成器１０１が生成したデータ（画像など）はさまざまな特徴を持つ。本開示によれば、生成データが持つ各特徴のゲインをユーザがインターフェースを介して適宜調整するという詳細なユーザフィードバックを行ったり、関連生成データに対する良し悪しを付けるといった簡易なユーザフィードバックを行ったりすることができる。したがって、本開示によれば、ユーザの意図を多く反映したモデル評価指標が実現するとともに、ユーザにとって良いと思われるデータ（すなわち、ユーザの主観や嗜好を反映したデータ）の自動生成を実現し易くなる。
Ｂ．学習の手順
図２には、本開示を適用した、データ生成システム１００におけるデータ生成、評価、及び学習手順をフローチャートの形式で示している。
図２には、本開示を適用した、データ生成システム１００におけるデータ生成、評価、及び学習手順をフローチャートの形式で示している。
データ生成（Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）フェーズでは、生成器１０１は、乱数を入力して、新たに生成した画像を出力する（ステップＳ２０１）。
次いで、生成データの評価（Ｄａｔａ Ｅｖａｕｌａｔｉｏｎ）フェーズでは、評価器１０２は、生成器１０１が生成した画像を入力して、その生成画像に対する特定のユーザの主観評価を模擬した模擬主観評価を出力する（ステップＳ２０２）。
次いで、データ生成システム１００からユーザに対するフィードバック（Ｓｙｓｔｅｍ Ｆｅｅｄｂａｃｋ）フェーズでは、データ生成フェーズで生成器１０１が新たに生成したデータと、データ評価フェーズで評価器１０２が生成データに対して出力した模擬主観評価を、ユーザに提示する（ステップＳ２０３）。
次いで、ユーザのフィードバック（Ｕｓｅｒ Ｆｅｅｄｂａｃｋ）フェーズではユーザが、生成器１０１の生成データや評価器１０２の模擬主観評価に対する、データ生成システム１００へのフィードバックを行う（ステップＳ２０４）。
先行するデータ評価フェーズでは、評価器１０２は、生成データに対する模擬主観評価を、生成データの特徴を複数の要素毎に切り分けた評価指標で出力する。続くシステムフィードバックフェーズでは、生成データとともに、評価指標毎の模擬主観評価がユーザに提示される。そして、このユーザフィードバックフェーズでは、ユーザは、各評価指標についてのユーザ自身の主観評価を、データ生成システム１００に対してフィードバックする。ステップＳ２０３～Ｓ２０４では、ユーザに対して、生成データ及び模擬主観評価を提示するインターフェース、及び生成データに対するユーザの本来の主観評価を入力するインターフェースが用意される。ユーザ自身の主観評価を入力するインターフェースは、模擬主観評価を要素毎にユーザが評価指標を調整するインターフェースであってもよい。これらのインターフェースの詳細については後述に譲る。
そして、生成器１０１及び評価器１０２のモデル更新（Ｇｅｎｅｒａｔｏｒ ＆ Ｅｖａｌｕａｔｏｒ ｕｐｄａｔｅ）フェーズでは、先行するユーザフィードバックフェーズにおけるユーザからのフィードバックに基づいて、生成器１０１及び評価器１０２を構成する各ニューラルネットワークの係数を更新する（ステップＳ２０５）。
図３には、データ生成（Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）フェーズにおける生成器１０１を示している。データ生成フェーズでは、生成器１０１を構成するニューラルネットワークは、学習時に獲得した係数が設定されており、乱数を入力して、新たに生成したデータを出力する。
図４には、生成データの評価（Ｄａｔａ Ｅｖａｕｌａｔｉｏｎ）フェーズにおける評価器１０２を示している。生成データの評価フェーズでは、評価器１０２を構成するニューラルネットワークは、学習時に獲得した係数が設定されており、生成器１０１の生成データを入力して、その生成データに対するユーザの主観評価を推定した模擬主観評価を出力する。
図５には、モデル更新フェーズにおける生成モデル及び評価モデルを示している。学習フェーズでは、生成器１０１及び評価器１０２をそれぞれ構成するニューラルネットワークの係数の更新（Ｇｅｎｅｒａｔｏｒ ＆ Ｅｖａｌｕａｔｏｒ ｕｐｄａｔｅ）が実施される。図３に示す例では、生成器１０１が新たに生成したデータに対するユーザの評価（Ｕｓｅｒ Ｆｅｅｄｂａｃｋ）に基づいて、各ニューラルネットワークの係数の更新が実施される。
具体的には、評価モデルに、生成器１０１の生成データに対する評価器１０２の模擬主観評価とユーザフィードバックを入力する。例えば、模擬主観評価は生成データの特徴を複数の要素毎に切り分けた評価指標で出力され、ユーザフィードバックは評価指標毎の模擬主観評価に対する調整である。そして、模擬主観評価のユーザフィードバックに対する誤差に基づく損失関数が最小となるように、ニューラルネットワークの係数を更新する。このようにして、生成器１０１の新たな生成データに対してユーザの主観や嗜好を反映した模擬主観評価が得られるように評価器１０２を学習していく。また、生成器１０１は、生成器１０１自身の生成データに対するユーザフィードバックを入力して、ユーザフィードバックがより良好となるように、ニューラルネットワークの係数を更新する。このようにして、ユーザの主観や嗜好を反映したデータを生成できるように生成器１０１を学習していく。
なお、図２中のすべてのフェーズを単一の装置上に実装してもよいが、複数の装置に各フェーズの処理を分配して実装するようにしてもよい。例えば、ユーザフィードバックフェーズでは、ユーザが直接入力する操作の便宜上、ユーザが所持する情報端末（スマートフォン、タブレット、パーソナルコンピュータなど）に実装することが考えられる。他方、データ生成、データ評価、係数の更新などの各フェーズでは、ニューラルネットワークを扱い、計算負荷が大きいため、クラウド上の計算能力の高い装置に実装することが考えられる。例えば、生成器１０１によるデータ生成及び評価器１０２による評価の各フェーズを第１の装置に実装し、生成データ及び模擬主観データをユーザに提示するシステムフィードバックフェーズを第２の装置に実装し、ユーザフィードバックに基づくデータ更新フェーズを第３の装置に実装するようにしてもよい。また、システムフィードバックフェーズにおいて生成データ及び模擬主観データをユーザに提示する第２の装置と、ユーザフィードバックフェーズにおいてユーザフィードバックを受け付ける情報端末は同一の装置であってもよく、その場合は、情報端末上に表示された生成データ及び模擬主観データに基づいて、ユーザがマウスやキーボード、タッチパネルなどを操作することでユーザフィードバックが行われるようにしてもよい。
Ｃ．インターフェースの構成例
この項では、システムフィードバック及びユーザフィードバックで用いられるインターフェースの構成例について、図６～図１２を参照しながら説明する。
この項では、システムフィードバック及びユーザフィードバックで用いられるインターフェースの構成例について、図６～図１２を参照しながら説明する。
図６に示す第１の例では、評価器１０２が生成器１０１による生成データの特徴を複数の要素に切り分けて要素毎の模擬主観評価を行うことを想定している。そして、図６の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成したデータ（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２がこの生成データの特徴を複数の要素に切り分けて出力した模擬主観評価（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。また、図６の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価を要素毎にユーザが調整するためのインターフェースを用意する。ユーザは、システムフィードバックで提示された生成データを特徴付けるいくつかの要素の評価値を、インターフェースを介して調整することで、ユーザフィードバックを行うことができる。図６の右半分に示すように、要素１の評価値ａ1及び要素２の評価値ａ2をそれぞれ調整するためのインターフェースが装備された画面が提示される。ユーザは、各評価値を例えば手入力や上下カーソルボタンの操作、ダイヤル操作などを通じて変更することができる。
図６に示すように、生成データを特徴付ける複数の要素を調整するインターフェースを用いることによって、ユーザの主観や嗜好を詳細にデータ生成システム１００に反映させることができる。
図７に示す第２の例では、評価器１０２が生成器１０１による生成データに関連する生成データを、模擬主観評価として出力することを想定している。ここで言う「関連する」とは、例えば「ユーザが意図するデータであると評価される」という意味である。図７の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成したデータ（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２が出力した関連生成データ（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。そして、図７の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価としての関連生成データがユーザの意図するデータであるか否かを示すためのインターフェースを用意する。ユーザは、システムフィードバックで提示された関連生成データが自分の意図するデータであるか否かを、インターフェースを通じて示すことで、ユーザフィードバックを行うことができる。図７の右半分に示す画面構成例では、関連生成データに対してユーザが良否を評価する○及び×のボタンが用意されており、ユーザはいずれかのボタンをマウス操作や画面タッチ操作を通じて選択することができる。
図７に示すように、生成データに関連する生成データを模擬主観評価として提示し、その関連生成データに対する見解を簡易に入力するインターフェースを用いることによって、ユーザの主観や嗜好を簡単にデータ生成システム１００に反映させることができる。
図８～図１２には、生成器１０１が生成するデータのデータタイプ毎の具体的なインターフェースの構成例を示している。このうち、図８及び図９には、生成器１０１が顔画像を生成する場合の具体的なインターフェースの構成例を示し、図１０及び図１１には、生成器１０１が音声を生成する場合の具体的なインターフェースの構成例を示し、図１０には、生成器１０１が広告コンテンツを生成する場合の具体的なインターフェースの構成例を示している。
図８に示す第３の例では、評価器１０２が生成器１０１によって生成された顔画像の特徴を複数の要素に切り分けて要素毎の模擬主観評価を行うことを想定している。そして、図８の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成した顔画像（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２がこの顔画像の特徴を肌色や口元などの複数の要素に切り分けて出力した模擬主観評価（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。そして、図８の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価を肌色や口元などの要素毎にユーザが調整するためのインターフェースを用意する。ユーザは、システムフィードバックで提示された顔画像を特徴付けるいくつかの要素の評価値を、インターフェースを介して調整することで、ユーザフィードバックを行うことができる。ユーザは、インターフェース上で、「肌色をより濃くする」、「口元を大きくする」といったユーザ自身による主観評価のフィードバックを主観指標値の変更という形式で行って、データ生成システム１００に詳細なユーザフィードバックを行うことができる。主観指標値の変更は、例えば画面上での数値の手入力、上下カーソルボタンの操作、ダイヤル操作などを通じて行うことができる。
図８に示すように、生成された顔画像を特徴付ける複数の要素を調整するインターフェースを用いることによって、ユーザの主観や嗜好を詳細にデータ生成システム１００に反映させることができる。
図９に示す第４の例では、評価器１０２が生成器１０１によって生成された顔画像に関連する顔画像を模擬主観評価として出力することを想定している。図９の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成した顔画像（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２が生成した関連顔画像（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。そして、図９の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価としての関連顔画像がユーザの意図する顔画像であるか否かを示すためのインターフェースを用意する。ユーザは、システムフィードバックで提示された関連顔画像が自分の意図する顔画像であるか否かを、インターフェースを通じて示すことで、ユーザフィードバックを簡単に行うことができる。図９の右半分に示す画面構成例では、関連顔画像に対してユーザが良否を評価する○及び×のボタンが用意されており、ユーザはいずれかのボタンをマウス操作や画面タッチ操作を通じて選択することができる。
図９に示すように、生成した顔画像に関連する顔画像を模擬主観評価として提示し、その関連顔画像に対する見解を簡易に入力するインターフェースを用いることによって、ユーザの主観や嗜好を簡単にデータ生成システム１００に反映させることができる。
図１０に示す第５の例では、評価器１０２が生成器１０１によって生成された音声の特徴を複数の要素に切り分けて要素毎の模擬主観評価を行うことを想定している。図１０の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成した音声（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２がこの音声の特徴を音量や音程などの複数の要素に切り分けて出力した模擬主観評価（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。ユーザは、生成された音声を再生して、音量や音程などの特徴を確認することができる。そして、図１０の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価を音量や音程などの要素毎にユーザが調整するためのインターフェースを用意する。ユーザは、システムフィードバックで提示された音声を特徴付けるいくつかの要素の評価値を、インターフェースを介して調整することで、ユーザフィードバックを行うことができる。ユーザは、インターフェース上で、「音量を小さくする」、「音程をより高くする」といったユーザ自身による主観評価のフィードバックを主観指標値の調整という形式で行って、データ生成システム１００に詳細なユーザフィードバックを行うことができる。図１０の右半分に示すように、音量及び音程の各評価値を調整するためのインターフェースが装備された画面が提示される。ユーザは、各評価値を例えば手入力や上下カーソルボタンの操作、ダイヤル操作などを通じて変更することができる。
図１０に示すように、生成された音声を特徴付ける複数の要素を調整するインターフェースを用いることによって、ユーザの主観や嗜好を詳細にデータ生成システム１００に反映させることができる。
図１１に示す第６の例では、評価器１０２が生成器１０１によって生成された音声に関連する音声を模擬主観評価として出力することを想定している。図１１の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が新たに生成した音声（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２が生成した関連音声（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。ユーザは、生成された音声及び関連音声を再生して、各々の音量や音程などの特徴を確認することができる。そして、図１１の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、模擬主観評価としての関連音声がユーザの意図する音声であるか否かを示すためのインターフェースを用意する。ユーザは、システムフィードバックで提示された関連音声が自分の意図する音声であるか否かを、インターフェースを通じて示すことで、ユーザフィードバックを簡単に行うことができる。図１１の右半分に示す画面構成例では、関連音声に対してユーザが良否を評価する○及び×のボタンが用意されており、ユーザはいずれかのボタンをマウス操作や画面タッチ操作を通じて選択することができる。
図１１に示すように、生成した音声に関連する音声を模擬主観評価として提示し、その関連音声に対する見解を簡易に入力するインターフェースを用いることによって、ユーザの主観や嗜好を簡単にデータ生成システム１００に反映させることができる。
例えば、データ生成システム１００を用いて白黒画像のコンテンツからカラー画像のコンテンツを生成した場合の主観評価のために、図８及び図９に示したインターフェースを通じた主観評価のフィードバックによる生成器１０１及び評価器１０２の学習を行うことができる。
また、データ生成システム１００を用いて映像コンテンツの効果音を生成した場合の主観評価のために、図１０及び図１１に示したインターフェースを通じた主観評価のフィードバックによる生成器１０１及び評価器１０２の学習を行うことができる。
また、データ生成システム１００を用いてアニメーションのキャラクター画像やキャラクターの音声を生成した場合の主観評価のために、図８～図１１に示したインターフェースを通じた主観評価のフィードバックによる生成器１０１及び評価器１０２の学習を行うことができる。
また、図８～図１１に示した例におけるユーザフィードバックフェーズにおいて、生成器１０１が新たに生成したデータの一部をユーザが選択することで、選択された部分に対するユーザフィードバックを行えるようにしてもよい。図８及び図１０に示した例では、例えば、ユーザがコンテンツの一部を選択した場合に、選択部分に対応する要素を評価するためのインターフェースが提示される。また、図９及び図１１に示した例では、例えば、ユーザがコンテンツの一部を選択した場合に、選択部分はユーザが意図するデータであるか否かを評価するためのインターフェースが提示される。
Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ及びＥｖａｌｕａｔｏｒ Ｏｕｔｐｕｔに対応するコンテンツが、ユーザフィードバックを受け付ける情報端末上で提示される場合は、ユーザがマウスやキーボード、タッチパネル等を用いて情報端末上に提示されたコンテンツの一部を選択し、コンテンツの選択位置に対応する位置にユーザフィードバックを行うためのインターフェースが提示されるようにしてもよい。
図１２に示す第７の例では、評価器１０２が生成器１０１によって生成された広告コンテンツのうちユーザが強調したい箇所がどこであるかの模擬主観評価を行うことを想定している。図１２の左半分に示すシステムフィードバックフェーズにおいて、生成器１０１が生成した広告コンテンツ（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２がこの広告コンテンツ中でユーザが強調したいと模擬主観評価した箇所の指定を含んだ広告コンテンツ（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を、同時にユーザに提示する。そして、図１２の右半分に示すユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面上に、ユーザが本来強調したい箇所を広告コンテンツ上で示すためのインターフェースを用意する。ユーザは、広告コンテンツのうち自分が本来強調したい箇所を、インターフェースを介して指示することで、ユーザフィードバックを行うことができる。なお、Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔに対応する広告コンテンツは、ユーザが強調したいと模擬主観評価した箇所の指定を含んだ広告コンテンツに限らず、模擬主観評価によって指定された箇所が実際に強調された広告コンテンツとして提示されてもよい。同様に、ユーザが使用している情報端末の画面上に提示されるインターフェースにおいても、ユーザに指定された箇所を強調した広告コンテンツが提示されてもよい。
データ生成システム１００を用いて広告を自動的に生成する場合に、図１２に示したインターフェースを通じた主観評価のフィードバックによる生成器１０１及び評価器１０２の学習を行うことができる。
図１２に示すように、生成した広告コンテンツ中でユーザが強調したいと模擬主観評価した箇所の指定を含んだ広告コンテンツを模擬主観評価として提示し、広告コンテンツのうちユーザが本来強調したい箇所を簡易に指定するインターフェースを用いることによって、ユーザの主観や嗜好を簡単にデータ生成システム１００に反映させることができる。
Ｄ．データ生成、評価、及び学習の手順の詳細
上記Ｂ項では、データ生成システム１００におけるデータ生成、評価、及び学習の手順について概略的に説明した。このＤ項では、データ生成システム１００においてデータ生成、評価、及び学習を行う際の手順の詳細を、データフローを含めて説明する。
上記Ｂ項では、データ生成システム１００におけるデータ生成、評価、及び学習の手順について概略的に説明した。このＤ項では、データ生成システム１００においてデータ生成、評価、及び学習を行う際の手順の詳細を、データフローを含めて説明する。
ここでは、生成器１０１によるデータ生成及び評価器１０２による評価の各フェーズを第１の装置に実装し、生成データ及び模擬主観データをユーザに提示するシステムフィードバックフェーズを第２の装置に実装し、ユーザフィードバックに基づくデータ更新フェーズを第３の装置に実装するものとし、また、ユーザフィードバックフェーズをユーザ端末に実装するものとして説明する。
また、図１３には、各フェーズ間でデータを転送する経路を示している。図示のように、データ生成フェーズからデータ評価フェーズへのデータ転送路をＰａｔｈ１、データ評価フェーズからシステムフィードバックフェーズへのデータ転送路をＰａｔｈ２、システムフィードバックフェーズからユーザフィードバックフェーズへのデータ転送路をＰａｔｈ３、ユーザフィードバックフェーズからモデル更新フェーズへのデータ転送路をＰａｔｈ４、データ評価フェーズからモデル更新フェーズへのデータ転送路をＰａｔｈ５、モデル更新フェーズからデータ生成フェーズへのデータ転送路をＰａｔｈ６と、それぞれ定義する。各フェーズが、第１乃至第３の装置、及びユーザ情報端末のように、それぞれ物理的に独立した複数の装置に分散して実装される場合には、Ｐａｔｈ１～６は対応する装置間を接続する通信媒体で構成される。また、単一の装置内に実装される複数のフェーズ間のデータ転送路（例えば、データ生成フェーズとデータ評価フェーズ間のＰａｔｈ１）は例えばアプリケーション間の通信で実装される。
図１４には、各フェーズ間の具体的なデータフローを示している。
データ生成フェーズでは、生成器１０１を構成するニューラルネットワークは、学習時に獲得した係数が設定されており、乱数を入力して、新たに生成したデータを出力する。この生成データは、Ｐａｔｈ１を経由してデータ評価フェーズへ転送される。
生成データの評価フェーズでは、評価器１０２を構成するニューラルネットワークは、学習時に獲得した係数が設定されており、Ｐａｔｈ１を経由して生成データを入力して、その生成データに対するユーザの主観評価を推定した模擬主観評価を出力する。
システムフィードバックフェーズでは、システムフィードバックを行う第２の装置において、Ｐａｔｈ２を経由して、生成器１０１が新たに生成したデータ（Ｇｅｎｅｒａｔｏｒ Ｏｕｔｐｕｔ）と、評価器１０２がこの生成データの特徴を複数の要素に切り分けて出力した模擬主観評価（Ｅｖａｌｕａｔｏｒ Ｏｕｔｐｕｔ）を取得して、これらを同時にユーザに提示する。
ユーザフィードバックフェーズでは、例えばユーザが使用している情報端末の画面に表示される、模擬主観評価を要素毎にユーザが調整するためのインターフェース上で、Ｐａｔｈ３を経由して取得された模擬評価結果が提示される。そして、ユーザは、情報端末の画面上のインターフェースを介して、生成データを特徴付けるいくつかの要素の評価値を調整することができる。
モデル更新フェーズでは、生成器１０１が用いる生成モデル及び評価器１０２が用いる評価モデルの学習を行う第３の装置は、Ｐａｔｈ５を経由して評価器１０２による生成データに対する模擬主観評価を取得するとともに、Ｐａｔｈ４を経由して模擬主観評価に対するユーザフィードバックを取得する。ここで、評価モデルには、生成器１０１の生成データに対する評価器１０２の模擬主観評価とユーザフィードバックが入力される。図１４に示す例では、模擬主観評価は生成データの特徴を複数の要素毎に切り分けた評価指標であり、ユーザフィードバックは評価指標毎の模擬主観評価に対する調整である。そして、第３の装置では、模擬主観評価のユーザフィードバックに対する誤差に基づく損失関数が最小となるように、評価モデルを構成するニューラルネットワークの係数を更新する。また、生成モデルには、生成データの模擬主観評価に対するユーザフィードバックが入力される。そして、第３の装置では、ユーザフィードバックがより良好となるように、生成モデルを構成するニューラルネットワークの係数を更新する。
そして、モデル更新フェーズで更新された生成モデルの係数は、Ｐａｔｈ６を介して生成器１０１が用いる生成モデルに設定されて、次のデータ生成フェーズに利用される。また、モデル更新フェーズで更新された評価モデルの係数はＰａｔｈ６を介して評価器１０２が用いる評価モデルに設定された、次のデータ評価フェーズに利用される。
主観評価の評価指標は目的や個人差に影響されるが、本開示によれば、図１４に示すような手順に従って、異なる主観評価モデルを短時間且つ低コストで作成することができる。また、本開示によれば、ユーザの意図を評価モデルに反映するインターフェースを備えているので、ユーザの主観や嗜好を反映可能な形で評価モデルを学習し、ユーザの意図通りのデータを生成するデータ処理システム１００を提供することができる。
Ｅ．情報処理システム
図１５には、例えば第１～第３の装置、又はユーザの情報端末として使用される情報処理システム１５００の構成例を示している。以下、情報処理システム１５００の各要素について説明する。
図１５には、例えば第１～第３の装置、又はユーザの情報端末として使用される情報処理システム１５００の構成例を示している。以下、情報処理システム１５００の各要素について説明する。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０１は、バス１６１０を介して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０３、大容量記憶装置１５０４、及び入出力インターフェース１５０５の各部と相互接続されている。
ＣＰＵ１５０１は、ＲＯＭ１５０２や大容量記憶装置１５０４からＲＡＭ１５０３にロードしたプログラムを実行して、実行中の作業データをＲＡＭ１５０３に一時的に保持しながら、さまざまな処理を実現することができる。ＣＰＵ１５０１が実行するプログラムには、ＲＯＭ１５０２に格納された基本入出力プログラムや、大容量記憶装置１５０４にインストールされたオペレーティングシステム（ＯＳ）及びアプリケーションプログラムが挙げられる。ＯＳはアプリケーションプログラムの実行環境を提供する。また、アプリケーションプログラムは、機械学習モデルの学習処理や、学習済みの機械学習モデルを用いたデータの生成及び生成データの主観評価の推定、生成データ及びその模擬主観評価の提示、模擬主観評価に対するユーザフィードバックの取得などのうち少なくともいずれかを行うアプリケーションプログラムを含むものとする。ＯＳによって提供される実行環境下で、ＣＰＵ１５０１がアプリケーションプログラムを実行することによって、情報処理システム１５００は本開示に関わるさまざまな装置として動作する。
なお、学習など機械学習モデルに関わる処理は計算量が膨大で並列処理が考えられることから、情報処理システム１５００は、ＣＰＵ１５０１に代えて、又はＣＰＵ１５０１とともに、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）を備えていていもよい。
ＲＯＭ１５０２は、基本入出力プログラムや装置情報などを恒久的に格納する読み出し専用メモリである。ＲＡＭ１５０３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの揮発性メモリで構成され、ＣＰＵ１５０１の作業領域として使用される。大容量記憶装置１５０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、プログラムやデータをファイル形式で保存する。ＨＤＤは、ユニット内に固定された１又は複数枚の磁気ディスクを記録媒体とする記憶装置である。
入出力インターフェース１５０５には、出力部１５１１、入力部１５１２、通信部１５１３、ドライブ１５１４などのさまざまな入出力デバイスが接続されている。出力部１５１１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やスピーカ、プリンタなどで構成され、例えばＣＰＵ１５０１によるプログラムの実行結果を出力する。入力部１５１２は、キーボードや、マウス、マイクなどで構成され、ユーザからの指示を受け付ける。
通信部１５１３は、所定の通信規約に則った、有線又は無線の通信インターフェースを備えており、外部装置とのデータ通信を行う。情報処理システム１５００が第１～第３の装置のいずれかとして動作する場合には、通信部１５１３は、第１～第３の装置のうちその他の装置との通信を行う。また、情報処理システム１５００がユーザの情報端末として動作する場合には、通信部１５１３は、第２の装置及び第３の装置との通信を行う。
また、通信部１５１３は、インターネットなどの広域ネットワークに接続されている。通信部１５１６を使って、インターネット上のダウンロードサイトから、アプリケーションプログラムをダウンロードして、情報処理システム１５００にインストールすることができる。
ドライブ１５１４は、リムーバブル記録媒体１５１５を装填して、リムーバブル記録媒体１５１５からの読み出し処理、及びリムーバブル記録媒体１５１５への書き込み処理（但し、書き込み可能な記録媒体の場合）を行う。リムーバブル記録媒体１５１５は、プログラムやデータなどをファイル形式で記録している。リムーバブル記録媒体１５１５として、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどが挙げられる。
情報処理システム１５００は、例えば生成モデルを用いてデータを生成するプログラム及び評価モデルを用いてデータの主観評価を推定するプログラムがインストールされることによって、第１の装置として動作することができる。
また、情報処理システム１５００は、生成モデルによる生成データと評価モデルによる生成データに対する模擬主観評価を取得して提示するプログラムをインストールすることによって、第２の装置として動作することができる。
また、情報処理システム１５００は、生成モデルによる生成データと評価モデルによる生成データに対する模擬主観評価に対するユーザの評価を入力するインターフェースを提示し、インターフェースを介して取得したユーザからフィードバックされた評価をアップロードするプログラムをインストールすることによって、ユーザの情報端末として動作することができる。
また、情報処理システム１５００は、評価モデルによる生成データに対する模擬主観評価とユーザからフィードバックされた評価に基づいて生成モデル及び評価モデルの学習（すなわち、各ニューラルネットワークの係数の更新）を行うプログラムをインストールすることによって、第３の装置として動作することができる。
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、本開示を主に画像を生成するデータ生成システムに適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。本開示は、画像以外にも、音声、音楽、テキストなどさまざまなデータの生成、及び生成したデータの主観評価に適用することができる。
また、本開示に基づいて学習される評価モデルは、白黒画像のコンテンツから生成したカラー画像のコンテンツの主観評価、映像コンテンツから生成した効果音の主観評価、自動生成したアニメーションのキャラクター画像やキャラクターの音声の主観評価に適用することができる。
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本開示は、以下のような構成をとることも可能である。
（１）生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得部と、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、
前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部と、
を含む情報処理システム。
前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、
前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部と、
を含む情報処理システム。
（２）前記ユーザ評価を入力するためのインターフェースを提示するインターフェース提示部を含む、上記（１）に記載の情報処理システム。
（３）前記システムフィードバック取得部は、生成モデルを用いたデータの生成及び前記評価モデルを用いた生成データの評価を行う１又は複数の装置から、前記生成データ及び前記評価情報を取得する、
上記（１）又は（２）のいずれかに記載の情報処理システム。
上記（１）又は（２）のいずれかに記載の情報処理システム。
（４）前記システムフィードバック取得部は、前記生成データに対する評価情報として、前記生成データの特徴を複数の要素に切り分けた評価指標を取得し、
前記システムフィードバック提示部は、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示部は、前記要素毎の評価指標を調整するためのインターフェースを提示する、
上記（２）又は（３）のいずれかに記載の情報処理システム。
前記システムフィードバック提示部は、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示部は、前記要素毎の評価指標を調整するためのインターフェースを提示する、
上記（２）又は（３）のいずれかに記載の情報処理システム。
（５）前記システムフィードバック取得部は、前記生成データに対する評価情報として、前記生成データに関連する生成データを取得し、
前記システムフィードバック提示部は、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示部は、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
上記（２）乃至（４）のいずれかに記載の情報処理システム。
前記システムフィードバック提示部は、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示部は、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
上記（２）乃至（４）のいずれかに記載の情報処理システム。
（６）前記出力部は、前記ユーザ評価を、データを生成する生成モデル及び生成データを評価する評価モデルの各モデルを更新する装置に出力する、
上記（１）に記載の情報処理システム。
上記（１）に記載の情報処理システム。
（７）前記システムフィードバック取得部と前記システムフィードバック提示部を含む第１の装置と、
前記ユーザフィードバック取得部と前記出力部を含む第２の装置と、
を含む、上記（１）乃至（６）のいずれかに記載の情報処理システム。
前記ユーザフィードバック取得部と前記出力部を含む第２の装置と、
を含む、上記（１）乃至（６）のいずれかに記載の情報処理システム。
（８）データを生成する生成モデル及び生成データを評価する評価モデルの各モデルを更新する第３の装置を含み、
前記出力部は、前記ユーザ評価を前記第３の装置に出力する、
上記（１）乃至（７）のいずれかに記載の情報処理システム。
前記出力部は、前記ユーザ評価を前記第３の装置に出力する、
上記（１）乃至（７）のいずれかに記載の情報処理システム。
（９）生成モデルを用いたデータの生成及び前記評価モデルを用いた生成モデルの評価を行う１又は複数の装置を含み、
前記システムフィードバック取得部は、前記１又は複数の装置から前記生成データ及び前記評価モデルを用いた生成データの評価を取得する、
上記（１）乃至（８）のいずれかに記載の情報処理システム。
前記システムフィードバック取得部は、前記１又は複数の装置から前記生成データ及び前記評価モデルを用いた生成データの評価を取得する、
上記（１）乃至（８）のいずれかに記載の情報処理システム。
（１０）前記システムフィードバック取得部、前記システムフィードバック提示部、前記ユーザフィードバック取得部、及び前記出力部を含む第１の装置を含む、
上記（１）乃至（９）のいずれかに記載の情報処理システム。
上記（１）乃至（９）のいずれかに記載の情報処理システム。
（１１）生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得ステップと、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示ステップと、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得ステップと、
前記ユーザフィードバック取得ステップで取得したユーザ評価を出力する出力ステップと、
を有する情報処理方法。
前記生成データ及び前記評価情報を提示するシステムフィードバック提示ステップと、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得ステップと、
前記ユーザフィードバック取得ステップで取得したユーザ評価を出力する出力ステップと、
を有する情報処理方法。
（１２）前記ユーザ評価を入力するためのインターフェースを提示するインターフェース提示ステップを有する、請求項１１に記載の情報処理方法。
（１３）前記システムフィードバック取得ステップでは、前記生成データに対する評価情報として、前記生成データの特徴を複数の要素に切り分けた評価指標を取得し、
前記システムフィードバック提示ステップでは、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示ステップでは、前記要素毎の評価指標を調整するためのインターフェースを提示する、
上記（１２）に記載の情報処理方法。
前記システムフィードバック提示ステップでは、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示ステップでは、前記要素毎の評価指標を調整するためのインターフェースを提示する、
上記（１２）に記載の情報処理方法。
（１４）前記システムフィードバック取得ステップでは、前記生成データに対する評価情報として、前記生成データに関連する生成データを取得し、
前記システムフィードバック提示ステップでは、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示ステップは、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
上記（１２）に記載の情報処理方法。
前記システムフィードバック提示ステップでは、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示ステップは、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
上記（１２）に記載の情報処理方法。
（１５）生成されたデータに対する評価情報を、評価モデルを用いて生成する評価部と、
前記評価情報に対するユーザ評価情報を取得する取得部と、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新部と、
を含む情報処理システム。
前記評価情報に対するユーザ評価情報を取得する取得部と、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新部と、
を含む情報処理システム。
（１６）生成モデルを用いてデータを生成する生成部と、
前記ユーザ評価情報に基づいて前記生成モデルを更新する生成モデル更新部と、
を含み、
前記評価部は、前記生成部が生成したデータに対する評価情報を生成する、
上記（１５）に記載の情報処理システム。
前記ユーザ評価情報に基づいて前記生成モデルを更新する生成モデル更新部と、
を含み、
前記評価部は、前記生成部が生成したデータに対する評価情報を生成する、
上記（１５）に記載の情報処理システム。
（１７）前記評価部は、前記評価情報を情報端末に出力し、
前記取得部は、前記情報端末上で提示されたインターフェースを通じて入力されたユーザ評価情報を前記情報端末から取得する、
上記（１５）又は（１６）のいずれかに記載の情報処理システム。
前記取得部は、前記情報端末上で提示されたインターフェースを通じて入力されたユーザ評価情報を前記情報端末から取得する、
上記（１５）又は（１６）のいずれかに記載の情報処理システム。
（１８）前記評価部は、前記生成されたデータの特徴を複数の要素に切り分けて要素毎の評価を行い、
前記取得部は、前記複数の要素の要素毎の評価を調整する情報を含んだユーザ評価情報を取得する、
上記（１５）乃至（１７）のいずれかに記載の情報処理システム。
前記取得部は、前記複数の要素の要素毎の評価を調整する情報を含んだユーザ評価情報を取得する、
上記（１５）乃至（１７）のいずれかに記載の情報処理システム。
（１９）前記評価部は、前記生成されたデータに関連する生成データを生成し、
前記取得部は、前記関連する生成データに対するユーザの意図を含んだユーザ評価情報を取得する、
上記（１５）乃至（１８）のいずれかに記載の情報処理システム。
前記取得部は、前記関連する生成データに対するユーザの意図を含んだユーザ評価情報を取得する、
上記（１５）乃至（１８）のいずれかに記載の情報処理システム。
（２０）生成されたデータに対する評価情報を、評価モデルを用いて生成する評価ステップと、
前記評価情報に対するユーザ評価情報を取得する取得ステップと、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新ステップと、
を有する情報処理方法。
前記評価情報に対するユーザ評価情報を取得する取得ステップと、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新ステップと、
を有する情報処理方法。
（２１）生成モデルを用いてデータを生成する生成部と、
評価モデルを用いて前記生成部が生成したデータの主観評価を生成する評価部と、
を具備するデータ生成システム。
評価モデルを用いて前記生成部が生成したデータの主観評価を生成する評価部と、
を具備するデータ生成システム。
（２２）前記生成部による生成データ及び前記評価部による主観評価を含むシステムフィードバックに対するユーザ評価に基づいて、前記生成モデル又は前記評価モデルのうち少なくとも一方の更新を行うモデル更新部をさらに備える、
上記（２１）に記載のデータ生成システム。
上記（２１）に記載のデータ生成システム。
（２３）前記評価部は、前記生成データに対する主観評価として、前記生成データの特徴を複数の要素に切り分けた評価指標を生成し、
前記モデル更新部は、前記要素毎の評価指標に対するユーザによる調整結果に基づいてモデルの更新を行う、
上記（２２）に記載のデータ生成システム。
前記モデル更新部は、前記要素毎の評価指標に対するユーザによる調整結果に基づいてモデルの更新を行う、
上記（２２）に記載のデータ生成システム。
（２４）前記評価部は、前記生成データに対する主観評価として、前記生成データに関連するデータを生成し、
前記モデル更新部は、前記関連するテータに対するユーザの意図に基づいてモデルの更新を行う、
上記（２１）に記載のデータ生成システム。
前記モデル更新部は、前記関連するテータに対するユーザの意図に基づいてモデルの更新を行う、
上記（２１）に記載のデータ生成システム。
１００…データ生成システム、１０１…生成器、１０２…評価器
１５００…情報処理システム、１５０１…ＣＰＵ、１５０２…ＲＯＭ
１５０３…ＲＡＭ、１５０４…大容量記憶装置
１５０５…入出力インターフェース、１５１０…バス
１５１１…出力部、１５１２…入力部、１５１３…通信部
１５１４…ドライブ、１５１５…リムーバブル記録媒体
１５００…情報処理システム、１５０１…ＣＰＵ、１５０２…ＲＯＭ
１５０３…ＲＡＭ、１５０４…大容量記憶装置
１５０５…入出力インターフェース、１５１０…バス
１５１１…出力部、１５１２…入力部、１５１３…通信部
１５１４…ドライブ、１５１５…リムーバブル記録媒体
Claims (20)
- 生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得部と、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示部と、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得部と、
前記ユーザフィードバック取得部が取得したユーザ評価を出力する出力部と、
を含む情報処理システム。 - 前記ユーザ評価を入力するためのインターフェースを提示するインターフェース提示部を含む、請求項１に記載の情報処理システム。
- 前記システムフィードバック取得部は、生成モデルを用いたデータの生成及び前記評価モデルを用いた生成データの評価を行う１又は複数の装置から、前記生成データ及び前記評価情報を取得する、
請求項１に記載の情報処理システム。 - 前記システムフィードバック取得部は、前記生成データに対する評価情報として、前記生成データの特徴を複数の要素に切り分けた評価指標を取得し、
前記システムフィードバック提示部は、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示部は、前記要素毎の評価指標を調整するためのインターフェースを提示する、
請求項２に記載の情報処理システム。 - 前記システムフィードバック取得部は、前記生成データに対する評価情報として、前記生成データに関連する生成データを取得し、
前記システムフィードバック提示部は、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示部は、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
請求項２に記載の情報処理システム。 - 前記出力部は、前記ユーザ評価を、データを生成する生成モデル及び生成データを評価する評価モデルの各モデルを更新する装置に出力する、
請求項１に記載の情報処理システム。 - 前記システムフィードバック取得部と前記システムフィードバック提示部を含む第１の装置と、
前記ユーザフィードバック取得部と前記出力部を含む第２の装置と、
を含む、請求項１に記載の情報処理システム。 - データを生成する生成モデル及び生成データを評価する評価モデルの各モデルを更新する第３の装置を含み、
前記出力部は、前記ユーザ評価を前記第３の装置に出力する、
請求項１に記載の情報処理システム。 - 生成モデルを用いたデータの生成及び前記評価モデルを用いた生成モデルの評価を行う１又は複数の装置を含み、
前記システムフィードバック取得部は、前記１又は複数の装置から前記生成データ及び前記評価モデルを用いた生成データの評価を取得する、
請求項１に記載の情報処理システム。 - 前記システムフィードバック取得部、前記システムフィードバック提示部、前記ユーザフィードバック取得部、及び前記出力部を含む第１の装置を含む、
請求項１に記載の情報処理システム。 - 生成データと前記生成データに対する評価モデルに基づく評価情報を取得するシステムフィードバック取得ステップと、
前記生成データ及び前記評価情報を提示するシステムフィードバック提示ステップと、
前記生成データ又は前記評価情報に対するユーザ評価を取得するユーザフィードバック取得ステップと、
前記ユーザフィードバック取得ステップで取得したユーザ評価を出力する出力ステップと、
を有する情報処理方法。 - 前記ユーザ評価を入力するためのインターフェースを提示するインターフェース提示ステップを有する、請求項１１に記載の情報処理方法。
- ３
前記システムフィードバック取得ステップでは、前記生成データに対する評価情報として、前記生成データの特徴を複数の要素に切り分けた評価指標を取得し、
前記システムフィードバック提示ステップでは、前記生成データ及び前記要素毎の評価指標を提示し、
前記インターフェース提示ステップでは、前記要素毎の評価指標を調整するためのインターフェースを提示する、
請求項１２に記載の情報処理方法。 - 前記システムフィードバック取得ステップでは、前記生成データに対する評価情報として、前記生成データに関連する生成データを取得し、
前記システムフィードバック提示ステップでは、前記生成データ及び前記関連する生成データを提示し、
前記インターフェース提示ステップは、前記関連する生成データに対するユーザの意図を入力するためのインターフェースを提示する、
請求項１２に記載の情報処理方法。 - 生成されたデータに対する評価情報を、評価モデルを用いて生成する評価部と、
前記評価情報に対するユーザ評価情報を取得する取得部と、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新部と、
を含む情報処理システム。 - 生成モデルを用いてデータを生成する生成部と、
前記ユーザ評価情報に基づいて前記生成モデルを更新する生成モデル更新部と、
を含み、
前記評価部は、前記生成部が生成したデータに対する評価情報を生成する、
請求項１５に記載の情報処理システム。 - 前記評価部は、前記評価情報を情報端末に出力し、
前記取得部は、前記情報端末上で提示されたインターフェースを通じて入力されたユーザ評価情報を前記情報端末から取得する、
請求項１５に記載の情報処理システム。 - 前記評価部は、前記生成されたデータの特徴を複数の要素に切り分けて要素毎の評価を行い、
前記取得部は、前記複数の要素の要素毎の評価を調整する情報を含んだユーザ評価情報を取得する、
請求項１５に記載の情報処理システム。 - 前記評価部は、前記生成されたデータに関連する生成データを生成し、
前記取得部は、前記関連する生成データに対するユーザの意図を含んだユーザ評価情報を取得する、
請求項１５に記載の情報処理システム。 - 生成されたデータに対する評価情報を、評価モデルを用いて生成する評価ステップと、
前記評価情報に対するユーザ評価情報を取得する取得ステップと、
前記ユーザ評価情報に基づいて前記評価モデルを更新する評価モデル更新ステップと、
を有する情報処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202180099149.8A CN117529737A (zh) | 2021-06-15 | 2021-12-27 | 信息处理系统和信息处理方法 |
| JP2023529451A JPWO2022264461A1 (ja) | 2021-06-15 | 2021-12-27 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-099770 | 2021-06-15 | ||
| JP2021099770 | 2021-06-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022264461A1 true WO2022264461A1 (ja) | 2022-12-22 |
Family
ID=84525983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/048707 WO2022264461A1 (ja) | 2021-06-15 | 2021-12-27 | 情報処理システム及び情報処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2022264461A1 (ja) |
| CN (1) | CN117529737A (ja) |
| WO (1) | WO2022264461A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7344501B1 (ja) | 2023-03-29 | 2023-09-14 | ＡＩ ｉｎｓｉｄｅ株式会社 | プログラム、方法、情報処理装置、システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058865A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム |
| US20170243120A1 (en) * | 2016-02-23 | 2017-08-24 | Salesforce.Com, Inc. | Data analytics systems and methods with personalized sentiment models |
| US20190026609A1 (en) * | 2017-07-24 | 2019-01-24 | Adobe Systems Incorporated | Personalized Digital Image Aesthetics in a Digital Medium Environment |
| JP2020181392A (ja) * | 2019-04-25 | 2020-11-05 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、方法及びプログラム |
| US20210202072A1 (en) * | 2019-12-27 | 2021-07-01 | Coreline Soft Co., Ltd. | Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network |
-
2021
- 2021-12-27 WO PCT/JP2021/048707 patent/WO2022264461A1/ja active Application Filing
- 2021-12-27 JP JP2023529451A patent/JPWO2022264461A1/ja active Pending
- 2021-12-27 CN CN202180099149.8A patent/CN117529737A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058865A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社東芝 | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム |
| US20170243120A1 (en) * | 2016-02-23 | 2017-08-24 | Salesforce.Com, Inc. | Data analytics systems and methods with personalized sentiment models |
| US20190026609A1 (en) * | 2017-07-24 | 2019-01-24 | Adobe Systems Incorporated | Personalized Digital Image Aesthetics in a Digital Medium Environment |
| JP2020181392A (ja) * | 2019-04-25 | 2020-11-05 | ピクシーダストテクノロジーズ株式会社 | 情報処理装置、方法及びプログラム |
| US20210202072A1 (en) * | 2019-12-27 | 2021-07-01 | Coreline Soft Co., Ltd. | Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network |
Non-Patent Citations (1)
| Title |
|---|
| KOHEI KOHEI, GOSATO USHINI': "An Automatic Generation Method of Banner Advertisement Using Adversarial Generation Network", DEIM FORUM 2021 - 19TH ANNUAL MEETING OF THE DATABASE SOCIETY OF JAPAN, DATABASE SOCIETY OF JAPAN, JP, vol. E31-5, 1 March 2021 (2021-03-01), JP, pages 1 - 8, XP093015167 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7344501B1 (ja) | 2023-03-29 | 2023-09-14 | ＡＩ ｉｎｓｉｄｅ株式会社 | プログラム、方法、情報処理装置、システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022264461A1 (ja) | 2022-12-22 |
| CN117529737A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7283496B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
| US8108783B2 (en) | System and method of GUI overlaying for migrating from a first application to a second application | |
| US10217454B2 (en) | Voice synthesizer, voice synthesis method, and computer program product | |
| US8856007B1 (en) | Use text to speech techniques to improve understanding when announcing search results | |
| JP6859577B2 (ja) | 学習方法、学習プログラム、学習装置及び学習システム | |
| US20230237980A1 (en) | Hands-on artificial intelligence education service | |
| JP7140221B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
| WO2018235607A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2017167273A (ja) | 声質嗜好学習装置、声質嗜好学習方法及びプログラム | |
| WO2022264461A1 (ja) | 情報処理システム及び情報処理方法 | |
| US20150278187A1 (en) | Summary-so-far feature for electronic books | |
| US11734348B2 (en) | Intelligent audio composition guidance | |
| Hope | The Future is Graphic: Animated notation for contemporary practice | |
| WO2020071213A1 (ja) | 音響モデル学習装置、音声合成装置、及びプログラム | |
| JPWO2020247590A5 (ja) | ||
| JP2022505875A (ja) | デジタルコンテンツの法的認可審査を実行するための方法 | |
| CN104303132B (zh) | 多感官情感表达 | |
| JP7418106B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20230419932A1 (en) | Information processing device and control method thereof | |
| WO2022145145A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| Kawahara | Temporally variable multi attribute morphing of arbitrarily many voices for exploratory research of speech prosody | |
| KR102623459B1 (ko) | 사용자의 보컬 평가에 기반한 오디션 이벤트 서비스 제공 방법, 장치 및 시스템 | |
| WO2023017582A1 (ja) | 音声生成方法、音声生成装置および音声生成プログラム | |
| US20230230609A1 (en) | Training machine learning frameworks to generate studio-quality recordings through manipulation of noisy audio signals | |
| WO2023238339A1 (ja) | 音声生成方法、音声生成装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21946131 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2023529451 Country of ref document: JP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 18567456 Country of ref document: US |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 202180099149.8 Country of ref document: CN |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |