Claims (56)
1. Способ обучения модели генерирования изображений, предусматривающий:1. A method for training an image generation model, including:
получение первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения на основании первого образца шума, а первое обучающее изображение представляет собой изображение первого стиля;obtaining a first transformation model by training, wherein the first transformation model is configured to generate a first training image based on the first noise sample, and the first training image is a first style image;
получение модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкции выполнена с возможностью привязки образа исходного изображения к скрытой переменной, соответствующей образцу исходного изображения;obtaining a reconstruction model by learning based on the first transformation model, wherein the reconstruction model is configured to link an image of the original image to a latent variable corresponding to an example of the original image;
получение второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения на основании второго образца шума, а второе обучающее изображение представляет собой изображение второго стиля;obtaining a second transformation model by training, the second transformation model configured to generate a second training image based on the second noise sample, and the second training image is a second style image;
генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования; иgenerating a spliced transformation model by splicing the first transformation model with the second transformation model; And
создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.creating an image generation model based on the reconstruction model and the spliced transformation model, wherein the image generation model is configured to transform the first style image to be transformed into a second style target image.
2. Способ по п. 1, в котором:2. The method according to claim 1, in which:
первая модель преобразования содержит первую сеть отображения и первую сеть синтеза; аthe first transformation model contains a first mapping network and a first synthesis network; A
получение первой модели преобразования посредством обучения предусматривает:obtaining the first transformation model through training involves:
получение первой выборки обучающих образцов, причем первая выборка обучающих образцов содержит множество первых образцов шума;obtaining a first sample of training samples, wherein the first sample of training samples contains a plurality of first noise samples;
получение скрытых переменных, соответствующих множеству первых образцов шума, что осуществляется путем ввода множества первых образцов шума в первую сеть отображения;obtaining latent variables corresponding to the plurality of first noise samples, which is accomplished by inputting the plurality of first noise samples into the first mapping network;
получение первых обучающих изображений, соответствующих множеству первых образцов шума, что осуществляется путем ввода скрытых переменных, соответствующих множеству первых образцов шума, в первую сеть синтеза; иobtaining first training images corresponding to the plurality of first noise samples, which is accomplished by inputting latent variables corresponding to the plurality of first noise samples into the first synthesis network; And
коррекцию весового параметра первой модели преобразования на основании первых обучающих образцов, соответствующих множеству первых образцов шума.adjusting the weight parameter of the first transformation model based on the first training samples corresponding to the plurality of first noise samples.
3. Способ по п. 2, в котором:3. The method according to claim 2, in which:
первая модель преобразования содержит первую дискриминационную сеть; аthe first transformation model contains a first discrimination network; A
коррекция весового параметра первой модели преобразования на основании первых обучающих образцов, соответствующих множеству первых образцов шума, предусматривает:correction of the weight parameter of the first transformation model based on the first training samples corresponding to the plurality of first noise samples provides:
получение первых дискриминационных потерь, соответствующих множеству первых образцов шума, путем ввода первых обучающих изображений, соответствующих множеству первых образцов шума, в первую дискриминационную сеть; иobtaining first discrimination losses corresponding to the plurality of first noise samples by inputting first training images corresponding to the plurality of first noise samples into the first discrimination network; And
коррекцию весового параметра первой модели преобразования на основании первых дискриминационных потерь, соответствующих множеству первых образцов шума.adjusting a weight parameter of the first transform model based on the first discrimination losses corresponding to the plurality of first noise samples.
4. Способ по п. 1, в котором получение модели реконструкции посредством обучения на основании первой модели преобразования предусматривает:4. The method according to claim 1, in which obtaining a reconstruction model by training based on the first transformation model involves:
получение второй выборки обучающих образцов, причем вторая выборка обучающих образцов содержит множество образцов исходного изображения;obtaining a second set of training samples, wherein the second set of training samples contains a plurality of samples of the original image;
генерирование скрытых переменных, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода множества образцов исходного изображения в модель реконструкции;generating latent variables corresponding to the plurality of source image samples, which is done by inputting the plurality of source image samples into the reconstruction model;
генерирование реконструированных изображений, соответствующих множеству образцов исходного изображения, что осуществляется путем ввода скрытых переменных, соответствующих множеству образцов исходного изображения, в первую модель преобразования, причем множество образцов исходного изображения и реконструированные изображения, соответствующие множеству образцов исходного изображения, представляют собой изображения первого стиля;generating reconstructed images corresponding to a plurality of original image samples, which is accomplished by inputting latent variables corresponding to a plurality of original image samples into a first transformation model, wherein the plurality of original image samples and the reconstructed images corresponding to the plurality of original image samples are first style images;
определение потерь модели реконструкции, соответствующих множеству образцов исходного изображения, на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения; иdetermining a loss of a reconstruction model corresponding to the plurality of source image samples based on the plurality of source image samples and reconstructed images corresponding to the plurality of source image samples; And
коррекцию весового параметра модели реконструкции на основании потерь модели реконструкции, соответствующих множеству образцов исходного изображения.adjusting the weight parameter of the reconstruction model based on the losses of the reconstruction model corresponding to the set of samples of the original image.
5. Способ по п. 4, в котором:5. The method according to claim 4, in which:
первая модель преобразования включает в себя первую дискриминационную сеть; а определение потерь модели реконструкции, соответствующих множеству образцов исходного изображения, на основании множества образцов исходного изображения и реконструированных изображений, соответствующих множеству образцов исходного изображения, предусматривает:the first transformation model includes a first discrimination network; and determining the loss of the reconstruction model corresponding to the plurality of source image samples, based on the plurality of source image samples and the reconstructed images corresponding to the plurality of source image samples, involves:
определение первых подпотерь на основании выходного результата, полученного путем ввода каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в первую дискриминационную сеть, причем первые подпотери обозначают первую характеристику реконструированного изображения;determining first sub-losses based on an output obtained by inputting each of the reconstructed images corresponding to the plurality of samples of the original image into a first discrimination network, the first sub-losses indicating a first characteristic of the reconstructed image;
определение вторых подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в перцепционную сеть, причем вторые подпотери обозначают первую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака;determining a second sub-loss based on an output obtained by inputting each of the plurality of source image samples and each of the reconstructed images corresponding to the plurality of source image samples into the perceptual network, the second sub-loss denoting a first-degree match of the source image sample to a reconstructed image corresponding to the source image sample , according to the criterion of the target attribute;
определение третьих подпотерь на основании выходного результата, полученного путем ввода каждого из множества образцов исходного изображения и каждого из реконструированных изображений, соответствующих множеству образцов исходного изображения, в функцию регрессии, причем третьи подпотери обозначают вторую степень соответствия образца исходного изображения реконструированному изображению, соответствующему образцу исходного изображения, по критерию целевого признака; иdetermining a third sub-loss based on an output obtained by inputting each of the plurality of original image samples and each of the reconstructed images corresponding to the plurality of original image samples into a regression function, the third sub-loss indicating a second degree of correspondence of the original image sample to a reconstructed image corresponding to the original image sample , according to the criterion of the target attribute; And
определение потерь модели реконструкции на основании первых подпотерь, вторых подпотерь и третьих подпотерь.determining the reconstruction model losses based on the first sublosses, the second sublosses and the third sublosses.
6. Способ по любому из пп. 1-5, в котором в процессе обучения исходным весовым параметром второй модели преобразования служит весовой параметр первой модели преобразования.6. Method according to any one of paragraphs. 1-5, in which during the training process the initial weight parameter of the second transformation model is the weight parameter of the first transformation model.
7. Способ по любому из пп. 1-5, в котором генерирование сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования предусматривает:7. Method according to any one of paragraphs. 1-5, in which generating a spliced transformation model by splicing a first transformation model with a second transformation model involves:
генерирование сращенной модели преобразования путем сращивания слоев n весовой сети из числа множества слоев весовой сети в первой модели преобразования со слоями m весовой сети из числа множества слоев весовой сети во второй модели преобразования, причем предусмотрено разное количество слоев n весовой сети и слоев m весовой сети, величина n является целым положительным числом, и величина m является целым положительным числом; илиgenerating a spliced transformation model by splicing n weight network layers from among the plurality of weight network layers in the first transformation model with m weight network layers from among the plurality of weight network layers in the second transformation model, wherein a different number of n weight network layers and m weight network layers are provided, the value n is a positive integer and the value m is a positive integer; or
генерирование сращенной модели преобразования путем выполнении операции суммирования, или операции усреднения, или операции разности в отношении весовых параметров множества слоев весовой сети в первой модели преобразования и соответствующих весовых параметров множества слоев весовой сети во второй модели преобразования.generating a spliced transformation model by performing a sum operation or an averaging operation or a difference operation with respect to the weight parameters of the plurality of weight network layers in the first transformation model and the corresponding weight parameters of the plurality of weight network layers in the second transformation model.
8. Способ по любому из пп. 1-5, в котором создание модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования предусматривает:8. Method according to any one of paragraphs. 1-5, in which the creation of an image generation model based on the reconstruction model and the spliced transformation model involves:
получение комбинированной модели преобразования путем объединения модели реконструкции и сращенной модели преобразования;obtaining a combined transformation model by combining the reconstruction model and the spliced transformation model;
получение четвертой выборки обучающих образцов, причем четвертая выборка обучающих образцов включает в себя по меньшей мере один образец исходного изображения и изображение второго стиля, соответствующее по меньшей мере одному образцу исходного изображения; иobtaining a fourth set of training samples, the fourth set of training samples including at least one sample of the original image and a second style image corresponding to the at least one sample of the original image; And
создание модели генерирования изображений путем подстройки комбинированной модели преобразования с использованием четвертой выборки обучающих образцов.creating an image generation model by adjusting the combined transformation model using the fourth set of training samples.
9. Способ генерирования изображений, предусматривающий:9. A method for generating images, comprising:
генерирование скрытой переменной, соответствующей подлежащему преобразованию изображению, что осуществляется путем ввода подлежащего преобразования изображения первого стиля в модель реконструкции; иgenerating a latent variable corresponding to the image to be transformed, which is done by inputting the first style image to be transformed into the reconstruction model; And
генерирование – на основании скрытой переменной, соответствующей подлежащему преобразованию изображению – целевого изображения, соответствующего подлежащему преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;generating, based on the latent variable corresponding to the image to be transformed, a target image corresponding to the image to be transformed using a spliced transformation model, the target image being a second style image;
при этом сращенная модель преобразования представляет собой модель, сгенерированную путем сращивания первой модели преобразования со второй моделью преобразования; первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума; а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.wherein the spliced transformation model is a model generated by splicing the first transformation model with the second transformation model; the first transformation model is configured to generate a first style image in accordance with the first noise sample; and the second transformation model is configured to generate a second style image in accordance with the second noise pattern.
10. Устройство для обучения модели генерирования изображений, содержащее:10. A device for training an image generation model, containing:
модуль обучения модели, выполненный с возможностью получения первой модели преобразования посредством обучения, причем первая модель преобразования выполнена с возможностью генерирования первого обучающего изображения в соответствии с первым образцом шума, а первое обучающее изображение представляет собой изображение первого стиля, при этом:a model learning module configured to obtain a first transformation model by training, wherein the first transformation model is configured to generate a first training image in accordance with the first noise sample, and the first training image is a first style image, wherein:
модуль обучения модели выполнен с дополнительной возможностью получения модели реконструкции посредством обучения на основании первой модели преобразования, причем модель реконструкция выполнена с возможностью привязки образца исходного изображения к скрытой переменной, соответствующей образцу исходного изображения; иthe model training module is configured with the additional ability to obtain a reconstruction model by training based on the first transformation model, wherein the reconstruction model is configured to link a sample of the original image to a latent variable corresponding to the sample of the original image; And
модуль обучения модели выполнен с дополнительной возможностью получения второй модели преобразования посредством обучения, причем вторая модель преобразования выполнена с возможностью генерирования второго обучающего изображения в соответствии со вторым образцом шума, а второе обучающее изображение представляет собой изображение второго стиля; иthe model training module is further configured to obtain a second transformation model by training, the second transformation model is configured to generate a second training image in accordance with the second noise pattern, and the second training image is a second style image; And
модуль генерирования модели, выполненный с возможностью генерирования сращенной модели преобразования путем сращивания первой модели преобразования со второй моделью преобразования; при этом:a model generation module configured to generate a spliced transformation model by splicing a first transformation model with a second transformation model; wherein:
модуль генерирования модели выполнен с дополнительной возможностью создания модели генерирования изображений на основании модели реконструкции и сращенной модели преобразования, причем модель генерирования изображений выполнена с возможностью преобразования подлежащего преобразованию изображения первого стиля в целевое изображение второго стиля.the model generation module is further configured to create an image generation model based on the reconstruction model and the spliced transformation model, wherein the image generation model is configured to convert the first style image to be transformed into a second style target image.
11. Устройство для генерирования изображений, содержащее:11. An image generating device comprising:
модуль генерирования переменных, выполненный с возможностью генерирования скрытой переменной, соответствующей подлежащему преобразованию изображению, путем ввода подлежащего преобразованию изображения первого стиля в модель реконструкции; иa variable generation module configured to generate a latent variable corresponding to the image to be transformed by inputting the first style image to be transformed into the reconstruction model; And
модуль генерирования изображений, выполненный с возможностью генерирования – на основании скрытой переменной, соответствующей подлежащему преобразованию изображению – целевого изображения, соответствующего подлежащего преобразованию изображению, с использованием сращенной модели преобразования, причем целевое изображение представляет собой изображение второго стиля;an image generating module configured to generate, based on a latent variable corresponding to an image to be transformed, a target image corresponding to the image to be transformed using a spliced transformation model, wherein the target image is a second style image;
при этом сращенная модель преобразования является моделью, сгенерированной путем сращивания первой модели преобразования со второй моделью преобразования, первая модель преобразования выполнена с возможностью генерирования изображения первого стиля в соответствии с первым образцом шума, а вторая модель преобразования выполнена с возможностью генерирования изображения второго стиля в соответствии со вторым образцом шума.wherein the spliced transform model is a model generated by splicing a first transform model with a second transform model, the first transform model is configured to generate a first style image in accordance with the first noise sample, and the second transform model is configured to generate a second style image in accordance with second noise sample.
12. Компьютерное устройство для обучения модели генерирования изображений, содержащее процессор и память, в которой хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа обучения модели генерирования изображений по любому из пп. 1-8.12. A computer device for training an image generation model, comprising a processor and memory in which one or more computer programs are stored, wherein one or more computer programs, when loaded and executed by the processor of the computer device, initiates the implementation by the computer device of a method for training the image generation model according to any of pp. 1-8.
13. Машиночитаемый носитель данных для хранения на нем одной или нескольких компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа обучения модели генерирования изображений по любому из пп. 1-8.13. A computer-readable storage medium for storing on it one or more computer programs, wherein one or more computer programs, when loaded and executed by a processor, initiates implementation by this processor of a method for training an image generation model according to any one of claims. 1-8.
14. Компьютерное устройство для генерирования изображений, содержащее процессор и память, причем в памяти хранится одна или несколько компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором компьютерного устройства инициирует реализацию компьютерным устройством способа генерирования изображений по п. 9.14. A computer device for generating images, comprising a processor and a memory, wherein the memory stores one or more computer programs, wherein the one or more computer programs, when loaded and executed by the processor of the computer device, causes the computer device to implement the image generation method of claim 9.
15. Машиночитаемый носитель данных для хранения на нем одной или нескольких компьютерных программ, причем одна или несколько компьютерных программ при их загрузке и выполнении процессором инициирует реализацию этим процессором способа генерирования изображений по п. 9.15. A computer-readable storage medium for storing on it one or more computer programs, wherein one or more computer programs, when loaded and executed by a processor, causes the processor to implement the image generation method of claim 9.