WO2022113398A1 - Image outputting apparatus and image outputting method - Google Patents

Image outputting apparatus and image outputting method Download PDF

Info

Publication number
WO2022113398A1
WO2022113398A1 PCT/JP2021/016224 JP2021016224W WO2022113398A1 WO 2022113398 A1 WO2022113398 A1 WO 2022113398A1 JP 2021016224 W JP2021016224 W JP 2021016224W WO 2022113398 A1 WO2022113398 A1 WO 2022113398A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
real
target image
virtual
target
Prior art date
Application number
PCT/JP2021/016224
Other languages
French (fr)
Japanese (ja)
Inventor
敏行 ▲鶴▼見
Original Assignee
株式会社ネフロック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネフロック filed Critical 株式会社ネフロック
Publication of WO2022113398A1 publication Critical patent/WO2022113398A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

This image output device is provided with: a generation unit which, from a first real image that contains a target image in a first form, generates a first virtual image, which contains the target image in a second form; an identification unit which identifies whether or not the first virtual image is real on the basis of a second real image that contains the target image in the second form; a learning unit which generates a learning model, the training data being the first virtual images identified to be real by the identification unit and the first real images; and an output unit which, from a third real image (or a fourth real image) that contains the target image in the first form (or the second form), uses the learning model to output a third virtual image (or a fourth virtual image) that contains the target image in the second form (or the first form).

Description

画像出力装置及び画像出力方法Image output device and image output method
　本開示は、画像出力装置及び画像出力方法に関する。 This disclosure relates to an image output device and an image output method.
　従来、眼鏡を掛けた人物の画像と眼鏡を掛けていない人物の画像との相関関係を学習することによって学習モデルを生成し、生成された学習モデルを用いて、眼鏡を掛けた人物の画像（例えば、第１態様の対象画像を含む本物画像）から眼鏡を掛けていない人物の画像（例えば、第２態様の対象画像を含む仮想画像）を出力する技術が知られている。 Conventionally, a learning model is generated by learning the correlation between the image of a person with glasses and the image of a person without glasses, and the generated learning model is used to generate an image of a person with glasses ( For example, there is known a technique for outputting an image of a person without glasses (for example, a virtual image including the target image of the second aspect) from a real image including the target image of the first aspect).
　さらに、上述した技術では、学習モデルの生成段階において、眼鏡を掛けた人物の画像及び眼鏡を掛けていない人物の画像が同一アングルで撮像される必要があるという課題も知られている。このような課題を解決するために、眼鏡を掛けた人物の画像から眼鏡を検出し、検出された眼鏡を覆うマスクを展開する技術も提案されている（例えば、特許文献１）。 Further, in the above-mentioned technique, there is also known a problem that an image of a person wearing glasses and an image of a person without glasses need to be captured at the same angle at the stage of generating a learning model. In order to solve such a problem, a technique of detecting spectacles from an image of a person wearing spectacles and developing a mask covering the detected spectacles has also been proposed (for example, Patent Document 1).
特表２０１９－５２７４１０号公報Special Table 2019-527410
　第１の特徴は、画像出力装置であって、第１態様の対象画像を含む第１本物画像から、前記第１態様の少なくとも一部が変更された第２態様の対象画像を含む第１仮想画像を生成する生成部と、前記第２態様の対象画像を含む第２本物画像に基づいて、前記第１仮想画像が本物であるか否かを識別する識別部と、前記識別部によって本物であると識別された前記第１仮想画像及び前記第１本物画像を教師データとして、前記第１本物画像と前記第１仮想画像との相関関係を学習することによって学習モデルを生成する学習部と、前記学習モデルを用いて、前記第１態様の対象画像を含む第３本物画像から、前記第２態様の対象画像を含む第３仮想画像を出力し、或いは、前記学習モデルを用いて、前記第２態様の対象画像を含む第４本物画像から、前記第１態様の対象画像を含む第４仮想画像を出力する出力部と、を備え、前記生成部及び前記識別部は、前記識別部の識別結果に基づいて調教される、ことを要旨とする。 The first feature is an image output device, the first virtual image including the target image of the second aspect in which at least a part of the first aspect is modified from the first real image including the target image of the first aspect. A generation unit that generates an image, an identification unit that identifies whether or not the first virtual image is genuine based on a second real image including the target image of the second aspect, and an identification unit that is genuine by the identification unit. A learning unit that generates a learning model by learning the correlation between the first real image and the first virtual image using the first virtual image and the first real image identified as existing as teacher data. Using the learning model, a third virtual image including the target image of the second aspect is output from the third real image including the target image of the first aspect, or the learning model is used to output the first virtual image. The generation unit and the identification unit include an output unit that outputs a fourth virtual image including the target image of the first aspect from a fourth real image including the target image of the two embodiments, and the generation unit and the identification unit identify the identification unit. The gist is that you will be trained based on the results.
　第２の特徴は、第１の特徴において、前記教師データは、クレンジング処理が適用された後に前記学習部に入力される、ことを要旨とする。 The second feature is that, in the first feature, the teacher data is input to the learning unit after the cleansing process is applied.
　第３の特徴は、第１の特徴又は第２の特徴において、前記第１態様の対象画像は、装飾品を身につけた人物の画像であり、前記第２態様の対象画像は、装飾品を身につけていない人物の画像である、ことを要旨とする。 The third feature is, in the first feature or the second feature, the target image of the first aspect is an image of a person wearing an ornament, and the target image of the second aspect is an ornament. The gist is that it is an image of a person who is not wearing it.
　第４の特徴は、第１の特徴又は第２の特徴において、前記第１態様の対象画像は、装飾品を身につけていない人物の画像であり、前記第２態様の対象画像は、装飾品を身につけた人物の画像である、ことを要旨とする。 The fourth feature is that in the first feature or the second feature, the target image of the first aspect is an image of a person who does not wear an ornament, and the target image of the second aspect is an ornament. The gist is that it is an image of a person who wears.
　第５の特徴は、画像出力方法であって、第１態様の対象画像を含む第１本物画像から、前記第１態様の少なくとも一部が変更された第２態様の対象画像を含む第１仮想画像を生成部によって生成するステップと、前記第２態様の対象画像を含む第２本物画像に基づいて、前記第１仮想画像が本物であるか否かを識別部によって識別するステップと、前記識別部によって本物であると識別された前記第１仮想画像及び前記第１本物画像を教師データとして、前記第１本物画像と前記第１仮想画像との相関関係を学習することによって学習モデルを生成するステップと、前記学習モデルを用いて、前記第１態様の対象画像を含む第３本物画像から、前記第２態様の対象画像を含む第３仮想画像を出力し、或いは、前記学習モデルを用いて、前記第２態様の対象画像を含む第４本物画像から、前記第１態様の対象画像を含む第４仮想画像を出力するステップと、を備え、前記生成部及び前記識別部は、前記識別部の識別結果に基づいて調教される、ことを要旨とする。 The fifth feature is an image output method, which is a first virtual image including a target image of the second aspect in which at least a part of the first aspect is modified from the first real image including the target image of the first aspect. The step of generating an image by the generation unit, the step of identifying by the identification unit whether or not the first virtual image is genuine based on the second real image including the target image of the second aspect, and the identification. A learning model is generated by learning the correlation between the first real image and the first virtual image using the first virtual image and the first real image identified as genuine by the unit as teacher data. Using the step and the learning model, a third virtual image including the target image of the second aspect is output from the third real image including the target image of the first aspect, or the learning model is used. A step of outputting a fourth virtual image including the target image of the first aspect from a fourth real image including the target image of the second aspect, and the generation unit and the identification unit are the identification unit. The gist is that it is trained based on the identification result of.
図１は、実施形態に係る画像出力装置１００を示す図である。FIG. 1 is a diagram showing an image output device 100 according to an embodiment. 図２は、実施形態に係る適用例を示す図である。FIG. 2 is a diagram showing an application example according to an embodiment. 図３は、実施形態に係る適用例を示す図である。FIG. 3 is a diagram showing an application example according to the embodiment. 図４は、実施形態に係る適用例を示す図である。FIG. 4 is a diagram showing an application example according to the embodiment. 図５は、実施形態に係る画像出力方法を示す図である。FIG. 5 is a diagram showing an image output method according to an embodiment.
　以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものである。 Hereinafter, embodiments will be described with reference to the drawings. In the description of the drawings below, the same or similar parts are designated by the same or similar reference numerals. However, the drawings are schematic.
　［実施形態］
　（画像出力装置）
　以下において、実施形態に係る画像出力装置について説明する。図１は、実施形態に係る画像出力装置１００を示す図である。 [Embodiment]
(Image output device)
Hereinafter, the image output device according to the embodiment will be described. FIG. 1 is a diagram showing an image output device 100 according to an embodiment.
　図１に示すように、画像出力装置１００は、教師データ生成部１１０と、学習部１２０と、出力部１３０と、を有する。 As shown in FIG. 1, the image output device 100 includes a teacher data generation unit 110, a learning unit 120, and an output unit 130.
　教師データ生成部１１０は、学習部１２０に入力する教師データを出力する。教師データは、第１態様の対象画像を含む本物画像（以下、第１本物画像）と、第１態様の少なくとも一部が変更された第２態様の対象画像を含む仮想画像（以下、第１仮想画像）と、を含む。言い換えると、教師データは、第１本物画像と第１仮想画像とのペアを含む。 The teacher data generation unit 110 outputs the teacher data to be input to the learning unit 120. The teacher data includes a real image including the target image of the first aspect (hereinafter, the first real image) and a virtual image including the target image of the second aspect in which at least a part of the first aspect is modified (hereinafter, the first aspect). Virtual image), including. In other words, the teacher data includes a pair of a first real image and a first virtual image.
　実施形態では、「本物画像」という用語は、実物を撮像した画像を意味するようとして用いる。「仮想画像」という用語は、「本物画像」ではない画像を意味する用語として用いる。従って、「仮想画像」は、「生成画像」と読み替えてもよく、「偽物画像」と読み替えてもよい。 In the embodiment, the term "real image" is used to mean an image obtained by capturing an actual image. The term "virtual image" is used to mean an image that is not a "real image". Therefore, the "virtual image" may be read as a "generated image" or a "fake image".
　ここで、対象画像は、人物の画像であってもよい。第１態様の対象画像は、装飾品を身につけた人物の画像であり、第２態様の対象画像は、装飾品を身につけていない人物の画像であってもよい。逆に、第１態様の対象画像は、装飾品を身につけていない人物の画像であり、第２態様の対象画像は、装飾品を身につけた人物の画像であってもよい。装飾品は、眼鏡、アクセサリ、衣服、服飾品、カツラなどの中から選択された１以上の装飾品を含んでもよい。 Here, the target image may be an image of a person. The target image of the first aspect may be an image of a person wearing an ornament, and the target image of the second aspect may be an image of a person wearing no ornament. On the contrary, the target image of the first aspect may be an image of a person who does not wear the ornament, and the target image of the second aspect may be an image of a person who wears the ornament. The ornament may include one or more ornaments selected from eyeglasses, accessories, clothing, garments, wigs and the like.
　このような前提下において、教師データ生成部１１０は、生成部１１１と、識別部１１２と、を有する。教師データ生成部１１０は、GAN（Generative Adversarial Network）を用いて第１仮想画像を生成する。GANは、DC（Deep Convolutional） GANを含んでもよい。生成部１１１は、GANにおけるGeneratorと読み替えてもよく、識別部１１２は、GANにおけるDiscriminatorと読み替えてもよい。生成部１１１及び識別部１１２は、識別部１１２の識別結果に基づいて調教される。なお、”調教”は、”学習”と読み替えてもよい。 Under such a premise, the teacher data generation unit 110 has a generation unit 111 and an identification unit 112. The teacher data generation unit 110 generates a first virtual image using GAN (Generative Adversarial Network). GAN may include DC (Deep Convolutional) GAN. The generation unit 111 may be read as a Generator in GAN, and the identification unit 112 may be read as a Discriminator in GAN. The generation unit 111 and the identification unit 112 are trained based on the identification result of the identification unit 112. In addition, "training" may be read as "learning".
　生成部１１１は、第１本物画像から第１仮想画像を生成する。具体的には、生成部１１１は、第１本物画像を所定生成モデルに入力し、第１仮想画像を所定生成モデルから出力する。所定生成モデルとしては、GANにおけるGeneratorで用いる既知の生成モデルを用いることができる。但し、所定生成モデルに入力される潜在変数として第１本物画像を用いる点で既知の生成モデルと異なってもよい。 The generation unit 111 generates the first virtual image from the first real image. Specifically, the generation unit 111 inputs the first real image to the predetermined generation model, and outputs the first virtual image from the predetermined generation model. As the predetermined generative model, a known generative model used by the Generator in GAN can be used. However, it may be different from the known generative model in that the first real image is used as the latent variable input to the predetermined generative model.
　識別部１１２は、第２態様の対象画像を含む第２本物画像に基づいて、生成部１１１によって生成された第１仮想画像が本物であるか否かを識別する。具体的には、識別部１１２は、第２本物画像及び第１仮想画像を所定識別モデルに入力し、所定識別モデルの出力を比較することによって、第１仮想画像が本物であるか否かを識別する。所定識別モデルとしては、GANにおけるDiscriminatorで用いる既知の識別モデルを用いることができる。第２本物画像に関する人物は、第１仮想画像に関する人物と異なっていてもよい。 The identification unit 112 identifies whether or not the first virtual image generated by the generation unit 111 is genuine based on the second real image including the target image of the second aspect. Specifically, the identification unit 112 inputs the second real image and the first virtual image into the predetermined identification model, and compares the outputs of the predetermined identification models to determine whether or not the first virtual image is genuine. Identify. As the predetermined discriminative model, a known discriminative model used in the Discriminator in GAN can be used. The person relating to the second real image may be different from the person relating to the first virtual image.
　ここで、生成部１１１は、所定識別モデルを固定した状態で、識別部１１２によって第１仮想画像が本物であると判定されたか（すなわち、識別結果）に基づいて調教される。生成部１１１の調教は、所定生成モデルの調教と同義である。識別結果は、GANにおける誤差逆伝搬であると考えてもよい。 Here, the generation unit 111 is trained based on whether the identification unit 112 determines that the first virtual image is genuine (that is, the identification result) in a state where the predetermined identification model is fixed. The training of the generative unit 111 is synonymous with the training of the predetermined generative model. The discrimination result may be considered as error backpropagation in GAN.
　識別部１１２は、所定生成モデルを固定した状態で、識別部１１２の識別結果が正しいか否か（すなわち、識別結果）に基づいて調教される。識別部１１２の調教において第１仮想画像が本物ではないことは識別部１１２にとって既知である。識別部１１２の調教は、所定識別モデルの調教と同義である。識別結果は、GANにおける誤差逆伝搬であると考えてもよい。 The identification unit 112 is trained based on whether or not the identification result of the identification unit 112 is correct (that is, the identification result) in a state where the predetermined generation model is fixed. It is known to the identification unit 112 that the first virtual image is not genuine in the training of the identification unit 112. The training of the discriminative unit 112 is synonymous with the training of the predetermined discriminative model. The discrimination result may be considered as error backpropagation in GAN.
　生成部１１１の調教及び識別部１１２の調教は交互に実行されてもよい。特に限定されるものではないが、生成部１１１及び識別部１１２を調教する回数（エポック数）は、所定生成モデル及び所定識別モデルの過学習が生じない程度の回数であってもよい。生成部１１１及び識別部１１２を調教する回数は、第１仮想画像の精度をオペレータが確認することによって特定されてもよい。 The training of the generation unit 111 and the training of the identification unit 112 may be executed alternately. Although not particularly limited, the number of times the generation unit 111 and the identification unit 112 are trained (the number of epochs) may be such a number of times that overfitting of the predetermined generation model and the predetermined identification model does not occur. The number of times the generation unit 111 and the identification unit 112 are trained may be specified by the operator confirming the accuracy of the first virtual image.
　上述した教師データは、調教済みの識別部１１２によって本物であると識別された第１仮想画像と、当該第１仮想画像と対応する第１本物画像（調教済みの生成部１１１に入力される第１本物画像）と、を含む。言い換えると、教師データに含まれる第１仮想画像は、調教済みの生成部１１１によって生成された第１仮想画像の中から、調教済みの識別部１１２によって本物であると識別された第１仮想画像である。 The teacher data described above includes a first virtual image identified as genuine by the trained identification unit 112 and a first real image corresponding to the first virtual image (a first virtual image input to the trained generation unit 111). 1 real image) and. In other words, the first virtual image included in the teacher data is the first virtual image identified as genuine by the trained identification unit 112 from the first virtual images generated by the trained generation unit 111. Is.
　教師データは、クレンジング処理が適用された後に学習部１２０に入力されてもよい。クレンジング処理は、オペレータによって不適切な教師データを除外する処理であってもよい。クレンジング処理が自動化可能であれば、教師データ生成部１１０が自動的にクレンジング処理を実行してもよい。 The teacher data may be input to the learning unit 120 after the cleansing process is applied. The cleansing process may be a process of excluding inappropriate teacher data by the operator. If the cleansing process can be automated, the teacher data generation unit 110 may automatically execute the cleansing process.
　学習部１２０は、教師データ生成部１１０から入力される教師データに基づいて学習モデルを生成する。すなわち、学習部１２０は、識別部１１２によって本物であると識別された第１仮想画像及び第１本物画像を教師データとして、第１本物画像と第１仮想画像との相関関係を学習することによって学習モデルを生成する。第１本物画像と第１仮想画像との相関関係を学習した後の学習モデルは、学習済みモデルと称されてもよい。特に限定されるものではないが、学習モデルは、画像処理に適したモデルであってもよい。例えば、学習モデルは、CNN（Convolution Neural Network）を含んでもよい。 The learning unit 120 generates a learning model based on the teacher data input from the teacher data generation unit 110. That is, the learning unit 120 learns the correlation between the first real image and the first virtual image using the first virtual image and the first real image identified as genuine by the identification unit 112 as teacher data. Generate a learning model. The learning model after learning the correlation between the first real image and the first virtual image may be referred to as a trained model. Although not particularly limited, the learning model may be a model suitable for image processing. For example, the learning model may include a CNN (Convolution Neural Network).
　出力部１３０は、学習モデル（学習済みモデル）を用いて、第１態様の対象画像を含む第３本物画像から、第２態様の対象画像を含む第３仮想画像を出力する。或いは、出力部１３０は、学習モデル（学習済みモデル）を用いて、第２態様の対象画像を含む第４本物画像から、第１態様の対象画像を含む第４仮想画像を出力する。 The output unit 130 outputs a third virtual image including the target image of the second aspect from the third real image including the target image of the first aspect by using the learning model (learned model). Alternatively, the output unit 130 outputs a fourth virtual image including the target image of the first aspect from the fourth real image including the target image of the second aspect by using the learning model (learned model).
　ここで、第３仮想画像に関する人物は、第３本物画像に関する人物と同じである。同様に、第４仮想画像に関する人物は、第４本物画像に関する人物と同じである。一方で、第３本物画像及び第３仮想画像に関する人物は、第１本物画像及び第１仮想画像に関する人物と異なってもよく、第２本物画像に関する人物と異なってもよい。同様に、第４本物画像及び第４仮想画像に関する人物は、第１本物画像及び第１仮想画像に関する人物と異なってもよく、第２本物画像に関する人物と異なってもよい。 Here, the person related to the third virtual image is the same as the person related to the third real image. Similarly, the person relating to the fourth virtual image is the same as the person relating to the fourth real image. On the other hand, the person related to the third real image and the third virtual image may be different from the person related to the first real image and the first virtual image, or may be different from the person related to the second real image. Similarly, the person relating to the fourth real image and the fourth virtual image may be different from the person relating to the first real image and the first virtual image, and may be different from the person relating to the second real image.
　（適用例）
　以下において、上述した画像出力装置１００の適用例について説明する。図２～図４は、実施形態に係る画像出力装置１００の適用例を示す図である。 (Application example)
Hereinafter, an application example of the above-mentioned image output device 100 will be described. 2 to 4 are diagrams showing an application example of the image output device 100 according to the embodiment.
　適用例では説明の明確化のために、第１態様の対象画像が眼鏡を掛けた人物の画像であり、第２態様の対象画像が眼鏡を掛けていない人物の画像であるケースについて主として説明する。 In the application example, for the sake of clarification of the description, a case where the target image of the first aspect is an image of a person wearing glasses and the target image of the second aspect is an image of a person without glasses will be mainly described. ..
　第１に、教師データ生成フェーズについて、図２を参照しながら説明する。 First, the teacher data generation phase will be described with reference to FIG.
　図２に示すように、生成部１１１は、眼鏡を掛けた人物の画像を含む第１本物画像に基づいて、眼鏡を掛けていない人物の画像を含む第１仮想画像を生成する。識別部１１２は、眼鏡を掛けていない人物の画像を含む第２本物画像に基づいて、生成部１１１によって生成された第１仮想画像が本物であるか否かを識別する。 As shown in FIG. 2, the generation unit 111 generates a first virtual image including an image of a person without glasses based on a first real image including an image of a person with glasses. The identification unit 112 identifies whether or not the first virtual image generated by the generation unit 111 is genuine based on the second real image including the image of a person who does not wear glasses.
　ここで、生成部１１１は、GANにおけるGeneratorを構成し、識別部１１２は、GANにおけるDiscriminatorを構成する。生成部１１１及び識別部１１２は、識別部１１２の識別結果に基づいて調教される（誤差逆伝搬）。 Here, the generation unit 111 constitutes a Generator in GAN, and the identification unit 112 constitutes a Discriminator in GAN. The generation unit 111 and the identification unit 112 are trained based on the identification result of the identification unit 112 (error back propagation).
　以下においては、生成部１１１及び識別部１１２の調教が完了したものとして説明を続ける。このような前提下において、教師データ生成部１１０は、識別部１１２によって本物であると識別された第１仮想画像及び第１本物画像を教師データとして出力する。具体的には、教師データは、調教済みの識別部１１２によって本物であると識別された第１仮想画像と、第１仮想画像と対応する第１本物画像（調教済みの生成部１１１に入力される第１本物画像）と、を含む。 In the following, the explanation will be continued assuming that the training of the generation unit 111 and the identification unit 112 has been completed. Under such a premise, the teacher data generation unit 110 outputs the first virtual image and the first real image identified as genuine by the identification unit 112 as teacher data. Specifically, the teacher data is input to the first virtual image identified as genuine by the trained identification unit 112 and the first real image corresponding to the first virtual image (trained generation unit 111). The first real image) and.
　ここで、第１本物画像及び第１仮想画像は同一人物に関する画像である。すなわち、教師データ生成部１１０は、同一人物に関する画像のペアを教師データとして出力する。教師データ生成部１１０が２以上の人物に関する画像のペアを教師データとして出力してもよいことは勿論である。 Here, the first real image and the first virtual image are images related to the same person. That is, the teacher data generation unit 110 outputs a pair of images relating to the same person as teacher data. Of course, the teacher data generation unit 110 may output a pair of images relating to two or more people as teacher data.
　第２に、学習フェーズについて、図３を参照しながら説明する。 Second, the learning phase will be described with reference to FIG.
　図３に示すように、眼鏡を掛けた人物の画像を含む第１本物画像から、眼鏡を掛けていない人物の画像を含む第１仮想画像を生成するニューラルネットワーク（学習モデル）の学習が実行される。言い換えると、学習部１２０は、第１本物画像及び第１仮想画像のペア（教師データ）に基づいて、第１本物画像と第１仮想画像との相関関係を学習する。特に限定されるものではないが、ニューラルネットワークの学習は、ニューラルネットワークを構成するニューロン間の重み係数を調整する処理を含んでもよい。 As shown in FIG. 3, learning of a neural network (learning model) that generates a first virtual image including an image of a person without glasses is executed from a first real image including an image of a person with glasses. To. In other words, the learning unit 120 learns the correlation between the first real image and the first virtual image based on the pair (teacher data) of the first real image and the first virtual image. Although not particularly limited, the learning of the neural network may include a process of adjusting the weighting coefficient between the neurons constituting the neural network.
　以下においては、ニューラルネットワークの学習が完了したものとして説明を続ける。言い換えると、学習部１２０は、ニューラルネットワーク（学習モデル）の学習を完了する。 In the following, the explanation will be continued assuming that the learning of the neural network is completed. In other words, the learning unit 120 completes the learning of the neural network (learning model).
　上述したように、教師データは、クレンジング処理が適用された後に学習部１２０に入力されてもよい。クレンジング処理は、オペレータによって不適切な教師データを除外する処理であってもよい。クレンジング処理が自動化可能であれば、教師データ生成部１１０が自動的にクレンジング処理を実行してもよい。 As described above, the teacher data may be input to the learning unit 120 after the cleansing process is applied. The cleansing process may be a process of excluding inappropriate teacher data by the operator. If the cleansing process can be automated, the teacher data generation unit 110 may automatically execute the cleansing process.
　第３に、推論フェーズについて、図４を参照しがら説明する。 Third, the inference phase will be explained with reference to FIG.
　図４に示すように、学習済みニューラルネットワーク（学習済みモデル）は、眼鏡を掛けた人物の画像を含む第３本物画像から、眼鏡を掛けた人物の画像を含む第３仮想画像を生成する。言い換えると、出力部１３０は、学習済みニューラルネットワーク（学習済みモデル）を用いて、第３本物画像から第３仮想画像を出力する。 As shown in FIG. 4, the trained neural network (trained model) generates a third virtual image including an image of a person wearing glasses from a third real image including an image of a person wearing glasses. In other words, the output unit 130 outputs the third virtual image from the third real image by using the trained neural network (trained model).
　（画像出力方法）
　以下において、実施形態に係る画像出力方法について説明する。図５は、実施形態に係る画像出力方法を示す図である。 (Image output method)
Hereinafter, the image output method according to the embodiment will be described. FIG. 5 is a diagram showing an image output method according to an embodiment.
　図１に示すように、ステップS11において、画像出力装置１００は、第１態様の対象画像を含む第１本物画像から、第２態様の対象画像を含む第１仮想画像を生成する。 As shown in FIG. 1, in step S11, the image output device 100 generates a first virtual image including the target image of the second aspect from the first real image including the target image of the first aspect.
　ステップS12において、画像出力装置１００は、第２態様の対象画像を含む第２本物画像に基づいて、ステップS11で生成された第１仮想画像が本物であるか否かを識別する。 In step S12, the image output device 100 identifies whether or not the first virtual image generated in step S11 is genuine based on the second real image including the target image of the second aspect.
　ステップS13において、画像出力装置１００は、生成部１１１（所定生成モデル）及び識別部１１２（所定識別モデル）の調教が完了したか否かを判定する。画像出力装置１００は、調教の回数（エポック数）が所定閾値に達した場合に、調教が完了したと判定してもよい。調教の完了はオペレータによって判定されてもよい。 In step S13, the image output device 100 determines whether or not the training of the generation unit 111 (predetermined generation model) and the identification unit 112 (predetermined identification model) has been completed. The image output device 100 may determine that the training is completed when the number of trainings (number of epochs) reaches a predetermined threshold value. Completion of training may be determined by the operator.
　ステップS14において、クレンジング処理が実行される。クレンジング処理は、不適切な教師データを除外する処理である。教師データは、調教済みの識別部１１２によって本物であると識別された第１仮想画像と、第１仮想画像と対応する第１本物画像（調教済みの生成部１１１に入力される第１本物画像）と、を含む。 In step S14, the cleansing process is executed. The cleansing process is a process of excluding inappropriate teacher data. The teacher data includes a first virtual image identified as genuine by the trained identification unit 112 and a first real image corresponding to the first virtual image (the first real image input to the trained generation unit 111). ) And, including.
　ステップS15において、画像出力装置１００は、教師データ（第１本物画像及び第１仮想画像）に基づいて、第１本物画像と第１仮想画像との相関関係を学習することによって学習モデルを生成する。 In step S15, the image output device 100 generates a learning model by learning the correlation between the first real image and the first virtual image based on the teacher data (first real image and first virtual image). ..
　ステップS16において、画像出力装置１００は、学習モデル（学習済みモデル）を用いて、第１態様の対象画像を含む第３本物画像から、第２態様の対象画像を含む第３仮想画像を出力する。或いは、画像出力装置１００は、学習モデル（学習済みモデル）を用いて、第２態様の対象画像を含む第４本物画像から、第１態様の対象画像を含む第４仮想画像を出力する。 In step S16, the image output device 100 outputs a third virtual image including the target image of the second aspect from the third real image including the target image of the first aspect by using the learning model (learned model). .. Alternatively, the image output device 100 uses a learning model (learned model) to output a fourth virtual image including the target image of the first aspect from the fourth real image including the target image of the second aspect.
　図５では、クレンジング処理が実行されるケースが例示されているが、クレンジング処理は省略されてもよい。 FIG. 5 illustrates a case where the cleansing process is executed, but the cleansing process may be omitted.
　（作用及び効果）
　実施形態では、画像出力装置１００は、第１本物画像及び第１仮想画像を教師データとして、第１本物画像と第１仮想画像との相関関係を学習することによって学習モデルを生成する。画像出力装置１００は、学習モデルを用いて、第３本物画像（又は第４本物画像）から第３仮想画像（又は第４仮想画像）を出力する。このような前提下において、教師データは、調教済みの識別部１１２によって本物であると識別された第１仮想画像と、当該第１仮想画像と対応する第１本物画像（調教済みの生成部１１１に入力される第１本物画像）と、を含む。言い換えると、教師データがGANを用いて生成される。 (Action and effect)
In the embodiment, the image output device 100 generates a learning model by learning the correlation between the first real image and the first virtual image using the first real image and the first virtual image as teacher data. The image output device 100 outputs a third virtual image (or a fourth virtual image) from the third real image (or the fourth real image) using the learning model. Under such a premise, the teacher data includes a first virtual image identified as genuine by the trained identification unit 112 and a first real image corresponding to the first virtual image (trained generation unit 111). The first real image input to) and. In other words, teacher data is generated using GAN.
　このような構成によれば、GANを用いて生成された教師データを用いて学習モデルが生成されるため、第１態様の少なくとも一部が変更された第２態様の対象画像を含む“本物”画像を用いることなく、学習モデルを適切に生成することができる。第２態様の対象画像を含む“本物”画像を用いないため、第１態様の対象画像及び第２態様の対象画像が同一アングルで撮像される必要がない。さらに、第２態様の対象画像を含む“本物”画像が含み得るノイズ（例えば、影）などの影響を抑制することができる。上述したように、学習モデルを適切に生成することができるため、画像出力装置１００は、第１態様の対象画像を含む本物画像（第３本物画像又は第４本物画像）から第２態様の対象画像を含む仮想画像（第３仮想画像又は第４仮想画像）を適切に出力することができる。 According to such a configuration, since the learning model is generated using the teacher data generated by using GAN, the “real” including the target image of the second aspect in which at least a part of the first aspect is modified. The learning model can be appropriately generated without using images. Since the "real" image including the target image of the second aspect is not used, the target image of the first aspect and the target image of the second aspect do not need to be captured at the same angle. Further, it is possible to suppress the influence of noise (for example, shadow) and the like that may be contained in the "real" image including the target image of the second aspect. As described above, since the learning model can be appropriately generated, the image output device 100 is the target of the second aspect from the real image (the third real image or the fourth real image) including the target image of the first aspect. A virtual image including an image (third virtual image or fourth virtual image) can be appropriately output.
　実施形態では、画像出力装置１００は、生成部１１１（所定生成モデル）に入力される潜在変数として第１本物画像を用いる。従って、第１仮想画像の生成精度が向上する。ひいては、調教回数（エポック数）を抑制することができる。 In the embodiment, the image output device 100 uses the first real image as a latent variable input to the generation unit 111 (predetermined generation model). Therefore, the generation accuracy of the first virtual image is improved. As a result, the number of trainings (number of epochs) can be suppressed.
　［変更例１］
　以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。 [Change example 1]
Hereinafter, modification 1 of the embodiment will be described. In the following, the differences from the embodiments will be mainly described.
　変更例１では、第１態様の対象画像及び第２態様の対象画像のバリエーションについて説明する。 In the first modification, variations of the target image of the first aspect and the target image of the second aspect will be described.
　上述したように、第１態様の対象画像は、装飾品を身につけた人物の画像であり、第２態様の対象画像は、装飾品を身につけていない人物の画像であってもよい。逆に、第１態様の対象画像は、装飾品を身につけていない人物の画像であり、第２態様の対象画像は、装飾品を身につけた人物の画像であってもよい。装飾品は、眼鏡、アクセサリ、衣服、服飾品、カツラなどの中から選択された１以上の装飾品を含んでもよい。 As described above, the target image of the first aspect may be an image of a person wearing an ornament, and the target image of the second aspect may be an image of a person wearing no ornament. On the contrary, the target image of the first aspect may be an image of a person who does not wear the ornament, and the target image of the second aspect may be an image of a person who wears the ornament. The ornament may include one or more ornaments selected from eyeglasses, accessories, clothing, garments, wigs and the like.
　しかしながら、第１態様の対象画像及び第２態様の対象画像は、これに限定されるものではない。第１態様の対象画像及び第２態様の対象画像は、以下に示すバリエーションを含んでもよい。 However, the target image of the first aspect and the target image of the second aspect are not limited to this. The target image of the first aspect and the target image of the second aspect may include the variations shown below.
　例えば、第１態様の対象画像は、メイク前の人物の画像であり、第２態様の対象画像は、メイク後の人物の画像であってもよい。逆に、第１態様の対象画像は、メイク後の人物の画像であり、第２態様の対象画像は、メイク前の人物の画像であってもよい。 For example, the target image of the first aspect may be an image of a person before make-up, and the target image of the second aspect may be an image of a person after make-up. On the contrary, the target image of the first aspect may be an image of a person after make-up, and the target image of the second aspect may be an image of a person before make-up.
　例えば、第１態様の対象画像は、整形前の人物の画像であり、第２態様の対象画像は、整形後の人物の画像であってもよい。逆に、第１態様の対象画像は、整形後の人物の画像であり、第２態様の対象画像は、整形前の人物の画像であってもよい。整形は、美容整形を含んでもよい。 For example, the target image of the first aspect may be an image of a person before shaping, and the target image of the second aspect may be an image of a person after shaping. On the contrary, the target image of the first aspect may be an image of a person after shaping, and the target image of the second aspect may be an image of a person before shaping. Plastic surgery may include cosmetic surgery.
　例えば、第１態様の対象画像は、変更前の髪型（例えば、長髪）を有する人物の画像であり、第２態様の対象画像は、変更後の髪型（例えば、短髪）を有する人物の画像であってもよい。逆に、第１態様の対象画像は、変更後の髪型（例えば、短髪）を有する人物の画像であり、第２態様の対象画像は、変更前の髪型（例えば、長髪）を有する人物の画像であってもよい。 For example, the target image of the first aspect is an image of a person having a hairstyle before the change (for example, long hair), and the target image of the second aspect is an image of a person having a hairstyle after the change (for example, short hair). There may be. On the contrary, the target image of the first aspect is an image of a person having a hairstyle after the change (for example, short hair), and the target image of the second aspect is an image of a person having a hairstyle before the change (for example, long hair). It may be.
　例えば、第１態様の対象画像は、ダイエット前の人物の画像であり、第２態様の対象画像は、ダイエット後の人物の画像であってもよい。逆に、第１態様の対象画像は、ダイエット後の人物の画像であり、第２態様の対象画像は、ダイエット後の人物の画像であってもよい。 For example, the target image of the first aspect may be an image of a person before dieting, and the target image of the second aspect may be an image of a person after dieting. On the contrary, the target image of the first aspect may be an image of a person after dieting, and the target image of the second aspect may be an image of a person after dieting.
　例えば、第１態様の対象画像は、現在の人物の画像であり、第２態様の対象画像は、将来の人物の画像であってもよい。逆に、第１態様の対象画像は、将来の人物の画像であり、第２態様の対象画像は、現在の人物の画像であってもよい。或いは、第１態様の対象画像は、現在の人物の画像であり、第２態様の対象画像は、過去の人物の画像であってもよい。逆に、第１態様の対象画像は、過去の人物の画像であり、第２態様の対象画像は、現在の人物の画像であってもよい。或いは、第１態様の対象画像は、過去の人物の画像であり、第２態様の対象画像は、将来の人物の画像であってもよい。逆に、第１態様の対象画像は、将来の人物の画像であり、第２態様の対象画像は、過去の人物の画像であってもよい。 For example, the target image of the first aspect may be an image of a current person, and the target image of the second aspect may be an image of a future person. On the contrary, the target image of the first aspect may be an image of a future person, and the target image of the second aspect may be an image of a current person. Alternatively, the target image of the first aspect may be an image of the current person, and the target image of the second aspect may be an image of a past person. On the contrary, the target image of the first aspect may be an image of a past person, and the target image of the second aspect may be an image of a current person. Alternatively, the target image of the first aspect may be an image of a past person, and the target image of the second aspect may be an image of a future person. On the contrary, the target image of the first aspect may be an image of a future person, and the target image of the second aspect may be an image of a past person.
　上述したように、対象画像は、人物の画像であってもよい。しかしながら、対象画像はこれに限定されるものではない。対象画像は、車両などの物品の画像であってもよい。このようなケースにおいて、第１態様の対象画像は、傷を有する物品の画像であり、第２態様の対象画像は、傷をリペアした後の物品の画像であってもよい。逆に、第１態様の対象画像は、傷をリペアした後の物品の画像であり、第２態様の対象画像は、傷を有する物品の画像であってもよい。 As described above, the target image may be an image of a person. However, the target image is not limited to this. The target image may be an image of an article such as a vehicle. In such a case, the target image of the first aspect may be an image of an article having a scratch, and the target image of the second aspect may be an image of an article after repairing the scratch. On the contrary, the target image of the first aspect may be an image of an article after repairing a scratch, and the target image of the second aspect may be an image of an article having a scratch.
　或いは、対象画像は、風景画像などであってもよい。このようなケースにおいて、第１態様の対象画像は、第１季節の風景画像であり、第２態様の対象画像は、第１季節とは異なる第２季節の風景画像であってもよい。 Alternatively, the target image may be a landscape image or the like. In such a case, the target image of the first aspect may be a landscape image of the first season, and the target image of the second aspect may be a landscape image of the second season different from the first season.
　或いは、対象画像は、実際の人物の画像及び人工の人物の画像を含んでもよい。このようなケースにおいて、第１態様の対象画像は、実際の人物の画像であり、第２態様の対象画像は、人工の人物の画像であってもよい。逆に、第１態様の対象画像は、人工の人物の画像であり、第２態様の対象画像は、実際の人物の画像であってもよい。人工の人物の画像は、人物のイラスト、CG（Computer Graphics）、アバターなどの画像であってもよい。 Alternatively, the target image may include an image of an actual person and an image of an artificial person. In such a case, the target image of the first aspect may be an image of an actual person, and the target image of the second aspect may be an image of an artificial person. On the contrary, the target image of the first aspect may be an image of an artificial person, and the target image of the second aspect may be an image of an actual person. The image of the artificial person may be an illustration of the person, CG (Computer Graphics), an image of an avatar, or the like.
　或いは、対象画像は、検品対象の物品の画像であってもよい。このようなケースにおいて、第１態様の対象画像は、正常な物品の画像であり、第２態様の対象画像は、異常な物品の画像であってもよい。逆に、第１態様の対象画像は、異常な物品の画像であり、第２態様の対象画像は、正常な物品の画像であってもよい。 Alternatively, the target image may be an image of the article to be inspected. In such a case, the target image of the first aspect may be an image of a normal article, and the target image of the second aspect may be an image of an abnormal article. On the contrary, the target image of the first aspect may be an image of an abnormal article, and the target image of the second aspect may be an image of a normal article.
　或いは、対象画像の種類を問わなくてもよい。このようなケースにおいて、第１態様の対象画像は、第１解像度の画像であり、第２態様の対象画像は、第１解像度とは異なる第２解像度の画像であってもよい。 Alternatively, the type of the target image may not be used. In such a case, the target image of the first aspect may be an image of the first resolution, and the target image of the second aspect may be an image of a second resolution different from the first resolution.
　［その他の実施形態］
　本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。 [Other embodiments]
Although the invention has been described by embodiments described above, the statements and drawings that form part of this disclosure should not be understood to limit the invention. This disclosure will reveal to those skilled in the art various alternative embodiments, examples and operational techniques.
　上述した開示では特に触れていないが、画像出力装置１００は、第１本物画像の入力インタフェースを有していてもよい。画像出力装置１００は、第２本物画像の入力インタフェースを有していてもよい。入力インタフェースは、撮像装置を含んでもよく、インターネットなどのネットワークと通信を行う通信モジュールを含んでもよい。 Although not specifically mentioned in the above disclosure, the image output device 100 may have a first real image input interface. The image output device 100 may have a second real image input interface. The input interface may include an image pickup device or may include a communication module that communicates with a network such as the Internet.
　上述した開示では特に触れていないが、第１仮想画像は、第１本物画像に含まれる背景画像を含まなくてもよい。背景画像は、対象画像以外の部分である。従って、第３仮想画像（又は第４仮想画像）も背景画像を含まなくてもよい。 Although not specifically mentioned in the above disclosure, the first virtual image does not have to include the background image included in the first real image. The background image is a part other than the target image. Therefore, the third virtual image (or the fourth virtual image) does not have to include the background image.
　上述した開示では、画像出力装置１００の各機能が１つの装置に設けられるケースについて例示した。しかしながら、上述した開示はこれに限定されるものではない。画像出力装置１００の各機能は、２以上の装置に設けられてもよく、画像出力装置１００の機能の一部は、クラウドサービスによって提供されてもよい。このようなケースにおいては、画像出力装置を画像出力システムと読み替えてもよい。 In the above-mentioned disclosure, a case where each function of the image output device 100 is provided in one device is illustrated. However, the above disclosure is not limited to this. Each function of the image output device 100 may be provided in two or more devices, and a part of the functions of the image output device 100 may be provided by a cloud service. In such a case, the image output device may be read as an image output system.
　上述した開示では特に触れていないが、画像出力装置１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。 Although not specifically mentioned in the above-mentioned disclosure, a program may be provided that causes a computer to execute each process performed by the image output device 100. The program may also be recorded on a computer-readable medium. Computer-readable media can be used to install programs on a computer. Here, the computer-readable medium on which the program is recorded may be a non-transient recording medium. The non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
　或いは、画像出力装置１００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。 Alternatively, a chip composed of a memory for storing a program for executing each process performed by the image output device 100 and a processor for executing the program stored in the memory may be provided.

Claims (5)

  1. 　第１態様の対象画像を含む第１本物画像から、前記第１態様の少なくとも一部が変更された第２態様の対象画像を含む第１仮想画像を生成する生成部と、
    　前記第２態様の対象画像を含む第２本物画像に基づいて、前記第１仮想画像が本物であるか否かを識別する識別部と、
    　前記識別部によって本物であると識別された前記第１仮想画像及び前記第１本物画像を教師データとして、前記第１本物画像と前記第１仮想画像との相関関係を学習することによって学習モデルを生成する学習部と、
    　前記学習モデルを用いて、前記第１態様の対象画像を含む第３本物画像から、前記第２態様の対象画像を含む第３仮想画像を出力し、或いは、前記学習モデルを用いて、前記第２態様の対象画像を含む第４本物画像から、前記第１態様の対象画像を含む第４仮想画像を出力する出力部と、を備え、
    　前記生成部及び前記識別部は、前記識別部の識別結果に基づいて調教される、画像出力装置。     A generation unit that generates a first virtual image including the target image of the second aspect in which at least a part of the first aspect is modified from the first real image including the target image of the first aspect.
    An identification unit that identifies whether or not the first virtual image is genuine based on the second real image including the target image of the second aspect.
    A learning model is obtained by learning the correlation between the first real image and the first virtual image using the first virtual image and the first real image identified as genuine by the identification unit as teacher data. The learning part to generate and
    Using the learning model, a third virtual image including the target image of the second aspect is output from the third real image including the target image of the first aspect, or the learning model is used to output the first virtual image. It is provided with an output unit that outputs a fourth virtual image including the target image of the first aspect from the fourth real image including the target image of the two aspects.
    The generation unit and the identification unit are image output devices that are trained based on the identification result of the identification unit.
  2. 　前記教師データは、クレンジング処理が適用された後に前記学習部に入力される、請求項１に記載の画像出力装置。 The image output device according to claim 1, wherein the teacher data is input to the learning unit after the cleansing process is applied.
  3. 　前記第１態様の対象画像は、装飾品を身につけた人物の画像であり、
    　前記第２態様の対象画像は、装飾品を身につけていない人物の画像である、請求項１に記載の画像出力装置。     The target image of the first aspect is an image of a person wearing an ornament.
    The image output device according to claim 1, wherein the target image of the second aspect is an image of a person who does not wear ornaments.
  4. 　前記第１態様の対象画像は、装飾品を身につけていない人物の画像であり、
    　前記第２態様の対象画像は、装飾品を身につけた人物の画像である、請求項１に記載の画像出力装置。     The target image of the first aspect is an image of a person who does not wear ornaments.
    The image output device according to claim 1, wherein the target image of the second aspect is an image of a person wearing an ornament.
  5. 　第１態様の対象画像を含む第１本物画像から、前記第１態様の少なくとも一部が変更された第２態様の対象画像を含む第１仮想画像を生成部によって生成するステップと、
    　前記第２態様の対象画像を含む第２本物画像に基づいて、前記第１仮想画像が本物であるか否かを識別部によって識別するステップと、
    　前記識別部によって本物であると識別された前記第１仮想画像及び前記第１本物画像を教師データとして、前記第１本物画像と前記第１仮想画像との相関関係を学習することによって学習モデルを生成するステップと、
    　前記学習モデルを用いて、前記第１態様の対象画像を含む第３本物画像から、前記第２態様の対象画像を含む第３仮想画像を出力し、或いは、前記学習モデルを用いて、前記第２態様の対象画像を含む第４本物画像から、前記第１態様の対象画像を含む第４仮想画像を出力するステップと、を備え、
    　前記生成部及び前記識別部は、前記識別部の識別結果に基づいて調教される、画像出力方法。     A step of generating a first virtual image including the target image of the second aspect in which at least a part of the first aspect is modified from the first real image including the target image of the first aspect by the generation unit.
    A step of identifying whether or not the first virtual image is genuine by the identification unit based on the second real image including the target image of the second aspect.
    A learning model is obtained by learning the correlation between the first real image and the first virtual image using the first virtual image and the first real image identified as genuine by the identification unit as teacher data. Steps to generate and
    Using the learning model, a third virtual image including the target image of the second aspect is output from the third real image including the target image of the first aspect, or the learning model is used to output the first virtual image. A step of outputting a fourth virtual image including the target image of the first aspect from the fourth real image including the target image of the two aspects is provided.
    An image output method in which the generation unit and the identification unit are trained based on the identification result of the identification unit.
PCT/JP2021/016224 2020-11-27 2021-04-21 Image outputting apparatus and image outputting method WO2022113398A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-197151 2020-11-27
JP2020197151A JP6856965B1 (en) 2020-11-27 2020-11-27 Image output device and image output method

Publications (1)

Publication Number Publication Date
WO2022113398A1 true WO2022113398A1 (en) 2022-06-02

Family

ID=75378024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016224 WO2022113398A1 (en) 2020-11-27 2021-04-21 Image outputting apparatus and image outputting method

Country Status (2)

Country Link
JP (1) JP6856965B1 (en)
WO (1) WO2022113398A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845062A (en) * 2017-11-14 2018-03-27 北京小米移动软件有限公司 image generating method and device
WO2018203550A1 (en) * 2017-05-02 2018-11-08 日本電信電話株式会社 Signal generation device, signal generation learning device, method, and program
JP2019510325A (en) * 2016-06-01 2019-04-11 三菱電機株式会社 Method and system for generating multimodal digital images
JP2019527410A (en) * 2016-06-30 2019-09-26 フィッティングボックス Method for hiding objects in images or videos and related augmented reality methods
JP2020098422A (en) * 2018-12-17 2020-06-25 株式会社東芝 Image processing apparatus, method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019510325A (en) * 2016-06-01 2019-04-11 三菱電機株式会社 Method and system for generating multimodal digital images
JP2019527410A (en) * 2016-06-30 2019-09-26 フィッティングボックス Method for hiding objects in images or videos and related augmented reality methods
WO2018203550A1 (en) * 2017-05-02 2018-11-08 日本電信電話株式会社 Signal generation device, signal generation learning device, method, and program
CN107845062A (en) * 2017-11-14 2018-03-27 北京小米移动软件有限公司 image generating method and device
JP2020098422A (en) * 2018-12-17 2020-06-25 株式会社東芝 Image processing apparatus, method and program

Also Published As

Publication number Publication date
JP2022085452A (en) 2022-06-08
JP6856965B1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
CN111340008B (en) Method and system for generation of counterpatch, training of detection model and defense of counterpatch
JP4778072B2 (en) Method and apparatus for automatically detecting and deleting glasses
CN110348387B (en) Image data processing method, device and computer readable storage medium
WO2020103700A1 (en) Image recognition method based on micro facial expressions, apparatus and related device
CN110569795A (en) Image identification method and device and related equipment
JP2016066114A (en) Feature point detection device, method, and program
US20190114543A1 (en) Local learning system in artificial intelligence device
WO2022113398A1 (en) Image outputting apparatus and image outputting method
WO2023124869A1 (en) Liveness detection method, device and apparatus, and storage medium
Sahla Habeeba et al. Detection of deepfakes using visual artifacts and neural network classifier
US20220415085A1 (en) Method of machine learning and facial expression recognition apparatus
CN110163049B (en) Face attribute prediction method, device and storage medium
Ouellet et al. Multimodal biometric identification system for mobile robots combining human metrology to face recognition and speaker identification
CN111428670B (en) Face detection method, face detection device, storage medium and equipment
CN113609966A (en) Method and device for generating training sample of face recognition system
Morshed et al. Customer’s spontaneous facial expression recognition
CN112329736A (en) Face recognition method and financial system
CN111966219B (en) Eye movement tracking method, device, equipment and storage medium
CN112199976A (en) Certificate picture generation method and device
CN115439725B (en) Processing method and device for multi-user real-time editing
JP7474553B2 (en) Program, device and method for estimating labels using different input intermediate layers for each region image of an object
JP7272510B2 (en) Verification device, verification method, program
US20230274830A1 (en) Method for perceptive traits based semantic face image manipulation and aesthetic treatment recommendation
CN117274761B (en) Image generation method, device, electronic equipment and storage medium
KR102464704B1 (en) Method for posting data and apparatus for posting data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897378

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897378

Country of ref document: EP

Kind code of ref document: A1