JP7392836B2 - データ生成装置、データ生成方法、学習装置及び記録媒体 - Google Patents

データ生成装置、データ生成方法、学習装置及び記録媒体 Download PDF

Info

Publication number
JP7392836B2
JP7392836B2 JP2022518441A JP2022518441A JP7392836B2 JP 7392836 B2 JP7392836 B2 JP 7392836B2 JP 2022518441 A JP2022518441 A JP 2022518441A JP 2022518441 A JP2022518441 A JP 2022518441A JP 7392836 B2 JP7392836 B2 JP 7392836B2
Authority
JP
Japan
Prior art keywords
data
fake
ratio
composite
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022518441A
Other languages
English (en)
Other versions
JPWO2021220343A5 (ja
JPWO2021220343A1 (ja
Inventor
亮 高本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021220343A1 publication Critical patent/JPWO2021220343A1/ja
Publication of JPWO2021220343A5 publication Critical patent/JPWO2021220343A5/ja
Application granted granted Critical
Publication of JP7392836B2 publication Critical patent/JP7392836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本開示は、データ生成装置、データ生成方法、学習装置及び記録媒体の技術分野に関する。
データ生成装置として、本物データ(例えば、本物の画像)を疑似した偽物データ(例えば、偽物の画像)を生成可能な敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いたデータ生成装置が知られている。敵対的生成ネットワークは、偽物データを生成する生成器(Generator)と、本物データ及び偽物データを識別する識別機(Discriminator)とを備える。生成器の学習は、識別器をだますことが可能な偽物データを生成器が生成可能となるように行われ、識別器の学習は、本物データと生成器が生成した偽物データとを識別器が区別可能となるように行われる。
このような敵対的生成ネットワークは、様々な技術分野に応用されている。例えば、特許文献1には、敵対的生成ネットワークを用いて学習された生成器(より具体的には、生成器が用いる生成モデル)を用いて、低解像度の画像から高解像度の画像を取得する眼科画像処理装置が記載されている。
その他、本開示に関連する先行技術文献として、特許文献2から3及び非特許文献1から3があげられる。
特開2020-000678号公報 特開2019-091440号公報 特開2019-109563号公報
Hongyi Zhang et al.、"mixup:BEYOND EMPERICAL RISK MINIMIZATION"、ICLR(International Conference on Learning Representations) 2018、2018年 Sangdoo Yun et al.、"CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features"、arxiv、1905.04899、2019年8月7日 Ishaan Gulrajani et al.、"Improved Training of Wasserstein GANs"、arxiv、1704.00028、2017年3月31日
敵対的生成ネットワークは、生成器及び識別器の学習に非常に多くの時間を要するという技術的問題を備えている。つまり、敵対的生成ネットワークは、生成器及び識別器の学習を効率的に行うことができないという技術的問題を備えている。
本開示は、上述した技術的問題を解決可能なデータ生成装置、データ生成方法及び記録媒体を提供することを課題とする。一例として、本開示は、偽物データを生成するための生成手段及び本物データと偽物データとを識別するための識別手段の学習を効率的に行う可能なデータ生成装置、学習装置、データ生成方法及び記録媒体を提供することを課題とする。
本開示のデータ生成装置の一の態様は、本物データを取得する取得手段と、前記本物データを疑似した偽物データを取得又は生成する偽物データ生成手段と、前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と、前記合成データ生成手段は、前記合成データを構成するデータ要素を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて変化させる。
本開示の学習装置の一の態様は、本物データを取得する取得手段と、前記本物データを疑似した偽物データを取得又は生成する偽物データ生成手段と、前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と、識別モデルを用いて、前記本物データと前記偽物データと前記合成データとを含む識別対象データを識別する識別手段とを備え、前記識別手段は、前記識別手段による前記識別対象データの識別結果に基づいて前記識別モデルの学習を行い、前記合成データ生成手段は、前記識別モデルの学習を開始してから所定時間が経過するまでの期間を含む第1期間に前記合成データを生成するために用いる前記合成比率と、前記第1期間とは異なり且つ前記識別モデルの学習を開始してから前記所定時間が経過した後の期間を含む第2期間に前記合成データを生成するために用いる前記合成比率とが異なるものとなるように、前記合成比率を、前記合成データを生成する時間に応じて変化させる。
本開示のデータ生成方法の一の態様は、本物データを取得する取得工程と、前記本物データを疑似した偽物データを取得又は生成する偽物データ生成工程と、前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成工程と、前記合成データ生成工程では、前記合成データを構成するデータ要素を生成するために用いる前記合成比率は、前記合成データ中での前記データ要素の位置に応じて変化する。
本開示の記録媒体の一の態様は、コンピュータにデータ生成方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記データ生成方法は、本物データを取得する取得工程と、前記本物データを疑似した偽物データを取得又は生成する偽物データ生成工程と、前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成工程と、前記合成データ生成工程では、前記合成データを構成するデータ要素を生成するために用いる前記合成比率は、前記合成データ中での前記データ要素の位置に応じて変化する。
図1は、本実施形態のデータ生成装置の構成を示すブロック図である。 図2は、本実施形態のデータ生成装置が行う学習動作の流れを示すフローチャートである。 図3は、合成画像と本物画像及び偽物画像との関係を模式的に示す。 図4は、合成比率の第1具体例を示すグラフである。 図5は、合成比率の第1具体例を用いて生成された合成画像を模式的に示す平面図である。 図6は、合成比率の第2具体例を示すグラフである。 図7は、合成比率の第2具体例を用いて生成された合成画像を模式的に示す平面図である。 図8は、合成比率の第3具体例を示すグラフである。 図9は、合成比率の第3具体例を用いて生成された合成画像を模式的に示す平面図である。 図10は、合成比率の第4具体例を示すグラフである。 図11は、合成比率の第4具体例を用いて生成された合成画像を模式的に示す平面図である。 図12は、本実施形態のデータ生成装置の他の構成を示すブロック図である。
以下、図面を参照しながら、データ生成装置、データ生成方法及び記録媒体の実施形態について説明する。
(1)本実施形態のデータ生成装置1の構成
初めに、図1を参照しながら、本実施形態のデータ生成装置1の構成について説明する。図1は、本実施形態のデータ生成装置1の構成を示すブロック図である。
図1に示すように、データ生成装置1は、演算装置2と、記憶装置3とを備えている。更に、データ生成装置1は、入力装置4と、出力装置5とを備えていてもよい。但し、データ生成装置1は、入力装置4及び出力装置5の少なくとも一方を備えていなくてもよい。演算装置2と、記憶装置3と、入力装置4と、出力装置5は、データバス6を介して接続されている。
演算装置2は、例えば、CPU(Central Proecssing Unit)、GPU(Graphic Processing Unit)及びFPGA(Field Programmable Gate Array)の少なくとも一つを含む。演算装置2は、コンピュータプログラムを読み込む。例えば、演算装置2は、記憶装置3が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置2は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置2は、不図示の通信装置を介して、データ生成装置1の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置2は、読み込んだコンピュータプログラムを実行する。その結果、演算装置2内には、データ生成装置1が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置2は、データ生成装置1が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
本実施形態では、演算装置2内には、敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いたデータ生成装置としてデータ生成装置1を機能させるための論理的な機能ブロックが実現される。図1には、敵対的生成ネットワークを用いたデータ生成装置としてデータ生成装置1を機能させるための論理的な機能ブロックの一例が示されている。図1に示すように、演算装置2内には、論理的な機能ブロックとして、本物データ取得部21と、Generatorとして機能可能な偽物データ生成部22と、Discriminatorとして機能可能な識別部23とが実現される。この場合、データ生成装置1は、偽物データ生成部22及び識別部23の夫々の学習を行うための学習動作を行う。
本物データ取得部21は、偽物データ生成部22及び識別部23の夫々の学習を行うための学習データ(言い換えれば、訓練データ)として利用可能な本物画像D_realを取得する。本物画像D_realは、識別部23によって本物である(つまり、偽物データ生成部22が生成する後述の偽物画像D_fakeではない)と識別されるべき画像を意味する。尚、本実施形態では、特段の表記がない場合には、画像は、静止画及び動画の少なくとも一方を意味するものとする。本物データ取得部21が取得した本物画像D_realは、識別部23が識別するべき識別対象画像として識別部23に入力される。
偽物データ生成部22は、本物画像D_realを疑似した偽物画像D_fakeを生成する。尚、本実施形態における「本物画像D_realを疑似した偽物画像D_fake」は、識別部23によって本物である(つまり、本物画像D_realである)と誤識別されることを目指して生成される画像を意味する。偽物データ生成部22は、例えば、偽物画像D_fakeを生成可能な演算モデル(言い換えれば、学習可能な学習モデル)である生成モデルGを用いて、偽物画像D_fakeを生成する。偽物データ生成部22が生成した偽物画像D_fakeは、識別対象画像として識別部23に入力される。尚、偽物データ生成部22は、偽物画像D_fakeを生成することに代えて、生成済みの偽物画像D_fakeを取得してもよい。例えば、生成済みの偽物画像D_fakeが記憶装置3に記憶されており、偽物データ生成部22は、記憶装置3から偽物画像D_fakeを取得してもよい(つまり、読み出してもよい)。
識別部23は、識別部23に入力された識別対象画像を識別する。具体的には、識別部23は、識別対象画像が、本物画像D_realであるのか否か(言い換えれば、偽物画像D_fakeであるのか否か)を識別する。識別部23は、例えば、識別対象画像を識別可能な演算モデル(言い換えれば、学習可能な学習モデル)である識別モデルDを用いて、識別対象画像を識別する。
識別部23による識別対象画像の識別結果は、偽物データ生成部22及び識別部23の夫々の学習(より具体的には、生成モデルG及び識別モデルDの夫々の学習)のために用いられる。具体的には、生成モデルGの学習は、識別部23による識別対象画像の識別結果に基づいて、識別部23をだますことが可能な偽物画像D_fake(つまり、識別部23が本物画像D_realであると誤識別してしまう偽物画像D_fake)を偽物データ生成部22が生成可能となるように行われる。一方で、識別モデルDの学習は、本物画像D_realと偽物画像D_fakeとを識別部23が区別可能となるように行われる。
生成モデルG及び識別モデルDの学習の結果、データ生成装置1は、本物画像D_realと容易に区別することができない偽物画像D_fakeを生成可能な生成モデルGを構築することができる。その結果、この学習済みの生成モデルGを備えるデータ生成装置1(或いは、この学習済みの生成モデルGを用いる任意の装置)は、本物画像D_realと容易に区別することができない偽物画像D_fakeを生成することができる。このような生成モデルGは、例えば、生成モデルGに入力された画像よりも解像度が高い画像を生成するために用いられてもよい。生成モデルGは、例えば、生成モデルGに入力された画像を別の画像に変換する(言い換えれば、翻訳する)ために用いられてもよい。
本実施形態では更に、演算装置2内には、敵対的生成ネットワークを用いたデータ生成装置としてデータ生成装置1を機能させるための論理的な機能ブロックとして、合成データ生成部24が実現される。合成データ生成部24は、本物画像D_realと偽物画像D_fakeとを合成することで合成画像D_mixを新たに生成する。合成画像D_mixは、本物画像D_realとは異なる画像であるがゆえに、本物画像D_realを疑似した画像(つまり、偽物画像D_fake)と等価である。このため、合成画像生成部24は、偽物データ生成部22とは異なる方法で偽物画像D_fakeを生成しているとみなしてもよい。合成画像生成部24が生成した合成画像D_mixは、識別対象画像として識別部23に入力される。従って、本実施形態では、識別部23は、識別対象画像として入力された合成画像D_mixが、本物画像D_realであるのか否か(言い換えれば、偽物画像D_fakeであるのか否か)を識別する。
記憶装置3は、所望のデータを記憶可能である。例えば、記憶装置3は、演算装置2が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置3は、演算装置2がコンピュータプログラムを実行している際に演算装置2が一時的に使用するデータを一時的に記憶してもよい。記憶装置3は、データ生成装置1が長期的に保存するデータを記憶してもよい。尚、記憶装置3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置3は、一時的でない記録媒体を含んでいてもよい。
入力装置4は、データ生成装置1の外部からのデータ生成装置1に対する情報の入力を受け付ける装置である。
出力装置5は、データ生成装置1の外部に対して情報を出力する装置である。例えば、出力装置5は、データ生成装置1が行う学習動作に関する情報を出力してもよい。例えば、出力装置5は、学習動作によって学習された生成モデルGに関する情報を出力してもよい。
(2)データ生成装置1が行う学習動作の流れ
(2-1)学習動作の全体の流れ
続いて、図2を参照しながら、本実施形態のデータ生成装置1が行う学習動作(つまり、生成モデルG及び識別モデルDの学習を行うための学習動作)の全体の流れについて説明する。図2は、本実施形態のデータ生成装置1が行う学習動作の全体の流れを示すフローチャートである。
図2に示すように、本物データ取得部21は、本物画像D_realを取得する(ステップS11)。例えば、本物データ取得部21は、記憶装置3に記憶されている本物画像D_realを取得してもよい。例えば、本物データ取得部21は、データ生成装置1の外部の装置によって記憶されている本物画像D_realを取得してもよい。例えば、本物データ取得部21は、データ生成装置1の外部の装置によって生成された本物画像D_realを取得してもよい。外部の装置が記憶している本物画像D_real及び外部の装置が生成した本物画像D_realの少なくとも一方は、入力装置4を介して本物データ取得部21に入力されてもよい。尚、ステップS11では、本物データ取得部21は、典型的には複数の本物画像D_realを含むデータセットを取得するが、単一の本物画像D_realを取得してもよい。
ステップS11の動作と並行して又は相前後して、偽物データ生成部22は、偽物画像D_fakeを生成する(ステップS12)。偽物データ生成部22は、上述したように生成モデルGを用いて、偽物画像D_fakeを生成する。生成モデルGは、例えば、乱数(言い換えれば、ノイズ又はシード)が入力されると入力された乱数に応じた偽物画像D_fakeを出力する演算モデルである。生成モデルGは、例えば、ニューラルネットワークから構成される演算モデルであるが、その他の種類の演算モデルであってもよい。尚、ステップS12では、偽物データ生成部22は、典型的には複数の偽物画像D_fakeを含むデータセットを生成するが、単一の偽物画像D_fakeを生成してもよい。
その後、合成データ生成部24は、ステップS11で取得された本物画像D_realとステップS12で取得された偽物画像D_fakeとを合成することで、合成画像D_mixを生成する(ステップS13)。例えば、合成データ生成部24は、図3に示すように、本物画像D_realと偽物画像D_fakeとを所望の合成比率α(但し、合成比率αは、0以上且つ1以下の範囲の数値)で合成することで、合成画像D_mixを生成してもよい。つまり、合成データ生成部24は、D_mix=α×D_real+(1-α)×D_fakeという数式1を用いて、合成画像D_mixを生成してもよい。より具体的には、合成データ生成部24は、図3に示すように、合成画像D_mixを構成する座標(x、y)の画素をD_mix(x、y)と定義し、本物画像D_realを構成する座標(x、y)の画素をD_real(x、y)と定義し、偽物画像D_fakeを構成する座標(x、y)の画素をD_fake(x、y)と定義し、画素D_mix(x、y)を生成するための合成比率をα(x、y)と定義すると、D_mix(x、y)=α(x、y)×D_real(x、y)+(1-α(x、y))×D_fake(x、y)という数式2を用いて画素D_mix(x、y)を生成する動作を全ての座標(x、y)を対象に行うことで、複数の画素D_mix(x、y)から構成される合成画像D_mixを生成してもよい。尚、合成比率αは、合成データ生成部24が任意に設定可能なパラメータであってもよい。或いは、合成比率αは、予め設定されているパラメータであってもよい。
本実施形態では特に、合成データ生成部24は、画素D_mix(x、y)を生成するための合成比率α(x、y)を、座標(x、y)に応じて変化させてもよい。つまり、合成データ生成部24は、本物画像D_real及び偽物画像D_fakeに掛け合わせられる合成比率αを、座標(x、y)に応じて変化させてもよい。この場合、典型的には、合成データ生成部24は、合成比率αを、座標値x及び座標値yの少なくとも一方を引数とする関数Fを用いて変化させてもよい。言い換えれば、合成データ生成部24は、合成比率αを、座標値x及び座標値yの少なくとも一方を引数とする関数Fを用いて設定してもよい。つまり、合成データ生成部24は、α(x、y)=F(x、y)という数式を用いて、合成比率αを設定してもよい。尚、合成比率αについては、後に図4から図13を参照しながら詳述するため、ここでの説明は省略する。
その後、識別部23は、ステップS11で取得された本物画像D_real、ステップS12で生成された偽物画像D_fake及びステップS13で生成された合成画像D_mixを含む識別対象画像を識別する(ステップS14)。具体的には、識別部23は、識別対象画像が、本物画像D_realであるのか否か(言い換えれば、偽物画像D_fakeであるのか否か)を識別する(言い換えれば、判定する)。
その後、演算装置2は、ステップS14における識別部23による識別対象画像の識別結果に基づいて、生成モデルG及び識別モデルDの夫々の学習を行う(ステップS15)。演算装置2は、既存の敵対的生成ネットワークの学習で用いる損失関数を用いて、生成モデルG及び識別モデルDの学習を行ってもよい。例えば、演算装置2は、識別部23をだますことが可能な偽物画像D_fakeを生成モデルGから生成可能となると共に、本物画像D_realと偽物画像D_fakeとを識別モデルDによって区別可能となるという目的を達成するための損失関数を用いて、生成モデルG及び識別モデルDの学習を行ってもよい。この際、演算装置2は、上述した非特許文献3に記載された勾配ペナルティ項(Gradient Penalty Term)を含む損失関数を用いて、生成モデルG及び識別モデルDの学習を行ってもよい。また、演算装置2は、誤差逆伝搬法等の学習アルゴリズムを用いて、生成モデルG及び識別モデルDの夫々の学習を行ってもよい。このため、生成モデルG及び識別モデルDの学習の詳細な内容については省略する。尚、演算装置2は、ステップS15の学習を行うための学習部を、処理ブロックとして備えていてもよい。
その後、演算装置2は、図2に示す学習動作を終了するか否かを判定する(ステップS16)。例えば、演算装置2は、ステップS15で学習された識別モデルDを用いた識別対象画像の識別精度が所定精度(例えば、50%又は50%の近傍の値)になった場合に、学習動作を終了すると判定してもよい。例えば、演算装置2は、ステップS15における学習を所定回数以上行った場合に、学習動作を終了すると判定してもよい。
ステップS16における判定の結果、学習動作を終了しないと判定された場合には(ステップS16:No)、演算装置2は、ステップS11以降の動作を繰り返す。つまり、本物データ取得部21は、学習動作のために用いられる新たな本物画像D_realを取得する(ステップS11)。偽物データ生成部22は、ステップS15で学習された生成モデルGを用いて新たな偽物画像D_fakeを生成する(ステップS12)。合成データ生成部24は、ステップS11で新たに取得された本物画像D_realとステップS12で新たに生成された偽物画像D_fakeを用いて新たな合成画像D_mixを生成する(ステップS13)。識別部23は、ステップS11で新たに取得された本物画像D_real、ステップS12で新たに生成された偽物画像D_fake及びステップS13で新たに生成された合成画像D_mixを含む新たな識別対象画像を識別する(ステップS14)。演算装置2は、ステップS14における識別部23による新たな識別対象画像の識別結果に基づいて、生成モデルG及び識別モデルDの夫々の学習を行う(ステップS15)。
他方で、ステップS16における判定の結果、学習動作を終了すると判定された場合には(ステップS16:Yes)、演算装置2は、図2に示す学習動作を終了する。
(2-2)合成比率αの具体例
続いて、図4から図13を参照しながら、合成比率αの具体例について説明する。図4は、合成比率αの第1具体例を示すグラフであり、図5は、合成比率αの第1具体例を用いて生成された合成画像D_mixを模式的に示す平面図である。図6は、合成比率α(x、y)の第2具体例を示すグラフであり、図7は、合成比率αの第2具体例を用いて生成された合成画像D_mixを模式的に示す平面図である。図8は、合成比率αの第3具体例を示すグラフであり、図9は、合成比率αの第3具体例を用いて生成された合成画像D_mixを模式的に示す平面図である。図10は、合成比率αの第4具体例を示すグラフであり、図11は、合成比率αの第4具体例を用いて生成された合成画像D_mixを模式的に示す平面図である。
(2-2-1)合成比率αの第1具体例
図4に示すように、合成データ生成部24は、座標値xに応じて合成比率αを連続的に(言い換えれば、滑らかに)変化させてもよい。尚、ここでの「合成比率αが連続的に変化する」状態は、合成比率αがその下限値である0とその上限値である1との間で連続的に変化する状態を意味していてもよい。この場合、合成比率αは、下限値である0及び上限値である1になることに加えて、0よりも大きく且つ1よりも小さい値になる。このため、合成比率αが連続的に変化する場合には、合成比率αは、0、1、及び、0よりも大きく且つ1よりも小さい少なくとも一つの値の間で多値的に変化してもよい。
図4に示す例では、合成データ生成部24は、座標値xが大きくなるほど合成比率αが大きくなるように、座標値xに応じて合成比率αを単調に且つ連続的に変化させている。合成比率αが座標値xに応じて単調に変化する場合には、合成比率αは、座標値xの最小値x_minでの合成比率α(x_min、y)から座標値xの最大値x_maxでの合成比率α(x_max、y)まで単調に且つ連続的に変化する。つまり、合成データ生成部24は、X軸方向において画素D_mix(x_min、y)と画素D_mix(x_max、y)とによって挟まれる画素D_mix(x、y)を生成するための合成比率α(x、y)を、合成比率α(x_min、y)から合成比率α(x_max、y)まで単調に且つ連続的に変化させる。尚、ここでの「座標値xの最小値x_min」は、合成画像D_mixの座標値xの最小値(つまり、本物画像D_real及び偽物画像D_fakeの夫々の座標値xの最小値)を意味する。図4に示す例では、座標値xの最小値x_minはゼロとなっている。また、ここでの「座標値xの最大値x_max」は、合成画像D_mixの座標値xの最大値(つまり、本物画像D_real及び偽物画像D_fakeの夫々の座標値xの最大値)を意味する。
このように合成比率αを変化させることが可能な関数Fの一例として、双曲線関数を用いた関数があげられる。例えば、図4は、関数Fが、関数F1(x)=0.5×(1+tanh(x-x))となる例を示している。この関数F1(x)によれば、合成比率αは、0から1の間において、座標値xが所定値xよりも小さい場合に0.5よりも小さくなり、座標値xが所定値xよりも大きい場合に0.5よりも大きくなる値になる。
このような合成比率αを用いて合成画像D_mixが生成される場合には、図5に示すように、合成画像D_mixは、偽物画像D_fakeが支配的となる画像部分I_fakeと、本物画像D_realが支配的となる画像部分I_realと、本物画像D_real及び偽物画像D_fakeが均衡する画像部分I_shiftとを含む。尚、画像部分I_fakeは、合成画像D_mixにおいて偽物画像D_fakeが占める割合が、合成画像D_mixにおいて本物画像D_realが占める割合よりもずっと大きい画像部分を意味していてもよい。つまり、画像部分I_fakeは、0.5よりもずっと大きい上限閾値(例えば、0.8以上且つ1未満の閾値)よりも大きい合成比率αを用いて合成された画像部分を意味していてもよい。画像部分I_realは、合成画像D_mixにおいて本物画像D_realが占める割合が、合成画像D_mixにおいて偽物画像D_fakeが占める割合よりもずっと大きい画像部分を意味していてもよい。つまり、画像部分I_realは、0.5よりもずっと小さい下限閾値(例えば、0.2以下且つ0より大きい閾値)よりも小さい合成比率αを用いて合成された画像部分を意味していてもよい。画像部分I_shiftは、合成画像D_mixにおいて本物画像D_realが占める割合と、合成画像D_mixにおいて偽物画像D_fakeが占める割合との差分が、所定差分よりも小さい画像部分を意味していてもよい。典型的には、画像部分I_shiftは、上述した上限閾値よりも小さく且つ上述した下限閾値よりも大きい合成比率αを用いて合成された画像部分を意味していてもよい。
図4に示すように座標値xに応じて合成比率αが単調に且つ連続的に変化する場合には、図5に示すように、画像部分I_shiftは、X軸方向において画像部分I_realと画像部分I_fakeとの間に位置する。この場合、画像部分I_shiftは、画像部分I_realと画像部分I_fakeとを接続する画像部分として機能していると言える。つまり、画像部分I_shiftは、画像部分I_realと画像部分I_fakeとの間で画素値が急激に変わらないように、画像部分I_realと画像部分I_fakeと相対的に滑らかに接続する画像部分として機能していると言える。
尚、説明の便宜上図示しないものの、合成データ生成部24は、座標値yに応じて合成比率αを連続的に(言い換えれば、滑らかに)変化させてもよい。合成データ生成部24は、座標値yに応じて合成比率αを単調に且つ連続的に変化させてもよい。座標値yに応じて合成比率αが単調に且つ連続的に変化する場合には、画像部分I_shiftは、Y軸方向において画像部分I_realと画像部分I_fakeとの間に位置する。例えば、合成データ生成部24は、関数F1(y)=0.5×(1+tanh(y-y))を関数Fとして用いることで、合成比率αを設定してもよい。
尚、関数Fとして、上述した関数F1(x)に代えて、関数F1’(x)=0.5×(1+tanh((x-x)/Δx))が用いられてもよい。この場合、合成データ生成部24は、変数Δxを変化させることで、画像部分I_shiftの幅(具体的には、X軸方向におけるサイズ)を変化させることができる。具体的には、変数Δxが大きくなるほど、画像部分I_shiftの幅が大きくなる。同様に、関数Fとして、上述した関数F1(y)に代えて、関数F1’(y)=0.5×(1+tanh((x-y)/Δy))が用いられてもよい。この場合、合成データ生成部24は、変数Δyを変化させることで、画像部分I_shiftの幅(具体的には、Y軸方向におけるサイズ)を変化させることができる。また、関数F1(x)及びF1(y)を用いていない場合であっても、合成データ生成部24は、X軸方向及びY軸方向の少なくとも一方における画像部分I_shiftの幅が所望の幅になるように、合成比率αを設定してもよい。また、合成データ生成部24は、画像部分I_real及びI_fakeの少なくとも一方の幅が所望の幅になるように、合成比率αを設定してもよい。
(2-2-2)合成比率αの第2具体例
図6に示すように、第2具体例においても、第1具体例と同様に、合成データ生成部24は、座標値xに応じて合成比率αを連続的に変化させてもよい。但し、第2具体例では、合成データ生成部24は、座標値xの全体に渡って合成比率α(x、y)を単調に増加又は減少させなくてもよい。例えば、合成データ生成部24は、座標値xが第1の範囲の値である場合には、座標値xに応じて合成比率αを単調に増加させる一方で、座標値xが第1の範囲とは異なる第2の範囲の値である場合には、座標値xに応じて合成比率α(x、y)を単調に減少させてもよい。図6に示す例では、合成データ生成部24は、座標値xが所定値xより小さい場合には、座標値xに応じて合成比率α(x、y)を単調に増加させる一方で、座標値xが所定値xより大きい場合には、座標値xに応じて合成比率α(x、y)を単調に減少させている。この場合、合成比率α(x、y)は、座標値xが所定値xとなる地点を中心に変化する。
このように合成比率αを変化させることが可能な関数Fの一例として、指数関数を用いた関数があげられる。例えば、図6は、関数Fが、関数F2(x)=e^(-(x-x)となる例を示している。尚、関数F2における記号「^」は、べき乗を示す。このため、本実施形態では、「a^b」は、aのb乗を意味する。この関数F2(x、y)によれば、合成比率αは、0から1の間において、座標値xが所定値xとなる場合に上限値である1になり、座標値xと所定値xとの差分が大きくなるほど小さくなる値になる。
このような合成比率αを用いて合成画像D_mixが生成される場合においても、図7に示すように、合成画像D_mixは、画像部分I_fakeと、画像部分I_realと、画像部分I_shiftとを含む。また、座標値xに応じて合成比率αが単調に変化している領域においては、図7に示すように、画像部分I_shiftは、X軸方向において画像部分I_realと画像部分I_fakeとの間に位置する。但し、画像部分I_shiftは、画像部分I_realと画像部分I_fakeとの間に位置していなくてもよい。例えば、画像部分I_shiftは、合成画像D_mixの端部(例えば、左端部及び右端部の少なくとも一方)に位置していてもよい。
尚、説明の便宜上図示しないものの、合成データ生成部24は、座標値yが第3の範囲に収まる場合には、座標値yに応じて合成比率αを単調に増加させる一方で、座標値yが第3の範囲とは異なる第4の範囲に収まる場合には、座標値yに応じて合成比率αを単調に減少させてもよい。座標値yに応じて合成比率αが単調に変化する場合には、画像部分I_shiftは、Y軸方向において画像部分I_realと画像部分I_fakeとの間に位置する。例えば、合成データ生成部24は、関数F2’(y)=e^(-(y-y)を関数Fとして用いることで、合成比率αを設定してもよい。
(2-2-3)合成比率αの第3具体例
図8に示すように、第3具体例では、合成データ生成部24は、座標値x及び座標値yの夫々に応じて合成比率αを連続的に変化させてもよい。つまり、第3具体例では、合成データ生成部24は、座標値x及び座標値yの双方を引数とする関数Fを用いることで、合成比率α(x、y)を変化させてもよい。このため、合成比率αの第3具体例は、座標値x及び座標値yの双方を引数とする関数Fに応じて変化するという点で、座標値x及び座標値yのいずれか一方を引数とする関数Fに応じて変化する合成比率αの第1及び第2具体例の夫々とは異なると言える。合成比率αの第3具体例のその他の特徴は、合成比率αの第1及び第2具体例の夫々のその他の特徴と同一であってもよい。
例えば、図8は、関数Fが、関数F3(x、y)=e^(-(x-x-(y-y)となる例を示している。この関数F3(x、y)によれば、合成比率α(x、y)は、0から1の間において、座標値xが所定値xとなり且つ座標値yが所定値yとなる場合に上限値である1になり、座標値yが固定されている状況下で座標値xと所定値xとの差分が大きくなるほど小さくなる値になり、座標値xが固定されている状況下で座標値yと所定値yとの差分が大きくなるほど小さくなる値になる。その結果、図9に示すように、合成画像D_mixには、座標値xが所定値xとなり且つ座標値yが所定値yとなる画素を中心に、画像部分I_realと、当該画像部分I_realを取り囲む画像部分I_shiftと、当該画像部分I_shiftを取り囲む画像部分I_fakeとが順に現れる。
尚、図8及び図9を用いて説明した関数F3(x、y)は、第2具体例で説明した座標値xを引数とする関数F2(x)を、座標値x及び座標値yの双方を引数とする関数に変換することで得られる関数に相当する。一方で、第1具体例で説明した座標値xを引数とする関数F1(x)を、座標値x及び座標値yの双方を引数とする関数に変換することで得られる関数F3’(x、y)が、合成比率αを設定するために用いられてもよい。具体的には、例えば、「関数F3’(x、y)=(i)0.25×((1+tanh(x-x/2))*(1+tanh(y-y/2))・・・x<x3且つy<y3の場合、(ii)0.25×(1-tanh(x-3x/2))*(1+tanh(y-y/2))・・・x>x3且つy<y3の場合、(iii)0.25×(1+tanh(x-x/2))*(1-tanh(y-3y/2))・・・x<x3且つy>y3の場合、(iv)0.25×(1-tanh(x-3x/2))*(1-tanh(y-3y/2))・・・x>x3且つy>y3の場合」と定義される関数F3’(x、y)が、合成比率αを設定するために用いられてもよい。或いは、例えば、上述した画像部分I_shiftの幅を変化させるための変数Δx及びΔyを用いて「関数F3’(x、y)=(i)0.25×((1+tanh((x-x/2)/Δx))*(1+tanh((y-y/2)/Δy))・・・x<x3且つy<y3の場合、(ii)0.25×((1-tanh((x-3x/2)/Δx))*(1+tanh((y-y/2)/Δy))・・・x>x3且つy<y3の場合、(iii)0.25×((1+tanh((x-x/2)/Δx))*(1-tanh((y-3y/2)/Δy))・・・x<x3且つy>y3の場合、(iv)0.25×((1-tanh((x-3x/2)/Δx))*(1-tanh((y-3y/2)/Δy))・・・x>x3且つy>y3の場合」と定義される関数F3’(x、y)が、合成比率αを設定するために用いられてもよい。
(2-2-4)合成比率αの第4具体例
図10に示すように、第4具体例では、合成データ生成部24は、座標値xが第5の範囲の値である場合には、座標値xに応じて合成比率αを変化させる一方で、座標値xが第5の範囲とは異なる第6の範囲の値である場合には、座標値xに関わらず合成比率αを固定値に設定してもよい。図10に示す例では、合成データ生成部24は、(i)座標値xが所定値x41より小さい場合には、座標値xに関わらずに合成比率αを0に固定し、(ii)座標値xが所定値x42(但し、x42>x41)より大きい場合には、座標値xに関わらずに合成比率αを1に固定し、(iii)座標値xが所定値x41より大きく且つ所定値x42より小さい場合には、座標値xに応じて合成比率αを変化させている。この場合、座標値xが所定値x41より大きく且つ所定値x42より小さい場合には、合成比率αは、座標値xが所定値x41より小さいときの合成比率αの値である0から、座標値xが所定値x42より大きいときの合成比率αの値である1まで連続的に変化してもよい。
座標値xに関わらずに合成比率αが固定される場合には、異なる少なくとも二つの座標値xに対応する少なくとも二つの合成比率α(x、y)が同じ比率になるとも言える。例えば、図10に示す例では、座標値xが所定値x41よりも小さい第1の値となるときの合成比率αは、座標値xが所定値x41よりも小さい第2の値となるときの合成比率αと同じになる。このため、合成比率αの第4具体例は、異なる少なくとも二つの座標値xに対応する少なくとも二つの合成比率α(x、y)が同じ比率になるという点で、異なる少なくとも二つの座標値xに対応する少なくとも二つの合成比率α(x、y)が異なる比率になる合成比率αの第1から第3具体例の夫々とは異なると言える。合成比率αの第4具体例のその他の特徴は、合成比率αの第1から第3具体例の夫々のその他の特徴と同一であってもよい。
尚、図10に示す例では、座標値xが所定値x41より大きく且つ所定値x41より小さい場合には、合成データ生成部24は、座標値xに応じて合成比率αを単調に変化させている(つまり、第1具体例で説明した態様で変化させている)が、座標値xに応じて合成比率αを単調に変化させなくてもよい(例えば、第2具体例で説明した態様で変化させてもよい)。
このような合成比率αを用いて合成画像D_mixが生成される場合には、図11に示すように、合成画像D_mixは、偽物画像D_fakeの一部と一致する画像部分S_fakeと、本物画像D_realの一部と一致する画像部分S_realと、偽物画像D_fakeの一部と本物画像D_realの一部とが合成された画像部分S_mixとを含む。この場合、合成データ生成部24は、画像部分S_fakeを生成するための合成比率αを第1の比率に固定し、画像部分S_realを生成するための合成比率αを第1の比率と異なる第2の比率に固定し、画像部分S_mixを生成するための合成比率αを座標値xに応じて変化させているとも言える。尚、図11に示すように、画像部分S_mixは、X軸方向において画像部分S_fakeと画像部分S_realとによって挟まれていてもよいし、挟まれていなくてもよい。
尚、説明の便宜上図示しないものの、合成データ生成部24は、座標値yが第7の範囲の値である場合には、座標値yに応じて合成比率αを変化させる一方で、座標値yが第7範囲とは異なる第8の範囲の値である場合には、座標値yに関わらず合成比率αを固定値に設定してもよい。
(3)データ生成装置1の技術的効果
以上説明したように、本実施形態では、本物画像D_real及び偽物画像D_fakeのみならず、本物画像D_real及び偽物画像D_fakeを合成することで生成される合成画像D_mixもまた識別部23に入力される。その結果、識別モデルD及び生成モデルGの学習もまた、本物画像D_real及び偽物画像D_fakeのみならず合成画像D_mixにも基づいて行われる。その結果、合成画像D_mixを用いることなく識別モデルD及び生成モデルGの学習が行われる場合と比較して、識別モデルD及び生成モデルGの学習がより効率的に行われる。
具体的には、識別モデルD及び生成モデルGの学習が開始された直後は、偽物データ生成部22が生成する偽物画像D_fakeは、本物画像D_realからかけ離れた(言い換えれば、本物画像D_realとは大きく異なる)画像になる可能性がある。一方で、合成画像D_mixが本物画像D_realに基づいて生成されるがゆえに、合成画像D_mixは、本物画像D_realにある程度似た画像を含み得る。このため、識別モデルD及び生成モデルGの学習の初期段階において、識別モデルD及び生成モデルGは、本物画像D_realからかけ離れた偽物画像D_fake及び本物画像D_realにある程度似た偽物画像D_fake(つまり、合成画像D_mix)の双方を学習することができる。一方で、仮に合成画像D_mixが生成されない場合には、識別モデルD及び生成モデルGは、本物画像D_realからかけ離れた偽物画像D_fakeしか学習することができない。このため、本実施形態では、識別モデルD及び生成モデルGは、学習の初期段階から本物画像D_realにある程度似た偽物画像D_fake(つまり、合成画像D_mix)を学習することができるがゆえに、識別モデルD及び生成モデルGの学習に要する時間が短縮される。つまり、識別モデルD及び生成モデルGの学習がより効率的に行われる。
また、合成画像D_mixは、ランダムに生成される偽物画像D_fakeと本物画像D_realとの中間の画像に相当する。このため、合成画像D_mixが識別部23に入力される場合には、合成画像D_mixが識別部23に入力されない場合と比較して、偽物データ生成部22のランダム性が識別部23に対して与える悪影響が軽減される。つまり、偽物データ生成部22が生成する偽物画像D_fakeのランダム性が識別部23に対して与える悪影響が軽減される。この点からも、識別モデルDの学習がより効率的に行われる。尚、偽物データ生成部22のランダム性が識別部23に対して与える悪影響の一例として、例えば、偽物データ生成部22がこれまで生成した偽物画像D_fakeとは性質が全く異なる新たな偽物画像D_fakeを生成することに起因して、当該新たな偽物画像D_fakeを新たに学習した識別部23がこれまでに学習した内容を忘れてしまうという悪影響があげられる。
(4)変形例
(4-1)第1変形例
上述した説明では、合成データ生成部24は、合成画像D_mixを生成するための合成比率αを、合成画像D_mixを構成する画素D_mix(x、y)の座標(x、y)に応じて変化させている。一方で、第1変形例では、合成データ生成部24は、座標(x、y)に加えて又は代えて、図2に示す学習動作(つまり、識別モデルD及び生成モデルGの学習)を開始してからの経過時間に応じて合成比率αを変化させてもよい。つまり、合成データ生成部24は、学習動作を開始してからの経過時間が第1時間となる第1期間中に用いる合成比率αが、学習動作を開始してからの経過時間が第1時間とは異なる第2時間となる第2期間中に用いる合成比率αと異なるものとなるように、合成比率αを変化させてもよい。
例えば、合成データ生成部24は、学習動作を開始してから所定時間が経過するまでは、偽物画像D_fakeが支配的な画像部分I_fakeが合成画像D_mixに占める割合が、本物画像D_realが支配的な画像部分I_realが合成画像D_mixに占める割合以上になるように、合成比率αを設定してもよい。つまり、合成データ生成部24は、識別モデルD及び生成モデルGの学習の初期段階において、画像部分I_fakeが合成画像D_mixに占める割合が、画像部分I_realが合成画像D_mixに占める割合以上になるように、合成比率αを設定してもよい。一例として、合成データ生成部24は、合成比率αを、0より大きく且つ0.5よりも小さい比率に設定してもよい。この場合、学習の初期段階では、本物画像D_realではないと識別部23が相対的に容易に識別することができる合成画像D_mixが生成される。つまり、学習の初期段階では、本物画像D_realではないと識別部23が容易に識別することができる合成画像D_mixが、識別対象画像として識別部23に入力される。このため、本物画像D_realと区別することが難しいほどに本物画像D_realに似ている合成画像D_mixが識別対象画像として識別部23に入力される場合と比較して、学習の初期段階において識別モデルDの学習がより効率的に行われる。
一方で、学習動作を開始してから所定時間が経過した後には、識別部23の識別精度がある程度向上していると想定される。そこで、合成データ生成部24は、学習動作を開始してから所定時間が経過した後には、学習動作を開始してから所定時間が経過する前と比較して、画像部分I_realが合成画像D_mixに占める割合が大きくなるように、合成比率αを設定してもよい。この際、合成データ生成部24は、学習動作を開始してからの経過時間が長くなるほど画像部分I_realが合成画像D_mixに占める割合が大きくなるように、合成比率αを設定してもよい。一例として、合成データ生成部24は、合成比率αを、0より大きく且つ0.5よりも小さい初期値から徐々に増加させてもよい。その結果、識別モデルD及び生成モデルGの学習が進むにつれて、合成データ生成部24は、本物画像D_realにより近い(つまり、より似ている)合成画像D_mixを生成する。つまり、識別部23が本物画像D_realではないと識別することが難しい合成画像D_mix(いわゆる、ハードサンプル)が、識別部23に入力される。その結果、識別部23が本物画像D_realではないと識別することが難しい偽物画像D_fakeが識別部23に入力されない場合と比較して、識別モデルDの学習(更には、識別モデルDの学習と敵対的に行われる生成モデルGの学習)が効果的に行われる。
(4-2)第2変形例
上述した説明では、合成データ生成部24は、本物画像D_realと偽物画像D_fakeとを合成することで合成画像D_mixを生成している。しかしながら、合成データ生成部24は、二つの異なる本物画像D_realを合成することで合成画像D_mixを生成してもよい。合成データ生成部24は、二つの同一の本物画像D_realを合成することで合成画像D_mixを生成してもよい。合成データ生成部24は、二つの異なる偽物画像D_fakeを合成することで合成画像D_mixを生成してもよい。合成データ生成部24は、二つの同一の偽物画像D_fakeを合成することで合成画像D_mixを生成してもよい。合成データ生成部24は、合成データ生成部24が偽物画像D_fakeとして生成した二つの同一の合成画像D_mixを合成することで新たな合成画像D_mixを生成してもよい。合成データ生成部24は、合成データ生成部24が偽物画像D_fakeとして生成した二つの異なる合成画像D_mixを合成することで新たな合成画像D_mixを生成してもよい。いずれの場合においても、生成される合成画像D_mixは、本物画像D_realとは異なるデータであるがゆえに、本物画像D_realを疑似したデータ(つまり、偽物画像D_fake)と等価であるとみなしてもよい。
上述した説明では、合成データ生成部24は、本物画像D_realと偽物データ生成部22が生成した偽物画像D_fakeとを合成することで合成画像D_mixを生成している。しかしながら、合成データ生成部24は、本物画像D_realと合成データ生成部24が偽物画像D_fakeとして生成した合成画像D_mixとを合成することで新たな合成画像D_mixを生成してもよい。この場合であっても、生成される合成画像D_mixが、本物画像D_realと偽物画像D_fake(つまり、偽物画像D_fakeとして生成される合成画像D_mix)とを合成することで生成されることに変わりはない。
(4-3)第3変形例
合成データ生成部24は、所望の画像処理が施された本物画像D_realを用いて、合成画像D_mixを生成してもよい。合成データ生成部24は、所望の画像処理が施された偽物画像D_fakeを用いて、合成画像D_mixを生成してもよい。この場合、演算装置2内には、本物データ取得部21が取得した本物画像D_real及び偽物データ生成部22が生成した偽物画像D_fakeの少なくとも一つに対して画像処理を行うための画像処理部が実現されていてもよい。尚、所望の画像処理の一例として、スケーリング処理、回転処理、ノイズ除去処理及びHDR(HighDynamic Range)処理の少なくとも一つがあげられる。
(4-4)第4変形例
上述した説明では、データ生成装置1は、画像を用いた学習動作を行っている。つまり、上述した説明では、本物データ取得部21は、本物画像D_realを本物データとして取得し、偽物データ生成部22は、偽物画像D_fakeを偽物データとして生成し、合成データ生成部24は、合成画像D_mixを合成データとして生成し、識別部23は、本物画像D_real、偽物画像D_fake及び合成画像D_mixを含む識別対象画像を識別対象データとして識別している。しかしながら、データ生成装置1は、画像とは異なる任意のデータを用いて学習動作を行ってもよい。つまり、本物データ取得部21は、任意の種類の本物データを取得し、偽物データ生成部22は、本物データを疑似する任意の種類の偽物データを生成し、合成データ生成部24は、本物データと偽物データとを合成することで任意の種類の合成データを生成し、識別部23は、本物データ、偽物データ及び合成データを含む任意の種類の識別対象データを識別してもよい。この場合も、合成データ生成部24は、合成データ=合成比率α×本物データ+(1-合成比率α)×偽物データという数式を用いて、合成データを生成してもよい。この場合、合成データ生成部24は、合成比率αを、合成データを細分化することで得られる複数のデータ要素の夫々の合成データ内での位置に応じて変化させてもよい。尚、ここでいう「合成データ内でのデータ要素の位置」は、「合成データが示す目的物(例えば、画像)を目的物に応じて定まる所望の単位(例えば、画素の単位)で細分化することで得られるデータ要素(例えば、画素)の、合成データが示す目的物の中での位置」を示していてもよい。
例えば、データ生成装置1は、音声を用いた学習動作を行ってもよい。この場合、本物データ取得部21は、識別部23によって本物である(つまり、偽物データ生成部22が生成した偽物音声ではない)と識別されるべき本物音声を、本物データとして取得してもよい。偽物データ生成部22は、本物音声を疑似した偽物音声を、偽物データとして生成してもよい。合成データ生成部24は、本物音声と偽物音声とを合成することで、合成データとしての合成音声を生成してもよい。例えば、合成データ生成部24は、合成音声=合成比率α×本物音声+(1-合成比率α)×偽物音声という数式を用いて、合成音声を生成してもよい。この場合、合成データ生成部24は、合成比率αを、合成音声を時間軸に沿って細分化することで得られる複数の音声要素の夫々に対応する時刻(つまり、合成音声内での各音声要素の位置)に応じて変化させてもよい。この場合、上述した「合成データ内でのデータ要素の位置」は、「音声を時間軸に沿って細分化することで得られる音声要素(つまり、ある時刻の音声を示すデータ要素)に対応する時刻」に相当する。
(4-5)第5変形例
上述した説明では、データ生成装置1(演算装置2)が識別部23を備えている。一方で、第5変形例におけるデータ生成装置1a(演算装置2a)は、第5変形例におけるデータ生成装置1a(演算装置2a)の構成を示す図12に示すように、識別部23を備えていなくてもよい。この場合、本物データ取得部21が取得した本物画像D_real、偽物データ生成部22が生成した偽物画像D_fake及び合成データ生成部24が生成した合成画像D_mixは、データ生成装置1aの外部の識別部23に出力されてもよい。
(5)付記
以上説明した実施形態に関して、更に以下の付記を開示する。
[付記1]
本物データを取得する取得手段と、
前記本物データを疑似した偽物データを生成する偽物データ生成手段と、
前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と
を備え、
前記合成データ生成手段は、前記合成データを構成するデータ要素を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて変化させる
データ生成装置。
[付記2]
前記合成データ生成手段は、前記合成データを構成する複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて連続的に変化させる
付記1に記載のデータ生成装置。
[付記3]
前記合成データ生成手段は、
前記合成データを構成する第1のデータ要素を生成するために用いる前記合成比率を、第1の比率に設定し、
前記合成データを構成し且つ前記第1のデータ要素とは異なる第2のデータ要素を生成するために用いる前記合成比率を、前記第1の比率とは異なる第2の比率に設定し、
前記合成データのうちの前記第1及び第2のデータ要素の間の複数の第3のデータ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記第3のデータ要素の位置に応じて前記第1の比率から前記第2の比率まで連続的に変化させる
付記1又は2に記載のデータ生成装置。
[付記4]
前記合成データ生成手段は、前記合成データのうちの一のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて連続的に変化させる
付記1から3のいずれか一項に記載のデータ生成装置。
[付記5]
前記合成データ生成手段は、
前記合成データのうちの第1のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、第3の比率に固定し、
前記合成データのうちの前記第1のデータ部分とは異なる第2のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、前記第3の比率とは異なる第4の比率に固定し、
前記合成データのうちの前記第1及び第2のデータ部分の間の第3のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて前記第3の比率から前記第4の比率にまで連続的に変化させる
付記1から4のいずれか一項に記載のデータ生成装置。
[付記6]
前記合成データ生成手段は、前記合成データを構成する複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて多値的に変化させる
付記1から5のいずれか一項に記載のデータ生成装置。
[付記7]
前記合成データ生成手段は、
前記合成データを構成する第1のデータ要素を生成するために用いる前記合成比率を、第1の比率に設定し、
前記合成データを構成し且つ前記第1のデータ要素とは異なる第2のデータ要素を生成するために用いる前記合成比率を、前記第1の比率とは異なる第2の比率に設定し、
前記合成データのうちの前記第1及び第2のデータ要素の間の複数の第3のデータ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記第3のデータ要素の位置に応じて前記第1の比率から前記第2比率まで多値的に変化させる
付記1から6のいずれか一項に記載のデータ生成装置。
[付記8]
前記合成データ生成手段は、前記合成データのうちの一のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて多値的に変化させる
付記1から7のいずれか一項に記載のデータ生成装置。
[付記9]
前記合成データ生成手段は、
前記合成データのうちの第1のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、第3の比率に固定し、
前記合成データのうちの前記第1のデータ部分とは異なる第2のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、前記第3の比率とは異なる第4の比率に固定し、
前記合成データのうちの前記第1及び第2のデータ部分の間の第3のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて前記第3の比率から前記第4比率にまで多値的に変化させる
付記1から8のいずれか一項に記載のデータ生成装置。
[付記10]
前記合成データ生成手段は、前記合成データが、前記本物データが支配的となる第4データ部分と、前記偽物データが支配的となる第5データ部分と、前記本物データ及び前記偽物データが均衡する第6データ部分とを含むように、前記合成比率を変化させる
付記1から9のいずれか一項に記載のデータ生成装置。
[付記11]
前記合成データ生成手段は、前記第4データ部分と前記第5データ部分との間に前記第6データ部分が位置するように、前記合成比率を変える
付記10に記載のデータ生成装置。
[付記12]
前記合成データ生成手段は、第1期間に前記合成データを生成するために用いる前記合成比率と、前記第1期間とは異なる第2期間に前記合成データを生成するために用いる前記合成比率とが異なるものとなるように、前記合成比率を、前記合成データを生成する時間に応じて変化させる
付記1から11のいずれか一項に記載のデータ生成装置。
[付記13]
前記合成データ生成手段は、
前記第1期間には、前記偽物データが支配的となる第5データ部分が前記合成データに占める割合が、前記本物データが支配的となる第4データ部分が前記合成データに占める割合以上になるように、前記合成比率を設定し、
前記第2期間には、前記第2期間において前記第4データ部分が前記合成データに占める割合が、前記第1期間において前記第4データ部分が前記合成データに占める割合よりも大きくなるように、前記合成比率を設定する
付記12に記載のデータ生成装置。
[付記14]
前記本物データと前記偽物データと前記合成データとを含む識別対象データを識別する識別手段を更に備え、
前記偽物データ生成手段は、前記識別手段による前記識別対象データの識別結果に基づいて学習可能であって且つ前記偽物データを生成するための生成モデルを用いて、前記偽物データを生成し、
前記識別手段は、前記識別手段による前記識別対象データの識別結果に基づいて学習可能であって且つ前記識別対象データを識別するための識別モデルを用いて、前記識別対象データを識別し、
前記第1期間は、前記生成モデル及び前記識別モデルの学習を開始してから所定時間が経過する前の期間を含み、
前記第2期間は、前記生成モデル及び前記識別モデルの学習を開始してから前記所定時間が経過した後の期間を含む
付記12又は13に記載のデータ生成装置。
[付記15]
前記本物データ、前記偽物データ及び前記合成データの夫々は、画像に関するデータであり、
前記合成データを構成する前記データ要素は、前記画像を構成する画素を含み、
前記合成データ中での前記データ要素の位置は、前記画像中での前記画素の位置である
付記1から14のいずれか一項に記載のデータ生成装置。
[付記16]
前記合成データ生成手段は、前記合成データを構成する複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて非連続的に又は段階的に変化させる
付記1から15のいずれか一項に記載のデータ生成装置。
[付記17]
前記合成データ生成手段は、前記合成データのうちの第1のデータ要素から第2のデータ要素を結ぶ線上において、前記合成比率が、(i)前記本物データと前記偽物データとの比率が1:0となる第5の比率から、前記本物データと前記偽物データとの比率が1:1となる第6の比率へと、若しくは、(ii)前記第6の比率から前記第5の比率へと、又は、(iii)前記本物データと前記偽物データとの比率が0:1となる第7の比率から、前記第6の比率へと、若しくは(iv)前記第6の比率から前記第7の比率へと変化するように、前記合成比率を変化させる
付記1から16のいずれか一項に記載のデータ生成装置。
[付記18]
本物データを取得する取得手段と、
前記本物データを疑似した偽物データを取得又は生成する偽物データ生成手段と、
前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と、
識別モデルを用いて、前記本物データと前記偽物データと前記合成データとを含む識別対象データを識別する識別手段と
を備え、
前記識別手段は、前記識別手段による前記識別対象データの識別結果に基づいて前記識別モデルを学習させ、
前記合成データ生成手段は、前記識別モデルの学習を開始してから所定時間が経過するまでの期間を含む第1期間に前記合成データを生成するために用いる前記合成比率と、前記第1期間とは異なり且つ前記識別モデルの学習を開始してから前記所定時間が経過した後の期間を含む第2期間に前記合成データを生成するために用いる前記合成比率とが異なるものとなるように、前記合成比率を、前記合成データを生成する時間に応じて変化させる
学習装置。
[付記19]
本物データを取得する取得工程と、
前記本物データを疑似した偽物データを取得又は生成する偽物データ生成工程と、
前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成工程と
を含み、
前記合成データ生成工程では、前記合成データを構成するデータ要素を生成するために用いる前記合成比率は、前記合成データ中での前記データ要素の位置に応じて変化する
データ生成方法。
[付記20]
コンピュータにデータ生成方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記データ生成方法は、
本物データを取得する取得工程と、
前記本物データを疑似した偽物データを取得又は生成する偽物データ生成工程と、
前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成工程と
を含み、
前記合成データ生成工程では、前記合成データを構成するデータ要素を生成するために用いる前記合成比率は、前記合成データ中での前記データ要素の位置に応じて変化する
記録媒体。
[付記21]
コンピュータにデータ生成方法を実行させるコンピュータプログラムであって、
前記データ生成方法は、
本物データを取得する取得工程と、
前記本物データを疑似した偽物データを取得又は生成する偽物データ生成工程と、
前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成工程と
を含み、
前記合成データ生成工程では、前記合成データを構成するデータ要素を生成するために用いる前記合成比率は、前記合成データ中での前記データ要素の位置に応じて変化する
コンピュータプログラム。
本開示は、請求の範囲及び明細書全体から読み取るこのできる開示の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うデータ生成装置、学習装置、データ生成方法及び記録媒体もまた本開示の技術思想に含まれる。
1 データ生成装置
2 演算装置
21 本物データ取得部
22 偽物データ生成部
23 識別部
24 合成データ生成部
G 生成モデル
D 識別モデル
D_real 本物画像
D_fake 偽物画像
D_mix 合成画像

Claims (10)

  1. 本物データを取得する取得手段と、
    前記本物データを疑似した偽物データを生成する偽物データ生成手段と、
    前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と
    を備え、
    前記合成データ生成手段は、前記合成データを構成するデータ要素を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて変化させる
    データ生成装置。
  2. 前記合成データ生成手段は、前記合成データを構成する複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて連続的に変化させる
    請求項1に記載のデータ生成装置。
  3. 前記合成データ生成手段は、
    前記合成データを構成する第1のデータ要素を生成するために用いる前記合成比率を、第1の比率に設定し、
    前記合成データを構成し且つ前記第1のデータ要素とは異なる第2のデータ要素を生成するために用いる前記合成比率を、前記第1の比率とは異なる第2の比率に設定し、
    前記合成データのうちの前記第1及び第2のデータ要素の間の複数の第3のデータ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記第3のデータ要素の位置に応じて前記第1の比率から前記第2の比率まで連続的に変化させる
    請求項1又は2に記載のデータ生成装置。
  4. 前記合成データ生成手段は、前記合成データのうちの一のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて連続的に変化させる
    請求項1から3のいずれか一項に記載のデータ生成装置。
  5. 前記合成データ生成手段は、
    前記合成データのうちの第1のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、第3の比率に固定し、
    前記合成データのうちの前記第1のデータ部分とは異なる第2のデータ部分に含まれる複数の前記データ要素を生成するために用いる前記合成比率を、前記第3の比率とは異なる第4の比率に固定し、
    前記合成データのうちの前記第1及び第2のデータ部分の間の第3のデータ部分に含まれる複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置に応じて前記第3の比率から前記第4の比率にまで連続的に変化させる
    請求項1から4のいずれか一項に記載のデータ生成装置。
  6. 前記合成データ生成手段は、前記合成データを構成する複数の前記データ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記データ要素の位置を引数とする関数を用いて多値的に変化させる
    請求項1から5のいずれか一項に記載のデータ生成装置。
  7. 前記合成データ生成手段は、
    前記合成データを構成する第1のデータ要素を生成するために用いる前記合成比率を、第1の比率に設定し、
    前記合成データを構成し且つ前記第1のデータ要素とは異なる第2のデータ要素を生成するために用いる前記合成比率を、前記第1の比率とは異なる第2の比率に設定し、
    前記合成データのうちの前記第1及び第2のデータ要素の間の複数の第3のデータ要素の夫々を生成するために用いる前記合成比率を、前記合成データ中での前記第3のデータ要素の位置に応じて前記第1の比率から前記第2比率まで多値的に変化させる
    請求項1から6のいずれか一項に記載のデータ生成装置。
  8. 本物データを取得する取得手段と、
    前記本物データを疑似した偽物データを取得又は生成する偽物データ生成手段と、
    前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成する合成データ生成手段と、
    識別モデルを用いて、前記本物データと前記偽物データと前記合成データとを含む識別対象データを識別する識別手段と
    を備え、
    前記識別手段は、前記識別手段による前記識別対象データの識別結果に基づいて前記識別モデルを学習させ、
    前記合成データ生成手段は、前記識別モデルの学習を開始してから所定時間が経過するまでの期間を含む第1期間に前記合成データを生成するために用いる前記合成比率と、前記第1期間とは異なり且つ前記識別モデルの学習を開始してから前記所定時間が経過した後の期間を含む第2期間に前記合成データを生成するために用いる前記合成比率とが異なるものとなるように、前記合成比率を、前記合成データを生成する時間に応じて変化させる
    学習装置。
  9. 本物データを取得することと、
    前記本物データを疑似した偽物データを取得又は生成することと、
    前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成すること
    前記合成データを構成するデータ要素を生成するために用いる前記合成比率、前記合成データ中での前記データ要素の位置に応じて変化させことと
    を含むデータ生成方法。
  10. コンピュータにデータ生成方法を実行させるコンピュータプログラムであって、
    前記データ生成方法は、
    本物データを取得することと、
    前記本物データを疑似した偽物データを取得又は生成することと、
    前記本物データと前記偽物データとを所望の合成比率で合成することで合成データを生成することと、
    前記合成データを構成するデータ要素を生成するために用いる前記合成比率、前記合成データ中での前記データ要素の位置に応じて変化させことと
    を含むコンピュータプログラム
JP2022518441A 2020-04-27 2020-04-27 データ生成装置、データ生成方法、学習装置及び記録媒体 Active JP7392836B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017974 WO2021220343A1 (ja) 2020-04-27 2020-04-27 データ生成装置、データ生成方法、学習装置及び記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021220343A1 JPWO2021220343A1 (ja) 2021-11-04
JPWO2021220343A5 JPWO2021220343A5 (ja) 2023-01-23
JP7392836B2 true JP7392836B2 (ja) 2023-12-06

Family

ID=78373422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518441A Active JP7392836B2 (ja) 2020-04-27 2020-04-27 データ生成装置、データ生成方法、学習装置及び記録媒体

Country Status (3)

Country Link
US (1) US20220366228A1 (ja)
JP (1) JP7392836B2 (ja)
WO (1) WO2021220343A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149513A1 (ja) * 2022-02-05 2023-08-10 国立大学法人 東京大学 偽造画像検出装置、偽造画像検出方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013563A (ja) 2018-07-19 2020-01-23 パロ アルト リサーチ センター インコーポレイテッド 意味的情報に基づいてフォトリアリスティックな合成画像を生成するためのシステムおよび方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013563A (ja) 2018-07-19 2020-01-23 パロ アルト リサーチ センター インコーポレイテッド 意味的情報に基づいてフォトリアリスティックな合成画像を生成するためのシステムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VANDENHENDE, Simon et al.,A Three-Player GAN: Generating Hard Samples To Improve Classification Networks,arxiv,2019年,https://arxiv.org/abs/1903.03496

Also Published As

Publication number Publication date
WO2021220343A1 (ja) 2021-11-04
JPWO2021220343A1 (ja) 2021-11-04
US20220366228A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11093805B2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
Larsen et al. Autoencoding beyond pixels using a learned similarity metric
US10346726B2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
AU2015207945A1 (en) Method for training an artificial neural network
JP7047498B2 (ja) 学習プログラム、学習方法および学習装置
CN110956575B (zh) 转变图像风格的方法和装置、卷积神经网络处理器
JP7392836B2 (ja) データ生成装置、データ生成方法、学習装置及び記録媒体
Tarasiewicz et al. Skinny: A lightweight U-Net for skin detection and segmentation
Gao et al. Bottom-up and top-down: Bidirectional additive net for edge detection
US10600186B2 (en) Performing segmentation of cells and nuclei in multi-channel images
Hong et al. Safa: Sample-adaptive feature augmentation for long-tailed image classification
CN114913078A (zh) 基于连拍图像的图像恢复方法和设备
Le et al. Exploring the asynchronous of the frequency spectra of gan-generated facial images
JP7357454B2 (ja) 特徴特定装置、特徴特定方法及び特徴特定プログラム
KR102477700B1 (ko) 대조 학습과 적대적 생성 신경망을 활용하는 이미지 생성 및 편집 방법과 장치
Huang et al. A method for identifying origin of digital images using a convolutional neural network
Al-Qerem et al. Comparison between transfer learning and data augmentation on medical images classification
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
KR20200058297A (ko) 설명 가능한 소수샷 영상 분류 방법 및 장치
US11288534B2 (en) Apparatus and method for image processing for machine learning
Shi et al. SSFD+: a robust two-stage face detector
JP2023078578A (ja) 画像処理装置、学習システム、および、学習方法
Gomes et al. Recent data augmentation strategies for deep learning in plant phenotyping and their significance
KR20210123674A (ko) Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R151 Written notification of patent or utility model registration

Ref document number: 7392836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151