JP6812086B2 - 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体 - Google Patents

網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体 Download PDF

Info

Publication number
JP6812086B2
JP6812086B2 JP2019563812A JP2019563812A JP6812086B2 JP 6812086 B2 JP6812086 B2 JP 6812086B2 JP 2019563812 A JP2019563812 A JP 2019563812A JP 2019563812 A JP2019563812 A JP 2019563812A JP 6812086 B2 JP6812086 B2 JP 6812086B2
Authority
JP
Japan
Prior art keywords
network
pattern
error function
reticulated
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563812A
Other languages
English (en)
Other versions
JP2020522780A (ja
Inventor
玲玲 徐
玲玲 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2020522780A publication Critical patent/JP2020522780A/ja
Application granted granted Critical
Publication of JP6812086B2 publication Critical patent/JP6812086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

<関連出願>
本出願は2018年4月20日に提出された、出願番号が201810360251.9で、名称が「網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体」である中国特許出願を基礎にしてその優先権を主張する。
本出願は画像処理分野に関し、特に網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体に関する。
現在の証明写真は、証明写真のセキュリティを向上させるために網状パターンがほとんど追加されている。しかし、網状パターンが追加された証明写真に対して、顔特徴点の検出を行うことが難しく、顔認識を直接に行うことができない。したがって、顔認識を行うために、顔特徴点の検出を行う前に網状パターンを除去する必要がある。現在の業界における網状パターン除去モデルの網状パターン除去効果がよくなく、網状パターンを除去した証明写真又は他の画像の顔が変形しやすい。
本出願の実施例は現在の網状パターン除去モデルの網状パターン除去効果がよくないという問題を解決するために、網状パターン除去システムのトレーニング方法、装置、機器及び媒体を提供する。
網状パターン除去システムのトレーニング方法は、
トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むことと、
前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することと、
前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数とすることと、
第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることであることとを含む。
網状パターン除去システムのトレーニング装置は、
トレーニング対象のサンプルを抽出するように構成され、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むトレーニングサンプル取得モジュールと、
前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新するように構成される第1の誤差関数取得モジュールと、
前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得するように構成される第2の誤差関数取得モジュールと、
前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得するように構成される判別結果取得モジュールと、
予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得するように構成される第5の誤差関数取得モジュールと、
第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新するように構成され、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数とする第6の誤差関数取得モジュールと、
第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新するように構成され、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とする第7の誤差関数取得モジュールとを備える。
本出願の実施例はさらに現在の網状パターン除去効果がよくないという問題を解決するために、網状パターン除去方法、装置、機器及び媒体を提供する。
網状パターン除去方法は、
網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が前記網状パターン除去システムトレーニング方法を用いて取得されることと、
前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが前記網状パターン除去システムのトレーニング方法を用いて取得されることとを含む。
網状パターン除去装置は、
網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出するように構成され、前記網状パターン抽出器が前記網状パターン除去システムのトレーニング方法を用いて取得される網状パターン位置抽出モジュールと、
前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成するように構成され、前記敵対的生成ネットワークジェネレーターが前記網状パターン除去システムのトレーニング方法を用いて取得されるターゲット網状パターン除去画像生成モジュールとを備える。
コンピュータ機器は、メモリ、プロセッサ及び前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータ可読コマンドを備え、前記コンピュータ可読コマンドが前記プロセッサによって実行される時に、以下のステップを実行する。
トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むことと、
前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に応じて網状パターン抽出器のネットワークパラメータを更新することと、
前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数とすることと、
第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることとである。
コンピュータ機器は、メモリ、プロセッサ及び前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータ可読コマンドを備え、前記コンピュータ可読コマンドが前記プロセッサによって実行される時に、以下のステップを実行する。
網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が上記網状パターン除去システムのトレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得されることと、
前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが上記網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されることとである。
コンピュータ可読記憶媒体は、コンピュータ可読コマンドを記憶し、前記コンピュータ可読コマンドがプロセッサによって実行される時に、以下のステップを実行する。
トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルに、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルが含まれることと、
前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することと、
前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数とすることと、
第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることとである。
コンピュータ可読記憶媒体は、コンピュータ可読コマンドを記憶し、前記コンピュータ可読コマンドが前記プロセッサによって実行される時に、以下のステップを実行する。
網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が上記網状パターン除去システムトのレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得されることと、
前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが前記網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されることとである。
本出願の実施例によって提供される網状パターン除去システムのトレーニング方法、装置、機器及び媒体では、網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数(e_loss)を取得し、シミュレーション画像と網状パターンなしトレーニングサンプルに基づいて第2の誤差関数(l_loss)を取得し、判別結果に応じて第3の誤差関数(gan_g_loss)と第4の誤差関数(gan_d_loss)を取得し、特徴Aと特徴Bに基づいて第5の誤差関数(i_loss)を取得し、敵対的生成ネットワークの特徴(敵対的生成ネットワークジェネレーターと敵対的生成ネットワーク弁別装置を含む)に基づいて第2の誤差関数、第3の誤差関数、第4の誤差関数と第5の誤差関数に応じて敵対的生成ネットワーク弁別装置の誤差関数即ち第6の誤差関数(g_loss)と敵対的生成ネットワーク弁別装置の誤差関数即ち第7の誤差関数(d_loss)を取得し、網状パターン除去システムのトレーニングプロセスに生成された誤差で対応する誤差関数を構築し、そして誤差関数に基づいて網状パターン除去システムにおける各部分モデルのネットワークパラメータを逆伝送及び更新し、網状パターン除去システムの十分且つ効果的なトレーニングを実現する。該網状パターン除去システムが網状パターン除去システムのトレーニングプロセスにおける、網状パターン除去システムの網状パターン除去効果に影響する各要因をカバーしているため、該網状パターン除去システムが画像の網状パターンを除去する時の網状パターン除去の効果に対して非常に役立つ。
本出願の実施例によって提供される網状パターン除去方法、装置、機器及び媒体では、網状パターン除去対象の画像を網状パターン抽出器に入力し、網状パターン除去対象の画像の網状パターン位置を抽出し、そして網状パターン除去対象の画像の網状パターン位置と網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成することにより、該網状パターン除去方法を用いた網状パターン除去効果が非常に良い。
本出願の実施例における技術的解決案をより明確に説明するために、以下に本出願の実施例の記述において必要な図面を簡単に説明するが、明らかに、以下に記載する図面は本出願のいくつかの実施例にすぎず、当業者であれば、創造的な工夫をせずに、これらの図面に基づいて他の図面を得ることができる。
本出願の1つの実施例における網状パターン除去システムのトレーニング方法の1つの応用環境図である。 本出願の1つの実施例における網状パターン除去システムのトレーニング方法の1つのフローチャートである。 図2におけるステップS20の1つの具体的なフローチャートである。 図2におけるステップS50の1つの具体的なフローチャートである。 本出願の1つの実施例における網状パターン除去方法のフローチャートである。 本出願の1つの実施例における網状パターン除去システムのトレーニング装置の概略図である。 本出願の1つの実施例における網状パターン除去装置の概略図である。 本出願の1つの実施例におけるコンピュータ機器の概略図である。
以下では、本出願の実施例の図面と組み合わせて本出願の実施例における技術的解決策を明確に、全面的に説明し、明らかに、説明した実施例が本出願の実施例の一部のみであり、全ての実施例ではない。本出願の実施例に基づき、当業者が創造的な工夫をせずに得られた他の実施例は、全て本出願の保護範囲にある。
該網状パターン除去システムのトレーニング方法における網状パターン除去システムは、網状パターン抽出器、顔認識モデル、敵対的生成ネットワークジェネレーターと敵対的生成ネットワーク弁別装置を備え、網状パターン除去システムのトレーニングプロセスが即ち網状パターン除去システムの各構成部分のネットワークパラメータをトレーニングすることである。
図1に本出願の実施例による網状パターン除去システムのトレーニング方法の応用環境が示される。該網状パターン除去システムのトレーニング方法の応用環境はサーバーとクライアントを含み、ここで、サーバーとクライアントがネットワークを介して接続され、クライアントがユーザとヒューマンコンピュータインタラクションを行うことができる機器であり、コンピュータ、スマートフォンとタブレットなどの機器を含むがこれらに限られず、サーバーが具体的に独立したサーバー又は複数のサーバーからなるサーバークラスタによって実現されてもよい。本出願の実施例による網状パターン除去システムのトレーニング方法はサーバーに応用される。
図2に示すように、図2は本出願の実施例における網状パターン除去システムのトレーニング方法のフローチャートである。該網状パターン除去方法は以下のステップを含む。
S10において、トレーニング対象のサンプルを抽出する。トレーニング対象のサンプルは、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルとを含む。
ここで、網状パターン付きトレーニングサンプルは、網状パターン除去システムをトレーニングするための網状パターン付き画像を指し、網状パターンなしトレーニングサンプルは、網状パターン除去システムをトレーニングするための網状パターンなし画像を指す。トレーニング対象のサンプルにおける網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルとは、網状パターン以外の部分が全て同じである。例えば、ユーザ甲の網状パターン付き証明写真とユーザ甲の網状パターンなし証明写真を、網状パターン除去システムをトレーニングするための1セットのグループの網状パターン付きトレーニングサンプルと数が等しい網状パターンなしトレーニングサンプルとして取る。数が等しいことは、網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルの両者の割合関係が1:1であることを意味する。
1つの実施例において、トレーニング対象のサンプルを抽出し、トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含み、網状パターン付きトレーニングサンプルと数が等しい網状パターンなしトレーニングサンプルが具体的に大量の人の網状パターン付き証明写真と網状パターンなし証明写真を用いることができ、両者の違いが網状パターンの有無のみにある。該網状パターン付きトレーニングサンプルと数が等しい網状パターンなしトレーニングサンプルのサンプル容量は十分に大きくなければならず、サンプル容量が小さすぎると、網状パターン除去システムを十分にトレーニングすることができず、トレーニングして取得された網状パターン除去システムの網状パターン除去効果がよくなくなる。1つの実施例では、サンプル容量は具体的に40000グループの網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを取ることができる。理解できるものとして、該網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルの違いが網状パターンの有無のみにあるため、該違いに基づいて十分にトレーニングし、網状パターン付きトレーニングサンプルと数が等しい網状パターンなしトレーニングサンプルとの違い特徴を抽出し、網状パターン除去システムの効果的なトレーニングのために基礎を固めた。
S20において、網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、網状パターン位置と、予め設定されたラベル値とに基づいて第1の誤差関数を取得し、そして第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新する。
ここでの網状パターン抽出器は、予めトレーニングされたものであり、画像の網状パターン位置を抽出することができる網状パターン抽出モデルである。網状パターン位置は、網状パターン付きトレーニングサンプル(例えば網状パターン付き証明写真)における網状パターン付きトレーニングサンプルの網状パターンの相対位置を指す。ラベル値は網状パターン付きトレーニングサンプルと、対応する網状パターンなしトレーニングサンプルとにおける網状パターン位置の実際状況(即ちラベル値が実際状況に応じて予め手作業でラベル付けして取得される)を指す。該ラベル値は、網状パターン抽出器によって抽出された網状パターン位置と実際状況の網状パターン位置との誤差を計算し、そして対応する誤差関数を構築し、誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータ(網状パターン抽出器がニューラルネットワークモデルによってトレーニングされたものであるため、該網状パターン抽出器はニューラルネットワークにおけるネットワークパラメータを含む)を更新することに用いられる。第1の誤差関数(即ちe_loss)は、網状パターン抽出器によって抽出された網状パターン位置と予め設定されたラベル値との誤差に基づいて構築された誤差関数を指す。
1つの実施例において、網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン抽出器によって網状パターン付きトレーニングサンプルの網状パターン位置を抽出し、そして該抽出された網状パターン位置と予め設定されたラベル値とを比較し、適切な誤差関数(e_loss)を構築し、抽出された網状パターン位置と予め設定されたラベル値との誤差を測定する。理解できるものとして、予めトレーニングされた網状パターン抽出器を用いて網状パターン付きトレーニングサンプルに対して抽出された網状パターン位置と実際状況(網状パターン位置の実際位置、即ちラベル値)に誤差が存在し、該網状パターン付きトレーニングサンプルが網状パターン除去システムの他のモデル部分(例えば敵対的生成ネットワークジェネレーターと敵対的生成ネットワーク弁別装置)でトレーニングされる必要があるため、ここで該網状パターン付きトレーニングサンプルを用いて網状パターン抽出器をトレーニングし、該網状パターン抽出器を最適化するべきであり、これにより該網状パターン抽出器は該網状パターン付きトレーニングサンプルの網状パターン位置を抽出する時により精確になり、後の網状パターン除去システムのトレーニンの精度を向上させる。
1つの具体的な実施形態では、図3に示すように、ステップS20において、網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、網状パターン位置と予め設定されたラベル値に基づいてe_lossを取得し、そしてe_lossに基づいて網状パターン抽出器のネットワークパラメータを更新することは、以下のステップを含む。
S21において、網状パターン位置の各画素値を取得し、各画素値を正規化し、正規化された画素値を取得し、ここで、正規化された画素値を取得する式が
であり、MaxValueが網状パターン位置の全ての画素値のうちの最大値を表し、MinValueが網状パターン位置の全ての画素値のうちの最小値を表し、xが各画素値であり、yが正規化された画素値である。
1つの実施例では、網状パターン抽出器によって網状パターン位置の各画素値を取得し、そして各画素値を区間[0,1]に正規化させ、正規化された画素値(即ち正規化処理が行われた画素値)を取得する。一般的には、画像の画素値について2、212と216などの画素値レベルがあり、一枚の画像に大量な異なる画素値が含まれてもよく、計算が不便になるため、画素値を正規化して網状パターン位置の各画素値を同一の範囲区間に圧縮することにより、計算を簡略化し且つ網状パターン除去システムのトレーニングプロセスを速くすることができる。
S22において、網状パターン位置の正規化された画素値と対応する網状パターンなしトレーニングサンプルの正規化された画素値との画素差を取得する。
1つの実施例において、まず網状パターンなしトレーニングサンプルの正規化された画素値(網状パターンなしトレーニングサンプルの画素値が予め正規化されてもよく、計算する時に正規化する必要がない)を計算して取得し、ステップS21で取得された網状パターン位置の正規化された画素値と対応する網状パターンなしトレーニングサンプルの正規化された画素値を減算して絶対値を取るという演算(式で|xi-yi|に表されてもよく、ここで、xiが網状パターン位置のi番目の画素値に対応する、正規化された画素値を表し、yiが網状パターンなしトレーニングサンプルのxiに対応するi番目の画素値に対応する正規化画素値を表す)により、網状パターン位置の正規化された画素値と対応する網状パターンなしトレーニングサンプルの正規化された画素値との画素差を取得する。理解できるものとして、網付きトレーニングサンプルと網状パターンなしトレーニングサンプルとの画素差が非常に明らかであるため、画素差を用いて網状パターン位置をより良く表すことができる。
S23において、画素差が予め設定された境界値より大きい場合、網状パターン位置に対応する正規化画素値を1にし、画素値が予め設定された境界値より大きくない場合、網状パターン位置に対応する正規化画素値を0にし、二値化された網状パターン位置を取得する。
ここで、予め設定された境界値は、予め設定された、画素差を0と1という2種類の値に分けるための基準値である。二値化された網状パターン位置は正規化された画素値を予め設定された境界値と比較して網状パターン位置の正規化された画素値を変更して取得された網状パターン位置である。
1つの実施例において、予め設定された境界値が0.3に設定されてもよく、この場合、画素差が0.3より大きいと、網状パターン位置に対応する正規化画素値を1にし、画素値が0.3より大きくないと、網状パターン位置に対応する正規化画素値を0にする。該予め設定された境界値により取得された、二値化された網状パターン位置は、画像の網状パターンの特徴に基づき、網状パターン位置を簡潔に示すことができ、それによって該網状パターン除去システムのトレーニングを速くすることができる。
S24において、二値化された網状パターン位置の各画素値と予め設定されたラベル値に対応する各画素値に基づいて計算し、第1の誤差関数を取得し、そして第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新し、ここで、第1の誤差関数の計算式が
であり、ここで、nが画素値の数であり、xiが二値化された網状パターン位置のi番目の画素値を表し、yiが予め設定されたラベル値とxiに対応するi番目の画素値を表す。
ここで、予め設定されたラベル値に対応する各画素値が1、0という2種類の値で表され、網状パターン位置に対応する画素値が1(即ち実際状況における「真」)であり、非網状パターン位置の画素値が0(即ち実際状況における「偽」)である。
1つの実施例において、二値化された網状パターン位置の各画素値と予め設定されたラベル値に対応する各画素値に基づいて計算し、該計算プロセスが即ちe_lossを取得するプロセスである。ここで、e_lossの計算式が
であり、ここで、nが画素値の数であり、xiが二値化された網状パターン位置のi番目の画素値を表し、yiが予め設定されたラベル値とxiに対応するi番目の画素値を表す。該e_lossが網状パターン抽出器によって抽出された網状パターン位置と予め設定されたラベル値との誤差に基づいて構築された誤差関数であり、該誤差関数が網状パターン抽出器によって抽出された網状パターン位置と実際状況との誤差を効果的に反映することができ、該誤差に基づいて構築された誤差関数に応じて網状パターン抽出器におけるネットワークパラメータに対して誤差逆伝送を行い、網状パターン抽出器におけるネットワークパラメータを更新することができる。誤差関数でネットワークパラメータを逆伝送及び更新する方法は勾配降下法を用い、ここでの勾配降下法はバッチ勾配降下法、小バッチ勾配降下法及び確率的勾配降下法に限定されない。勾配降下法を用いると誤差関数の最小値を見つけ、最小化された誤差関数を取得することができ、それによって網状パターン抽出器におけるネットワークパラメータの更新を効果的に実現し、これにより、ネットワークパラメータが更新された網状パターン抽出器の網状パターン位置の抽出効果がより良くなる。
説明すべきものとして、ステップS21〜S24における該画素値に基づいて網状パターン位置を抽出する方式で網状パターン抽出器を更新することは、異なる網状パターンタイプ(網状パターン位置のタイプ)に適用でき、即ち網状パターン抽出器のトレーニング段階で複数の異なる網状パターンタイプを一緒にトレーニングすることができ、そして網状パターン抽出段階で、網状パターン抽出器によって任意のタイプの網状パターン位置を抽出することができ、網状パターン位置を抽出する時に網状パターンタイプが制限されない。
S30において、網状パターン位置と網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そしてシミュレーション画像と網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得する。
ここで、敵対的生成ネットワーク(GAN:Generative Adversarial Networks)は、深層学習モデルであり、複雑な分布における監督なし学習の方法の1つである。該モデルは、フレームワーク内の(少なくとも2つの)モジュール即ち生成モデル(Generative Model)と判別モデル(Discriminative Model)の相互ゲームにより、人々が期待するものにかなり近い出力の生成を学習する。理解できるものとして、敵対的生成ネットワークは、実際には生成モデルと判別モデルとのゲームによって自体のモデル(生成モデルと判別モデルを含む)を常に更新して最適化し、生成モデルがトレーニングサンプルと非常に類似した出力の生成を行い、判別モデルが生成モデルによって生成された、トレーニングサンプルと非常に類似した出力の真偽性の判別を行い、トレーニング回数の増加に伴い、生成モデルの「シミュレーション」能力が強くなり、生成された出力もトレーニングサンプルに近づけ、判別モデルの判別能力もより高くなり、生成モデルによって生成された高度「シミュレーション」の出力を認識することができ、最後に判別モデルによって判別された確率が50%である場合、この時に判別モデルが既に真偽を判別できないこと(でたらめな推測とほぼ同じ)を示し、この時に生成モジュールによって生成されたシミュレーションサンプルがすでに真のトレーニングサンプルとほぼ同じである。シミュレーションサンプルが即ち敵対的生成ネットワークジェネレーターによって生成された画像であり、敵対的生成ネットワークジェネレーターの特徴によって知られてもよい。1つの実施例において、敵対的生成ネットワークジェネレーターは敵対的生成ネットワークの生成モデルを指す。
1つの実施例において、網状パターン抽出器によって抽出された網状パターン位置と網状パターン付きトレーニングサンプルとを敵対的生成ネットワークジェネレーター(それも1つのモデルである)に入力し、敵対的生成ネットワークジェネレーターが網状パターン位置と網状パターン付きトレーニングサンプルとに基づいて対応するシミュレーション画像を生成する。具体的には、敵対的生成ネットワークジェネレーターは、ジェネレーターにおけるネットワークパラメータ(重み値とオフセット)により、入力された網状パターン位置と網状パターン付きトレーニングサンプルとを処理し、シミュレート画像を計算して得る。シミュレート画像が生成されたものであるため、網状パターンなしトレーニングサンプルの「パターン」を最大限にシミュレートし、近似するだけである。シミュレーション画像を取得した後、シミュレーション画像と網状パターンなしトレーニングサンプル(即ち実際状況、ここでラベル役割を果たす)に基づいて第2の誤差関数(即ちl_loss)を取得する。l_lossは敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像と実際状況(網状パターンなしトレーニングサンプル)との誤差に基づいて構築された誤差関数を指す。具体的には、シミュレーション画像と実際状況との誤差に基づいて構築された誤差関数(l_loss)によって敵対的生成ネットワークジェネレーターにおけるネットワークパラメータに対して誤差逆伝送を行い、敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新することができる。
1つの具体的な実施形態において、ステップS30において、網状パターン位置と網状パターン付きトレーニングサンプルとを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そしてシミュレーション画像と網状パターンなしトレーニングサンプルとに基づいてl_lossを取得し、それが具体的にl_lossの計算式
を含み、ここで、nが画素値の数であり、xiがシミュレーション画像のi番目の画素値を表し、yiが網状パターンなしトレーニングサンプルとxiに対応するi番目の画素値を表す。好ましくは、計算しやすいために、ここでのxiとyiのそれぞれに表される画素値は全て正規化された後に誤差関数の演算が行われ、これにより、計算を簡略化し且つ網状パターン除去システムのトレーニングプロセスを速くすることができる。
S40において、シミュレーション画像と網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして判別結果に応じて第3の誤差関数と第4の誤差関数を取得する。
1つの実施例において、シミュレーション画像と網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得する。ここで、該敵対的生成ネットワーク弁別装置は敵対的生成ネットワークジェネレーターに対応するネットワークモデルであり、敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像の真偽を判別することに用いられる。即ち敵対的生成ネットワーク弁別装置は、敵対的生成ネットワークの判別モデルを指す。敵対的生成ネットワーク弁別装置の判別結果に応じて第3の誤差関数(即ちgan_g_loss)と第4の誤差関数(即ちgan_d_loss)を取得し、gan_g_lossが、敵対的生成ネットワークジェネレーターがシミュレーション画像を生成することを反映する誤差関数であり、該誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータに対して誤差逆伝送を行い、ネットワークパラメータを更新することができ、gan_d_lossが、敵対的生成ネットワーク弁別装置がシミュレーション画像を判別することを反映する誤差関数であり、該誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータに対して誤差逆伝送を行い、敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新することができる。
1つの具体的な実施形態において、ステップS40において、シミュレーション画像と網状パターンなしトレーニングサンプルとを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして判別結果に応じてgan_g_lossとgan_d_lossを取得し、それが具体的に敵対的生成ネットワーク弁別装置から出力された判別結果D(G(X))とD(Y)を含み、Xが敵対的生成ネットワークジェネレーターの入力を表し、Xがn個のxiから構成され、xiが敵対的生成ネットワークジェネレーターによって入力されたi番目の画素値を表し、G(X)が敵対的生成ネットワークジェネレーターの出力を表し、D(G(X))が敵対的生成ネットワーク弁別装置(判別した後)の出力における敵対的生成ネットワークジェネレーターの出力(即ちシミュレーション画像であり、敵対的生成ネットワーク弁別装置の入力とする)を表し、Yが敵対的生成ネットワーク弁別装置での網状パターンなしトレーニングサンプルの入力を表し、Yがn個のyiから構成され、yiが敵対的生成ネットワーク弁別装置に入力された網状パターンなしトレーニングサンプルのi番目の画素値を表し、D(Y)が敵対的生成ネットワーク弁別装置での網状パターンなしトレーニングサンプルの出力を表す。gan_g_lossの計算式が
であり、ここで、gan_g_lossは、敵対的生成ネットワーク弁別装置が敵対的生成ネットワークジェネレーターの出力を判別する時に誤差が発生することを記述する誤差関数である。gan_d_lossの計算式が
であり、ここで、gan_d_lossは、敵対的生成ネットワーク弁別装置が網状パターンなしトレーニングサンプルを判別する時に誤差が発生することを記述する誤差関数である。好ましくは、ステップS40における画素値は正規化された後に誤差関数の演算が行われ、これにより、計算を簡略化し且つ網状パターン除去システムのトレーニングプロセスを速くすることができる。
S50において、予めトレーニングされた顔認識モデルを用いてシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプルの特徴Bを抽出し、特徴Aと特徴Bに基づいて第5の誤差関数を取得する。
ここで、顔認識モデルは予めトレーニングされたものであり、オープンソースの顔セットを用いてトレーニングして取得されてもよい。
1つの実施例において、予めトレーニングされた顔認識モデルを用いてシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプル(実際状況)の特徴Bを抽出し、特徴Aと特徴Bに基づいて対応する第5の誤差関数(即ちi_loss)を取得する。理解できるものとして、顔認識モデルによってシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプルの特徴Bを抽出し、特徴Aと特徴Bに基づいて構築された誤差関数(i_loss)がシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプルの細かい特徴における類似度を反映することができ、顔認識モデルによって抽出された細かい特徴がシミュレーション画像と網状パターンなしトレーニングサンプルとの特徴の違いを反映することができ、該違いに基づいて適切な誤差関数(i_loss)を構築することができ、そしてi_lossに基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータと敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、これにより敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像が「真」になるほど、敵対的生成ネットワーク弁別装置の判別能力がより「高く」なる(シミュレーション画像が敵対的生成ネットワーク弁別装置において入力として用いられ、誤差も発生し、そのためi_lossが敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新することもできる)。
1つの具体的な実施形態において、図4に示すように、ステップS50において、予めトレーニングされた顔認識モデルを用いてシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプルの特徴Bを抽出し、特徴Aと特徴Bに基づいてi_lossを取得することは、以下のステップを含む。
S51において、シミュレーション画像を予めトレーニングされた顔認識モデルに入力し、特徴Aを抽出する。
1つの実施例において、顔認識モデルがシミュレーション画像の特徴を抽出することについては、シミュレーション画像を顔認識モデルに入力し、該予めトレーニングされた顔認識モデルによってシミュレーション画像における特徴を抽出し、該特徴が特徴Aとして取られ、該特徴Aが具体的に予めトレーニングされた顔認識モデルによってシミュレーション画像の各画素値を抽出することを指すことができる。
S52において、網状パターンなしトレーニングサンプルを予めトレーニングされた顔認識モデルに入力し、特徴Bを抽出する。
1つの実施例において、顔認識モデルが網状パターンなしトレーニングサンプルの特徴を抽出するについては、網状パターンなしトレーニングサンプルを顔認識モデルに入力し、該予めトレーニングされた顔認識モデルによって網状パターンなしトレーニングサンプルの特徴を抽出し、該特徴が特徴Bとして取られ、該特徴Bが具体的に予めトレーニングされた顔認識モデルによってシミュレーション画像の特徴Aに対応する各画素値を抽出することを指すことができる。
S53において、特徴Aと特徴Bのユークリッド距離を計算し、第5の誤差関数を取得し、第5の誤差関数の計算式が
であり、ここで、nが画素値の数であり、aiが特徴Aにおけるi番目の画素値を表し、biが特徴Bにおけるi番目の画素値を表す。
1つの実施例において、ユークリッド距離を特徴Aと特徴Bの誤差関数として用い、該誤差関数が特徴Aと特徴Bの違いをより良く記述することができ、該違いに基づいて構築された誤差関数(i_loss)が敵対的生成ネットワークジェネレーターにおけるネットワークパラメータと敵対的生成ネットワーク弁別装置におけるネットワークパラメータを逆伝送及び更新することができ、これにより、生成されたシミュレーション画像が網状パターンなしトレーニングサンプルとほぼ同じ効果を達成する。好ましくは、aiとbiのそれぞれに表される画素値は全て正規化された後に誤差関数の演算が行われ、これにより、計算を簡略化し且つ網状パターン除去システムのトレーニングプロセスを速くすることができる。
S60において、第6の誤差関数を取得し、第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数である。
ここで、第6の誤差関数(即ちg_loss)は敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新するために最終的に用いられる誤差関数である。
1つの実施例において、g_lossを取得し、g_loss=l_loss+gan_g_loss+i_lossである。理解できるものとして、l_lossは、敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像と実際状況(網状パターンなしトレーニングサンプル)との誤差を反映し、gan_g_lossは、敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像の敵対的生成ネットワーク弁別装置で判別される時の誤差(該誤差が、シミュレーション画像が敵対的生成ネットワーク弁別装置の入力として用いられることに具現化され、l_lossと異なる誤差である)を反映し、i_lossはシミュレーション画像と網状パターンなしトレーニングサンプルとの特徴の違い(即ち誤差)を反映する。この3つの異なる次元意義での誤差関数が全て敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像の誤差を反映することができ、そのため、この3つの誤差関数は全て敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新することに用いられてもよい。この3つの誤差関数が異なる次元意義での誤差関数を表すため、l_loss、gan_g_lossとi_lossを組み合わせることにより、非常に優れたトレーニング効果を達成することができ、ネットワークパラメータが更新された敵対的生成ネットワークジェネレーターによって生成された画像は網状パターンなしトレーニングサンプルとほぼ同じであり、「ごまかして真相を隠す」の効果を達成することができる。説明すべきものとして、g_loss=l_loss+gan_g_loss+i_lossにおける算術記号「+」は算術加算を指す。誤差関数でネットワークパラメータを逆伝送及び更新する方法は勾配降下法を用い、ここでの勾配降下法はバッチ勾配降下法、小バッチ勾配降下法及び確率的勾配降下法に限らない。
S70において、第7の誤差関数を取得し、第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とする。
ここで、第7の誤差関数(即ちd_loss)は敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新するために最終的に用いられる誤差関数である。1つの実施例において、d_loss取得し、d_loss=gan_d_loss+i_lossである。理解できるものとして、gan_d_lossは、敵対的生成ネットワーク弁別装置が網状パターンなしトレーニングサンプルを判別する時に発生する誤差を反映する。i_lossはシミュレーション画像と網状パターンなしトレーニングサンプルの顔認識モデルによってそれぞれ抽出された特徴の誤差を反映し、該誤差が、シミュレーション画像と網状パターンなしトレーニングサンプルが敵対的生成ネットワーク弁別装置の入力として用いられる時に具現化されてもよい。この2つの異なる次元意義での誤差関数が全て敵対的生成ネットワーク弁別装置によって判別される時に、得られた判別結果の誤差を反映することができ、したがって、この2つの誤差関数は全て敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新することに用いられてもよい。この2つの誤差関数が異なる次元意味での誤差関数を表すため、gan_d_lossとi_lossを組み合わせることで非常に優れたトレーニング効果を達成することができ、これにより、更新された敵対的生成ネットワーク弁別装置の判別能力がより高くなり、敵対的生成ネットワークジェネレーターのシミュレーション画像生成能力をさらに向上させ、敵対的生成ネットワーク弁別装置がでたらめ推測の段階(判別確率が50%である)にあるまで継続し、それによって敵対的生成ネットワークジェネレーターによって生成されたシミュレーション画像と網状パターンなしトレーニングサンプルが見分けがつかない効果に達する。説明すべきものとして、d_loss=gan_d_loss+i_lossにおける算術記号「+」は算術加算を指す。誤差関数でネットワークパラメータを逆伝送及び更新する方法は勾配降下法を用い、ここでの勾配降下法はバッチ勾配降下法、小バッチ勾配降下法及び確率的勾配降下法に限らない。
本実施例によって提供される網状パターン除去システムのトレーニング方法では、網状パターン位置と予め設定されたラベル値に基づいてe_lossを取得し、e_lossに基づいて網状パターン抽出器におけるネットワークパラメータを逆伝送及び更新し、これにより、e_lossに基づいて更新された網状パターン抽出器が網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルデータの網状パターン位置を抽出する時により精確になるため、後の網状パターン除去システムのトレーニンの精度を向上させる。シミュレーション画像と網状パターンなしトレーニングサンプルに基づいてl_lossを取得し、判別結果に応じてgan_g_lossとgan_d_lossを取得し、特徴Aと特徴Bに基づいてi_lossを取得し、敵対的生成ネットワークの特徴(敵対的生成ネットワークジェネレーターと敵対的生成ネットワーク弁別装置を含む)に基づいてl_loss、gan_g_loss、gan_g_lossとi_lossによって敵対的生成ネットワークジェネレーターの誤差関数(g_loss)と敵対的生成ネットワーク弁別装置の誤差関数(d_loss)を取得し、網状パターン除去システムにおける各部分モデルで生成された誤差、複数の次元での異なる誤差関数で対応する誤差関数を構築し、そして複数の次元での異なる誤差関数を加算し、敵対的生成ネットワークジェネレーターと敵対的生成ネットワーク弁別装置によって最終的にそれぞれ用いられる誤差関数に基づき、網状パターン除去システムにおける各部分モデルのネットワークパラメータを逆伝送及び更新し、網状パターン除去システムの十分且つ効果なトレーニングを実現する。該網状パターン除去システムが網状パターン除去システムのトレーニングプロセスにおける、網状パターン除去システムの網状パターン除去効果に影響する各要因をカバーし、各要因がそれぞれの次元で存在する可能性がある誤差を反映し、誤差に基づいて適切な誤差関数を構築してネットワークパラメータを逆伝送及び更新し、網状パターン除去システム全体をトレーニングし、これにより該網状パターン除去システムが画像の網状パターンを除去する時に非常に優れた効果を達成することができる。
上記実施例における各プロセスの番号の大きさが実行順序を意味せず、各プロセスの実行順序はその機能と内部論理で確定されるべきであり、本出願の実施例の実施プロセスに対していかなる限定しないことを理解すべきである。
図5は実施例における網状パターン除去システムのトレーニング方法と一対一に対応する網状パターン除去システムのトレーニング装置を示す原理ブロック図である。図5に示すように、該網状パターン除去システムのトレーニング装置はトレーニングサンプル取得モジュール10、第1の誤差関数取得モジュール20、第2の誤差関数取得モジュール30、判別結果取得モジュール40、第5の誤差関数取得モジュール50、第6の誤差関数取得モジュール60と第7の誤差関数取得モジュール70を備える。ここで、トレーニングサンプル取得モジュール10、第1の誤差関数取得モジュール20、第2の誤差関数取得モジュール30、判別結果取得モジュール40、第5の誤差関数取得モジュール50、第6の誤差関数取得モジュール60と第7の誤差関数取得モジュール70の実現機能が実施例における網状パターン除去システムのトレーニング方法に対応するステップと一対一に対応し、重複を回避するために、本実施例で詳細な説明を省略する。
トレーニングサンプル取得モジュール10は、トレーニング対象のサンプルを抽出するように構成され、前記トレーニング対象のサンプルは、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含む。
第1の誤差関数取得モジュール20は、網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、網状パターン位置と、予め設定されたラベル値とに基づいて第1の誤差関数を取得し、そして第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新するように構成される。
第2の誤差関数取得モジュール30は、網状パターン位置と網状パターン付きトレーニングサンプルとを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そしてシミュレーション画像と網状パターンなしトレーニングサンプルとに基づいて第2の誤差関数を取得するように構成される。
判別結果取得モジュール40は、シミュレーション画像と網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして判別結果に応じて第3の誤差関数と第4の誤差関数を取得するように構成される。
第5の誤差関数取得モジュール50は、予めトレーニングされた顔認識モデルを用いてシミュレーション画像の特徴Aと網状パターンなしトレーニングサンプルの特徴Bを抽出し、特徴Aと特徴Bに基づいて第5の誤差関数を取得するように構成される。
第6の誤差関数取得モジュール60は、第6の誤差関数を取得し、第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新するように構成され、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数である。
第7の誤差関数取得モジュール70は、第7の誤差関数を取得し、第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新するように構成され、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とする。
好ましくは、第1の誤差関数取得モジュール20は、正規化ユニット21、画素差取得ユニット22、網状パターン位置二値化ユニット23と第1の誤差関数取得ユニット24を含む。
正規化ユニット21は、網状パターン位置の各画素値を取得し、各画素値を正規化し、正規化された画素値を取得するように構成され、ここで、正規化された画素値を取得する式が
であり、MaxValueが網状パターン位置の全ての画素値のうちの最大値を表し、MinValueが網状パターン位置の全ての画素値のうちの最小値を表し、xが各画素値であり、yが正規化された画素値である。
画素差取得ユニット22は、網状パターン位置の正規化された画素値と、対応する網状パターンなしトレーニングサンプルの正規化された画素値との画素差を取得するように構成される。
網状パターン位置二値化ユニット23は、画素差が予め設定された境界値より大きい場合、網状パターン位置に対応する正規化画素値を1にし、画素値が予め設定された境界値より大きくない場合、網状パターン位置に対応する正規化画素値を0にし、二値化された網状パターン位置を取得するように構成される。
第1の誤差関数取得ユニット24は、二値化された網状パターン位置の各画素値と予め設定されたラベル値に対応する各画素値に基づいて計算し、第1の誤差関数を取得し、そして第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新するように構成され、ここで、第1の誤差関数の計算式が
であり、ここで、nが画素値の数であり、xiが二値化された網状パターン位置のi番目の画素値を表し、yiが予め設定されたラベル値とxiに対応するi番目の画素値を表す。

好ましくは、第2の誤差関数の計算式が
であり、ここで、nが画素値の数であり、xiがシミュレーション画像のi番目の画素値を表し、yiが網状パターンなしトレーニングサンプルとxiに対応するi番目の画素値を表す。
好ましくは、判別結果がD(G(X))とD(Y)であり、Xが敵対的生成ネットワークジェネレーターの入力を表し、Xがn個のxiから構成され、xiが敵対的生成ネットワークジェネレーターによって入力されたi番目の画素値を表し、G(X)が敵対的生成ネットワークジェネレーターの出力を表し、D(G(X))が敵対的生成ネットワーク弁別装置(判別した後)の出力における敵対的生成ネットワークジェネレーターの出力を表し、Yが敵対的生成ネットワーク弁別装置での網状パターンなしトレーニングサンプルの入力を表し、Yがn個のyiから構成され、yiが敵対的生成ネットワーク弁別装置に入力された網状パターンなしトレーニングサンプルのi番目の画素値を表し、D(Y)が敵対的生成ネットワーク弁別装置での網状パターンなしトレーニングサンプルの出力を表す。
好ましくは、第5の誤差関数取得モジュール50は特徴A抽出ユニット51、特徴B抽出ユニット52と第5の誤差関数取得ユニット53を含む。
特徴A抽出ユニット51は、シミュレーション画像を予めトレーニングされた顔認識モデルに入力し、特徴Aを抽出するように構成される。
特徴B抽出ユニット52は、網状パターンなしトレーニングサンプルを予めトレーニングされた顔認識モデルに入力し、特徴Bを抽出するように構成される。
第5の誤差関数取得ユニット53は、特徴Aと特徴Bのユークリッド距離を計算し、第5の誤差関数を取得するように構成され、第5の誤差関数の計算式が
であり、ここで、nが画素値の数であり、aiが特徴Aにおけるi番目の画素値を表し、biが特徴Bにおけるi番目の画素値を表す。
図6は1つの実施例における網状パターン除去方法を示すフローチャートである。網状パターン付き画像に対して網状パターン除去処理を行い、人工知能の目的を達成するために、該網状パターン除去方法は、銀行、証券、投資及び保険などの金融機関、又は画像の網状パターンを除去する必要があるその他の機構のコンピュータ機器に適用することができる。ここで、該コンピュータ機器はユーザとヒューマンコンピュータインタラクションを行うことができる機器であり、コンピュータ、スマートフォンとタブレットなどの機器を含むがこれらに限らない。図6に示すように、該網パターン除去方法は以下のステップを含む。
S80において、網状パターン除去対象の画像を網状パターン抽出器に入力し、網状パターン除去対象の画像の網状パターン位置を抽出し、網状パターン抽出器が実施例における網状パターン除去システムのトレーニング方法によって取得された第1の誤差関数を用いて網状パターン抽出器におけるネットワークパラメータを更新して取得される。
ここで、網状パターン除去対象の画像は網状パターン除去処理を待つターゲット画像を指す。
1つの実施例において、網状パターン除去対象の画像を網状パターン抽出器に入力し、そして網状パターン抽出器によって網状パターン除去対象の画像の網状パターン位置を抽出し、後の、該網状パターン位置に基づいてターゲット網状パターン除去画像を生成するために技術的前提を提供する。実施例における網状パターン除去システムのトレーニング方法によって取得された第1の誤差関数を用いて網状パターン抽出器のネットワークパラメータを更新して形成された網状パターン抽出器は、網状パターン除去対象の画像の網状パターン位置を精確に抽出し、網状パターン抽出の正確性を効果的に向上させることができる。
S90において、網状パターン除去対象の画像の網状パターン位置と網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、敵対的生成ネットワークジェネレーターが実施例における網状パターン除去システムのトレーニング方法によって取得された第6の誤差関数を用いて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新した後取得される。
ここで、ターゲット網状パターン除去画像とは網状パターン除去対象の画像が網状パターン除去処理された後に取得されたターゲット画像を指す。
1つの実施例では、網状パターン抽出器によって網状パターン除去対象の画像から抽出された網状パターン位置と網状パターン除去対象の画像を一緒に敵対的生成ネットワークジェネレーターに入力し、敵対的生成ネットワークジェネレーターが網状パターン位置に基づいて網状パターン除去対象の画像の網状パターンを除去し、ターゲット網状パターン除去画像を生成する。実施例における網状パターン除去システムのトレーニング方法によって取得された第6の誤差関数を用いて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して形成された敵対的生成ネットワークジェネレーターは、網状パターン除去対象の画像の網状パターンを精確に除去し、網状パターン除去効果を効果的に向上させることができる。
本実施例によって提供される網状パターン除去方法では、まず網状パターン抽出器が網状パターン除去対象の画像の網状パターン位置を抽出し、実施例における網状パターン除去システムのトレーニング方法によって取得された第1の誤差関数を用いてネットワーク抽出器のネットワークパラメータを更新して形成された網状パターン抽出器は網状パターン除去対象の画像の網状パターン位置を精確に抽出し、網状パターン抽出の精確性を効果的に向上させることができ、次いで敵対的生成ネットワークジェネレーターが網状パターン位置に基づいて網状パターン除去対象の画像の網状パターンを除去し、ターゲット網状パターン除去画像を生成し、実施例における網状パターン除去システムのトレーニング方法によって取得された第6の誤差関数を用いて敵対的生成ネットワークジェネレーターのネットワークパラメータを更新して形成された敵対的生成ネットワークジェネレーターは、網状パターン除去対象の画像の網状パターンを精確に除去し、網状パターン除去効果を効果的に向上させることができ、該網状パターン除去方法によって生成されたターゲット網状パターン除去画像が網状パターンを追加しない前の対応する画像とほぼ同じであるため、非常に良い網状パターン除去効果を実現することができる。
上記実施例における各プロセスの番号の大きさが実行順序を意味せず、各プロセスの実行順序はその機能と内部論理で確定されるべきであり、本出願の実施例の実施プロセスに対していかなる限定もしないと理解すべきである。
図7は実施例における網状パターン除去方法と一対一に対応する網状パターン除去装置を示す原理ブロック図である。図7に示すように、該網状パターン除去装置は網状パターン位置抽出モジュール80とターゲット網状パターン除去画像生成モジュール90を備える。ここで、網状パターン位置抽出モジュール80とターゲット網状パターン除去画像生成モジュール90の実現機能が実施例における網状パターン除去方法に対応するステップと一対一に対応し、重複を回避するために、本実施例で詳細な説明を省略する。
網状パターン位置抽出モジュール80は、網状パターン除去対象の画像を網状パターン抽出器に入力し、網状パターン除去対象の画像の網状パターン位置を抽出するように構成され、網状パターン抽出器が実施例における網状パターン除去システムのトレーニング方法によって取得された第1の誤差関数を用いて網状パターン抽出器におけるネットワークパラメータを更新して取得される。
ターゲット網状パターン除去画像生成モジュール90は、網状パターン除去対象の画像の網状パターン位置と網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成するように構成され、敵対的生成ネットワークジェネレーターが実施例における網状パターン除去システムのトレーニング方法によって取得された第6の誤差関数を用いて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得される。
本実施例はコンピュータ可読記憶媒体を提供し、コンピュータ可読コマンドを記憶し、該コンピュータ可読コマンドがプロセッサによって実行される時に実施例における網状パターン除去システムのトレーニング方法を実施し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンドがプロセッサによって実行される時に実施例における網状パターン除去システムのトレーニング装置における各モジュール/ユニットの機能を実現し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンドがプロセッサによって実行される時に実施例における網状パターン除去方法における各ステップの機能を実現し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンドがプロセッサによって実行される時に実施例における網状パターン除去装置の各モジュール/ユニットの機能を実現し、重複を回避するために、ここで再度の説明を省略する。
図8は本出願の1つの実施例によるコンピュータ機器の概略図である。図8に示すように、該実施例におけるコンピュータ機器100は、プロセッサ101、メモリ102及びメモリ102に記憶され且つプロセッサ101で実行可能なコンピュータ可読コマンド103を備え、該コンピュータ可読コマンド103がプロセッサ101によって実行される時に実施例における網状パターン除去システムのトレーニング方法を実行し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンド103がプロセッサ101によって実行される時に実施例における網状パターン除去システムのトレーニング装置の各モジュール/ユニットの機能を実現し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンド103がプロセッサ101によって実行される時に実施例における網状パターン除去方法の各ステップの機能を実現し、重複を回避するために、ここで再度の説明を省略する。又は、該コンピュータ可読コマンド103がプロセッサ101によって実行される時に実施例における網状パターン除去装置の各モジュール/ユニットの機能を実現する。重複を回避するために、ここで再度の説明を省略する。
例示的に、コンピュータ可読コマンド103は、1つ又は複数のモジュール/ユニットに分割されてもよく、1つ又は複数のモジュール/ユニットがメモリ102に記憶され、プロセッサ101によって実行されて本出願を完了する。1つ又は複数のモジュール/ユニットは特定機能を完了することができる一連のコンピュータ可読コマンド103のコマンドセグメントであってもよく、該コマンドセグメントがコンピュータ機器100でのコンピュータ可読コマンド103の実行プロセスを記述することに用いられる。例えば、コンピュータ可読コマンド103は実施例におけるトレーニングサンプル取得モジュール10、第1の誤差関数取得モジュール20、第2の誤差関数取得モジュール30、判別結果取得モジュール40、第5の誤差関数取得モジュール50、第6の誤差関数取得モジュール60と第7の誤差関数取得モジュール100、又は実施例における網状パターン位置抽出モジュール80とターゲット網状パターン除去画像生成モジュール90に分割されてもよく、各モジュールの具体的な機能が実施例に示され、重複を回避するために、ここで再度の説明を省略する。
コンピュータ機器100は、デスクトップコンピュータ、ノートブック、パームトップコンピュータ及びクラウドサーバなどの計算機器であってもよい。コンピュータ機器は、プロセッサ101、メモリ102を備えることができるがこれらに限らない。当業者は、図8がコンピュータ機器100の例示だけであるが、コンピュータ機器100を限定するためのものではなく、図示よりもより多く又はより少ない部材を備え、又はいくつかの部材又は異なる部材を組み合わせることができ、例えば、コンピュータ機器がさらに入出力装置、ネットワークアクセス装置、バスなどを備えることができることを理解できる。
前記プロセッサ101は中央処理ユニット(CPU:Central Processing Unit)であってもよく、また他の汎用プロセッサ、デジタル信号プロセッサ(DSP:(Digital Signal Processor)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサはいずれかの従来のプロセッサなどであってもよい。
メモリ102はコンピュータ機器100の内部記憶ユニット、例えばコンピュータ機器100のハードディスク又はメモリであってもよい。メモリ102もコンピュータ機器100の外部記憶デバイス、例えばコンピュータ機器100に配置されたプラグインハードディスク、スマートメディアカード(SMC:Smart Media(登録商標) Card)、セキュアデジタル(SD:Secure Digital)カード、フラッシュカード(Flash Card)などであってもよい。さらに、メモリ102はさらにコンピュータ機器100の内部記憶ユニットだけでなく、外部記憶機器を含むことができる。メモリ102はコンピュータ可読コマンド103及びコンピュータ機器に必要な他のプログラムとデータを記憶するように構成される。メモリ102はすでに出力されたデータ又は出力されるデータを一時的に記憶するように構成されてもよい。
当業者は、説明を容易かつ簡潔に行うために、上記各機能ユニット、モジュールの分割のみを例として説明し、実際応用において、必要に応じて上記機能を異なる機能ユニット、モジュールに割り当てて完了し、即ち前記装置の内部構造を異なる機能ユニット又はモジュールに分割し、上述した全て又は一部の機能を完了することができることを明確に理解することができる。
また、本出願の各実施例における各機能ユニットは1つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、2つまたは2つ以上のユニットは1つのユニットに統合されてもよい。上記の統合されたユニットはハードウェアの形態で実現されてもよく、ソフトウェア機能ブロックの形態で実現されてもよい。
上述した実施例は本出願の技術的解決策を説明するためのものだけであり、それを制限しない。前記実施例を参照して本出願を詳しく説明したが、当業者は、それが依然として上記の各実施例に記載の技術的解決案を変更し、又はその中の一部の技術的特徴に対して等価取替を行うことができ、これらの変更又は取り替えが、対応する技術的解決策の本質が本出願の各実施例の各技術的解決案の精神及び範囲から逸脱することを引き起こさず、いずれも本出願の保護範囲に含まれるべきであることを理解するべきでる。

Claims (12)

  1. 網状パターン除去システムのトレーニング方法であって、
    トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むことと、
    前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することと、
    前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
    前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
    予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
    第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数であることと、
    第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることとを含むことを特徴とする網状パターン除去システムのトレーニング方法。
  2. 前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することは、
    前記網状パターン位置の各画素値を取得し、各前記画素値を正規化し、正規化された画素値を取得し、ここで、正規化された画素値を取得する式が
    であり、MaxValueが網状パターン位置の全ての画素値のうちの最大値を表し、MinValueが網状パターン位置の全ての画素値のうちの最小値を表し、xが各画素値であり、yが正規化された画素値であることと、
    前記網状パターン位置の正規化された画素値と、対応する網状パターンなしトレーニングサンプルの正規化された画素値との画素差を取得することと、
    前記画素差が予め設定された境界値より大きい場合、前記網状パターン位置に対応する前記正規化された画素値を1にし、前記画素値が前記予め設定された境界値より大きくない場合、前記網状パターン位置に対応する前記正規化された画素値を0にし、二値化された網状パターン位置を取得することと、
    前記二値化された網状パターン位置の各画素値と予め設定されたラベル値に対応する各画素値に基づいて計算し、第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新し、ここで、第1の誤差関数の計算式が
    であり、ここで、nが画素値の数であり、xiが前記二値化された網状パターン位置のi番目の画素値を表し、yiが予め設定されたラベル値と前記xiに対応するi番目の画素値を表すことであることと、を含むことを特徴とする請求項1に記載の網状パターン除去システムのトレーニング方法。
  3. 第2の誤差関数の計算式が
    であり、ここで、nが画素値の数であり、xiが前記シミュレーション画像のi番目の画素値を表し、yiが前記網状パターンなしトレーニングサンプルと前記xiに対応するi番目の画素値を表すことを特徴とする請求項1に記載の網状パターン除去システムのトレーニング方法。
  4. 前記判別結果がD(G(X))とD(Y)であり、Xが前記敵対的生成ネットワークジェネレーターの入力を表し、Xがn個のxiから構成され、xiが敵対的生成ネットワークジェネレーターによって入力されたi番目の画素値を表し、G(X)が前記敵対的生成ネットワークジェネレーターの出力を表し、D(G(X))が前記敵対的生成ネットワーク弁別装置(判別した後)の出力における前記敵対的生成ネットワークジェネレーターの出力を表し、Yが前記敵対的生成ネットワーク弁別装置での前記網状パターンなしトレーニングサンプルの入力を表し、Yがn個のyiから構成され、yiが前記敵対的生成ネットワーク弁別装置に入力された前記網状パターンなしトレーニングサンプルのi番目の画素値を表し、D(Y)が前記敵対的生成ネットワーク弁別装置での前記網状パターンなしトレーニングサンプルの出力を表し、
  5. 予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することは、
    前記シミュレーション画像を予めトレーニングされた前記顔認識モデルに入力し、特徴Aを抽出することと、
    前記網状パターンなしトレーニングサンプルを予めトレーニングされた前記顔認識モデルに入力し、特徴Bを抽出することと、
    前記特徴Aと前記特徴Bのユークリッド距離を計算し、第5の誤差関数を取得し、前記第5の誤差関数の計算式が
    であり、ここで、nが画素値の数であり、aiが前記特徴Aにおけるi番目の画素値を表し、biが前記特徴Bにおけるi番目の画素値を表すこととを含むことを特徴とする請求項1に記載の網状パターン除去システムのトレーニング方法。
  6. 網状パターン除去方法であって、
    網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得されることと、
    前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されることとを含むことを特徴とする前記網状パターン除去方法。
  7. 網状パターン除去システムのトレーニング装置であって、
    トレーニング対象のサンプルを抽出するように構成され、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むトレーニングサンプル取得モジュールと、
    前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新するように構成される第1の誤差関数取得モジュールと、
    前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得するように構成される第2の誤差関数取得モジュールと、
    前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得するように構成される判別結果取得モジュールと、
    予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得するように構成される第5の誤差関数取得モジュールと、
    第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新するように構成され、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数である第6の誤差関数取得モジュールと、
    第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新するように構成され、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とする第7の誤差関数取得モジュールとを備えることを特徴とする網状パターン除去システムのトレーニング装置。
  8. 網状パターン除去装置であって、
    網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出するように構成され、前記網状パターン抽出器が請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得される網状パターン位置抽出モジュールと、
    前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成するように構成され、前記敵対的生成ネットワークジェネレーターが請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されるターゲット網状パターン除去画像生成モジュールと、を備えることを特徴とする網状パターン除去装置。
  9. メモリ、プロセッサ及び前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータ可読コマンドを備えるコンピュータ機器であって、前記コンピュータ可読コマンドが前記プロセッサによって実行される時に、以下のステップ:
    トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むことと、
    前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することと、
    前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
    前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
    予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
    第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数であることと、
    第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることと、
    を実行することを特徴とするコンピュータ機器。
  10. メモリ、プロセッサ及び前記メモリに記憶され且つ前記プロセッサで実行可能なコンピュータ可読コマンドを備えるコンピュータ機器であって、前記コンピュータ可読コマンドが前記プロセッサによって実行される時に、以下のステップ:
    網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得されることと、
    前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されることであることと、
    を実行することを特徴とするコンピュータ機器。
  11. コンピュータ可読コマンドを記憶するコンピュータ可読記憶媒体であって、前記コンピュータ可読コマンドがプロセッサによって実行される時に、以下のステップ:
    トレーニング対象のサンプルを抽出し、前記トレーニング対象のサンプルが、サンプルの数が等しい網状パターン付きトレーニングサンプルと網状パターンなしトレーニングサンプルを含むことと、
    前記網状パターン付きトレーニングサンプルを網状パターン抽出器に入力し、網状パターン位置を抽出し、前記網状パターン位置と予め設定されたラベル値に基づいて第1の誤差関数を取得し、そして前記第1の誤差関数に基づいて網状パターン抽出器のネットワークパラメータを更新することと、
    前記網状パターン位置と前記網状パターン付きトレーニングサンプルを敵対的生成ネットワークジェネレーターに入力し、シミュレーション画像を生成し、そして前記シミュレーション画像と前記網状パターンなしトレーニングサンプルに基づいて第2の誤差関数を取得することと、
    前記シミュレーション画像と前記網状パターンなしトレーニングサンプルを敵対的生成ネットワーク弁別装置に入力し、判別結果を取得し、そして前記判別結果に応じて第3の誤差関数と第4の誤差関数を取得することと、
    予めトレーニングされた顔認識モデルを用いて前記シミュレーション画像の特徴Aと前記網状パターンなしトレーニングサンプルの特徴Bを抽出し、前記特徴Aと前記特徴Bに基づいて第5の誤差関数を取得することと、
    第6の誤差関数を取得し、前記第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新し、ここで、第6の誤差関数=第2の誤差関数+第3の誤差関数+第5の誤差関数であることと、
    第7の誤差関数を取得し、前記第7の誤差関数に基づいて敵対的生成ネットワーク弁別装置におけるネットワークパラメータを更新し、ここで、第7の誤差関数=第4の誤差関数+第5の誤差関数とすることであることと、
    を実行することを特徴とするコンピュータ可読記憶媒体。
  12. コンピュータ可読コマンドを記憶するコンピュータ可読記憶媒体であって、前記コンピュータ可読コマンドがプロセッサによって実行される時に、以下のステップ:
    網状パターン除去対象の画像を網状パターン抽出器に入力し、前記網状パターン除去対象の画像の網状パターン位置を抽出し、前記網状パターン抽出器が請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第1の誤差関数に基づいて網状パターン抽出器におけるネットワークパラメータを更新して取得されることと、
    前記網状パターン除去対象の画像の網状パターン位置と前記網状パターン除去対象の画像を敵対的生成ネットワークジェネレーターに入力し、ターゲット網状パターン除去画像を生成し、前記敵対的生成ネットワークジェネレーターが請求項1〜5のいずれか1項に記載の網状パターン除去システムのトレーニング方法を用いて第6の誤差関数に基づいて敵対的生成ネットワークジェネレーターにおけるネットワークパラメータを更新して取得されることであることと、
    を実行することを特徴とするコンピュータ可読記憶媒体。
JP2019563812A 2018-04-20 2018-06-25 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体 Active JP6812086B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810360251.9 2018-04-20
CN201810360251.9A CN108734673B (zh) 2018-04-20 2018-04-20 去网纹系统训练方法、去网纹方法、装置、设备及介质
PCT/CN2018/092569 WO2019200702A1 (zh) 2018-04-20 2018-06-25 去网纹系统训练方法、去网纹方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
JP2020522780A JP2020522780A (ja) 2020-07-30
JP6812086B2 true JP6812086B2 (ja) 2021-01-13

Family

ID=63939701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563812A Active JP6812086B2 (ja) 2018-04-20 2018-06-25 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体

Country Status (5)

Country Link
US (1) US20200125836A1 (ja)
JP (1) JP6812086B2 (ja)
CN (1) CN108734673B (ja)
SG (1) SG11201913728SA (ja)
WO (1) WO2019200702A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103271A (zh) * 2016-02-23 2017-08-29 芋头科技(杭州)有限公司 一种人脸检测方法
KR102366777B1 (ko) * 2019-04-01 2022-02-24 한국전자통신연구원 도메인 적응 기반 객체 인식 장치 및 그 방법
CN110175961B (zh) * 2019-05-22 2021-07-27 艾特城信息科技有限公司 一种基于人脸图像分割对抗思想的去网纹方法
CN110647805B (zh) * 2019-08-09 2023-10-31 平安科技(深圳)有限公司 一种网纹图像识别方法、装置及终端设备
CN110765843B (zh) * 2019-09-03 2023-09-22 平安科技(深圳)有限公司 人脸验证方法、装置、计算机设备及存储介质
CN112836701A (zh) * 2019-11-25 2021-05-25 中国移动通信集团浙江有限公司 人脸识别方法、装置及计算设备
CN111325317B (zh) * 2020-01-21 2023-12-12 北京空间机电研究所 一种基于生成对抗网络的波前像差确定方法及装置
CN111695605B (zh) * 2020-05-20 2024-05-10 平安科技(深圳)有限公司 基于oct图像的图像识别方法、服务器及存储介质
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5777367B2 (ja) * 2011-03-29 2015-09-09 キヤノン株式会社 パターン識別装置、パターン識別方法及びプログラム
CN105760859B (zh) * 2016-03-22 2018-12-21 中国科学院自动化研究所 基于多任务卷积神经网络的网纹人脸图像识别方法及装置
CN105930797B (zh) * 2016-04-21 2019-03-26 腾讯科技(深圳)有限公司 一种人脸验证方法及装置
CN106203333A (zh) * 2016-07-08 2016-12-07 乐视控股(北京)有限公司 人脸识别方法及系统
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备

Also Published As

Publication number Publication date
JP2020522780A (ja) 2020-07-30
US20200125836A1 (en) 2020-04-23
SG11201913728SA (en) 2020-01-30
CN108734673B (zh) 2019-11-15
CN108734673A (zh) 2018-11-02
WO2019200702A1 (zh) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6812086B2 (ja) 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体
CN112037912B (zh) 基于医疗知识图谱的分诊模型训练方法、装置及设备
CN108764195B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
EP3651043A1 (en) Url attack detection method and apparatus, and electronic device
CN111679949A (zh) 基于设备指标数据的异常检测方法及相关设备
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN112132277A (zh) 联邦学习模型训练方法、装置、终端设备及存储介质
WO2022247005A1 (zh) 图像中目标物识别方法、装置、电子设备及存储介质
CN111275784B (zh) 生成图像的方法和装置
US20220222925A1 (en) Artificial intelligence-based image processing method and apparatus, device, and storage medium
CN110672323B (zh) 一种基于神经网络的轴承健康状态评估方法及装置
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
CN113919513A (zh) 一种联邦学习安全聚合方法、装置及电子设备
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN111985414B (zh) 一种关节点位置确定方法及装置
CN112257578A (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN113887408B (zh) 活化人脸视频的检测方法、装置、设备及存储介质
CN110598019A (zh) 重复图像识别方法及装置
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN110765843B (zh) 人脸验证方法、装置、计算机设备及存储介质
CN114565807A (zh) 训练目标图像检索模型的方法和装置
CN114330565A (zh) 一种人脸识别方法及装置
CN113011387A (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN111079930B (zh) 数据集质量参数的确定方法、装置及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201215

R150 Certificate of patent or registration of utility model

Ref document number: 6812086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250