JP7135125B2 - 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP7135125B2
JP7135125B2 JP2021006791A JP2021006791A JP7135125B2 JP 7135125 B2 JP7135125 B2 JP 7135125B2 JP 2021006791 A JP2021006791 A JP 2021006791A JP 2021006791 A JP2021006791 A JP 2021006791A JP 7135125 B2 JP7135125 B2 JP 7135125B2
Authority
JP
Japan
Prior art keywords
infrared image
image
network
training
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021006791A
Other languages
English (en)
Other versions
JP2021114296A (ja
Inventor
フェイ ティアン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021114296A publication Critical patent/JP2021114296A/ja
Application granted granted Critical
Publication of JP7135125B2 publication Critical patent/JP7135125B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Description

本願は、コンピュータ技術に関し、特にコンピュータビジョン技術分野に関する。
画像認識技術は、コンピュータビジョン分野におけるホットな話題であり、近年、顔認識、目的検出などの成功事例が多くなってきている。顔認識を一例に挙げると、環境中の可視光の条件は多様かつ複雑であり、そのため顔認識の性能は可視光の光源変動の影響を受けやすく、近赤外撮像技術の適用は光源変動の問題をある程度解決した。そのため、現在、認識精度を高めるために、近赤外画像の訓練認識モデルを使用することが多い。
しかし、実際の応用では、監視映像や身分証明写真などの可視光条件から大量の画像が採取される。従来技術は、訓練サンプルが不足するという技術的課題を解決するために、取得しやすい可視光画像を近赤外画像に変換する。
発明者らは、画像変換過程において、従来の画像変換方法で得られた近赤外画像には、一般的にぼやけて、精度が不十分であるという技術的問題点があり、合格な訓練サンプルにはならないことを発見した。
本願の実施例は、近赤外画像を生成する精度を向上させるための、近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
第１の態様によれば、本願の実施例にて提供される生成ネットワークの訓練方法は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得するステップと、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む訓練対象の対抗ネットワークを取得するステップと、画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、第１の目的関数を構築するステップと、前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップとを含み、前記判別ネットワークは、マルチスケールの判別ネットワークであり、入力された前記近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる。
本願の実施例は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を用いて、第１の目的関数を構築することで、第１の目的関数を最適化する際に、画像空間と特徴空間の２つの次元から、生成された近赤外画像を近赤外画像サンプルにフィッティングし、高精度の生成ネットワークを得る。
上記態様においては、前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、前記第１の目的関数を構築するステップは、生成された前記近赤外画像及び前記近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離を得るステップと、生成された前記近赤外画像及び前記近赤外画像サンプルの深度特徴に基づいて、前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離を得るステップと、前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、前記第１の目的関数を構築するステップとを含んでいてもよい。
これにより、生成された近赤外画像及び近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、画像空間における両者の距離を得ることで、ピクセルレベルの監視が達成され、生成された近赤外画像及び近赤外画像サンプルの深度特徴に基づいて、特徴空間における両者の距離を得ることで、深層特徴の監視が達成される。
また、上記態様においては、前記判別ネットワークは、入力された前記近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられ、前記判別ネットワークにおける様々な変換スケールに基づいて、前記近赤外画像サンプルに対してスケール変換を行うステップと、各スケールの前記近赤外画像サンプルのデータ分布と、生成された対応するスケールの前記近赤外画像のデータ分布との間のワッサースタイン距離に基づいて、第２の目的関数を得るステップと、前記第２の目的関数値を最適化し、前記訓練サンプルセットを用いて前記判別ネットワークに対して訓練を行うステップとを含んでいてもよい。
これにより、判別ネットワークがマルチスケールの判別ネットワークであり、即ち、複数のスケールから画像が実在するものであるか生成されたものであるかを判断し、各スケールの画像間のワッサースタイン距離に基づいて第２の目的関数を構築することで、第２の目的関数値を最適化して生成された近赤外画像のデータ分布と近赤外画像サンプルのデータ分布をマルチスケールからフィッティングすることで、判別ネットワークの精度を向上させ、これにより対抗訓練時における生成ネットワークの精度を向上させる。
また、上記態様においては、生成された前記近赤外画像と前記可視光画像サンプルとの画像特徴の類似度に基づいて、第３の目的関数を構築するステップと、前記第３の目的関数値を最適化し、前記可視光画像サンプルを用いて前記生成ネットワークに対して訓練を行うステップとを含んでいてもよい。
これにより、画像特徴間の類似度に基づいて第３の目的関数を構築し、画像特徴次元から生成された近赤外画像を可視光画像サンプルにフィッティングし、両者に含まれる画像の意味を近似させ、生成ネットワークの精度を向上させ、これにより対抗訓練時に生成ネットワークの精度を向上させる。
また、上記態様においては、前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップの前に、さらに、前記近赤外画像サンプル及び前記可視光画像サンプルに対してそれぞれ３次元再構築を行い、同じ角度での２次元投影画像を生成するステップと、前記近赤外画像サンプルを、その対応する前記２次元投影画像に基づいてピクセルアライメントさせるステップと、前記可視光画像サンプルを、その対応する前記２次元投影画像に基づいてピクセルアライメントさせるステップとを含んでいてもよい。
これにより、サンプルに対して３次元再構築及び２次元ピクセルアライメントを行うことで、近赤外画像サンプルと可視光画像のピクセルアライメントを実現し、撮影角度とカメラパラメータの影響を低減し、生成ネットワークの精度を向上させることに有利である。
また、上記態様においては、前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップの前に、さらに、前記近赤外画像サンプル及び前記可視光画像サンプルをカラーコード化して、前記近赤外画像サンプル及び前記可視光画像サンプルにおける構造情報を分離するステップを含んでいてもよい。
これにより、近赤外画像サンプル及び可視光画像サンプルは、色度が異なり、構造が同じであるため、画像サンプル中の構造情報を分離することで、画像サンプルの内容をより近似させ、生成ネットワークの精度を向上させることに有利である。
第２の態様によれば、本願の実施例にてさらに提供される近赤外画像の生成方法は、目的対象を含む可視光画像を取得するステップと、前記可視光画像を、第１の態様の実施例で提供される生成ネットワークの訓練方法を用いて訓練することにより得られた生成ネットワークに入力して、近赤外画像を取得するステップとを含む。
本願の実施例は、高精度の生成ネットワークにより目的対象を含む可視光画像を生成し、生成された可視光画像の精度を向上させる。
上記態様においては、前記可視光画像から、前記目的対象の設定された注目点を含む局所画像を切り出すステップと、前記局所画像を前記生成ネットワークに入力して局所近赤外画像を取得するステップと、前記近赤外画像と前記局所近赤外画像とを画像融合させ、最終的な近赤外画像を取得するステップとを含んでいてもよい。
これにより、目的対象を含む設定された注目点に対して局所画像生成を行い、局所近赤外画像と全体の近赤外画像を融合させ、全体の近赤外画像に対して局所細部強化を行うことで、近赤外画像の局所鮮明度を向上させる。
また、上記態様においては、前記近赤外画像と前記局所近赤外画像とを画像融合させ、前記最終的な近赤外画像を取得するステップは、前記近赤外画像と前記局所近赤外画像に対応するピクセルのピクセル値を加重加算するステップを含んでいてもよい。
これにより、対応するピクセルのピクセル値を加重加算し、ピクセルレベルから局所細部強化を行うことで、近赤外画像の局所鮮明度をさらに向上させる。
また、上記態様においては、前記目的対象は顔を含み、設定された注目点は口及び／または目を含んでいてもよい。
これにより、顔を含む近赤外画像を生成する適用シナリオにおいて、口及び目は、顔認識のキーポイントであるとともに、独立した特徴を有する部分であり、口及び目に対して局所細部強化を行うことで、生成された顔画像が顔認識モデルをよりよく訓練する。
第３の態様によれば、本願の実施例にてさらに提供される生成ネットワークの訓練装置は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得する第１の取得モジュールと、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む訓練対象の対抗ネットワークを取得する第２の取得モジュールと、画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、第１の目的関数を構築する構築モジュールと、前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行う訓練モジュールとを備え、前記判別ネットワークは、マルチスケールの判別ネットワークであり、入力された前記近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる。
第４の態様によれば、本願の実施例にてさらに提供される近赤外画像の生成装置は、目的対象を含む可視光画像を取得する第１の取得モジュールと、前記可視光画像を、第１の態様の実施例で提供される生成ネットワークの訓練方法を用いて訓練することにより得られた前記生成ネットワークに入力して、近赤外画像を取得する生成モジュールとを備える。
第５の態様によれば、本願の実施例にてさらに提供される電子機器は、少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信可能に接続されたメモリとを備え、該メモリには、少なくとも１つの前記プロセッサによって実行可能な命令が記憶され、該命令が少なくとも１つの前記プロセッサによって実行される場合、少なくとも１つの前記プロセッサが第１の態様の実施例で提供される生成ネットワークの訓練方法、または第２の態様の実施例で提供される近赤外画像の生成方法を実行する。
第６の態様によれば、本願の実施例はコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令は、コンピュータに第１の態様の実施例で提供される生成ネットワークの訓練方法、または第２の態様の実施例で提供される近赤外画像の生成方法を実行させる。
上記の選択的な形態の有する他の効果は、具体的な実施例を組み合わせて以下に説明する。
図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の実施例１に係る生成ネットワークの訓練方法のフローチャートである。 本願の実施例２に係る生成ネットワークの訓練方法のフローチャートである。 本願の実施例３に係る生成ネットワークの訓練方法のフローチャートである。 本願の実施例４に係る近赤外画像の生成方法のフローチャートである。 本願の実施例５に係る生成ネットワークの訓練装置の構造図である。 本願の実施例６に係る近赤外画像の生成装置の構造図である。 本願の実施例の生成ネットワークの訓練方法または近赤外画像の生成方法を実現するための電子機器のブロック図である。
以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
図１は、本願の実施例１に係る生成ネットワークの訓練方法のフローチャートであり、本願の実施例は、可視光画像に基づいて近赤外画像を生成するための生成ネットワークを訓練する場合に適用され、生成ネットワークの訓練方法は、近赤外画像の生成装置により実行され、近赤外画像の生成装置は、ソフトウェア及び／またはハードウェアを用いて実現され、一定のデータ演算能力を備える電子機器に具体的に配置される。
図１に示す生成ネットワークの訓練方法は、ステップＳ１０１と、ステップＳ１０２と、ステップＳ１０３と、ステップＳ１０４と、を含む。
ステップＳ１０１は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得する。
本実施例では、訓練サンプルセットは、複数組の近赤外画像サンプル及び可視光画像サンプルを含み、各組の近赤外画像サンプル及び可視光画像サンプルに含まれる画像内容は同じである。例えば、近赤外カメラ及び通常の可視光カメラを用いて、同一人を同一の姿勢で撮影し、１組の近赤外画像サンプル及び可視光画像サンプルを取得し、同一人を異なる姿勢で撮影し、もう１組の近赤外画像サンプル及び可視光画像サンプルを取得する。
ステップＳ１０２は、訓練対象の対抗ネットワークを取得し、対抗ネットワークは、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む。
本実施例は、生成ネットワークの構造を限定せず、例えば、生成ネットワークの構造はＰｉｘ２ＰｉｘネットワークにおけるＵ－ｎｅｔ、またはＣＹＣＬＥ ＧＡＮにおけるコーデック、または他の可能な構造である。具体的な構造は、シナリオデータに応じてどの構造が好ましいかを試す必要がある。選択的な一実施形態では、Ｐｉｘ２ＰｉｘＨＤネットワークにおけるｒｅｓｉｄｕａｌ ｂｌｏｃｋを生成ネットワークとして選択する。
同様に、本実施例は、判別ネットワークの構造も限定せず、例えば、判別ネットワークの構造はＰｉｘ２ＰｉｘネットワークにおけるＰａｔｃｈＧＡＮ、またはいくつかの畳み込み層＋出力層、または他の可能な構造である。具体的な構造は、シナリオデータに応じてどの構造が好ましいかを試す必要がある。
ステップＳ１０３は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離に基づいて、第１の目的関数を構築する。
また、生成された近赤外画像及び近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離を得て、Ｌ１ ｌｏｓｓとも呼ばれる。具体的には、対応するピクセルの絶対差の合計を、画像空間における生成された近赤外画像及び画像サンプルの距離としてもよい。
また、生成された近赤外画像及び近赤外画像サンプルの深度特徴に基づいて、特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を得てもよい。具体的には、例えば、ビジュアルジオメトリグループ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ、ＶＧＧ）ネットワークなどの損失ネットワークを用いて画像特徴を抽出し、さらに深度特徴間の距離を計算し、式（１）に示される。
Figure 0007135125000001
ここで、φは損失ネットワークを示し、Ｃｊは損失ネットワークの第ｊ層を示し、ＣｊＨｊＷｊは第ｊ層の特徴マップの大きさを示し、ｙは近赤外画像サンプルであり、ｙ′は生成された近赤外画像である。
画像空間における距離と特徴空間における距離を得た後、画像空間における距離と特徴空間における距離を加重加算して、第１の目的関数を得る。
ステップＳ１０４は、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行う。
対抗ネットワークを訓練する際に、可視光画像サンプルを生成ネットワークに入力し、生成ネットワークが対応する近赤外画像を生成し、次に、生成された近赤外画像と同じ組の近赤外画像サンプルを判別ネットワークに入力し、判別ネットワークは、０－１の間のパラメータ値を出力し、０は判別結果が偽、１は判別結果が真であることを示す。
選択的な一実施形態では、まず、少数反復して判別ネットワークを訓練し、判別ネットワークの判別精度が設定値に達した後、生成ネットワークと判別ネットワークを交互に訓練する。本実施例では、第１の目的関数値を最適化し、対抗ネットワークにおける生成ネットワークを訓練することで、例えば第１の目的関数値を最小化し、生成ネットワークにおける画像パラメータを連続的に反復することで、訓練された生成ネットワークを得る。判別ネットワークについては既存の損失関数を用いて訓練してもよく、本実施例では限定しない。
本願の実施例は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を用いて、第１の目的関数を構築することで、第１の目的関数を最適化する際に、画像空間と特徴空間の２つの次元から、生成された近赤外画像を近赤外画像サンプルにフィッティングし、高精度の生成ネットワークを得る。
さらに、生成された近赤外画像及び近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、画像空間における両者の距離を得ることで、ピクセルレベルの監視が達成され、生成された近赤外画像及び近赤外画像サンプルの深度特徴に基づいて、特徴空間における両者の距離を得ることで、深度特徴の監視が達成される。
図２は、本願の実施例２に係る生成ネットワークの訓練方法のフローチャートであり、本願の実施例は、上記の各実施例の技術的解決手段に基づいて、最適化及び改善される。
さらに、判別ネットワークは、入力された近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる。さらに、上記の方法に加えて、「判別ネットワークにおける様々な変換スケールに基づいて、近赤外画像サンプルに対してスケール変換を行い、各スケールの近赤外画像サンプルのデータ分布と、生成された対応するスケールの近赤外画像のデータ分布との間のワッサースタイン距離に基づいて、第２の目的関数を得て、第２の目的関数値を最適化し、訓練サンプルセットを用いて判別ネットワークに対して訓練を行う」という操作を追加することで、判別ネットワークの精度を向上させ、生成ネットワークの精度をさらに向上させる。
図２に示す生成ネットワークの訓練方法は、ステップＳ２０１と、ステップＳ２０２と、ステップＳ２０３と、ステップＳ２０４と、ステップＳ２０５と、ステップＳ２０６と、を含む。
ステップＳ２０１は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得する。
ステップＳ２０２は、訓練対象の対抗ネットワークを取得する。対抗ネットワークは、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む。
ステップＳ２０３は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離に基づいて、第１の目的関数を構築する。
ステップＳ２０４は、判別ネットワークにおける様々な変換スケールに基づいて、近赤外画像サンプルに対してスケール変換を行う。
ステップＳ２０５は、各スケールの近赤外画像サンプルのデータ分布と、生成された対応するスケールの近赤外画像のデータ分布との間のワッサースタイン距離に基づいて、第２の目的関数を得る。
ステップＳ２０６は、第２の目的関数値を最適化し、訓練サンプルセットを用いて判別ネットワークに対して訓練を行い、第１の目的関数値を最適化し、訓練サンプルセットを用いて生成ネットワークに対して訓練を行う。
また、変換スケールは、原図、原図の１／２、及び原図の１／４を含んでいてもよい。これにより、近赤外画像サンプルの原図を残し、近赤外画像サンプルに対して１／２ダウンサンプリングを行い、近赤外画像サンプルに対して１／４ダウンサンプリングを行う。
本実施例における判別ネットワークは、マルチスケールの判別ネットワークである。また、判別ネットワークは、複数の独立したサブネットワークを含んでいてもよい。ここで、複数のサブネットワークは、生成された近赤外画像に対して対応するスケールの変換を行い、同一のスケールの近赤外画像サンプルに基づいて入力された近赤外画像が実在するものであるか生成されたものであるかを判断するために用いられる。また、訓練効率を向上させるために、複数のサブネットワークにパラメータを共有させてもよい。
式（２）は、第２の目的関数の式を示す。
Figure 0007135125000002
式（３）は、対抗ネットワーク全体の目的関数の式を示す。
Figure 0007135125000003
ここで、Ｄ１，Ｄ２，Ｄ３，は３種類のスケールの判別ネットワークであり、Ｇは生成ネットワークである。ＧＡＮは、各スケールの生成された近赤外画像のデータ分布と、近赤外画像サンプルのデータ分布のワッサースタイン距離（Ｗａｓｓｅｒｓｔｅｉｎ距離）を示す。ｍａｘは入力されたのが生成された近赤外画像か実の近赤外画像かを判別ネットワークに最大化に判別させることを意味し、ｍｉｎは、生成ネットワークが判別精度を最小化にすることを意味する。
具体的な一実施形態では、まず、第２の目的関数値を最小化にして、判別ネットワークを個別に訓練する。判別精度が設定値に達した後。次に、判別ネットワークのパラメータを固定し、第１の目的関数値を最小化にして、Ｗａｓｓｅｒｓｔｅｉｎ距離の合計の最大値を最小化にし、生成ネットワークのパラメータを訓練し、さらに生成ネットワークのパラメータを固定し、第２の目的関数値を最小化にして判別ネットワークのパラメータを訓練し、こうして、対抗ネットワークを交互に訓練する。
本実施例では、判別ネットワークがマルチスケールの判別ネットワークであり、即ち、複数のスケールから画像が実在するものであるか生成されたものであるかを判断し、各スケールの画像間のワッサースタイン距離に基づいて第２の目的関数を構築することで、第２の目的関数値を最適化して生成された近赤外画像のデータ分布と近赤外画像サンプルのデータ分布をマルチスケールからフィッティングすることで、判別ネットワークの精度を向上させ、これにより対抗訓練時における生成ネットワークの精度を向上させる。
図３は、本願の実施例３に係る生成ネットワークの訓練方法のフローチャートであり、本願の実施例は、上記の各実施例の技術的解決手段に基づいて、最適化及び改善される。
さらに、上記の生成ネットワークの訓練方法に加えて、「生成された近赤外画像と可視光画像サンプルとの画像特徴の類似度に基づいて、第３の目的関数を構築し、第３の目的関数値を最適化し、可視光画像サンプルを用いて生成ネットワークに対して訓練を行う」という操作を追加することで、生成ネットワークの精度をさらに向上させる。
図３に示す生成ネットワークの訓練方法は、ステップＳ３０１と、ステップＳ３０２と、ステップＳ３０３と、ステップＳ３０４と、ステップＳ３０５と、を含む。
ステップＳ３０１は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得する。
ステップＳ３０２は、訓練対象の対抗ネットワークを取得し、対抗ネットワークは、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む。
ステップＳ３０３は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離に基づいて、第１の目的関数を構築する。
ステップＳ３０４は、生成された近赤外画像と可視光画像サンプルとの画像特徴の類似度に基づいて、第３の目的関数を構築する。
ステップＳ３０５は、第３の目的関数値を最適化し、可視光画像サンプルを用いて生成ネットワークに対して訓練を行い、第１の目的関数値を最適化し、訓練サンプルセットを用いて生成ネットワークに対して訓練を行う。
生成ネットワークを介して入力された可視光画像サンプルから近赤外画像を生成し、画像変換後に画像内容を変更してはならず、そのため画像特徴も近似されるべきである。これを基に、生成された近赤外画像と入力された可視光画像サンプルとの画像特徴の類似度、例えば特徴余弦の差を算出して第３の目的関数を構築することができる。顔を含む近赤外画像を生成する生成ネットワークを訓練する適用シナリオでは、生成された近赤外画像と入力された可視光画像サンプルから顔特徴を抽出し、さらに顔特徴の類似度を算出する。
具体的な一実施形態では、第１の目的関数と第３の目的関数を加重加算して結合関数を構成することができ、加重値は、自律的に設定しまたは訓練により得ることができる。まず、第２の目的関数値を最適化して判別ネットワークを個別に訓練するなど、判別ネットワークを個別に訓練する。判別精度が設定値に達した後。判別ネットワークのパラメータを固定し、結合関数値を最適化して生成ネットワークのパラメータを訓練し、さらに生成ネットワークのパラメータを固定し、判別ネットワークのパラメータを訓練し、例えば第２の目的関数値を最適化して判別ネットワークのパラメータを訓練し、こうして、対抗ネットワークを交互に訓練する。
本実施例では、画像特徴間の類似度に基づいて第３の目的関数を構築し、画像特徴次元から生成された近赤外画像を可視光画像サンプルにフィッティングし、両者に含まれる画像の意味を近似させ、生成ネットワークの精度を向上させ、これにより対抗訓練時に生成ネットワークの精度を向上させる。
上記の各実施例では、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行う前に、さらに、近赤外画像サンプルと可視光画像サンプルに対してそれぞれ３次元再構築を行い、同じ角度での２次元投影画像を生成するステップと、近赤外画像サンプルを、その対応する２次元投影画像に基づいてピクセルアライメントさせるステップと、可視光画像サンプルを、その対応する２次元投影画像に基づいてピクセルアライメントさせるステップとを含む。
近赤外カメラと通常の可視光カメラを用いて同一人を同一の姿勢で撮影する場合、人の姿勢がわずかに変化し、撮影時間の絶対的な同期が保証されないため、近赤外画像と可視光画像のピクセルがずれることになり、また、近赤外線カメラと通常の可視光カメラの撮影パラメータの違いにより、ピクセルがずれることにもなり、訓練して高精度の生成ネットワークを得ることに有利ではない。これを基に、近赤外画像サンプルと可視光画像サンプルに対してそれぞれ３次元再構築を行う。ここで、本実施例は３次元再構築の方法を限定しない。また、顔を含む近赤外画像を生成する生成ネットワークを訓練する適用シナリオでは、論文ＧＡＮＦＩＴ： Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ Ｆｉｔｔｉｎｇ ｆｏｒ Ｈｉｇｈ Ｆｉｄｅｌｉｔｙ ３Ｄ Ｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎで提供される方法を用いて３次元の顔再構築を行い、顔の姿勢角度を一致に調整して顔のテクスチャマップを生成してもよい。この論文で提供する方法ＧＡＮＦＩＴは、エンドツーエンドの微分可能レンダリングを使用し、ニューラルネットワークによって一度出力が完了し、ニューラルネットワーク以外の計算がなく、ピクセルアライメントの効率を向上させることに有利であり、生成ネットワークの訓練効率をさらに向上させる。
近赤外画像サンプルと可視光画像サンプルの顔のテクスチャマップを生成した後、同一の顔モデルに貼り付けることで、２つの顔モデルを同時に取得する。２つの顔モデルが共にレンズに正対しているか、またはカメラと共に同じ角度をなすことで、完全に位置合わせされた２次元投影画像が得られる。近赤外画像サンプルのピクセルを調整して、その対応する２次元投影画像に基づいてピクセルアライメントを行い、同様に、可視光画像サンプルのピクセルを調整して、その対応する２次元投影画像に基づいてピクセルアライメントを行う。
次に、ピクセルアライメント済みの訓練セットを用いて対抗ネットワークを訓練する。
本実施例では、サンプルに対して３次元再構築及び２次元ピクセルアライメントを行うことで、近赤外画像サンプルと可視光画像のピクセルアライメントを実現し、撮影角度とカメラパラメータの影響を低減し、生成ネットワークの精度を向上させることに有利である。
上記の各実施例では、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行う前に、さらに、近赤外画像サンプル及び可視光画像サンプルをカラーコード化して、近赤外画像サンプル及び可視光画像サンプルにおける構造情報を分離するステップを含む。
また、近赤外画像サンプルと可視光画像サンプルをＹＵＶカラーコード化してもよい。具体的には、近赤外画像サンプル及び可視光画像サンプルを共にＹＵＶ空間に投影し、ここで、「Ｙ」は輝度（ＬｕｍｉｎａｎｃｅまたはＬｕｍａ）、即ちグレースケール値を示し、「Ｕ」及び「Ｖ」は色度（ＣｈｒｏｍｉｎａｎｃｅまたはＣｈｒｏｍａ）を示す。ＹＵＶ空間に投影した後、対応するＹＣｂＣｒ画像を生成する。
以下、式（３）～式（５）は可視光画像サンプルをＹＣｂＣｒ画像に変換する式を示し、式（６）～式（７）は近赤外画像サンプルをＹＣｂＣｒ画像に変換する式を示す。
Ｙ＝０．２５７＊Ｒ＋０．５６４＊Ｇ＋０．０９８＊Ｂ＋１６ （３）
Ｃｂ＝－０．１４８＊Ｒ－０．２９１＊Ｇ＋０．４３９＊Ｂ＋１２８ （４）
Ｃｒ＝０．４３９＊Ｒ－０．３６８＊Ｇ－０．０７１＊Ｂ＋１２８ （５）
Ｙ＝０．２５７＊Ｎ＋０．５６４＊Ｉ＋０．０９８＊Ｒ＋１６ （６）
Ｃｂ＝－０．１４８＊Ｎ－０．２９１＊Ｉ＋０．４３９＊Ｒ＋１２８ （７）
Ｃｒ＝０．４３９＊Ｎ－０．３６８＊Ｉ－０．０７１＊Ｒ＋１２８ （８）
上式から分かるように、可視光画像及び近赤外画像をＹＣｂＣｒ画像に変換した後、Ｙチャネルにより構造情報の大部分が保存されており、最も変換価値がある。顔を含む近赤外画像を生成する生成ネットワークを訓練する適用シナリオでは、Ｃｂチャネルには最低限のパラメータが割り当てられ、顔に青情報が含まれることはめったになく、そのため、ＹＣｂＣｒ画像は構造情報を良好に分離する。次に、カラーコード化された訓練セットを用いて対抗ネットワークを訓練する。
本実施例では、近赤外画像サンプルと可視光画像サンプルは、色度が異なり、構造が同じであるため、画像サンプル中の構造情報を分離することで、画像サンプルの内容をより近似させ、生成ネットワークの精度を向上させることに有利である。
図４は、本願の実施例４に係る近赤外画像の生成方法のフローチャートであり、本願の実施例は、可視光画像に基づいて近赤外画像を生成する場合に適用され、近赤外画像の生成方法は、近赤外画像の生成装置により実行され、近赤外画像の生成装置は、ソフトウェア及び／またはハードウェアを用いて実現され、一定のデータ演算能力を備える電子機器に具体的に配置される。
図４に示す近赤外画像の生成方法は、ステップＳ４０１と、ステップＳ４０２と、を含む。
ステップＳ４０１は、目的対象を含む可視光画像を取得する。
ステップＳ４０２は、可視光画像を、上記の実施例のいずれかで提供される方法を用いて訓練することにより得られた生成ネットワークに入力して、近赤外画像を取得する。
本実施例では、得られた高精度の近赤外画像は、顔認識ネットワークの訓練に使用される。
本願の実施例は、生成ネットワークの精度が高く、高精度の生成ネットワークにより目的対象を含む可視光画像を生成し、生成された可視光画像の精度を向上させる。
また、上記の近赤外画像の生成方法は、さらに、可視光画像から、目的対象の設定された注目点を含む局所画像を切り出すステップと、局所画像を生成ネットワークに入力して局所近赤外画像を取得するステップと、近赤外画像と局所近赤外画像を画像融合させ、最終的な近赤外画像を取得するステップとを含んでいてもよい。
ここで、設定された注目点は、関心のある画像領域であり、目的対象が顔である場合を例に、設定された注目点は、口及び／または目などの顔のキーポイントであり、他の顔のキーポイントを含んでもよいことは言うまでもない。具体的には、可視光画像に対して顔のキーポイント認識を行い、口及び／または目の存在する領域を認識し、可視光画像から口及び／または目を含む局所画像を切り出す。局所画像を生成ネットワークに入力して局所近赤外画像を取得する。
また、近赤外画像と局所近赤外画像に対応するピクセルのピクセル値を加重加算してもよい。設定された注目点の特徴を強調するために、局所近赤外画像のピクセル値に高い重みを付けるようにしてもよい。
本実施形態では、目的対象を含む設定された注目点に対して局所画像生成を行い、局所近赤外画像と全体の近赤外画像を融合させ、全体の近赤外画像に対して局所細部強化を行うことで、近赤外画像の局所鮮明度を向上させる。対応するピクセルのピクセル値を加重加算し、ピクセルレベルから局所細部強化を行うことで、近赤外画像の局所鮮明度をさらに向上させる。
顔を含む近赤外画像を生成する適用シナリオにおいて、口及び目は、顔認識のキーポイントであるとともに、独立した特徴を有する部分であり、口及び目に対して局所細部強化を行うことで、生成された顔画像が顔認識モデルをよりよく訓練する。
図５は、本願の実施例５に係る生成ネットワークの訓練装置の構造図であり、本願の実施例は、可視光画像に基づいて近赤外画像を生成するための生成ネットワークを訓練する場合に適用され、生成ネットワークの訓練装置は、ソフトウェア及び／またはハードウェアを用いて実現され、一定のデータ演算能力を備える電子機器に具体的に配置される。
図５に示す生成ネットワークの訓練装置５００は、第１の取得モジュール５０１と、第２の取得モジュール５０２と、構築モジュール５０３と、訓練モジュール５０４とを備える。
ここで、第１の取得モジュール５０１は、近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得するために用いられる。
第２の取得モジュール５０２は、訓練対象の対抗ネットワークを取得するために用いられる。対抗ネットワークは、入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む。
構築モジュール５０３は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離に基づいて、第１の目的関数を構築するために用いられる。
訓練モジュール５０４は、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行うために用いられる。
本願の実施例は、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を用いて、第１の目的関数を構築することで、第１の目的関数を最適化する際に、画像空間と特徴空間の２つの次元から、生成された近赤外画像を近赤外画像サンプルにフィッティングし、高精度の生成ネットワークを得る。
さらに、構築モジュール５０３は、具体的には、生成された近赤外画像及び近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離を得て、生成された近赤外画像及び近赤外画像サンプルの深度特徴に基づいて、特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を得て、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離に基づいて、第１の目的関数を構築するために用いられる。
さらに、判別ネットワークは、入力された近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる。これを基に、生成ネットワークの訓練装置は、判別ネットワークにおける様々な変換スケールに基づいて、近赤外画像サンプルに対してスケール変換を行い、各スケールの近赤外画像サンプルのデータ分布と、生成された対応するスケールの近赤外画像のデータ分布との間のワッサースタイン距離に基づいて、第２の目的関数を得て、第２の目的関数値を最適化し、訓練サンプルセットを用いて判別ネットワークに対して訓練を行う判別訓練モジュールをさらに備えていてもよい。
さらに、生成ネットワークの訓練装置は、生成された近赤外画像と可視光画像サンプルとの画像特徴の類似度に基づいて、第３の目的関数を構築し、第３の目的関数値を最適化し、可視光画像サンプルを用いて生成ネットワークに対して訓練を行う生成訓練モジュールをさらに備えていてもよい。
さらに、生成ネットワークの訓練装置は、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行う前に、近赤外画像サンプルと可視光画像サンプルに対してそれぞれ３次元再構築を行い、同じ角度での２次元投影画像を生成し、近赤外画像サンプルを、その対応する２次元投影画像に基づいてピクセルアライメントさせ、可視光画像サンプルを、その対応する２次元投影画像に基づいてピクセルアライメントさせるアライメントモジュールをさらに備えていてもよい。
さらに、生成ネットワークの訓練装置は、第１の目的関数値を最適化し、訓練サンプルセットを用いて対抗ネットワークに対して対抗訓練を行う前に、近赤外画像サンプル及び可視光画像サンプルをカラーコード化して、近赤外画像サンプル及び可視光画像サンプルにおける構造情報を分離するための分離モジュールをさらに備えていてもよい。
上記の生成ネットワークの訓練装置は、本願の実施例のいずれかで提供される生成ネットワークの訓練方法を実行でき、生成ネットワークの訓練方法を実行することに対応する機能モジュール及び有益な効果を有する。
図６は、本願の実施例６に係る近赤外画像の生成装置の構造図であり、本願の実施例は、可視光画像に基づいて近赤外画像を生成する場合に適用され、近赤外画像の生成装置は、ソフトウェア及び／またはハードウェアを用いて実現され、一定のデータ演算能力を備える電子機器に具体的に配置される。
図６に示す近赤外画像の生成装置６００は、第１の取得モジュール６０１と、生成モジュール６０２とを備える。
ここで、第１の取得モジュール６０１は、目的対象を含む可視光画像を取得するために用いられる。
生成モジュール６０２は、可視光画像を、第１の態様の実施例で提供される方法を用いて訓練することにより得られた生成ネットワークに入力して、近赤外画像を取得するために用いられる。
本願の実施例における生成ネットワークの精度が高く、高精度の生成ネットワークにより目的対象を含む可視光画像を生成し、生成された可視光画像の精度を向上させる。
また、近赤外画像の生成装置は、可視光画像から、目的対象の設定された注目点を含む局所画像を切り出し、局所画像を生成ネットワークに入力して局所近赤外画像を取得し、近赤外画像と局所近赤外画像を画像融合させ、最終的な近赤外画像を取得する融合モジュールをさらに備えていてもよい。
また、融合モジュールは、近赤外画像と局所近赤外画像とを画像融合させ、最終的な近赤外画像を取得する際に、具体的には、近赤外画像及び局所近赤外画像に対応するピクセルのピクセル値を加重加算するために用いられてもよい。
また、目的対象は顔を含み、設定された注目点は口及び／または目を含んでいてもよい。
上記の近赤外画像の生成装置は、本願の実施例のいずれかで提供される近赤外画像の生成方法を実行でき、近赤外画像の生成方法を実行することに対応する機能モジュール及び有益な効果を有する。
本願の実施例によれば、本願は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
図７は、本願の実施例の生成ネットワークの訓練方法または近赤外画像の生成を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる一例であり、本明細書の説明及び／または要求される本願の実現を制限することを意図したものではない。
図７に示すように、電子機器は、少なくとも１つのプロセッサ７０１と、メモリ７０２と、高速インタフェース及び低速インタフェースを含む各コンポーネントを接続するためのインタフェースとを備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、または必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、命令は、外部入力／出力装置（例えば、インタフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内またはメモリに記憶されている命令を含む。他の実施方式では、必要に応じて、複数のプロセッサ及び／または複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、またはマルチプロセッサシステムとする）を提供することができる。図７では、１つのプロセッサ７０１を例とする。
メモリ７０２は、本願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中で、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、少なくとも１つのプロセッサが本願により提供される生成ネットワークの訓練方法または近赤外画像の生成方法を実行するようにする。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願により提供される生成ネットワークの訓練方法または近赤外画像の生成方法を実行させるためのコンピュータ命令が記憶されている。
メモリ７０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例における生成ネットワークの訓練方法に対応するプログラム命令／モジュール（例えば、図５に示すように、第１の取得モジュール５０１と、第２の取得モジュール５０２と、構築モジュール５０３と、訓練モジュール５０４とを備える）、本願の実施例における近赤外画像の生成方法に対応するプログラム命令／モジュール（例えば、図６に示すように、第１の取得モジュール６０１と、生成モジュール６０２とを備える）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ７０１は、メモリ７０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例における生成ネットワークの訓練方法または近赤外画像の生成方法を実現する。
メモリ７０２は、ストレージプログラムエリアとストレージデータエリアとを含むことができ、その中で、ストレージプログラムエリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータエリアは、生成ネットワークの訓練方法または近赤外画像の生成方法を実現する電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、または他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ７０２は、プロセッサ７０１に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
電子機器は、入力装置７０３と出力装置７０４とをさらに備えることができる。プロセッサ７０１、メモリ７０２、入力装置７０３、及び出力装置７０４は、バスまたは他の方式を介して接続することができ、図７では、バスを介して接続することを一例とする。
入力装置７０３は、入力された数字または文字情報を受信し、生成ネットワークの訓練方法または近赤外画像の生成方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、少なくとも１つのマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置７０４は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、少なくとも１つのコンピュータプログラムで実施され、少なくとも１つのコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／または解釈されることができ、プログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に伝送することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高レベルのプロセス及び／または対象指向プログラミング言語、及び／またはアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」の用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」の用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを有し、ユーザは、キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェースまたは当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、またはこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本願の実施例の技術的解決手段によれば、画像空間における生成された近赤外画像及び近赤外画像サンプルの距離、及び特徴空間における生成された近赤外画像及び近赤外画像サンプルの距離を用いて、第１の目的関数を構築することで、第１の目的関数を最適化する際に、画像空間と特徴空間の２つの次元から、生成された近赤外画像を近赤外画像サンプルにフィッティングし、高精度の生成ネットワークを得る。
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、または削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。
上記の具体的な実施方式は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (15)

  1. 近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得するステップと、
    入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む訓練対象の対抗ネットワークを取得するステップと、
    画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、第１の目的関数を構築するステップと、
    前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップとを含み、
    前記判別ネットワークは、マルチスケールの判別ネットワークであり、入力された前記近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる、生成ネットワークの訓練方法。
  2. 前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、前記第１の目的関数を構築するステップは、
    生成された前記近赤外画像及び前記近赤外画像サンプルに対応するピクセルのピクセル値に基づいて、前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離を得るステップと、
    生成された前記近赤外画像及び前記近赤外画像サンプルの深度特徴に基づいて、前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離を得るステップと、
    前記画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び前記特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、前記第１の目的関数を構築するステップとを含む請求項１に記載の生成ネットワークの訓練方法。
  3. 前記判別ネットワークにおける様々な変換スケールに基づいて、前記近赤外画像サンプルに対してスケール変換を行うステップと、
    各スケールの前記近赤外画像サンプルのデータ分布と、生成された対応するスケールの前記近赤外画像のデータ分布との間のワッサースタイン距離に基づいて、第２の目的関数を得るステップと、
    前記第２の目的関数値を最適化し、前記訓練サンプルセットを用いて前記判別ネットワークに対して訓練を行うステップとを含む請求項１または請求項２に記載の生成ネットワークの訓練方法。
  4. 生成された前記近赤外画像と前記可視光画像サンプルとの画像特徴の類似度に基づいて、第３の目的関数を構築するステップと、
    前記第３の目的関数値を最適化し、前記可視光画像サンプルを用いて前記生成ネットワークに対して訓練を行うステップとを含む請求項１または請求項２に記載の生成ネットワークの訓練方法。
  5. 前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップの前に、さらに、
    前記近赤外画像サンプル及び前記可視光画像サンプルに対してそれぞれ３次元再構築を行い、同じ角度での２次元投影画像を生成するステップと、
    前記近赤外画像サンプルを、その対応する前記２次元投影画像に基づいてピクセルアライメントさせるステップと、
    前記可視光画像サンプルを、その対応する前記２次元投影画像に基づいてピクセルアライメントさせるステップとを含む請求項１または請求項２に記載の生成ネットワークの訓練方法。
  6. 前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行うステップの前に、さらに、
    前記近赤外画像サンプル及び前記可視光画像サンプルをカラーコード化して、前記近赤外画像サンプル及び前記可視光画像サンプルにおける構造情報を分離するステップを含む請求項１または請求項２に記載の生成ネットワークの訓練方法。
  7. 目的対象を含む可視光画像を取得するステップと、
    前記可視光画像を、請求項１から請求項６のいずれかに記載の生成ネットワークの訓練方法を用いて訓練することにより得られた前記生成ネットワークに入力して、前記近赤外画像を取得するステップとを含む近赤外画像の生成方法。
  8. 前記可視光画像から、前記目的対象の設定された注目点を含む局所画像を切り出すステップと、
    前記局所画像を前記生成ネットワークに入力して局所近赤外画像を取得するステップと、
    前記近赤外画像と前記局所近赤外画像とを画像融合させ、最終的な近赤外画像を取得するステップとを含む請求項７に記載の近赤外画像の生成方法。
  9. 前記近赤外画像と前記局所近赤外画像とを画像融合させ、前記最終的な近赤外画像を取得するステップは、
    前記近赤外画像と前記局所近赤外画像に対応するピクセルのピクセル値を加重加算するステップを含む請求項８に記載の近赤外画像の生成方法。
  10. 前記目的対象は顔を含み、設定された注目点は口及び／または目を含む請求項７から請求項９のいずれかに記載の近赤外画像の生成方法。
  11. 近赤外画像サンプル及び可視光画像サンプルを含む訓練サンプルセットを取得する第１の取得モジュールと、
    入力された可視光画像に基づいて対応する近赤外画像を生成するための生成ネットワーク、及び入力された画像が実在するものであるか生成されたものであるかを判断するための判別ネットワークを含む訓練対象の対抗ネットワークを取得する第２の取得モジュールと、
    画像空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離、及び特徴空間における生成された前記近赤外画像及び前記近赤外画像サンプルの距離に基づいて、第１の目的関数を構築する構築モジュールと、
    前記第１の目的関数値を最適化し、前記訓練サンプルセットを用いて前記対抗ネットワークに対して対抗訓練を行う訓練モジュールとを備え、
    前記判別ネットワークは、マルチスケールの判別ネットワークであり、入力された前記近赤外画像に対して様々なスケール変換を行い、様々なスケール変換後の画像が実在するものであるか生成されたものであるかを判断するために用いられる、生成ネットワークの訓練装置。
  12. 目的対象を含む可視光画像を取得する第１の取得モジュールと、
    前記可視光画像を、請求項１から請求項６のいずれかに記載の生成ネットワークの訓練方法を用いて訓練することにより得られた前記生成ネットワークに入力して、前記近赤外画像を取得する生成モジュールとを備える近赤外画像の生成装置。
  13. 電子機器であって、
    少なくとも１つのプロセッサと、
    少なくとも１つの前記プロセッサに通信可能に接続されたメモリとを備え、
    該メモリには、少なくとも１つの前記プロセッサによって実行可能な命令が記憶され、該命令が少なくとも１つの前記プロセッサによって実行される場合、少なくとも１つの前記プロセッサが請求項１から請求項６のいずれかに記載の生成ネットワークの訓練方法、または請求項７から請求項１０のいずれかに記載の近赤外画像の生成方法を実行する電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１から請求項６のいずれかに記載の生成ネットワークの訓練方法、または請求項７から請求項１０のいずれかに記載の近赤外画像の生成方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
  15. コンピュータ上で動作しているときに、請求項１から請求項６のいずれかに記載の生成ネットワークの訓練方法、または請求項７から請求項１０のいずれかに記載の近赤外画像の生成方法を前記コンピュータに実行させるコンピュータプログラム。
JP2021006791A 2020-01-20 2021-01-20 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム Active JP7135125B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010065711.2A CN111291885B (zh) 2020-01-20 2020-01-20 近红外图像的生成方法、生成网络的训练方法和装置
CN202010065711.2 2020-01-20

Publications (2)

Publication Number Publication Date
JP2021114296A JP2021114296A (ja) 2021-08-05
JP7135125B2 true JP7135125B2 (ja) 2022-09-12

Family

ID=71023368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021006791A Active JP7135125B2 (ja) 2020-01-20 2021-01-20 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11854118B2 (ja)
EP (1) EP3852068A1 (ja)
JP (1) JP7135125B2 (ja)
KR (1) KR102605528B1 (ja)
CN (1) CN111291885B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446903B2 (ja) * 2020-04-23 2024-03-11 株式会社日立製作所 画像処理装置、画像処理方法及び画像処理システム
CN112347850B (zh) * 2020-09-30 2024-04-23 新大陆数字技术股份有限公司 红外图像转换方法、活体检测方法、装置、可读存储介质
US11762951B2 (en) * 2020-11-18 2023-09-19 Adobe Inc. Generative image congealing
CN112967178B (zh) * 2021-03-08 2023-04-07 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质
CN112884758B (zh) * 2021-03-12 2023-01-10 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN112860838B (zh) * 2021-03-16 2022-04-08 湖北星地智链科技有限公司 基于生成式对抗网络的多尺度地图生成方法、系统、终端
CN113674230B (zh) * 2021-08-10 2023-12-19 深圳市捷顺科技实业股份有限公司 一种室内逆光人脸关键点的检测方法及装置
CN113706406B (zh) * 2021-08-11 2023-08-04 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法
CN113762286A (zh) * 2021-09-16 2021-12-07 平安国际智慧城市科技股份有限公司 数据模型训练方法、装置、设备及介质
CN113962246B (zh) * 2021-09-17 2024-04-09 华南理工大学 融合双模态特征的目标检测方法、系统、设备及存储介质
CN114065838B (zh) * 2021-10-22 2023-07-14 中国科学院深圳先进技术研究院 一种低光照障碍物检测方法、系统、终端以及存储介质
CN113781377A (zh) * 2021-11-03 2021-12-10 南京理工大学 基于对抗性语义引导与感知的红外和可见光图像融合方法
CN114943077B (zh) * 2022-05-19 2023-04-07 四川大学 基于深度强化学习的恶意pdf文件对抗样本生成方法
CN116503300B (zh) * 2023-06-25 2023-10-03 广东电网有限责任公司湛江供电局 一种电力设备的图像融合方法、系统、设备和介质
CN116543839B (zh) * 2023-06-28 2023-09-22 深圳大学 噬菌体构建方法、装置、设备及存储介质
CN117499797B (zh) * 2023-12-29 2024-05-14 荣耀终端有限公司 图像处理方法及相关设备
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法
CN117975383A (zh) * 2024-04-01 2024-05-03 湖北经济学院 一种基于多模态图像融合技术的车辆定位和识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133560A (ja) 2005-11-09 2007-05-31 Secom Co Ltd 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU779836B2 (en) * 1998-10-08 2005-02-10 Matsushita Electric Industrial Co., Ltd. Device and method for recording, reproducing and processing data
US7054468B2 (en) * 2001-12-03 2006-05-30 Honda Motor Co., Ltd. Face recognition using kernel fisherfaces
CN101802866B (zh) 2007-07-09 2012-12-12 前视红外系统公司 用于处理红外图像的方法、红外图像采集系统以及计算机可读介质
WO2014167466A1 (en) * 2013-04-09 2014-10-16 Koninklijke Philips N.V. Layered two-dimensional projection generation and display
US9747493B2 (en) * 2014-09-23 2017-08-29 Keylemon Sa Face pose rectification method and apparatus
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
CN108694709B (zh) * 2017-04-12 2021-06-29 深圳市朗驰欣创科技股份有限公司 一种图像融合方法及装置
CN108009531B (zh) * 2017-12-28 2022-01-07 北京工业大学 一种多策略防欺诈的人脸识别方法
CN108537135A (zh) * 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN108509892B (zh) * 2018-03-28 2022-05-13 百度在线网络技术（北京）有限公司 用于生成近红外图像的方法和装置
CN110633698A (zh) * 2019-09-30 2019-12-31 上海依图网络科技有限公司 基于循环生成对抗网络的红外图片识别方法、设备及介质
US11928632B2 (en) * 2019-12-19 2024-03-12 Senseye, Inc. Ocular system for deception detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133560A (ja) 2005-11-09 2007-05-31 Secom Co Ltd 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alexey Dosovitskiy, 外1名，"Generating Images with Perceptual Similarity Metrics based on Deep Networks"，[online]，2016年02月08日，[令和4年1月27日検索], インターネット＜URL：https://arxiv.org/pdf/1602.02644v1.pdf＞
Huijiao Wang, 外4名，"Facial Feature Embedded CycleGAN for VIS-NIR Translation"，[online]，2019年04月20日，p.1-7，[令和4年1月27日検索], インターネット＜URL：https://arxiv.org/pdf/1904.09464v1.pdf＞
Rui Huang, 外3名，"Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis"，2017 IEEE International Conference on Computer Vision (ICCV)，米国，IEEE，2017年10月29日，p.2458-2467

Also Published As

Publication number Publication date
CN111291885B (zh) 2023-06-09
US11854118B2 (en) 2023-12-26
US20210224993A1 (en) 2021-07-22
KR20210094482A (ko) 2021-07-29
CN111291885A (zh) 2020-06-16
KR102605528B1 (ko) 2023-11-22
EP3852068A1 (en) 2021-07-21
JP2021114296A (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7135125B2 (ja) 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム
CN111783647B (zh) 人脸融合模型的训练方法、人脸融合方法、装置及设备
WO2022257487A1 (zh) 深度估计模型的训练方法, 装置, 电子设备及存储介质
US11568590B2 (en) Cartoonlization processing method for image, electronic device, and storage medium
WO2021218040A1 (zh) 图像处理的方法及装置
US11641446B2 (en) Method for video frame interpolation, and electronic device
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN111832745A (zh) 数据增广的方法、装置及电子设备
CN112001248B (zh) 主动交互的方法、装置、电子设备和可读存储介质
CN111768356A (zh) 一种人脸图像融合方法、装置、电子设备及存储介质
CN116309983B (zh) 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN112328345A (zh) 用于确定主题色的方法、装置、电子设备及可读存储介质
US20230047748A1 (en) Method of fusing image, and method of training image fusion model
CN111539897A (zh) 用于生成图像转换模型的方法和装置
KR20220100812A (ko) 안면 생체 검출 방법, 장치, 전자 기기 및 저장 매체
WO2023024653A1 (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN113379877B (zh) 人脸视频生成方法、装置、电子设备及存储介质
US20210279928A1 (en) Method and apparatus for image processing
CN116402914A (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
CN113781653A (zh) 对象模型生成方法、装置、电子设备及存储介质
CN112508830B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN113033258B (zh) 一种图像特征提取方法、装置、设备和存储介质
CN112785524B (zh) 一种人物图像的修复方法、装置及电子设备
JP2023534381A (ja) 深層推定モデルのトレーニング方法、装置、電子機器及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7135125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150