KR102605528B1 - 근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치 - Google Patents
근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치 Download PDFInfo
- Publication number
- KR102605528B1 KR102605528B1 KR1020210007477A KR20210007477A KR102605528B1 KR 102605528 B1 KR102605528 B1 KR 102605528B1 KR 1020210007477 A KR1020210007477 A KR 1020210007477A KR 20210007477 A KR20210007477 A KR 20210007477A KR 102605528 B1 KR102605528 B1 KR 102605528B1
- Authority
- KR
- South Korea
- Prior art keywords
- infrared image
- image
- network
- training
- sample
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000006870 function Effects 0.000 claims description 89
- 230000015654 memory Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000338702 Cupido minimus Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
본 출원은 근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치를 개시하며, 컴퓨터 비전 기술 분야에 관한 것이다. 구체적인 구현 방식은, 트레이닝 샘플 세트 및 트레이닝될 적대 네트워크를 획득하되, 여기서 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 상기 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용되며; 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하고; 상기 제1 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행한다. 본 출원의 실시예는 이미지 공간에서의 거리 및 특징 공간에서의 거리를 결합하여 사용하여 목표 함수를 구축함으로써, 근적외선 이미지를 생성하는 정밀도를 향상시키는데 유리하다.
Description
본 출원은 컴퓨터 기술에 관한 것으로, 특히 컴퓨터 비전 기술 분야에 관한 것이다.
이미지 인식 기술은 컴퓨터 비전 분야에서 화제가 되고 있으며, 최근 몇 년간, 사람 얼굴 인식, 목표 감지 등과 같은 많은 성공 사례가 이루어지고 있다. 사람 얼굴 인식을 예로, 환경 중 가시 광선 조건은 변화가 많고 복잡하기 때문에, 사람 얼굴 인식 성능은 가시 광원의 변화의 영향을 쉽게 받으며, 근적외선 이미징 기술의 적용은 일정한 정도에서 광원 변화 분제를 해결한다. 따라서, 현재 근적외선 이미지 트레이닝 인식 모델을 대부분 사용하여, 인식 정밀도를 향상시킨다.
그러나, 실제 응용에서, 모니터링 비디오, 신분증 사진 등과 같은 가시광 조건으로부터 대량의 이미지가 수집된다. 트레이닝 샘플이 부족한 기술적 문제를 해결하기 위해, 종래의 기술에서는 쉽게 획득된 가시 광선 이미지를 근적외선 이미지로 변환한다.
출원자는 이미지 변환 과정에서, 기존의 이미지 변환 방법으로 얻은 근적외선 이미지에는 흐릿하고, 정밀도가 부족한 기술적 문제가 보편적으로 존재하여, 합격된 트레이닝 샘플로 될 수 없음을 발견하였다.
본 출원의 실시예는 근적외선 이미지를 생성하는 정밀도를 향상시키기 위한 근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치, 기기 및 저장 매체를 개시한다.
제1 측면으로, 본 출원의 실시예는 생성 네트워크의 트레이닝 방법을 제공하는 바, 상기 방법은,
트레이닝 샘플 세트를 획득하는 단계 - 상기 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함함 - ;
트레이닝될 적대 네트워크를 획득하는 단계 - 상기 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하되, 상기 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 상기 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용됨 - ;
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계; 및,
상기 제1 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계;를 포함한다.
본 출원의 실시예는 이미지 공간 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 사용하여, 제1 목표 함수를 구축함으로써, 제1 목표 함수를 최적화할 경우, 이미지 공간 및 특징 공간 2개의 차원으로부터, 생성된 근적외선 이미지를 근적외선 이미지 샘플로 피팅하여, 고정밀도의 생성 네트워크를 획득한다.
선택적으로, 이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계는,
상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 상기 이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하는 단계;
상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징(deep feature)에 따라, 상기 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하는 단계; 및,
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계;를 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 이미지 공간에서의 양자의 거리를 획득하여, 픽셀 레벨의 감시를 구현하고; 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징에 따라, 특징 공간에서의 양자의 거리를 획득하여, 깊이 특징의 감시를 구현한다.
선택적으로, 상기 판별 네트워크는 입력된 근적외선 이미지에 대해 다양한 스케일로 변환하여, 다양한 스케일로 변환된 후의 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용되며;
상기 방법은, 판별 네트워크 중 다양한 변환 스케일에 따라, 상기 근적외선 이미지 샘플에 대해 스케일 변환을 수행하는 단계;
각 스케일의 근적외선 이미지 샘플의 데이터 분포와 생성된 대응 스케일의 근적외선 이미지의 데이터 분포 사이의 워서스테인 거리에 따라, 제2 목표 함수를 획득하는 단계; 및,
상기 제2 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 판별 네트워크에 대해 트레이닝을 수행하는 단계;를 더 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 판별 네트워크는 다양한 스케일의 판별 네트워크이고, 즉 다양한 스케일로부터 이미지가 실제인지 또는 생성된 것인지 판단하며; 각 스케일의 이미지 사이의 워서스테인 거리를 통해 제2 목표 함수를 구축함으로써, 제2 목표 함수값을 최적화하여 다양한 스케일로부터 생성된 근적외선 이미지의 데이터 분포와 근적외선 이미지 샘플의 데이터 분포를 피팅하여, 판별 네트워크의 정밀도를 향상시키고, 적대 트레이닝 시 생성 네트워크의 정밀도를 향상시킨다.
선택적으로, 상기 방법은, 생성된 근적외선 이미지와 상기 가시 광선 이미지 샘플의 이미지 특징 유사도에 따라, 제3 목표 함수를 구축하는 단계; 및,
제3 목표 함수값을 최적화하고, 상기 가시 광선 이미지 샘플을 사용하여 상기 생성 네트워크에 대해 트레이닝을 수행하는 단계;를 더 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 이미지 특징 사이의 유사도를 통해 제3 목표 함수를 구축하고, 이미지 특징 차원으로부터 생성된 근적외선 이미지를 가시 광선 이미지 샘플과 피팅하여, 양자에 포함된 이미지 의미론이 근접하도록 하며, 생성 네트워크의 정밀도를 향상시키고, 적대 트레이닝 시 생성 네트워크의 정밀도를 향상시킨다.
선택적으로, 상기 제1 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에,
근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행하여, 동일한 각도에서의 2차원 투영 이미지를 생성하는 단계;
대응되는 2차원 투영 이미지에 기반하여 상기 근적외선 이미지 샘플을 픽셀 정렬하는 단계; 및,
대응되는 2차원 투영 이미지에 기반하여 상기 가시 광선 이미지 샘플을 픽셀 정렬하는 단계;를 더 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 샘플에 대해 3차원 재구성 및 2차원 픽셀 정렬을 수행하여, 근적외선 이미지 샘플 및 가시 광선 이미지의 픽셀 정렬을 구현하고, 촬영 각도 및 카메라 파라미터의 영향을 감소시킴으로써, 생성 네트워크의 정밀도를 향상시키는데 유리하다.
선택적으로, 상기 제1 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에,
상기 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 컬러 코딩을 수행하여, 상기 근적외선 이미지 샘플 및 가시 광선 이미지 샘플 중 구조 정보를 분리하는 단계;를 더 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플은 색도가 상이하고, 구조가 동일하므로, 이미지 샘플 중 구조 정보를 분리시켜, 이미지 샘플의 내용이 보다 근접해지도록 함으로써, 생성 네트워크의 정밀도를 향상시키는데 유리하다.
제2 측면으로, 본 출원의 실시예는 근적외선 이미지 생성 방법을 더 제공하는 바, 상기 방법은,
목표 대상을 포함하는 가시 광선 이미지를 획득하는 단계; 및,
상기 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하는 단계;를 포함하고,
상기 생성 네트워크는 제1 측면의 실시예에서 제공된 방법으로 트레이닝하여 획득된다.
본 출원의 실시예는 고정밀도의 생성 네트워크를 통해, 목표 대상을 포함하는 가시 광선 이미지를 생성하여, 생성된 가시 광선 이미지의 정밀도를 향상시킨다.
선택적으로, 상기 방법은, 상기 가시 광선 이미지로부터 상기 목표 대상을 포함하는 설정된 관심 포인트의 부분 이미지를 캡처하는 단계;
상기 부분 이미지를 상기 생성 네트워크에 입력하여, 부분 근적외선 이미지를 획득하는 단계; 및,
상기 근적외선 이미지 및 상기 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 단계;를 더 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 목표 대상을 포함하는 설정된 관심 포인트에 대한 부분 이미지를 생성하고, 부분 근적외선 이미지와 전체 근적외선 이미지를 융합하여, 전체 근적외선 이미지에 대해 부분적 세부사항을 강화함으로써, 근적외선 이미지의 부분적 선명도를 향상시킨다.
선택적으로, 상기 근적외선 이미지 및 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 단계는,
상기 근적외선 이미지 및 상기 부분 근적외선 이미지의 대응 픽셀의 픽셀값의 가중합을 구하는 단계;를 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 대응 픽셀의 픽셀값의 가중합을 구하여, 픽셀 레벨로부터 부분적 세부사항을 강화함으로써, 근적외선 이미지의 부분적 선명도를 더 향상시킨다.
선택적으로, 상기 목표 대상은 사람 얼굴을 포함하고, 상기 설정된 관심 포인트는 입 부분 및 눈 부분 중의 적어도 하나를 포함한다.
상기 출원에서의 일 선택 가능한 실시형태에서, 사람 얼굴을 포함하는 근적외선 이미지를 생성하는 응용 상황에서, 입 부분 및 눈 부분은 사람 얼굴 인식의 핵심 포인트이고, 동시에 별도의 특징을 갖는 부분이며, 입 부분 및 눈 부분에 대해 부분적 세부사항을 강화함으로써, 생성된 사람 얼굴 이미지가 사람 얼굴 인식 모델을 더 잘 트레이닝하도록 한다.
제3 측면으로, 본 출원의 실시예는 생성 네트워크의 트레이닝 장치를 더 제공하는 바, 상기 장치는,
트레이닝 샘플 세트를 획득하는 제1 획득 모듈 - 상기 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함함 - ;
트레이닝될 적대 네트워크를 획득하는 제2 획득 모듈 - 상기 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하되, 상기 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 상기 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용됨 - ;
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 구축 모듈; 및,
상기 제1 목표 함수값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 트레이닝 모듈;을 포함한다.
제4 측면으로, 본 출원의 실시예는 근적외선 이미지의 생성 장치를 더 제공하는 바, 상기 장치는,
목표 대상을 포함하는 가시 광선 이미지를 획득하는 제1 획득 모듈; 및,
상기 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하는 생성 모듈;을 포함하고,
상기 생성 네트워크는 제1 측면의 실시예에서 제공된 방법으로 트레이닝하여 획득된다.
제5 측면으로, 본 출원의 실시예는 전자 기기를 더 제공하는 바, 상기 전자 기기는,
적어도 하나의 프로세서; 및,
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하되, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면의 실시예에서 제공된 생성 네트워크의 트레이닝 방법 또는 제2 측면의 실시예에서 제공된 근적외선 이미지 생성 방법을 수행하도록 한다.
제6 측면으로, 본 출원의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 더 제공하는 바, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 측면의 실시예에서 제공된 생성 네트워크의 트레이닝 방법 또는 제2 측면의 실시예에서 제공된 근적외선 이미지 생성 방법을 수행하도록 한다.
제7 측면으로, 본 출원의 실시예는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1 측면의 실시예에서 제공된 생성 네트워크의 트레이닝 방법 또는 제2 측면의 실시예에서 제공된 근적외선 이미지 생성 방법이 실행된다.
상기 선택 가능한 방식이 가지는 다른 효과에 대해서는 아래 구체적인 실시예를 결부하여 추가로 설명하고자 한다.
본 발명은 이미지 공간에서의 거리 및 특징 공간에서의 거리를 결합하여 사용하여 목표 함수를 구축함으로써, 근적외선 이미지를 생성하는 정밀도를 향상시키는데 유리하다.
첨부 도면은 본 해결수단을 더 잘 이해하기 위한 것으로, 본 출원에 대해 한정하는 것으로 구성되지 않는다. 여기서,
도 1은 본 출원의 실시예1에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 2는 본 출원의 실시예2에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 3은 본 출원의 실시예3에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 4는 본 출원의 실시예4에서 근적외선 이미지 생성 방법의 흐름도이다.
도 5는 본 출원의 실시예5에서 생성 네트워크의 트레이닝 장치의 구조도이다.
도 6은 본 출원의 실시예6에서 근적외선 이미지의 생성 장치의 구조도이다.
도 7은 본 출원의 실시예의 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법을 구현하는 전자 기기의 블록도이다.
도 1은 본 출원의 실시예1에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 2는 본 출원의 실시예2에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 3은 본 출원의 실시예3에서 생성 네트워크의 트레이닝 방법의 흐름도이다.
도 4는 본 출원의 실시예4에서 근적외선 이미지 생성 방법의 흐름도이다.
도 5는 본 출원의 실시예5에서 생성 네트워크의 트레이닝 장치의 구조도이다.
도 6은 본 출원의 실시예6에서 근적외선 이미지의 생성 장치의 구조도이다.
도 7은 본 출원의 실시예의 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법을 구현하는 전자 기기의 블록도이다.
이하, 첨부된 도면을 결부하여 본 출원의 예시적 실시예를 설명하되, 여기에는 이해를 돕기 위한 본 출원의 실시예의 다양한 세부 사항이 포함되며, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 출원의 범위와 사상을 벗어나지 않으면서, 여기서 설명되는 실시예에 대한 다양한 변경과 수정이 이루어질 수 있음을 이해해야 한다. 마찬가지로, 명확성 및 간결성을 위해, 아래의 설명에서 공지된 기능과 구조에 대한 설명을 생략한다.
실시예1
도 1은 본 출원의 실시예1에서 생성 네트워크의 트레이닝 방법의 흐름도이고, 본 출원의 실시예는 가시 광선 이미지에 따라 근적외선 이미지를 생성하는 생성 네트워크를 트레이닝하기 위한 경우에 적용되며, 상기 방법은 근적외선 이미지의 생성 장치에 의해 수행되고, 상기 장치는 소프트웨어 및 하드웨어 중의 적어도 하나에 의해 구현되며, 구체적으로 일정한 데이터 연산 기능을 갖는 전자 기기에 구성된다.
도 1에 도시된 바와 같이, 생성 네트워크의 트레이닝 방법은 하기와 같은 단계를 포함한다.
단계 S101에서, 트레이닝 샘플 세트를 획득하되, 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함한다.
본 실시예에서, 트레이닝 샘플 세트는 복수 세트의 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함하고, 각 세트의 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 포함된 이미지 내용은 동일하다. 예를 들어, 근적외선 카메라와 일반 가시 광선 카메라를 사용하여 동일한 사람에 대해 동일한 자세로 촬영하여, 한 세트의 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 획득하고; 동일한 사람에 대해 상이한 자세로 촬영하여, 다른 한 세트의 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 획득한다.
단계 S102에서, 트레이닝될 적대 네트워크를 획득하되, 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되며, 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용된다.
본 실시예는 생성 네트워크의 구조에 대해 한정하지 않고, 예를 들어, 생성 네트워크의 구조는 Pix2Pix 네트워크 중 U-net이거나, CYCLE GAN 중 코덱이거나, 다른 가능한 구조이다. 구체적인 구조는 장면 데이터에 따라 그러한 구조를 테스트하는 것이 가장 바람직하다. 일 선택 가능한 실시형태에서, Pix2PixHD 네트워크 중 residual block을 생성 네트워크로서 선택한다.
마찬가지로, 본 실시예는 판별 네트워크의 구조에 대해서도 한정하지 않고, 예를 들어, 판별 네트워크의 구조는 Pix2Pix 네트워크 중 PatchGAN이거나, 복수의 콘볼루션층+출력층이거나, 다른 가능한 구조이다. 구체적인 구조는 장면 데이터에 따라 그러한 구조를 테스트하는 것이 가장 바람직하다.
단계 S103에서, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축한다.
선택적으로, 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하고, 또한 L1 loss로 지칭한다. 구체적으로, 대응 픽셀의 절대 차이값의 총합을 이미지 공간에서의 생성된 근적외선 이미지와 이미지 샘플의 거리로 사용한다.
선택적으로, 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징에 따라, 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득한다. 구체적으로, 시각 기하학적 그룹(Visual Geometry Group, VGG) 네트워크와 같은 손실 네트워크를 사용하여, 이미지 특징을 추출하고; 다시 깊이 특징 사이의 거리를 계산하며, 수학식 (1)에 표시된 바와 같다.
[수학식 1]
여기서, 는 손실 네트워크를 나타내고, Cj는 손실 네트워크의 제 j층을 나타내며, CjHjWj는 제 j층의 특징 이미지의 크기를 나타내고, y는 근적외선 이미지 샘플이며, 는 생성된 근적외선 이미지이다.
이미지 공간에서의 거리 및 특징 공간에서의 거리를 획득한 후, 이미지 공간에서의 거리 및 특징 공간에서의 거리의 가중합을 구하여, 제1 목표 함수를 획득한다.
단계 S104에서, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행한다.
적대 네트워크 트레이닝 시, 가시 광선 이미지 샘플을 생성 네트워크에 입력하면, 생성 네트워크는 대응되는 근적외선 이미지를 생성하고; 곧바로 생성된 근적외선 이미지 및 동일한 세트의 근적외선 이미지 샘플을 판별 네트워크에 입력하면, 판별 네트워크는 0-1 사이의 파라미터값을 출력하는데, 0은 판별 결과가 거짓임을 나타내고, 1은 판별 결과가 진실임을 나타낸다.
일 선택 가능한 실시형태에서, 먼저 소량의 반복을 통해 판별 네트워크를 트레이닝하고, 판별 네트워크의 판별 정밀도가 설정값에 도달된 후, 생성 네트워크 및 판별 네트워크에 대해 교대 트레이닝을 수행한다. 본 실시예에서, 제1 목표 함수값을 최적화하여 적대 네트워크 중 생성 네트워크를 트레이닝하며, 예를 들어 제1 목표 함수값을 최소화하여, 생성 네트워크 중 이미지 파라미터를 지속적으로 반복함으로써, 트레이닝된 생성 네트워크를 획득한다. 판별 네트워크에 대해 종래의 손실 함수를 사용하여 트레이닝할 수 있으며, 본 실시예는 한정하지 않는다.
본 출원의 실시예는 이미지 공간 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 사용하여, 제1 목표 함수를 구축함으로써, 제1 목표 함수를 최적화할 경우, 이미지 공간 및 특징 공간 2개의 차원으로부터, 생성된 근적외선 이미지를 근적외선 이미지 샘플로 피팅하여, 고정밀도의 생성 네트워크를 획득한다.
또한, 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 이미지 공간에서의 양자의 거리를 획득하여, 픽셀 레벨의 감시를 구현하고; 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징에 따라, 특징 공간에서의 양자의 거리를 획득하여, 깊이 특징의 감시를 구현한다.
실시예2
도 2는 본 출원의 실시예2에서 생성 네트워크의 트레이닝 방법의 흐름도이고, 본 출원의 실시예는 상기 각 실시예의 기술적 해결수단을 기반으로 최적화하고 개선한다.
또한, 판별 네트워크는 입력된 근적외선 이미지에 대해 다양한 스케일 변환을 수행하고, 다양한 스케일로 변환된 후의 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용된다. 또한, 상기 방법을 기반으로 “판별 네트워크 중 다양한 변환 스케일에 따라, 근적외선 이미지 샘플에 대해 스케일 변환을 수행하고; 각 스케일의 근적외선 이미지 샘플의 데이터 분포와 생성된 대응 스케일의 근적외선 이미지의 데이터 분포 사이의 워서스테인 거리에 따라, 제2 목표 함수를 획득하며; 제2 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 판별 네트워크에 대해 트레이닝”하는 동작을 추가함으로써, 판별 네트워크의 정밀도를 향상시키고, 따라서 생성 네트워크의 정밀도를 향상시킨다.
도 2에 도시된 바와 같이, 생성 네트워크의 트레이닝 방법은 하기와 같은 단계를 포함한다.
단계 S201에서, 트레이닝 샘플 세트를 획득하되, 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함한다.
단계 S202에서, 트레이닝될 적대 네트워크를 획득하되, 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되며, 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용된다.
단계 S203에서, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축한다.
단계 S204에서, 판별 네트워크 중 다양한 변환 스케일에 따라, 근적외선 이미지 샘플에 대해 스케일 변환을 수행한다.
단계 S205에서, 각 스케일의 근적외선 이미지 샘플의 데이터 분포와 생성된 대응 스케일의 근적외선 이미지의 데이터 분포 사이의 워서스테인 거리에 따라, 제2 목표 함수를 획득한다.
단계 S206에서, 제2 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 판별 네트워크에 대해 트레이닝을 수행하며; 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 생성 네트워크에 대해 트레이닝을 수행한다.
선택적으로, 변환 스케일은 원본 이미지, 원본 이미지의 1/2 및 원본 이미지의 1/4를 포함한다. 이에 기반하여, 근적외선 이미지 샘플에 대한 원본 이미지를 보류하고, 근적외선 이미지 샘플에 대해 1/2 다운 샘플링을 수행하며, 근적외선 이미지 샘플에 대해 1/4 다운 샘플링을 수행한다.
본 실시예에서 판별 네트워크는 다양한 스케일 판별 네트워크이다. 선택적으로, 판별 네트워크는 복수의 독립적인 서브 네트워크를 포함한다. 여기서, 복수의 서브 네트워크는 생성된 근적외선 이미지에 대해 대응되는 스케일로 변환하는데 사용되고, 동일한 스케일의 근적외선 이미지 샘플에 따라 입력된 근적외선 이미지가 실제인지 또는 생성된 것인지 판단한다. 선택적으로, 트레이닝 효율을 향상시키기 위해, 복수의 서브 네트워크가 파라미터를 공유하도록 한다.
수학식(2)는 제2 목표 함수의 표현식을 표시한다.
[수학식 2]
식(3)은 전체 적대 네트워크의 목표 함수의 표현식이다.
[수학식 3]
여기서, D1D2D3 은 3가지 스케일의 판별 네트워크이고, G는 생성 네트워크이다. GAN은 각 스케일의 생성된 근적외선 이미지의 데이터 분포와 근적외선 이미지 샘플의 데이터 분포의 워서스테인 거리(Wasserstein 거리)를 나타낸다. max는 판별 네트워크가 입력된 것이 생성된 근적외선 이미지인지 또는 실제 근적외선 이미지인지 최대화로 판별하도록 하는 것을 의미하고; min은 생성 네트워크의 판별 정밀도가 최소화되어야 하는 것을 의미한다.
일 구체적인 실시형태에서, 우선 제2 목표 함수값을 최소화하여 판별 네트워크를 독립적으로 트레이닝한다. 판별 정밀도가 설정값에 도달된 후, 판별 네트워크의 파라미터를 고정하고, 제1 목표 함수값을 최소화하며 또한 Wasserstein 거리 합계의 최대값을 최소화하여, 생성 네트워크의 파라미터를 트레이닝하고, 다시 생성 네트워크의 파라미터를 고정하며, 제2 목표 함수값을 최소화하여 판별 네트워크의 파라미터를 트레이닝하고, 이와 같이 적대 네트워크를 교대로 트레이닝한다.
본 실시예에서, 판별 네트워크는 다양한 스케일의 판별 네트워크이고, 즉 다양한 스케일로부터 이미지가 실제인지 또는 생성된 것인지 판단하며; 각 스케일의 이미지 사이의 워서스테인 거리를 통해 제2 목표 함수를 구축함으로써, 제2 목표 함수값을 최적화하여 다양한 스케일로부터 생성된 근적외선 이미지의 데이터 분포와 근적외선 이미지 샘플의 데이터 분포를 피팅하여, 판별 네트워크의 정밀도를 향상시키고, 적대 트레이닝 시 생성 네트워크의 정밀도를 향상시킨다.
실시예3
도 3은 본 출원의 실시예3에서 생성 네트워크의 트레이닝 방법의 흐름도이고, 본 출원의 실시예는 상기 각 실시예의 기술적 해결수단을 기반으로 최적화하고 개선한다.
또한, 상기 방법을 기반으로, “생성된 근적외선 이미지와 가시 광선 이미지 샘플의 이미지 특징 유사도에 따라, 제3 목표 함수를 구축하고; 제3 목표 함수값을 최적화하고, 가시 광선 이미지 샘플을 사용하여 생성 네트워크에 대해 트레이닝을 수행”하는 동작을 추가하여, 생성 네트워크의 정밀도를 더 향상시킨다.
도 3에 도시된 바와 같이, 생성 네트워크의 트레이닝 방법은 하기와 같은 단계를 포함한다.
단계 S301에서, 트레이닝 샘플 세트를 획득하되, 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함한다.
단계 S302에서, 트레이닝될 적대 네트워크를 획득하되, 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되며, 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용된다.
단계 S303에서, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축한다.
단계 S304에서, 생성된 근적외선 이미지와 가시 광선 이미지 샘플의 이미지 특징 유사도에 따라, 제3 목표 함수를 구축한다.
단계 S305에서, 제3 목표 함수값을 최적화하고, 가시 광선 이미지 샘플을 사용하여 생성 네트워크에 대해 트레이닝을 수행하며; 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 생성 네트워크에 대해 트레이닝을 수행한다.
생성 네트워크를 통해 입력된 가시 광선 이미지 샘플에 따라 근적외선 이미지를 생성하고, 이미지 변환 후, 이미지 내용은 변화되지 않아야 하며, 그러면 이미지 특징도 유사해야 한다. 이에 기반하여, 생성된 근적외선 이미지 및 입력된 가시 광선 이미지 샘플의 이미지 특징 유사도를 계산할 수 있으며, 예를 들어 특징 코사인의 차이값을 계산하여, 제3 목표 함수를 구축한다. 사람 얼굴을 포함하는 근적외선 이미지를 생성하는 생성 네트워크의 트레이닝 응용 상황에서, 생성된 근적외선 이미지 및 입력된 가시 광선 이미지 샘플로부터 사람 얼굴 특징을 추출하고, 다시 사람 얼굴 특징의 유사도를 계산한다.
일 구체적인 실시형태에서, 제1 목표 함수 및 제3 목표 함수의 가중합을 구하여 결합 함수를 구성할 수 있으며, 가중값은 자율적으로 설정되거나 트레이닝에 의해 획득될 수 있다. 우선, 판별 네트워크를 독립적으로 트레이닝하고, 예를 들어 제2 목표 함수값을 최적화하여 판별 네트워크를 독립적으로 트레이닝한다. 판별 정밀도가 설정값에 도달된 후, 판별 네트워크의 파라미터를 고정하고, 결합 함수값을 최적화하여 생성 네트워크의 파라미터를 트레이닝하며, 다시 생성 네트워크의 파라미터를 고정하고, 판별 네트워크의 파라미터를 트레이닝하며, 예를 들어 제2 목표 함수값을 최적화하여 판별 네트워크의 파라미터를 트레이닝하고, 이와 같이 적대 네트워크를 교대로 트레이닝한다.
본 실시예에서는 이미지 특징 사이의 유사도를 통해 제3 목표 함수를 구축하고, 이미지 특징 차원으로부터 생성된 근적외선 이미지를 가시 광선 이미지 샘플과 피팅하여, 양자에 포함된 이미지 의미론이 근접하도록 하며, 생성 네트워크의 정밀도를 향상시키고, 적대 트레이닝 시 생성 네트워크의 정밀도를 향상시킨다.
상기 각 실시예에서, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행하여, 동일한 각도에서의 2차원 투영 이미지를 생성하는 단계; 대응되는 2차원 투영 이미지에 기반하여 근적외선 이미지 샘플을 픽셀 정렬하는 단계; 및, 대응되는 2차원 투영 이미지에 기반하여 가시 광선 이미지 샘플을 픽셀 정렬하는 단계;를 더 포함한다.
근적외선 카메라 및 일반 가시 광선 카메라를 사용하여 동일한 사람에 대해 동일한 자세로 촬영할 경우, 사람의 자세는 미세하게 변화될 것이고, 촬영 시간은 절대적인 동기화를 보장할 수 없으므로, 근적외선 이미지 및 가시 광선 이미지의 픽셀이 정렬되지 않는 현상을 초래하며, 또한 근적외선 카메라 및 일반 가시 광선 카메라의 촬영 파라미터가 상이함에 따라서도 픽셀이 정렬되지 않는 현상을 초래하여, 고정밀도의 생성 네트워크를 획득하기 위한 트레이닝에 불리하다. 이에 기반하여, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행한다. 여기서, 본 실시예는 3차원 재구성의 방법에 대해 한정하지 않는다. 선택적으로, 사람 얼굴을 포함하는 근적외선 이미지를 생성하는 생성 네트워크의 트레이닝 응용 상황에서, 논문 GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction에서 제공된 방법을 사용하여 3차원 사람 얼굴 재구성을 수행함으로써, 사람 얼굴의 자세 각도를 일치하게 조정하며, 또한 사람 얼굴 텍스처 매핑을 생성한다. 상기 논문에서 제공된 방법 GANFIT는 엔드 투 엔드의 미분 가능한 렌더링을 사용하고, 신경망을 통해 한 번에 출력을 완료하여, 신경망 이외의 계산이 없기 때문에, 픽셀 정렬의 효율을 향상시키는데 유리하며, 따라서 생성 네트워크의 트레이닝 효율을 향상시킨다.
근적외선 이미지 샘플 및 가시 광선 이미지 샘플의 사람 얼굴 텍스처 매핑을 생성한 이후, 동일한 사람 얼굴 모델에 붙여넣어, 동시에 2개의 사람 얼굴 모델을 획득한다. 2개의 사람 얼굴 모델이 모두 렌즈를 향하거나, 모두 카메라와 동일한 협각을 이루면, 완전히 정렬된 2차원 투영 이미지를 획득할 수 있다. 대응되는 2차원 투영 이미지에 기반하여 픽셀 정렬을 수행하도록, 근적외선 이미지 샘플 중 픽셀을 조정하며; 마찬가지로, 대응되는 2차원 투영 이미지에 기반하여 픽셀 정렬을 수행하도록, 가시 광선 이미지 샘플 중 픽셀을 조정한다.
이어서, 픽셀 정렬된 트레이닝 세트를 사용하여 적대 네트워크에 대해 트레이닝을 수행한다.
본 실시예에서는 샘플에 대해 3차원 재구성 및 2차원 픽셀 정렬을 수행하여, 근적외선 이미지 샘플 및 가시 광선 이미지의 픽셀 정렬을 구현하고, 촬영 각도 및 카메라 파라미터의 영향을 감소시킴으로써, 생성 네트워크의 정밀도를 향상시키는데 유리하다.
상기 각 실시예에서, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 컬러 코딩을 수행하여, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플 중 구조 정보를 분리하는 단계;를 더 포함한다.
선택적으로, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 YUV 컬러 코딩을 수행한다. 구체적으로, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 YUV 공간에 투영하되, 여기서, "Y"는 휘도(Luminance 또는 Luma)를 나타내고, 즉 그레이 스케일 값을 나타내며, "U" 및 "V"는 색차(Chrominance 또는 Chroma)를 나타낸다. YUV 공간에 투영된 후, 대응되는 YCbCr 이미지를 생성한다.
아래 수학식(3) 내지 수학식(5)는 가시 광선 이미지 샘플을 YCbCr 이미지로 변환하는 공식을 표시하고, 수학식(6) 및 수학식(7)은 근적외선 이미지 샘플을 YCbCr 이미지로 변환하는 공식을 표시한다.
[수학식 3]
Y = 0.257*R+0.564*G+0.098*B+16
[수학식 4]
Cb = -0.148*R-0.291*G+0.439*B+128
[수학식 5]
Cr = 0.439*R-0.368*G-0.071*B+128
[수학식 6]
Y = 0.257*N+0.564*I+0.098*R+16
[수학식 7]
Cb = -0.148*N-0.291*I+0.439*R+128
[수학식 8]
Cr = 0.439*N-0.368*I-0.071*R+128
상기 식으로부터 보다시피, 가시 광선 이미지 및 근적외선 이미지를 YCbCr 이미지로 변환한 후, Y 채널을 통해 대부분 구조 정보를 보존하므로, 가장 변환 가치가 있다. 사람 얼굴을 포함하는 근적외선 이미지를 생성하는 생성 네트워크의 트레이닝 응용 상황에서, Cb 채널이 가장 적은 파라미터를 할당하고, 사람 얼굴은 파란색 정보를 매우 적게 가지므로, YCbCr 이미지는 구조 정보를 비교적 잘 분리한다. 이어서, 컬러 코딩된 트레이닝 세트를 사용하여 적대 네트워크에 대해 트레이닝을 수행한다.
본 실시예에서, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플은 색도가 상이하고, 구조가 동일하므로, 이미지 샘플 중 구조 정보를 분리시켜, 이미지 샘플의 내용이 보다 근접해지도록 함으로써, 생성 네트워크의 정밀도를 향상시키는데 유리하다.
실시예4
도 4는 본 출원의 실시예4에서 근적외선 이미지 생성 방법의 흐름도이고, 본 출원의 실시예는 가시 광선 이미지에 따라 근적외선 이미지를 생성하는 경우에 적용되며, 상기 방법은 근적외선 이미지의 생성 장치에 의해 수행되고, 상기 장치는 소프트웨어 및 하드웨어 중의 적어도 하나에 의해 구현되며, 구체적으로 일정한 데이터 연산 기능을 갖는 전자 기기에 구성된다.
도 4에 도시된 바와 같이, 근적외선 이미지 생성 방법은 하기와 같은 단계를 포함한다.
단계 S401에서, 목표 대상을 포함하는 가시 광선 이미지를 획득한다.
단계 S402에서, 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하되, 여기서, 생성 네트워크는 상기 임의의 실시예에서 제공된 방법으로 트레이닝하여 획득된다.
본 실시예에서, 획득된 고정밀도의 근적외선 이미지는 사람 얼굴 인식 네트워크의 트레이닝에 사용된다.
본 출원의 실시예에서 생성 네트워크의 정밀도는 비교적 높고, 고정밀도의 생성 네트워크를 통해, 목표 대상을 포함하는 가시 광선 이미지를 생성하여, 생성된 가시 광선 이미지의 정밀도를 향상시킨다.
일 선택 가능한 실시형태에서, 상기 방법은, 가시 광선 이미지로부터 목표 대상을 포함하는 설정된 관심 포인트의 부분 이미지를 캡처하는 단계; 부분 이미지를 생성 네트워크에 입력하여, 부분 근적외선 이미지를 획득하는 단계; 및, 근적외선 이미지 및 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 단계;를 더 포함한다.
여기서, 설정된 관심 포인트는 관심을 가진 이미지 영역이며, 목표 대상이 사람 얼굴인 것을 예로 들어, 설정된 관심 포인트는 입 부분 및 눈 부분 중의 적어도 하나 등과 같은 사람 얼굴 핵심 포인트이며, 물론 다른 사람 얼굴 핵심 포인트도 포함할 수 있다. 구체적으로, 가시 광선 이미지에 대해 사람 얼굴 핵심 포인트 인식을 수행하여, 입 부분 및 눈 부분 중의 적어도 하나가 위치한 영역을 인식하고, 또한 가시 광선 이미지로부터 입 부분 및 눈 부분 중의 적어도 하나를 포함하는 부분 이미지를 캡처한다. 부분 이미지를 생성 네트워크에 입력하여, 부분 근적외선 이미지를 획득한다.
선택적으로, 근적외선 이미지 및 부분 근적외선 이미지의 대응 픽셀의 픽셀값의 가중합을 구한다. 설정된 관심 포인트의 특징이 돌출되도록, 부분 근적외선 이미지의 픽셀값에 보다 높은 가중치를 부여할 수 있다.
본 실시형태에 있어서, 목표 대상을 포함하는 설정된 관심 포인트에 대한 부분 이미지를 생성하고, 부분 근적외선 이미지와 전체 근적외선 이미지를 융합하여, 전체 근적외선 이미지에 대해 부분적 세부사항을 강화함으로써, 근적외선 이미지의 부분적 선명도를 향상시킨다. 대응 픽셀의 픽셀값의 가중합을 구하여, 픽셀 레벨로부터 부분적 세부사항을 강화함으로써, 근적외선 이미지의 부분적 선명도를 더 향상시킨다.
사람 얼굴을 포함하는 근적외선 이미지를 생성하는 응용 상황에서, 입 부분 및 눈 부분은 사람 얼굴 인식의 핵심 포인트이고, 동시에 별도의 특징을 갖는 부분이며, 입 부분 및 눈 부분에 대해 부분적 세부사항을 강화함으로써, 생성된 사람 얼굴 이미지가 사람 얼굴 인식 모델을 더 잘 트레이닝하도록 한다.
실시예5
도 5는 본 출원의 실시예5에서 생성 네트워크의 트레이닝 장치의 구조도이고, 본 출원의 실시예는 가시 광선 이미지에 따라 근적외선 이미지를 생성하는 생성 네트워크를 트레이닝하기 위한 경우에 적용되며, 상기 장치는 소프트웨어 및 하드웨어 중의 적어도 하나에 의해 구현되고, 구체적으로 일정한 데이터 연산 기능을 갖는 전자 기기에 구성된다.
도 5에 도시된 바와 같이, 생성 네트워크의 트레이닝 장치(500)는, 제1 획득 모듈(501), 제2 획득 모듈(502), 구축 모듈(503) 및 트레이닝 모듈(504)을 포함하되; 여기서,
제1 획득 모듈(501)은, 트레이닝 샘플 세트를 획득하되, 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함하고;
제2 획득 모듈(502)은, 트레이닝될 적대 네트워크를 획득하되, 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하며, 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용되며;
구축 모듈(503)은, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하고;
트레이닝 모듈(504)은, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행한다.
본 출원의 실시예는 이미지 공간 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 사용하여, 제1 목표 함수를 구축함으로써, 제1 목표 함수를 최적화할 경우, 이미지 공간 및 특징 공간 2개의 차원으로부터, 생성된 근적외선 이미지를 근적외선 이미지 샘플로 피팅하여, 고정밀도의 생성 네트워크를 획득한다.
또한, 구축 모듈(503)은 구체적으로, 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하고; 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징에 따라, 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하며; 이미지 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축한다.
또한, 판별 네트워크는 입력된 근적외선 이미지에 대해 다양한 스케일 변환을 수행하고, 다양한 스케일로 변환된 후의 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용되며; 이에 기반하여, 상기 장치는, 판별 네트워크 중 다양한 변환 스케일에 따라, 근적외선 이미지 샘플에 대해 스케일 변환을 수행하고; 각 스케일의 근적외선 이미지 샘플의 데이터 분포와 생성된 대응 스케일의 근적외선 이미지의 데이터 분포 사이의 워서스테인 거리에 따라, 제2 목표 함수를 획득하며; 제2 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 판별 네트워크에 대해 트레이닝을 수행하는 판별 트레이닝 모듈을 더 포함한다.
또한, 상기 장치는 생성된 근적외선 이미지와 가시 광선 이미지 샘플의 이미지 특징 유사도에 따라, 제3 목표 함수를 구축하고; 제3 목표 함수값을 최적화하고, 가시 광선 이미지 샘플을 사용하여 생성 네트워크에 대해 트레이닝을 수행하는 생성 트레이닝 모듈을 더 포함한다.
또한, 상기 장치는, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행하기 이전에, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행하여, 동일한 각도에서의 2차원 투영 이미지를 생성하며; 대응되는 2차원 투영 이미지에 기반하여 근적외선 이미지 샘플을 픽셀 정렬하고; 대응되는 2차원 투영 이미지에 기반하여 가시 광선 이미지 샘플을 픽셀 정렬하는 정렬 모듈을 더 포함한다.
또한, 상기 장치는, 제1 목표 함수값을 최적화하고, 트레이닝 샘플 세트를 사용하여 적대 네트워크에 대해 적대 트레이닝을 수행하기 이전에, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 컬러 코딩을 수행하여, 근적외선 이미지 샘플 및 가시 광선 이미지 샘플 중 구조 정보를 분리하는 분리 모듈을 더 포함한다.
상기 생성 네트워크의 트레이닝 장치는 본 출원의 임의의 실시예에서 제공된 생성 네트워크의 트레이닝 방법을 수행할 수 있고, 생성 네트워크의 트레이닝 방법에 대응되는 기능 모듈 및 유익한 효과를 갖는다.
실시예6
도 6은 본 출원의 실시예6에서 근적외선 이미지의 생성 장치의 구조도이고, 본 출원의 실시예는 가시 광선 이미지에 따라 근적외선 이미지를 생성하는 경우에 적용되며, 상기 장치는 소프트웨어 및 하드웨어 중의 적어도 하나에 의해 구현되고, 구체적으로 일정한 데이터 연산 기능을 갖는 전자 기기에 구성된다.
도 6에 도시된 바와 같이, 근적외선 이미지의 생성 장치(600)는 제1 획득 모듈(601) 및 생성 모듈(602)을 포함하되; 여기서,
제1 획득 모듈(601)은 목표 대상을 포함하는 가시 광선 이미지를 획득하고;
생성 모듈(602)은 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하며; 생성 네트워크는 제1 측면의 실시예에서 제공된 방법으로 트레이닝하여 획득된다.
본 출원의 실시예에서 생성 네트워크의 정밀도는 비교적 높고, 고정밀도의 생성 네트워크를 통해, 목표 대상을 포함하는 가시 광선 이미지를 생성하여, 생성된 가시 광선 이미지의 정밀도를 향상시킨다.
선택적으로, 상기 장치는, 가시 광선 이미지로부터 목표 대상을 포함하는 설정된 관심 포인트의 부분 이미지를 캡처하고; 부분 이미지를 생성 네트워크에 입력하여, 부분 근적외선 이미지를 획득하며; 근적외선 이미지 및 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 융합 모듈을 더 포함한다.
선택적으로, 융합 모듈은, 근적외선 이미지 및 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득할 경우, 구체적으로, 근적외선 이미지 및 부분 근적외선 이미지의 대응 픽셀의 픽셀값의 가중합을 구한다.
선택적으로, 목표 대상은 사람 얼굴을 포함하고, 설정된 관심 포인트는 입 부분 및 눈 부분 중의 적어도 하나를 포함한다.
상기 근적외선 이미지의 생성 장치는 본 출원의 임의의 실시예에서 제공된 근적외선 이미지 생성 방법을 수행할 수 있으며, 근적외선 이미지 생성 방법에 대응되는 기능 모듈 및, 유익한 효과를 갖는다.
실시예
7
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다. 본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 생성 네트워크의 트레이닝 방법 또는 상기 근적외선 이미지 생성 방법이 실행된다.
도 7에 도시된 바와 같이, 본 출원의 실시예의 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법을 구현하는 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 개인용 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 기기, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본문에 표시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로서, 본문에서 설명되거나 및/또는 요구되는 본 출원의 구현을 한정하려는 의도가 아니다.
도 7에 도시된 바와 같이, 상기 전자 기기는, 하나 또는 다수의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각각의 부재는 상이한 버스를 사용하여 상호 연결되고, 또한 공통 마더보드에 설치되거나 수요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있고, 상기 명령은, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 내 또는 메모리에 저장되는 명령을 포함한다. 다른 실시형태에서, 수요되면, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있으며, 각각의 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템으로 사용됨)을 제공한다. 도 7에서는 하나의 프로세서(701)를 예로 한다.
메모리(702)는 본 출원에서 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에서 제공된 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 상기 컴퓨터 명령은 컴퓨터가 본 출원에서 제공된 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법을 수행하도록 한다.
메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에서의 생성 네트워크의 트레이닝 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 제1 획득 모듈(501), 제2 획득 모듈(502), 구축 모듈(503) 및 트레이닝 모듈(504)), 또한, 본 출원의 실시예에서의 근적외선 이미지 생성 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 6에 도시된 제1 획득 모듈(601) 및 생성 모듈(602))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하며, 즉 상기 방법의 실시예에서의 생성 네트워크의 트레이닝 방법, 또는 근적외선 이미지 생성 방법을 구현한다.
메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는 바, 여기서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 생성 네트워크의 트레이닝 방법, 또는 근적외선 이미지 생성 방법에 따른 전자 기기를 사용하여 구축된 데이터 등을 저장할 수 있다. 이밖에, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 소자, 플래시 소자, 또는 다른 비일시적 솔리드 스테이트 저장 소자와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치되는 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 온라인 예측 모델의 트레이닝 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신망, 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
상기 전자 기기는, 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 7에서는 버스를 통한 연결을 예로 한다.
입력 장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 생성 네트워크의 트레이닝 방법 또는 근적외선 이미지 생성 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 다수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치일 수 있다. 출력 장치(704)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 기기는 액정 디스플레이 장치(LCD), 발광 다이오드(LED) 디스플레이 장치 및 플라즈마 디스플레이 장치를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 주문형 또는 일반 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 또한, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에 사용된 바와 같이, 용어 “기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미하고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있고, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 센서 피드백(예를 들어, 예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로 사용됨), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터인 바, 사용자는 상기 그래픽 사용자 인터페이스 또는 상기 네트워크 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백엔드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예는, 근거리 통신망(LAN), 광역망(WAN), 인터넷 및 블록체인 네트워크를 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고, 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.
본 출원의 실시예의 기술적 해결수단에 따르면, 이미지 공간 및 특징 공간에서의 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 사용하여, 제1 목표 함수를 구축함으로써, 제1 목표 함수를 최적화할 경우, 이미지 공간 및 특징 공간 2개의 차원으로부터 생성된 근적외선 이미지를 생성된 근적외선 이미지와 피팅하여, 고정밀도의 생성 네트워크를 획득한다.
위에서 설명된 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 동시에, 순차적으로, 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결수단이 이루고자 하는 결과를 구현할 수 있는 한, 본문은 여기서 한정되지 않는다.
상기 구체적인 실시형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 임의의 수정, 등가 교체 및 개선 등은 모두 본 출원의 보호 범위 내에 포함되어야 한다.
Claims (15)
- 생성 네트워크의 트레이닝 장치에 의해 실행되는 생성 네트워크의 트레이닝 방법에 있어서,
트레이닝 샘플 세트를 획득하는 단계 - 상기 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함함 - ;
트레이닝될 적대 네트워크를 획득하는 단계 - 상기 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하되, 상기 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 상기 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용됨 - ;
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계; 및,
상기 제1 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계;를 포함하고,
상기 제1 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에,
근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행하여, 동일한 각도에서의 2차원 투영 이미지를 생성하는 단계;
대응되는 2차원 투영 이미지에 기반하여 상기 근적외선 이미지 샘플을 픽셀 정렬하는 단계; 및,
대응되는 2차원 투영 이미지에 기반하여 상기 가시 광선 이미지 샘플을 픽셀 정렬하는 단계;를 더 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 방법.
- 제1항에 있어서,
상기 이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계는,
상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 대응 픽셀의 픽셀값에 따라, 상기 이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하는 단계;
상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 깊이 특징에 따라, 상기 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리를 획득하는 단계; 및,
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 단계;를 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 방법.
- 제1항에 있어서,
상기 판별 네트워크는 입력된 근적외선 이미지에 대해 다양한 스케일로 변환하여, 다양한 스케일로 변환된 후의 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용되고;
상기 방법은,
판별 네트워크 중 다양한 변환 스케일에 따라, 상기 근적외선 이미지 샘플에 대해 스케일 변환을 수행하는 단계;
각 스케일의 근적외선 이미지 샘플의 데이터 분포와 생성된 대응 스케일의 근적외선 이미지의 데이터 분포 사이의 워서스테인 거리에 따라, 제2 목표 함수를 획득하는 단계; 및,
상기 제2 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 판별 네트워크에 대해 트레이닝을 수행하는 단계;를 더 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 방법.
- 제1항에 있어서,
상기 방법은,
생성된 근적외선 이미지와 상기 가시 광선 이미지 샘플의 이미지 특징 유사도에 따라, 제3 목표 함수를 구축하는 단계; 및,
제3 목표 함수값을 최적화하고, 상기 가시 광선 이미지 샘플을 사용하여 상기 생성 네트워크에 대해 트레이닝을 수행하는 단계;를 더 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 방법.
- 제1항에 있어서,
상기 제1 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 단계 이전에,
상기 근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 컬러 코딩을 수행하여, 상기 근적외선 이미지 샘플 및 가시 광선 이미지 샘플 중 구조 정보를 분리하는 단계;를 더 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 방법.
- 근적외선 이미지 생성 방법에 있어서,
목표 대상을 포함하는 가시 광선 이미지를 획득하는 단계; 및,
상기 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하는 단계;를 포함하되,
상기 생성 네트워크는 제1항 내지 제5항 중 어느 한 항에 따른 방법을 사용하여 트레이닝하여 획득되는,
것을 특징으로 하는 근적외선 이미지 생성 방법.
- 제6항에 있어서,
상기 방법은,
상기 가시 광선 이미지로부터 상기 목표 대상을 포함하는 설정된 관심 포인트의 부분 이미지를 캡처하는 단계;
상기 부분 이미지를 상기 생성 네트워크에 입력하여, 부분 근적외선 이미지를 획득하는 단계; 및,
상기 근적외선 이미지 및 상기 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 단계;를 더 포함하는,
것을 특징으로 하는 근적외선 이미지 생성 방법.
- 제6항에 있어서,
상기 근적외선 이미지 및 부분 근적외선 이미지를 융합하여, 최종 근적외선 이미지를 획득하는 단계는,
상기 근적외선 이미지 및 상기 부분 근적외선 이미지의 대응 픽셀의 픽셀값의 가중합을 구하는 단계;를 포함하는,
것을 특징으로 하는 근적외선 이미지 생성 방법.
- 제6항에 있어서,
상기 목표 대상은 사람 얼굴을 포함하고, 설정된 관심 포인트는 입 부분 및 눈 부분 중의 적어도 하나를 포함하는,
것을 특징으로 하는 근적외선 이미지 생성 방법.
- 생성 네트워크의 트레이닝 장치에 있어서,
트레이닝 샘플 세트를 획득하는 제1 획득 모듈 - 상기 트레이닝 샘플 세트는 근적외선 이미지 샘플 및 가시 광선 이미지 샘플을 포함함 - ;
트레이닝될 적대 네트워크를 획득하는 제2 획득 모듈 - 상기 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하되, 상기 생성 네트워크는 입력된 가시 광선 이미지에 따라 대응되는 근적외선 이미지를 생성하는데 사용되고, 상기 판별 네트워크는 입력된 이미지가 실제인지 또는 생성된 것인지 판단하는데 사용됨 - ;
이미지 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리, 및 특징 공간에서의 상기 생성된 근적외선 이미지와 근적외선 이미지 샘플의 거리에 따라, 제1 목표 함수를 구축하는 구축 모듈;
상기 제1 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하는 트레이닝 모듈;을 포함하고,
상기 제1 목표 함수의 값을 최적화하고, 상기 트레이닝 샘플 세트를 사용하여 상기 적대 네트워크에 대해 적대 트레이닝을 수행하기 전에,
근적외선 이미지 샘플 및 가시 광선 이미지 샘플에 대해 각각 3차원 재구성을 수행하여, 동일한 각도에서의 2차원 투영 이미지를 생성하고; 대응되는 2차원 투영 이미지에 기반하여 상기 근적외선 이미지 샘플을 픽셀 정렬하고; 대응되는 2차원 투영 이미지에 기반하여 상기 가시 광선 이미지 샘플을 픽셀 정렬하는 것;을 더 포함하는,
것을 특징으로 하는 생성 네트워크의 트레이닝 장치.
- 근적외선 이미지의 생성 장치에 있어서,
목표 대상을 포함하는 가시 광선 이미지를 획득하는 제1 획득 모듈; 및,
상기 가시 광선 이미지를 생성 네트워크에 입력하여, 근적외선 이미지를 획득하는 생성 모듈;을 포함하되,
상기 생성 네트워크는 제1항 내지 제5항 중 어느 한 항에 따른 방법을 사용하여 트레이닝하여 획득되는,
것을 특징으로 하는 근적외선 이미지의 생성 장치.
- 전자 기기에 있어서,
적어도 하나의 프로세서; 및,
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리;를 포함하되,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제5항 중 어느 한 항에 따른 생성 네트워크의 트레이닝 방법을 수행하도록 하는,
것을 특징으로 하는 전자 기기.
- 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제5항 중 어느 한 항에 따른 생성 네트워크의 트레이닝 방법을 수행하도록 하는,
것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
- 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램 중의 명령이 실행될 경우, 제1항 내지 제5항 중 어느 한 항에 따른 생성 네트워크의 트레이닝 방법이 실행되는,
것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램. - 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010065711.2 | 2020-01-20 | ||
| CN202010065711.2A CN111291885B (zh) | 2020-01-20 | 2020-01-20 | 近红外图像的生成方法、生成网络的训练方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210094482A KR20210094482A (ko) | 2021-07-29 |
| KR102605528B1 true KR102605528B1 (ko) | 2023-11-22 |
Family
ID=71023368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210007477A KR102605528B1 (ko) | 2020-01-20 | 2021-01-19 | 근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11854118B2 (ko) |
| EP (1) | EP3852068A1 (ko) |
| JP (1) | JP7135125B2 (ko) |
| KR (1) | KR102605528B1 (ko) |
| CN (1) | CN111291885B (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7446903B2 (ja) * | 2020-04-23 | 2024-03-11 | 株式会社日立製作所 | 画像処理装置、画像処理方法及び画像処理システム |
| CN112347850B (zh) * | 2020-09-30 | 2024-04-23 | 新大陆数字技术股份有限公司 | 红外图像转换方法、活体检测方法、装置、可读存储介质 |
| US11762951B2 (en) * | 2020-11-18 | 2023-09-19 | Adobe Inc. | Generative image congealing |
| CN112967178B (zh) * | 2021-03-08 | 2023-04-07 | 烟台艾睿光电科技有限公司 | 一种图像转换方法、装置、设备及存储介质 |
| CN112884758B (zh) * | 2021-03-12 | 2023-01-10 | 国网四川省电力公司电力科学研究院 | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 |
| CN112860838B (zh) * | 2021-03-16 | 2022-04-08 | 湖北星地智链科技有限公司 | 基于生成式对抗网络的多尺度地图生成方法、系统、终端 |
| CN113674230B (zh) * | 2021-08-10 | 2023-12-19 | 深圳市捷顺科技实业股份有限公司 | 一种室内逆光人脸关键点的检测方法及装置 |
| CN113706406B (zh) * | 2021-08-11 | 2023-08-04 | 武汉大学 | 基于特征空间多分类对抗机制的红外可见光图像融合方法 |
| CN113762286A (zh) * | 2021-09-16 | 2021-12-07 | 平安国际智慧城市科技股份有限公司 | 数据模型训练方法、装置、设备及介质 |
| CN113962246B (zh) * | 2021-09-17 | 2024-04-09 | 华南理工大学 | 融合双模态特征的目标检测方法、系统、设备及存储介质 |
| CN114065838B (zh) * | 2021-10-22 | 2023-07-14 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN113781377A (zh) * | 2021-11-03 | 2021-12-10 | 南京理工大学 | 基于对抗性语义引导与感知的红外和可见光图像融合方法 |
| CN114943077B (zh) * | 2022-05-19 | 2023-04-07 | 四川大学 | 基于深度强化学习的恶意pdf文件对抗样本生成方法 |
| CN116503300B (zh) * | 2023-06-25 | 2023-10-03 | 广东电网有限责任公司湛江供电局 | 一种电力设备的图像融合方法、系统、设备和介质 |
| CN116543839B (zh) * | 2023-06-28 | 2023-09-22 | 深圳大学 | 噬菌体构建方法、装置、设备及存储介质 |
| CN117499797B (zh) * | 2023-12-29 | 2024-05-14 | 荣耀终端有限公司 | 图像处理方法及相关设备 |
| CN117726979A (zh) * | 2024-02-18 | 2024-03-19 | 合肥中盛水务发展有限公司 | 一种基于神经网络的管廊管线管理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509892A (zh) * | 2018-03-28 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于生成近红外图像的方法和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1066633B1 (en) * | 1998-10-08 | 2009-01-28 | Panasonic Corporation | Device and method for reproducing data |
| US7054468B2 (en) * | 2001-12-03 | 2006-05-30 | Honda Motor Co., Ltd. | Face recognition using kernel fisherfaces |
| JP4606304B2 (ja) | 2005-11-09 | 2011-01-05 | セコム株式会社 | 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置 |
| CN101802866B (zh) | 2007-07-09 | 2012-12-12 | 前视红外系统公司 | 用于处理红外图像的方法、红外图像采集系统以及计算机可读介质 |
| EP2984629B1 (en) * | 2013-04-09 | 2018-07-18 | Koninklijke Philips N.V. | Layered two-dimensional projection generation and display |
| US9747493B2 (en) * | 2014-09-23 | 2017-08-29 | Keylemon Sa | Face pose rectification method and apparatus |
| JP6754619B2 (ja) | 2015-06-24 | 2020-09-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 顔認識方法及び装置 |
| CN108694709B (zh) * | 2017-04-12 | 2021-06-29 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| CN108009531B (zh) * | 2017-12-28 | 2022-01-07 | 北京工业大学 | 一种多策略防欺诈的人脸识别方法 |
| CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| US11928632B2 (en) * | 2019-12-19 | 2024-03-12 | Senseye, Inc. | Ocular system for deception detection |
-
2020
- 2020-01-20 CN CN202010065711.2A patent/CN111291885B/zh active Active
-
2021
- 2021-01-19 US US17/152,293 patent/US11854118B2/en active Active
- 2021-01-19 KR KR1020210007477A patent/KR102605528B1/ko active IP Right Grant
- 2021-01-20 EP EP21152519.1A patent/EP3852068A1/en active Pending
- 2021-01-20 JP JP2021006791A patent/JP7135125B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509892A (zh) * | 2018-03-28 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于生成近红外图像的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| A. Dosovitskiy 등. "Generating Images with Perceptual Similarity Metrics based on Deep Networks". arXiv:1602.02644v2* |
| L. Weng. "From GAN to WGAN". arXiv:1904.08994v1* |
| M. G. Blanch 등. "End-to-End Conditional GAN-based Architectures for Image Colourisation". arXiv:1908.09873v2* |
| R. Huang 등. "Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis". arXiv:1704.04086v2* |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021114296A (ja) | 2021-08-05 |
| JP7135125B2 (ja) | 2022-09-12 |
| CN111291885A (zh) | 2020-06-16 |
| US20210224993A1 (en) | 2021-07-22 |
| KR20210094482A (ko) | 2021-07-29 |
| US11854118B2 (en) | 2023-12-26 |
| EP3852068A1 (en) | 2021-07-21 |
| CN111291885B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102605528B1 (ko) | 근적외선 이미지 생성 방법, 생성 네트워크의 트레이닝 방법 및 장치 | |
| CN110599395B (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| KR102566277B1 (ko) | 이미지 편집 모델 구축 방법 및 장치 | |
| CN111524166B (zh) | 视频帧的处理方法和装置 | |
| US11949848B2 (en) | Techniques to capture and edit dynamic depth images | |
| WO2022257487A1 (zh) | 深度估计模型的训练方法, 装置, 电子设备及存储介质 | |
| CN112328345B (zh) | 用于确定主题色的方法、装置、电子设备及可读存储介质 | |
| CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
| KR102552532B1 (ko) | 이미지 렌더링 방법 및 장치 | |
| US20220148239A1 (en) | Model training method and apparatus, font library establishment method and apparatus, device and storage medium | |
| US20220103782A1 (en) | Method for video frame interpolation, and electronic device | |
| US20230143452A1 (en) | Method and apparatus for generating image, electronic device and storage medium | |
| US11803987B2 (en) | Attribute transfer in V-PCC | |
| CN110852940A (zh) | 一种图像处理方法及相关设备 | |
| WO2021258588A1 (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| KR20220011078A (ko) | 능동적 인터랙션 방법, 장치, 전자 기기 및 판독 가능 기록 매체 | |
| CN115578515B (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
| CN113205560A (zh) | 多深度相机的标定方法、装置、设备及存储介质 | |
| CN113255664B (zh) | 图像处理方法、相关装置及计算机程序产品 | |
| CN113240780B (zh) | 生成动画的方法和装置 | |
| CN112529154A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN113988294A (zh) | 训练预测网络的方法、图像处理方法和装置 | |
| CN112508830B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| CN113033258B (zh) | 一种图像特征提取方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |