RU2628125C1 - Method of automatic reconstruction of photo portraits from sketches and system for its implementation - Google Patents

Method of automatic reconstruction of photo portraits from sketches and system for its implementation Download PDF

Info

Publication number
RU2628125C1
RU2628125C1 RU2016128653A RU2016128653A RU2628125C1 RU 2628125 C1 RU2628125 C1 RU 2628125C1 RU 2016128653 A RU2016128653 A RU 2016128653A RU 2016128653 A RU2016128653 A RU 2016128653A RU 2628125 C1 RU2628125 C1 RU 2628125C1
Authority
RU
Russia
Prior art keywords
input
output
sketch
sketches
photo
Prior art date
Application number
RU2016128653A
Other languages
Russian (ru)
Inventor
Георгий Александрович Кухарев
Юрий Николаевич Матвеев
Андрей Леонидович Олейник
Original Assignee
федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) filed Critical федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО)
Priority to RU2016128653A priority Critical patent/RU2628125C1/en
Application granted granted Critical
Publication of RU2628125C1 publication Critical patent/RU2628125C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

FIELD: physics.
SUBSTANCE: method for automatical reconstruction of photo portraits from sketches consists in calculating sketches S and photos P of average values mS and mP according to the original samples; centering S and P relative to the average original samples, as a result of which they are converted to
Figure 00000038
and
Figure 00000039
; analysing the main components of
Figure 00000038
, as a result of which the eigenvalues and corresponding eigenvectors for the Gram matrix are calculated, which are recalculated into eigenvectors of the covariance matrix; calculating a spectrum for the given sketch in the basis formed by the eigenvectors of the covariance matrix, using the direct Karunen-Loeve transformation. The basis for the mutual transformation of the sketch into a photograph is calculated using eigenvalues, the eigenvectors for the Gram matrix and the centered sample of the original photos
Figure 00000040
, the spectrum of the given sketch is modified L times by adding random noise to each of its components, obtaining L modified spectra from which the population of L photos is formed, corresponding to the given sketch.
EFFECT: improved speed of reconstruction of photo portraits from sketches.
2 cl, 7 dwg

Description

Изобретение относится к автоматике и вычислительной технике и может быть использовано для создания баз фотопортретов, предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам); поиска лиц в биометрических системах, системах видеонаблюдения и системах технического зрения.The invention relates to automation and computer technology and can be used to create databases of photo portraits designed to solve the problems of registration and search for images of faces by sketches (photobots); face search in biometric systems, video surveillance systems and vision systems.

Известны способ автоматической генерации скетчей и система для его осуществления (Патент РФ №2541132, МПК G06K 9/36, дата приоритета 26.07.2013 г., опубликовано 10.02.2015 г.), предназначенные для генерации популяции фотопортретов. Способ и система основаны на модификации области лица фотопортрета (путем изменения ширины, длины и симметрии), что позволяет создавать новые изображения лиц, имитируя получение новых данных от группы из L свидетелей. В состав системы входят блок формирования негатива, блок формирования полутонового изображения, а также генератор случайных чисел. Недостатком способа и осуществляющей его системы является то, что для генерации популяции фотопортретов необходимо располагать исходной фотографией. Таким образом, не решается обратная задача - генерация популяций фотографий из заданного скетча.A known method for automatic generation of sketches and a system for its implementation (RF Patent No. 2541132, IPC G06K 9/36, priority date 07/26/2013, published 02/10/2015), designed to generate a population of photo portraits. The method and system are based on the modification of the face region of the photo portrait (by changing the width, length and symmetry), which allows you to create new images of faces, simulating the receipt of new data from a group of L witnesses. The system includes a negative generation unit, a grayscale image generation unit, and a random number generator. The disadvantage of the method and the system that implements it is that in order to generate a population of photo portraits, it is necessary to have the original photograph. Thus, the inverse problem is not solved - the generation of populations of photographs from a given sketch.

Известны способ и система для синтеза скетча из фотографии (Заявка на получение патента США № US 201013820729, МПК G06K 9/66, дата приоритета 03.09.2010 г., опубликовано 21.11.2013 г.), основанные на использовании библиотеки связанных фрагментов скетчей и соответствующих им фотопортретов и построении по ним моделей связи скетч-фото. При этом для создания новых скетчей необходим набор связанных фрагментов исходных пар скетч-фото, который используется в процессе генерации скетча. Выбор фрагментов, используемых для построения нового скетча, осуществляется с помощью Случайных Марковских Полей (СМП). При этом для повышения качества результирующего изображения применяются модели формы лица. В состав системы входят: блок деления фотографии на части, блок формирования СМП, блок оптимизации СМП и блок синтеза скетча из библиотеки фрагментов. Недостатком данного способа и системы является практическая сложность создания полной библиотеки связанных фрагментов изображений лиц, охватывающих всевозможные фенотипические особенности (тон кожи, форма глаз, носа, рта). Кроме того, данные способ и система не решают задачу генерации фотографий по скетчам. И, наконец, они предназначены только для создания одного скетча, а не их популяции.A method and system for synthesizing a sketch from a photograph is known (Application for US patent No. US 201013820729, IPC G06K 9/66, priority date 09/03/2010, published 11/21/2013), based on the use of a library of related fragments of sketches and corresponding them photo portraits and building on them models of communication sketch photos. At the same time, to create new sketches, a set of related fragments of the initial sketch photo pairs is required, which is used in the process of sketch generation. The selection of fragments used to build a new sketch is carried out using Random Markov Fields (SMP). At the same time, face shape models are used to improve the quality of the resulting image. The system includes: a block for dividing a photograph into parts, a block for generating an NSR, an optimization block for an NSR, and a block for synthesizing a sketch from a fragment library. The disadvantage of this method and system is the practical complexity of creating a complete library of related fragments of facial images covering all kinds of phenotypic features (skin tone, shape of eyes, nose, mouth). In addition, these method and system do not solve the problem of generating photos from sketches. And finally, they are intended only to create one sketch, not their population.

Известен способ генерации фотографии по скетчу (Заявка на получение патента КНР №20131250354, МПК G06T 3/40, G06T 5/00, дата приоритета 21.06.2013 г., опубликовано 04.09.2013 г.), выполняющий преобразование в несколько этапов. Сначала производится предварительная реконструкция фотографии по соответствующему скетчу с помощью трансформации в локальные собственные подпространства (с использованием обучающей выборки, содержащей пары скетч-фото). Далее реализуется процедура модификации этого варианта фотографии, основанная на ее геометрической коррекции по глобальным параметрам лица (контур и форма прически) и деформации по локальным параметрам лица (примитивам и/или выбранным контрольным точкам), в результате чего получается новый вариант фотографии («псевдофото»). После этого «псевдофото» подвергается коррекции с участием специалиста-оператора. Недостатками этого способа является неполная автоматизация процесса реконструкции и его неприспособленность для генерации популяции изображений лиц.A known method of generating photographs on a sketch (Application for a patent of the People's Republic of China No. 20131250354, IPC G06T 3/40, G06T 5/00, priority date 06/21/2013, published 04/09/2013), which performs the conversion in several stages. First, a preliminary reconstruction of the photo is carried out according to the corresponding sketch using transformation into local eigensubspaces (using a training set containing sketch photo pairs). Next, the procedure for modifying this version of the photo is implemented, based on its geometric correction for global face parameters (contour and hair shape) and deformation for local face parameters (primitives and / or selected control points), resulting in a new version of the photo (“pseudo photo” ) After that, the “pseudo photo” is subjected to correction with the participation of a specialist operator. The disadvantages of this method is the incomplete automation of the reconstruction process and its inability to generate a population of facial images.

Основными недостатками перечисленных способов являются необходимость использования специальных библиотек, составленных из связанных фрагментов лиц для пар «фотография-скетч»; необходимость участия оператора в процессе формирования фотографии по скетчу; использование дополнительных процедур сравнения и обработки изображений по глобальным и локальным параметрам области лиц, влияющих на качество получаемых изображений лиц. Эти недостатки ограничивают возможность автоматического создания фотографии по заданному скетчу и, следовательно, неприменимы в режиме реального времени. Кроме того, ни один из этих способов не предусматривает формирование популяции фотографии по заданному скетчу, поскольку главные критерии, по которым в них генерируются фотографии, - это высокое подобие оригиналу, который в общем случае неизвестен.The main disadvantages of these methods are the need to use special libraries made up of connected fragments of faces for pairs of "photo-sketch"; the need for the operator to participate in the process of sketching; the use of additional procedures for comparing and processing images by global and local parameters of the face region, affecting the quality of the received face images. These shortcomings limit the ability to automatically create a photo according to a given sketch and, therefore, are not applicable in real time. In addition, none of these methods provides for the formation of a population of photographs according to a given sketch, since the main criteria by which photographs are generated in them is a high similarity to the original, which is generally unknown.

Наиболее близким к изобретению являются способ и система генерации фотографий из скетчей (Заявка ВОИС на получение патента № WO 2003CN00797, МПК G06K 9/00, дата приоритета 19.09.2002 г., опубликовано 01.04.2004 г.). Способ реализует реконструкцию фотографий по моделям взаимной трансформации из собственного подпространства для скетчей в смешанное подпространство (скетч и фотография), причем базисы обоих подпространств формируют на основе анализа главных компонент (Principal Component Analysis, РСА) и вычисляют для обучающих выборок S и Р, состоящих из K пар цифровых изображений (K скетчей и K соответствующих им фотографии). Преобразование каждого скетча выборки 5 в фотографию выполняют в два этапа. На первом этапе по исходным выборкам S и Р вычисляют средние значения

Figure 00000001
и
Figure 00000002
(здесь Si и Pi - i-e фотографии/скетчи из выборок S и Р соответственно), затем исходные выборки S и Р центрируют относительно средних, преобразуя их в
Figure 00000003
и
Figure 00000004
, и по результату выполняют анализ главных компонент, вычисляя собственные числа и собственные векторы матрицы Грама
Figure 00000005
и нормированные собственные векторы ковариационной матрицы
Figure 00000006
. На втором этапе решают задачу реконструкции фотографии из заданного скетча: сначала из него вычитают среднее значение mS, после чего на основе преобразования Карунена-Лоэва выполняют его проекцию в собственное подпространство с использованием нормированных собственных векторов, а полученный при этом вектор-результат умножают сначала на диагональную матрицу собственных чисел ΛS, возведенную в степень -(1/2), а затем на матрицу собственных векторов VS, в результате чего получают вектор весовых коэффициентов промежуточного представления заданного скетча, который умножают на
Figure 00000007
, а к результату умножения добавляют среднее значение mP, завершая процесс формирования фотографии из заданного скетча. Система, осуществляющая данный способ, включает блок анализа главных компонент (БАГК), выполняющий вычисление собственных векторов и собственных чисел, блок центрирования (БЦ), выполняющий центрирование исходной выборки фотографий, блок вычисления спектра в собственном базисе (БВС), выполняющий центрирование заданного скетча и вычисление преобразования Карунена-Лоэва, блок вычисления весовых коэффициентов (БВВК), выполняющий вычисление вектора весовых коэффициентов промежуточного представления заданного скетча, блок формирования фотографии (БФФ), выполняющий умножение весовых коэффициентов на
Figure 00000007
и добавление среднего значения mP к результату. Вход БАГК является первым входом системы, на которую поступает исходный набор скетчей; его первый выход соединен с первым входом БВС; его второй выход соединен с первым входом БВВК. Вход БЦ является вторым входом системы, на который поступает исходный набор фотографий; его выход соединен с первым входом БФФ. Второй вход БВС является третьим входом системы, на который поступает заданный скетч; его выход соединен со вторым входом БВВК. Выход БВВК соединен со вторым входом БФФ. Выход БФФ является выходом системы, с которого поступает фотография, сформированная из заданного скетча. Одним из недостатков способа и системы является то, что операции матричного умножения (в том числе умножение вектора весовых коэффициентов на центрированную матрицу исходных фотографий
Figure 00000007
), выполняемые в БВВК и БФФ для вычисления весовых коэффициентов и формирования фотографии, производятся для каждого нового заданного скетча, что требует существенных вычислительных затрат при реконструкции каждой фотографии. Кроме того, способ и система не предусматривают получение популяции фотографии из заданного скетча.Closest to the invention are a method and system for generating photographs from sketches (WIPO Application for a Patent No. WO 2003CN00797, IPC G06K 9/00, priority date 09/19/2002, published April 1, 2004). The method implements the reconstruction of photographs by models of mutual transformation from their own subspace for sketches to a mixed subspace (sketch and photograph), and the bases of both subspaces are formed on the basis of the analysis of the main components (Principal Component Analysis, PCA) and calculated for training samples S and P, consisting of K pairs of digital images (K sketches and K corresponding photos). Conversion of each sketch of sample 5 into a photograph is performed in two stages. At the first stage, the average values are calculated from the initial samples S and P
Figure 00000001
and
Figure 00000002
(here S i and P i are ie photos / sketches from the S and P samples, respectively), then the original S and P samples are centered relative to the average, transforming them into
Figure 00000003
and
Figure 00000004
, and the result is an analysis of the main components, calculating the eigenvalues and eigenvectors of the Gram matrix
Figure 00000005
and normalized eigenvectors of the covariance matrix
Figure 00000006
. At the second stage, the problem of reconstructing a photograph from a given sketch is solved: first, the average value m S is subtracted from it, and then, based on the Karunen-Loev transform, it is projected into its own subspace using normalized eigenvectors, and the resultant vector obtained here is first multiplied by the diagonal eigenvalue matrix Λ S raised to the power - (1/2), and then onto the eigenvector matrix V S , as a result of which we obtain the vector of weighting coefficients of the intermediate representation given sketch, which is multiplied by
Figure 00000007
, and the average value m P is added to the multiplication result, completing the process of forming a photo from a given sketch. The system that implements this method includes a principal component analysis unit (LHC), which performs the calculation of eigenvectors and eigenvalues, a centering unit (BC), which centers the original sample of photographs, a spectrum calculation unit in its own basis (BVS), that centers the given sketch and calculation of the Karunen-Loeva transform, weighting coefficient calculation unit (BVVK), calculating the weighting vector of the intermediate representation of the given sketch, the ph Fargo (BFF) performing the multiplication of weight coefficients for
Figure 00000007
and adding the average value of m P to the result. The LHC input is the first input of the system to which the initial set of sketches is received; its first output is connected to the first input of the BVS; its second output is connected to the first input of the BVVK. The input of the business center is the second input of the system, which receives the original set of photos; its output is connected to the first input of the BFF. The second input of the BVS is the third input of the system, which receives the specified sketch; its output is connected to the second input of the BVVK. The output of the BVVK is connected to the second input of the BFF. The output of the BFF is the output of the system from which the photo is generated, formed from a given sketch. One of the disadvantages of the method and system is that the operations of matrix multiplication (including the multiplication of the vector of weight coefficients by a centered matrix of the original photos
Figure 00000007
) performed in the BVVK and BFF for calculating the weighting coefficients and forming a photograph are made for each new given sketch, which requires significant computational costs during the reconstruction of each photograph. In addition, the method and system do not provide for obtaining a population of photographs from a given sketch.

Решается задача повышения быстродействия и обеспечения универсальности способа и системы реконструкции фотопортретов из скетчей.The problem of increasing speed and ensuring the versatility of the method and system for the reconstruction of photo portraits from sketches is being solved.

Поставленная задача решается за счет того, что способ автоматической реконструкции фотопортретов из скетчей заключается в вычислении по исходным выборкам скетчей S и фотографий Р средних значений mS и mP, центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в

Figure 00000008
и
Figure 00000007
, выполнении анализа главных компонент по
Figure 00000008
, в результате которого вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы, вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва; и отличается от известного технического решения тем, что вычисляют базис взаимной трансформации скетча в фотографию, используя при этом собственные числа, соответствующие им собственные векторы для матрицы Грама и центрированную выборку исходных фотографий
Figure 00000007
, модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий mP, причем формируют базис взаимной трансформации скетча в фотографию один раз и используют повторно для любых заданных скетчей. Система автоматической реконструкции фотопортретов из скетчей включает блок анализа главных компонент (БАГК), первый выход которого соединен с первым входом блока вычисления спектра в собственном базисе (БВС) и блок центрирования (БЦ), при этом вход БАГК является первым входом системы, вход БЦ является вторым входом системы, а второй вход БВС является третьим входом системы; и отличается от известного технического решения тем, что введены блок вычисления базиса взаимной трансформации (БВБ), генератор случайных векторов (ГСВ), сумматор векторов (СВ), блок формирования популяции фотографий (БФПФ), причем второй выход БАГК соединен с первым входом БВБ, первый выход БЦ соединен со вторым входом БВБ, второй выход БЦ соединен с первым входом БФПФ, выход БВС соединен с первым входом СВ, выход БВБ соединен со вторым входом БФПФ, выход ГСВ соединен со вторым входом СВ, выход СВ соединен с третьим входом БФПФ, а выход БФПФ является выходом системы.The problem is solved due to the fact that the method of automatic reconstruction of photo portraits from sketches consists in calculating the average values of m S and m P from the initial samples of sketches S and photos P , centering them relative to the average initial samples S and P, as a result of which they are converted to
Figure 00000008
and
Figure 00000007
performing an analysis of the main components of
Figure 00000008
which results in calculating the eigenvalues and their corresponding eigenvectors for the Gram matrix, which are converted into eigenvectors of the covariance matrix, calculating for a given sketch of the spectrum in the basis formed by the eigenvectors of the covariance matrix using the direct Karunen-Loeve transform; and differs from the known technical solution in that they calculate the basis for the mutual transformation of the sketch into a photograph, using eigenvalues, their corresponding eigenvectors for the Gram matrix, and a centered selection of the original photos
Figure 00000007
modify the spectrum of a given sketch L times by adding random noise to each of its components, obtaining L modified spectra from which a population of L photos corresponding to a given sketch is formed by multiplying by a matrix containing the vectors of the mutual transformation basis and adding the average value of photos m P , and form the basis of the mutual transformation of the sketch into a photograph once and reused for any given sketches. The system for the automatic reconstruction of photo portraits from sketches includes a main component analysis unit (LHC), the first output of which is connected to the first input of the spectrum calculation unit in its own basis (BVS) and a centering unit (BC), while the LHC input is the first system input, the BC input is the second input of the system, and the second input of the BVS is the third input of the system; and differs from the well-known technical solution in that a block for calculating the mutual transformation basis (BVB), a random vector generator (FGP), a vector adder (CB), a block for generating a population of photographs (BFPF) are introduced, the second output of the LHC connected to the first input of the BVB, the first output of the BC is connected to the second input of the BVF, the second output of the BC is connected to the first input of the BFF, the output of the BVS is connected to the second input of the BFF, the output of the hot water supply is connected to the second input of the BFF, the output of CB is connected to the third input of the BFF, and the output of bfpf jav is Busy output system.

Повышение быстродействия способа автоматической реконструкции фотопортретов из скетчей достигается за счет вычисления базиса взаимной трансформации скетча в фотографию, причем этот базис формируют один раз и повторно используют для любых заданных скетчей. Универсальность способа реконструкции фотопортретов из скетчей обеспечивается за счет того, что модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий (а не единственную фотографию), соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий mP. Повышение быстродействия системы автоматической реконструкции фотопортретов из скетчей достигается за счет введения в ее состав БВБ и БФПФ и соединения выхода БВБ со вторым входом БФПФ, что позволяет повторно использовать базис взаимной трансформации скетча в фотографию, формируемый в БВБ, для любых заданных скетчей. Универсальность системы реконструкции фотопортретов из скетчей обеспечивается введением в ее состав ГСВ и СВ, что позволяет L раз модифицировать спектр заданного скетча и сформировать популяцию из L фотографий (а не единственную фотографию), соответствующих заданному скетчу.Improving the speed of the method of automatic reconstruction of photo portraits from sketches is achieved by calculating the basis for the mutual transformation of the sketch into a photograph, and this basis is formed once and reused for any given sketches. The universality of the method for reconstructing photo portraits from sketches is ensured by modifying the spectrum of a given sketch L times by adding random noise to each of its components, obtaining L modified spectra from which a population of L photos (rather than a single photograph) corresponding to a given sketch is formed, by multiplying by a matrix containing the vectors of the mutual transformation basis, and adding the average value of the photos m P. Improving the speed of the system for automatic reconstruction of photo portraits from sketches is achieved by introducing BVB and BFPF into its composition and connecting the BVB output to the second input of the BFPF, which allows you to reuse the basis of the mutual transformation of the sketch into a photograph formed in the BVB for any given sketches. The universality of the system for reconstructing photo portraits from sketches is provided by introducing FGP and SV into its composition, which allows L times to modify the spectrum of a given sketch and form a population of L photos (rather than a single photo) corresponding to a given sketch.

Сущность изобретения поясняется рисунками:The invention is illustrated by drawings:

на фиг. 1 изображена структурная схема системы;in FIG. 1 shows a block diagram of a system;

на фиг. 2 представлены примеры изображений баз «фотография-скетч»: CUHK/CUFS, CUHK/CUFSF, изображения из статьи Chen Н. et al. Example-based composite sketching of human portraits // Proceedings of the 3rd international symposium on non-photorealistic animation and rendering. ACM, 2004. P. 95-153;in FIG. Figure 2 shows examples of images from the photo-sketch bases: CUHK / CUFS, CUHK / CUFSF, images from an article by Chen N. et al. Example-based composite sketching of human portraits // Proceedings of the 3rd international symposium on non-photorealistic animation and rendering. ACM, 2004. P. 95-153;

на фиг. 3 представлены средние изображения базы обучения CUHK/CUFS, собственные числа для выборок S и P, примеры реконструкции фотографии по скетчу, полученные по описанному способу;in FIG. 3 presents average images of the CUHK / CUFS training base, eigenvalues for S and P samples, examples of sketch reconstruction of photographs obtained using the described method;

на фиг. 4 представлены примеры реконструкции фотографии из скетча для базы обучения;in FIG. 4 presents examples of reconstruction of a photograph from a sketch for a training base;

на фиг. 5 представлены примеры реконструкции фотографии из скетчей, не входящих в базу обучения;in FIG. 5 presents examples of reconstruction of photographs from sketches not included in the training base;

на фиг. 6 представлены примеры реконструкции фотографии из неоригинального скетча (не входящего в базу обучения), популяции из девяти реконструированных фотографий и отображение сгенерированной популяции фотографий в трехмерном подпространстве;in FIG. Figure 6 shows examples of reconstruction of a photograph from a non-original sketch (not included in the training base), a population of nine reconstructed photographs, and the display of the generated population of photographs in a three-dimensional subspace;

на фиг. 7 представлены две сформированные популяции фотографий: сгенерированные изображения и их представления в трехмерном подпространстве.in FIG. Figure 7 shows two formed populations of photographs: generated images and their representations in three-dimensional subspace.

Изображенная на фиг. 1 система автоматической реконструкции фотопортретов из скетчей, которая содержит блок анализа главных компонент (БАГК) 1, блок центрирования (БЦ) 2, блок вычисления спектра в собственном базисе (БВС) 3, блок вычисления базиса взаимной трансформации (БВБ) 4, генератор случайных векторов (ГСВ) 5, сумматор векторов (СВ) 6, блок формирования популяции фотографий (БФПФ) 7, причем вход БАГК 1 является первым входом системы, вход БЦ 2 является вторым входом системы, второй вход БВС 3 является третьим входом системы, первый выход БАГК 1 соединен с первым входом БВС 3, второй выход БАГК 1 соединен с первым входом БВБ 4, первый выход БЦ 2 соединен со вторым входом БВБ 4, второй выход БЦ 2 соединен с первым входом БФПФ 7, выход БВС 3 соединен с первым входом СВ 6, выход БВБ 4 соединен со вторым входом БФПФ 7, выход ГСВ 5 соединен со вторым входом СВ 6, выход СВ 6 соединен с третьим входом БФПФ 7, выход БФПФ 7 является выходом системы.Depicted in FIG. 1 system for the automatic reconstruction of photo portraits from sketches, which contains the main component analysis unit (BAGC) 1, the centering unit (BC) 2, the spectrum calculation unit in its own basis (BVS) 3, the mutual transformation basis calculation unit (BVB) 4, the random vector generator (FGP) 5, adder of vectors (CB) 6, block for generating a population of photographs (BFPF) 7, and the input of the BAGK 1 is the first input of the system, the input of the BC 2 is the second input of the system, the second input of the BVS 3 is the third input of the system, the first output of the BAG 1 connected to the first input ohm BVS 3, the second output of BAGK 1 is connected to the first input of BVB 4, the first output of BC 2 is connected to the second input of BVB 4, the second output of BC 2 is connected to the first input of BVF 7, the output of BVS 3 is connected to the first input of CB 6, the output of BVB 4 connected to the second input of the BFF 7, the output of the FGP 5 is connected to the second input of the CB 6, the output of CB 6 is connected to the third input of the BFF 7, the output of the BFF 7 is the output of the system.

Способ автоматической реконструкции фотопортретов из скетчей осуществляется следующим образом. Исходные выборки из K фотографий и K скетчей (изображений, содержащих М строк и N столбцов) представлены в виде матриц S и Р, имеющих размеры MN×K; каждый столбец матриц получен путем конкатенации столбцов исходных изображений. Прежде всего, вычисляют средние значения

Figure 00000009
и
Figure 00000010
(здесь Si и Pi - i-e столбцы матриц S и Р соответственно); после чего производят центрирование относительно этих средних:
Figure 00000011
,
Figure 00000012
(
Figure 00000013
- матрица размера 1×K с единичными элементами). Вычисление mP и
Figure 00000014
выполняется в БЦ 2. Далее выполняют анализ главных компонент, для чего для матрицы Грама
Figure 00000015
(размера K×K) находят матрицу собственных векторов VS и диагональную матрицу собственных чисел ΛS (которые также имеют размеры K×K); после чего вычисляют матрицу
Figure 00000016
размера MN×K, содержащую K собственных векторов ковариационной матрицы
Figure 00000017
. Вычисление матриц ΛS, VS, WS и вектора mS выполняется в БАГК 1. Затем вычисляют матрицу базиса взаимной трансформации
Figure 00000018
, имеющую размер MN×K. Вычисление матрицы FSP выполняется в БВБ 4. Полученные таким образом матрицы WS, FSP и векторы mS, mP используют для генерации популяции фотографий по произвольному заданному скетчу Snew, представленному в форме вектора размера MN×1. Для этого вычисляют центрированную версию заданного скетча
Figure 00000019
, после чего вычисляют его спектр в собственном базисе, выполняя преобразование Карунена-Лоэва:
Figure 00000020
(вектор-столбец с K элементами). Вычисление вектора Y выполняется в БВС 3. Далее генерируют L векторов случайных чисел размерности K, образующих матрицу R размера K×L. Генерация матрицы R выполняется в ГСВ 5. После этого вычисляют матрицу
Figure 00000021
, содержащую L модифицированных версий спектра заданного скетча:
Figure 00000022
. Матрица
Figure 00000023
вычисляется в СВ 6. Затем формируют матрицу популяции
Figure 00000024
размера MN×L. Каждый столбец матрицы
Figure 00000025
преобразуют в изображение размера М×N посредством операции, обратной конкатенации столбцов (последовательное заполнение матрицы по столбцам элементами из вектора). Полученный набор L изображений образует популяцию фотографий, реконструированную из скетча Snew. Матрица
Figure 00000026
и популяция, содержащая L фотографий, формируются в БФПФ 7.The method of automatic reconstruction of photo portraits from sketches is as follows. The initial samples of K photos and K sketches (images containing M rows and N columns) are presented in the form of S and P matrices having sizes MN × K; each matrix column is obtained by concatenating the columns of the original images. First of all, average values are calculated.
Figure 00000009
and
Figure 00000010
(here S i and P i are ie columns of the matrices S and P, respectively); then centering on these averages:
Figure 00000011
,
Figure 00000012
(
Figure 00000013
- 1 × K matrix with unit elements). Calculation of m P and
Figure 00000014
performed in BC 2. Next, an analysis of the main components is performed, for which, for the Gram matrix
Figure 00000015
(of size K × K) find the matrix of eigenvectors V S and the diagonal matrix of eigenvalues Λ S (which also have dimensions K × K); then calculate the matrix
Figure 00000016
of size MN × K containing K eigenvectors of the covariance matrix
Figure 00000017
. The calculation of the matrices Λ S , V S , W S and the vector m S is performed in LHC 1. Then, the matrix of the mutual transformation basis is calculated
Figure 00000018
having a size of MN × K. The calculation of the matrix F SP is performed in BVB 4. The matrices W S , F SP and vectors m S , m P obtained in this way are used to generate a population of photographs using an arbitrary given sketch S new , presented in the form of a vector of size MN × 1. To do this, calculate the centered version of the given sketch
Figure 00000019
, after which its spectrum is calculated in its own basis, performing the Karunen-Loev transformation:
Figure 00000020
(column vector with K elements). The calculation of the vector Y is performed in the BVS 3. Next, L vectors of random numbers of dimension K are generated, which form a matrix R of size K × L. The matrix R is generated in the FGP 5. After that, the matrix is calculated
Figure 00000021
containing L modified versions of the spectrum of a given sketch:
Figure 00000022
. Matrix
Figure 00000023
calculated in CB 6. Then a population matrix is formed
Figure 00000024
size MN × L. Each column of the matrix
Figure 00000025
transform into an image of size M × N through the operation, the reverse concatenation of the columns (sequential filling of the matrix of the columns with elements from the vector). The resulting set of L images forms a population of photographs reconstructed from the sketch S new . Matrix
Figure 00000026
and a population containing L photographs are formed in BFPF 7.

При этом если K велико, то те столбцы матриц VS, WS и ΛS, которые отвечают малым собственным числам, могут быть опущены. В этом случае размерность генерируемых векторов случайных чисел, размещаемых в матрице R, должна совпадать с количеством сохраненных столбцов матриц VS, WS и ΛS. Это позволит добиться дальнейшего повышения быстродействия.Moreover, if K is large, then those columns of the matrices V S , W S, and Λ S that correspond to small eigenvalues can be omitted. In this case, the dimension of the generated random number vectors placed in the matrix R must coincide with the number of stored columns of the matrices V S , W S and Λ S. This will make it possible to further improve performance.

Все перечисленные выше блоки, входящие в систему, могут быть реализованы на основе существующих электронных компонентов: микроконтроллеров, сигнальных процессоров, программируемых логических интегральных схем (ПЛИС). Кроме того, система может быть смоделирована на электронной вычислительной машине (ЭВМ).All of the above blocks included in the system can be implemented on the basis of existing electronic components: microcontrollers, signal processors, programmable logic integrated circuits (FPGAs). In addition, the system can be modeled on an electronic computer (computer).

Описанные способ и систему можно использовать также для решения задач реконструкции скетчей по фотографиям и применять их для генерации популяции скетчей по заданной фотографии. Для этого необходимо поменять местами исходные выборки фотографий и скетчей (на первый вход системы подать фотографии обучающего набора Р, а на второй вход системы подать скетчи обучающего набора S). Это также расширяет универсальность предложенного способа и системы.The described method and system can also be used to solve the problems of reconstruction of sketches from photographs and apply them to generate a population of sketches from a given photograph. To do this, it is necessary to swap the initial samples of photos and sketches (submit photos of the training set P to the first input of the system, and send sketches of the training set S to the second input of the system). It also extends the versatility of the proposed method and system.

Возможность получения указанного технического результата при осуществлении изобретения подтверждается проведенными экспериментами. Фиг. 2-7 иллюстрируют результаты этих экспериментов.The ability to obtain the specified technical result in the implementation of the invention is confirmed by experiments. FIG. 2-7 illustrate the results of these experiments.

На фиг. 2 приведены примеры пары фотографий и соответствующих им скетчей из различных источников. Такие пары изображений могут входить как в обучающие, так и тестовые выборки.In FIG. Figure 2 shows examples of a pair of photographs and their corresponding sketches from various sources. Such pairs of images can be included in both training and test samples.

На фиг. 3 представлены средние изображения базы обучения CUHK, собственные числа для выборок S и Р, оригинальные фотографии базы и примеры реконструкции по описанному способу фотографий из скетчей, входящих в базу обучения. Сравнивая результат реконструкции фотографии с оригинальной фотографией, можно обнаружить их полное соответствие.In FIG. Figure 3 shows the average images of the CUHK training base, eigenvalues for S and P samples, original photos of the base and reconstruction examples using the described method of photographs from sketches included in the training base. By comparing the result of the reconstruction of the photograph with the original photograph, you can find their full compliance.

На фиг. 4 представлены примеры реконструкции фотографий из скетчей для базы обучения. Несмотря на различную форму лиц и прическу, представленную в скетчах, реконструированные фотографии точно отражают их фенотипические признаки.In FIG. 4 presents examples of reconstruction of photos from sketches for the training base. Despite the different face shapes and hairstyles presented in the sketches, the reconstructed photographs accurately reflect their phenotypic characters.

На фиг. 5 представлены примеры реконструкции фотографий из тестовых скетчей, не входящих в обучающую выборку. Здесь верхняя и средняя строки - тестовые скетчи и результат реконструкции по ним фотографий, а нижняя строка - фотографии-оригиналы. Несмотря на то что между фотографиями-оригиналами и соответствующими им реконструированными фотографиями нет полного сходства, частичное подобие между ними сохраняется.In FIG. Figure 5 shows examples of reconstruction of photographs from test sketches that are not included in the training set. Here, the top and middle lines are test sketches and the result of reconstruction of the photos from them, and the bottom line is the original photos. Despite the fact that there is no complete similarity between the original photos and the reconstructed photographs corresponding to them, a partial similarity between them remains.

На фиг. 6 представлены примеры реконструкции фотографии из неоригинального скетча (не входящего в базу обучения), сформированная по описанному способу популяция из девяти фотографий и отображение этой популяции в трехмерном подпространстве.In FIG. Figure 6 presents examples of reconstruction of a photograph from a non-original sketch (not included in the training base), a population of nine photographs formed using the described method, and the population is displayed in a three-dimensional subspace.

На фиг. 7 представлены две сформированные из одного скетча популяции фотографий: сгенерированные изображения и их представление в смешанном трехмерном подпространстве. Здесь визуально определяется различие изображений в отдельных популяциях и между ними при сохранении фенотипических признаков. Характеристики фотографий в трехмерном подпространстве формально представляют это различие как внутри популяций, так и между ними.In FIG. Figure 7 presents two populations of photographs formed from the same sketch: generated images and their representation in a mixed three-dimensional subspace. Here, the difference in images in individual populations and between them is visually determined while maintaining phenotypic characters. Characteristics of photographs in the three-dimensional subspace formally represent this difference both within populations and between them.

Исходя из представленных экспериментов, можно утверждать, что описанные способ и система действительно позволяют формировать популяции фотографий по заданным скетчам.Based on the presented experiments, it can be argued that the described method and system really allows you to form populations of photos according to given sketches.

Изобретение может быть применено для дополнения известных баз фото-скетч новыми популяциями фотографий; для создания дополнительных баз фотографий, предназначенных для решения задач регистрации и поиска изображений лиц по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера); для повышения эффективности существующих систем видеонаблюдения; для создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрическая идентификация личности, системы технического зрения.The invention can be applied to supplement known photo sketch bases with new populations of photographs; to create additional databases of photographs intended for solving the problems of registering and searching for images of persons according to a sketch drawn from descriptions of witnesses or participants in a certain event (including criminal ones); to increase the effectiveness of existing video surveillance systems; to create a new class of intelligent systems designed for the following types of applications: intelligent video surveillance, biometric identification, technical vision systems.

Claims (2)

1. Способ автоматической реконструкции фотопортретов из скетчей, заключающийся в вычислении по исходным выборкам скетчей S и фотографий Р средних значений mS и mP, центрировании относительно средних исходных выборок S и Р, в результате чего они преобразуются в
Figure 00000027
и
Figure 00000028
, выполнении анализа главных компонент по
Figure 00000027
, в результате которого вычисляются собственные числа и соответствующие им собственные векторы для матрицы Грама, которые пересчитываются в собственные векторы ковариационной матрицы, вычислении для заданного скетча спектра в базисе, образованном собственными векторами ковариационной матрицы, с помощью прямого преобразования Карунена-Лоэва, отличающийся тем, что вычисляют базис взаимной трансформации скетча в фотографию, используя при этом собственные числа, соответствующие им собственные векторы для матрицы Грама и центрированную выборку исходных фотографий
Figure 00000029
, модифицируют спектр заданного скетча L раз путем добавления случайного шума к каждой его компоненте, получая L модифицированных спектров, из которых формируют популяцию из L фотографий, соответствующих заданному скетчу, посредством умножения на матрицу, содержащую векторы базиса взаимной трансформации, и добавления среднего значения фотографий mP, причем формируют базис взаимной трансформации скетча в фотографию один раз и используют повторно для любых заданных скетчей.1. The method of automatic reconstruction of photo portraits from sketches, which consists in calculating the average values of m S and m P from the initial samples of sketches S and photographs P , centering relative to the average initial samples S and P, as a result of which they are converted to
Figure 00000027
and
Figure 00000028
performing an analysis of the main components of
Figure 00000027
, as a result of which the eigenvalues and their corresponding eigenvectors for the Gram matrix are calculated, which are converted into the eigenvectors of the covariance matrix, the calculation for a given sketch of the spectrum in the basis formed by the eigenvectors of the covariance matrix using the direct Karunen-Loeve transform, characterized in that calculate the basis for the mutual transformation of the sketch into a photograph, using the eigenvalues corresponding to them eigenvectors for the Gram matrix and centered selection of source photos
Figure 00000029
modify the spectrum of a given sketch L times by adding random noise to each of its components, obtaining L modified spectra from which a population of L photos corresponding to a given sketch is formed by multiplying by a matrix containing the vectors of the mutual transformation basis and adding the average value of photos m P , and form the basis of the mutual transformation of the sketch into a photograph once and reused for any given sketches. 2. Система автоматической реконструкции фотопортретов из скетчей, включающая блок анализа главных компонент (БАГК), первый выход которого соединен с первым входом блока вычисления спектра в собственном базисе (БВС) и блок центрирования (БЦ), при этом вход БАГК является первым входом системы, вход БЦ является вторым входом системы, а второй вход БВС является третьим входом системы, отличающаяся тем, что введены блок вычисления базиса взаимной трансформации (БВБ), генератор случайных векторов (ГСВ), сумматор векторов (СВ), блок формирования популяции фотографий (БФПФ), причем второй выход БАГК соединен с первым входом БВБ, первый выход БЦ соединен со вторым входом БВБ, второй выход БЦ соединен с первым входом БФПФ, выход БВС соединен с первым входом СВ, выход БВБ соединен со вторым входом БФПФ, выход ГСВ соединен со вторым входом СВ, выход СВ соединен с третьим входом БФПФ, а выход БФПФ является выходом системы.2. A system for the automatic reconstruction of photo portraits from sketches, including a main component analysis unit (BAG), the first output of which is connected to the first input of the spectrum calculation unit in its own basis (BVS) and a centering unit (BC), while the BAGK input is the first input of the system, the input of the BC is the second input of the system, and the second input of the BVS is the third input of the system, characterized in that a block for calculating the mutual transformation basis (BVB), a random vector generator (FGP), a vector adder (CB), a pop generation block are introduced photo isolation (BFPF), with the second BAGK output connected to the first input of the BVB, the first output of the BC connected to the second input of the BVB, the second output of the BC connected to the first input of the BVF, the output of the BVS connected to the first input of the BVF, the output of the BVB connected to the second input of the BVF, the FGP output is connected to the second input of the CB, the output of the CB is connected to the third input of the BFF, and the output of the BFF is the output of the system.
RU2016128653A 2016-07-13 2016-07-13 Method of automatic reconstruction of photo portraits from sketches and system for its implementation RU2628125C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2016128653A RU2628125C1 (en) 2016-07-13 2016-07-13 Method of automatic reconstruction of photo portraits from sketches and system for its implementation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016128653A RU2628125C1 (en) 2016-07-13 2016-07-13 Method of automatic reconstruction of photo portraits from sketches and system for its implementation

Publications (1)

Publication Number Publication Date
RU2628125C1 true RU2628125C1 (en) 2017-08-15

Family

ID=59641794

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016128653A RU2628125C1 (en) 2016-07-13 2016-07-13 Method of automatic reconstruction of photo portraits from sketches and system for its implementation

Country Status (1)

Country Link
RU (1) RU2628125C1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279936A (en) * 2013-06-21 2013-09-04 重庆大学 Human face fake photo automatic combining and modifying method based on portrayal
RU2541132C1 (en) * 2013-07-26 2015-02-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Automatic sketch generation method and system therefor
RU2541136C1 (en) * 2013-11-11 2015-02-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of recognising facial images and system therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279936A (en) * 2013-06-21 2013-09-04 重庆大学 Human face fake photo automatic combining and modifying method based on portrayal
RU2541132C1 (en) * 2013-07-26 2015-02-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Automatic sketch generation method and system therefor
RU2541136C1 (en) * 2013-11-11 2015-02-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of recognising facial images and system therefor

Similar Documents

Publication Publication Date Title
Chan et al. Efficient geometry-aware 3d generative adversarial networks
CN109255831B (en) Single-view face three-dimensional reconstruction and texture generation method based on multi-task learning
Jo et al. Sc-fegan: Face editing generative adversarial network with user's sketch and color
Yamaguchi et al. High-fidelity facial reflectance and geometry inference from an unconstrained image
Georgoulis et al. Reflectance and natural illumination from single-material specular objects using deep learning
Yang et al. High-resolution image inpainting using multi-scale neural patch synthesis
Li et al. Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks
Palsson et al. Generative adversarial style transfer networks for face aging
Žeger et al. Grayscale image colorization methods: Overview and evaluation
CN109361934B (en) Image processing method, device, equipment and storage medium
CN107680158A (en) A kind of three-dimensional facial reconstruction method based on convolutional neural networks model
Xu et al. Texture memory-augmented deep patch-based image inpainting
Shim et al. A subspace model-based approach to face relighting under unknown lighting and poses
Singh et al. Neural style transfer: A critical review
CN111127309B (en) Portrait style migration model training method, portrait style migration method and device
CN111950430A (en) Color texture based multi-scale makeup style difference measurement and migration method and system
Xu et al. Grm: Large gaussian reconstruction model for efficient 3d reconstruction and generation
Ho et al. Deep preset: Blending and retouching photos with color style transfer
RU2713695C1 (en) Textured neural avatars
Hill et al. Aging the human face-a statistically rigorous approach
CN113538662A (en) Single-view three-dimensional object reconstruction method and device based on RGB data
Xu et al. RelightGAN: Instance-level generative adversarial network for face illumination transfer
Kukharev et al. Methods of face photo-sketch comparison
RU2628125C1 (en) Method of automatic reconstruction of photo portraits from sketches and system for its implementation
CN116152645A (en) Indoor scene visual recognition method and system integrating multiple characterization balance strategies