RU2713762C1 - Method of embedding biometric information into a color image of a face and a device for realizing the method - Google Patents

Method of embedding biometric information into a color image of a face and a device for realizing the method Download PDF

Info

Publication number
RU2713762C1
RU2713762C1 RU2019119324A RU2019119324A RU2713762C1 RU 2713762 C1 RU2713762 C1 RU 2713762C1 RU 2019119324 A RU2019119324 A RU 2019119324A RU 2019119324 A RU2019119324 A RU 2019119324A RU 2713762 C1 RU2713762 C1 RU 2713762C1
Authority
RU
Russia
Prior art keywords
face
input
color image
codes
image
Prior art date
Application number
RU2019119324A
Other languages
Russian (ru)
Inventor
Георгий Александрович Кухарев
Юрий Николаевич Матвеев
Назым Казиева
Original Assignee
федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО" (Университет ИТМО)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО" (Университет ИТМО) filed Critical федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет ИТМО" (Университет ИТМО)
Priority to RU2019119324A priority Critical patent/RU2713762C1/en
Application granted granted Critical
Publication of RU2713762C1 publication Critical patent/RU2713762C1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks

Abstract

FIELD: data processing.
SUBSTANCE: invention relates to a method for embedding biometric information into color images of persons and a device for realizing the method. Method for embedding biometric information into a color image of a face involves analyzing an input color image of a face, determining an original image size and adjusting thereof based on a selected size of the QR code, calculating coordinates of anthropometric points of a face used as basic biometric information on a person, preparing original messages based on biometric information and given document information, generation of QR code "ANTRO" with biometric information and QR code "INFO" with documentary information, performing decomposition of color image of face on components "R", "G" and "B", corresponding to half-tone images, wherein after calculating coordinates of anthropometric points of the face, calculating the face image brightness values used as additional biometric information on the face phenotype, preparing the original message based on the additional biometric information, QR code "PHENO" is generated on this message, control record of QR-codes "ANTRO", "INFO" and "PHENO" is stored in memory and control reading thereof from memory, LSB-layers of half-tone QR-codes "ANTRO", " INFO" and "PHENO", these LSB-layers are embedded in place of LSB-layers of "R", "G" and "B" components, after which these components are combined into a color image which assumes the role of a filled container image, and this color container image is transmitted to the output of the device.
EFFECT: high universality, security of information and reliability of its storage during exchange operations with memory.
2 cl, 11 dwg

Description

Изобретение относится к автоматике и вычислительной технике и может быть использовано для создания цветных изображений лиц с встроенными в них QR-кодами с лицевой биометрической и документальной информацией. Такие цветные изображения лиц предназначены для создания тестовых баз в задачах распознавания людей, для регистрации, аутентификации, идентификации людей в системах контроля доступа и системах трансграничного контроля. Для поиска людей в системах видео наблюдений.The invention relates to automation and computer technology and can be used to create color images of faces with QR codes embedded in them with facial biometric and documentary information. Such color images of faces are designed to create test databases in the tasks of recognizing people, for registration, authentication, and identification of people in access control systems and cross-border control systems. To search for people in video surveillance systems.

Известен способ представления изображений лиц и его фенотипа в рамках QR-кода ("Simplification of face image using feature points" // Jung E., Kim J., Woo S., Kim S. - Proc. 5th International Conference on Soft Computing and Intelligent Systems, Okayama, Japan, 2010, P. 1071-1073). Способ основан представлении морфо- и фенотипа цветного изображения лица человека в компактной численной форме и реализуется так, что каждая отдельная часть лица (волосы, брови, губы и кожа лица) представляется одним значением компонент "Red", "Green","Blue" и одним общим вербальным представлением соответствующей цветовой гаммы. Недостатком способа является чрезвычайно упрощенное представление информации о лице, его примитивах и его фенотипе, что оказалось недостаточным в целях дальнейшего использования этой сборной информации в практических приложениях. Кроме того, авторы этого способа столкнулись с проблемой невозможности размещения даже этой информации в рамках QR-кодов для реальных размеров и характеристик фенотипов изображений лиц.There is a method of presenting images of faces and its phenotype within the QR code ("Simplification of face image using feature points" // Jung E., Kim J., Woo S., Kim S. - Proc. 5th International Conference on Soft Computing and Intelligent Systems, Okayama, Japan, 2010, P. 1071-1073). The method is based on presenting the morpho and phenotype of a color image of a person’s face in a compact numerical form and is implemented so that each individual part of the face (hair, eyebrows, lips and facial skin) is represented by one value of the components “Red”, “Green”, “Blue” and one common verbal representation of the corresponding color scheme. The disadvantage of this method is the extremely simplified presentation of information about the person, his primitives and his phenotype, which turned out to be insufficient for the further use of this combined information in practical applications. In addition, the authors of this method faced the problem of the impossibility of placing even this information in the framework of QR codes for the real sizes and characteristics of phenotypes of facial images.

Известен способ представления лицевой биометрической информации в форме штрих-кода "Способ формирования штрих-кода по изображениям лиц и устройство для его осуществления" (патент RU 2542886, Бюллетень №6 от 27.02.2015). Способ основан на процедуре анализа входного изображения лица и коррекции изображения по размеру, экстракции набора признаков, представляющих лицо, преобразовании значений признаков в окончательный штрих-код. Недостатком способа является его ориентация на символики линейных штриховых кодов EAN (European Article Number), имеющих ограниченную информационную емкость, не допускающую возможность записи буквенной информации и специальных цифровых знаков. Следствием этого является невозможность записи в этих символиках необходимой информации о лице, а также и самого изображения лица.There is a method of presenting facial biometric information in the form of a bar code "Method for forming a bar code from facial images and a device for its implementation" (patent RU 2542886, Bulletin No. 6 of 02.27.2015). The method is based on the procedure for analyzing the input image of the face and correcting the image by size, extracting a set of features representing the face, converting the values of the features into a final bar code. The disadvantage of this method is its orientation to the symbols of linear bar codes EAN (European Article Number), which have a limited information capacity that does not allow the ability to record alphabetic information and special digital characters. The consequence of this is the inability to record in these symbols the necessary information about the face, as well as the image of the face itself.

Основными недостатками перечисленных способов является принципиальная неосуществимость реализации штриховых кодов с более широким представлением биометрической и документальной информации о лицах, а также незащищенность от несанкционированного доступа к биометрической информации, записанной в штрих-коды. Кроме того, ни один из этих способов не допускает возможности представления в рамках штрих-кодов изображений лиц, как отдельных графических объектов. В совокупности все это снижает возможности широкого применения предложенных решений штрихового кодирования в биометрии и универсальность его использования в приложениях биометрии.The main disadvantages of these methods is the fundamental impossibility of implementing barcodes with a wider representation of biometric and documentary information about individuals, as well as insecurity from unauthorized access to biometric information recorded in barcodes. In addition, none of these methods allows the possibility of representing within the barcodes images of faces as separate graphic objects. Together, all this reduces the possibility of widespread use of the proposed solutions for bar coding in biometry and the versatility of its use in biometric applications.

Наиболее близким к предлагаемому изобретению и, принятому за прототип, является способ формирования цветных QR-кодов для задач лицевой биометрии (Кухарев Г.А., Казиева Н., Цымбал Д.А. "Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения" // Научно-технический вестник информационных технологий, механики и оптики, 2018. Т. 18. №1. С. 72-86. DOI: 10.17586/2226-1494-2018-18-1-72-86), который заключается в формировании цветного QR-кода на основе трех различных компонент, выбираемых из состава полутоновых изображений лиц и полутоновых QR-кодов, - путем их размещения на местах слоев "Red", "Green" и "Blue" формируемого цветного QR-кода, причем биометрическую и документальную информацию о изображении лица содержат полутоновые QR-коды, входящие в цветной QR-код.Closest to the proposed invention and adopted as a prototype is a method for generating color QR codes for facial biometrics problems (Kuharev G.A., Kazieva N., Tsymbal D.A. "Bar coding technologies for facial biometrics problems: current status and new solutions "// Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018. V. 18. No. 1. P. 72-86. DOI: 10.17586 / 2226-1494-2018-18-1-72-86), which consists in the formation of a color QR code based on three different components, selected from the composition of grayscale images of faces and sex tonal QR codes - by placing them on the places of the "Red", "Green" and "Blue" layers of the generated color QR code, moreover, the biometric and documentary information about the face image contains halftone QR codes included in the color QR code.

В способе, входные данные представлены цветным изображением лица, оригинальный размер которого определяется как: М × N × 3, где М и N - число строк и столбцов изображения, причем М>N. Далее в способе выполняют корректировку оригинального размера изображения лица с учетом выбранного размера генерируемого QR-кода, размер которого MQR × MQR определяется соотношением MQR = 17+4 × V, для целых значений параметра V - версий QR-кодов 1<V≤40. Тогда, если MQR>М, то входное изображение увеличивается до размера MQR × (MQR(N/M)). В противном случае входное изображение уменьшается до размера MQR × (MQR(N/M));In the method, the input data is represented by a color image of a person whose original size is defined as: M × N × 3, where M and N are the number of rows and columns of the image, with M> N. Further, in the method, the original face image size is corrected taking into account the selected size of the generated QR code, the size of which is M QR × M QR is determined by the ratio M QR = 17 + 4 × V, for integer values of the parameter V - versions of QR codes 1 <V≤ 40. Then, if M QR > M, then the input image is enlarged to the size of M QR × (M QR (N / M)). Otherwise, the input image is reduced to size M QR × (M QR (N / M));

Вычисляют координаты антропометрических точек лица, которые представляют основную биометрическую информацию;The coordinates of the anthropometric points of the face, which represent basic biometric information, are calculated;

Получают по отдельному входу документальную информацию и составляют сообщения по биометрической и документальной информации;Receive documentary information at a separate entrance and compose messages on biometric and documentary information;

Генерируют полутоновые QR-коды QRINFO и QRANTRO по сообщениям, представляя их матрицами размером MQR × MQR;Halftone QR codes generate QR INFO and QR ANTRO according to messages, representing them with matrices of size M QR × M QR ;

Выполняют декомпозицию цветного изображения лица на компоненты "R", "G" и "В" так, что:Decompose the color image of the face into components "R", "G" and "B" so that:

Figure 00000001
Figure 00000001

где I - цветное изображение после коррекции, размера MQR × MQR × 3;where I is the color image after correction, size M QR × M QR × 3;

Формируют цветной QR-код по выбранным из "R", "G", "В" компонентам и сгенерированным QR-кодам так, что:A color QR code is generated by the selected components from "R", "G", "B" and the generated QR codes so that:

Figure 00000002
Figure 00000002

где: QRXXX - матрица размером MQR × MQR × 3, представляющая формируемый цветной QR-код.where: QR XXX is a matrix of size M QR × M QR × 3, representing the generated color QR code.

Формирование цветного QR-кода по описанному способу связано с выполнением следующих процедур: анализа входного цветного изображения лица, определении оригинального размера изображения и его корректировки по выбранному размеру QR-кода, вычислении координат антропометрических точек лица, используемых в качестве основной биометрической информации о лице, подготовки оригинальных сообщений по биометрической информации и заданной документальной информации, генерации QR-кода " ANTRO" с биометрической информацией и QR-кода "INFO" с документальной информацией, выполнении декомпозиции цветного изображения лица на компоненты "R", "G" и "В", соответствующие полутоновым изображениям, формировании цветного QR-кода по трем различным компонентам из набора { "R", "G", "В" и полутоновых QR-кодов "ANTRO" и "INFO"}.The formation of a color QR code according to the described method is associated with the following procedures: analysis of the input color image of the face, determination of the original image size and its adjustment according to the selected size of the QR code, calculation of the coordinates of the anthropometric points of the face used as basic biometric information about the face, preparation original messages on biometric information and preset documentary information, generating the QR code "ANTRO" with biometric information and the QR code "INFO" with documentary and formation, decomposition of the color image of the face into components "R", "G" and "B", corresponding to grayscale images, the formation of a color QR code for three different components from the set {"R", "G", "B" and halftone QR codes "ANTRO" and "INFO"}.

Эти процедуры в явной форме определяют весь состав блоков устройства, реализующего способ, а последовательность выполнения процедур, определяет связи в устройстве. Это устройство для осуществления способа состоит из блока анализа входного цветного изображения, блока подготовки сообщений, блока генерации QR-кодов по сообщениям, блока декомпозиции цветного изображения, блока формирования цветных QR-кодов, причем первый вход устройства является входом блока анализа входного цветного изображения, первый выход которого соединен с первым входом блока подготовки сообщений, второй вход которого является вторым входом устройства, выход блока подготовки сообщений соединен со входом блока генерации QR-кодов, выход которого соединен с первым входом блока формирования цветных QR-кодов, второй вход которого соединен с выходом блока декомпозиции цветного изображения, вход которого соединен со вторым выходом блока анализа входного цветного изображения, выход блока формирования цветных QR-кодов является выходом устройства.These procedures explicitly determine the entire composition of the blocks of the device that implements the method, and the sequence of procedures determines the communication in the device. This device for implementing the method consists of an input color image analysis unit, a message preparation unit, a message QR code generation unit, a color image decomposition unit, a color QR code generation unit, the first input of the device being the input of an input color image analysis unit, the first the output of which is connected to the first input of the message preparation unit, the second input of which is the second input of the device, the output of the message preparation unit is connected to the input of the QR-code generation unit the output of which is connected to the first input of the color QR code generation unit, the second input of which is connected to the output of the color image decomposition unit, the input of which is connected to the second output of the input color image analysis unit, the output of the color QR code generation unit is the output of the device.

Недостатками прототипа являются: невозможность реконструкции цветного изображения лица по компонентам, входящим в биометрический цветной QR-код, поскольку он может содержать только две разных компоненты из трех - "R", "G" и "В"; нестабильность "прямого" чтения информации с цветных QR-кодов; а также необходимость одновременного использования нескольких типов цветного QR-кода для записи различных лицевых биометрических характеристик (например, кроме антропометрии, еще и фенотипа, и морфо типа и другие).The disadvantages of the prototype are: the impossibility of reconstructing the color image of the face according to the components included in the biometric color QR code, since it can contain only two different components of the three - "R", "G" and "B"; instability of "direct" reading of information from color QR codes; as well as the need for the simultaneous use of several types of color QR code for recording various facial biometric characteristics (for example, except for anthropometry, also the phenotype, and morpho type and others).

Решается задача совершенствования методов представления лицевой биометрической информации, введения дополнительной биометрической информации. Данная задача решается за счет достижения технического результата, заключающегося в повышении универсальности и защищенности информации, а также повышении надежности хранения биометрической и документальной информации в процессе обменных операций с памятью.The problem of improving the methods for presenting facial biometric information, introducing additional biometric information is being solved. This problem is solved by achieving a technical result, which consists in increasing the universality and security of information, as well as increasing the reliability of storage of biometric and documentary information in the process of exchange operations with memory.

Технический результат достигается за счет того, что способ встраивания биометрической информации в цветное изображение лица, заключающийся в выполнении анализа входного цветного изображения лица, определении оригинального размера изображения и его корректировки по выбранному размеру QR-кода, вычислении координат антропометрических точек лица, используемых в качестве основной биометрической информации о лице, подготовки оригинальных сообщений по биометрической информации и заданной документальной информации, генерации QR-кода "ANTRO" с биометрической информацией и QR-кода "INFO" с документальной информацией, выполнении декомпозиции цветного изображения лица на компоненты "R", "G" и "В", соответствующие полутоновым изображениям, и отличается от известного технического решения тем, что после вычисления координат антропометрических точек лица вычисляют значения яркости изображения лица, используемые в качестве дополнительной биометрической информации о фенотипа лица, подготавливают оригинальное сообщение по дополнительной биометрической информации, генерируют QR-код "PHENO" по этому сообщению, выполняют контрольную запись QR-кодов "ANTRO", "INFO" и "PHENO" в память и контрольное чтение их из памяти, выделяют LSB-слои полутоновых QR-кодов "ANTRO", "INFO" и "PHENO", выполняют встраивание этих LSB-слоев вместо LSB-слоев компонент "R", "G" и "В", после чего эти компоненты объединяют в цветное изображение, принимающее роль заполненного изображения-контейнера, и это цветное изображение-контейнер поступает на выход устройства.The technical result is achieved due to the fact that the method of embedding biometric information in the color image of the face, which consists in analyzing the input color image of the face, determining the original size of the image and adjusting it for the selected size of the QR code, calculating the coordinates of the anthropometric points of the face used as the main biometric information about a person, preparing original messages on biometric information and given documentary information, generating the QR code "ANTRO" with biometric information and the QR code "INFO" with documentary information, decomposition of the color image of the face into components "R", "G" and "B" corresponding to grayscale images, and differs from the known technical solution in that after calculating the coordinates of the anthropometric points faces calculate the brightness values of the face image used as additional biometric information about the phenotype of the face, prepare an original message from the additional biometric information, generate a QR code "PHENO" p about this message, they carry out control recording of QR codes "ANTRO", "INFO" and "PHENO" in memory and control reading them from memory, select LSB layers of grayscale QR codes "ANTRO", "INFO" and "PHENO", embed these LSB layers instead of the LSB layers of the "R", "G" and "B" components, after which these components are combined into a color image that assumes the role of a filled container image, and this color container image is output to the device.

Способ реализуется устройством встраивания биометрической информации в цветное изображение лица, включающим блок анализа входного цветного изображения, блок подготовки сообщений, блок генерации QR-кодов, блок декомпозиции цветного изображения, причем первый вход устройства является входом блока анализа входного цветного изображения, один выход которого соединен со входом блока декомпозиции цветного изображения, другой выход блока анализа входного цветного изображения соединен с одним входом блока подготовки сообщений, другой вход которого является вторым входом устройства, выход блока подготовки сообщений соединен со входом блока генерации QR-кодов, и отличающимся от известного технического решения тем, что в него ведены блок записи QR-кодов в память и чтения из памяти, блок выделения LSB-слоя из QR-кодов, блок встраивания QR-кодов в изображение-контейнер, причем выход блока генерации QR-кодов соединен со входом блока записи QR-кодов в память и чтения из памяти, выход которого соединен со входом блока выделения LSB-слоя из QR-кодов, выход которого соединен с одним входом блока встраивания QR-кодов в изображение-контейнер, другой вход которого соединен с выходом блока декомпозиции цветного изображения, а выход блока встраивания QR-кодов в изображение-контейнер является выходом устройства.The method is implemented by a device for embedding biometric information in a color image of a face, including an input color image analysis unit, a message preparation unit, a QR code generation unit, a color image decomposition unit, the first input of the device being an input of an input color image analysis unit, one output of which is connected to the input of the decomposition unit of the color image, the other output of the analysis unit of the input color image is connected to one input of the message preparation unit, the other input to otorogo is the second input of the device, the output of the message preparation unit is connected to the input of the QR-code generation unit, and differs from the well-known technical solution in that it contains a unit for recording QR codes in memory and reading from memory, an LSB layer allocation block from QR -codes, a block for embedding QR codes in an image container, wherein the output of the QR-codes generation unit is connected to the input of the QR-codes recording unit into memory and readings from the memory, the output of which is connected to the input of the LSB layer allocation block from QR codes, the output of which is connected to one input of the unit in traivaniya QR-codes in the image container, the other input of which is connected to the output of the color image decomposition, and an output unit embedding a QR-code-image output device is a container.

Совершенствование методов представления лицевой биометрической и документальной информации, достигается возможностью использования различных биометрических характеристик лица, вычисляемых на этапе анализа входного изображения лица, и дополнением каждой биометрической характеристики краткой документальной информацией из основного ее содержания, а также сохранением всей лицевой информации в стандартных QR-кодах, встраиваемых, как "водяные знаки" в LSB-слои (Least Significant Bit) компонент "R", "G" и "В" входного цветного изображения лица. При этом, входное цветное изображение лица, изначально являющееся пустым изображением-контейнером, после встраивания в него QR-кодов, с вложенной в них информацией, становится заполненным цветным изображением-контейнером, компактно представляющим входное цветное изображение лица и всю лицевую биометрическую и документальную информацию о нем.Improving the methods for presenting facial biometric and documentary information is achieved by the ability to use various facial biometric characteristics, calculated at the stage of analyzing the input image of the face, and supplementing each biometric characteristic with brief documentary information from its main content, as well as storing all facial information in standard QR codes, embedded as “watermarks” in the LSB layers (Least Significant Bit) of the “R”, “G” and “B” components of the input color image of the face. At the same time, the input color image of the face, which was originally an empty container image, after embedding QR codes in it with the information embedded in them, becomes a filled color image container that compactly represents the input color image of the face and all facial biometric and documentary information him.

Повышение защищенности, универсальности и сохранности лицевой информации, достигается использованием встроенных во входное изображение лица QR-кодов - как хранителей и носителей этой информации, что обеспечит защиту этой информации через ограничение открытого доступа к ней, а также создает условия для обмена информации по универсальным стандартам и международным каналам без потери какой-либо ее части и/или ее подмены. При этом встроенные в цветное изображение QR-коды не обнаруживают факта своего существования в нем, а вложенная в QR-коды информация может быть прочитана и расшифрована только в соответствии с правилом подготовки исходных сообщений при генерации QR-кодов.Improving the security, versatility and safety of facial information is achieved by using the QR codes embedded in the input image of the face as custodians and carriers of this information, which will protect this information by restricting open access to it, and also create conditions for the exchange of information according to universal standards and international channels without loss of any part of it and / or its substitution. At the same time, the QR codes embedded in the color image do not detect the fact of their existence in it, and the information embedded in the QR codes can be read and decoded only in accordance with the rule for preparing the initial messages when generating QR codes.

В совокупности, все отмеченные факторы позволят расширить рамки применения полученного по предлагаемому способу цветного изображения лица, не только в биометрии, но и в цифровой антропометрии, криминалистике, медицинских морфологических исследованиях и других приложениях, а также позволят создавать новые виды тестовых баз изображений лиц для подобных приложений.In aggregate, all the factors noted will expand the scope of application of the color image of the face obtained by the proposed method, not only in biometry, but also in digital anthropometry, forensic science, medical morphological studies and other applications, and also allow the creation of new types of test databases of facial images for such applications.

Сущность изобретения поясняется рисунками:The invention is illustrated by drawings:

на фиг. 1 отображена схема процесса встраивания биометрической информации в цветные изображения лиц;in FIG. 1 shows a diagram of the process of embedding biometric information in color images of faces;

на фиг. 2 изображена структурная схема устройства;in FIG. 2 shows a block diagram of a device;

на фиг. 3 представлена процедура коррекции размера входного цветного изображения (здесь и далее, в качестве примера входного изображения лица использовано изображение тестовой базы CUHK Face Sketch Database CUFS, размещенной на сайте: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html - X. Wang and X. Tang, "Face Photo-Sketch Synthesis and Recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol. 31, 2009).in FIG. Figure 3 shows the procedure for adjusting the size of the input color image (hereinafter, as an example of the input image of the face, we used the image of the CUHK Face Sketch Database CUFS test base located on the site: http://mmlab.ie.cuhk.edu.hk/archive/facesketch .html - X. Wang and X. Tang, "Face Photo-Sketch Synthesis and Recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol. 31, 2009).

на фиг. 4 представлен результат отображения вычисленных координат АПТ на изображении лица и QR-код, с вложенной в него биометрической информацией.in FIG. 4 shows the result of displaying the calculated coordinates of the APT on the face image and a QR code with biometric information embedded in it.

на фиг. 5 представлены графики значений яркости пикселей в координатах антропометрических точек, представляющих характеристику фенотипа лица, и показан соответствующий QR-код, с вложенной в него дополнительной информацией о фенотипе.in FIG. 5 shows graphs of pixel brightness values in the coordinates of anthropometric points representing the characteristics of the phenotype of the face, and the corresponding QR code is shown, with additional information on the phenotype embedded in it.

на фиг. 6 представлены три компоненты "R", "G" и "В" и составляющие их битовые слои для входного цветного изображения в состоянии, когда это изображение "является еще пустым изображением-контейнером"in FIG. 6 shows three components “R”, “G” and “B” and their constituent bit layers for the input color image in a state where this image “is still an empty container image”

на фиг. 7 представлены три компоненты "R", "G" и "В" входного цветного изображения, перешедшего в состояние "заполненного изображение-контейнера", причем LSB-слои компонент R", "G" и "В" содержат соответствующие QR-коды: "ANTRO", "INFO" и "PHENO", а также раскрыты все остальные битовые слои;in FIG. 7 shows three components "R", "G" and "B" of the input color image, which has switched to the "filled image-container" state, and the LSB layers of the components R "," G "and" B "contain the corresponding QR codes: "ANTRO", "INFO" and "PHENO", as well as all other bit layers;

на фиг. 8 представлены три компоненты входного цветного изображения с иными, чем на фигуре 6, вложенными QR-кодами. Здесь, вместо QR-кода "PHENO", использован второй QR-код с дополнительной документальной информацией - QR-код "INFO LAB", и этот QR-код встроен в LSB-слой компоненты "В".in FIG. Figure 8 shows the three components of the input color image with other than the figure 6, embedded QR codes. Here, instead of the QR code "PHENO", the second QR code with additional documentary information was used - the QR code "INFO LAB", and this QR code is embedded in the LSB layer of component "B".

на фиг. 9 представлена компонента "R" цветного изображения в трех состояниях: - в исходном состоянии с оригинальным LSB-слоем; - как заполненное изображение-контейнер -то есть со встроенным QR-кодом "INFO" в LSB-слой компоненты "R"; - с отображением уровня яркости - взвешенной кумулятивной суммы по текущим слоям;in FIG. 9 shows the “R” component of a color image in three states: - in the initial state with the original LSB layer; - as a filled image-container, that is, with the built-in QR code "INFO" in the LSB layer of the "R" component; - with the display of the brightness level - the weighted cumulative sum of the current layers;

на фиг. 10 представлена компонента "R" (полутоновое изображение лица), как заполненное изображение-контейнер, прочитанный из нее QR-код "ANTRO", прочитанные из QR-кода координаты антропометрических точек, представленные в регулярной сетке, и другая биометрическая информация: изображение лица с нанесенными на него антропометрическими точками по оригинальным данным и «круги» по прочитанным данным.in FIG. Figure 10 shows the “R” component (grayscale face image), as a filled container image, the “ANTRO” QR code read from it, the coordinates of the anthropometric points read from the QR code and presented in a regular grid, and other biometric information: a face image with anthropometric points plotted on it according to the original data and “circles” according to the read data.

на фиг. 11 представлен пример документальных сообщений-оригиналов и скриншот этапа их сравнения с прочитанными сообщениями из QR-кодов "INFO" и "INFO LAB".in FIG. 11 shows an example of original documentary messages and a screenshot of the stage of their comparison with read messages from QR codes "INFO" and "INFO LAB".

Способ встраивания биометрической информации в цветные изображения лиц схематически показан на фиг. 1 и отмечен стрелками, направленными слева на право от входного цветного изображения (как пустого изображения-контейнера к заполненному). При этом, биометрическая информация (координаты антропометрических точек лица и значения яркости пикселей изображения лица в этих координатах - как интегральной характеристики фенотипа лица, размер входного изображения и морфометрические параметры лица), получаются непосредственно из входного цветного изображения лица. Необходимая документальная информация поступает вместе с исходным цветным изображением лица, как сопровождающий документ. По вычисленной биометрической и полученной документальной информации подготавливаются исходные сообщения, по которым далее генерируются три QR-кода. LSB-слои QR-кодов встраиваются в компоненты "R", "G" и "В" входного цветного изображения путем замещения их LSB-слоев и, таким образом, представляют собой "водяные знаки в виде QR-кодов" в каждой из компонент "R", "G" и "В". Далее эти компоненты объединяют в выходное цветное изображение, которое по факту становится заполненным изображением-контейнером.A method for embedding biometric information in color images of faces is shown schematically in FIG. 1 and is marked by arrows pointing left to right from the input color image (as an empty container image to a filled one). At the same time, biometric information (the coordinates of the anthropometric points of the face and the brightness values of the pixels of the face image in these coordinates - as an integral characteristic of the face phenotype, size of the input image and morphometric parameters of the face) are obtained directly from the input color image of the face. The necessary documentary information comes with the original color image of the face, as an accompanying document. Based on the calculated biometric and received documentary information, initial messages are prepared according to which three QR codes are further generated. LSB layers of QR codes are embedded in the “R”, “G” and “B” components of the input color image by replacing their LSB layers and, thus, are “watermarks in the form of QR codes” in each of the components R "," G "and" B ". Further, these components are combined into an output color image, which in fact becomes a filled image container.

Изображенное на фиг. 2 устройство встраивания биометрической информации в цветное изображение лица, содержит блок анализа входного цветного изображения (БАВЦИ) 1, блок подготовки сообщений (БПС) 2, блок генерации QR-кодов (BГQR) 3, блок декомпозиции цветного изображения (БДЦИ) 4, блок записи QR-кодов в память и чтения из памяти (B3QR) 5, блок выделения LSB-слоя из QR-кодов (БBLSB) 6, блок встраивания QR-кодов в контейнер (БBQRK) 7, причем первый вход устройства является входом блока анализа входного цветного изображения, один выход которого соединен со входом блока декомпозиции цветного изображения, другой выход блока анализа входного цветного изображения соединен с одним входом блока подготовки сообщений, другой вход которого является вторым входом устройства, выход блока подготовки сообщений соединен со входом блока генерации QR-кодов, выход блока генерации QR-кодов соединен со входом блока записи QR-кодов в память и чтения из памяти, выход которого соединен со входом блока выделения LSB-слоя из QR-кодов, выход которого соединен с одним входом блока встраивания QR-кодов в контейнер, другой вход которого соединен с выходом блока декомпозиции цветного изображения, а выход блока встраивания QR-кодов в контейнер является выходом устройства.Depicted in FIG. 2, a device for embedding biometric information in a color image of a face, comprises an input color image analysis unit (BAVCI) 1, a message preparation unit (BPS) 2, a QR-code generation unit (BGQR) 3, a color image decomposition unit (BDCI) 4, a recording unit QR codes in memory and readings from memory (B3QR) 5, a block for extracting the LSB layer from QR codes (BBLSB) 6, a block for embedding QR codes in a container (BBQRK) 7, the first input of the device being the input of the input color analysis block image, one output of which is connected to the input of the color decomposition unit image, the other output of the input color image analysis unit is connected to one input of the message preparation unit, the other input of which is the second input of the device, the output of the message preparation unit is connected to the input of the QR code generation unit, the output of the QR code generation unit is connected to the input of the recording unit QR codes in the memory and readings from the memory, the output of which is connected to the input of the LSB layer allocation block from QR codes, the output of which is connected to one input of the block of embedding QR codes in a container, the other input of which is connected to the output the decomposition unit of the color image, and the output of the embedding unit of QR codes in the container is the output of the device.

На первый вход устройства подается цветное цифровое изображение лица, причем лицо на изображении являются единственным объектом, занимает более 80% площади изображения и не требуют выполнения детекции лиц.A digital digital image of the face is fed to the first input of the device, and the face in the image is the only object that occupies more than 80% of the image area and does not require face detection.

В блоке 1 выполняется анализ входного изображения, включающий определение и корректировку оригинального размера изображения лица, определение координат антропометрических точек, значений яркости в этих координатах, и другие необходимые морфометрические данные. На этом этапе реализуются способы, представленные: в монографии «Методы обработки и распознавания изображений лиц в задачах биометрии». -Под ред. М.В. Хитрова - СПб: Политехника/2013 и статье Kazemi V., Sullivan J. "One millisecond face alignment with an ensemble of regression trees" // Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA, 2014. P. 1867-1874.In block 1, the analysis of the input image is performed, including the determination and adjustment of the original size of the face image, the determination of the coordinates of the anthropometric points, the brightness values in these coordinates, and other necessary morphometric data. At this stage, the methods presented are implemented: in the monograph "Methods of processing and recognition of facial images in biometrics problems". -Ed. M.V. Khitrova - St. Petersburg: Polytechnic / 2013 and article by Kazemi V., Sullivan J. "One millisecond face alignment with an ensemble of regression trees" // Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA, 2014. P. 1867-1874.

Пусть оригинальный размер цветного изображения лица определяется тремя измерениями: М × N × q, где М и N - число строк и столбцов изображения, причем М>N и a q=3, для цветных изображений. Корректировка оригинального размера изображения лица, выполняется с учетом размеров генерируемого QR-кода, размер которого MQR × MQR определяется соотношением MQR = 17+4 × V, для целых значений параметра версий QR-кодов 1<V≤40.Let the original size of a color image of a face be determined by three dimensions: M × N × q, where M and N are the number of rows and columns of the image, with M> N and aq = 3, for color images. Correction of the original size of the face image is performed taking into account the size of the generated QR code, the size of which is M QR × M QR is determined by the ratio M QR = 17 + 4 × V, for integer values of the version parameter of QR codes 1 <V≤40.

Тогда, если MQR>М, то входное изображение увеличивается до размера MQR × [MQR(N/М)). В противном случае входное изображение уменьшается до размера MQR × (MQR(N/M)). При этих операциях (увеличения и уменьшения) учитывается пропорция между шириной и высотой лица. Заканчивается корректировка "присоединением" к полученному результату белых полей с яркостью 255, выравнивающих ширину изображения до величины MQR. Оригинальный размер цветного изображения лица сохраняется для последующей записи в биометрический QR-код. Примеры описанных корректировок показаны на фиг. 3.Then, if M QR > M, then the input image is enlarged to the size of M QR × [M QR (N / M)). Otherwise, the input image is reduced to size M QR × (M QR (N / M)). In these operations (increase and decrease), the proportion between the width and height of the face is taken into account. Correction ends by "attaching" to the result white fields with a brightness of 255, aligning the image width to the value of M QR . The original size of the color image of the face is saved for subsequent recording in a biometric QR code. Examples of the described adjustments are shown in FIG. 3.

В блоке 2 реализуется подготовка исходных сообщений путем компоновки в данные типа "строка", полученных в блоке 1 цифровых данных биометрической информации и буквенно-цифровых данных документальной информации, поступающих со входа 2. Здесь реализуются способы, подробно представленные в статье Кухарев Г.А., Казиева Н., Цымбал Д.А. "Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения" // Научно-технический вестник ИТМО, 2018. Т. 18. №1. С. 72-86.In block 2, the preparation of the initial messages is implemented by compiling into the data of the "string" type obtained in block 1 of digital data of biometric information and alphanumeric data of documentary information coming from input 2. Here, the methods described in detail in the article by G. Kuharev are implemented , Kazieva N., Tsymbal D.A. “Bar coding technologies for facial biometrics problems: current status and new solutions” // Scientific and Technical Bulletin ITMO, 2018. V. 18. No. 1. S. 72-86.

Так, например, на основе 68 вычисленных координат АПТ лица:So, for example, based on 68 calculated coordinates of the face APT:

Figure 00000003
Figure 00000003

двух значений размера изображения лица, содержащего М строк и N столбцов, и имени лица, например,

Figure 00000004
составляется следующее сообщение M1:two face image size values containing M rows and N columns, and a face name, for example,
Figure 00000004
The following M1 message is compiled:

Figure 00000005
Figure 00000005

которое для конкретных данных приобретает, например, следующий вид:which for specific data takes, for example, the following form:

Figure 00000006
Figure 00000006

Здесь знак "#" выполняет роль разделителя для отделения имени лица от числовой информации (что используется, например, при расшифровке сообщения из QR-кода).Here, the "#" sign acts as a separator for separating a person’s name from numerical information (which is used, for example, when decrypting a message from a QR code).

Значения яркости пикселей цветного изображения лица в 68 координатах АПТ в исходном виде представляются как массив размером 68×3 числовых значений, а в форме сообщения-оригинала - как строка из 204 чисел, образованных в результате конкатенации 68×3 числовых значений. При этом сообщение М2 принимает вид:The brightness values of the pixels of the color image of the face in 68 coordinates of the APT in the initial form are represented as an array of 68 × 3 numerical values, and in the form of the original message, as a string of 204 numbers formed as a result of the concatenation of 68 × 3 numerical values. In this case, the message M2 takes the form:

Figure 00000007
Figure 00000007

где:

Figure 00000008
Where:
Figure 00000008

Документальная информация, представляющая, например, тестовую базу изображений лиц: CUHK Face Sketch Database (CUFS), оригинальное имя входного изображения лица: 'photo: f-039-01.jpg'Documentary information, for example, representing the face image test base: CUHK Face Sketch Database (CUFS), the original name of the face input image: 'photo: f-039-01.jpg'

и сайт, где находится эта база:and the site where this database is located:

http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html записывается тремя короткими сообщениями со своими знаками-разделителями:http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html is written in three short messages with their separator characters:

Figure 00000009
Figure 00000009

которые далее объединяются в общее сообщение-оригинал:which are further combined into a common original message:

Figure 00000010
Figure 00000010

Сообщения сохраняют семантическую структуру цифровых данных биометрической информации и структуру документальной информации, что упрощает как процесс генерации по ним QR-кодов, так и их декодирование и чтение сообщений из них.Messages preserve the semantic structure of digital data of biometric information and the structure of documentary information, which simplifies the process of generating QR codes from them, as well as their decoding and reading messages from them.

В блоке 3 реализуется процедура генерации бинарных QR-кодов в соответствии с " Программой онлайн генерации QR-кода с координатами антропометрических точек изображения лица"(свидетельство №2018612643 по дате 21.02.2018), реализации этихIn block 3, the procedure for generating binary QR codes is implemented in accordance with the "Program for online generation of QR code with the coordinates of anthropometric points of the image of the face" (certificate No. 2018612643 dated February 21, 2018), the implementation of these

процедур представлены в статье: Казиева Н. "Модуль онлайн-системы генерации QR-кода с координатами антропометрических точек изображения лица" // Сборник трудов VII Всероссийского конгресса молодых ученых (Санкт-Петербург, 17-20 апреля 2018 г.) - 2018. Т. 2. - С. 28-30. Так, на Фиг. 3 показано входное цветное изображение лица с антропометрическими точками на нем и результат генерации QR-кода "ANTRO" - по данным антропометрическим точкам лица и его имени, а также результат генерации QR-кода "INFO" - по документальным данным, приведенным выше при описании функций блока 2. Под всеми изображениями показаны их размеры. QR-коды сгенерированы как бинарные и для порядка матриц MQR=117 их представляющих, что соответствует значению параметра V=25;of the procedures are presented in the article: N. Kazieva “Module of an online system for generating a QR code with coordinates of anthropometric points for facial images” // Proceedings of the VII All-Russian Congress of Young Scientists (St. Petersburg, April 17–20, 2018) - 2018. . 2. - S. 28-30. So in FIG. Figure 3 shows the input color image of the face with anthropometric points on it and the result of the generation of the QR code "ANTRO" according to the anthropometric points of the face and its name, as well as the result of the generation of the QR code "INFO" according to the documentary data given above when describing the functions block 2. Under all the images shown their size. QR codes are generated as binary and for the order of the matrices MQR = 117 representing them, which corresponds to the value of the parameter V = 25;

Для различных приложений биометрии, могут быть опционально сгенерированы и другие комплектации QR-кодов. Например, один с биометрической информацией, а два с документальной информацией - базовой и расширенной, или все три QR-кода с биометрической информацией. Так на фигуре 5 приведены значения яркости цветного изображения лица в 68 координатах антропометрических точек. Эти значения яркости можно интерпретировать как интегральную характеристику фенотипа лица, а соответствующий QR-код "PHENO" показан справа на фигуре 5.For various biometric applications, other complete sets of QR codes can be optionally generated. For example, one with biometric information, and two with documentary information - basic and advanced, or all three QR codes with biometric information. So the figure 5 shows the brightness values of the color image of the face in 68 coordinates of anthropometric points. These brightness values can be interpreted as an integral characteristic of the phenotype of the face, and the corresponding QR code "PHENO" is shown on the right in figure 5.

Однако общее число используемых далее QR-кодов остается не более трех.However, the total number of QR codes used below remains no more than three.

В блоке 4 выполняется декомпозиция входного цветного изображения на три компоненты "R", "G" и "В", что математически можно представить как:In block 4, the input color image is decomposed into three components "R", "G" and "B", which mathematically can be represented as:

Figure 00000011
Figure 00000011

где I - входное цветное изображение, представляемое матрицей MQR × MQR × 3.where I is the input color image represented by the matrix M QR × M QR × 3.

В результате этого получаем три матрицы размером MQR × MQR, причем каждая из них содержит по восемь битовых слоев.As a result of this, we obtain three matrices of size M QR × M QR , and each of them contains eight bit layers.

В блоке 5 выполняются контрольная запись QR-кодов в память и чтение их из памяти. При этом, QR-коды записываются в память как полутоновые в формате ".png", чем достигается их представление без шумов сжатия, обеспечивается полное сохранение информации в обменных операциях с памятью, а также неискаженное шумом восстановление записанной информации при дальнейшем представлении QR-кодов в форме LSB - слоев (слоев с наименее значащими битами).In block 5, control recording of QR codes in memory and reading them from memory are performed. At the same time, QR codes are recorded in the memory as grayscale in the “.png” format, which ensures their presentation without compression noise, ensures complete storage of information in exchange operations with memory, as well as noise-undisturbed restoration of the recorded information during further presentation of QR codes in LSB form - layers (layers with least significant bits).

В блоке 6 выделяются LSB-слои из полутоновых QR-кодов, полученных из блока 5. Выделение реализуется с помощью процедуры "взятия по модулю 2" следующим способом:In block 6, LSB layers are selected from halftone QR codes obtained from block 5. The allocation is carried out using the “modulo 2 capture” procedure in the following way:

LSBQR = (QR)mod2,LSB QR = (QR) mod2,

где: QR - полутоновый QR-код размером MQR × MQR, содержащий 8 одинаковых слоев;where: QR - grayscale QR-code size M QR × M QR , containing 8 identical layers;

LSBQR - младший битовый слой размером MQR × MQR;LSB QR - low-order bit layer of size M QR × M QR ;

mod2 - операция взятия по модулю 2.mod2 - take operation modulo 2.

Тогда для трех QR-кодов - "ANTRO", "INFO" и "PHENO" получаем три слоя LSB:Then for three QR codes - "ANTRO", "INFO" and "PHENO" we get three LSB layers:

Figure 00000012
Figure 00000012

Figure 00000013
Figure 00000013

В блоке 7 выполняется встраивание выделенных LSB-слоев QR-кодов на место LSB-слоев компонент "R", "G" и "В" входного цветного изображения. Это достигается выполнением двух следующих действий: 1. Выполнением следующих трех операций матричной алгебры:In block 7, the selected LSB layers of QR codes are embedded into the place of the LSB layers of the “R”, “G”, and “B” components of the input color image. This is achieved by performing the following two steps: 1. By performing the following three operations of matrix algebra:

Figure 00000014
Figure 00000014

где: RQR, GQR, BQR - компоненты "R", "G" и "В" со встроенными в них QR-кодами.where: R QR , G QR , B QR - components "R", "G" and "B" with QR codes embedded in them.

Таким образом, по завершению действия "1", каждая компонента из состава RQR, GQR, BQR содержит встроенный в нее соответствующий QR-код с записанным в него оригинальным сообщением.Thus, upon completion of action "1", each component from the composition of R QR , G QR , B QR contains a corresponding QR code built into it with the original message recorded in it.

2. Выполнением процедуры записи компонент RQR, GQR, BQR в общий графический объект IQR, который снова становится цветным изображением лица:2. By performing the recording procedure of the components R QR , G QR , B QR into the general graphic object I QR , which again becomes a color image of the face:

Figure 00000015
Figure 00000015

где IQR - матрица размером MQR × MQR × 3, представляющая собой заполненное изображение-контейнер.where I QR is a matrix of size M QR × M QR × 3, which is a filled image container.

По завершению действия 2, цветное изображение лица IQR становится "заполненным изображением-контейнером", с вложенными в него тремя QR-кодами, содержащими записанные в них оригинальные сообщения.Upon completion of step 2, the color image of the face I QR becomes a “filled image-container”, with three QR codes embedded in it containing the original messages recorded in them.

Для более полного и ясного понимания внутренней "трансформации" трех компонент IQR, GQR, BQR при переходе от входного цветного изображения I к заполненному изображению-контейнеру IQR, представим графические примеры на Фиг. 6 - Фиг. 9.For a more complete and clear understanding of the internal "transformation" of the three components I QR , G QR , B QR during the transition from the input color image I to the filled image-container I QR , we present graphical examples in FIG. 6 - FIG. 9.

На Фиг. 6 представлены три компоненты "R", "G" и "В" и составляющие их битовые слои для входного цветного изображения в состоянии, когда это изображение "является еще пустым изображением-контейнером" (показанным ранее на Фиг. 3). Цифрами 1-8 отмечены номера слоев. И обратим внимание на то, что во всех компонентах LSB-слои (битовый слой 1) более всего напоминают случайные поля светлых и темных пикселей. Именно эти LSB-слои будут заменены соответствующими QR-кодами.In FIG. Figure 6 shows the three components "R", "G" and "B" and their constituent bit layers for the input color image in a state where this image is "still an empty container image" (shown earlier in Fig. 3). Numbers 1-8 indicate layer numbers. And we pay attention to the fact that in all components the LSB layers (bit layer 1) most resemble random fields of light and dark pixels. It is these LSB layers that will be replaced with the corresponding QR codes.

На Фиг. 7 показаны три компоненты входного цветного изображения, уже перешедшего в состояние "заполненного изображения-контейнера". Цифрами 1-8 отмечены номера слоев. LSB-слои компонент R", "G" и "В" содержат соответствующие QR-коды: "ANTRO", "INFO" и "PHENO". Видно, что структура этих LSB-слоев отличается от шумовых данных (показанных выше на Фиг. 6), поскольку оригинальный LSB-слой во всех компонентах был замещен соответствующим QR-кодом. При этом битовые слои со второго по восьмой, являются оригинальными для каждой компоненты и не изменяются в процессе встраивания QR-кодов в LSB-слои (слой 1).In FIG. 7 shows three components of an input color image that has already transitioned to the state of a “filled image container”. Numbers 1-8 indicate layer numbers. The LSB layers of the R, G, and B components contain the corresponding QR codes: ANTRO, INFO, and PHENO. It can be seen that the structure of these LSB layers is different from the noise data (shown above in FIG. 6), since the original LSB layer in all components was replaced with the corresponding QR code, while the second to eighth bit layers are original for each component and do not change during the embedding of QR codes in LSB layers (layer 1).

Заметим, что порядок размещения QR-кодов в компонентах "R", "G" и "В" может быть и другой, также, как и любыми другими могут быть и сгенерированные в блоке 3 QR-коды (о чем было отмечено выше). В дополнение к этому замечанию, на Фиг. 8 и Фиг. 9 приведены соответствующие примеры.Note that the order of placement of QR codes in the components "R", "G" and "B" can be different, as well as any other QR codes generated in block 3 (as noted above). In addition to this remark, in FIG. 8 and FIG. 9 shows relevant examples.

На Фиг. 8 показаны три компоненты входного цветного изображения с иными, чем на фигуре 7, вложенными QR-кодами. Здесь, вместо QR-кода "PHENO", использован второй QR-код с дополнительной документальной информацией - QR-код "INFO LAB", и этот QR-код встроен в LSB-слой компоненты "В". При этом, QR-код "INFO LAB" - представляет документальную информацию о лаборатории, выполняющей исследования по тематике "биометрические цветные QR-коды". Полностью сообщение можно посмотреть на фиг. 11. На Фиг. 9 показана компонента "R" цветного изображения в трех состояниях:In FIG. Figure 8 shows the three components of the input color image with other than the figure 7, embedded QR codes. Here, instead of the QR code "PHENO", the second QR code with additional documentary information was used - the QR code "INFO LAB", and this QR code is embedded in the LSB layer of component "B". At the same time, the QR code "INFO LAB" - represents documentary information about the laboratory performing research on the subject of "biometric color QR codes." The full message can be seen in FIG. 11. In FIG. 9 shows the “R” component of a color image in three states:

- в исходном состоянии (то есть, как как пустое изображение-контейнер) с оригинальным LSB-слоем;- in the initial state (that is, as if it were an empty container image) with the original LSB layer;

- как заполненное изображение-контейнер - то есть со встроенным QR-кодом "INFO" в LSB-слой компоненты "R";- as a filled image container — that is, with the built-in QR code “INFO” in the LSB layer of the “R” component;

- с отображением уровня яркости - взвешенной кумулятивной суммы по текущим- with display of brightness level - weighted cumulative sum of current

слоям.layers.

Отображение уровней яркости, в форме взвешенных кумулятивных сумм (CumSum) по текущим слоям, получаются следующим образом:The display of brightness levels, in the form of weighted cumulative sums (CumSum) for the current layers, are obtained as follows:

Figure 00000016
Figure 00000016

где: S(i) - i-й слой, определяемый для всех i, как бинарная матрица порядка MQR;where: S (i) is the i-th layer, defined for all i, as a binary matrix of order M QR ;

Figure 00000017
- весовой коэффициент, учитывающий позицию слоя;
Figure 00000017
- weight coefficient taking into account the position of the layer;

CumSum(j) - числовая матрица размером MQR×MQR, значения которой определяются целыми положительными числами d≤255. При j=8, эта матрица представляет полутоновое изображение.CumSum (j) is a numerical matrix of size MQR × MQR, the values of which are determined by positive integers d≤255. For j = 8, this matrix represents a grayscale image.

На фиг. 8 видно, как восстанавливается внешний вид полутонового изображения лица от слоя к слою, причем в конечном кумулятивном результате совершенно не видно шумов наложения от вложенного в компоненту "R" QR-кода. Это происходит потому, что LSB-слой (или встроенный QR-код) содержит только битовые значения "0" и "1" с весовым коэффициентом равным "1", и изменения, привносимые ими в кумулятивную сумму, не заметны для человеческого глаза.In FIG. Figure 8 shows how the appearance of a grayscale image of a face from layer to layer is restored, and in the final cumulative result, noises from the QR code embedded in the “R” component are completely invisible. This is because the LSB layer (or embedded QR code) contains only the bit values “0” and “1” with a weight coefficient of “1”, and the changes they bring to the cumulative sum are not noticeable to the human eye.

Отметим также, что считывание всей информации из заполненного изображения-контейнера осуществляется путем извлечения из LSB-слоев компонент "Red", "Green" и "Blue", встроенных в них QR-кодов, декодирования стандартным способом сообщений из QR-кодов, и чтения информации, содержащейся в сообщениях, в соответствии с использованным правилом подготовки оригинального сообщения. Фактически, если смотреть на фиг. 1, то в этом случае реализуется процессы с обратным движением - от заполненного изображения-контейнера к пустому изображению-контейнеру по стрелкам справа на лево. Результаты чтения информации из заполненного изображения-контейнера показаны на Фиг. 10 и Фиг 11.We also note that the reading of all information from the filled container image is carried out by extracting the components "Red", "Green" and "Blue" from the LSB layers, QR codes embedded in them, decoding the messages from QR codes in a standard way, and reading information contained in the messages in accordance with the rule used to prepare the original message. In fact, as seen in FIG. 1, then in this case processes with the reverse movement are realized - from the filled image-container to the empty image-container in the direction from right to left. The results of reading information from a filled container image are shown in FIG. 10 and FIG. 11.

Таким образом, предлагаемый способ позволяет решить как задачу создания трех "водяных знаков в форме QR-кодов", встраиваемых в цветное изображение лица, так и задачу размещения как основной, так и дополнительной биометрической и документальной информации в этих водяных знаках, причем вся биометрическая информация получена непосредственно из исходного изображения лица, и, таким образом, содержит объективную информацию о конкретном лице человека, перенося ее вместе с исходным изображением лица и охраняя ее от простого доступа к ней.Thus, the proposed method allows to solve both the problem of creating three “watermarks in the form of QR codes” embedded in a color image of a face, and the task of placing both basic and additional biometric and documentary information in these watermarks, and all biometric information obtained directly from the original image of the face, and thus contains objective information about the specific person’s face, transferring it along with the original image of the face and protecting it from simple access to it.

Получаемое при этом компактное представление всей информации, включающей цветное изображение лица, дополнительную лицевую биометрическую и документальной информацию в нем, позволит расширить рамки применения этого компактного представления в различных приложениях, а использование QR-кодов, как хранителей и носителей этой информации, позволит реализовать обмен данными по универсальным стандартам и международным каналам без потери какой-либо ее части и/или ее подмены и позволит ограничить несанкционированный доступ к ней.The resulting compact representation of all information, including a color image of the face, additional facial biometric and documentary information in it, will expand the scope of this compact representation in various applications, and the use of QR codes as custodians and carriers of this information will allow for the exchange of data according to universal standards and international channels without loss of any part of it and / or its substitution and will limit unauthorized access to it.

При этом устройство для реализации предлагаемого способа, выполняется в виде платы, в состав которой входит по крайней мере один сигнальный процессор.Moreover, a device for implementing the proposed method is performed in the form of a board, which includes at least one signal processor.

Claims (2)

1. Способ встраивания биометрической информации в цветное изображение лица, заключающийся в выполнении анализа входного цветного изображения лица, определении оригинального размера изображения и его корректировки по выбранному размеру QR-кода, вычислении координат антропометрических точек лица, используемых в качестве основной биометрической информации о лице, подготовке оригинальных сообщений по биометрической информации и заданной документальной информации, генерации QR-кода "ANTRO" с биометрической информацией и QR-кода "INFO" с документальной информацией, выполнении декомпозиции цветного изображения лица на компоненты "R", "G" и "В", соответствующие полутоновым изображениям, отличающийся тем, что после вычисления координат антропометрических точек лица вычисляют значения яркости изображения лица, используемые в качестве дополнительной биометрической информации фенотипа лица, подготавливают оригинальное сообщение по дополнительной биометрической информации, генерируют QR-код "PHENO" по этому сообщению, выполняют контрольную запись QR-кодов "ANTRO", "INFO" и "PHENO" в память и контрольное чтение их из памяти, выделяют LSB-слои полутоновых QR-кодов "ANTRO", "INFO" и "PHENO", выполняют встраивание этих LSB-слоев вместо LSB-слоев компонент "R", "G" и "В", после чего эти компоненты объединяют в цветное изображение, принимающее роль заполненного изображения-контейнера, и это цветное изображение-контейнер поступает на выход устройства.1. The method of embedding biometric information in a color image of a face, which consists in analyzing the input color image of the face, determining the original size of the image and adjusting it for the selected size of the QR code, calculating the coordinates of the anthropometric points of the face used as the main biometric information about the face, preparing original messages on biometric information and specified documentary information, generating the QR code "ANTRO" with biometric information and the QR code "INFO" with document information, performing decomposition of the color image of the face into components "R", "G" and "B", corresponding to grayscale images, characterized in that after calculating the coordinates of the anthropometric points of the face, the brightness values of the face image are used, which are used as additional biometric information of the face phenotype , prepare the original message for additional biometric information, generate a QR code "PHENO" for this message, perform control recording of QR codes "ANTRO", "INFO" and "PHENO" in memory and control To read them from memory, select LSB layers of grayscale QR codes "ANTRO", "INFO" and "PHENO", embed these LSB layers instead of the LSB layers of the "R", "G" and "B" components, after whereby these components are combined into a color image that assumes the role of a filled image container, and this color image container enters the output of the device. 2. Устройство встраивания биометрической информации в цветное изображение лица, включающее блок анализа входного цветного изображения, блок подготовки сообщений, блок генерации QR-кодов, блок декомпозиции цветного изображения, причем первый вход устройства является входом блока анализа входного цветного изображения, один выход которого соединен с входом блока декомпозиции цветного изображения, другой выход блока анализа входного цветного изображения соединен с одним входом блока подготовки сообщений, другой вход которого является вторым входом устройства, выход блока подготовки сообщений соединен с входом блока генерации QR-кодов, отличающееся тем, что в него введены блок записи QR-кодов в память и чтения из памяти, блок выделения LSB-слоя из QR-кодов, блок встраивания QR-кодов в контейнер, причем выход блока генерации QR-кодов соединен с входом блока записи QR-кодов в память и чтения из памяти, выход которого соединен с входом блока выделения LSB-слоя из QR-кодов, выход которого соединен с одним входом блока встраивания QR-кодов в контейнер, другой вход которого соединен с выходом блока декомпозиции цветного изображения, а выход блока встраивания QR-кодов в контейнер является выходом устройства.2. A device for embedding biometric information in a color image of a face, including an input color image analysis unit, a message preparation unit, a QR code generation unit, a color image decomposition unit, the first input of the device being an input of an input color image analysis unit, one output of which is connected to the input of the decomposition unit of the color image, the other output of the analysis unit of the input color image is connected to one input of the message preparation unit, the other input of which is T With the device’s input, the output of the message preparation unit is connected to the input of the QR-code generation unit, characterized in that it contains a block for writing QR codes to and from memory, an LSB layer allocation block from QR codes, a QR- embedding unit codes into the container, and the output of the QR-codes generation unit is connected to the input of the QR-codes recording unit into memory and readings from the memory, the output of which is connected to the input of the LSB layer allocation unit from QR codes, the output of which is connected to one input of the QR embedding unit -codes in a container, the other input of which is connected to the output b a color image decomposition lock, and the output of the QR code embedding unit in the container is the output of the device.
RU2019119324A 2019-06-19 2019-06-19 Method of embedding biometric information into a color image of a face and a device for realizing the method RU2713762C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019119324A RU2713762C1 (en) 2019-06-19 2019-06-19 Method of embedding biometric information into a color image of a face and a device for realizing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019119324A RU2713762C1 (en) 2019-06-19 2019-06-19 Method of embedding biometric information into a color image of a face and a device for realizing the method

Publications (1)

Publication Number Publication Date
RU2713762C1 true RU2713762C1 (en) 2020-02-07

Family

ID=69625075

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019119324A RU2713762C1 (en) 2019-06-19 2019-06-19 Method of embedding biometric information into a color image of a face and a device for realizing the method

Country Status (1)

Country Link
RU (1) RU2713762C1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2761417C1 (en) * 2020-11-05 2021-12-08 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Method for steganographying a digital image using a graphic digital label and method for decrypting a steganographied image
RU2771789C1 (en) * 2021-08-02 2022-05-12 федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)» (СПбГЭТУ «ЛЭТИ») Method for embedding biometric information in a color image of a face and a device for its implementation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120138679A1 (en) * 2010-12-01 2012-06-07 Yodo Inc. Secure two dimensional bar codes for authentication
US8948445B2 (en) * 2012-05-03 2015-02-03 The Hong Kong University Of Science And Technology Embedding visual information in a two-dimensional bar code
RU2542886C1 (en) * 2013-12-30 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of forming barcode on facial images and apparatus therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120138679A1 (en) * 2010-12-01 2012-06-07 Yodo Inc. Secure two dimensional bar codes for authentication
US8948445B2 (en) * 2012-05-03 2015-02-03 The Hong Kong University Of Science And Technology Embedding visual information in a two-dimensional bar code
RU2542886C1 (en) * 2013-12-30 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of forming barcode on facial images and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Кухарев Г.А. и др. "Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения", Научно-технический вестник информационных технологий, механики и оптики, 2018. Т. 18. N1. С. 72-86. DOI: 10.17586/2226-1494-2018-18-1-72-86. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2761417C1 (en) * 2020-11-05 2021-12-08 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Method for steganographying a digital image using a graphic digital label and method for decrypting a steganographied image
RU2771789C1 (en) * 2021-08-02 2022-05-12 федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)» (СПбГЭТУ «ЛЭТИ») Method for embedding biometric information in a color image of a face and a device for its implementation

Similar Documents

Publication Publication Date Title
US9406010B2 (en) Producing, capturing and using visual identification tags for moving objects
Monga et al. A clustering based approach to perceptual image hashing
US20170243041A1 (en) System and method of embedding a two dimensional code with concealed secure message
Kim et al. Self-embedding fragile watermarking scheme to detect image tampering using AMBTC and OPAP approaches
CN115565238B (en) Face-changing model training method, face-changing model training device, face-changing model training apparatus, storage medium, and program product
Li et al. Data hiding in iris image for privacy protection
Sarmah et al. Optimization models in steganography using metaheuristics
RU2713762C1 (en) Method of embedding biometric information into a color image of a face and a device for realizing the method
Shah et al. Deep Learning model-based Multimedia forgery detection
CN107845118A (en) A kind of digitization image processing method
Singh et al. Blind and secured adaptive digital image watermarking approach for high imperceptibility and robustness
Noore et al. Embedding biometric identifiers in 2D barcodes for improved security
Liu et al. Color visual secret sharing for QR code with perfect module reconstruction
Ren et al. Reversible data hiding in encrypted image based on bit-plane redundancy of prediction error
CN112633230A (en) Face encryption method and device, electronic equipment and storage medium
CN110069907A (en) Big data source tracing method and system based on digital watermarking
CN115131465A (en) Identity relationship maintenance-based face anonymous image generation and identification method
Liu et al. Perceptual color image hashing based on quaternionic local ranking binary pattern
Li et al. Perceptual hashing for color images
Pan et al. Towards a Controllable and Reversible Privacy Protection System for Facial Images through Enhanced Multi-Factor Modifier Networks
RU2771789C1 (en) Method for embedding biometric information in a color image of a face and a device for its implementation
CN115526282A (en) Watermark encryption method, watermark extraction method, device and storage medium
Veličković et al. Application of QR code as a watermark in multi-modal person's identification
Matveev et al. From Iris Image to Embedded Code: System of Methods
Kekre et al. Augmentation of block truncation coding based image retrieval by using even and odd images with sundry colour spaces