WO2020244071A1 - 基于神经网络的手势识别方法、装置、存储介质及设备 - Google Patents

基于神经网络的手势识别方法、装置、存储介质及设备 Download PDF

Info

Publication number
WO2020244071A1
WO2020244071A1 PCT/CN2019/103056 CN2019103056W WO2020244071A1 WO 2020244071 A1 WO2020244071 A1 WO 2020244071A1 CN 2019103056 W CN2019103056 W CN 2019103056W WO 2020244071 A1 WO2020244071 A1 WO 2020244071A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
gesture image
image
original
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/103056
Other languages
English (en)
French (fr)
Inventor
张爽
王义文
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020244071A1 publication Critical patent/WO2020244071A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • This application relates to the field of image recognition technology. Specifically, this application relates to a neural network-based gesture recognition method, device, storage medium, and equipment.
  • Gesture recognition is to make the computer recognize the gestures of the human body in pictures or shots through a certain algorithm, and then understand the meaning of the gestures, and realize the mutual communication between the user and the computer. With the development of machine learning and deep learning, gesture recognition is widely used in games, shopping and other scenarios.
  • gesture images are generally used to perform corresponding image processing and recognition to obtain gesture types.
  • scenes such as insufficient lighting, occlusion, insufficient resolution, incorrect posture, etc. are often caused.
  • the use of the above-mentioned existing technology is likely to cause problems such as a decrease in the accuracy of gesture recognition, which greatly causes the gesture recognition process. Challenges.
  • This application provides a neural network-based gesture recognition method, a neural network-based gesture recognition device, a computer-readable storage medium, and computer equipment to solve the problem of low accuracy of gesture recognition and improve the accuracy of gesture recognition.
  • the embodiment of the application first provides a method for gesture recognition based on neural network, including:
  • an embodiment of the present application also provides a gesture recognition device based on a neural network, including:
  • the binarization processing module is configured to obtain an original gesture image, and perform binarization processing on the original gesture image to obtain a binarized gesture image;
  • a recognition module configured to input the original gesture image and the binarized gesture image into two channels of a neural network model for recognition, respectively, to obtain gesture feature information of the original gesture image;
  • the gesture type determining module is used to calculate the Euclidean distance between the gesture feature information and each positive sample gesture feature information in the database, and determine the gesture type in the original gesture image according to the Euclidean distance.
  • the embodiments of the present application also provide a non-volatile computer-readable storage medium, the computer-readable storage medium is used to store computer instructions, when it runs on a computer, the computer can execute A neural network-based gesture recognition method, wherein the steps of the neural network-based gesture recognition method include:
  • an embodiment of the present application also provides a computer device, and the computer device includes:
  • One or more processors are One or more processors;
  • Storage device for storing one or more programs
  • the one or more processors When the one or more programs are executed by the one or more processors, the one or more processors implement the steps of the above-mentioned neural network-based gesture recognition method, wherein the neural network-based gesture recognition
  • the steps of the method include:
  • the neural network-based gesture recognition method inputs the original gesture image and its corresponding binarized gesture image into the neural network model for recognition to obtain the characteristic information of the original gesture image, and then according to the original gesture image
  • the Euclidean distance between the feature information and the feature information of the positive sample gesture image stored in the database determines the gesture type in the original gesture image. Since the binary gesture image can reflect the texture features of the original gesture image, the multi-channel neural network model extracts the gesture features and texture feature information of the original gesture image, which is compared with the traditional single-channel neural network for gesture recognition. , Improve the recognition accuracy of the original gesture image.
  • FIG. 1 is a diagram of an implementation environment of a neural network-based gesture recognition method provided by an embodiment of this application;
  • Figure 2 is a flowchart of a neural network-based gesture recognition method provided by an embodiment of the application
  • FIG. 3 is a flowchart of performing binarization processing on an original gesture image to obtain a binarized gesture image according to an embodiment of the application;
  • Fig. 4 is a flowchart of establishing a neural network model provided by an embodiment of the application.
  • Fig. 5 is a flowchart of establishing a dual-channel neural network model provided by another embodiment of the application.
  • 6 is a flowchart of calculating the Euclidean distance between the gesture feature information and each positive sample gesture feature information in the database, and determining the gesture type in the original gesture image according to the Euclidean distance according to an embodiment of the application ;
  • FIG. 7 is a schematic structural diagram of a gesture recognition device based on a neural network provided by an embodiment of this application.
  • FIG. 8 is a structural block diagram of a computer device provided by an embodiment of this application.
  • first, second, etc. used in this application can be used herein to describe various elements, but these elements are not limited by these terms. These terms are only used to distinguish the first element from another element.
  • first live video image may be referred to as the second live video image
  • second live video image may be referred to as the first live video image.
  • Both the first live video image and the second live video image are live video images, but they are not the same live video image.
  • Fig. 1 is an implementation environment diagram of a neural network-based gesture recognition method provided in an embodiment, and the implementation environment includes a user terminal and a server side.
  • the neural network-based gesture recognition method provided in this embodiment can be executed on the server side.
  • the execution process is as follows: obtain an original gesture image, and perform binarization processing on the original gesture image to obtain a binarized gesture image;
  • the gesture image and the binarized gesture image are respectively input into the two channels of the neural network model for recognition, to obtain the gesture feature information of the original gesture image, and calculate the difference between the gesture feature information and each positive sample gesture feature information in the database And determine the gesture type in the original gesture image according to the Euclidean distance.
  • the user terminal can be a smart phone, a tablet computer, a notebook computer, a desktop computer, etc.
  • the server side can be implemented by a computer device with processing functions, but is not limited to this.
  • the server and the user terminal can be connected to the network through Bluetooth, USB (Universal Serial Bus) or other communication connection methods, and this application is not limited here.
  • FIG. 2 is a schematic flowchart of a neural network-based gesture recognition method provided by an embodiment of the application.
  • the neural network-based gesture recognition method can be applied to the server side described above, and includes the following steps:
  • Step S210 Obtain an original gesture image, and perform binarization processing on the original gesture image to obtain a binarized gesture image;
  • Step S220 Input the original gesture image and the binarized gesture image into two channels of the neural network model for recognition respectively, and obtain the gesture feature information of the original gesture image;
  • Step S230 Calculate the Euclidean distance between the gesture feature information and each positive sample gesture feature information in the database, and determine the gesture type in the original gesture image according to the Euclidean distance.
  • the gesture recognition solution provided by this application can be applied to the following scenarios: during the identity verification process, the user’s verification gesture image is captured. Due to the complexity of the actual situation, the captured verification gesture image may be blurred and difficult to recognize; or in the game In files such as, video, etc., the gesture image is only a small part of the entire frame of the picture. Due to insufficient storage technology or shooting technology, it is impossible to clearly identify the type of gesture in the image.
  • this application provides a neural network-based gesture recognition method, which binarizes the acquired original gesture image, obtains its binary gesture image, and uses a two-channel neural network model to recognize gesture feature information , Determine the Euclidean distance between the gesture feature information and each positive sample gesture feature information, and determine the gesture type of the original gesture image according to the Euclidean distance. For example, the positive sample gesture with the smallest Euclidean distance can be used as the gesture type of the original gesture image.
  • the identification result can be used to perform the following operations, such as: performing verification analysis in identity verification, or returning the recognition result of the gesture image to the user.
  • the binary gesture image extracts the texture features of the original gesture image, especially the local texture feature information of the original gesture image.
  • the texture feature recognizes user gestures and can distinguish users. For gestures and background images, the recognition of gesture categories based on binarized gesture images is conducive to improving the accuracy of gesture recognition.
  • the solution provided in this application is suitable for static gesture recognition scenarios.
  • the solution provided in this application proposes a neural network-based gesture recognition method based on a neural network model.
  • the neural network model has two input channels.
  • the dual-channel convolutional neural network can accept different features of the image as input at the same time.
  • One feature is the gesture feature, such as gesture posture information, one
  • One kind of feature is texture feature, which is respectively processed by convolution, and then these features are combined to extract more original gesture feature information for image recognition and classification, which is beneficial to improve the recognition accuracy of gesture images.
  • the step of performing binarization processing on the original gesture image to obtain a binarization gesture image in step S210 may be processed in the following manner.
  • the schematic flow chart is shown in FIG. 3 and includes the following sub-steps :
  • S212 Perform the following operations on each pixel window of each sub-region: take the gray value of the central pixel of the window as a threshold, and compare the gray value of adjacent pixels with it to obtain the LBP value of the pixel window;
  • LBP refers to Local Binary Patterns, an operator used to describe the local texture features of an image.
  • the extracted features are the local texture features of the original gesture image. This solution is to convert the original gesture image into a binary gesture image, so as to extract the texture feature information of the original gesture image.
  • the original gesture image is divided into several sub-regions.
  • each sub-region includes multiple pixels.
  • the window size is 3*3. If the surrounding pixel value at the center of the window is greater than the center pixel value, then The position of the pixel is marked as 1, otherwise it is 0.
  • 8 pixels in the 3*3 neighborhood can be compared to generate an 8-bit binary number, and the binary number is converted into a decimal number to obtain the center pixel of the window
  • the LBP value of the point is used to reflect the texture feature information of the pixel window.
  • the method before the step of inputting the original gesture image and the binarized gesture image into the two channels of the neural network model for recognition in step S220, the method further includes: establishing a neural network model according to the training gesture image,
  • the process of establishing a neural network model can be carried out in the following manner. Please refer to the flow diagram shown in Figure 4, which includes the following steps:
  • S221 Acquire training gesture images in a preset training image set, perform feature extraction on the training gesture image and its binarized gesture image, and obtain the training gesture image and the N-dimensional feature vector corresponding to the binarized gesture image respectively. Integrating the N-dimensional feature vector to obtain a 2N-dimensional feature vector;
  • S222 Perform feature vector comparison based on the 2N-dimensional feature vector, and use the comparison result of the positive sample gesture image to adjust the weight of the feature vector to obtain a neural network model.
  • the training gesture image is extracted from the preset training image set, and the training gesture image is binarized to obtain the binarized gesture image corresponding to the training gesture image, and the training gesture image and its binarized gesture image are characterized Extraction, extract N-dimensional feature vectors for both images, integrate the obtained N-dimensional feature vectors to obtain 2N-dimensional feature vectors, compare the feature vectors of positive sample gesture images to obtain the weight of the 2N-dimensional feature vector, and establish Neural network model.
  • the positive sample gesture image refers to an image that includes a known gesture type, that is, the positive sample gesture image and the corresponding gesture type are pre-stored. Extract the above-mentioned 2N-dimensional feature vector of the positive sample gesture image, and use the positive sample gesture image as a training sample to obtain the weight of the 2N-dimensional feature vector.
  • the established neural network model can be described in the following way:
  • X 1 , X 2 ... X 2N are 2N feature vectors
  • a 1 , A 2 ... A 2N are the weights of feature vectors corresponding to the 2N feature vectors
  • P is the corresponding gesture type, which is collected by positive sample gesture images
  • a large number of positive sample gesture images are trained to obtain the weights of feature vectors corresponding to 2N feature vectors.
  • Obtaining the neural network model through this kind of big data training method is beneficial to call the neural network model during subsequent gesture image recognition to quickly obtain accurate gesture types.
  • the neural network model described in the embodiment of this application is preferably a two-channel neural network model, and the two-channel neural network model is preferably obtained as shown in FIG. 5, including the following sub step:
  • S2222 Extract the 2N-dimensional feature vector in the positive sample gesture image, and input the 2N-dimensional feature vector and the gesture type corresponding to the positive sample gesture image into the initial two-channel neural network model to obtain the initial weight value of the 2N-dimensional feature vector ;
  • S2223 Use all positive sample gesture images in the positive sample gesture image set and the corresponding gesture types to continuously adjust the initial weight value of each feature vector in the initial two-channel neural network model. After the weight value of each feature vector is determined, the two-channel neural network model is obtained .
  • the set of positive sample gesture images includes a large number of positive sample gesture images of known gesture types.
  • the 2N-dimensional feature vector in the first positive-sample gesture image is extracted, and the 2N-dimensional feature vector and the gesture type corresponding to the first positive-sample gesture image are input into a dual-channel neural network model to obtain the 2N-dimensional feature vector
  • the first weight value, the first weight value is the initial weight value;
  • the 2N-dimensional feature vector in the second positive sample gesture image is extracted, and the 2N-dimensional feature vector and the gesture type corresponding to the second positive sample gesture image are input
  • the two-channel neural network model in which the weight value of each eigenvector is the first weight value, obtains the second weight value of the 2N-dimensional eigenvector, and the second weight value is the weight value after adjusting the first weight value.
  • Step S2221 uses the basic network structure of Inception-Resnet-V2 to construct the initial two-channel neural network model.
  • Inception-Resnet-V2 is a convolutional neural network, which is the neural network with the best image classification effect in today’s benchmark tests.
  • the convolutional neural network model established by this network structure can improve the accuracy of gesture type recognition.
  • one channel of the two-channel neural network model inputs a positive sample gesture image, and the other channel inputs a binary gesture image corresponding to the positive sample gesture image.
  • Feature extraction is performed in the channels respectively, and 64-dimensional feature vectors are obtained respectively.
  • L2 normalization they are finally integrated and connected into 128-dimensional vectors.
  • the training process of the whole sample gesture image based on the integrated 128-dimensional vector is as follows: use the first positive sample image to obtain the corresponding first weight value, and use the neural network model corresponding to the first weight value to calculate the output of the second positive sample gesture image
  • the value of the loss function between the preset gesture type and the weight value of the neural network model is adjusted according to the value of the loss function to reduce the value of the loss function.
  • the loss function between the output of the neural network model and the preset gesture type of the positive sample is continuously calculated.
  • the 128-dimensional feature vector can reflect the feature points of the gesture to be verified, and the weight of each feature vector can accurately reflect the image power of each feature point, which is conducive to rapid and accurate gesture recognition.
  • step 2 is used to extract gesture feature information, and then gesture recognition is performed based on the extracted feature information.
  • gesture recognition is performed based on the extracted feature information.
  • 128-dimensional gesture features are extracted for gesture verification, which increases the robustness and accuracy of the gesture recognition algorithm.
  • the dual-channel neural network model built with 2N-dimensional feature vectors increases the extracted feature information.
  • Using the extracted feature vectors for feature information comparison and recognition is helpful to improve the accuracy of gesture recognition degree.
  • the foregoing embodiment describes how to establish a neural network model based on the obtained 2N-dimensional feature vector, and the following embodiment describes how to obtain the 2N-dimensional feature vector of a binary gesture image.
  • the following operations can also be performed to obtain the LBP feature vector of the original gesture image: Count the distribution of the LBP value of each subregion, obtain the LBP histogram of each subregion, and connect the histograms of each subregion to obtain the original gesture image The LBP texture feature vector.
  • the N-dimensional feature vector corresponding to the binarized gesture image can be obtained through the following operations, including the following sub-steps:
  • the process of obtaining the LBP histogram of N sub-regions in the embodiment of the present application is: firstly, the solution described in S212 is used to obtain the LBP value of each pixel window in each sub-region, and the distribution of LBP values in each sub-region is calculated to obtain each sub-region LBP histogram.
  • step S230 the Euclidean distance between the gesture feature information and each positive sample gesture feature information in the database is calculated, and the gesture type in the original gesture image is determined according to the Euclidean distance.
  • the determination can be performed in the following manner.
  • the schematic diagram is shown in Figure 6, including the following steps:
  • S231 Obtain the feature vector of the original gesture image and the same-dimensional feature vector of each positive sample gesture image in the database, and calculate the Euclidean distance between the feature vector of the original gesture image and the feature vector of each positive sample gesture image;
  • S232 Obtain the confidence level between the original gesture image and each positive sample gesture image according to the Euclidean distance, and output the positive sample gesture type corresponding to the highest confidence level as the gesture type in the original gesture image.
  • step S230 the Euclidean distance between the gesture feature information of the original gesture image and the gesture feature information of each positive sample in the database is used to determine the feature information in the original gesture image.
  • the gesture feature information can be expressed in various forms.
  • the embodiment of the present application preferably adopts The feature vector represents the feature information of the original gesture image.
  • feature extraction is performed on the original gesture image and its binarized gesture image to obtain the N-dimensional feature vector corresponding to the original gesture image and the binarized gesture image respectively, and integrate The N-dimensional feature vector obtains a 2N-dimensional feature vector.
  • the same scheme obtains the 2N-dimensional feature vector of each positive sample gesture image, and calculates the Euclidean distance between the feature vector of the original gesture image and each positive sample gesture image.
  • the size obtains the confidence of each positive sample gesture image, and the gesture type in the positive sample gesture image with the highest confidence is output as the gesture type of the original gesture image.
  • the solution provided by the embodiment of the application uses the Euclidean distance between the feature vector corresponding to the original gesture image and the feature vector corresponding to the positive sample gesture image to determine the gesture type in the original gesture image, and can accurately determine the gesture type and the positive gesture in the original gesture image.
  • the similarity between the gesture types of the sample gesture images is used to accurately determine the gesture types in the original gesture images in a short time.
  • the number of samples of the positive sample gesture image can be added to the database, and the original gesture image can also be subjected to image enhancement and/or image filtering in advance, using edge preservation
  • the noise reduction algorithm processes the original gesture image, and the edge preservation noise reduction algorithm is used to process the original gesture image. It is helpful to highlight the gesture part in the original gesture image, filter out the noise in the original gesture image, and improve the gesture recognition of the original gesture image.
  • An embodiment of the present application also provides a gesture recognition device based on a neural network.
  • the structure diagram is shown in FIG. 7, and includes: a binarization processing module 710, a recognition module 720, and a gesture type determination module 730, which are specifically as follows:
  • the binarization processing module 710 is configured to obtain an original gesture image, and perform binarization processing on the original gesture image to obtain a binarized gesture image;
  • the recognition module 720 is configured to input the original gesture image and the binarized gesture image into two channels of a neural network model for recognition respectively, and obtain gesture feature information of the original gesture image;
  • the gesture type determining module 730 is configured to calculate the Euclidean distance between the gesture feature information and each positive sample gesture feature information in the database, and determine the gesture type in the original gesture image according to the Euclidean distance.
  • an embodiment of the present application also provides a non-volatile computer-readable storage medium having computer instructions stored thereon, and when the computer instructions are executed by a processor, the neural network-based gesture recognition described in any one of the above is realized Method steps.
  • the storage medium includes, but is not limited to, any type of disk (including floppy disk, hard disk, optical disk, CD-ROM, and magneto-optical disk), ROM (Read-Only Memory), RAM (Random AccesSS Memory), and then Memory), EPROM (EraSable Programmable Read-Only Memory, Erasable Programmable Read-Only Memory), EEPROM (Electrically EraSable Programmable Read-Only Memory), flash memory, magnetic card or optical card. That is, the storage medium includes any medium that stores or transmits information in a readable form by a device (for example, a computer). It can be a read-only memory, magnetic disk or optical disk, etc.
  • an embodiment of the present application also provides a computer device, and the computer device includes:
  • One or more processors are One or more processors;
  • Storage device for storing one or more programs
  • the one or more processors When the one or more programs are executed by the one or more processors, the one or more processors implement the steps of the neural network-based gesture recognition method described in any one of the above.
  • Fig. 8 is a structural block diagram showing a computer device 800 according to an exemplary embodiment.
  • the computer device 800 may be provided as a server.
  • the computer device 800 includes a processing component 822, which further includes one or more processors, and a memory resource represented by a memory 832, for storing instructions executable by the processing component 822, such as application programs.
  • the application program stored in the memory 832 may include one or more modules each corresponding to a set of instructions.
  • the processing component 822 is configured to execute instructions to execute the steps of the above-mentioned two-channel neural network-based neural network-based gesture recognition method.
  • the computer device 800 may also include a power component 826 configured to perform power management of the computer device 800, a wired or wireless network interface 850 configured to connect the computer device 800 to a network, and an input output (I/O) interface 858 .
  • the computer device 800 can operate based on an operating system stored in the memory 832, such as Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM or the like. It should be understood that, although the various steps in the flowchart of the drawings are shown in sequence as indicated by the arrows, these steps are not necessarily executed in sequence in the order indicated by the arrows. Unless explicitly stated in this article, the execution of these steps is not strictly limited in order, and they can be executed in other orders.
  • steps in the flowchart of the drawings may include multiple sub-steps or multiple stages. These sub-steps or stages are not necessarily executed at the same time, but can be executed at different times, and the order of execution is also It is not necessarily performed sequentially, but may be performed alternately or alternately with other steps or at least a part of sub-steps or stages of other steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于神经网络的手势识别方法、装置、存储介质及设备，其中，所述基于神经网络的手势识别方法，包括：获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像(S210)；将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息(S220)；计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型(S230)。能够解决手势识别的准确率低下的问题，以提高手势识别的准确率。

Description

基于神经网络的手势识别方法、装置、存储介质及设备
本申请要求于2019年6月6日提交中国专利局、申请号为201910493340.5，发明名称为“基于神经网络的手势识别方法、装置、存储介质及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像识别技术领域，具体而言，本申请涉及一种基于神经网络的手势识别方法、装置、存储介质及设备。
背景技术
手势识别是通过一定的算法使计算机识别图片或镜头中人体的手势，进而理解该手势的含义，实现用户和计算机的相互交流。随着机器学习和深度学习的发展，手势识别被广泛应用在游戏，购物等场景中。
发明人意识到现有技术中，一般是利用手势图像进行相应图像处理和识别后得到手势类型。但是，由于拍照环境不同，往往会造成光照不足、遮挡、分辨率不够、姿态不正确等场景，采用上述现有技术，容易存在会造成手势识别准确度下降等问题，给手势识别过程造成极大的挑战。
发明内容
本申请提供了一种基于神经网络的手势识别方法、基于神经网络的手势识别装置、计算机可读存储介质及计算机设备，以解决手势识别的准确率低下的问题，以提高手势识别的准确率。
本申请实施例首先提供了一种基于神经网络的手势识别方法，包括：
获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
为解决上述问题，本申请实施例还提供了一种基于神经网络的手势识别装置，包括：
二值化处理模块，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
识别模块，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
确定手势类型模块，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
为解决上述问题，本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行基于神经网络的手势识别方法，其中，所述基于神经网络的手势识别方法的步骤包括：
获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
更进一步地，本申请实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个 或多个处理器实现上述基于神经网络的手势识别方法的步骤，其中，所述基于神经网络的手势识别方法的步骤包括：
获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
本申请实施例提供的基于神经网络的手势识别方法，通过将原始手势图像及其对应的二值化手势图像输入神经网络模型中进行识别，获得原始手势图像的特征信息，再根据原始手势图像的特征信息与数据库中存储的正样本手势图像的特征信息之间的欧式距离确定原始手势图像中的手势类型。由于二值化手势图像能够体现原始手势图像的纹理特征，多个通道的神经网络模型提取了原始手势图像的手势特征及纹理特征信息，与传统的通过单通道神经网络进行手势识别的方案相比，提高了原始手势图像的识别准确性。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1为本申请一个实施例提供的基于神经网络的手势识别方法的实施环境图；
图2为本申请一个实施例提供的基于神经网络的手势识别方法的流程图；
图3为本申请一个实施例提供的对原始手势图像进行二值化处理获得二值化手势图像的流程图；
图4为本申请一个实施例提供的建立神经网络模型的流程图；
图5为本申请另一个实施例提供的建立双通道神经网络模型的流程 图；
图6为本申请一个实施例提供的计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的流程图；
图7为本申请一种实施例提供的基于神经网络的手势识别装置的结构示意图；
图8为本申请一种实施例提供的计算机设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一直播视频图像称为第二直播视频图像，且类似地，可将第二直播视频图像称为第一直播视频图像。第一直播视频图像和第二直播视频图像两者都是直播视频图像，但其不是同一个直播视频图像。
图1为一个实施例中提供的基于神经网络的手势识别方法的实施环境图，在该实施环境中，包括用户终端、服务器端。
本实施例提供的基于神经网络的手势识别方法可以在服务器端执行，执行过程如下：获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；将所述原始手势图像和二值化手势图像分别输入 神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息，计算所述手势特征信息与数据库中的各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
需要说明的是，用户终端可为智能手机、平板电脑、笔记本电脑、台式计算机等，服务器端可以有具有处理功能的计算机设备来实现，但并不局限于此。服务器端与用户终端可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行网络连接，本申请在此不做限制。
在一个实施例中，图2为本申请实施例提供的基于神经网络的手势识别方法的流程示意图，该基于神经网络的手势识别方法可以应用于上述的服务器端，包括如下步骤：
步骤S210，获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
步骤S220，将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
步骤S230，计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
本申请提供的手势识别方案可以应用于如下场景中：身份验证过程中，捕捉用户的验证手势图像，由于实际情况复杂，捕捉到的验证手势图像，可能会模糊不清，难以辨认；或者在游戏、视频等文件中，手势图像只是整帧图片的一小部分，由于存储技术或者拍摄技术的不足，导致无法清楚地辨认图像中的手势类型。
为了解决上述问题，本申请提供了一种基于神经网络的手势识别方法，对获取到的原始手势图像进行二值化处理，获得其二值化手势图像，利用双通道神经网络模型识别手势特征信息，确定手势特征信息与各正样本手势特征信息之间的欧式距离，根据欧式距离大小确定原始手势图像的手势类型，如可以将欧式距离最小的正样本手势作为原始手势图像的手势类型。
在利用上述方案识别出原始手势图像中的手势类型之后，可以利用识 别结果进行如下操作，如：进行身份验证中的验证分析，或者将手势图像的识别结果返回给用户等操作。
对原始手势图像进行二值化处理获得二值化手势图像，二值化手势图像提取了原始手势图像的纹理特征，尤其是原始手势图像局部的纹理特征信息，纹理特征识别用户手势，能够区别用户手势与背景图像，基于二值化手势图像进行手势类别的识别，有利于提高手势识别的准确性。
本申请提供的方案适用于静态手势识别场景，为了解决由于采集的手势图像不够清晰导致的手势识别困难或识别失败，本申请提供的方案提出基于神经网络模型的基于神经网络的手势识别方法，该神经网络模型有两个输入通道，双通道卷积神经网络能够同时接受图像的不同特征作为输入，本申请提供的方案中有两种特征，一种特征是手势特征，如：手势姿态信息，一种特征是纹理特征，分别进行卷积处理，然后再将这些特征进行组合，提取更多原始手势特征信息进行图像的识别与分类，有利于提高手势图像的识别准确率。
为了更清楚本申请提供的基于神经网络的手势识别方案及其技术效果，接下来以多个实施例对其具体方案进行详细阐述。
在一种实施例中，步骤S210的对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，可以采用如下方式进行处理，其流程示意图如图3所示，包括如下子步骤：
S211，将原始手势图像划分为若干子区域；
S212，对每个子区域的各像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
S213，用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
LBP指局部二值模式(Local Binary Patterns)，用来描述图像局部纹理特征的算子，提取的特征是原始手势图像的局部纹理特征。本方案是将原始手势图像转换成二值化手势图像，以便提取原始手势图像的纹理特征信息。
具体地，将原始手势图像划分为若干子区域，若干子区域包括一个及多于一个子区域的情况，每个子区域均包括多个像素点，选取合适的窗口大小，以窗口中心像素的灰度值作为阈值，相邻像素点的灰度值与其相比得到对应的二进制码表示局部纹理特征，举例阐述本方案，窗口大小为3*3，若窗口中心的周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，这样，3*3邻域内的8个像素点经比较可产生8位二进制数，将该二进制数转换成十进制数，即得到该窗口中心像素点的LBP值，用这个值来反映像素窗口的纹理特征信息。按照上述方式获得子区域中每个窗口像素点的LBP值，用该LBP值代替像素窗口的原灰度值，像素窗口被全部替换之后，获得二值化子区域手势图像，按照该方案获得全部子区域对应的二值化子区域手势图像，拼接所述二值化子区域手势图像获得原始手势图像的二值化手势图像。
在一种实施例中，步骤S220的将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：根据训练手势图像建立神经网络模型，建立神经网络模型的过程可以采用如下方式进行，请参见图4所示的流程示意图，包括如下步骤：
S221，获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
S222，基于所述2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
其中，N是任意正整数，N＝1、2……。训练手势图像是从预设的训练图像集合中提取的，对训练手势图像进行二值化处理，获得训练手势图像对应的二值化手势图像，对训练手势图像及其二值化手势图像进行特征提取，对这两张图像均提取N维特征向量，将获得的N维特征向量进行整合获得2N维特征向量，利用正样本手势图像的特征向量进行对比，获得该2N维特征向量的权重，建立神经网络模型。
其中，正样本手势图像是指包括已知手势类型的图像，即预先存储有 该正样本手势图像及对应的手势类型。提取正样本手势图像的上述2N维特征向量，以所述正样本手势图像作为训练样本获得该2N维特征向量的权重，建立的神经网络模型可以通过如下方式描述：
P＝A 1*X 1+A 2*X 2+…+A 2N*X 2N，
其中，X 1、X 2…X 2N为2N个特征向量，A 1、A 2…A 2N为2N个特征向量对应的特征向量的权重，P是对应的手势类型，通过正样本手势图像集中的大量正样本手势图像的训练，获得2N个特征向量对应的特征向量的权重。通过该种大数据训练的方式获得神经网络模型，有利于后续进行手势图像识别时，调用该神经网络模型，迅速获得准确的手势类型。
本实施例进一步详细阐述如何获得神经网络模型，本申请实施例中所述的神经网络模型优选为双通道神经网络模型，优选采用如图5所示的方式获得双通道神经网络模型，包括如下子步骤：
S2221，采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
S2222，提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
S2223，利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
具体地，正样本手势图像集中包括大量已知手势类型的正样本手势图像。具体地，提取第一正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及第一正样本手势图像对应的手势类型输入双通道神经网络模型，获得2N维特征向量的第一权重值，该第一权重值为初始权重值；提取第二正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及第二正样本手势图像对应的手势类型输入各特征向量权重值为第一权重值的双通道神经网络模型，获得2N维特征向量的第二权重值，该第二权重值为对第一权重值进行调整后的权重值，按照该种方式，依次利用正样本手势集中的正样本手势图像对2N维特征向量进行权重值的调整， 经过获得双通道神经网络模型中各特征向量的最终权重值，各特征向量对应的权重值确定后，即建立了双通道神经网络模型。
步骤S2221的利用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型，Inception-Resnet-V2是一种卷积神经网络，是当今基准类测试中图像分类效果最好的神经网络，采用该种网络结构建立的卷积神经网络模型能够提高手势类型识别的准确率。
以N取64为例阐述获得2N维特征向量的过程：双通道神经网络模型中的一个通道中输入正样本手势图像，另一通道输入正样本手势图像对应的二值化手势图像，在两个通道中分别进行特征提取，分别获得64维特征向量，经过L2归一化后，最后整合连接成128维向量。
基于整合成的128维向量进行整样本手势图像的训练过程如下：利用第一正样本图像获得对应的第一权重值，利用第一权重值对应的神经网络模型计算第二正样本手势图像的输出与预设的手势类型之间的损失函数的数值，根据损失函数的数值调整神经网络模型的权重值，以减小损失函数的数值。不断计算神经网络模型输出与正样本预设手势类型之间的损失函数，经过样本集中的大量样本训练，损失函数的数值不断减小，模型输出手势类型的准确率越来越高，最终提取的128维特征向量能够反映待验证手势的特征点，各特征向量的权重能够准确反映各特征点的影像力，有利于快速准确地进行手势识别。
通过上述方法进行模型训练，利用步骤2进行手势特征信息的提取，再根据提取出特征信息进行手势识别，优选提取128维手势特征进行手势验证，增加了手势识别算法的鲁棒性和准确性。
以2N维特征向量建立的双通道神经网络模型，与单通道神经网络模型相比，增多了提取的特征信息，利用提取出的特征向量进行特征信息的对比和识别，有利于提高手势识别的准确度。
上述实施例介绍了如何根据获得的2N维特征向量进行神经网络模型的建立，接下来的实施例阐述如何获得二值化手势图像的2N维特征向量。
进一步地，还可以进行如下操作，获得原始手势图像的LBP特征向量：统计每个子区域LBP值的分布，获得每个子区域的LBP直方图，将 每个子区域的直方图进行连接，获得原始手势图像的LBP纹理特征向量。
可以通过如下操作获得二值化手势图像对应的N维特征向量，包括如下子步骤：
A1、将二值化手势图像划分为N个子区域；
A2、获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
A3、将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
本申请实施例中获取N个子区域的LBP直方图的过程为：首先利用S212所述的方案获得各子区域中各像素窗口的LBP值，统计各子区域中LBP值的分布，获得各子区域的LBP直方图。
对N个子区域的LBP直方图进行归一化处理，将处理后的各子区域的直方图按照各子区域的空间顺序依次排成一列，形成LBP特征向量，按照该方式获得二值化手势图像对应的N维特征向量。
步骤S230的计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型，可以通过如下方式进行确定，其流程示意图如图6所示，包括如下步骤：
S231，获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
S232，根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
步骤S230利用计算原始手势图像的手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离确定原始手势图像中的特征信息，手势特征信息可以用多种形式表示，本申请实施例优选采用特征向量表示原始手势图像的特征信息，按照步骤S221提供的方案对原始手势图像及其二值化手势图像进行特征提取，分别获得原始手势图像及二值化手势图像对 应的N维特征向量，整合所述N维特征向量获得2N维特征向量，同样的方案获得各正样本手势图像的2N维特征向量，计算原始手势图像的特征向量与各正样本手势图像之间的欧式距离，根据欧式距离的大小获得各正样本手势图像的置信度，将置信度最高的正样本手势图像中的手势类型作为原始手势图像的手势类型输出。
本申请实施例提供的方案利用原始手势图像对应的特征向量与正样本手势图像对应的特征向量之间的欧式距离确定原始手势图像中的手势类型，能够准确判断原始手势图像中的手势类型与正样本手势图像的手势类型之间的相似度，利用相似度在短时间内准确判断原始手势图像中的手势类型。
可选地，为了提高原始手势图像中手势类型的识别准确性，可以向数据库中增加正样本手势图像的样本数量，还可以预先对原始手势图像进行图像增强和/或图像滤波处理，利用保边降噪算法处理原始手势图像，利用保边降噪算法处理原始手势图像有利于凸显原始手势图像中的手势部分，过滤掉原始手势图像中的噪声，有利于提高原始手势图像的手势识别。
以上为本申请提供的基于神经网络的手势识别方法实施例，针对于该方法，下面阐述与其对应的基于神经网络的手势识别装置的实施例。
本申请实施例还提供了一种基于神经网络的手势识别装置，其结构示意图如图7所示，包括：二值化处理模块710、识别模块720、确定手势类型模块730，具体如下：
二值化处理模块710，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
识别模块720，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
确定手势类型模块730，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
关于上述实施例中的基于神经网络的手势识别装置，其中各个模块执 行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
进一步地，本申请实施例还提供一种非易失性计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述任意一项所述的基于神经网络的手势识别方法的步骤。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
更进一步地，本申请实施例还提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的基于神经网络的手势识别方法的步骤。
图8是根据一示例性实施例示出的一种用于计算机设备800的结构框图。例如，计算机设备800可以被提供为一服务器。参照图8，计算机设备800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述基于双通道神经网络的基于神经网络的手势识别方法的步骤。
计算机设备800还可以包括一个电源组件826被配置为执行计算机设备800的电源管理，一个有线或无线网络接口850被配置为将计算机设备800连接到网络，和一个输入输出(I/O)接口858。计算机设备800可以 操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解的是，在本申请各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (20)

  1. 一种基于神经网络的手势识别方法，包括：
    获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
    将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
    计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
  2. 根据权利要求1所述的基于神经网络的手势识别方法，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：
    将原始手势图像划分为若干子区域；
    对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
    用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
  3. 根据权利要求1所述的基于神经网络的手势识别方法，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：
    根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：
    获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
    基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
  4. 根据权利要求3所述的基于神经网络的手势识别方法，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步 骤，包括：
    采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
    提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
    利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
  5. 根据权利要求3所述的基于神经网络的手势识别方法，获得二值化手势图像对应的N维特征向量的步骤，包括：
    将所述二值化手势图像划分为N个子区域；
    获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
    将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
  6. 根据权利要求3所述的基于神经网络的手势识别方法，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：
    获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
    根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
  7. 根据权利要求1所述的基于神经网络的手势识别方法，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤之前，还包括：
    利用保边降噪算法对原始手势图像进行降噪处理。
  8. 一种基于神经网络的手势识别装置，包括：
    二值化处理模块，用于获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
    识别模块，用于将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
    确定手势类型模块，用于计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
  9. 一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行基于神经网络的手势识别方法，其中，所述基于神经网络的手势识别方法的步骤包括：
    获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
    将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
    计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
  10. 根据权利要求9所述的非易失性计算机可读存储介质，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：
    将原始手势图像划分为若干子区域；
    对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
    用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
  11. 根据权利要求10所述的非易失性计算机可读存储介质，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：
    根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：
    获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
    基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
  12. 根据权利要求11所述的非易失性计算机可读存储介质，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步骤，包括：
    采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
    提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
    利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
  13. 根据权利要求12所述的非易失性计算机可读存储介质，获得二值化手势图像对应的N维特征向量的步骤，包括：
    将所述二值化手势图像划分为N个子区域；
    获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
    将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
  14. 根据权利要求11所述的非易失性计算机可读存储介质，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：
    获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向量之间的欧式距离；
    根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
  15. 一种计算机设备，所述计算机设备包括：
    一个或多个处理器；
    存储装置，用于存储一个或多个程序，
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述基于神经网络的手势识别方法的步骤，其中，所述基于神经网络的手势识别方法的步骤包括：
    获取原始手势图像，并对所述原始手势图像进行二值化处理获得二值化手势图像；
    将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别，获得所述原始手势图像的手势特征信息；
    计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型。
  16. 根据权利要求15所述的计算机设备，所述对所述原始手势图像进行二值化处理获得二值化手势图像的步骤，包括：
    将原始手势图像划分为若干子区域；
    对每个子区域中的像素窗口均执行如下操作：以窗口中心像素的灰度值作为阈值，将相邻像素的灰度值与其进行比较，获得该像素窗口的LBP值；
    用像素窗口的LBP值代替该像素窗口的原灰度值，获得所述原始手势图像对应的二值化手势图像。
  17. 根据权利要求15所述的计算机设备，所述将所述原始手势图像和二值化手势图像分别输入神经网络模型的两个通道分别进行识别的步骤之前，还包括：
    根据训练手势图像建立神经网络模型；其中，建立神经网络模型的步骤，包括：
    获取预设的训练图像集合中的训练手势图像，对所述训练手势图像及其二值化手势图像进行特征提取，分别获得训练手势图像及二值化手势图像对应的N维特征向量，整合所述N维特征向量获得2N维特征向量；
    基于该2N维特征向量进行特征向量的对比，利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型。
  18. 根据权利要求17所述的计算机设备，所述利用正样本手势图像的对比结果调整特征向量的权重，获得神经网络模型的步骤，包括：
    采用Inception-Resnet-V2的基本网络结构构建初始双通道神经网络模型；
    提取正样本手势图像中的所述2N维特征向量，将所述2N维特征向量及该正样本手势图像对应的手势类型输入初始双通道神经网络模型，获得2N维特征向量的初始权重值；
    利用正样本手势图像集中所有正样本手势图像及对应的手势类型不断调整初始双通道神经网络模型中各特征向量的初始权重值，各特征向量的权重值确定后，获得双通道神经网络模型。
  19. 根据权利要求17所述的计算机设备，获得二值化手势图像对应的N维特征向量的步骤，包括：
    将所述二值化手势图像划分为N个子区域；
    获取所述N个子区域的LBP直方图，对所述LBP直方图进行归一化处理；
    将归一化处理后的N个子区域的直方图进行连接，获得二值化手势图像对应的N维特征向量。
  20. 根据权利要求17所述的计算机设备，所述计算所述手势特征信息与数据库中各个正样本手势特征信息之间的欧式距离，并根据所述欧式距离确定所述原始手势图像中的手势类型的步骤，包括：
    获得原始手势图像的特征向量及数据库中各正样本手势图像的同维度特征向量，计算原始手势图像的特征向量与各正样本手势图像的特征向 量之间的欧式距离；
    根据所述欧式距离获得原始手势图像与各正样本手势图像之间的置信度，将最高置信度对应的正样本手势类型输出为原始手势图像中的手势类型。
PCT/CN2019/103056 2019-06-06 2019-08-28 基于神经网络的手势识别方法、装置、存储介质及设备 Ceased WO2020244071A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910493340.5A CN110334605B (zh) 2019-06-06 2019-06-06 基于神经网络的手势识别方法、装置、存储介质及设备
CN201910493340.5 2019-06-06

Publications (1)

Publication Number Publication Date
WO2020244071A1 true WO2020244071A1 (zh) 2020-12-10

Family

ID=68140809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103056 Ceased WO2020244071A1 (zh) 2019-06-06 2019-08-28 基于神经网络的手势识别方法、装置、存储介质及设备

Country Status (2)

Country Link
CN (1) CN110334605B (zh)
WO (1) WO2020244071A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801134A (zh) * 2020-12-30 2021-05-14 杭州趣链科技有限公司 基于区块链和图像的手势识别模型训练与分发方法与装置
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN113435340A (zh) * 2021-06-29 2021-09-24 福州大学 基于改进Resnet的实时手势识别方法
CN113837025A (zh) * 2021-09-03 2021-12-24 深圳创维－Rgb电子有限公司 一种手势识别方法、系统、终端及存储介质
CN114818864A (zh) * 2022-03-28 2022-07-29 深圳大学 一种基于小样本的手势识别方法
CN114926455A (zh) * 2022-06-13 2022-08-19 凌云光技术股份有限公司 目标中心位置的检测方法、装置、计算机设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334605B (zh) * 2019-06-06 2024-11-19 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备
CN112598728B (zh) * 2020-12-23 2024-02-13 极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN113033290A (zh) * 2021-02-01 2021-06-25 广州朗国电子科技有限公司 一种图像子区域的识别方法、设备、存储介质
CN113420609A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 激光雷达人体手势识别方法、电子设备、存储介质
CN113570948A (zh) * 2021-08-06 2021-10-29 郑州捷安高科股份有限公司 急救教学方法、装置、电子设备及存储介质
CN117058755B (zh) * 2023-08-09 2025-01-21 重庆市永川职业教育中心 基于二值神经网络的热成像手势识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127170A (zh) * 2016-07-01 2016-11-16 重庆中科云丛科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN108960412A (zh) * 2018-06-29 2018-12-07 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN110334605A (zh) * 2019-06-06 2019-10-15 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020848A (zh) * 2014-05-15 2014-09-03 中航华东光电（上海）有限公司 一种静态手势识别方法
CN108334814B (zh) * 2018-01-11 2020-10-30 浙江工业大学 一种ar系统手势识别方法
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127170A (zh) * 2016-07-01 2016-11-16 重庆中科云丛科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN108960412A (zh) * 2018-06-29 2018-12-07 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN110334605A (zh) * 2019-06-06 2019-10-15 平安科技（深圳）有限公司 基于神经网络的手势识别方法、装置、存储介质及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801134A (zh) * 2020-12-30 2021-05-14 杭州趣链科技有限公司 基于区块链和图像的手势识别模型训练与分发方法与装置
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN112926423B (zh) * 2021-02-07 2023-08-25 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
US11776322B2 (en) 2021-02-07 2023-10-03 Qingdao Pico Technology Co., Ltd. Pinch gesture detection and recognition method, device and system
CN113435340A (zh) * 2021-06-29 2021-09-24 福州大学 基于改进Resnet的实时手势识别方法
CN113435340B (zh) * 2021-06-29 2022-06-10 福州大学 基于改进Resnet的实时手势识别方法
CN113837025A (zh) * 2021-09-03 2021-12-24 深圳创维－Rgb电子有限公司 一种手势识别方法、系统、终端及存储介质
CN114818864A (zh) * 2022-03-28 2022-07-29 深圳大学 一种基于小样本的手势识别方法
CN114926455A (zh) * 2022-06-13 2022-08-19 凌云光技术股份有限公司 目标中心位置的检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110334605A (zh) 2019-10-15
CN110334605B (zh) 2024-11-19

Similar Documents

Publication Publication Date Title
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
US10558841B2 (en) Method and apparatus for recognizing fingerprint ridge point
CN111461165A (zh) 图像识别方法、识别模型的训练方法及相关装置、设备
WO2019192121A1 (zh) 双通道神经网络模型训练及人脸比对方法、终端及介质
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
US10853631B2 (en) Face verification method and apparatus, server and readable storage medium
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
WO2019061658A1 (zh) 眼镜定位方法、装置及存储介质
CN110688878B (zh) 活体识别检测方法、装置、介质及电子设备
CN105956578A (zh) 一种基于身份证件信息的人脸验证方法
CN106056083B (zh) 一种信息处理方法及终端
CN111626371A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN107239735A (zh) 一种基于视频分析的活体检测方法和系统
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
CN106778613A (zh) 一种基于人脸分割区域匹配的身份验证方法及装置
Elrefaei et al. Developing iris recognition system for smartphone security
KR102669584B1 (ko) 반려동물 생체정보 검출 방법 및 장치
CN111274899B (zh) 人脸匹配方法、装置、电子设备和存储介质
Amjed et al. Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database
CN118608917A (zh) 一种图像敏感信息的识别方法、系统、设备及介质
CN108694347B (zh) 图像处理方法和装置
CN107844735B (zh) 生物特征的认证方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931958

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19931958

Country of ref document: EP

Kind code of ref document: A1