WO2023077665A1 - 手掌位置确定方法、装置、电子设备及存储介质 - Google Patents

手掌位置确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023077665A1
WO2023077665A1 PCT/CN2022/070285 CN2022070285W WO2023077665A1 WO 2023077665 A1 WO2023077665 A1 WO 2023077665A1 CN 2022070285 W CN2022070285 W CN 2022070285W WO 2023077665 A1 WO2023077665 A1 WO 2023077665A1
Authority
WO
WIPO (PCT)
Prior art keywords
palm
target
inclination
frame
target palm
Prior art date
Application number
PCT/CN2022/070285
Other languages
English (en)
French (fr)
Inventor
朱理森
孙红伟
Original Assignee
深圳市鸿合创新信息技术有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市鸿合创新信息技术有限责任公司 filed Critical 深圳市鸿合创新信息技术有限责任公司
Publication of WO2023077665A1 publication Critical patent/WO2023077665A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the present application relates to the field of human-computer interaction, and in particular to a palm position determination method, device, electronic equipment and storage medium.
  • gesture control based on computer vision has become a widely used interaction method in the field of human-computer interaction.
  • Gesture control usually uses a camera to track human body movements, and sends control to devices through human gestures. instruction.
  • control equipment such as a remote control, or traditional input and output equipment such as a mouse and keyboard
  • the device can be remotely controlled by hand within a certain distance.
  • many gesture recognition scenarios are very dependent on the exact position and size of the framed hand, and the currently commonly used target detection algorithms based on deep learning usually only approximate the position and size of the framed hand, and its accuracy is not high. Affect the accuracy of subsequent gesture recognition. Therefore, how to realize the accurate positioning of the palm position is a problem worthy of research.
  • the method, device, electronic device, and storage medium for determining the palm position provided by the present application can analyze the inclination of the hand according to the key points of the palm, and use the inclination to determine a rectangular frame that can locate the palm position to determine the palm size and Location.
  • the present application provides a method for determining a palm position, the method comprising:
  • a position frame indicating the size and position of the target palm is obtained, and the position frame covers all key points of the target palm.
  • the method before performing key point detection on the image to be detected containing the palm of the target, the method further includes:
  • the determining the inclination of the target palm according to the slopes of the multiple linear fitting lines includes:
  • the obtaining the position frame indicating the size and position of the target palm according to the inclination and the position of each key point of the target palm includes:
  • the determining the direction of the target palm according to the inclination includes:
  • the first preset condition is: the absolute value of the slope value corresponding to the inclination is greater than or equal to the first A preset threshold T1 or less than 1/T1.
  • the calculating the positions of four vertices of the initial detection frame according to the positions of each key point of the target palm, and determining the position frame according to the initial detection frame includes:
  • the position frame is obtained.
  • the calculating the function corresponding to the four sides of the initial detection frame, and determining the position frame according to the initial detection frame includes:
  • a rectangular frame surrounded by the four functions is used as the initial detection frame
  • the position frame is obtained.
  • the obtaining the position frame indicating the size and position of the target palm includes:
  • the position frame is obtained by enlarging the rectangular frame.
  • the present application also provides a device for determining a palm position, and the device for determining a palm position includes:
  • a key point detection module configured to perform key point detection on an image to be detected that includes a target palm, and determine each key point of the target palm;
  • the linear fitting module is used to carry out linear fitting to the key points of the base of the target palm and a plurality of key points belonging to the same finger to obtain a linear fitting straight line corresponding to a plurality of fingers;
  • an inclination determination module configured to determine the inclination of the target palm according to the slopes of a plurality of linear fitting lines
  • a position frame generating module configured to obtain a position frame indicating the size and position of the target palm according to the inclination and the positions of each key point of the target palm, the position frame covering all key points of the target palm .
  • the device for determining the palm position may further include:
  • An image pre-positioning module is used to perform pre-positioning of the target palm on the acquired image through the target detection and positioning model to obtain a pre-positioning result
  • a sub-image acquiring module configured to cut out a sub-image containing the target palm from the acquired image according to the pre-positioning result to obtain the image to be detected.
  • the position frame generating module generating a position frame covering all key points of the target palm includes:
  • the position frame is obtained by enlarging the rectangular frame.
  • the inclination determination module includes:
  • an inclination angle determining unit configured to determine a plurality of corresponding inclination angles according to the slopes of the plurality of linear fitting lines
  • an effective judgment unit configured to obtain multiple effective inclination angles after removing outliers in the plurality of inclination angles
  • the inclination calculation unit is configured to calculate an average value of the plurality of effective inclination angles to obtain an average angle, and determine the average angle as the inclination of the target palm.
  • the location frame generation module includes:
  • a direction determining unit configured to determine the direction of the target palm according to the inclination
  • a position frame calculation unit used to calculate the positions of the four vertices of the initial detection frame according to the positions of each key point of the target palm when the direction of the target palm is vertical or horizontal, and determine the positions according to the initial detection frame frame;
  • the direction determination by the direction determination unit includes:
  • the first preset condition is: the absolute value of the slope value corresponding to the inclination is greater than or equal to the first A preset threshold T1 or less than 1/T1.
  • the location box calculation unit includes:
  • the coordinate calculation subunit is used for when the direction of the target palm is vertical or horizontal:
  • the position frame is obtained.
  • the position frame calculation unit further includes:
  • the function obtaining unit is used for when the direction of the target palm is not vertical or horizontal:
  • the rectangular frame surrounded by the four functions is used as the initial detection frame.
  • the present application further provides an electronic device, including a processor, where the processor is configured to implement the method for determining a palm position as described above.
  • the present application further provides a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and when the computer program is run by a processor, the method for determining the palm position as described above is executed.
  • the embodiment of the present application adopts the above-mentioned palm position determination method, first detects the key points of the target palm, and performs linear fitting on the key points of the base of the target palm and multiple key points belonging to the same finger, and obtains the linear fitting corresponding to multiple fingers. Fitting the straight line, the inclination of the target palm is determined by multiple linear fitting straight lines, combined with the positions of each key point, a position box covering all key points of the target palm is obtained, which can indicate the size and position of the target palm.
  • FIG. 1 is a schematic flow diagram of a method for determining a palm position in an embodiment of the present application
  • Figure 2 is a schematic diagram of 21 key points of a palm in an embodiment of the present application.
  • Figure 3 shows a schematic diagram of linear fitting of key points of each finger of the target palm in an embodiment of the present application
  • Figure 4 shows a schematic diagram of a position frame generated for the target palm in Figure 3 in an embodiment of the present application
  • Fig. 5 shows the functional block diagram II of the palm position determining device in an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of an electronic device used to implement an embodiment disclosed in the present application.
  • the execution subject of the method for determining the palm position provided by each embodiment of the present application can generally be executed by a computing device, which can be implemented as software, or as a combination of software and hardware, and the computing device can be integrated and set with a certain
  • the electronic equipment includes, for example: a terminal device or a server or other processing equipment, and the terminal device can be a mobile phone, a notebook computer, a digital broadcast receiver, a PDA (personal digital assistant), a PAD (tablet computer), Mobile terminals such as PMP (Portable Multimedia Player), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), etc., and fixed terminals such as digital TVs, desktop computers, intelligent interactive display devices, etc.
  • the method for determining the palm position may be implemented by a processor invoking computer-readable instructions stored in a
  • FIG. 1 is a schematic flowchart of a method for determining a palm position provided by an embodiment of the present application.
  • the method includes steps S100-S400:
  • the embodiment of the present application adopts the above-mentioned method, first detects the key points of the target palm, performs linear fitting on the key points of the base of the target palm and multiple key points belonging to the same finger, and obtains a linear fitting line corresponding to multiple fingers, The inclination of the target palm is determined by multiple linear fitting lines, combined with the positions of each key point, a position box covering all key points of the target palm is generated. Analyze the inclination of the palm based on the key points obtained in the preliminary detection, and delineate the position frame based on the inclination combined with all the key points obtained, which can ensure that the inclination and size of the obtained position frame are basically consistent with the target palm, and the positioning is also more accurate. In order to be precise, when performing gesture recognition and continuous tracking of the target palm based on the position frame, it can reduce the interference of the background environment in the background image or avoid missing key points to ensure more accurate feature extraction.
  • Steps S100-S400 are described in detail below:
  • the key point detection can be performed through a pre-trained key point detection model, and the key point detection model can use a deep neural network model.
  • depth such as a ResNet network structure, a MobileNet network structure, or a NASNet network structure can be used. neural network model.
  • the key point detection model can be a different number of key point detection models. Exemplarily, it can be 21 key point detection models, as shown in Figure 2, which is a schematic diagram of 21 common key points of the palm. Both take the 21 key points output by the key point detection model as an example for illustration, but it does not mean that only 21 key points can be used in each embodiment of the application.
  • the method for determining the palm position of the application can be applied to any number of key point detections A model, for example, could also be 14 keypoints.
  • step S100 the following steps may also be included:
  • the camera is usually used to capture the dynamic video of the action of the controller of the electronic device, and the images frame by frame can be obtained from the dynamic video, and the images obtained for each frame are pre-processed.
  • the pre-processing includes: Scale, enhance, etc.
  • the target detection and localization model may be a pre-trained neural network model.
  • a neural network model such as Yolo-v1/2/3/4 network structure, SSD network structure, or FPN network structure may be used.
  • the trained target detection and positioning model can perform a pre-positioning of the target palm in the acquired image.
  • a relatively rough detection frame can usually be generated, which can contain the position of the target palm, but usually the detection
  • the boxes are larger and contain more background information.
  • a sub-image is directly cut out from the image to be located in the acquired image, and the sub-image can be used as the input image of the subsequent key point detection model, that is, the image to be detected.
  • generating does not mean that the detection frame or location frame needs to be actually displayed, including but not limited to obtaining corresponding data that can determine the specific position and range of the detection frame or location frame, or directly drawing the detection frame or location frame. box or position box and display.
  • the trained neural network model is used to pre-position the image to be detected, and then the image to be detected containing the target palm is cut out, so that the image data that needs to be processed in the subsequent key point detection can be reduced, and the speed of processing can be accelerated.
  • the detection of key points also avoids the confounding of more irrelevant data from affecting the detection results.
  • step S200 the key point at the base of the target palm is linearly fitted with the 4 key points on each other finger to obtain a linear fitting line corresponding to each finger.
  • the least square method is preferred for linear fitting. It can be understood that, in other embodiments, other linear fitting methods may also be used, including but not limited to gradient descent method, gradient descent method, Gauss-Newton method, and the like.
  • a corresponding linear fitting straight line can be obtained for each of the five fingers, or a corresponding linear fitting straight line can be obtained for only some of the fingers.
  • step S300 the slope of each linear fitting line corresponds to an inclination angle, and the inclination angle represents the angle between the finger and the abscissa axis x of the plane coordinate system where the target palm is located.
  • an average angle can be obtained by averaging.
  • the angle value or slope value can be used as a parameter to measure the inclination of the target palm. Therefore, the average angle, or the average angle The corresponding average slope can be used as the inclination of the target palm.
  • a rectangular frame with the same inclination can be drawn based on the inclination, and at the same time, according to the position of each key point, the size of the target palm can also be analyzed and determined, thereby determining the rectangular frame
  • the minimum area and center position of so that all the key points are contained in the rectangular box.
  • a center point can be determined by the four points of the uppermost, lowermost, rightmost, and leftmost points of all key points, and the center point is used as the center point of the rectangular frame, and the four sides of the rectangular frame are at least bounded by the above four points. points are included to ensure that the rectangular frame covers all the key points.
  • the above rectangular frame can be directly used as a position frame, or it can be used as a position frame after being enlarged by a preset multiple.
  • the accuracy of the position frame is higher.
  • the recognition result of the position frame can be used as the standard, and a smaller image can be further cut out from the image to be detected and input into the subsequent In other models, in this way, it can not only reduce the amount of calculation, but also reduce the interference of the background environment in the background image or avoid missing key points, so as to ensure more accurate feature extraction.
  • step S200 it is considered that the thumb is generally more flexible, and is usually not in the same direction as the other four fingers, and is usually not in the same direction as the palm, which is not helpful for confirming the direction of the palm, so , the corresponding linear fitting straight line can be obtained only for the other 4 thumbs except the thumb.
  • the xy coordinate system can be established in the image to be detected, and the four key points on each finger and the key points at the heel of the palm can be linearly fitted, and four linear fitting lines L1 and L2 can be obtained , L3, L4.
  • the number of linear fitting calculations can be reduced, and large errors in determining the inclination of the target palm can be avoided, so that the finally determined position frame is more accurate.
  • step S300 includes the following steps:
  • each linear fitting line corresponds to the inclination angle of the line that can be determined.
  • the slope of each linear fitting line corresponds to the inclination angle of the line that can be determined.
  • the four linear fitting straight lines L1, L2, L3, L4 in Fig. 3 as an example, which respectively correspond to four inclination angles A1, A2, A3, A4.
  • A1, A2, A3, and A4 analyze the outliers among them through the clustering algorithm, remove the outliers, and determine the remaining ones as effective tilt angles.
  • the average value of A1, A2, A3, A4 can be obtained first, and the Manhattan distance L1 from A1, A2, A3, A4 to the average value can be calculated respectively, and the average Manhattan distance Lm can be obtained.
  • the inclination angle is determined to be an outlier.
  • T is the specified threshold, which can be determined according to the number of outliers to be eliminated, and is usually an integer greater than or equal to 2.
  • the remaining effective tilt angles are averaged (eg, arithmetic mean, weighted average, etc.) to obtain an average angle.
  • the average angle can be used as the inclination of the target palm.
  • the inclination angle with a large error can be eliminated, and the accuracy of the inclination of the target palm can be further improved, so that the finally determined position frame is more accurate.
  • the four-finger pointing of the palm can also be obtained, which has a certain effect on gesture recognition in a specific scene.
  • the average slope corresponding to the average angle can be used as the inclination of the target palm.
  • step S400 includes the following steps:
  • the direction of the target palm can be determined.
  • the angle value is used as a parameter to measure the inclination
  • the average angle is 90 degrees or 0 degrees
  • Horizontal direction if the average angle is other angles between 0 degrees and 90 degrees, it means that it is not a vertical or horizontal direction.
  • the position frame can be a rectangular frame without inclination. At this time, the positions of the four vertices of the initial detection frame can be directly calculated according to the positions of each key point.
  • the straight line corresponding to the function is determined at the same time.
  • the four straight lines can form a rectangular frame, which is the initial detection frame.
  • the position frame can be generated from the initial detection frame.
  • the position frame can be obtained after a certain magnification, which can prevent the edge points from being exactly on the boundary of the position frame, resulting in missing key points during gesture detection.
  • the initial detection frame can also be directly used as the location frame.
  • the vertical direction means that the other four fingers of the palm except the thumb are all vertically upward or vertically downward.
  • the heel of the palm is at the vertical downward or vertically upward.
  • the horizontal direction means that the other four fingers of the palm except the thumb are all horizontally left or horizontally right.
  • the heel of the palm is in the horizontal right direction or horizontal left direction of the above four fingers.
  • the direction of the palm of the palm there is no limitation on the direction of the palm of the palm, and the palm may face the shooting direction, or the palm may face away from the shooting direction.
  • step S401 includes:
  • the first preset condition is: the absolute value of the slope value corresponding to the inclination is greater than It is equal to the first preset threshold T1 or less than 1/T1.
  • the inclination can be an angle value or a slope value. If the angle value is judged, it is necessary to set different judgment standards for angles in different ranges (for example, the judgments corresponding to 90 degrees and 270 degrees different standards, but all belong to the vertical direction), its direction can be determined. If the slope value is used to judge, then only the determination of the absolute value can be used to unify the judgment standard. Therefore, in this embodiment, the slope value can be used to Make direction judgments. If the inclination is an average angle, first obtain the corresponding average slope, and if the inclination is an average slope, then directly determine that the average slope is the corresponding slope value.
  • the direction of the target palm can be further corrected according to the value of the slope.
  • the absolute value of K is greater than or equal to the first preset threshold T1 (for example, take 10 or a larger value, which can be set according to needs)
  • T1 the first preset threshold
  • the absolute value of K is less than or equal to 1/T1
  • the user's palm usually does not reach a strict vertical or horizontal direction, so a certain deviation can be allowed. As long as a certain inclination is reached, the palm can be considered to be vertical or horizontal.
  • the method of the embodiment is more in line with the actual application scenario. Based on the determined palm direction, in the subsequent gesture recognition and tracking, it can avoid being too sensitive to cause misrecognition.
  • step S402 the positions of the four vertices of the initial detection frame are calculated according to the positions of each key point of the target palm, and the determination of the position frame according to the initial detection frame includes:
  • both the initial detection frame and the position frame are rectangular frames.
  • the initial detection frame can be enlarged to a certain extent, for example: magnification factor H Between 1.05 and 1.5.
  • a specific method may be as follows: the center of the initial detection frame remains unchanged, and the four sides move outward, so that the area of the rectangular frame is H times the area of the initial detection frame.
  • step S403 calculating the function corresponding to the four sides of the initial detection frame, and determining the position frame according to the initial detection frame includes:
  • FIG. 4 is a schematic diagram of a position frame generated for the target palm in FIG. 3 in an embodiment of the present application.
  • p0 is the initial detection frame obtained by the above method
  • the above four sides have respectively passed the four points of the bottom, top, left, and right of the 21 key points to form a rectangular frame, and the initial detection frame All 21 key points are covered.
  • the final position frame p1 can be obtained.
  • obtaining the position frame indicating the size and position of the target palm in step S400 includes:
  • the position frame is obtained by enlarging the rectangular frame.
  • the rectangular frame is equivalent to the initial detection frame as mentioned above, considering that even if all key points are covered, it cannot cover the entire target palm, and some key points may just fall on the vertices or boundaries of the rectangular frame Therefore, the rectangular frame can be enlarged to a certain extent, for example, the enlargement factor H is between 1.05 and 1.5.
  • a specific method may be as follows: the center of the rectangular frame remains unchanged, and each side moves outward, so that the area of the position frame is H times the area of the rectangular frame.
  • FIG. 5 shows a schematic diagram of functional modules of a palm position determination device provided by an embodiment of the present application.
  • the palm position determination device 100 includes:
  • a key point detection module 110 configured to perform key point detection on the image to be detected including the target palm, and determine each key point of the target palm;
  • Linear fitting module 120 is used for carrying out linear fitting to the key point of the base of the palm of the target and a plurality of key points belonging to a finger, to obtain a linear fitting straight line corresponding to a plurality of fingers;
  • An inclination determination module 130 configured to determine the inclination of the target palm according to the slopes of a plurality of linear fitting lines
  • the position frame generation module 140 is used to obtain a position frame indicating the size and position of the target palm according to the inclination and the position of each key point of the target palm, and the position frame covers all key points of the target palm. point.
  • the palm position determining device 100 may also include:
  • An image pre-positioning module is used to perform pre-positioning of the target palm on the acquired image through the target detection and positioning model to obtain a pre-positioning result
  • a sub-image acquiring module configured to cut out a sub-image containing the target palm from the acquired image according to the pre-positioning result to obtain the image to be detected.
  • the position frame generating module 140 generating a position frame covering all key points of the target palm includes:
  • the position frame is obtained by enlarging the rectangular frame.
  • the inclination determination module 130 includes:
  • An inclination angle determination unit 131 configured to determine a plurality of corresponding inclination angles according to the slopes of the plurality of linear fitting lines;
  • An effective judgment unit 132 configured to obtain a plurality of effective inclination angles after removing outliers in the plurality of inclination angles
  • the inclination calculation unit 133 is configured to calculate an average value of the plurality of effective inclination angles to obtain an average angle, and determine the average angle as the inclination of the target palm.
  • the location frame generation module 140 includes:
  • a direction determining unit 141 configured to determine the direction of the target palm according to the inclination
  • the position frame calculation unit 142 is used to calculate the positions of the four vertices of the initial detection frame according to the positions of each key point of the target palm when the direction of the target palm is vertical or horizontal, and determine the position of the four vertices of the initial detection frame according to the initial detection frame. location box; and,
  • the direction determining unit 141 performs direction determination including:
  • the position frame calculation unit 142 includes:
  • the coordinate calculation subunit 1421 is used for when the direction of the target palm is vertical or horizontal:
  • Amplifying subunit 1422 for:
  • the position frame is obtained.
  • the location frame calculation unit 142 also includes:
  • Function obtaining unit 1423 used for when the direction of the target palm is not vertical or horizontal:
  • the rectangular frame surrounded by the four functions is used as the initial detection frame.
  • the functions of the palm position determination device 100 in the above embodiments can be used to execute the methods described in the above method embodiments, and its specific implementation can refer to the description of the above method embodiments, and for the sake of brevity, details are not repeated here.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit. If the functions are realized in the form of software function units and sold or used as independent products, they can be stored in a non-volatile computer-readable storage medium executable by a processor.
  • FIG. 6 it shows a schematic structural diagram of an electronic device 60 suitable for implementing the embodiments disclosed in this application.
  • the electronic equipment in the embodiment of the present disclosure may include but not limited to such as mobile phone, notebook computer, digital broadcast receiver, PDA (personal digital assistant), PAD (tablet computer), PMP (portable multimedia player), vehicle terminal (such as mobile terminals such as car navigation terminals) and fixed terminals such as digital TVs, desktop computers and the like.
  • the electronic device shown in FIG. 6 is only an example, and should not limit the functions and scope of use of the embodiments disclosed in the present application.
  • the electronic device 60 may include a processor (such as a central processing unit, a graphics processing unit, etc.) 601 , which may perform various appropriate actions and processes according to different application codes stored in the memory 601 .
  • the memory 601 may include random access memory (RAM) and read only memory (ROM). In the RAM 603, various programs and data required for the operation of the electronic device 60 are stored.
  • the memory 601 , the processor 602 and the communication interface 603 may be connected to each other by wires, for example, a bus 604 .
  • the communication interface 603 may allow the electronic device 60 to perform wireless or wired communication with other devices to exchange data.
  • the processor 602 when the processor 602 executes the application program code stored in the memory 601, it may execute the method for determining the palm position as provided in the embodiment of FIG. 1 .
  • the process described above with reference to the flow chart of the embodiment in FIG. 1 may be implemented as a computer program.
  • the embodiments of the present application also provide a computer program product, which includes a computer program carried on a computer-readable medium, where the computer program includes program code for executing the method in the flow chart of the embodiment in FIG. 1 .
  • the computer program may be downloaded and installed from a network via communication interface 603 or from memory 608 .
  • the processor 602 the above-mentioned functions defined in the methods of the above-mentioned embodiments are executed.
  • the above-mentioned computer-readable medium may include but not limited to: may include volatile memory (volatile memory), such as random access memory (random access memory, RAM); memory 802 may also include non-volatile memory Memory (non-volatile memory), such as read-only memory (read-only memory, ROM), flash memory (flash memory), hard disk (hard disk drive, HDD) or solid-state drive (solid-state drive, SSD); memory 802 may also include a combination of the above types of memory
  • volatile memory volatile memory
  • RAM random access memory
  • memory 802 may also include non-volatile memory Memory (non-volatile memory), such as read-only memory (read-only memory, ROM), flash memory (flash memory), hard disk (hard disk drive, HDD) or solid-state drive (solid-state drive, SSD); memory 802 may also include a combination of the above types of memory
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device, or may exist independently without being incorporated into the electronic device.
  • the embodiment of the present application also provides a computer storage medium, which can be used for computer software instructions, including a computer program.
  • a computer storage medium which can be used for computer software instructions, including a computer program.
  • the computer program When the computer program is run by a processor, the computer program described in the above-mentioned embodiments is executed.
  • the storage medium includes but is not limited to flash memory, hard disk, and solid state hard disk.
  • the embodiment of the present application also provides a computer program product, which can be executed by a processor to implement the processes in the above embodiments of the method for determining the palm position, and can achieve the same technical effect. To avoid repetition, it is not repeated here repeat.
  • the embodiment of the present application further provides a chip, the chip includes a processor and a communication interface, the communication interface is coupled to the processor, the processor is used to run programs or instructions, and realize the various processes of the above-mentioned palm position determination method embodiment, and can achieve the same To avoid repetition, the technical effects will not be repeated here.
  • chips mentioned in the embodiments of the present application may also be called system-on-chip, system-on-chip, system-on-a-chip, or system-on-a-chip.

Abstract

本申请提供一种手掌位置确定方法、装置、电子设备及存储介质。所述方法，先检测目标手掌的关键点，对目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线，由多个线性拟合直线确定目标手掌的倾斜度，结合关键点的位置，得到一个涵盖目标手掌所有关键点的位置框，可以指示目标手掌的大小和位置。基于初步检测得到的关键点来分析手掌的倾斜度，基于倾斜度，结合得到的所有关键点得到位置框，可以确保生成的位置框的倾斜度、大小与目标手掌基本一致，定位也更为精确，后续基于该位置框进行手势识别及目标手掌的持续追踪时，可以减少图像中背景环境的干扰或者遗漏关键点，确保特征的提取更为准确。

Description

手掌位置确定方法、装置、电子设备及存储介质
相关申请的交叉引用
本申请要求享有于2021年11月05日提交的名称为“手掌位置确定方法、装置、电子设备及存储介质”的中国专利申请202111305734.7的优先权，该申请的全部内容通过引用并入本文中。
技术领域
本申请涉及人机交互领域，尤其涉及手掌位置确定方法、装置、电子设备及存储介质。
背景技术
由于计算机视觉技术的发展，在人机交互领域，基于计算机视觉的手势控制已经成为被广泛应用的一种交互方式，手势控制通常是使用摄像头跟踪人体动作行为，通过人的动作姿态向设备发送控制指令。这样可以无需遥控器等控制设备，或鼠标键盘等传统输入输出设备，即可在一定距离范围内实现徒手遥控设备。但是，很多的手势识别场景都非常依赖于准确框出手的位置和大小，而目前常用的基于深度学习的目标检测算法通常只能大概框出手的位置和大小，其精度并不高，进而也会影响后续手势识别的准确性。因此，如何实现手掌位置的准确定位是一个值得研究的问题。
发明内容
有鉴于此，本申请提供的手掌位置确定方法、装置、电子设备及存储介质，能够根据手掌关键点分析手的倾斜度，以该倾斜度确定可以定位手掌位置的矩形框，以确定手掌大小以及位置。
第一方面，本申请提供一种手掌位置确定方法，所述方法包括：
对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的 各个关键点；
对所述目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线；
根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
在一种可能的实现方式中，对包含目标手掌的待检测图像进行关键点检测前，所述方法还包括：
通过目标检测定位模型对获取的图像进行目标手掌的预定位，得到预定位结果；
依据所述预定位结果从所述获取的图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。
在一种可能的实现方式中，所述根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度包括：
根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
在一种可能的实现方式中，所述依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框包括：
依据所述倾斜度，确定所述目标手掌的方向；
若所述目标手掌的方向为竖直或水平方向，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；
若所述目标手掌的方向不是竖直或水平方向，计算初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
在一种可能的实现方式中，所述依据所述倾斜度，确定所述目标手掌的方向包括：
当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向，其中，第一预设条件为：所述倾斜度对应的斜率值的绝对值大于等于第一预设阈值T1或小于1/T1。
在一种可能的实现方式中，所述根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框包括：
以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值作为第二纵坐标值Yg；
以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
将所述初始检测框放大后，得到所述位置框。
在一种可能的实现方式中，所述计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框包括：
计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述目标手掌的倾斜度确定；
计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的所有关键点时的第二最大截距Tg和第二最小截距Ts；
根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
以所述四个函数围成的矩形框作为所述初始检测框；
将所述初始检测框放大后，得到所述位置框。
在一种可能的实现方式中，所述得到指示所述目标手掌的大小和位置的位置框包括：
生成涵盖所述目标手掌的所有关键点的矩形框；
将所述矩形框放大后得到所述位置框。
第二方面，本申请还提供一种手掌位置确定装置，所述手掌位置确定装置包括：
关键点检测模块，用于对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的各个关键点；
线性拟合模块，用于对所述目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线；
倾斜度确定模块，用于根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
位置框生成模块，用于依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
在一种可能的实现方式中，所述手掌位置确定装置还可以包括：
图像预定位模块，用于通过目标检测定位模型对获取的图像进行所述目标手掌的预定位，得到预定位结果；
子图像获取模块，用于依据所述预定位结果从所述获取的图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。
在一种可能的实现方式中，所述位置框生成模块生成涵盖所述目标手掌的所有关键点的位置框包括：
生成所述涵盖所述目标手掌的所有关键点的矩形框；
将所述矩形框放大后得到所述位置框。
在一种可能的实现方式中，所述倾斜度确定模块包括：
倾斜角确定单元，用于根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
有效判断单元，用于去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
倾斜度计算单元，用于对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
在一种可能的实现方式中，所述位置框生成模块包括：
方向确定单元，用于依据所述倾斜度，确定所述目标手掌的方向；
位置框计算单元，用于在所述目标手掌的方向为竖直或水平方向时，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；以及，
在所述目标手掌的方向不是竖直或水平方向时，计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
在一种可能的实现方式中，所述方向确定单元进行方向判断包括：
当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向，其中，第一预设条件为：所述倾斜度对应的斜率值的绝对值大于等于第一预设阈值T1或小于1/T1。
在一种可能的实现方式中，位置框计算单元包括：
坐标计算子单元，用于在所述目标手掌的方向为竖直或水平方向时：
以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值作为第二纵坐标值Yg；
以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
放大子单元，用于：
将所述初始检测框放大后，得到所述位置框。
在一种可能的实现方式中，所述位置框计算单元还包括：
函数求取单元，用于在所述目标手掌的方向不是竖直或水平方向时：
计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述目标手掌的倾斜度确定；
计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的 所有关键点时的第二最大截距Tg和第二最小截距Ts；
根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
以所述四个函数围成的矩形框作为所述初始检测框。
第三方面，本申请还提供一种电子设备，包括处理器，所述处理器用于实现如上所述的手掌位置确定方法。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行如上所述的手掌位置确定方法。
有益效果：
本申请实施例采用上述手掌位置确定方法，先检测目标手掌的关键点，对目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线，由多个线性拟合直线确定目标手掌的倾斜度，结合各个关键点的位置，得到一个涵盖目标手掌所有关键点的位置框，可以指示目标手掌的大小和位置。基于初步检测得到的关键点来分析手掌的倾斜度，基于倾斜度，结合得到的关键点来划定位置框，可以确保得到的位置框的倾斜度、大小与目标手掌基本一致，定位也更为精确，后续基于该位置框进行手势识别以及目标手掌的持续追踪时，可以减少图像中背景环境的干扰或者避免遗漏关键点，确保特征的提取更为准确。
本申请的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
以下将参照附图对根据本发明的实施方式进行描述。图中：
图1所示是本申请一实施方式中手掌位置确定方法的流程示意图；
图2所示是本申请一实施方式中一手掌21个关键点示意图；
图3所示是本申请一实施方式中对目标手掌各手指关键点进行线性拟合一示意图；
图4所示是本申请一实施方式中针对图3中目标手掌生成的位置框一示意图；
图5所示是本申请一实施方式中手掌位置确定装置的功能框图二
图6所示是用来实现本申请公开实施例的电子设备的结构示意图。
具体实施方式
为了对本申请的技术方案进行更详细的说明，以促进对本申请的进一步理解，下面结合附图描述本申请的具体实施方式。但应当理解，所有示意性实施例及其说明用于解释本申请，并不构成对本申请的唯一限定。
本申请中，“第一”、“第二”、“第三”、“第四”等仅仅用于描述目的，并不能理解为指示或暗示相对重要性。
为便于对本申请公开的各个实施例进行理解，首先对本申请各个实施例所公开的手掌位置确定方法进行详细介绍。本申请各个实施例所提供的手掌位置确定方法的执行主体一般可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在具有一定计算能力的电子设备中，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、智能交互显示设备等等的固定终端等。在一些可能的实现方式中，该手掌位置确定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参考图1所示，为本申请一实施例所提供的一种手掌位置确定方法的流程示意图，所述方法包括步骤S100-S400：
S100，对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的各个关键点；
S200，对所述目标手掌掌根的关键点和同属一个手指的多个关键点进 行线性拟合，得到与多个手指对应的线性拟合直线；
S300，根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
S400，依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
本申请实施例采用上述方法，先检测目标手掌的关键点，对目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线，由多个线性拟合直线确定目标手掌的倾斜度，结合各个关键点的位置，生成一个涵盖目标手掌所有关键点的位置框。基于初步检测得到的关键点来分析手掌的倾斜度，基于倾斜度，结合得到的所有关键点来划定位置框，可以确保得到的位置框的倾斜度、大小与目标手掌基本一致，定位也更为精确，基于该位置框进行手势识别以及目标手掌的持续追踪时，可以减少背景图像中背景环境的干扰或者避免遗漏关键点，确保特征的提取更为准确。
以下对步骤S100-S400进行详细的说明：
步骤S100中，关键点检测可以通过预先训练好的关键点检测模型进行，关键点检测模型可以采用深度神经网络模型，示例性的，可以采用例如ResNet网络结构、MobileNet网络结构、NASNet网络结构等深度神经网络模型。
关键点检测模型可以为不同数量的关键点检测模型，示例性的，可以为21个关键点检测模型，如图2所示，为常见的手掌21个关键点的示意图，本申请后续实施例中均以关键点检测模型输出21个关键点为例进行说明，但不代表本申请各实施例中只能采用21个关键点，本申请的手掌位置确定方法可以适用于采用任何数量的关键点检测模型，例如，也可以是14个关键点。
本实施例中，在步骤S100之前，还可以包括如下步骤：
S101，通过目标检测定位模型对获取的图像进行所述目标手掌的预定位，得到预定位结果；
S102，依据所述预定位结果从所述获取的图像中裁剪包含所述目标手 掌的子图像，得到所述待检测图像。
上述步骤S101和S102中，通常采用摄像头拍摄电子设备控制者的动作的动态视频，从动态视频中可以获取到一帧一帧的图像，对每一帧获取的图像进行预处理，预处理包括如缩放、增强等操作。目标检测定位模型可以为预先训练好的神经网络模型，示例性的，可以采用例如Yolo-v1/2/3/4网络结构，SSD网络结构，FPN网络结构等神经网络模型。训练好的目标检测定位模型可以对获取的图像中的目标手掌进行一个预定位，根据预定位的结果，通常可以生成一个较为粗略的检测框，框内可以包含目标手掌的位置，但通常该检测框都会比较大，包含较多的背景信息。根据包含目标手掌的检测框直接从获取的图像中的待定位图像裁剪出来一个子图像，子图像可以作为后续关键点检测模型的输入图像，即待检测图像。
可以理解，在本申请中，“生成”并不表示需要实际显示该检测框或位置框等，包括但不限于得到可确定检测框或位置框具体位置和范围的相应数据、或者直接绘制该检测框或位置框并显示。
上述步骤S101和S102中，对于待定位图像先通过训练好的神经网络模型进行预定位后裁剪出包含目标手掌的待检测图像，可以使得后续进行关键点检测时需要处理的图像数据较少，加快关键点的检测，也避免更多无关数据的混杂影响检测结果。
步骤S200中，取目标手掌掌根处的关键点，和其他每个手指上的4个关键点进行线性拟合，可以得到每个手指对应的线性拟合直线。本实施例中，在5个关键点全部使用的前提下，线性拟合的方式优先采用最小二乘法进行拟合。可以理解的是，在其他实施例中，也可以采用其他线性拟合的方式，包括但不限于梯度下降法、梯度下降法、高斯牛顿法等。
本实施例中，可以对5个手指均得到一个对应的线性拟合直线，也可以只对其中的某几个手指得到对应的线性拟合直线。
步骤S300中，每个线性拟合直线的斜率，对应着一个倾斜角，该倾斜角表示该手指与目标手掌所在平面坐标系横坐标轴x的夹角。对于多个倾斜角，可以通过求平均值的方式得到一个平均角度，本申请中，角度值或斜率值都可以作为衡量目标手掌的倾斜度的参数，因此，该平均角度，或 是该平均角度对应的平均斜率，都可以作为目标手掌的倾斜度。
步骤S400中，确定了目标手掌的倾斜度后，可以基于该倾斜度绘制一个同样倾斜度的矩形框，同时，根据各个关键点的位置，也可以分析确定目标手掌的大小，由此确定矩形框的最小面积和中心位置，让矩形框内包含所有的关键点。示例性的，可以通过所有关键点的中最上、最下、最右、最左四个点确定一个中心点，以该中心点为矩形框的中心点，并使矩形框的四边至少将上述四个点包含在内，以确保矩形框涵盖所有的关键点，上述矩形框可以直接作为位置框，也可以放大预设倍数后作为位置框。该位置框的准确性更高，在后续的手势识别或进行目标手掌的持续追踪时，可以以该位置框的识别结果为准，进一步从待检测图像中裁剪出一个更小的图像输入后续的其他模型中，这样，既可以减少计算量，也可以减少背景图像中背景环境的干扰或者避免遗漏关键点，确保特征的提取更为准确。
在一可选实施例中，步骤S200中，考虑拇指一般较为灵活，且与其他四指通常不在一个方向上，与手掌的方向也通常不在一个方向上，对于确认手掌的方向并无帮助，因此，可以只对除拇指外的其他4个拇指得到对应线性拟合直线，示例性的，如图3所示，所示是本实施例中对目标手掌各手指关键点进行线性拟合的示意图，如图3所示，可以在待检测图像中建立xy坐标系，对每个手指上的四个关键点和掌根处的关键点进行线性拟合，可以得到4个线性拟合直线L1、L2、L3、L4。
采用上述实施例的方案，可以减少线性拟合的计算数量，还可以避免对目标手掌的倾斜度的确定带来较大的误差，使得最终确定的位置框更为准确。
在一可选实施例中，步骤S300包括如下步骤：
S301，根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
S302，去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
S303，对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
在上述步骤S301-S303中，每个线性拟合直线的斜率对应可以确定该直线的倾斜角。示例性的，仍旧以图3中的4个线性拟合直线L1、L2、 L3、L4为例，其分别对应有4个倾斜角A1、A2、A3、A4。对于A1、A2、A3、A4，通过聚类算法分析其中的离群值，去掉离群值，剩余的确定为有效倾斜角。示例性的，可以先求出A1、A2、A3、A4的平均值，分别计算A1、A2、A3、A4到该平均值的曼哈顿距离L1，求得平均曼哈顿距离Lm，若对于某个倾斜角，L1≥T*Lm，则判定该倾斜角为离群值。此处，T为指定阈值，可以根据需要剔除的离群值数量确定，通常为大于等于2的整数。本实施例中，由于倾斜角数量不多，因此，剔除的离群值一般为1个。剔除离群值后，对剩下的有效倾斜角求平均值(例如，算术平均值，加权平均值等)，得到一个平均角度，一般情况下，该平均角度可以作为目标手掌的倾斜度。
采用上述实施例的方案，可以剔除掉误差较大的倾斜角，进一步提高目标手掌倾斜度的准确性，使得最终确定的位置框更为准确。同时，在计算位置框的过程中，也可以得到手掌的四指指向，对于特定场景中的手势识别具有一定的作用。
可以理解的是，如果采用斜率值作为衡量目标手掌的倾斜度的参数，则平均角度对应的平均斜率可以作为目标手掌的倾斜度。
在一可选实施例中，步骤S400包括如下步骤：
S401，依据所述倾斜度，确定所述目标手掌的方向；
S402，若所述目标手掌的方向为竖直或水平方向，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；
S403，若所述目标手掌的方向不是竖直或水平方向，计算初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
上述步骤S401-S403中，根据倾斜度，可以确定目标手掌的方向，例如，当采用角度值作为衡量倾斜度的参数时，如果平均角度为90度或0度，则说明时目标手掌竖直方向、水平方向，如果平均角度是0度到90度之间的其他角度，则说明不是竖直或水平方向。若目标手掌的方向为竖直或水平方向，则位置框可以为没有倾斜度的矩形框，此时，可以直接根据各个关键点的位置计算初始检测框的四个顶点位置。若目标手掌的方向为 不是竖直或水平方向，此时，则需要计初始检测框四个边对应的函数，这四个边至少通过最上、最下、最右、最左四个点关键点的位置，斜率由目标手掌的倾斜度决定，确定四个函数后，则该函数对应的直线同时确定，此时，四个直线可以围合成一个矩形框，即初始检测框。由初始检测框可以生成位置框，例如，可以放大一定倍数后得到位置框，这样可以避免边缘点恰好在位置框的边界上，导致手势检测时遗漏关键点。在其他实施例中，初始检测框也可以直接作为位置框。
需要说明的是，本申请中，竖直方向是指手掌除拇指外的其他四个手指均为竖直向上或竖直向下方向，对应的，此时掌根处于上述四个手指的竖直向下方向或竖直向上方向上。水平方向是指手掌除拇指外的其他四个手指均为水平向左或水平向右方向，对应的，此时掌根处于上述四个手指的水平向右方向上或水平向左方向上。本申请中对于手掌掌心的朝向不做限制，可以是掌心朝向拍摄方向，也可以是掌心背向拍摄方向。
在上述实施例中，步骤S401包括：
S4011，当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
S4012，当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向，其中，第一预设条件为：所述倾斜度对应的斜率值的绝对值大于等于第一预设阈值T1或小于1/T1。
上述步骤S401-S403中，倾斜度可以为角度值或斜率值，若对角度值进行判定，则需要对不同范围内的角度分别设定不同的判断标准(例如，90度和270度对应的判断标准不同，但都属于竖直方向)，才可确定其方向，若以斜率值进行判断，则只需进行绝对值的判定即可统一判断标准，因此，在本实施例中，可以以斜率值进行方向判断。若倾斜度为平均角度，则先求得其对应的平均斜率，若倾斜度为平均斜率，则直接进行判定以平均斜率为对应的斜率值即可。假设平均斜率为K，根据该斜率的值，可以对目标手掌的方向进一步进行修正。当K的绝对值大于等于第一预设阈值T1(例如，取10，或更大的一个值，可以依据需要设定)，说明倾斜度接近于90度或是270度，直接修正K＝∞，并且，判定此时目标手掌的方向 为竖直。当K绝对值小于等于1/T1，则可以认为倾斜角接近于0度或是180度，满足此条件的K可以判定目标手掌为水平方向，则直接修正K＝0。如果K为大于1/T1，且小于T2，则无需修正。
在实际应用时，用户的手掌通常不会达到严格的竖直或水平方向，因此，可以允许存在一定的偏差，只要达到的一定的倾斜度，即可以认为手掌是竖直或水平方向，采用上述实施例的方法，更符合实际应用场景，基于此确定的手掌方向，在以后后续的手势识别和跟踪中，可以避免过于灵敏导致误识别。
在上述实施例中，步骤S402中，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框包括：
S4021，以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
S4022，以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值作为第二纵坐标值Yg；
S4023，以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
S4024，将所述初始检测框放大后，得到所述位置框。
上述步骤S4021-S4024中，初始检测框和位置框都为矩形框，当目标手掌为竖直或水平方向时，只要采用上述方式确定的顶点作为初始检测框的顶点，至少可以保证关键点不落在初始检测框之外。考虑到21个关键点也并无法覆盖整个目标手掌，且有些关键点可能恰好落在初始检测框的顶点处或边界处，因此，可以对初始检测框进行一定程度的放大，例如：放大系数H在1.05～1.5之间。具体的方式可以为：初始检测框中心不变，四边向外移动，使矩形框面积为初始检测框面积的H倍。
在上述实施例中，步骤S403中，计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框包括：
S4031，计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述所述目标手掌的倾斜度确定；
S4032，计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的所有关键点时的第二最大截距Tg和第二最小截距Ts；
S4033，根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
S4034，以所述四个函数围成的矩形框作为所述初始检测框；
S4035，将所述初始检测框放大后，得到所述位置框。
上述步骤S4031-S4035中，四个函数围成的矩形框可以参考图4所示，图4所示是本申请一实施方式中针对图3中目标手掌生成的位置框一示意图。如果所示，p0为通过上述方式求得的初始检测框，该初始检测框的四个边分别由y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg确定，上述四个边分别通过了21个关键点中最下、最上、最左、最右的四个点，围合成了一个矩形框，该初始检测框内涵盖了所有的21个关键点。按上述方法方式对该初始检测框进行放大后，可以得到最终的位置框p1。
在一可选实施例中，步骤S400中所述得到指示所述目标手掌的大小和位置的位置框包括：
生成所述生成涵盖所述目标手掌的所有关键点的矩形框；
将所述矩形框放大后得到所述位置框。
上述步骤中，矩形框相当于如前所述的初始检测框，考虑到即便是涵盖了所有关键点，也并无法覆盖整个目标手掌，且有些关键点可能恰好落在矩形框的顶点处或边界处，因此，可以对矩形框进行一定程度的放大，例如：放大系数H在1.05～1.5之间。具体的方式可以为：矩形框中心不变，各边向外移动，使位置框面积为矩形框面积的H倍。
请参考图5，所示是本申请一实施例提供的手掌位置确定装置的功能模块示意图，如图所示，手掌位置确定装置100包括：
关键点检测模块110，用于对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的各个关键点；
线性拟合模块120，用于对所述目标手掌掌根的关键点和同属一个手 指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线；
倾斜度确定模块130，用于根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
位置框生成模块140，用于依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
本实施例中，手掌位置确定装置100还可以包括：
图像预定位模块，用于通过目标检测定位模型对获取的图像进行所述目标手掌的预定位，得到预定位结果；
子图像获取模块，用于依据所述预定位结果从所述获取的图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。
在一可选实施例中，位置框生成模块140生成涵盖所述目标手掌的所有关键点的位置框包括：
生成所述生成涵盖所述目标手掌的所有关键点的矩形框；
将所述矩形框放大后得到所述位置框。
在一可选实施例中，倾斜度确定模块130包括：
倾斜角确定单元131，用于根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
有效判断单元132，用于去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
倾斜度计算单元133，用于对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
在一可选实施例中，位置框生成模块140包括：
方向确定单元141，用于依据所述倾斜度，确定所述目标手掌的方向；
位置框计算单元142，用于在所述目标手掌的方向为竖直或水平方向时，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；以及，
在所述目标手掌的方向不是竖直或水平方向时，计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
在上述实施例中，方向确定单元141进行方向判断包括：
当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向。
在上述实施例中，位置框计算单元142包括：
坐标计算子单元1421，用于在所述目标手掌的方向为竖直或水平方向时：
以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值作为第二纵坐标值Yg；
以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
放大子单元1422，用于：
将所述初始检测框放大后，得到所述位置框。
在上述实施例中，位置框计算单元142还包括：
函数求取单元1423，用于在所述目标手掌的方向不是竖直或水平方向时：
计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述目标手掌的倾斜度确定；
计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的所有关键点时的第二最大截距Tg和第二最小截距Ts；
根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
以所述四个函数围成的矩形框作为所述初始检测框。
上述各实施例中的手掌位置确定装置100具有的功能可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。
下面参考图6，其示出了适于用来实现本申请公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本申请公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备60可以包括处理器(例如中央处理器、图形处理器等)601，其可以根据存储在存储器601中的不同应用程序代码而执行各种适当的动作和处理。所述存储器601可以包括随机访问存储器(RAM)、只读存储器(ROM)在RAM 603中，存储有电子设备60操作所需的各种程序和数据。存储器601、处理器602以及通信接口603可以通过线连接，例如，通过总线604彼此相连。通信接口603可以允许电子设备60与其他设备进行无线或有线通信以交换数据。
在本申请的实施例中，处理器602执行存储器601中存储的应用程序代码时，可以执行如图1实施例所提供所述的手掌位置确定方法。
虽然图中示出了具有各种装置的电子设备60，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请前述公开的实施例，上文参考图1实施例流程图描述的过程可以被实现为计算机程序。例如，本申请实施例还提供包括一 种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1实施例流程图的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信接口603从网络上被下载和安装，或者从存储器608被安装。在该计算机程序被处理器602执行时，执行上述实施例的方法中限定的上述功能。
需要说明的是，上述的计算机可读介质可以包括但不限于：可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器802也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器802还可以包括上述种类的存储器的组合
在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
在一可选实施例中，本申请实施例还提供了一种计算机存储介质，可以用于计算机软件指令，包含计算机程序，该计算机程序被处理器运行时，执行如上述实施例中所述的手掌位置确定方法。该存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品可被处理器执行以实现上述手掌位置确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述手掌位置确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各实施例 方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本申请的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本申请的权利要求范围内。

Claims (20)

  1. 一种手掌位置确定方法，所述方法包括：
    对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的各个关键点；
    对所述目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线；
    根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
    依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
  2. 如权利要求1所述的手掌位置确定方法，其中，对包含目标手掌的待检测图像进行关键点检测前，所述方法还包括：
    通过目标检测定位模型对获取的图像进行目标手掌的预定位，得到预定位结果；
    依据所述预定位结果从所述获取的图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。
  3. 如权利要求1所述的手掌位置确定方法，其中，所述根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度包括：
    根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
    去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
    对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
  4. 如权利要求1所述的手掌位置确定方法，其中，所述依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框包括：
    依据所述倾斜度，确定所述目标手掌的方向；
    若所述目标手掌的方向为竖直或水平方向，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；
    若所述目标手掌的方向不是竖直或水平方向，计算初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
  5. 如权利要求4所述的手掌位置确定方法，其中，所述依据所述倾斜度，确定所述目标手掌的方向包括：
    当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
    当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向，其中，第一预设条件为：所述倾斜度对应的斜率值的绝对值大于等于第一预设阈值T1或小于1/T1。
  6. 如权利要求4所述的手掌位置确定方法，其中，所述根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框包括：
    以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
    以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值作为第二纵坐标值Yg；
    以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
    将所述初始检测框放大后，得到所述位置框。
  7. 如权利要求4所述的手掌位置确定方法，其中，所述计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框包括：
    计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述目标手掌的倾斜度确定；
    计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的 所有关键点时的第二最大截距Tg和第二最小截距Ts；
    根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
    以所述四个函数围成的矩形框作为所述初始检测框；
    将所述初始检测框放大后，得到所述位置框。
  8. 如权利要求1所述的手掌位置确定方法，其中，所述得到指示所述目标手掌的大小和位置的位置框包括：
    生成涵盖所述目标手掌的所有关键点的矩形框；
    将所述矩形框放大后得到所述位置框。
  9. 一种手掌位置确定装置，所述手掌位置确定装置包括：
    关键点检测模块，用于对包含目标手掌的待检测图像进行关键点检测，确定所述目标手掌的各个关键点；
    线性拟合模块，用于对所述目标手掌掌根的关键点和同属一个手指的多个关键点进行线性拟合，得到与多个手指对应的线性拟合直线；
    倾斜度确定模块，用于根据多个所述线性拟合直线的斜率确定所述目标手掌的倾斜度；
    位置框生成模块，用于依据所述倾斜度和所述目标手掌各个关键点的位置，得到指示所述目标手掌的大小和位置的位置框，所述位置框涵盖所述目标手掌的所有关键点。
  10. 如权利要求9所述的手掌位置确定装置，其中，所述装置还包括：
    图像预定位模块，用于通过目标检测定位模型对获取的图像进行所述目标手掌的预定位，得到预定位结果；
    子图像获取模块，用于依据所述预定位结果从所述获取的图像中裁剪包含所述目标手掌的子图像，得到所述待检测图像。
  11. 如权利要求9所述的手掌位置确定装置，其中，所述倾斜度确定模 块包括：
    倾斜角确定单元，用于根据所述多个线性拟合直线的斜率确定对应的多个倾斜角；
    有效判断单元，用于去除所述多个倾斜角中的离群值后，得到多个有效倾斜角；
    倾斜度计算单元，用于对所述多个有效倾斜角求取平均值，得到平均角度，确定所述平均角度为所述目标手掌的倾斜度。
  12. 如权利要求9所述的手掌位置确定装置，其中，所述位置框生成模块包括：
    方向确定单元，用于依据所述倾斜度，确定所述目标手掌的方向；
    位置框计算单元，用于在所述目标手掌的方向为竖直或水平方向时，根据所述目标手掌各个关键点的位置计算初始检测框的四个顶点位置，根据初始检测框确定所述位置框；以及，
    在所述目标手掌的方向不是竖直或水平方向时，计算所述初始检测框的四边对应的函数，依据所述初始检测框确定所述位置框。
  13. 如权利要求12所述的手掌位置确定装置，其中，所述方向确定单元进行方向判断包括：
    当所述倾斜度符合第一预设条件时，判定所述目标手掌的方向为竖直或水平方向；
    当所述倾斜度不符合第一预设条件，判定所述目标手掌的方向不是竖直或水平方向，其中，第一预设条件为：所述倾斜度对应的斜率值的绝对值大于等于第一预设阈值T1或小于1/T1。
  14. 如权利要求12所述的手掌位置确定装置，其中，所述位置框计算单元包括：
    坐标计算子单元，用于在所述目标手掌的方向为竖直或水平方向时：
    以所有关键点中的最小横坐标值作为第一横坐标值Xs，最大横坐标值作为第二横坐标值Xg；
    以所有关键点中的最小纵坐标值作为第一纵坐标值Ys，最大纵坐标值 作为第二纵坐标值Yg；
    以(Xs，Ys)、(Xs，Yg)、(Xg，Ys)、(Xg，Yg)作为所述初始检测框的各个顶点坐标；
    放大子单元，用于：
    将所述初始检测框放大后，得到所述位置框。
  15. 如权利要求12所述的手掌位置确定装置，其中，所述位置框计算单元还包括：
    函数求取单元，用于在所述目标手掌的方向不是竖直或水平方向时：
    计算以平均斜率K为斜率的直线，经过所述目标手掌的所有关键点时所确定的第一最大截距Pg和第一最小截距Ps；所述平均斜率K根据所述目标手掌的倾斜度确定；
    计算以所述平均斜率K的负倒数为斜率的直线，经过所述目标手掌的所有关键点时的第二最大截距Tg和第二最小截距Ts；
    根据所述第一最大截距Pg、所述第一最小截距Ps、所述第二最大截距Tg、所述第二最小截距Ts以及所述平均斜率K确定所述初始检测框的四边对应的四个函数，所述四个函数为：y＝x*K+Ps、y＝x*K+Pg、y＝-x/K+Ts、y＝-x/K+Tg；
    以所述四个函数围成的矩形框作为所述初始检测框。
  16. 如权利要求9所述的手掌位置确定装置，其中，所述位置框生成模块生成涵盖所述目标手掌的所有关键点的位置框包括：
    生成所述涵盖所述目标手掌的所有关键点的矩形框；
    将所述矩形框放大后得到所述位置框。
  17. 一种电子设备，包括处理器，所述处理器用于实现如权利要求1-8任一项所述的手掌位置确定方法。
  18. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-8任一项所述的手掌位置确定方法。
  19. 一种计算机程序产品，所述计算机程序产品可被处理器执行以实现如权利要求1-8任意一项所述的手掌位置确定方法。
  20. 一种芯片，所述芯片包括处理器和通信接口，提供的通信接口和提供的处理器耦合，提供的处理器用于运行程序或指令，实现如权利要求1-8任意一项所述的手掌位置确定方法。
PCT/CN2022/070285 2021-11-05 2022-01-05 手掌位置确定方法、装置、电子设备及存储介质 WO2023077665A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111305734.7 2021-11-05
CN202111305734.7A CN114170620A (zh) 2021-11-05 2021-11-05 手掌位置确定方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023077665A1 true WO2023077665A1 (zh) 2023-05-11

Family

ID=80478282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/070285 WO2023077665A1 (zh) 2021-11-05 2022-01-05 手掌位置确定方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114170620A (zh)
WO (1) WO2023077665A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789256A (zh) * 2024-02-27 2024-03-29 湖北星纪魅族集团有限公司 手势识别方法、装置、设备及计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287775A (zh) * 2019-05-15 2019-09-27 平安科技（深圳）有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质
CN111414837A (zh) * 2020-03-16 2020-07-14 苏州交驰人工智能研究院有限公司 手势识别方法、装置、计算机设备及存储介质
CN111625157A (zh) * 2020-05-20 2020-09-04 北京百度网讯科技有限公司 指尖关键点检测方法、装置、设备和可读存储介质
CN112541418A (zh) * 2020-12-04 2021-03-23 北京百度网讯科技有限公司 用于图像处理的方法、装置、设备、介质和程序产品
US20210174519A1 (en) * 2019-12-10 2021-06-10 Google Llc Scalable Real-Time Hand Tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287775A (zh) * 2019-05-15 2019-09-27 平安科技（深圳）有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质
US20210174519A1 (en) * 2019-12-10 2021-06-10 Google Llc Scalable Real-Time Hand Tracking
CN111414837A (zh) * 2020-03-16 2020-07-14 苏州交驰人工智能研究院有限公司 手势识别方法、装置、计算机设备及存储介质
CN111625157A (zh) * 2020-05-20 2020-09-04 北京百度网讯科技有限公司 指尖关键点检测方法、装置、设备和可读存储介质
CN112541418A (zh) * 2020-12-04 2021-03-23 北京百度网讯科技有限公司 用于图像处理的方法、装置、设备、介质和程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789256A (zh) * 2024-02-27 2024-03-29 湖北星纪魅族集团有限公司 手势识别方法、装置、设备及计算机可读介质

Also Published As

Publication number Publication date
CN114170620A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
WO2022027912A1 (zh) 一种人脸姿态检测方法、装置、终端设备及存储介质
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
TWI489317B (zh) 電子裝置的操作方法及系統
US9122353B2 (en) Kind of multi-touch input device
US9684827B2 (en) Eye gaze tracking based upon adaptive homography mapping
US20140184494A1 (en) User Centric Interface for Interaction with Visual Display that Recognizes User Intentions
US20150062010A1 (en) Pointing-direction detecting device and its method, program and computer readable-medium
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
WO2022166243A1 (zh) 捏合手势检测识别方法、装置及系统
US20200110929A1 (en) Identifying a local coordinate system for gesture recognition
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
US10346992B2 (en) Information processing apparatus, information processing method, and program
CN105653017A (zh) 电子装置及电子装置的重力感测校正方法
WO2023077665A1 (zh) 手掌位置确定方法、装置、电子设备及存储介质
CN110619656A (zh) 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
WO2018076720A1 (zh) 单手操控方法及操控系统
GB2544875B (en) Gesture control using depth data
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
JP2015170206A (ja) 検出装置および検出方法
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
US20170109569A1 (en) Hybrid face recognition based on 3d data
TW201312380A (zh) 光學觸控系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22888706

Country of ref document: EP

Kind code of ref document: A1