WO2023226578A1 - 手掌轮廓提取方法、控制指令生成方法和装置 - Google Patents

手掌轮廓提取方法、控制指令生成方法和装置 Download PDF

Info

Publication number
WO2023226578A1
WO2023226578A1 PCT/CN2023/083956 CN2023083956W WO2023226578A1 WO 2023226578 A1 WO2023226578 A1 WO 2023226578A1 CN 2023083956 W CN2023083956 W CN 2023083956W WO 2023226578 A1 WO2023226578 A1 WO 2023226578A1
Authority
WO
WIPO (PCT)
Prior art keywords
palm
point
bone point
bone
contour
Prior art date
Application number
PCT/CN2023/083956
Other languages
English (en)
French (fr)
Inventor
张志强
郭润增
王少鸣
张晓翼
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2023226578A1 publication Critical patent/WO2023226578A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present application relates to the field of computer technology, and in particular to a palm contour extraction method, a control instruction generation method, a device, a computer device, a storage medium and a computer program product.
  • a palm bone point matching module used to match each palm bone point based on the bone point type to obtain multiple palm bone point sets; the palm bone point set has a corresponding geometric processing type;
  • a computer device including a memory and one or more processors.
  • the memory stores computer readable instructions.
  • the one or more processors execute the computer readable instructions, the palm contour extraction method described above is implemented. step.
  • a computer program product includes computer-readable instructions that, when executed by one or more processors, implement the steps described in the palm contour extraction method.
  • a control instruction generation module configured to generate object control instructions based on the display information of the palm contour
  • Figure 1 is an application environment diagram of the palm contour extraction method and the control instruction generation method in one embodiment
  • Figure 2 is a schematic flow chart of a palm contour extraction method in one embodiment
  • Figure 7A is a schematic diagram of palm bone point recognition results in one embodiment
  • Figure 13 is an internal structure diagram of a computer device in one embodiment
  • Figure 14 is an internal structural diagram of a computer device in another embodiment.
  • Both the terminal and the server can be used independently to execute the palm contour extraction method and the control instruction generation method provided in the embodiments of this application.
  • the terminal Based on the bone point positions corresponding to each bone point in the same palm bone point set, the terminal generates a palm outline auxiliary line that matches the geometric processing type corresponding to the palm bone point set, and obtains a palm outline auxiliary line corresponding to each palm bone point set, based on The reference step length and bone point position corresponding to the same palm bone point set are determined from the palm outline auxiliary line corresponding to the palm bone point set, and the contour point position corresponding to the palm outline point is obtained. The terminal generates a palm contour corresponding to the target palm image based on the position of each contour point.
  • the target palm image refers to the palm image from which the palm contour is to be extracted.
  • a palm image refers to an image containing a palm.
  • the palm image may only include the palm.
  • the palm image is an image obtained by photographing the palm area.
  • the palm image can also contain more body parts.
  • the palm image is obtained by taking a half-length shot of the subject holding the palm up.
  • the palm image can be captured in real time.
  • the palm photo captured in real time is used as the palm image; the video frame containing the palm in the real-time captured video is used as the palm image.
  • the palm image can also be obtained from pre-shot data.
  • the palm photos stored in the photo album are used as the palm image; the video frames containing the palm in the pre-edited video are used as the palm image.
  • the palm image may be obtained by photographing a real palm or a virtual palm.
  • Palm bone points refer to the bone points in the palm.
  • the palm includes multiple palm bone points.
  • the bone point information corresponding to each palm bone point in the palm image can be obtained.
  • Bone point information includes bone point location and bone point type. The bone point position is used to identify the position of the palm bone point in the palm image, and the bone point type is used to identify the type of the palm bone point.
  • Step S204 Match each palm bone point based on the bone point type to obtain multiple palm bone point sets; the palm bone point set has a corresponding geometric processing type.
  • the geometric processing type corresponding to the palm bone point set can be determined based on the bone point type corresponding to each palm bone point in the palm bone point set. For example, at least one target palm bone point corresponding to each geometric processing type is preset. Type, if the palm bone point set includes the target palm bone type, then the geometric processing type corresponding to the target palm bone point type is used as the geometric processing type corresponding to the palm bone point set.
  • the palm contour auxiliary line is a geometric line used to determine the palm contour points.
  • a palm image with annotated palm contours can be obtained as a reference palm image, and a universal reference step size is determined based on the reference palm image.
  • the palm contour auxiliary line corresponding to the reference palm image is determined based on the reference palm image, and the intersection point between the palm contour auxiliary line and the marked palm contour is used as the reference contour point.
  • the reference contour point is the accurate palm contour point. Based on the movement The distance between the starting point and the reference contour point determines the exact moving step, which is used as the reference step.
  • the computer device can acquire multiple reference palm images, and perform statistics on the same reference step length determined based on different reference palm images to obtain a universal reference step length. For example, the average of the reference step lengths can be calculated as a universal reference step length.
  • the universal reference step can be directly obtained to determine the palm contour points in the palm image, or the universal reference step can be fine-tuned based on the personalized information of the palm image to obtain the target reference step. long, determine the palm contour points in the palm image based on the target reference step length.
  • the personalized information of the palm image includes at least one kind of data such as palm size information and palm depth information.
  • the bone point information corresponding to each palm bone point in the target palm image is obtained;
  • the bone point information includes the bone point position and bone point type; based on the bone point type, each palm bone point is matched to obtain Multiple palm bone point sets;
  • the palm bone point set has a corresponding geometric processing type; based on the bone point position corresponding to each bone point in the palm bone point set, a palm outline auxiliary line matching the geometric processing type corresponding to the palm bone point set is generated , obtain the palm outline auxiliary lines corresponding to each palm bone point set; based on the reference step length and bone point position corresponding to the same palm bone point set, determine the palm outline points from the palm outline auxiliary line corresponding to the palm bone point set, and obtain the palm
  • the contour point position corresponding to the contour point; the palm contour corresponding to the target palm image is generated based on the position of each contour point.
  • the bone point type is determined by finger parameters and interphalangeal joint parameters. Based on the bone point type, each palm bone point is matched to obtain multiple palm bone point sets, including:
  • the bone point type is determined by the finger parameters and internal finger joint parameters.
  • Finger parameters are used to represent the fingers to which the palm bone points belong. Palm bone points located on different fingers can be distinguished based on finger parameters.
  • the intraphalangeal joint parameters are used to represent the joints in the fingers to which the palm bone points belong. Different palm bone points located on the same finger can be distinguished based on the intraphalangeal joint parameters.
  • the geometric processing type includes any one of a first geometric processing type, a second geometric processing type, and a third geometric processing type
  • the auxiliary line type corresponding to the first geometric processing type includes a mid-perpendicular line type or an extended line type.
  • At least one of the line types, the auxiliary line type corresponding to the second geometry processing type includes a normal line type, and the auxiliary line type corresponding to the third geometry processing type includes at least one of a normal line type or an extended line type.
  • the auxiliary line of the palm outline corresponding to the normal type is a normal line.
  • the normal line of a line segment can also be called the perpendicular line of the line segment.
  • the line segment and the corresponding normal line are perpendicular to each other.
  • the auxiliary line type corresponding to the third geometric processing type includes at least one of a normal line type or an extended line type.
  • the computer device can select the palm bone point from each palm bone point corresponding to the current palm bone point set as the target bone point, and use the normal of the current bone point line segment at the target bone point as Palm outline guide lines.
  • the computer device can use each palm bone point as a target bone point to generate multiple palm outline auxiliary lines.
  • the computer device can also select a palm bone point as the target bone point to generate a palm outline. Auxiliary line. When selecting palm bone points, you can select them randomly or select palm bone points closer to the fingertips.
  • the computer device moves the reference step corresponding to the current palm skeleton point set on the current palm outline auxiliary line, thereby determining the current palm outline point and the current palm outline.
  • Different types of palm outline auxiliary lines have corresponding movement directions, and palm outline auxiliary lines of the same type correspond to at least one movement direction.
  • the bone point identifier is used to uniquely identify the palm bone point.
  • the outline point sorting flag is used to identify the arrangement order of the palm outline points.
  • the preset mapping information records the identity mapping relationship between the palm bone points in the palm bone point set and the palm contour points generated based on the palm bone point set. For example, the palm outline points generated based on palm bone point 0 and palm bone point 1 are marked as 1’, and the palm outline points generated based on palm bone point 1 and palm bone point 2 are marked as 2’ and 7’.
  • the palm contour points when generating the palm contour based on the contour point positions, the palm contour points can be connected in an orderly manner to obtain the palm contour.
  • the computer device can obtain the preset mapping information, map the bone point identifiers corresponding to the palm bone points, and generate the contour point identifiers corresponding to the palm contour points generated based on the palm bone points, and finally can Obtain the contour point sorting identification corresponding to each palm contour point.
  • the computer device can sort and identify the contour points and connect the contour point positions corresponding to each palm contour point in an orderly manner, thereby obtaining the correct palm contour.
  • the current palm image determined in each round of training may include at least one training palm image.
  • the computer device can collect a palm image in real time, identify the palm contour in the palm image in real time, and display the dynamic palm contour to form a dynamic palm animation.
  • the computer device may set display parameters of the palm outline to generate the palm animation. For example, display the outline of the palm with a dynamically changing gradient color.
  • the computer device may set display parameters of the enclosed area formed by the outline of the palm to generate the palm animation. For example, the closed area formed by the outline of the palm is displayed with dynamically changing rainbow colors.
  • the terminal displays the palm contour determined based on the target palm image, and generates the object control instruction based on the display information of the palm contour.
  • the terminal can independently execute object control instructions and control the corresponding objects through the object control instructions.
  • the terminal can also send object control instructions to other devices, and instruct other devices to perform object control through the object control instructions.
  • object control instructions corresponding to the display information can be generated based on the display information of the palm contour.
  • corresponding object control instructions can be generated based on the display posture of the palm outline. For example, if the display posture of the palm outline is with fingers spread out, a function-on instruction is generated; if the display posture corresponding to the palm contour is fingers together, a function-off instruction is generated.
  • the object control instruction is generated based on the display information of the palm contour by displaying the palm outline determined based on the target palm image.
  • the process of extracting the palm contour includes the following steps: Obtaining the bone point information corresponding to each palm bone point in the target palm image; the bone point information includes the bone point position and bone point type; based on the bone point type, each palm bone point is processed By matching, multiple palm bone point sets are obtained; the palm bone point set has a corresponding geometric processing type; based on the bone point position corresponding to each bone point in the same palm bone point set, a geometric processing type matching the palm bone point set is generated.
  • Palm outline auxiliary line obtain the palm outline auxiliary line corresponding to each palm bone point set; based on the reference step length and bone point position corresponding to the same palm bone point set, determine the palm outline from the palm outline auxiliary line corresponding to the palm bone point set points to obtain the contour point positions corresponding to the palm contour points; generate the palm contour corresponding to the target palm image based on the position of each contour point.
  • the palm contour is based on the skeletal point information corresponding to each palm bone point in the palm image through geometric processing to determine the contour point position corresponding to the palm contour point, and is generated based on the contour point position corresponding to each palm contour point.
  • palm movement prompt information is generated based on the position difference; the palm movement prompt information is used to prompt palm movement to reduce the position difference.
  • the object control instruction is generated only when the position difference between the display position of the palm outline and the target display position is small, which can avoid blindly generating the object control instruction and ensure the effective and accurate triggering of the object control instruction.
  • the palm movement prompt information is generated to prompt the palm movement. Correct guidance can be achieved through the palm movement prompt information, so that the palm contour can be displayed in the correct position. This triggers object control instructions.
  • the terminal collects the palm image corresponding to the virtual resource transfer party as the target palm image, extracts the palm outline in the target palm image, and displays the palm outline determined based on the target palm image.
  • the terminal verifies the identity information of the virtual resource transfer party based on the target palm image. If the verification passes, a virtual resource transfer instruction is generated.
  • the virtual resource transfer instruction is used to instruct the transfer of virtual resources from the resource account corresponding to the virtual resource transfer party to the target account. If the verification fails, a verification failure prompt message is generated.
  • the palm outline extracted from the palm image can be used to trigger the generation of a virtual resource transfer instruction, which expands the triggering method of the virtual resource transfer instruction.
  • the above palm contour extraction method can be applied in a palm payment scenario.
  • the application of the palm contour extraction method in this application scenario is as follows:
  • Identify palm bone points in palm images based on machine learning algorithms Obtain the palm image through the camera, input the palm image into the trained machine learning model, and the model outputs the bone point information of the palm bone points in the palm image.
  • the machine learning model can be integrated in an SDK (Software Development Kit).
  • the bone point information includes the position coordinates of the palm bone points.
  • the position coordinates of the palm bone points can be mapped to the two-dimensional coordinates of the current operating system screen through the coordinate system in the SDK, and then the palm outline is generated through the screen coordinates.
  • Current operating systems include android (Android) system, windows system, etc.
  • Figure 7B is a schematic diagram of the palm contour point recognition results. Referring to Figure 7B, 38 palm contour points (palm contour point 1' - palm contour point 38') are identified based on 21 palm bone points.
  • the outer contour coordinates of the palm on the extension line are obtained through the extension line (also called the extension line) and the relative coefficient (also called the reference step) of the two palm bone points.
  • the palm contour point 37' is determined, and the palm contour point 37' is the palm outer contour point.
  • the starting point coordinates of the palm bone points (Xa, Ya); the end coordinates of the palm bone points: (Xb, Yb)
  • Palm contour point target point coordinates (X, Y)
  • Target point coordinate X
  • Palm contour point target point coordinates (X, Y)
  • a palm swiping animation can be generated based on the palm outline to enhance the interactive and technological sense that palm swiping payment brings to users.
  • the bone point information acquisition module 1002 is used to obtain the bones corresponding to each palm bone point in the target palm image.
  • Bone point information includes bone point location and bone point type.
  • the palm contour generation module 1010 is used to generate a palm contour corresponding to the target palm image based on the position of each contour point.
  • a control instruction generation device including: a palm outline display module 1202 and a control instruction generation module 1204, wherein:
  • the palm outline display module 1202 is used to display the palm outline determined based on the target palm image.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in Figure 13.
  • the computer device includes a processor, a memory, an input/output interface (Input/Output, referred to as I/O), and a communication interface.
  • the processor, memory and input/output interface are connected through the system bus, and the communication interface is connected to the system bus through the input/output interface.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes non-volatile storage media and internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions and a database.
  • a computer device is provided.
  • the computer device may be a terminal, and its internal structure diagram may be as shown in Figure 14.
  • the computer device includes a processor, memory, input/output interface, communication interface, display unit and input device.
  • the processor, memory and input/output interface are connected through the system bus, and the communication interface, display unit and input device are connected to the system bus through the input/output interface.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes non-volatile storage media and internal memory.
  • the non-volatile storage medium stores an operating system and computer-readable instructions. This internal memory provides an environment for the execution of an operating system and computer-readable instructions in a non-volatile storage medium.
  • Figures 13 and 14 are only block diagrams of partial structures related to the solution of the present application, and do not constitute a limitation on the computer equipment to which the solution of the present application is applied.
  • Specific computers Devices may include more or fewer components than shown in the figures, or some combinations of components, or have different arrangements of components.
  • the user information including but not limited to user equipment information, user personal information, etc.
  • data including but not limited to data used for analysis, stored data, displayed data, etc.
  • the computer readable instructions can be stored in a non-volatile computer.
  • the computer-readable instructions when executed, may include the processes of the above method embodiments.
  • Any reference to memory, database or other media used in the embodiments provided in this application may include at least one of non-volatile and volatile memory.
  • the databases involved in the various embodiments provided in this application may include at least one of a relational database and a non-relational database.
  • Non-relational databases may include blockchain-based distributed databases, etc., but are not limited thereto.
  • the processors involved in the various embodiments provided in this application may be general-purpose processors, central processing units, graphics processors, digital signal processors, programmable logic devices, quantum computing-based data processing logic devices, etc., and are not limited to this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Strategic Management (AREA)
  • Psychiatry (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种手掌轮廓提取方法、控制指令生成方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，骨骼点信息包括骨骼点位置和骨骼点类型(步骤202)；基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合，手掌骨骼点集合存在对应的几何处理类型(步骤204)；基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线(步骤206)；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置(步骤208)；基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓(步骤S210)。

Description

手掌轮廓提取方法、控制指令生成方法和装置
本申请要求于2022年05月27日提交中国专利局，申请号为202210587233.0，申请名称为“手掌轮廓提取、控制指令生成方法、装置和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别是涉及一种手掌轮廓提取方法、控制指令生成方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了手掌提取技术，手掌提取技术包括从手掌图像中识别手掌轮廓的技术内容。
传统技术中，通常是对手掌图像的像素信息进行各种数据处理来提取手掌图像中的手掌轮廓，例如，对手掌图像进行二值处理和边缘检测来提取手掌轮廓。然而，基于手掌图像的像素信息进行手掌轮廓提取的方法，容易受到图像背景的干扰，进而无法提取到准确的手掌轮廓。
发明内容
本申请实施例提供了一种手掌轮廓提取方法、控制指令生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一种手掌轮廓提取方法，由计算机设备执行，所述方法包括：
获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；
基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；
基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；
基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；及
基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
一种手掌轮廓提取装置。所述装置包括：
骨骼点信息获取模块，用于获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；
手掌骨骼点匹配模块，用于基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；
手掌轮廓辅助线确定模块，用于基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；
手掌轮廓点确定模块，用于基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；及
手掌轮廓生成模块，用于基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，所述一个或多个处理器执行所述计算机可读指令时实现上述手掌轮廓提取方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时实现上述手掌轮廓提取方法所述的步骤。
一种计算机程序产品，包括计算机可读指令，所述计算机可读指令被一个或多个处理器执行时实现上述手掌轮廓提取方法所述的步骤。
一种控制指令生成方法，由计算机设备执行，所述方法包括：
显示基于目标手掌图像确定的手掌轮廓；及
基于所述手掌轮廓的显示信息生成对象控制指令；
所述手掌轮廓的提取过程包括以下步骤：
获取所述目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
一种控制指令生成装置。所述装置包括：
手掌轮廓显示模块，用于显示基于目标手掌图像确定的手掌轮廓；及
控制指令生成模块，用于基于所述手掌轮廓的显示信息生成对象控制指令；
所述手掌轮廓的提取过程包括以下步骤：
获取所述目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，所述一个或多个处理器执行所述计算机可读指令时实现上述控制指令生成方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时实现上述控制指令生成方法所述的步骤。
一种计算机程序产品，包括计算机可读指令，所述计算机可读指令被一个或多个处理器执行时实现上述控制指令生成方法所述的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中手掌轮廓提取方法和控制指令生成方法的应用环境图；
图2为一个实施例中手掌轮廓提取方法的流程示意图；
图3为一个实施例中手掌骨骼点的示意图；
图4为一个实施例中手掌轮廓辅助线对应的移动方向的示意图；
图5为一个实施例中轮廓点排序标识和手掌轮廓的示意图；
图6为一个实施例中控制指令生成方法的流程示意图；
图7A为一个实施例中手掌骨骼点识别结果的示意图；
图7B为一个实施例中手掌轮廓点识别结果的示意图；
图8A为一个实施例中计算手掌外轮廓坐标的示意图；
图8B为一个实施例中计算指隙坐标的示意图；
图8C为一个实施例中计算手指轮廓边缘坐标的示意图；
图8D为一个实施例中手掌轮廓的示意图；
图9为一个实施例中刷掌支付的示意图；
图10为一个实施例中手掌轮廓提取装置的结构框图；
图11为另一个实施例中手掌轮廓提取装置的结构框图；
图12为一个实施例中控制指令生成装置的结构框图；
图13为一个实施例中计算机设备的内部结构图；
图14为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的手掌轮廓提取方法和控制指令生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
终端和服务器均可单独用于执行本申请实施例中提供的手掌轮廓提取方法和控制指令生成方法。
例如，终端获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，骨骼点信息包括骨骼点位置和骨骼点类型，基于骨骼点类型对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合，手掌骨骼点集合存在对应的几何处理类型。终端基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线，基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置。终端基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
终端显示基于目标手掌图像确定的手掌轮廓，基于手掌轮廓的显示信息生成对象控制指令。
终端和服务器也可协同用于执行本申请实施例中提供的手掌轮廓提取方法和控制指令生成方法。
例如，服务器从终端获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，骨骼点信息包括骨骼点位置和骨骼点类型，基于骨骼点类型对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合，手掌骨骼点集合存在对应的几何处理类型。服务器基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线，基于同一 手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置。服务器基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
终端从服务器获取基于目标手掌图像确定的手掌轮廓，并将手掌轮廓进行显示。基于手掌轮廓的显示信息生成对象控制指令。
上述手掌轮廓提取方法，无需对手掌图像的像素信息进行复杂的数据处理，基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理，就可以从手掌图像中便捷确定手掌轮廓点对应的轮廓点位置，进而基于各个手掌轮廓点对应的轮廓点位置生成手掌轮廓。手掌骨骼点的位置和类型不容易受到图像背景的干扰，基于手掌图像中手掌骨骼点的位置和类型来提取手掌轮廓，可以有效提高手掌轮廓的提取准确性。
上述控制指令生成方法，手掌轮廓是基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理确定手掌轮廓点对应的轮廓点位置，并基于各个手掌轮廓点对应的轮廓点位置生成的，手掌轮廓的提取不仅无需对手掌图像的像素信息进行复杂的数据处理，而且不容易受到图像背景的干扰，具有较高的准确性。提取得到准确的手掌轮廓也有助于保障显示准确，进而有助于提高对象控制指令的生成准确性。基于手掌轮廓的显示信息自动生成对象控制指令，也可以提高对象控制指令的生成效率。
在一个实施例中，如图2所示，提供了一种手掌轮廓提取方法，以该方法应用于计算机设备来举例说明，该计算机设备可以是上述图1中的终端102或服务器104。参考图2，手掌轮廓提取方法包括以下步骤：
步骤S202，获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型。
其中，目标手掌图像是指待提取手掌轮廓的手掌图像。手掌图像是指包含手掌的图像。手掌图像中可以只包含手掌，例如，手掌图像是对手掌区域进行拍摄得到的图像。手掌图像中也可以包含更多身体部位，例如，手掌图像是对举着手掌的对象进行半身拍摄得到的。手掌图像可以是实时拍摄得到的，例如，将实时拍摄的手掌照片作为手掌图像；将实时拍摄的视频中包含手掌的视频帧作为手掌图像。手掌图像也可以是从预先拍摄好的数据中获取到的，例如，将存储在相册中的手掌照片作为手掌图像；将预先编辑好视频中包含手掌的视频帧作为手掌图像。此外，手掌图像可以是对真实手掌进行拍摄得到的，也可以是对虚拟手掌进行拍摄得到的。
手掌骨骼点是指手掌中的骨骼点。手掌包括多个手掌骨骼点。对手掌图像进行手掌骨骼点识别，可以得到手掌图像中各个手掌骨骼点分别对应的骨骼点信息。骨骼点信息包括骨骼点位置和骨骼点类型。骨骼点位置用于标识手掌骨骼点在手掌图像中的位置，骨骼点类型用于标识手掌骨骼点的类型。
具体地，计算机设备可以在本地或从其他设备上获取目标手掌图像，实时对目标手掌图像进行手掌骨骼点识别得到目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，也可以在本地或从其他设备上直接获取预先识别好的、目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息。进而，计算机设备可以基于各个手掌骨骼点分别对应的骨骼点信息，对目标手掌图像进行手掌轮廓识别，得到目标手掌图像中的手掌轮廓。
步骤S204，基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型。
其中，手掌骨骼点集合包括至少两个手掌骨骼点。每个手掌骨骼点集合分别存在对应的几何处理类型。几何处理类型用于确定手掌骨骼点集合对应的几何处理方式。通过手掌骨骼点集合对应的几何处理方式，对手掌骨骼点集合进行几何处理，可以得到手掌骨骼点集合对应的手掌轮廓点。可以理解，同一手掌骨骼点集合可以对应至少一个几何处理类型。
具体地，计算机设备可以基于骨骼点类型对各个手掌骨骼点进行匹配，将匹配成功的 手掌骨骼点组成手掌骨骼点集合，最终可以得到多个手掌骨骼点集合。各个手掌骨骼点集合分别存在对应的几何处理类型。
在一个实施例中，计算机设备可以获取骨骼点类型匹配信息，骨骼点类型匹配信息记录了骨骼点类型之间的匹配关系，基于骨骼点类型匹配信息，可以快速基于骨骼点类型将各个手掌骨骼点进行匹配，快速得到各个手掌骨骼点集合。在一个实施例中，骨骼点类型匹配信息还可以包括各个匹配关系分别对应的几何处理类型，从而基于匹配关系确定手掌骨骼点集合时，可以同步确定手掌骨骼点集合对应的几何处理类型。
在一个实施例中，可以基于手掌骨骼点集合中各个手掌骨骼点对应的骨骼点类型确定手掌骨骼点集合对应的几何处理类型，例如，预先设置各个几何处理类型分别对应的至少一个目标手掌骨骼点类型，若手掌骨骼点集合中包括目标手掌骨骼类型，则将目标手掌骨骼点类型对应的几何处理类型作为手掌骨骼点集合对应的几何处理类型。
在一个实施例中，可以基于手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置确定手掌骨骼点集合对应的几何处理类型，例如，将手掌图像中的手掌部分划分为多个手掌区域，各个手掌区域存在对应的几何处理类型，将手掌骨骼点集合落入的手掌区域所对应的几何处理类型作为手掌骨骼点集合对应的几何处理类型。
在一个实施例中，手掌骨骼点之间存在连接关系。在识别手掌骨骼点时，可以同步识别出手掌骨骼点之间的连接关系和手掌骨骼点的骨骼点信息。计算机设备可以先基于连接关系对各个手掌骨骼点进行初步匹配，得到多个第一手掌骨骼点集合，再基于骨骼点类型对各个手掌骨骼点进行补充匹配，得到多个第二手掌骨骼点集合，最终，基于各个第一手掌骨骼点集合和第二手掌骨骼点集合得到手掌骨骼点集合。
举例说明，参考图3，图3中的圆点表示手掌骨骼点，一共包括21个手掌骨骼点，图3中圆点和圆点之间的连线表示手掌骨骼点之间的连接关系。计算机设备可以将存在连接关系的相邻手掌骨骼点组成第一手掌骨骼点集合，例如，将圆点0和圆点1组成一个第一手掌骨骼点集合，将圆点1和圆点2组成一个第一手掌骨骼点集合。计算机设备可以将预设的骨骼点类型所对应的手掌骨骼点组成第二手掌骨骼点集合，例如，圆点13和圆点17对应的骨骼点类型为预设的骨骼点类型，可以将圆点13和圆点17组成一个第二手掌骨骼点集合。
步骤S206，基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线。
其中，手掌轮廓辅助线是几何线，用于确定手掌轮廓点。
具体地，在确定各个手掌骨骼点集合后，针对任意一个手掌骨骼点集合，计算机设备可以基于手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线。计算机设备可以基于手掌骨骼点集合对应的几何处理类型确定几何处理方式、几何处理算法，通过几何处理算法对手掌骨骼点集合中各个骨骼点对应的骨骼点位置进行数据处理，生成手掌骨骼点集合对应的手掌轮廓辅助线。最终，计算机设备可以得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线。
可以理解，一个手掌骨骼点集合可以对应至少一个手掌轮廓辅助线。
步骤S208，基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置。
其中，参考步长是指在手掌轮廓辅助线上的移动步长。各个手掌骨骼点集合存在各自对应的参考步长。轮廓点位置用于标识手掌轮廓点的位置。
具体地，针对任意一个手掌骨骼点集合，计算机设备可以基于手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置和手掌骨骼点集合对应的参考步长，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，从而得到手掌轮廓点对应的轮廓点位置。计算机设 备可以基于手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定移动起点，在手掌骨骼点集合对应的手掌轮廓辅助线上从移动起点开始移动参考步长，将移动参考步长得到的移动终点作为手掌轮廓点。最终，计算机设备可以得到多个手掌轮廓点和各个手掌轮廓点分别对应的轮廓点位置。
在一个实施例中，可以获取已标注手掌轮廓的手掌图像作为参考手掌图像，基于参考手掌图像确定通用的参考步长。具体地，基于参考手掌图像确定参考手掌图像对应的手掌轮廓辅助线，将手掌轮廓辅助线和已标注的手掌轮廓之间的交点作为参考轮廓点，参考轮廓点为准确的手掌轮廓点，基于移动起点和参考轮廓点之间的距离确定准确的移动步长，将准确的移动步长作为参考步长。计算机设备可以获取多个参考手掌图像，对基于不同参考手掌图像确定的同一种参考步长进行统计，得到通用的参考步长，例如，可以计算参考步长的平均值作为通用的参考步长。后续在处理未知手掌轮廓的手掌图像时，可以直接获取通用的参考步长来确定手掌图像中的手掌轮廓点，也可以基于手掌图像的个性化信息对通用的参考步长进行微调得到目标参考步长，基于目标参考步长确定手掌图像中的手掌轮廓点。手掌图像的个性化信息包括手掌尺寸信息、手掌深度信息等至少一种数据。
在一个实施例中，参考步长随着目标手掌图像对应的手掌尺寸信息的增大而增大。手掌尺寸信息用于表示目标手掌图像中手掌的大小。针对更大的手掌，在手掌轮廓辅助线上需要移动更多的参考步长才能到达准确的手掌轮廓点。在一个实施例中，手掌尺寸信息包括手掌长度信息或手掌宽度信息中的至少一种。
在一个实施例中，参考步长随着目标手掌图像对应的手掌深度信息的减小而增大。手掌深度信息用于表示手掌和图像采集设备之间的距离，距离越近手掌深度信息越小，距离越远手掌深度信息越大。可以理解，目标手掌图像对应的手掌深度信息越小，手掌和图像采集设备之间的距离越近，目标手掌图像中呈现的手掌区域越大。针对更大的手掌区域，在手掌轮廓辅助线上需要移动更多的参考步长才能到达准确的手掌轮廓点。在一个实施例中，目标手掌图像可以是深度图，深度图的每一个像素值表示拍摄场景中某点与图像采集设备的距离。
步骤S210，基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
具体地，在确定各个手掌轮廓点分别对应的轮廓点位置后，计算机设备可以将各个轮廓点位置进行连接，从而得到目标手掌图像对应的手掌轮廓。
上述手掌轮廓提取方法中，通过获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型；基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型；基于手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。这样，无需对手掌图像的像素信息进行复杂的数据处理，基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理，就可以从手掌图像中便捷确定手掌轮廓点对应的轮廓点位置，进而基于各个手掌轮廓点对应的轮廓点位置生成手掌轮廓。手掌骨骼点的位置和类型不容易受到图像背景的干扰，基于手掌图像中手掌骨骼点的位置和类型来提取手掌轮廓，可以有效提高手掌轮廓的提取准确性。
在一个实施例中，骨骼点类型是由手指参数和指内关节参数确定。基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合，包括：
将指内关节参数为预设关节参数的相邻手掌骨骼点建立匹配关系，得到第一几何处理类型对应的各个手掌骨骼点集合；将同一手指参数对应的相邻手掌骨骼点建立匹配关系，得到第二几何处理类型对应的各个手掌骨骼点集合；将预设骨骼点类型对应的手掌骨骼点 作为预设骨骼点，将预设骨骼点和与预设骨骼点距离最近的手掌骨骼点建立匹配关系，得到第三几何处理类型对应的手掌骨骼点集合。
其中，骨骼点类型是由手指参数和指内关节参数确定。手指参数用于表示手掌骨骼点所属手指。基于手指参数可以区分位于不同手指上的手掌骨骼点。指内关节参数用于表示手掌骨骼点在手指中所属关节。基于指内关节参数可以区分位于同一手指上的不同手掌骨骼点。
预设关节参数为预先设置的、特定的指内关节参数。预设骨骼点类型为预先设置的、特定的骨骼点类型。预设关节参数和预设骨骼点类型可以根据实际需要进行设置。相邻手掌骨骼点是指位置相邻的两个手掌骨骼点。
具体地，在对手掌骨骼点进行匹配时，计算机设备可以从各个手掌骨骼点中获取指内关节参数为预设关节参数的相邻手掌骨骼点，将指内关节参数为预设关节参数的相邻手掌骨骼点建立匹配关系，从而得到第一几何处理类型对应的各个手掌骨骼点集合。例如，参考图3，圆点13、17、9、5对应的指内关节参数为掌指关节，即圆点13、17、9、5为不同手指对应的掌指关节，若预设关节参数为掌指关节，则将相邻的圆点13和圆点17建立匹配关系，得到第一几何处理类型对应的手掌骨骼点集合A1，将相邻的圆点13和圆点9建立匹配关系，得到第一几何处理类型对应的手掌骨骼点集合A2，将相邻的圆点9和圆点5建立匹配关系，得到第一几何处理类型对应的手掌骨骼点集合A3。
在对手掌骨骼点进行匹配时，计算机设备可以从各个手掌骨骼点中获取手指参数相同的相邻手掌骨骼点，将同一手指参数对应的相邻手掌骨骼点建立匹配关系，从而得到第二几何处理类型对应的各个手掌骨骼点集合。例如，参考图3，圆点1、2、3、4对应的手指参数为大拇指，即圆点1、2、3、4为同一手指上的不同关节，将相邻的圆点1和圆点2建立匹配关系，得到第二几何处理类型对应的手掌骨骼点集合B1，将相邻的圆点2和圆点3建立匹配关系，得到第二几何处理类型对应的手掌骨骼点集合B2，将相邻的圆点3和圆点4建立匹配关系，得到第二几何处理类型对应的手掌骨骼点集合B3。
在对手掌骨骼点进行匹配时，计算机设备可以从各个手掌骨骼点中获取预设骨骼点类型对应的手掌骨骼点作为预设骨骼点，获取距离预设骨骼点最近的手掌骨骼点，将预设骨骼点和距离预设骨骼点最近的手掌骨骼点建立匹配关系，从而得到第三几何处理类型对应的各个手掌骨骼点集合。例如，参考图3，若圆点0对应的骨骼点类型为预设骨骼点类型，则圆点0为预设骨骼点，圆点1为与圆点0距离最近的手掌骨骼点，将圆点0和圆点1建立匹配关系，得到第三几何处理类型对应的手掌骨骼点集合C。
上述实施例中，将指内关节参数为预设关节参数的相邻手掌骨骼点建立匹配关系，得到第一几何处理类型对应的各个手掌骨骼点集合；将同一手指参数对应的相邻手掌骨骼点建立匹配关系，得到第二几何处理类型对应的各个手掌骨骼点集合；将预设骨骼点类型对应的手掌骨骼点作为预设骨骼点，将预设骨骼点和与预设骨骼点距离最近的手掌骨骼点建立匹配关系，得到第三几何处理类型对应的手掌骨骼点集合。骨骼点类型是由手指参数和指内关节参数确定，通过手指参数、指内关节参数和骨骼点类型可以快速建立匹配关系，从而快速得到各个手掌骨骼点集合。
在一个实施例中，第一几何处理类型用于确定手指指隙和手掌外轮廓上的手掌轮廓点。第二几何处理类型用于确定手指轮廓边缘上的手掌轮廓点。第三几何处理类型用于确定手指轮廓边缘和手掌外轮廓上的手掌轮廓点。
在一个实施例中，基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线，包括：
基于当前手掌骨骼点集合对应的几何处理类型确定当前辅助线类型；基于当前手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼 点线段；基于当前辅助线类型，对当前骨骼点线段进行几何处理，得到当前手掌骨骼点集合对应的、属于当前辅助线类型的手掌轮廓辅助线。
其中，辅助线类型用于确定辅助线的类型。当前辅助线类型是指当前手掌骨骼点集合对应的手掌轮廓辅助线的辅助线类型。骨骼点线段是由手掌骨骼点组成的线段。当前骨骼点线段是指当前手掌骨骼点集合对应的骨骼点线段。几何处理用于在骨骼点线段的基础上生成特定类型的手掌轮廓辅助线。
当前手掌骨骼点集合可以是任意一个手掌骨骼点集合。
具体地，在生成手掌轮廓辅助线时，计算机设备可以先确定手掌轮廓辅助线所对应的辅助线类型，再生成相应的手掌轮廓辅助线。计算机设备可以基于当前手掌骨骼点集合对应的几何处理类型确定当前辅助线类型，各个几何处理类型分别存在对应的辅助线类型。计算机设备可以基于当前手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段，例如，两点确定一条线段，可以从当前手掌骨骼点集合中获取两个手掌骨骼点，连接两个手掌骨骼点分别对应的骨骼点位置生成当前骨骼点线段。关于确定当前辅助线类型和生成当前骨骼点线段的前后顺序，本申请在此不做限定。最后，计算机设备可以基于当前辅助线类型，对当前骨骼点线段进行几何处理，从而得到当前辅助线类型对应的手掌轮廓辅助线。例如，若当前辅助线类型为延长线，则可以将当前骨骼点线段的延长线作为手掌轮廓辅助线。
上述实施例中，基于当前手掌骨骼点集合对应的几何处理类型确定当前辅助线类型；基于当前手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段；基于当前辅助线类型，对当前骨骼点线段进行几何处理，得到当前手掌骨骼点集合对应的、属于当前辅助线类型的手掌轮廓辅助线。先确定辅助线类型，再基于辅助线类型对根据手掌骨骼点生成的骨骼点线段进行几何处理，可以快速生成对应的手掌轮廓辅助线。
在一个实施例中，几何处理类型包括第一几何处理类型、第二几何处理类型和第三几何处理类型中的任意一种，第一几何处理类型对应的辅助线类型包括中垂线类型或延长线类型中的至少一种，第二几何处理类型对应的辅助线类型包括法线类型，第三几何处理类型对应的辅助线类型包括法线类型或延长线类型中的至少一种。
其中，几何处理类型包括第一几何处理类型、第二几何处理类型或第三几何处理类型中的任意一种。第一几何处理类型对应的辅助线类型包括中垂线类型或延长线类型中的至少一种。中垂线类型对应的手掌轮廓辅助线为中垂线。中垂线是指经过某一条线段的中点，并且垂直于这条线段的直线。延长线类型对应的手掌轮廓辅助线为延长线，延长线是指在某一条线段的基础上，从某一端点继续进行延长得到的直线。第二几何处理类型对应的辅助线类型包括法线类型。法线类型对应的手掌轮廓辅助线为法线。线段的法线也可以称为线段的垂线，线段和对应的法线互相垂直。第三几何处理类型对应的辅助线类型包括法线类型或延长线类型中的至少一种。
上述实施例中，不同的几何处理类型对应不同的辅助线类型，同一几何处理类型可以对应至少一种辅助线类型，可以有效扩增手掌轮廓点的数量，进而提高手掌轮廓的提取准确性。
在一个实施例中，基于当前辅助线类型，对当前骨骼点线段进行几何处理，得到当前手掌骨骼点集合对应的、属于当前辅助线类型的手掌轮廓辅助线，包括：
在当前辅助线类型为中垂线类型时，将当前骨骼点线段对应的中垂线作为手掌轮廓辅助线；在当前辅助线类型为延长线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段对应的、以目标骨骼点为起点的延长线作为手掌轮廓辅助线；在当前辅助线类型为法线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段在目标骨骼点处的法线作为手掌轮廓辅助线。
具体地，若当前辅助线类型为中垂线类型，则计算机设备可以将当前骨骼点线段对应的中垂线作为手掌轮廓辅助线。
若当前辅助线类型为延长线类型，则计算机设备可以从当前手掌骨骼点集合对应的各个手掌骨骼点中选取手掌骨骼点作为目标骨骼点，将当前骨骼点线段对应的、以目标骨骼点为起点的延长线作为手掌轮廓辅助线。在确定目标骨骼点时，计算机设备可以将与掌心距离更接近的手掌骨骼点作为目标骨骼点，计算机设备也可以当前手掌骨骼点集合中指定骨骼点类型的手掌骨骼点作为目标骨骼点，计算机设备也可以当前手掌骨骼点集合中各个手掌骨骼点分别作为目标骨骼点。
若当前辅助线类型为法线类型，则计算机设备可以从当前手掌骨骼点集合对应的各个手掌骨骼点中选取手掌骨骼点作为目标骨骼点，将当前骨骼点线段在目标骨骼点处的法线作为手掌轮廓辅助线。在确定目标骨骼点时，计算机设备可以将各个手掌骨骼点分别作为目标骨骼点，进而生成多个手掌轮廓辅助线，计算机设备也可以从中选取一个手掌骨骼点作为目标骨骼点，进而生成一个手掌轮廓辅助线。在选取手掌骨骼点时，可以是随机选取的，也可以是选取距离指尖更近的手掌骨骼点。
上述实施例中，在当前辅助线类型为中垂线类型时，将当前骨骼点线段对应的中垂线作为手掌轮廓辅助线；在当前辅助线类型为延长线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段对应的、以目标骨骼点为起点的延长线作为手掌轮廓辅助线；在当前辅助线类型为法线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段在目标骨骼点处的法线作为手掌轮廓辅助线。针对不同的辅助线类型，采用不同的几何方法可以快速生成对应的手掌轮廓辅助线。
在一个实施例中，基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置，包括：
基于当前手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段；从当前骨骼点线段上确定参考点；在当前手掌骨骼点集合对应的当前手掌轮廓辅助线上，以参考点为起点，按照当前手掌轮廓辅助线对应的移动方向移动当前手掌骨骼点集合对应的参考步长，得到当前手掌轮廓点和当前手掌轮廓点对应的轮廓点位置。
其中，当前手掌轮廓辅助线是指当前手掌骨骼点集合对应的手掌轮廓辅助线。
具体地，在确定手掌轮廓点时，计算机设备可以从骨骼点线段上确定参考点，在手掌轮廓辅助线上以参考点为起点，按照移动方向移动步长，将移动终点作为手掌轮廓点。首先，计算机设备可以基于当前手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段。接着，计算机设备可以从当前骨骼点线段上确定参考点，例如，可以将当前骨骼点线段的任意一个端点作为参考点，也可以将当前骨骼点线段与当前手掌轮廓辅助线之间的交点作为参考点。进而，以参考点为起点，按照当前手掌轮廓辅助线对应的移动方向，计算机设备在当前手掌轮廓辅助线上移动当前手掌骨骼点集合对应的参考步长，从而确定当前手掌轮廓点和当前手掌轮廓点对应的轮廓点位置。不同类型的手掌轮廓辅助线存在各自对应的移动方向，同一类型的手掌轮廓辅助线对应至少一个移动方向。
在一个实施例中，参考步长随着当前骨骼点线段对应的线段长度的增加而增大。当前骨骼点线段对应的线段长度可以从侧面反映手掌的个性化信息。线段长度越长，手掌越大。针对更大的手掌，在手掌轮廓辅助线上需要移动更多的参考步长才能到达准确的手掌轮廓点。
上述实施例中，基于当前手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成当前 手掌骨骼点集合对应的当前骨骼点线段；从当前骨骼点线段上确定参考点；在当前手掌骨骼点集合对应的当前手掌轮廓辅助线上，以参考点为起点，按照当前手掌轮廓辅助线对应的移动方向移动当前手掌骨骼点集合对应的参考步长，得到当前手掌轮廓点和当前手掌轮廓点对应的轮廓点位置。这样，在手掌轮廓辅助线上，以根据手掌骨骼点确定的参考点为起点，按照手掌轮廓辅助线对应的移动方向移动对应的参考步长，可以快速得到准确的手掌轮廓点。
在一个实施例中，当前手掌轮廓辅助线包括中垂线、延长线或法线中的至少一种，中垂线对应的移动方向为掌心反方向，延长线对应的移动方向为延长线的延长方向，法线对应的移动方向为当前骨骼点线段的垂直方向。
其中，当前手掌轮廓辅助线包括中垂线、延长线或法线中的至少一种。
中垂线对应的移动方向为掌心反方向，掌心反方向是指远离掌心的方向，也就是，在中垂线类型的手掌轮廓辅助线上，需要在远离掌心的方向上移动参考步长确定手掌轮廓点。例如，参考图4中的(a)，(a)中的虚线表示中垂线，箭头表示掌心反方向，圆点15’表示在中垂线上，按照掌心反方向移动参考步长确定的手掌轮廓点。
延长线对应的移动方向为延长线的延长方向，也就是，在延长线类型的手掌轮廓辅助线上，需要在延长线的延长方向上移动参考步长确定手掌轮廓点。例如，参考图4中的(b)，(b)中的虚线表示延长线，箭头表示延长线的延长方向，圆点36’表示在延长线上，按照延长线的延长方向移动参考步长确定的手掌轮廓点。
法线对应的移动方向为当前骨骼点线段的垂直方向，也就是，在法线类型的手掌轮廓辅助线上，需要在骨骼点线段的垂直方向上移动参考步长确定手掌轮廓点。例如，参考图4中的(c)，(c)中的虚线表示法线，箭头表示法线的垂直方向，圆点3’和圆点6’表示在法线上，按照骨骼点线段的垂直方向移动参考步长确定的手掌轮廓点。
上述实施例中，中垂线对应的移动方向为掌心反方向，延长线对应的移动方向为延长线的延长方向，法线对应的移动方向为当前骨骼点线段的垂直方向。不同类型的手掌轮廓辅助线对应不同的移动方向。
在一个实施例中，各个手掌骨骼点存在对应的骨骼点标识。基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓，包括：
基于预设映射信息，将手掌骨骼点对应的骨骼点标识进行映射，得到各个手掌轮廓点对应的轮廓点排序标识；预设映射信息包括手掌骨骼点集合中的手掌骨骼点与基于手掌骨骼点集合生成的手掌轮廓点之间的标识映射关系；按照轮廓点排序标识，将各个手掌轮廓点对应的轮廓点位置进行有序连接，得到目标手掌图像对应的手掌轮廓。
其中，骨骼点标识用于唯一标识手掌骨骼点。轮廓点排序标识用于标识手掌轮廓点的排列次序。
预设映射信息记录了手掌骨骼点集合中的手掌骨骼点与基于手掌骨骼点集合生成的手掌轮廓点之间的标识映射关系。例如，基于手掌骨骼点0和手掌骨骼点1生成的手掌轮廓点标记为1’，基于手掌骨骼点1和手掌骨骼点2生成的手掌轮廓点标记为2’和7’。
具体地，在基于轮廓点位置生成手掌轮廓时，可以将各个手掌轮廓点进行有序连接得到手掌轮廓。在确定手掌轮廓点的排序信息时，计算机设备可以获取预设映射信息，将手掌骨骼点对应的骨骼点标识进行映射，生成基于手掌骨骼点生成的手掌轮廓点所对应的轮廓点标识，最终可以得到各个手掌轮廓点分别对应的轮廓点排序标识。进而，计算机设备可以按照轮廓点排序标识，将各个手掌轮廓点对应的轮廓点位置进行有序连接，从而得到正确的手掌轮廓。
举例说明，参考图5，图5中的黑色圆点表示手掌骨骼点，白色圆点表示手掌轮廓点。图5中的(a)表示目标手掌图像，基于手掌骨骼点0-20可以得到手掌轮廓点1’-38’。图5中的(b)表示手掌轮廓，按顺序依次连接手掌轮廓点1’-38’可以得到手掌轮廓。
在一个实施例中，在连接轮廓点位置时，可以是平滑连接，也可以是直线连接。
上述实施例中，基于预设映射信息，将手掌骨骼点对应的骨骼点标识进行映射，得到各个手掌轮廓点对应的轮廓点排序标识；预设映射信息包括手掌骨骼点集合中的手掌骨骼点与基于手掌骨骼点集合生成的手掌轮廓点之间的标识映射关系；按照轮廓点排序标识，将各个手掌轮廓点对应的轮廓点位置进行有序连接，得到手掌轮廓。这样，通过预设映射信息可以快速确定手掌轮廓点对应的轮廓点排序标识，从而基于轮廓点排序标识可以对手掌轮廓点进行有序连接生成准确的手掌轮廓。
在一个实施例中，获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，包括：
将目标手掌图像输入目标手掌骨骼点识别模型，得到各个手掌骨骼点分别对应的骨骼点信息。
其中，目标手掌骨骼点识别模型是指训练完成的手掌骨骼点识别模型。手掌骨骼点识别模型的输入数据为手掌图像，输出数据为手掌图像中各个手掌骨骼点分别对应的骨骼点信息。
具体地，计算机设备可以基于机器学习模型来识别手掌骨骼点。计算机设备可以获取预先训练好的目标手掌骨骼点识别模型，将目标手掌图像输入目标手掌骨骼点识别模型，通过模型的数据处理，模型最终输出各个手掌骨骼点分别对应的骨骼点信息。
目标手掌骨骼点识别模型的训练过程包括以下步骤：获取训练数据集；训练数据集包括多个训练手掌图像和各个训练手掌图像分别对应的训练骨骼点信息；从训练数据集中确定当前手掌图像；将当前手掌图像输入初始手掌骨骼点识别模型，得到当前手掌图像对应的预测骨骼点信息；基于当前手掌图像对应的预测骨骼点信息和训练骨骼点信息之间的差异，调整初始手掌骨骼点识别模型对应的模型参数，得到中间骨骼点识别模型；将下一训练手掌图像作为当前手掌图像，将中间骨骼点识别模型作为初始手掌骨骼点识别模型，返回将当前手掌图像输入初始手掌骨骼点识别模型的步骤执行，直至满足收敛条件，得到目标骨骼点识别模型。
其中，初始手掌骨骼点识别模型是指待训练的手掌骨骼点识别模型。训练手掌图像是指已知骨骼点信息的手掌图像。当前手掌图像是指训练数据集中的任意手掌图像。训练骨骼点信息是指准确的骨骼点信息。预测骨骼点信息是指模型预测得到的骨骼点信息。
具体地，在模型训练时，计算机设备可以获取训练数据集，基于训练数据集对初始手掌骨骼点识别模型进行模型训练，得到目标手掌骨骼点识别模型。训练数据集中的目标训练图像用于作为手掌骨骼点识别模型的输入数据，训练骨骼点信息用于作为手掌骨骼点识别模型的预期输出数据，模型的训练目标是让模型的实际输出数据和预期输出数据越接近越好，从而模型可以输出与训练骨骼点信息接近的预测骨骼点信息，正确识别手掌图像中的手掌骨骼点。
计算机设备可以从训练数据集中随机选取训练手掌图像作为当前手掌图像，将当前手掌图像输入初始手掌骨骼点识别模型，通过模型的数据处理，模型输出当前手掌图像对应的预测骨骼点信息。进而，计算机设备基于当前手掌图像对应的预测骨骼点信息和训练骨骼点信息之间的差异生成损失信息，基于损失信息进行反向传播，调整初始手掌骨骼点识别模型的模型参数，从而得到中间手掌骨骼点识别模型。计算机设备获取下一训练手掌图像作为新的训练手掌图像，将中间手掌骨骼点识别模型作为新的初始手掌骨骼点识别模型，返回将当前手掌图像输入初始手掌骨骼点识别模型得到当前手掌图像对应的预测骨骼点信息的步骤执行，以进行模型迭代训练，通过多次模型迭代训练不断调整模型参数，直至满足第二收敛条件，得到目标手掌骨骼点识别模型。
其中，第二收敛条件可以是损失信息小于预设阈值、模型迭代次数大于预设次数等条件中的至少一种。例如，若在某一轮训练中，基于预测骨骼点信息和训练骨骼点信息之间的差异计算得到的损失信息小于预设阈值，则停止调整模型参数，将最新调整得到的手掌 骨骼点识别模型作为目标手掌骨骼点识别模型。若某一轮训练后模型迭代次数大于预设次数，则将最新调整得到的手掌骨骼点识别模型作为目标手掌骨骼点识别模型。
可以理解，每轮训练确定的当前手掌图像可以包括至少一个训练手掌图像。
上述实施例中，通过目标手掌骨骼点识别模型来识别手掌图像中的手掌骨骼点，可以保障识别准确性和识别效率。通过有监督的迭代训练方式，可以训练得到准确的目标手掌骨骼点识别模型。
在一个实施例中，手掌轮廓用于生成手掌动画。
具体地，在生成手掌轮廓后，可以基于手掌轮廓生成手掌动画，展示手掌动画。
在一个实施例中，计算机设备可以实时采集手掌图像，实时识别手掌图像中的手掌轮廓，显示动态的手掌轮廓从而形成动态的手掌动画。在一个实施例中，计算机设备可以设置手掌轮廓的显示参数来生成手掌动画。例如，将手掌轮廓用动态变化的渐变色来显示。在一个实施例中，计算机设备可以设置手掌轮廓所形成的封闭区域的显示参数来生成手掌动画。例如，将手掌轮廓所形成的封闭区域用动态变化的彩虹色来显示。
上述实施例中，从手掌图像中提取得到的手掌轮廓可以用于生成手掌动画，提高趣味性、互动性。
在一个实施例中，如图6所示，提供了一种控制指令生成方法，以该方法应用于终端来举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，控制指令生成方法包括以下步骤：
步骤S602，显示基于目标手掌图像确定的手掌轮廓。
其中，手掌轮廓的提取过程包括以下步骤：获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型；基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型；基于手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
可以理解，手掌轮廓的具体提取过程可以参照前述手掌轮廓提取方法的各个实施例的内容，此处不再赘述。
步骤S604，基于手掌轮廓的显示信息生成对象控制指令。
其中，显示信息用于反映手掌轮廓的显示情况。显示信息包括显示位置、显示尺寸、显示深度、显示姿态等中的至少一种数据。
对象控制指令是指用于对对象进行控制、操控的指令。控制的对象可以是虚拟对象，例如，虚拟资源、虚拟人物、虚拟控件等。控制的对象也可以是实体对象，例如，电子设备、机械设备等。对象控制指令可以是各种各样的控制指令。在一个实施例中，对象控制指令可以是开启或关闭对象的某一或某些功能的指令，例如，对象控制指令可以是开灯指令、关灯指令、测试开始指令、测试中止指令等。在一个实施例中，对象控制指令可以是控制对象进行移动的指令，例如，对象控制指令可以是虚拟资源转移指令、虚拟人物跳跃指令等。在一个实施例中，对象控制指令可以是控制调整对象的属性参数的指令，例如，对象控制指令可以是画笔颜色调整指令、窗口大小调整指令等。
具体地，终端显示基于目标手掌图像确定的手掌轮廓，基于手掌轮廓的显示信息生成对象控制指令。终端可以自主执行对象控制指令，通过对象控制指令对相应的对象进行控制。终端也可以把对象控制指令发送至其他设备，通过对象控制指令指示其他设备进行对象控制。
在一个实施例中，若手掌轮廓的显示信息满足预设条件，则生成对象控制指令，若手掌轮廓的显示信息不满足预设条件，则生成提示信息。例如，可以是若手掌轮廓的显示位置和目标显示位置的位置差异小于预设阈值，则生成对象控制指令；也可以是若手掌轮廓的显示尺寸大于预设尺寸，则生成对象控制指令。也可以是若手掌轮廓的显示深度差异小于预设差异，则生成对象控制指令；等等。举例说明，可以将手掌轮廓所形成的封闭区域进行划分，得到至少两个子区域，统计各个子区域对应的深度平均值，统计各个深度平均值之间的数据差异得到显示深度差异，若显示深度差异小于预设差异，表明手掌中各个像素点对应的深度值相差不大，手掌摆放端正，则生成对象控制指令。其中，提示信息可以是提示当前手掌摆放有误，也可以是提示进行手掌移动。
在一个实施例中，基于手掌轮廓的显示信息可以生成显示信息所对应的对象控制指令。例如，可以基于手掌轮廓的显示姿态生成对应的对象控制指令。举例说明，若手掌轮廓的显示姿态为手指张开，则生成功能开启指令，若手掌轮廓对应的显示姿态为手指并拢，则生成功能关闭指令。
上述控制指令生成方法中，通过显示基于目标手掌图像确定的手掌轮廓，基于手掌轮廓的显示信息生成对象控制指令。其中，手掌轮廓的提取过程包括以下步骤：获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型；基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型；基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。这样，手掌轮廓是基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理确定手掌轮廓点对应的轮廓点位置，并基于各个手掌轮廓点对应的轮廓点位置生成的，手掌轮廓的提取不仅无需对手掌图像的像素信息进行复杂的数据处理，而且不容易受到图像背景的干扰，具有较高的准确性。提取得到准确的手掌轮廓也有助于保障显示准确，进而有助于提高对象控制指令的生成准确性。基于手掌轮廓的显示信息自动生成对象控制指令，也可以提高对象控制指令的生成效率。
在一个实施例中，基于手掌轮廓的显示信息生成对象控制指令，包括：
当手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值时，生成对象控制指令；当位置差异大于或等于预设阈值时，基于位置差异生成手掌移动提示信息；手掌移动提示信息用于提示进行手掌移动以缩小位置差异。
其中，目标显示位置为期望的显示位置。目标显示位置可以根据实际需要进行设置。手掌移动提示信息可以是以文字、语音、图片、视频中至少一种表现形式来呈现。
具体地，显示信息包括显示位置。若手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值，表明手掌轮廓显示在期望位置、目标位置，则终端触发生成对象控制指令。若手掌轮廓的显示位置和目标显示位置之间的位置差异大于或等于预设阈值，表明手掌轮廓没有显示在期望位置、目标位置，则终端可以基于位置差异生成手掌移动提示信息，手掌移动提示信息用于提示进行手掌移动以缩小位置差异，使得手掌轮廓最终可以显示在期望位置。
在一个实施例中，终端可以基于手掌的空间位置确定手掌轮廓的显示位置。例如，若手掌位于图像采集设备的正上方，则将手掌轮廓显示在屏幕的正中央，若手掌位于图像采集设备的左方，则将手掌轮廓显示在屏幕的左边，若手掌位于图像采集设备的右方，则将手掌轮廓显示在屏幕的右边。
上述实施例中，当手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值 时，生成对象控制指令；当位置差异大于或等于预设阈值时，基于位置差异生成手掌移动提示信息；手掌移动提示信息用于提示进行手掌移动以缩小位置差异。这样，在手掌轮廓的显示位置和目标显示位置之间的位置差异较小时，才生成对象控制指令，可以避免盲目生成对象控制指令，保障对象控制指令的有效触发、准确触发。在手掌轮廓的显示位置和目标显示位置之间的位置差异较大时，生成手掌移动提示信息来提示进行手掌移动，可以通过手掌移动提示信息来实现正确引导，使得手掌轮廓可以显示在正确位置，从而触发对象控制指令。
在一个实施例中，目标手掌图像为虚拟资源转移方对应的手掌图像，对象控制指令为虚拟资源转移指令，虚拟资源转移指令用于指示从虚拟资源转移方对应的资源账户转移虚拟资源至目标账户。
其中，虚拟资源转移方是需要从资源账户中转出虚拟资源的一方。与虚拟资源转移方相对的是虚拟资源接收方，虚拟资源接收方是接收到虚拟资源的一方。资源账户是指可存储虚拟资源的账户。虚拟资源是指存在于电子账户中、能够进行流通的资源，例如，货币、虚拟红包、游戏币、虚拟物品等。目标账户是指需要接收转移过来的虚拟资源的账户。目标账户可以是个体账户，也可以是集体账户。
具体地，在虚拟资源转移场景下，虚拟资源转移方或虚拟资源接收方对应的终端或其他终端可以基于手掌图像来触发生成虚拟资源转移指令，虚拟资源转移指令用于指示从资源转移方对应的资源账户转移虚拟资源至目标账户。
举例说明，终端采集虚拟资源转移方对应的手掌图像作为目标手掌图像，提取目标手掌图像中的手掌轮廓，显示基于目标手掌图像确定的手掌轮廓。当手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值时，终端基于目标手掌图像对虚拟资源转移方的身份信息进行验证。若验证通过，则生成虚拟资源转移指令，虚拟资源转移指令用于指示从虚拟资源转移方对应的资源账户转移虚拟资源至目标账户，若不通过，则生成验证失败提示信息。当位置差异大于或等于预设阈值时，终端基于位置差异生成手掌移动提示信息，手掌移动提示信息用于提示进行手掌移动以缩小位置差异。后续，经过手掌移动后，若终端基于新的手掌图像确定的新的位置差异小于预设阈值，则基于新的手掌图像对虚拟资源转移方的身份信息进行验证，若验证通过，则生成虚拟资源转移指令。
上述实施例中，从手掌图像中提取得到的手掌轮廓可以用于触发生成虚拟资源转移指令，拓展了虚拟资源转移指令的触发方式。
在一个具体的实施例中，上述手掌轮廓提取方法可以应用在刷掌支付场景下。具体地，手掌轮廓提取方法在该应用场景的应用如下：
1、识别手掌轮廓
1-1、识别手掌骨骼点
基于机器学习算法识别手掌图像中的手掌骨骼点。通过摄像头获取手掌图像，将手掌图像输入训练好的机器学习模型中，模型输出手掌图像中手掌骨骼点的骨骼点信息。在一个实施例中，可以将机器学习模型集成在SDK(Software Development Kit，软件开发工具包)中。骨骼点信息包括手掌骨骼点的位置坐标。可以将手掌骨骼点的位置坐标通过SDK内的坐标系映射到当前操作系统屏幕的二维坐标上，后续通过屏幕坐标来生成手掌轮廓。当前操作系统包括android(安卓)系统、windows系统等。
图7A为手掌骨骼点识别结果的示意图。参考图7A，最终识别出手掌图像中21个手掌骨骼点(手掌骨骼点0-手掌骨骼点20)。
1-2、识别手掌轮廓点
图7B为手掌轮廓点识别结果的示意图。参考图7B，基于21个手掌骨骼点识别出38个手掌轮廓点(手掌轮廓点1’-手掌轮廓点38’)。
1-2-1、计算手掌外轮廓坐标
通过两个手掌骨骼点的延伸线(又可以称为延长线)和相对系数(又可以称为参考步长)获取到延长线上手掌外轮廓坐标。例如，参考图8A，在基于手掌骨骼点0和手掌骨骼点1生成的延长线上，确定手掌轮廓点37’，手掌轮廓点37’为手掌外轮廓点。
手掌外轮廓坐标的计算过程如下：
手掌骨骼点起点坐标：(Xa,Ya)；手掌骨骼点终点坐标：(Xb,Yb)
手掌轮廓点目标点坐标：(X，Y)
目标点坐标X：
目标点坐标Y：
参考图7B，手掌轮廓点37’、手掌轮廓点38’、手掌轮廓点36’和手掌轮廓点8’为手掌外轮廓点。
1-2-2、计算指隙坐标
通过两个手掌骨骼点的中垂线和相对系数获取到中垂线上指隙坐标。例如，参考图8B，在基于手掌骨骼点13和手掌骨骼点17生成的中垂线上，确定手掌轮廓点29’，手掌轮廓点29’为手掌指隙点。
指隙坐标的计算过程如下：
手掌骨骼点起点坐标：(Xa,Ya)；手掌骨骼点终点坐标：(Xb,Yb)
中间点坐标：(Xmid,Ymid)
Xmid：
Ymid：
手掌轮廓点目标点坐标：(X，Y)
若目标点在顺时针方向：
目标点坐标X：
目标点坐标Y：
若目标点在逆时针方向：
目标点坐标X：
目标点坐标Y：
参考图7B，手掌轮廓点29’、手掌轮廓点22’和手掌轮廓点15’为手掌指隙点。
以手掌骨骼点13和手掌骨骼点17为例，若以手掌骨骼点13为起点，以手掌骨骼点17为终点，则在顺时针方向确定手掌轮廓点29’。若以手掌骨骼点17为起点，以手掌骨骼点13为终点，则在逆时针方向确定手掌轮廓点29’。
1-2-3、计算手指轮廓边缘坐标
针对通过两个手掌骨骼点生成的向量AB，在A点或B点的法向量上，根据相对系数获取到法向量上手指轮廓边缘坐标。例如，参考图8C，在基于手掌骨骼点2和手掌骨骼点3生成的法向量上，确定手掌轮廓点3’和手掌轮廓点6’，手掌轮廓点3’和手掌轮廓点6’为手指轮廓边缘点。
手指轮廓边缘坐标的计算过程如下：
手掌骨骼点起点坐标：(Xa,Ya)；手掌骨骼点终点坐标：(Xb,Yb)
手掌轮廓点目标点坐标：(X，Y)
若目标点在顺时针方向：
目标点坐标X：
目标点坐标Y：
若目标点在逆时针方向：
目标点坐标X：
目标点坐标Y：
参考图7B，手掌轮廓点2’至手掌轮廓点7’、手掌轮廓点9’至手掌轮廓点14’、手掌轮廓点16’至手掌轮廓点21’、手掌轮廓点23’至手掌轮廓点28’、手掌轮廓点30’至手掌轮廓点35’为手指轮廓边缘点。
其中，上述公式中的k为相对系数。
1-3、生成手掌轮廓
将各个手掌轮廓点进行连接得到手掌轮廓。图8D为手掌轮廓的示意图，参考图8D，连接38个手掌轮廓点得到手掌轮廓。
2、生成刷掌动画
在刷掌支付的场景下，获取到手掌轮廓后，可以基于手掌轮廓生成刷掌动画，提升刷掌支付带给用户的互动感、科技感。
参考图9，图9中的1002表示屏幕上显示的手掌轮廓，1004表示屏幕上的目标显示位置。若手掌轮廓没有显示在目标显示位置，则提示用户将手掌移至目标显示位置，若手掌轮廓显示在目标显示位置，则基于手掌图像验证用户身份，在验证通过后，执行支付。
上述实施例中，基于手掌骨骼点确定手掌轮廓点，进而生成手掌轮廓。一方面，手掌骨骼点不易受图像背景的影响，基于手掌骨骼点从图像中提取手掌轮廓可以保障手掌轮廓的提取准确性。另一方面，采用几何方法确定手掌轮廓点也可以保障数据处理的效率，保障识别性能，提高手掌轮廓的提取效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的手掌轮廓提取方法的手掌轮廓提取装置，还提供了一种用于实现上述所涉及的控制指令生成方法的控制指令生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个手掌轮廓提取装置实施例中的具体限定可以参见上文中对于手掌轮廓提取方法的限定，下面所提供的一个或多个控制指令生成装置实施例中的具体限定可以参见上文中对于控制指令生成方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种手掌轮廓提取装置，包括：骨骼点信息获取模块1002、手掌骨骼点匹配模块1004、手掌轮廓辅助线确定模块1006、手掌轮廓点确定模块1008和手掌轮廓生成模块1010，其中：
骨骼点信息获取模块1002，用于获取目标手掌图像中各个手掌骨骼点分别对应的骨 骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型。
手掌骨骼点匹配模块1004，用于基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型。
手掌轮廓辅助线确定模块1006，用于基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线。
手掌轮廓点确定模块1008，用于基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置。
手掌轮廓生成模块1010，用于基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
上述手掌轮廓提取装置，无需对手掌图像的像素信息进行复杂的数据处理，基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理，就可以从手掌图像中便捷确定手掌轮廓点对应的轮廓点位置，进而基于各个手掌轮廓点对应的轮廓点位置生成手掌轮廓。手掌骨骼点的位置和类型不容易受到图像背景的干扰，基于手掌图像中手掌骨骼点的位置和类型来提取手掌轮廓，可以有效提高手掌轮廓的提取准确性。
在一个实施例中，骨骼点类型是由手指参数和指内关节参数确定。手掌骨骼点匹配模块1004还用于将指内关节参数为预设关节参数的相邻手掌骨骼点建立匹配关系，得到第一几何处理类型对应的各个手掌骨骼点集合，将同一手指参数对应的相邻手掌骨骼点建立匹配关系，得到第二几何处理类型对应的各个手掌骨骼点集合，将预设骨骼点类型对应的手掌骨骼点作为预设骨骼点，将预设骨骼点和与预设骨骼点距离最近的手掌骨骼点建立匹配关系，得到第三几何处理类型对应的手掌骨骼点集合。
在一个实施例中，手掌轮廓辅助线确定模块1006还用于基于当前手掌骨骼点集合对应的几何处理类型确定当前辅助线类型，基于当前手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段，基于当前辅助线类型，对当前骨骼点线段进行几何处理，得到当前手掌骨骼点集合对应的、属于当前辅助线类型的手掌轮廓辅助线。
在一个实施例中，几何处理类型包括第一几何处理类型、第二几何处理类型或第三几何处理类型中的任意一种，第一几何处理类型对应的辅助线类型包括中垂线类型或延长线类型中的至少一种，第二几何处理类型对应的辅助线类型包括法线类型，第三几何处理类型对应的辅助线类型包括法线类型或延长线类型中的至少一种。
在一个实施例中，手掌轮廓辅助线确定模块1006还用于在当前辅助线类型为中垂线类型时，将当前骨骼点线段对应的中垂线作为手掌轮廓辅助线；在当前辅助线类型为延长线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段对应的、以目标骨骼点为起点的延长线作为手掌轮廓辅助线；在当前辅助线类型为法线类型时，从当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将当前骨骼点线段在目标骨骼点处的法线作为手掌轮廓辅助线。
在一个实施例中，手掌轮廓点确定模块1008还用于基于当前手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成当前手掌骨骼点集合对应的当前骨骼点线段；从当前骨骼点线段上确定参考点；在当前手掌骨骼点集合对应的当前手掌轮廓辅助线上，以参考点为起点，按照当前手掌轮廓辅助线对应的移动方向移动当前手掌骨骼点集合对应的参考步长，得到当前手掌轮廓点和当前手掌轮廓点对应的轮廓点位置。
在一个实施例中，当前手掌轮廓辅助线包括中垂线、延长线或法线中的至少一种，中垂线对应的移动方向为掌心反方向，延长线对应的移动方向为延长线的延长方向，法线对应的移动方向为当前骨骼点线段的垂直方向。
在一个实施例中，各个手掌骨骼点存在对应的骨骼点标识。手掌轮廓生成模块1010还用于基于预设映射信息，将手掌骨骼点对应的骨骼点标识进行映射，得到各个手掌轮廓点对应的轮廓点排序标识；预设映射信息包括手掌骨骼点集合中的手掌骨骼点与基于手掌骨骼点集合生成的手掌轮廓点之间的标识映射关系；按照轮廓点排序标识，将各个手掌轮廓点对应的轮廓点位置进行有序连接，得到目标手掌图像对应的手掌轮廓。
在一个实施例中，骨骼点信息获取模块1002还用于将目标手掌图像输入目标手掌骨骼点识别模型，得到各个手掌骨骼点分别对应的骨骼点信息。
参考图11，手掌轮廓提取装置还包括：
模型训练模块1001，用于获取训练数据集；训练数据集包括多个训练手掌图像和各个训练手掌图像分别对应的训练骨骼点信息；从训练数据集中确定当前手掌图像；将当前手掌图像输入初始手掌骨骼点识别模型，得到当前手掌图像对应的预测骨骼点信息；基于当前手掌图像对应的预测骨骼点信息和训练骨骼点信息之间的差异，调整初始手掌骨骼点识别模型对应的模型参数，得到中间骨骼点识别模型；将下一训练手掌图像作为当前手掌图像，将中间骨骼点识别模型作为初始手掌骨骼点识别模型，返回将当前手掌图像输入初始手掌骨骼点识别模型的步骤执行，直至满足收敛条件，得到目标骨骼点识别模型。
在一个实施例中，手掌轮廓用于生成手掌动画。
在一个实施例中，如图12所示，提供了一种控制指令生成装置，包括：手掌轮廓显示模块1202和控制指令生成模块1204，其中：
手掌轮廓显示模块1202，用于显示基于目标手掌图像确定的手掌轮廓。
控制指令生成模块1204，用于基于手掌轮廓的显示信息生成对象控制指令。
手掌轮廓的提取过程包括以下步骤：获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；骨骼点信息包括骨骼点位置和骨骼点类型；基于骨骼点类型，对各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；手掌骨骼点集合存在对应的几何处理类型；基于手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成目标手掌图像对应的手掌轮廓。
上述控制指令生成装置，手掌轮廓是基于手掌图像中各个手掌骨骼点分别对应的骨骼点信息进行几何处理确定手掌轮廓点对应的轮廓点位置，并基于各个手掌轮廓点对应的轮廓点位置生成的，手掌轮廓的提取不仅无需对手掌图像的像素信息进行复杂的数据处理，而且不容易受到图像背景的干扰，具有较高的准确性。提取得到准确的手掌轮廓也有助于保障显示准确，进而有助于提高对象控制指令的生成准确性。基于手掌轮廓的显示信息自动生成对象控制指令，也可以提高对象控制指令的生成效率。
在一个实施例中，控制指令生成模块1204还用于当手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值时，生成对象控制指令；当位置差异大于或等于预设阈值时，基于位置差异生成手掌移动提示信息；手掌移动提示信息用于提示进行手掌移动以缩小位置差异。
在一个实施例中，目标手掌图像为虚拟资源转移方对应的手掌图像，对象控制指令为虚拟资源转移指令，虚拟资源转移指令用于指示从虚拟资源转移方对应的资源账户转移虚拟资源至目标账户。
上述手掌轮廓提取装置和控制指令生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的一个或多个处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于一个或多个处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储目标手掌骨骼点识别模型、参考步长、预设映射关系等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种手掌轮廓提取方法或控制指令生成方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机可读指令被处理器执行时以实现一种手掌轮廓提取方法或控制指令生成方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13、14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和一个或多个处理器，存储器中存储有计算机可读指令，该一个或多个处理器执行计算机可读指令时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现上述各方法实施例中的步骤。
一种计算机程序产品，包括计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储 器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种手掌轮廓提取方法，其特征在于，由计算机设备执行，所述方法包括：
    获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；
    基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；
    基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；
    基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；及
    基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
  2. 根据权利要求1所述的方法，其特征在于，所述骨骼点类型是由手指参数和指内关节参数确定，所述基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合，包括：
    将指内关节参数为预设关节参数的相邻手掌骨骼点建立匹配关系，得到第一几何处理类型对应的各个手掌骨骼点集合；
    将同一手指参数对应的相邻手掌骨骼点建立匹配关系，得到第二几何处理类型对应的各个手掌骨骼点集合；及
    将预设骨骼点类型对应的手掌骨骼点作为预设骨骼点，将所述预设骨骼点和与所述预设骨骼点距离最近的手掌骨骼点建立匹配关系，得到第三几何处理类型对应的手掌骨骼点集合。
  3. 根据权利要求1所述的方法，其特征在于，所述基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线，包括：
    基于当前手掌骨骼点集合对应的几何处理类型确定当前辅助线类型；
    基于所述当前手掌骨骼点集合中各个手掌骨骼点对应的骨骼点位置，生成所述当前手掌骨骼点集合对应的当前骨骼点线段；及
    基于所述当前辅助线类型，对所述当前骨骼点线段进行几何处理，得到所述当前手掌骨骼点集合对应的、属于所述当前辅助线类型的手掌轮廓辅助线。
  4. 根据权利要求3所述的方法，其特征在于，所述几何处理类型包括第一几何处理类型、第二几何处理类型或第三几何处理类型中的任意一种，所述第一几何处理类型对应的辅助线类型包括中垂线类型或延长线类型中的至少一种，所述第二几何处理类型对应的辅助线类型包括法线类型，所述第三几何处理类型对应的辅助线类型包括法线类型或延长线类型中的至少一种。
  5. 根据权利要求3所述的方法，其特征在于，所述基于所述当前辅助线类型，对所述当前骨骼点线段进行几何处理，得到所述当前手掌骨骼点集合对应的、属于所述当前辅助线类型的手掌轮廓辅助线，包括：
    在所述当前辅助线类型为中垂线类型时，将所述当前骨骼点线段对应的中垂线作为手掌轮廓辅助线；
    在所述当前辅助线类型为延长线类型时，从所述当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将所述当前骨骼点线段对应的、以所述目标骨骼点为起点的延长线作为手掌轮廓辅助线；及
    在所述当前辅助线类型为法线类型时，从所述当前手掌骨骼点集合对应的各个手掌骨骼点中确定目标骨骼点，将所述当前骨骼点线段在所述目标骨骼点处的法线作为手掌轮廓 辅助线。
  6. 根据权利要求1所述的方法，其特征在于，所述基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置，包括：
    基于当前手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成所述当前手掌骨骼点集合对应的当前骨骼点线段；
    从所述当前骨骼点线段上确定参考点；及
    在所述当前手掌骨骼点集合对应的当前手掌轮廓辅助线上，以所述参考点为起点，按照所述当前手掌轮廓辅助线对应的移动方向移动所述当前手掌骨骼点集合对应的参考步长，得到当前手掌轮廓点和所述当前手掌轮廓点对应的轮廓点位置。
  7. 根据权利要求6所述的方法，其特征在于，所述当前手掌轮廓辅助线包括中垂线、延长线和法线中的至少一种，所述中垂线对应的移动方向为掌心反方向，所述延长线对应的移动方向为延长线的延长方向，所述法线对应的移动方向为当前骨骼点线段的垂直方向。
  8. 根据权利要求1所述的方法，其特征在于，所述各个手掌骨骼点存在对应的骨骼点标识，所述基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓，包括：
    基于预设映射信息，将手掌骨骼点对应的骨骼点标识进行映射，得到各个手掌轮廓点对应的轮廓点排序标识；所述预设映射信息包括手掌骨骼点集合中的手掌骨骼点与基于手掌骨骼点集合生成的手掌轮廓点之间的标识映射关系；及
    按照轮廓点排序标识，将各个手掌轮廓点对应的轮廓点位置进行有序连接，得到所述目标手掌图像对应的手掌轮廓。
  9. 根据权利要求1所述的方法，其特征在于，所述获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息，包括：
    将所述目标手掌图像输入目标手掌骨骼点识别模型，得到所述各个手掌骨骼点分别对应的骨骼点信息；
    所述目标手掌骨骼点识别模型的训练过程包括以下步骤：
    获取训练数据集；所述训练数据集包括多个训练手掌图像和各个训练手掌图像分别对应的训练骨骼点信息；
    从所述训练数据集中确定当前手掌图像；
    将当前手掌图像输入初始手掌骨骼点识别模型，得到当前手掌图像对应的预测骨骼点信息；
    基于当前手掌图像对应的预测骨骼点信息和训练骨骼点信息之间的差异，调整初始手掌骨骼点识别模型对应的模型参数，得到中间骨骼点识别模型；及
    将下一训练手掌图像作为当前手掌图像，将中间骨骼点识别模型作为初始手掌骨骼点识别模型，返回所述将当前手掌图像输入初始手掌骨骼点识别模型的步骤执行，直至满足收敛条件，得到所述目标骨骼点识别模型。
  10. 根据权利要求1所述的方法，其特征在于，所述参考步长随着所述目标手掌图像对应的手掌尺寸信息的增大而增大。
  11. 根据权利要求1所述的方法，其特征在于，所述参考步长随着所述目标手掌图像对应的手掌深度信息的减小而增大。
  12. 根据权利要求1至11任意一项所述的方法，其特征在于，所述手掌轮廓用于生成手掌动画。
  13. 一种控制指令生成方法，其特征在于，由计算机设备执行，所述方法包括：
    显示基于目标手掌图像确定的手掌轮廓；及
    基于所述手掌轮廓的显示信息生成对象控制指令；
    所述手掌轮廓的提取过程包括以下步骤：
    获取所述目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；
    基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；
    基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；
    基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；及
    基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
  14. 根据权利要求13所述的方法，其特征在于，所述基于所述手掌轮廓的显示信息生成对象控制指令，包括：
    当所述手掌轮廓的显示位置和目标显示位置之间的位置差异小于预设阈值时，生成对象控制指令；及
    当所述位置差异大于或等于所述预设阈值时，基于所述位置差异生成手掌移动提示信息；所述手掌移动提示信息用于提示进行手掌移动以缩小所述位置差异。
  15. 根据权利要求13或14所述的方法，其特征在于，所述目标手掌图像为虚拟资源转移方对应的手掌图像，所述对象控制指令为虚拟资源转移指令，所述虚拟资源转移指令用于指示从所述虚拟资源转移方对应的资源账户转移虚拟资源至目标账户。
  16. 一种手掌轮廓提取装置，其特征在于，所述装置包括：
    骨骼点信息获取模块，用于获取目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；
    手掌骨骼点匹配模块，用于基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；
    手掌轮廓辅助线确定模块，用于基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；
    手掌轮廓点确定模块，用于基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；及
    手掌轮廓生成模块，用于基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
  17. 一种控制指令生成装置，其特征在于，由计算机设备执行，所述装置包括：
    手掌轮廓显示模块，用于显示基于目标手掌图像确定的手掌轮廓；及
    控制指令生成模块，用于基于所述手掌轮廓的显示信息生成对象控制指令；
    所述手掌轮廓的提取过程包括以下步骤：
    获取所述目标手掌图像中各个手掌骨骼点分别对应的骨骼点信息；所述骨骼点信息包括骨骼点位置和骨骼点类型；基于所述骨骼点类型，对所述各个手掌骨骼点进行匹配，得到多个手掌骨骼点集合；所述手掌骨骼点集合存在对应的几何处理类型；基于同一手掌骨骼点集合中各个骨骼点对应的骨骼点位置，生成与手掌骨骼点集合对应的几何处理类型匹配的手掌轮廓辅助线，得到各个手掌骨骼点集合分别对应的手掌轮廓辅助线；基于同一手掌骨骼点集合对应的参考步长和骨骼点位置，从手掌骨骼点集合对应的手掌轮廓辅助线上确定手掌轮廓点，得到手掌轮廓点对应的轮廓点位置；基于各个轮廓点位置生成所述目标手掌图像对应的手掌轮廓。
  18. 一种计算机设备，包括存储器和一个或多个处理器，所述存储器存储有计算机可读指令，其特征在于，所述一个或多个处理器执行所述计算机可读指令时实现权利要求1 至15中任一项所述的方法的步骤。
  19. 一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
  20. 一种计算机程序产品，包括计算机可读指令，其特征在于，该计算机可读指令被一个或多个处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
PCT/CN2023/083956 2022-05-27 2023-03-27 手掌轮廓提取方法、控制指令生成方法和装置 WO2023226578A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210587233.0A CN117173734A (zh) 2022-05-27 2022-05-27 手掌轮廓提取、控制指令生成方法、装置和计算机设备
CN202210587233.0 2022-05-27

Publications (1)

Publication Number Publication Date
WO2023226578A1 true WO2023226578A1 (zh) 2023-11-30

Family

ID=88918386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/083956 WO2023226578A1 (zh) 2022-05-27 2023-03-27 手掌轮廓提取方法、控制指令生成方法和装置

Country Status (2)

Country Link
CN (1) CN117173734A (zh)
WO (1) WO2023226578A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102340A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 手势识别装置、手势识别方法、以及电子设备
US20160373438A1 (en) * 2015-06-17 2016-12-22 Electronics And Telecommunications Research Institute User authentication apparatus
US20170277963A1 (en) * 2016-03-24 2017-09-28 Fujitsu Limited Image processing device, image processing method and computer-readable non-transitory medium
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102340A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 手势识别装置、手势识别方法、以及电子设备
US20160373438A1 (en) * 2015-06-17 2016-12-22 Electronics And Telecommunications Research Institute User authentication apparatus
US20170277963A1 (en) * 2016-03-24 2017-09-28 Fujitsu Limited Image processing device, image processing method and computer-readable non-transitory medium
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
CN114299604A (zh) * 2021-11-23 2022-04-08 河北汉光重工有限责任公司 一种基于二维图像的手骨骼捕捉、手势判别方法

Also Published As

Publication number Publication date
CN117173734A (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
US12020390B2 (en) Virtual content generation
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN107704838B (zh) 目标对象的属性识别方法及装置
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
US11379996B2 (en) Deformable object tracking
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
US10817705B2 (en) Method, apparatus, and system for resource transfer
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
WO2019196745A1 (zh) 人脸建模方法及相关产品
JP7268071B2 (ja) バーチャルアバターの生成方法及び生成装置
US20220066569A1 (en) Object interaction method and system, and computer-readable medium
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
WO2019075656A1 (zh) 图像处理方法、装置、终端和存储介质
CN111815768B (zh) 三维人脸重建方法和装置
WO2023173668A1 (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN110533773A (zh) 一种三维人脸重建方法、装置及相关设备
WO2022179603A1 (zh) 一种增强现实方法及其相关设备
WO2021120834A1 (zh) 基于生物识别的手势识别方法、装置、计算机设备及介质
TWI711004B (zh) 圖片處理方法和裝置
CN116524088B (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23810653

Country of ref document: EP

Kind code of ref document: A1