WO2021008019A1 - 姿态跟踪方法、装置及计算机可读存储介质 - Google Patents

姿态跟踪方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2021008019A1
WO2021008019A1 PCT/CN2019/116555 CN2019116555W WO2021008019A1 WO 2021008019 A1 WO2021008019 A1 WO 2021008019A1 CN 2019116555 W CN2019116555 W CN 2019116555W WO 2021008019 A1 WO2021008019 A1 WO 2021008019A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image set
texture component
framed
component image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/116555
Other languages
English (en)
French (fr)
Inventor
苏智辉
郭玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021008019A1 publication Critical patent/WO2021008019A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • This application relates to the field of artificial intelligence technology, and in particular to a posture tracking method, device and computer-readable storage medium based on the combination of optical flow and moving images.
  • Moving target detection plays an increasingly important role in the field of video surveillance.
  • Moving target detection is the separation of the changed parts of the video image, and it is image segmentation based on geometric and statistical features.
  • Target detection algorithms are widely used in real life, and are of great significance in saving manpower and improving work efficiency.
  • the emergence of new target detection algorithms has promoted the development of intelligent surveillance.
  • the development of intelligent monitoring has also led to continuous improvement of moving target detection algorithms.
  • the human body tracking algorithm used can capture a single frame of human pose, it cannot obtain the connection of multiple frames of pose.
  • the existing posture tracking methods mainly include the background difference method. Although this method can accurately extract the moving target, it is easily affected by the external environment.
  • the industry has proposed some improved algorithms, but some of the results are not obvious, or they can be accurately detected but lose efficiency.
  • This application provides a posture tracking method, device, and computer-readable storage medium, the main purpose of which is to present accurate image posture tracking results to the user when the user is performing image posture detection.
  • a posture tracking method provided by this application includes:
  • the present application also provides an attitude tracking device, which includes a memory and a processor, and the memory stores an attitude tracking program that can run on the processor, and the attitude tracking program is The processor implements the following steps when executing:
  • the present application also provides a computer-readable storage medium with a gesture tracking program stored on the computer-readable storage medium, and the gesture tracking program can be executed by one or more processors to achieve The steps of the attitude tracking method as described above.
  • the posture tracking method, device and computer-readable storage medium proposed in this application when a user performs image posture tracking, the image is analyzed and processed to obtain the image feature points, and the image is performed in combination with the optical flow method.
  • image posture tracking block matching technology is used to obtain the image matching score after posture tracking, so that accurate image posture tracking results can be presented to the user.
  • Figure 1 is a schematic flow diagram of the posture tracking method of the application
  • FIG. 2 is a schematic diagram of the internal structure of the posture tracking device of this application.
  • Fig. 3 is a schematic diagram of modules of the posture tracking program in the posture tracking device of this application.
  • This application provides a posture tracking method.
  • FIG. 1 it is a schematic flowchart of a posture tracking method provided by an embodiment of this application.
  • the method can be executed by a device, and the device can be implemented by software and/or hardware.
  • the attitude tracking method includes:
  • the video image set in the preferred embodiment of the present application may be a video image set related to human body posture, wherein the source of the video image set of human body posture is obtained in the following two ways: Method one is obtained from each surveillance video; Method 2: Use keyword search to search the web page to obtain it. Further, the source data stream of the human body posture video image set described in the present application is read and decomposed into each frame of image to obtain a framed image set.
  • this application also includes a preprocessing operation on the framed image set.
  • the preprocessing operations include: converting the framed image into a grayscale image by using image grayscale; denoising the grayscale image through an adaptive image noise reduction filter; using a contrast stretching method to reduce noise
  • the latter grayscale image is contrast-enhanced; according to the OTSU algorithm, the contrast-enhanced grayscale image is thresholded to obtain a binarized image.
  • Image grayscale The image grayscale process is to convert the image in the framed image set into a grayscale image.
  • the brightness information of the grayscale image can fully express the overall and partial characteristics of the image, and the grayscale processing of the image can greatly reduce the amount of calculation for subsequent work.
  • the method of image gray-scale processing is to convert the R, G, and B components of the image pixels into the Y component of the YUV color space, that is, the brightness value.
  • the calculation method of the Y component As shown in the following formula:
  • R, G, and B are the R, G, and B values of the image pixel in the RGB color mode.
  • This application uses an adaptive image noise reduction filter to reduce the noise of the grayscale image, which is used to filter out the salt and pepper noise of the grayscale image, and can protect the grayscale image to a large extent The details.
  • the salt and pepper noise is a random white or black spot in the image
  • the adaptive image noise reduction filter is a signal extractor, whose function is to extract the original signal from the signal contaminated by noise.
  • the grayscale image to be processed is preset as f(x, y).
  • f(x, y) the grayscale image to be processed.
  • Is the noise variance of the entire image Is the average gray value of pixels in a window near the point (x, y)
  • the contrast refers to the contrast between the maximum value and the minimum value of the brightness in the imaging system, where low contrast makes image processing more difficult.
  • a contrast stretching method is adopted, which uses a method of increasing the dynamic range of gray levels to achieve the purpose of image contrast enhancement.
  • the contrast stretching is also called gray-scale stretching, which is a commonly used gray-scale transformation method at present.
  • the present application performs gray-scale stretching on a specific area according to the piecewise linear transformation function in the contrast stretching method to further improve the contrast of the output image.
  • contrast stretching it essentially realizes gray value conversion.
  • This application implements the gray value transformation through linear stretching, which refers to pixel-level operations in which the input and output gray values have a linear relationship.
  • the gray scale transformation formula is as follows:
  • a is the linear slope and b is the intercept on the Y axis.
  • the output image contrast is enhanced compared to the original image.
  • a ⁇ 1 the contrast of the output image is weaker than the original image, where D a represents the gray value of the input image, and D b represents the gray value of the output image.
  • the image thresholding process is an efficient algorithm for binarizing the contrast-enhanced grayscale image through the OTSU algorithm to obtain a binarized image.
  • the preferred embodiment of the present application presets the gray level t to be the segmentation threshold of the foreground and background of the gray image, and assumes that the proportion of the number of front spots in the image is w 0 , the average gray level is u 0 ; the proportion of background points in the image is w 1 , The average gray level is u 1 , then the total average gray level of the gray image is:
  • the gray scale t at this time is the optimal threshold, and the gray scale value of the gray scale image after the contrast enhancement is greater than the gray scale t It is set to 255, and the gray value smaller than the gray t is set to 0 to obtain the binarized image of the gray image after contrast enhancement.
  • the optical flow is a motion pattern, which refers to the obvious movement of an object formed between an observer and the background under a viewing angle, wherein the movement of the two-dimensional image in the optical flow is a three-dimensional object relative to the observer
  • ordered images can estimate the instantaneous image rate or discrete image transfer of a two-dimensional image.
  • the purpose of the decomposition processing is to decompose image information needed by people from the input image sequence frames.
  • the preferred embodiment of the present application uses the image structure texture decomposition technology to reduce the sensitivity of the optical flow method to illumination.
  • this application divides the input image into a structure part and a texture part, and replaces the input image with a texture image to find its optical flow field. Therefore, the deviation of the calculation result caused by the change of illumination can be avoided.
  • the present application decomposes the images in the framed image set into structure component images and texture component images, wherein the decomposition adopts the following method:
  • I (x, y) represents an image in the set of framed images
  • I S (x, y) represents the structural component image
  • I T (x, y) represents the texture component image
  • ⁇ is the size of the image in the framed image set
  • ⁇ is a constant, which refers to the minimization of the energy functional through the original dual algorithm
  • I is the image value in the framed image set
  • S3 Perform feature point extraction on the texture component image based on an edge detection algorithm and a corner detection algorithm to obtain a target feature point of the texture component image set.
  • the preferred embodiment of the present application performs convolution calculation on the texture component image by using a Gaussian blur function to obtain a Gaussian scale space function, so as to achieve blurring of the texture component image.
  • the Gaussian blur is an image filter that uses a normal distribution (Gaussian function) to calculate a blur template, and uses the template to perform a convolution operation with the original image to achieve the purpose of blurring the image.
  • the present application obtains the multi-scale space of the texture component image by changing the size of the scale parameter in the Gaussian scale space function, and extracts the corner points of the multi-scale space through the Harris angle detection algorithm to obtain
  • the corner feature is modified by using the Canny edge extraction algorithm to obtain a feature point, and the corner feature is fused with the feature point to obtain the target feature point of the texture component image.
  • This application presets the Gaussian blur function G (x, y, ⁇ ), the Gaussian scale space function L (x, y, ⁇ ), the multi-scale space is ⁇ , combined with the texture component image I T (x ,y), the second moment formula of Harris corner point is:
  • G(x,y, ⁇ ) is a Gaussian function with a scale parameter ⁇
  • I x and I y are the derivative gradient values of the texture component image I T (x, y) in the x direction and the y direction, respectively .
  • K is a constant
  • det M is the determinant of the second moment M (x, y, ⁇ )
  • traceM is the trace of M.
  • the present application divides the texture component image into a 3*3 area, calculates the maximum value of the divided area through the response function of the corner point, and uses the maximum value as the corner point feature.
  • This application calculates the scale layer gradient size and direction of the texture component image according to the Canny edge detection algorithm:
  • Edge(E) represents the gradient size
  • Dir( ⁇ ) represents the gradient direction
  • I x and I y represent the gradient values of the texture component image in the X direction and Y direction, respectively, according to the gradient size and
  • the direction calculation result performs maximum value suppression on the pixel points in the texture component image, and preset upper and lower threshold values to determine whether the pixel point is a boundary point, so as to obtain the feature point of the texture component image.
  • the image pyramid is a data structure that interprets images with multiple resolutions, and is composed of a series of different sizes of original images. The resolution and size of the image are gradually reduced from the lower layer to the upper layer.
  • the texture component image is analyzed and processed through the Laplacian pyramid.
  • the k+1 layer image is known, and the specific steps for calculating the k layer image are: Expand twice in each direction, and fill in the newly added rows and columns with 0; and convolve them with the kernel.
  • This application presets the number of kernels to be 16; therefore, the image obtained after convolution is Is the k-th layer image.
  • the Horn-Schunck optical flow algorithm is:
  • E represents the value of the optical flow of the texture image, with Respectively represent the mean values in the u neighborhood and v neighborhood; due to the optical flow error, this application summarizes the optical flow solution into solving the extreme value problem, and solves it by an iterative method.
  • the iteration equation is as follows:
  • ⁇ is a smoothing control factor, and the ⁇ value is affected by the noise in the texture component image. If the noise is strong, it means that the confidence of the image data itself is low, and it needs to rely more on optical flow constraints. Then ⁇ can take a larger value; conversely, it can take a smaller value to finally realize the posture tracking of the texture component image in the optical flow.
  • the block matching technology refers to the process of referencing the features in the image frame according to a certain feature to perform matching.
  • the features include color, intensity, points of interest, contour and texture, etc.
  • the common method is to use the intensity of pixels. Make a match.
  • the texture component image in the optical flow after attitude tracking is divided into several regions for block matching.
  • the size of the area may be 8 ⁇ 8, and the divided area is called a macro block.
  • this application presets that the motion displacements of the divided macroblocks are equal, and the region most similar to the reference frame image is searched for according to matching rules and search algorithms, which is called a matching block.
  • the matching rule and the search algorithm are respectively the average absolute error MAD criterion and the new three-step search algorithm.
  • the block matching technique finds the best matching block, that is, for the sub-block in the kth frame.
  • this application uses the average absolute error MAD criterion and the new three-step search algorithm to find the most similar matching block in the k+1 frame image, that is, considers that the k frame image moves after a certain period of time.
  • the matching score is calculated by performing block matching on all regional images of the two frames, and the posture tracking of the two frames of image is completed according to the matching score.
  • the formula for calculating the matching score is:
  • P is the probability of the matching score
  • S is the image of the region where the matching is successful
  • N indicates that a frame of image is divided into N regions.
  • (i, j) is the displacement vector of the image pixel, that is, the distance and direction of the image pixel movement;
  • (m, n) the position coordinate of the image pixel, M and N are the length and width of the image block,
  • E k (m, n) represents the pixel value of the k- th frame image at (m,n),
  • E k-1 (m+i,n+j) represents the k-1th frame image at (m+i,n+j) Pixel values.
  • the size of the search box is preset to be 9 ⁇ 9, and the starting search point is the center point of the window; the center point of the search block, 8 points around the block, and 8 points with a step length of 4 are the first step
  • the number of points to be searched is 17 points, and the MAD between the starting point and each point is calculated to find the minimum error point, where the minimum error point includes the following three situations:
  • the invention also provides an attitude tracking device.
  • FIG. 2 it is a schematic diagram of the internal structure of the attitude tracking device provided by an embodiment of this application.
  • the posture tracking device 1 may be a PC (Personal Computer, personal computer), or a terminal device such as a smart phone, a tablet computer, or a portable computer, or a server.
  • the attitude tracking device 1 at least includes a memory 11, a processor 12, a communication bus 13, and a network interface 14.
  • the memory 11 includes at least one type of readable storage medium, and the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), magnetic memory, magnetic disk, optical disk, etc.
  • the memory 11 may be an internal storage unit of the attitude tracking device 1, for example, a hard disk of the attitude tracking device 1.
  • the memory 11 may also be an external storage device of the attitude tracking device 1, such as a plug-in hard disk, a smart media card (SMC), and a secure digital (Secure Digital, SD card, Flash Card, etc.
  • the memory 11 may also include both an internal storage unit of the attitude tracking device 1 and an external storage device.
  • the memory 11 can be used not only to store application software and various data installed in the posture tracking device 1, such as the code of the posture tracking program 01, etc., but also to temporarily store data that has been output or will be output.
  • the processor 12 may be a central processing unit (CPU), controller, microcontroller, microprocessor or other data processing chip in some embodiments, and is used to run the program code or processing stored in the memory 11 Data, such as the execution of posture tracking program 01 and so on.
  • CPU central processing unit
  • controller microcontroller
  • microprocessor or other data processing chip in some embodiments, and is used to run the program code or processing stored in the memory 11 Data, such as the execution of posture tracking program 01 and so on.
  • the communication bus 13 is used to realize the connection and communication between these components.
  • the network interface 14 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface), and is usually used to establish a communication connection between the device 1 and other electronic devices.
  • the device 1 may also include a user interface.
  • the user interface may include a display (Display) and an input unit such as a keyboard (Keyboard).
  • the optional user interface may also include a standard wired interface and a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, an OLED (Organic Light-Emitting Diode, organic light emitting diode) touch device, etc.
  • the display can also be appropriately called a display screen or a display unit, which is used to display the information processed in the posture tracking device 1 and to display a visualized user interface.
  • Fig. 2 only shows the posture tracking device 1 with components 11-14 and the posture tracking program 01.
  • Fig. 1 does not constitute a limitation on the posture tracking device 1, and may include Fewer or more components than shown, or some combination of components, or different component arrangement.
  • the memory 11 stores the posture tracking program 01; when the processor 12 executes the posture tracking program 01 stored in the memory 11, the following steps are implemented:
  • Step 1 Obtain a video image set, and perform frame division processing on the video image set to obtain a framed image set.
  • the video image set of the preferred embodiment of the present application may be a video image set related to human body posture, wherein the source of the video image set of human body posture is obtained in the following two ways: Method one is obtained from each surveillance video; Method 2: Use keyword search to search the web page to obtain it. Further, the source data stream of the human body posture video image set described in the present application is read and decomposed into each frame of image to obtain a framed image set.
  • this application also includes a preprocessing operation on the framed image set.
  • the preprocessing operations include: converting the framed image into a grayscale image by using image grayscale; denoising the grayscale image through an adaptive image noise reduction filter; using a contrast stretching method to reduce noise
  • the latter grayscale image is contrast-enhanced; according to the OTSU algorithm, the contrast-enhanced grayscale image is thresholded to obtain a binarized image.
  • Image grayscale The image grayscale process is to convert the image in the framed image set into a grayscale image.
  • the brightness information of the grayscale image can fully express the overall and partial characteristics of the image, and the grayscale processing of the image can greatly reduce the amount of calculation for subsequent work.
  • the method of image gray-scale processing is to convert the R, G, and B components of the image pixels into the Y component of the YUV color space, that is, the brightness value.
  • the calculation method of the Y component As shown in the following formula:
  • R, G, and B are the R, G, and B values of the image pixel in the RGB color mode.
  • This application uses an adaptive image noise reduction filter to reduce the noise of the grayscale image, which is used to filter out the salt and pepper noise of the grayscale image, and can protect the grayscale image to a large extent The details.
  • the salt and pepper noise is a random white or black spot in the image
  • the adaptive image noise reduction filter is a signal extractor, whose function is to extract the original signal from the signal contaminated by noise.
  • the grayscale image to be processed is preset as f(x, y).
  • f(x, y) the grayscale image to be processed.
  • Is the noise variance of the entire image Is the average gray value of pixels in a window near the point (x, y)
  • the contrast refers to the contrast between the maximum value and the minimum value of the brightness in the imaging system, where low contrast makes image processing more difficult.
  • a contrast stretching method is adopted, which uses a method of increasing the dynamic range of gray levels to achieve the purpose of image contrast enhancement.
  • the contrast stretching is also called gray-scale stretching, which is a commonly used gray-scale transformation method at present.
  • the present application performs gray-scale stretching on a specific area according to the piecewise linear transformation function in the contrast stretching method to further improve the contrast of the output image.
  • contrast stretching it essentially achieves gray value conversion.
  • This application implements the gray value transformation through linear stretching, which refers to pixel-level operations in which the input and output gray values have a linear relationship.
  • the gray scale transformation formula is as follows:
  • a is the linear slope and b is the intercept on the Y axis.
  • the output image contrast is enhanced compared to the original image.
  • a ⁇ 1 the contrast of the output image is weaker than the original image, where D a represents the gray value of the input image, and D b represents the gray value of the output image.
  • the image thresholding process is an efficient algorithm for binarizing the contrast-enhanced grayscale image through the OTSU algorithm to obtain a binarized image.
  • the preferred embodiment of the present application presets the gray level t to be the segmentation threshold of the foreground and background of the gray image, and assumes that the proportion of the number of front spots in the image is w 0 , the average gray level is u 0 ; the proportion of background points in the image is w 1 , The average gray level is u 1 , then the total average gray level of the gray image is:
  • the gray scale t at this time is the optimal threshold, and the gray scale value of the gray scale image after the contrast enhancement is greater than the gray scale t It is set to 255, and the gray value smaller than the gray t is set to 0 to obtain the binarized image of the gray image after contrast enhancement.
  • Step 2 Perform decomposition processing on the framed image set to obtain a texture component image set, and input the texture component image set into the optical flow.
  • the optical flow is a motion pattern, which refers to the obvious movement of an object formed between an observer and the background under a viewing angle, wherein the movement of the two-dimensional image in the optical flow is a three-dimensional object relative to the observer
  • ordered images can estimate the instantaneous image rate or discrete image transfer of a two-dimensional image.
  • the purpose of the decomposition processing is to decompose image information needed by people from the input image sequence frames.
  • the preferred embodiment of the present application uses the image structure texture decomposition technology to reduce the sensitivity of the optical flow method to illumination.
  • this application divides the input image into a structure part and a texture part, and replaces the input image with a texture image to find its optical flow field. Therefore, the deviation of the calculation result caused by the change of illumination can be avoided.
  • the present application decomposes the images in the framed image set into structure component images and texture component images, wherein the decomposition adopts the following method:
  • I (x, y) represents an image in the set of framed images
  • I S (x, y) represents the structural component image
  • I T (x, y) represents the texture component image
  • ⁇ is the size of the image in the framed image set
  • ⁇ is a constant, which refers to the minimization of the energy functional through the original dual algorithm
  • I is the image value in the framed image set
  • Step 3 Perform feature point extraction on the texture component image based on the edge detection algorithm and the corner detection algorithm to obtain the target feature point of the texture component image set.
  • the preferred embodiment of the present application performs convolution calculation on the texture component image by using a Gaussian blur function to obtain a Gaussian scale space function, so as to achieve blurring of the texture component image.
  • the Gaussian blur is an image filter that uses a normal distribution (Gaussian function) to calculate a blur template, and uses the template to perform a convolution operation with the original image to achieve the purpose of blurring the image.
  • the present application obtains the multi-scale space of the texture component image by changing the size of the scale parameter in the Gaussian scale space function, and extracts the corner points of the multi-scale space through the Harris angle detection algorithm to obtain
  • the corner feature is modified by using the Canny edge extraction algorithm to obtain a feature point, and the corner feature is fused with the feature point to obtain the target feature point of the texture component image.
  • This application presets the Gaussian blur function G (x, y, ⁇ ), the Gaussian scale space function L (x, y, ⁇ ), the multi-scale space is ⁇ , combined with the texture component image I T (x ,y), the second moment formula of Harris corner point is:
  • G(x,y, ⁇ ) is a Gaussian function with a scale parameter ⁇
  • I x and I y are the derivative gradient values of the texture component image I T (x, y) in the x direction and the y direction, respectively .
  • K is a constant
  • det M is the determinant of the second moment M (x, y, ⁇ )
  • traceM is the trace of M.
  • the present application divides the texture component image into a 3*3 area, calculates the maximum value of the divided area through the response function of the corner point, and uses the maximum value as the corner point feature.
  • This application calculates the scale layer gradient size and direction of the texture component image according to the Canny edge detection algorithm:
  • Edge(E) represents the gradient size
  • Dir( ⁇ ) represents the gradient direction
  • I x and I y represent the gradient values of the texture component image in the X direction and Y direction, respectively, according to the gradient size and
  • the direction calculation result performs maximum value suppression on the pixel points in the texture component image, and preset upper and lower threshold values to determine whether the pixel point is a boundary point, so as to obtain the feature point of the texture component image.
  • Step 4 Using image pyramid technology to track the posture of the texture component image in the optical flow according to the target feature points.
  • the image pyramid is a data structure that interprets images with multiple resolutions, and is composed of a series of different sizes of original images. The resolution and size of the image are gradually reduced from the lower layer to the upper layer.
  • the texture component image is analyzed and processed through the Laplacian pyramid.
  • the k+1 layer image is known, and the specific steps for calculating the k layer image are: Expand twice in each direction, and fill in the newly added rows and columns with 0; and convolve them with the kernel.
  • This application presets the number of kernels to be 16; therefore, the image obtained after convolution is Is the k-th layer image.
  • the Horn-Schunck optical flow algorithm is:
  • E represents the value of the optical flow of the texture image, with Respectively represent the mean values in the u neighborhood and v neighborhood; due to the optical flow error, this application summarizes the optical flow solution into solving the extreme value problem, and solves it by an iterative method.
  • the iteration equation is as follows:
  • ⁇ is a smoothing control factor, and the ⁇ value is affected by the noise in the texture component image. If the noise is strong, it means that the confidence of the image data itself is low, and it needs to rely more on optical flow constraints. Then ⁇ can take a larger value; conversely, it can take a smaller value to finally realize the posture tracking of the texture component image in the optical flow.
  • Step 5 Match the texture component images in the optical flow after attitude tracking by the block matching technology to obtain the best matching block. According to the best matching block, the texture component image set in the optical flow is Match score to complete the posture tracking of multi-frame images
  • the block matching technology refers to the process of referencing the features in the image frame according to a certain feature to perform matching.
  • the features include color, intensity, points of interest, contour and texture, etc.
  • the common method is to use the intensity of pixels. Make a match.
  • the texture component image in the optical flow after attitude tracking is divided into several regions for block matching.
  • the size of the area may be 8 ⁇ 8, and the divided area is called a macro block.
  • this application presets that the motion displacements of the divided macroblocks are equal, and the region most similar to the reference frame image is searched for according to matching rules and search algorithms, which is called a matching block.
  • the matching rule and the search algorithm are respectively the average absolute error MAD criterion and the new three-step search algorithm.
  • the block matching technique finds the best matching block, that is, for the sub-block in the kth frame.
  • this application uses the average absolute error MAD criterion and the new three-step search algorithm to find the most similar matching block in the k+1 frame image, that is, considers that the k frame image moves after a certain period of time.
  • the matching score is calculated by performing block matching on all regional images of the two frames, and the posture tracking of the two frames of image is completed according to the matching score.
  • the formula for calculating the matching score is:
  • P is the probability of the matching score
  • S is the image of the region where the matching is successful
  • N indicates that a frame of image is divided into N regions.
  • (i, j) is the displacement vector of the image pixel, that is, the distance and direction of the image pixel movement;
  • (m, n) the position coordinate of the image pixel, M and N are the length and width of the image block,
  • E k (m, n) represents the pixel value of the k- th frame image at (m,n),
  • E k-1 (m+i,n+j) represents the k-1th frame image at (m+i,n+j) Pixel values.
  • the size of the search box is preset to be 9 ⁇ 9, and the starting search point is the center point of the window; the center point of the search block, 8 points around the block, and 8 points with a step length of 4 are the first step
  • the number of points to be searched is 17 points, and the MAD between the starting point and each point is calculated to find the minimum error point, where the minimum error point includes the following three situations:
  • the posture tracking program may also be divided into one or more modules, and the one or more modules are stored in the memory 11 and executed by one or more processors (in this embodiment, the processing The module 12) is executed to complete the application.
  • the module referred to in this application refers to a series of computer program instruction segments that can complete specific functions, and is used to describe the execution process of the attitude tracking program in the attitude tracking device.
  • FIG. 3 is a schematic diagram of the program modules of the posture tracking program in an embodiment of the posture tracking device of this application.
  • the posture tracking program can be divided into an image preprocessing module 10 and feature point extraction.
  • the module 20, the image tracking module 30, and the matching scoring module 40 are exemplary:
  • the image preprocessing module 10 is configured to: obtain a video image set, perform framing processing on the video image set to obtain a framed image set, perform decomposition processing on the framed image set to obtain a texture component image set, and The texture component image set is input into the optical flow.
  • the feature point extraction module 20 is configured to perform feature point extraction on the texture component image set based on an edge detection algorithm and a corner detection algorithm to obtain target feature points of the texture component image set.
  • the image tracking module 30 is configured to use image pyramid technology to track the posture of the texture component image set in the optical flow according to the target feature points.
  • the matching scoring module 40 is configured to: match the texture component image set in the optical flow after the attitude tracking is performed by the block matching technology to obtain the best matching block, and obtain the light according to the best matching block.
  • the matching score of the texture component image set in the stream completes the posture tracking of the multi-frame image.
  • an embodiment of the present application also proposes a computer-readable storage medium that stores a gesture tracking program on the computer-readable storage medium, and the gesture tracking program can be executed by one or more processors to implement the following operations:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种姿态跟踪方法，包括：获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集(S1)；对所述分帧图像集进行分解处理，得到纹理分量图像集，将所述纹理分量图像集输入到光流中(S2)；基于边缘检测和角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点(S3)；根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪(S4)；通过块匹配技术对所述姿态跟踪的纹理分量图像集进行匹配，并计算所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪(S5)。实现了多帧图像姿态的精准跟踪。

Description

姿态跟踪方法、装置及计算机可读存储介质
本申请基于巴黎公约申明享有2019年7月18日递交的申请号为CN201910653996.9、名称为“姿态跟踪方法、装置及计算机可读存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于光流和运动图像相结合的姿态跟踪方法、装置及计算机可读存储介质。
背景技术
运动目标检测在视频监控领域中扮演着越来越重要的角色。运动目标检测是对视频图像中发生变化部分的分离，是基于几何和统计特征的图像分割。目标检测算法在现实生活中的应用十分广泛，在节省人力，提高工作效率方面有着重要的意义。新的目标检测算法的不断涌现推动了智能监控的发展。同时，智能监控的发展也使得运动目标检测算法不断改进。目前，所用的人体跟踪算法虽然可以捕捉单帧人体姿态，但无法获取多帧姿态的联系。现有的姿态跟踪的方法主要有背景差法，这种方法虽然能够准确地提取运动目标，但容易受外界环境的影响。对此业界提出了一些改进算法，但是有的效果并不明显，或者能够精确检测但失去了效率。
发明内容
本申请提供一种姿态跟踪方法、装置及计算机可读存储介质，其主要目的在于当用户在进行图像姿态检测时，给用户呈现出精准的图像姿态跟踪结果。
为实现上述目的，本申请提供的一种姿态跟踪方法，包括：
获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量 图像集的匹配得分，完成多帧图像的姿态跟踪。
此外，为实现上述目的，本申请还提供一种姿态跟踪装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的姿态跟踪程序，所述姿态跟踪程序被所述处理器执行时实现如下步骤：
获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有姿态跟踪程序，所述姿态跟踪程序可被一个或者多个处理器执行，以实现如上所述的姿态跟踪方法的步骤。
本申请提出的姿态跟踪方法、装置及计算机可读存储介质，在用户进行图像姿态跟踪时，通过对所述图像进行分析处理，得到所述图像特征点，并结合光流法对所述图像进行姿态跟踪，利用块匹配技术得到姿态跟踪后的所述图像匹配分数，从而可以给所述用户呈现出精准的图像姿态跟踪结果。
附图说明
图1为本申请姿态跟踪方法的流程示意图；
图2为本申请姿态跟踪装置的内部结构示意图；
图3为本申请姿态跟踪装置中姿态跟踪程序的模块示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种姿态跟踪方法。参照图1所示，为本申请一实施例提供的姿态跟踪方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，姿态跟踪方法包括：
S1、获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集。
本申请较佳实施例所述视频图像集可以为关于人体姿态的视频图像集， 其中所述人体姿态的视频图像集的来源通过以下两种方式得到：方式一、从各监控视频中获取得到；方式二、利用关键字搜索在网页中进行搜索获取得到。进一步地，本申请所述人体姿态视频图像集源数据流进行读取，并分解为每帧图像，从而得到分帧图像集。
较佳地，本申请还包括对所述分帧图像集进行预处理操作。所述预处理操作为：利用图像灰度化将所述分帧图像转化为灰度图像；通过自适应图像降噪滤波器对所述灰度图像进行降噪；利用对比度拉伸方式对降噪后的所述灰度图像进行对比度增强；根据OTSU算法将对比度增强后的所述灰度图像进行阈值化操作，得到二值化图像。
详细地，所述预处理操作的具体步骤为：
a.图像灰度化:所述图像灰度化处理是将述分帧图像集中的图像转换为灰度图像。其中，所述灰度图像的亮度信息完全能够表达图像的整体和局部的特征，并且对图像进行灰度化处理之后可以大大降低后续工作的计算量。
本申请较佳实施例中，所述图像灰度化处理的方法是将图像像素点的R、G、B分量转换为YUV的颜色空间的Y分量，即亮度值，所述Y分量的计算方法如下式所示:
Y＝0.3R+0.59G+0.11B
其中R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
b.降噪：本申请通过自适应图像降噪滤波器对所述灰度图像进行降噪，用于滤除所述灰度图像的椒盐噪声，并可以很大程度的保护所述灰度图像的细节。其中，所述椒盐噪声是图像中一种随机出现的白点或黑点，所述自适应图像降噪滤波器是信号抽取器，它的作用是从被噪声污染的信号中抽取原来的信号。
本申请较佳实施例通过预设待处理的灰度图像为f(x,y)，在退化函数H的作用下，由于受到椒盐噪声η(x,y)的影响，得到一个退化图像g(x,y)。于是，得到图像退化公式:g(x,y)＝η(x,y)+f(x,y)，并利用Adaptive Filter方法对所述待处理的灰度图像进行降噪，所述降噪的计算公式为：
Figure PCTCN2019116555-appb-000001
其中，
Figure PCTCN2019116555-appb-000002
是整张图像的噪声方差，
Figure PCTCN2019116555-appb-000003
是点(x,y)附近的一个窗口内的像素灰度均值，
Figure PCTCN2019116555-appb-000004
是点(x,y)附近一个窗口内的像素灰度的方差。
c.对比度增强：所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本申请较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。
进一步地，本申请根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时， 本质上是实现灰度值变换。本申请通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
D b＝f(D a)＝a*D a+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中D a代表输入图像灰度值，D b代表输出图像灰度值。
d.图像阈值化：所述图像阈值化处理通过OTSU算法将对比度增强后的所述灰度图像进行二值化的高效算法，以得到二值化图像。本申请较佳实施例预设灰度t为灰度图像的前景与背景的分割阈值，并假设前景点数占图像比例为w 0，平均灰度为u 0；背景点数占图像比例为w 1，平均灰度为u 1，则灰度图像的总平均灰度为：
u＝w 0*u 0+w 1*u 1，
灰度图像的前景和背景图象的方差为：
g＝w 0*(u 0-u)*(u 0-u)+w 1*(u 1-u)*(u 1-u)＝w 0*w 1*(u 0-u 1)*(u 0-u 1),
其中，当方差g最大时，则此时前景和背景差异最大，此时的灰度t为最佳阈值，并将对比度增强后的所述灰度图像中大于所述灰度t的灰度值设置为255，小于所述灰度t的灰度值设置为0，得到对比度增强后的所述灰度图像的二值化图像。
S2、对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中。
所述光流是运动模式，指的是一个物体在一个视角下由一个观察者和背景之间形成的明显移动，其中，光流中的二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影，有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。所述分解处理目的是从输入图像序列帧中分解出人们需要的图像信息，本申请较佳实施例通过使用图像结构纹理分解技术来减小光流法对光照的敏感程度。由于图像的纹理部分只包含图像的细节信息，而不包含对光照变化敏感的几何信息，所以本申请通过将输入图像分为结构部分和纹理部分，用纹理图像代替输入图像求其光流场，于是，可以避免光照变化对计算结果造成的偏差。
进一步地，本申请将所述分帧图像集中的图像分解为结构分量图像和纹理分量图像，其中，所述分解的采用如下方法：
I(x,y)＝I S(x,y)+I T(x,y)
其中，I(x,y)表示所述分帧图像集中的图像，I S(x,y)表示所述结构分量图像，I T(x,y)表示所述纹理分量图像；
计算出所述结构分量图像I S(x,y)：
Figure PCTCN2019116555-appb-000005
其中，Ω为所述分帧图像集中的图像的尺寸，θ为常量，指的是通过原始对偶算法对能量泛函进行最小化，I为所述分帧图像集中的图像值；
计算I S的值：I S＝I+θ/P，P为所述I S的对偶变量；
通过迭代求解计算所述对偶变量P的值为：
Figure PCTCN2019116555-appb-000006
其中，P 0＝0，
Figure PCTCN2019116555-appb-000007
将所述分帧图像集中的图像与计算后的所述结构分量图像作差，得到所述纹理分量图像I T(x,y)，即：I T(x,y)＝I(x,y)-I S(x,y)，并将所述纹理分量图像集作为光流的输入图像集。
S3、基于边缘检测算法以及角检测算法对所述纹理分量图像进行特征点提取，得到所述纹理分量图像集的目标特征点。
本申请较佳实施例通过高斯模糊函数对所述纹理分量图像进行卷积计算，得到高斯尺度空间函数，从而实现所述纹理分量图像的模糊化。所述高斯模糊是一种图像滤波器，使用正态分布(高斯函数)计算模糊模板，并使用所述模板与原图像做卷积运算，达到模糊图像的目的。
进一步地，本申请通过对所述高斯尺度空间函数中尺度参数的大小进行改变，得到所述纹理分量图像的多尺度空间，通过Harris角检测算法对所述进行多尺度空间进行角点提取，得到角点特征，并利用Canny边缘提取算法对所述角点特征进行修饰，得到特征点，将所述角点特征与所述特征点进行融合，得到所述纹理分量图像的目标特征点。
其中，所述角点提取具体操作步骤为：
本申请预设所述高斯模糊函数G(x,y,σ)，所述高斯尺度空间函数L(x,y,σ)，所述多尺度空间为σ，结合上述纹理分量图像I T(x,y)，得到Harris角点的二阶矩公式为：
Figure PCTCN2019116555-appb-000008
其中，G(x,y,σ)为带有尺度参数σ的高斯函数，I x、I y分别为所述纹理分量图像I T(x,y)在x方向和y方向上的导数梯度值。于是，得到角点的响应函数：
Q(x,y)＝det M-K*traceM 2
其中，K为常数，det M为二阶矩M(x,y,σ)的行列式，traceM为M的迹。 优选地，本申请通过对所述纹理分量图像划分3*3的区域，通过所述角点的响应函数，计算出所述划分区域的最大值，并将所述最大值作为角点特征。
其中，所述特征点提取具体实施步骤为：
本申请根据Canny边缘检测算法计算所述纹理分量图像的尺度层梯度大小和方向：
Figure PCTCN2019116555-appb-000009
Figure PCTCN2019116555-appb-000010
其中，Edge(E)代表所述梯度大小，Dir(θ)表示所述梯度方向，I x和I y分别代表所述纹理分量图像在X方向和Y方向的梯度值，根据所述梯度大小和方向计算结果对所述纹理分量图像中的像素点进行极大值抑制，并预设上下界阙值判断所述像素点是否为边界点，从而得到所述纹理分量图像的特征点。
S4、根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像进行姿态跟踪。
所述图像金字塔是一种以多分辨率来解释图像的一种数据结构，由一系列原始图像的不同尺寸组成，图像从下层到上层，分辨率逐渐降低，尺寸逐渐减小。本申请实施例通过拉普拉斯金字塔对所述纹理分量图像进行分析处理，例如已知第k+1层图像，计算第k层图像的具体步骤为：将所述第k+1层图像在每个方向上扩大两倍，对于新增的行和列用0填充；并将其与内核进行卷积，本申请预设所述内核的数量为16；于是，经过卷积后得到的图像则为第k层图像。
进一步地，本申请较佳实施例通过所述纹理分量图像的尺寸大小确定金字塔层数L，对光流进行初始化u 0＝0；v 0＝0,将光流(u k,v k)转递到第k+1层，并根据所述目标特征点和Horn-Schunck光流算法对所述光流中的纹理分量图像进行姿态跟踪。其中，所述Horn-Schunck光流算法为：
Figure PCTCN2019116555-appb-000011
其中，E表示所述纹理图像光流的值，
Figure PCTCN2019116555-appb-000012
和
Figure PCTCN2019116555-appb-000013
分别表示u邻域和v邻域中的均值；由于光流误差，本申请将光流求解归结成求解极值问题，并用迭代法进行求解，所述迭代方程如下：
Figure PCTCN2019116555-appb-000014
其中，λ为平滑控制因子，所述λ值受所述纹理分量图像中存在的噪声的影响，如果噪声较强，则说明图像数据本身的置信度较低，需要更多的依赖光流约束，则λ可以取较大的值；反之，可以取较小的值，最终实现对所述光流 中的纹理分量图像进行姿态跟踪。
S5、通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像进行匹配，得到最佳匹配块，根据所述最佳匹配块，所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪
所述块匹配技术指的是根据某种特征去参考图像帧中特征，从而进行匹配的过程，所述特征包括颜色、强度、感兴趣点、轮廓和纹理等，常用的方法是通过像素的强度进行匹配。
进一步地，本申请实施例中，对进行姿态跟踪后的所述光流中的纹理分量图像划分为若干区域来进行块匹配。例如，所述区域大小可以为8×8，其中，所述划分后的区域称为宏块。优选地，本申请预设所述划分的宏块的运动位移相等，根据匹配规则和搜索算法在参考帧图像中寻找与之最相似的区域，将其称为匹配块。优选地，本申请较佳实施例中，所述匹配规则和搜索算法分别为平均绝对误差MAD准则和新三步搜索算法。
进一步地，所述进行姿态跟踪后的所述光流中的纹理分量图像中，若t时刻对应的是第k帧图像，则第t+1时刻对应的是第k+1帧图像，通过所述块匹配技术寻找最佳匹配块，即就是对于所述第k帧中子块。详细地，本申请通过所述平均绝对误差MAD准则和所述新三步搜索算法在所述第k+1帧图像中寻找最相似的匹配块，即认为所述第k帧图像经过一定时间移动到了所述第k+1帧图像匹配块所在位置，通过对所述两帧所有区域图像进行块匹配，计算所述匹配分数，根据所述匹配得分，完成所述两帧图像的姿态跟踪。其中，所述计算匹配分数公式为：
Figure PCTCN2019116555-appb-000015
其中，P为所述匹配分数的概率，S为匹配成功的区域图像，N表示一帧图像共分为了N个区域。
进一步地，所述平均绝对误差准则为：
Figure PCTCN2019116555-appb-000016
其中，(i,j)为图像像素的位移矢量，即图像像素运动的距离和方向；(m,n)图像像素的位置坐标，M和N为图像块的长和宽，E k(m,n)表示第k帧图像在(m,n)处的像素值，E k-1(m+i,n+j)表示第k-1帧图像在(m+i,n+j)处的像素值。
进一步地，所述新三步搜索算法具体搜索过程为：
本申请通过预设搜索框大小为9×9，起始搜索点为窗口中心点；搜索块的中心点、所述块周围的8个点以及步长为4的8个点，即第一步要搜索的点数量为17个点，并计算起始点到各个点之间的MAD，找出最小误差点，其中所述最小误差点包含以下三种情况：
(1)如果最小误差点位于中心点周围的8个点中，则搜索以最小误差点为中心其周围的8个点，得到最小误差点，并终止搜索；
(2)如果最小误差点在步长为4的8个点中，则按照步长为2和1继续搜索，直到找到最佳匹配点为止；
(3)如果最小误差点为中心点时，则该点就是最佳匹配点，终止搜索。
发明还提供一种姿态跟踪装置。参照图2所示，为本申请一实施例提供的姿态跟踪装置的内部结构示意图。
在本实施例中，所述姿态跟踪装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该姿态跟踪装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是姿态跟踪装置1的内部存储单元，例如该姿态跟踪装置1的硬盘。存储器11在另一些实施例中也可以是姿态跟踪装置1的外部存储设备，例如姿态跟踪装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括姿态跟踪装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于姿态跟踪装置1的应用软件及各类数据，例如姿态跟踪程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行姿态跟踪程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在姿态跟踪装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及姿态跟踪程序01的姿态跟踪装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对姿态跟踪装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不 同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有姿态跟踪程序01；处理器12执行存储器11中存储的姿态跟踪程序01时实现如下步骤：
步骤一、获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集。
本申请较佳实施例所述视频图像集可以为关于人体姿态的视频图像集，其中所述人体姿态的视频图像集的来源通过以下两种方式得到：方式一、从各监控视频中获取得到；方式二、利用关键字搜索在网页中进行搜索获取得到。进一步地，本申请所述人体姿态视频图像集源数据流进行读取，并分解为每帧图像，从而得到分帧图像集。
较佳地，本申请还包括对所述分帧图像集进行预处理操作。所述预处理操作为：利用图像灰度化将所述分帧图像转化为灰度图像；通过自适应图像降噪滤波器对所述灰度图像进行降噪；利用对比度拉伸方式对降噪后的所述灰度图像进行对比度增强；根据OTSU算法将对比度增强后的所述灰度图像进行阈值化操作，得到二值化图像。
详细地，所述预处理操作的具体步骤为：
a.图像灰度化:所述图像灰度化处理是将述分帧图像集中的图像转换为灰度图像。其中，所述灰度图像的亮度信息完全能够表达图像的整体和局部的特征，并且对图像进行灰度化处理之后可以大大降低后续工作的计算量。
本申请较佳实施例中，所述图像灰度化处理的方法是将图像像素点的R、G、B分量转换为YUV的颜色空间的Y分量，即亮度值，所述Y分量的计算方法如下式所示:
Y＝0.3R+0.59G+0.11B
其中R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
b.降噪：本申请通过自适应图像降噪滤波器对所述灰度图像进行降噪，用于滤除所述灰度图像的椒盐噪声，并可以很大程度的保护所述灰度图像的细节。其中，所述椒盐噪声是图像中一种随机出现的白点或黑点，所述自适应图像降噪滤波器是信号抽取器，它的作用是从被噪声污染的信号中抽取原来的信号。
本申请较佳实施例通过预设待处理的灰度图像为f(x,y)，在退化函数H的作用下，由于受到椒盐噪声η(x,y)的影响，得到一个退化图像g(x,y)。于是，得到图像退化公式:g(x,y)＝η(x,y)+f(x,y)，并利用Adaptive Filter方法对所述待处理的灰度图像进行降噪，所述降噪的计算公式为：
Figure PCTCN2019116555-appb-000017
其中，
Figure PCTCN2019116555-appb-000018
是整张图像的噪声方差，
Figure PCTCN2019116555-appb-000019
是点(x,y)附近的一个窗口内的像素灰度均值，
Figure PCTCN2019116555-appb-000020
是点(x,y)附近一个窗口内的像素灰度的方差。
c.对比度增强：所述对比度指的是成像系统中亮度最大值与最小值之间的对比，其中，对比度低会使图像处理难度增大。本申请较佳实施例中采用的是对比度拉伸方法，利用提高灰度级动态范围的方式，达到图像对比度增强的目的。所述对比度拉伸也叫作灰度拉伸，是目前常用的灰度变换方式。
进一步地，本申请根据所述对比度拉伸方法中的分段线性变换函数对特定区域进行灰度拉伸，进一步提高输出图像的对比度。当进行对比度拉伸时，本质上是实现灰度值变换。本申请通过线性拉伸实现灰度值变换，所述线性拉伸指的是输入与输出的灰度值之间为线性关系的像素级运算，灰度变换公式如下所示：
D b＝f(D a)＝a*D a+b
其中a为线性斜率，b为在Y轴上的截距。当a>1时，此时输出的图像对比度相比原图像是增强的。当a<1时，此时输出的图像对比度相比原图像是削弱的，其中D a代表输入图像灰度值，D b代表输出图像灰度值。
d.图像阈值化：所述图像阈值化处理通过OTSU算法将对比度增强后的所述灰度图像进行二值化的高效算法，以得到二值化图像。本申请较佳实施例预设灰度t为灰度图像的前景与背景的分割阈值，并假设前景点数占图像比例为w 0，平均灰度为u 0；背景点数占图像比例为w 1，平均灰度为u 1，则灰度图像的总平均灰度为：
u＝w 0*u 0+w 1*u 1，
灰度图像的前景和背景图象的方差为：
g＝w 0*(u 0-u)*(u 0-u)+w 1*(u 1-u)*(u 1-u)＝w 0*w 1*(u 0-u 1)*(u 0-u 1),
其中，当方差g最大时，则此时前景和背景差异最大，此时的灰度t为最佳阈值，并将对比度增强后的所述灰度图像中大于所述灰度t的灰度值设置为255，小于所述灰度t的灰度值设置为0，得到对比度增强后的所述灰度图像的二值化图像。
步骤二、对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中。
所述光流是运动模式，指的是一个物体在一个视角下由一个观察者和背景之间形成的明显移动，其中，光流中的二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影，有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。所述分解处理目的是从输入图像序列帧中分解出人们需要的图像信息，本申请较佳实施例通过使用图像结构纹理分解技术来减小光流法对光照的敏感程度。由于图像的纹理部分只包含图像的细节信息，而不包含对光照变化敏感的几何信息，所以本申请通过将输入图像分为结构部分和纹理部分，用纹理图像代替输入图像求其光流场，于是，可以避免光照变化对计算结果造成的偏差。
进一步地，本申请将所述分帧图像集中的图像分解为结构分量图像和纹理分量图像，其中，所述分解的采用如下方法：
I(x,y)＝I S(x,y)+I T(x,y)
其中，I(x,y)表示所述分帧图像集中的图像，I S(x,y)表示所述结构分量图像，I T(x,y)表示所述纹理分量图像；
计算出所述结构分量图像I S(x,y)：
Figure PCTCN2019116555-appb-000021
其中，Ω为所述分帧图像集中的图像的尺寸，θ为常量，指的是通过原始对偶算法对能量泛函进行最小化，I为所述分帧图像集中的图像值；
计算I S的值：I S＝I+θ/P，P为所述I S的对偶变量；
通过迭代求解计算所述对偶变量P的值为：
Figure PCTCN2019116555-appb-000022
其中，P 0＝0，
Figure PCTCN2019116555-appb-000023
将所述分帧图像集中的图像与计算后的所述结构分量图像作差，得到所述纹理分量图像I T(x,y)，即：I T(x,y)＝I(x,y)-I S(x,y)，并将所述纹理分量图像集作为光流的输入图像集。
步骤三、基于边缘检测算法以及角检测算法对所述纹理分量图像进行特征点提取，得到所述纹理分量图像集的目标特征点。
本申请较佳实施例通过高斯模糊函数对所述纹理分量图像进行卷积计算，得到高斯尺度空间函数，从而实现所述纹理分量图像的模糊化。所述高斯模糊是一种图像滤波器，使用正态分布(高斯函数)计算模糊模板，并使用所述模板与原图像做卷积运算，达到模糊图像的目的。
进一步地，本申请通过对所述高斯尺度空间函数中尺度参数的大小进行改变，得到所述纹理分量图像的多尺度空间，通过Harris角检测算法对所述进行多尺度空间进行角点提取，得到角点特征，并利用Canny边缘提取算法对所述角点特征进行修饰，得到特征点，将所述角点特征与所述特征点进行融合，得到所述纹理分量图像的目标特征点。
其中，所述角点提取具体操作步骤为：
本申请预设所述高斯模糊函数G(x,y,σ)，所述高斯尺度空间函数L(x,y,σ)，所述多尺度空间为σ，结合上述纹理分量图像I T(x,y)，得到Harris角点的二阶矩公式为：
Figure PCTCN2019116555-appb-000024
其中，G(x,y,σ)为带有尺度参数σ的高斯函数，I x、I y分别为所述纹理分量图像I T(x,y)在x方向和y方向上的导数梯度值。于是，得到角点的响应函数：
Q(x,y)＝det M-K*traceM 2
其中，K为常数，det M为二阶矩M(x,y,σ)的行列式，traceM为M的迹。优选地，本申请通过对所述纹理分量图像划分3*3的区域，通过所述角点的响应函数，计算出所述划分区域的最大值，并将所述最大值作为角点特征。
其中，所述特征点提取具体实施步骤为：
本申请根据Canny边缘检测算法计算所述纹理分量图像的尺度层梯度大小和方向：
Figure PCTCN2019116555-appb-000025
Figure PCTCN2019116555-appb-000026
其中，Edge(E)代表所述梯度大小，Dir(θ)表示所述梯度方向，I x和I y分别代表所述纹理分量图像在X方向和Y方向的梯度值，根据所述梯度大小和方向计算结果对所述纹理分量图像中的像素点进行极大值抑制，并预设上下界阙值判断所述像素点是否为边界点，从而得到所述纹理分量图像的特征点。
步骤四、根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像进行姿态跟踪。
所述图像金字塔是一种以多分辨率来解释图像的一种数据结构，由一系列原始图像的不同尺寸组成，图像从下层到上层，分辨率逐渐降低，尺寸逐渐减小。本申请实施例通过拉普拉斯金字塔对所述纹理分量图像进行分析处理，例如已知第k+1层图像，计算第k层图像的具体步骤为：将所述第k+1层图像在每个方向上扩大两倍，对于新增的行和列用0填充；并将其与内核进行卷积，本申请预设所述内核的数量为16；于是，经过卷积后得到的图像则为第k层图像。
进一步地，本申请较佳实施例通过所述纹理分量图像的尺寸大小确定金字塔层数L，对光流进行初始化u 0＝0；v 0＝0,将光流(u k,v k)转递到第k+1层，并根据所述目标特征点和Horn-Schunck光流算法对所述光流中的纹理分量图像进行姿态跟踪。其中，所述Horn-Schunck光流算法为：
Figure PCTCN2019116555-appb-000027
其中，E表示所述纹理图像光流的值，
Figure PCTCN2019116555-appb-000028
和
Figure PCTCN2019116555-appb-000029
分别表示u邻域和v邻域中的均值；由于光流误差，本申请将光流求解归结成求解极值问题，并用迭代 法进行求解，所述迭代方程如下：
Figure PCTCN2019116555-appb-000030
其中，λ为平滑控制因子，所述λ值受所述纹理分量图像中存在的噪声的影响，如果噪声较强，则说明图像数据本身的置信度较低，需要更多的依赖光流约束，则λ可以取较大的值；反之，可以取较小的值，最终实现对所述光流中的纹理分量图像进行姿态跟踪。
步骤五、通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像进行匹配，得到最佳匹配块，根据所述最佳匹配块，所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪
所述块匹配技术指的是根据某种特征去参考图像帧中特征，从而进行匹配的过程，所述特征包括颜色、强度、感兴趣点、轮廓和纹理等，常用的方法是通过像素的强度进行匹配。
进一步地，本申请实施例中，对进行姿态跟踪后的所述光流中的纹理分量图像划分为若干区域来进行块匹配。例如，所述区域大小可以为8×8，其中，所述划分后的区域称为宏块。优选地，本申请预设所述划分的宏块的运动位移相等，根据匹配规则和搜索算法在参考帧图像中寻找与之最相似的区域，将其称为匹配块。优选地，本申请较佳实施例中，所述匹配规则和搜索算法分别为平均绝对误差MAD准则和新三步搜索算法。
进一步地，所述进行姿态跟踪后的所述光流中的纹理分量图像中，若t时刻对应的是第k帧图像，则第t+1时刻对应的是第k+1帧图像，通过所述块匹配技术寻找最佳匹配块，即就是对于所述第k帧中子块。详细地，本申请通过所述平均绝对误差MAD准则和所述新三步搜索算法在所述第k+1帧图像中寻找最相似的匹配块，即认为所述第k帧图像经过一定时间移动到了所述第k+1帧图像匹配块所在位置，通过对所述两帧所有区域图像进行块匹配，计算所述匹配分数，根据所述匹配得分，完成所述两帧图像的姿态跟踪。其中，所述计算匹配分数公式为：
Figure PCTCN2019116555-appb-000031
其中，P为所述匹配分数的概率，S为匹配成功的区域图像，N表示一帧图像共分为了N个区域。
进一步地，所述平均绝对误差准则为：
Figure PCTCN2019116555-appb-000032
其中，(i,j)为图像像素的位移矢量，即图像像素运动的距离和方向；(m,n) 图像像素的位置坐标，M和N为图像块的长和宽，E k(m,n)表示第k帧图像在(m,n)处的像素值，E k-1(m+i,n+j)表示第k-1帧图像在(m+i,n+j)处的像素值。
进一步地，所述新三步搜索算法具体搜索过程为：
本申请通过预设搜索框大小为9×9，起始搜索点为窗口中心点；搜索块的中心点、所述块周围的8个点以及步长为4的8个点，即第一步要搜索的点数量为17个点，并计算起始点到各个点之间的MAD，找出最小误差点，其中所述最小误差点包含以下三种情况：
(1)如果最小误差点位于中心点周围的8个点中，则搜索以最小误差点为中心其周围的8个点，得到最小误差点，并终止搜索；
(2)如果最小误差点在步长为4的8个点中，则按照步长为2和1继续搜索，直到找到最佳匹配点为止；
(3)如果最小误差点为中心点时，则该点就是最佳匹配点，终止搜索。
可选地，在其他实施例中，姿态跟踪程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本申请，本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述姿态跟踪程序在姿态跟踪装置中的执行过程。
例如，参照图3所示，为本申请姿态跟踪装置一实施例中的姿态跟踪程序的程序模块示意图，该实施例中，所述姿态跟踪程序可以被分割为图像预处理模块10、特征点提取模块20、图像跟踪模块30以及匹配打分模块40，示例性地：
所述图像预处理模块10用于：获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集，对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中。
所述特征点提取模块20用于：基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点。
所述图像跟踪模块30用于：根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪。
所述匹配打分模块40用于：通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
上述图像预处理模块10、特征点提取模块20、图像跟踪模块30以及匹配打分模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有姿态跟踪程序，所述姿态跟踪程序可被一个或多个处理器 执行，以实现如下操作：
获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
本申请计算机可读存储介质具体实施方式与上述姿态跟踪装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种姿态跟踪方法，其特征在于，所述方法包括：
    获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
    对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
    基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
    根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
    通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
  2. 如权利要求1所述的姿态跟踪方法，其特征在于，该方法在对所述分帧图像集进行分解处理之前，还包括对所述分帧图像集进行预处理操作，其中，所述预处理操作包括；
    利用图像灰度化将所述分帧图像集中的图像转换为灰度图像；
    通过自适应图像降噪滤波器对所述灰度图像进行降噪；
    利用对比度拉伸方式对降噪后的所述灰度图像进行对比度增强；及
    根据OTSU算法将对比度增强后的所述灰度图像进行阈值化操作，得到二值化图像。
  3. 如权利要求1或2所述的姿态跟踪方法，其特征在于，所述对所述分帧图像集进行分解处理，得到纹理分量图像集，包括：
    将所述分帧图像集中的图像分解为结构分量图像和纹理分量图像，所述分解采用如下方法：
    I(x,y)＝I S(x,y)+I T(x,y)
    其中，I(x,y)表示所述分帧图像集中的图像，I S(x,y)表示所述结构分量图像，I T(x,y)表示所述纹理分量图像；
    计算所述结构分量图像I S(x,y)：
    Figure PCTCN2019116555-appb-100001
    其中，Ω为所述分帧图像集中的图像的尺寸，θ为常量，指的是通过原始对偶算法对能量泛函进行最小化，I为所述分帧图像集中的图像值；
    计算I S的值：I S＝I+θ/P，P为所述I S的对偶变量；
    通过迭代求解计算所述对偶变量P的值为：
    Figure PCTCN2019116555-appb-100002
    其中，P 0＝0，
    Figure PCTCN2019116555-appb-100003
    将所述分帧图像集中的图像与计算后的所述结构分量图像作差，得到所述纹理分量图像I T(x,y)，即：
    I T(x,y)＝I(x,y)-I S(x,y)。
  4. 如权利要求1所述的姿态跟踪方法，其特征在于，所述基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点，包括：
    通过高斯模糊函数对所述纹理分量图像集进行卷积计算，得到高斯尺度空间函数；
    对所述高斯尺度空间函数中尺度参数的大小进行改变，得到所述纹理分量图像的多尺度空间；
    通过Harris角检测算法对所述多尺度空间进行角点提取，得到角点特征，并利用Canny边缘提取算法对所述角点特征进行修饰，得到特征点，将所述角点特征与所述特征点进行融合，得到所述纹理分量图像的目标特征点。
  5. 如权利要求1所述的姿态跟踪方法，其特征在于，所述块匹配技术包含平均绝对误差准则；
    其中，所述平均绝对误差准则为：
    Figure PCTCN2019116555-appb-100004
    其中，(i,j)为图像像素的位移矢量，即图像像素运动的距离和方向；(m,n)图像像素的位置坐标，M和N为图像块的长和宽，E k(m,n)表示第k帧图像在(m,n)处的像素值，E k-1(m+i,n+j)表示第k-1帧图像在(m+i,n+j)处的像素值。
  6. 如权利要求2所述的姿态跟踪方法，其特征在于，所述图像灰度化为将所述分帧图像集中的图像的像素点的R、G、B分量转换为YUV的颜色空间的Y分量，所述Y分量的计算公式为：
    Y＝0.3R+0.59G+0.11B
    其中，R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
  7. 如权利要求2所述的姿态跟踪方法，其特征在于，所述降噪的计算公式为：
    Figure PCTCN2019116555-appb-100005
    其中，
    Figure PCTCN2019116555-appb-100006
    是整张图像的噪声方差，
    Figure PCTCN2019116555-appb-100007
    是点(x,y)附近的一个窗口内的像素灰度均值，
    Figure PCTCN2019116555-appb-100008
    是点(x,y)附近一个窗口内的像素灰度的方差。
  8. 一种姿态跟踪装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的姿态跟踪程序，所述姿态跟踪程序被所述处理器执行时实现如下步骤：
    获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
    对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
    基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
    根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
    通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
  9. 如权利要求8所述的姿态跟踪装置，其特征在于，所述姿态跟踪程序被所述处理器执行时，在对所述分帧图像集进行分解处理之前，还包括对所述分帧图像集进行预处理操作，其中，所述预处理操作包括；
    利用图像灰度化将所述分帧图像集中的图像转换为灰度图像；
    通过自适应图像降噪滤波器对所述灰度图像进行降噪；
    利用对比度拉伸方式对降噪后的所述灰度图像进行对比度增强；及
    根据OTSU算法将对比度增强后的所述灰度图像进行阈值化操作，得到二值化图像。
  10. 如权利要求8或9所述的姿态跟踪装置，其特征在于，所述对所述分帧图像集进行分解处理，得到纹理分量图像集，包括：
    将所述分帧图像集中的图像分解为结构分量图像和纹理分量图像，所述分解采用如下方法：
    I(x,y)＝I S(x,y)+I T(x,y)
    其中，I(x,y)表示所述分帧图像集中的图像，I S(x,y)表示所述结构分量图像，I T(x,y)表示所述纹理分量图像；
    计算所述结构分量图像I S(x,y)：
    Figure PCTCN2019116555-appb-100009
    其中，Ω为所述分帧图像集中的图像的尺寸，θ为常量，指的是通过原始对偶算法对能量泛函进行最小化，I为所述分帧图像集中的图像值；
    计算I S的值：I S＝I+θ/P，P为所述I S的对偶变量；
    通过迭代求解计算所述对偶变量P的值为：
    Figure PCTCN2019116555-appb-100010
    其中，P 0＝0，
    Figure PCTCN2019116555-appb-100011
    将所述分帧图像集中的图像与计算后的所述结构分量图像作差，得到所述纹理分量图像I T(x,y)，即：
    I T(x,y)＝I(x,y)-I S(x,y)。
  11. 如权利要求8所述的姿态跟踪装置，其特征在于，所述基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点，包括：
    通过高斯模糊函数对所述纹理分量图像集进行卷积计算，得到高斯尺度空间函数；
    对所述高斯尺度空间函数中尺度参数的大小进行改变，得到所述纹理分量图像的多尺度空间；
    通过Harris角检测算法对所述多尺度空间进行角点提取，得到角点特征，并利用Canny边缘提取算法对所述角点特征进行修饰，得到特征点，将所述角点特征与所述特征点进行融合，得到所述纹理分量图像的目标特征点。
  12. 如权利要求8所述的姿态跟踪装置，其特征在于，所述块匹配技术包含平均绝对误差准则；
    其中，所述平均绝对误差准则为：
    Figure PCTCN2019116555-appb-100012
    其中，(i,j)为图像像素的位移矢量，即图像像素运动的距离和方向；(m,n)图像像素的位置坐标，M和N为图像块的长和宽，E k(m,n)表示第k帧图像在(m,n)处的像素值，E k-1(m+i,n+j)表示第k-1帧图像在(m+i,n+j)处的像素值。
  13. 如权利要求9所述的姿态跟踪装置，其特征在于，所述图像灰度化为将所述分帧图像集中的图像的像素点的R、G、B分量转换为YUV的颜色空间的Y分量，所述Y分量的计算公式为：
    Y＝0.3R+0.59G+0.11B
    其中，R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
  14. 如权利要求9所述的姿态跟踪装置，其特征在于，所述降噪的计算公式为：
    Figure PCTCN2019116555-appb-100013
    其中，
    Figure PCTCN2019116555-appb-100014
    是整张图像的噪声方差，
    Figure PCTCN2019116555-appb-100015
    是点(x,y)附近的一个窗口内的像素灰度均值，
    Figure PCTCN2019116555-appb-100016
    是点(x,y)附近一个窗口内的像素灰度的方差。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有姿态跟踪程序，所述姿态跟踪程序可被一个或者多个处理器执行，以实现如下步骤：
    获取视频图像集，对所述视频图像集进行分帧处理，得到分帧图像集；
    对所述分帧图像集进行分解处理，得到纹理分量图像集，并将所述纹理分量图像集输入到光流中；
    基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点；
    根据所述目标特征点，利用图像金字塔技术对所述光流中的纹理分量图像集进行姿态跟踪；
    通过块匹配技术对进行姿态跟踪后的所述光流中的纹理分量图像集进行匹配，得到最佳匹配块，根据所述最佳匹配块，得到所述光流中的纹理分量图像集的匹配得分，完成多帧图像的姿态跟踪。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述姿态跟踪程序被一个或者多个处理器执行时，在对所述分帧图像集进行分解处理之前，还包括对所述分帧图像集进行预处理操作，其中，所述预处理操作包括；
    利用图像灰度化将所述分帧图像集中的图像转换为灰度图像；
    通过自适应图像降噪滤波器对所述灰度图像进行降噪；
    利用对比度拉伸方式对降噪后的所述灰度图像进行对比度增强；及
    根据OTSU算法将对比度增强后的所述灰度图像进行阈值化操作，得到二值化图像。
  17. 如权利要求15或16所述的计算机可读存储介质，其特征在于，所述对所述分帧图像集进行分解处理，得到纹理分量图像集，包括：
    将所述分帧图像集中的图像分解为结构分量图像和纹理分量图像，所述分解采用如下方法：
    I(x,y)＝I S(x,y)+I T(x,y)
    其中，I(x,y)表示所述分帧图像集中的图像，I S(x,y)表示所述结构分量图像，I T(x,y)表示所述纹理分量图像；
    计算所述结构分量图像I S(x,y)：
    Figure PCTCN2019116555-appb-100017
    其中，Ω为所述分帧图像集中的图像的尺寸，θ为常量，指的是通过原始对偶算法对能量泛函进行最小化，I为所述分帧图像集中的图像值；
    计算I S的值：I S＝I+θ/P，P为所述I S的对偶变量；
    通过迭代求解计算所述对偶变量P的值为：
    Figure PCTCN2019116555-appb-100018
    其中，P 0＝0，
    Figure PCTCN2019116555-appb-100019
    将所述分帧图像集中的图像与计算后的所述结构分量图像作差，得到所述纹理分量图像I T(x,y)，即：
    I T(x,y)＝I(x,y)-I S(x,y)。
  18. 如权利要求15所述的计算机可读存储介质，其特征在于，所述基于边缘检测算法以及角检测算法对所述纹理分量图像集进行特征点提取，得到所述纹理分量图像集的目标特征点，包括：
    通过高斯模糊函数对所述纹理分量图像集进行卷积计算，得到高斯尺度空间函数；
    对所述高斯尺度空间函数中尺度参数的大小进行改变，得到所述纹理分量图像的多尺度空间；
    通过Harris角检测算法对所述多尺度空间进行角点提取，得到角点特征，并利用Canny边缘提取算法对所述角点特征进行修饰，得到特征点，将所述角点特征与所述特征点进行融合，得到所述纹理分量图像的目标特征点。
  19. 如权利要求15所述的计算机可读存储介质，其特征在于，所述块匹配技术包含平均绝对误差准则；
    其中，所述平均绝对误差准则为：
    Figure PCTCN2019116555-appb-100020
    其中，(i,j)为图像像素的位移矢量，即图像像素运动的距离和方向；(m,n)图像像素的位置坐标，M和N为图像块的长和宽，E k(m,n)表示第k帧图像在(m,n)处的像素值，E k-1(m+i,n+j)表示第k-1帧图像在(m+i,n+j)处的像素值。
  20. 如权利要求16所述的计算机可读存储介质，其特征在于，所述图像 灰度化为将所述分帧图像集中的图像的像素点的R、G、B分量转换为YUV的颜色空间的Y分量，所述Y分量的计算公式为：
    Y＝0.3R+0.59G+0.11B
    其中，R、G、B分别是RGB色彩模式中图像像素点的R、G、B值。
PCT/CN2019/116555 2019-07-18 2019-11-08 姿态跟踪方法、装置及计算机可读存储介质 Ceased WO2021008019A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910653996.9A CN110517283B (zh) 2019-07-18 2019-07-18 姿态跟踪方法、装置及计算机可读存储介质
CN201910653996.9 2019-07-18

Publications (1)

Publication Number Publication Date
WO2021008019A1 true WO2021008019A1 (zh) 2021-01-21

Family

ID=68622800

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/116555 Ceased WO2021008019A1 (zh) 2019-07-18 2019-11-08 姿态跟踪方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110517283B (zh)
WO (1) WO2021008019A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052853A (zh) * 2021-01-25 2021-06-29 广东技术师范大学 一种在复杂环境中的视频目标跟踪方法及装置
CN113284232A (zh) * 2021-06-10 2021-08-20 西北工业大学 一种基于四叉树的光流跟踪方法
CN113888616A (zh) * 2021-09-18 2022-01-04 西安交通大学 一种结构不规则运动高精度测量的窗口自适应光流算法
CN114067227A (zh) * 2021-11-29 2022-02-18 黑龙江农垦建工路桥有限公司 基于无人机航拍的边坡安全隐患监测方法
CN114663819A (zh) * 2022-04-07 2022-06-24 郑州大学 一种基于多维运动参数的红外弱小目标能量累积方法
CN115908245A (zh) * 2022-09-30 2023-04-04 成都飞机工业（集团）有限责任公司 航空材料表面细小缺陷检测方法、装置、设备及介质
CN116152779A (zh) * 2023-02-17 2023-05-23 智道网联科技(北京)有限公司 基于分流多任务的交通灯识别方法、系统及电子设备
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置
CN116778532A (zh) * 2023-08-24 2023-09-19 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN117036420A (zh) * 2023-09-11 2023-11-10 哈尔滨工业大学 一种基于lk光流的线特征追踪方法及设备
CN117152214A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于改进光流检测的缺陷识别方法
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统
CN117237344A (zh) * 2023-11-13 2023-12-15 深圳市帝一通讯有限公司 基于机器视觉的电子雾化器芯片外观质量检测方法
CN118967552A (zh) * 2024-07-03 2024-11-15 浙江勤联纺织科技股份有限公司 一种面料抗拉性质量检测方法
CN119068020A (zh) * 2023-11-29 2024-12-03 西安工业大学 一种运动目标的灰度图像orb特征点检测方法
CN120219162A (zh) * 2025-05-29 2025-06-27 安徽智汇云舟科技有限公司 基于物体跟踪的视频拼接方法及系统
CN121236430A (zh) * 2025-11-28 2025-12-30 赛飞特工程技术集团有限公司 一种盲人导航避障地图的生成方法
CN121304741A (zh) * 2025-12-11 2026-01-09 中国水利水电科学研究院 一种基于光流算法的河流流速波动预警方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179301B (zh) * 2019-12-23 2023-06-30 北京中广上洋科技股份有限公司 一种基于计算机视频的运动趋势分析方法
CN112258550B (zh) * 2020-12-08 2021-04-06 萱闱(北京)生物科技有限公司 终端设备的运动方向监测方法、介质、装置和计算设备
CN112880681A (zh) * 2021-01-12 2021-06-01 桂林慧谷人工智能产业技术研究院 一种基于ssd的视觉室内定位系统技术方法
CN112686204B (zh) * 2021-01-12 2022-09-02 昆明理工大学 一种基于稀疏像素点跟踪的视频测流方法及装置
CN113091759B (zh) * 2021-03-11 2023-02-28 安克创新科技股份有限公司 位姿处理、地图构建方法及装置
CN113989710B (zh) * 2021-10-27 2025-07-11 成都民航空管科技发展有限公司 一种非合作式机场场面运行目标感知与跟踪方法
CN114851209B (zh) * 2022-06-21 2024-04-19 上海大学 一种基于视觉的工业机器人工作路径规划优化方法及系统
CN117647263B (zh) * 2023-12-06 2024-07-09 中山大学 基于非线性优化的单光子相机视觉惯性里程计方法及系统
TWI875554B (zh) * 2024-04-03 2025-03-01 仁寶電腦工業股份有限公司 場景物件辨識系統及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200455A (zh) * 2014-06-13 2014-12-10 北京工业大学 一种基于运动统计特征分析的关键姿态提取方法
CN106845555A (zh) * 2017-02-09 2017-06-13 聚龙智瞳科技有限公司 基于Bayer格式的图像匹配方法及图像匹配装置
US20180361577A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with teach-repeat mode
CN109753940A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 图像处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700117A (zh) * 2013-11-21 2014-04-02 北京工业大学 一种基于tv-l1变分模型的鲁棒光流场估计方法
CN104036524A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种改进sift算法的快速目标跟踪方法
CN107742306B (zh) * 2017-09-20 2021-03-23 徐州工程学院 一种智能视觉中运动目标跟踪算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200455A (zh) * 2014-06-13 2014-12-10 北京工业大学 一种基于运动统计特征分析的关键姿态提取方法
US20180361577A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with teach-repeat mode
CN106845555A (zh) * 2017-02-09 2017-06-13 聚龙智瞳科技有限公司 基于Bayer格式的图像匹配方法及图像匹配装置
CN109753940A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 图像处理方法及装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052853A (zh) * 2021-01-25 2021-06-29 广东技术师范大学 一种在复杂环境中的视频目标跟踪方法及装置
CN113052853B (zh) * 2021-01-25 2023-07-21 广东技术师范大学 一种在复杂环境中的视频目标跟踪方法及装置
CN113284232A (zh) * 2021-06-10 2021-08-20 西北工业大学 一种基于四叉树的光流跟踪方法
CN113284232B (zh) * 2021-06-10 2023-05-26 西北工业大学 一种基于四叉树的光流跟踪方法
CN113888616B (zh) * 2021-09-18 2024-04-05 西安交通大学 一种结构不规则运动高精度测量的窗口自适应光流算法
CN113888616A (zh) * 2021-09-18 2022-01-04 西安交通大学 一种结构不规则运动高精度测量的窗口自适应光流算法
CN114067227A (zh) * 2021-11-29 2022-02-18 黑龙江农垦建工路桥有限公司 基于无人机航拍的边坡安全隐患监测方法
CN116740261A (zh) * 2022-03-02 2023-09-12 腾讯科技（深圳）有限公司 图像重建方法和装置、图像重建模型的训练方法和装置
CN114663819A (zh) * 2022-04-07 2022-06-24 郑州大学 一种基于多维运动参数的红外弱小目标能量累积方法
CN115908245A (zh) * 2022-09-30 2023-04-04 成都飞机工业（集团）有限责任公司 航空材料表面细小缺陷检测方法、装置、设备及介质
CN116152779A (zh) * 2023-02-17 2023-05-23 智道网联科技(北京)有限公司 基于分流多任务的交通灯识别方法、系统及电子设备
CN116778532B (zh) * 2023-08-24 2023-11-07 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN116778532A (zh) * 2023-08-24 2023-09-19 汶上义桥煤矿有限责任公司 一种煤矿井下人员目标跟踪方法
CN117152214A (zh) * 2023-08-30 2023-12-01 哈尔滨工业大学 一种基于改进光流检测的缺陷识别方法
CN117036420A (zh) * 2023-09-11 2023-11-10 哈尔滨工业大学 一种基于lk光流的线特征追踪方法及设备
CN117196999B (zh) * 2023-11-06 2024-03-12 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统
CN117237344B (zh) * 2023-11-13 2024-01-19 深圳市帝一通讯有限公司 基于机器视觉的电子雾化器芯片外观质量检测方法
CN117237344A (zh) * 2023-11-13 2023-12-15 深圳市帝一通讯有限公司 基于机器视觉的电子雾化器芯片外观质量检测方法
CN119068020A (zh) * 2023-11-29 2024-12-03 西安工业大学 一种运动目标的灰度图像orb特征点检测方法
CN118967552A (zh) * 2024-07-03 2024-11-15 浙江勤联纺织科技股份有限公司 一种面料抗拉性质量检测方法
CN120219162A (zh) * 2025-05-29 2025-06-27 安徽智汇云舟科技有限公司 基于物体跟踪的视频拼接方法及系统
CN121236430A (zh) * 2025-11-28 2025-12-30 赛飞特工程技术集团有限公司 一种盲人导航避障地图的生成方法
CN121304741A (zh) * 2025-12-11 2026-01-09 中国水利水电科学研究院 一种基于光流算法的河流流速波动预警方法及系统

Also Published As

Publication number Publication date
CN110517283A (zh) 2019-11-29
CN110517283B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
WO2021008019A1 (zh) 姿态跟踪方法、装置及计算机可读存储介质
Bradley et al. Adaptive thresholding using the integral image
Faktor et al. Video segmentation by non-local consensus voting.
Li et al. Supervised people counting using an overhead fisheye camera
US9053573B2 (en) Systems and methods for generating a virtual camera viewpoint for an image
Mohamed et al. Illumination-robust optical flow using a local directional pattern
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
WO2021068330A1 (zh) 智能图像分割及分类方法、装置及计算机可读存储介质
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN103279952B (zh) 一种目标跟踪方法和装置
WO2023082784A1 (zh) 一种基于局部特征注意力的行人重识别方法和装置
Wang et al. A multi-view learning approach to foreground detection for traffic surveillance applications
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
WO2021012493A1 (zh) 短视频关键词提取方法、装置及存储介质
CN110443205A (zh) 一种手部图像分割方法及装置
CN107516316A (zh) 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
WO2016165064A1 (zh) 基于多视角学习的鲁棒性前景检测方法
CN104537688A (zh) 一种基于背景差分和hog特征的运动目标检测方法
WO2022174523A1 (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN110717497A (zh) 图像相似度匹配方法、装置及计算机可读存储介质
CN115984712A (zh) 基于多尺度特征的遥感图像小目标检测方法及系统
Minematsu et al. Adaptive background model registration for moving cameras
Da et al. MediaPipe to recognise the hand gestures

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938040

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938040

Country of ref document: EP

Kind code of ref document: A1