WO2024051535A1 - 直播图像帧处理方法、装置、设备、可读存储介质及产品 - Google Patents

直播图像帧处理方法、装置、设备、可读存储介质及产品 Download PDF

Info

Publication number
WO2024051535A1
WO2024051535A1 PCT/CN2023/115615 CN2023115615W WO2024051535A1 WO 2024051535 A1 WO2024051535 A1 WO 2024051535A1 CN 2023115615 W CN2023115615 W CN 2023115615W WO 2024051535 A1 WO2024051535 A1 WO 2024051535A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
processed
area
live
processing
Prior art date
Application number
PCT/CN2023/115615
Other languages
English (en)
French (fr)
Inventor
陈永湛
蒋林均
罗佳佳
Original Assignee
北京字跳网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字跳网络技术有限公司 filed Critical 北京字跳网络技术有限公司
Publication of WO2024051535A1 publication Critical patent/WO2024051535A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • Embodiments of the present disclosure relate to the field of image processing technology, and in particular, to a live image frame processing method, device, electronic equipment, computer-readable storage media, computer program products, and computer programs.
  • beautification technology can be used to optimize the live broadcast content according to the user's trigger operations.
  • Existing beautification technology can be applied on PC and mobile terminals to realize beautification operations in 2D scenes.
  • VR Virtual Reality
  • Embodiments of the present disclosure provide a live image frame processing method, device, electronic equipment, computer-readable storage media, computer program products, and computer programs to solve the problem that existing beautification technology cannot achieve image optimization operations in VR scenes. technical problem.
  • embodiments of the present disclosure provide a live image frame processing method, including:
  • the image frame processing request obtain the live image frame corresponding to the virtual reality live content
  • embodiments of the present disclosure provide a live image frame processing system, including: a terminal device, a binocular image acquisition device, and a virtual reality device; wherein,
  • the binocular image acquisition device is used to collect live image frames corresponding to virtual reality live content
  • the terminal device is used to obtain an image frame processing request, obtain a live image frame corresponding to the virtual reality live content according to the image frame processing request; determine the area to be processed in the live image frame, and perform the processing of the area to be processed. Perform a first processing operation to obtain an image frame to be processed; perform a global second processing operation on the image frame to be processed to obtain a processed target image frame; send the target image frame to a virtual reality device;
  • the virtual reality device is used to display the target image frame.
  • an embodiment of the present disclosure provides a live image frame processing device, including:
  • Acquisition module used to obtain image frame processing requests
  • An image frame acquisition module configured to acquire live image frames corresponding to virtual reality live content according to the image frame processing request
  • a determination module configured to determine the area to be processed in the live image frame, and perform a first processing operation on the area to be processed to obtain the image frame to be processed;
  • a processing module configured to perform a global second processing operation on the image frame to be processed to obtain a processed target image frame
  • a sending module is used to display the target image frame.
  • embodiments of the present disclosure provide an electronic device, including: a processor and a memory;
  • the memory stores computer execution instructions
  • the processor executes the computer execution instructions stored in the memory, so that the at least one processor executes the live image frame processing method described in the above first aspect and various possible designs of the first aspect.
  • embodiments of the present disclosure provide a computer-readable storage medium.
  • Computer-executable instructions are stored in the computer-readable storage medium.
  • the processor executes the computer-executable instructions, the above first aspect and the first aspect are implemented. Aspects of various possible designs of the live image frame processing method.
  • embodiments of the present disclosure provide a computer program product, including a computer program that, when executed by a processor, implements the live image frame processing method described in the first aspect and various possible designs of the first aspect. .
  • embodiments of the present disclosure provide a computer program that, when executed by a processor, implements the live image frame processing method described in the first aspect and various possible designs of the first aspect.
  • Figure 1 is a schematic structural diagram of a live image frame processing system provided by an embodiment of the present disclosure.
  • Figure 2 is a schematic flowchart of a live image frame processing method provided by an embodiment of the present disclosure.
  • FIG. 3 is a schematic flowchart of a live image frame processing method provided by yet another embodiment of the present disclosure.
  • Figure 4 is a schematic flowchart of a live image frame processing method provided by yet another embodiment of the present disclosure.
  • Figure 5 is a schematic structural diagram of a live image frame processing device provided by an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the present disclosure provides a live image frame processing method, device, equipment, readable storage media and products.
  • live image frame processing method, device, electronic device, computer-readable storage medium, computer program product and computer program provided by the present disclosure can be applied in any live image frame beautification scenario.
  • a live image frame processing system including a terminal device, a binocular image acquisition device and a virtual reality device can be constructed.
  • the binocular image acquisition device Based on the above live image frame processing system, the binocular image acquisition device simultaneously acquires the anchor's real-time image data (single image 4K) from different angles, and suppresses the two images into an 8K input image.
  • the input 8k image is input into the terminal device for face recognition and rendering processing.
  • the terminal device can be a personal computer (Personal Computer, PC for short) host.
  • the processed video images are then pushed to the virtual reality device.
  • the virtual reality device display client receives the live video stream and performs 3D video playback, and the user can watch the beautified 3D live broadcast.
  • FIG 1 is a schematic structural diagram of a live image frame processing system provided by an embodiment of the present disclosure.
  • the live image frame processing system may include a terminal device 11, a binocular image acquisition device 12 and a virtual reality device 13, where, The terminal device 11 is communicatively connected with the binocular image acquisition device 12 and the virtual reality device 13 respectively, so that it can perform information interaction with the binocular image acquisition device 12 and the virtual reality device 13 respectively.
  • the binocular image acquisition device 12 is used to collect live image frames corresponding to virtual reality live content
  • the terminal device 11 is used to obtain an image frame processing request, obtain a live image frame corresponding to the virtual reality live content according to the image frame processing request; determine the area to be processed in the live image frame, and perform the processing on the image frame. Perform the first processing operation on the area to obtain the image frame to be processed; perform the second processing operation on the image frame to be processed to obtain the processed target image frame; send the target image frame to the virtual reality device 13;
  • the virtual reality device 13 is used to display the target image frame.
  • FIG. 2 is a schematic flowchart of a live image frame processing method provided by an embodiment of the present disclosure. As shown in Figure 2, the method includes:
  • Step 201 Obtain an image frame processing request.
  • the execution subject of this embodiment is a terminal device.
  • the terminal device can communicate with the binocular image acquisition device and the virtual reality device respectively, so that it can communicate with the binocular image acquisition device and the virtual reality device for information interaction.
  • the terminal device may be a PC host.
  • the terminal device can also be any device capable of image processing, and this disclosure does not limit this.
  • the terminal device can also communicate with the user's device for live broadcasting.
  • users are live broadcasting in VR, they can choose beautification technology to beautify the live content according to actual needs.
  • an image frame processing request can be generated based on the trigger operation, and the image can be Frame processing requests are sent to the end device.
  • the live broadcast content can also be automatically beautified according to when the user triggers the live broadcast operation.
  • an image frame processing request can be automatically generated and sent to the terminal device.
  • the terminal device can obtain the image frame processing request.
  • Step 202 Obtain the live image frame corresponding to the virtual reality live content according to the image frame processing request.
  • the live image frame corresponding to the virtual reality live content can be obtained.
  • binocular image acquisition devices are generally used to collect live content.
  • the binocular image acquisition devices acquire real-time images of the anchor from different angles.
  • the output image size of each camera is 4k. Therefore, the live image frames corresponding to the virtual reality live content can be obtained specifically.
  • Step 203 Determine the area to be processed in the live image frame, and perform a first processing operation on the area to be processed to obtain the image frame to be processed.
  • the skin resurfacing operation can only be performed on the user's face and leaked limbs in the live image frames. Other parts will not undergo microdermabrasion.
  • the area to be processed in the live image frame can first be identified.
  • the area to be processed may specifically be the user's face, leaked body parts, etc. in the live image frame.
  • the request triggered by the user is a special effects processing request for a target part, for example, if the request triggered by the user is a special effects processing request for adding a sticker to the head
  • the area to be processed can specifically be a live broadcast. The user's head in the image frame.
  • the first processing operation can be performed on the area to be processed to obtain the image frame to be processed.
  • the image frame processing request is a beautification request
  • the first processing operation may be a skin resurfacing operation on the area to be processed.
  • Step 204 Perform a global second processing operation on the image frame to be processed to obtain a processed target image frame.
  • a global second processing operation may be performed on the image frame to be processed.
  • the second processing operation may specifically be a whitening operation.
  • the image frame to be processed may also include background parts.
  • the second color lookup table (lut map) corresponding to the live image frame can be set in advance. Specifically, the LUT map corresponding to the live image frame can be adjusted. During the adjustment process, a group of LUT maps that only affect skin color and try to ensure that the background is not affected are determined, and the LUT map is used as the second color lookup table.
  • a global color mapping operation can be performed on the image frame to be processed according to the first color lookup table, the second processing operation of the image frame to be processed is completed, and the processed target image frame is obtained.
  • the global second processing operation on the image frame to be processed may specifically be image processing on the entire image frame to be processed.
  • Step 205 Display the target image frame.
  • the target image frame can be displayed.
  • the target image frame can be sent to a preset terminal device for display, so that the user can watch the beautified 3D live broadcast on the preset terminal device.
  • the preset terminal device may be a virtual reality device.
  • the preset display interface in the terminal device can be controlled to display the target image frame.
  • step 202 includes:
  • two image frames to be spliced collected by at least two cameras can be obtained, where the image size of each image frame to be spliced is 4K.
  • the image frames to be spliced from two angles can be spliced left and right into one 8k live image frame.
  • the spliced 8K live image frames are directly input to the terminal device for special effects processing, without the need for anti-distortion processing.
  • the two cameras may be two cameras provided on a binocular image acquisition device. Specifically, two image frames to be spliced collected by two cameras in the binocular image acquisition device can be obtained.
  • the live image frame processing method obtains the live image frame corresponding to the virtual reality live content according to the image frame processing request, and performs the first processing operation on the area to be processed in the live image frame. After the first processing operation, A global second processing operation is performed on the image frame to be processed, and the target image frame after the second processing operation is sent to the virtual reality device for display, thereby enabling image processing operations in a VR scene.
  • the calculation amount in the image processing process can be effectively reduced, the efficiency of image processing is improved, and high-quality live broadcast effects can be ensured.
  • FIG. 3 is a schematic flowchart of a live image frame processing method provided by yet another embodiment of the present disclosure. Based on any of the above embodiments, as shown in Figure 3, step 203 includes:
  • Step 301 Perform a recognition operation on the live image frame to obtain key points corresponding to each target object in the live image frame.
  • Step 302 Determine the target area where each target object is located based on the key points and the preset target mask.
  • Step 303 Determine the non-processed area in the target area, adjust the pixel value corresponding to the non-processed area to a preset value, and obtain the area to be processed.
  • the key points in the live image frame can be identified through a preset key point recognition algorithm to obtain the key points corresponding to each target object in the live image frame. It should be noted that since the input live image frame is spliced from the left and right image frames to be spliced, if there are N target objects in the image frame to be spliced, the live image frame will detect 2N target objects. Corresponding face key points, output 2N groups of face key points.
  • the target area where each target object is located can be determined based on the key points and the preset target mask.
  • the target mask includes multiple layers, and different layers record the eyebrows, nostrils, mouth and eye areas respectively. area.
  • the non-processing area in the target area can be determined. And delete the non-processed area to obtain the area to be processed.
  • the non-processed area includes but is not limited to the user's hair, eyes, eyebrows and other locations.
  • the pixel value of the non-processed area can be adjusted to a preset value to obtain the area to be processed.
  • the live image frame processing method provided in this embodiment identifies key points in the live image frame and determines the target area where the target object is located based on the key points. Therefore, the first beautification operation can be performed based on the target area, which reduces the scope of the first beautification operation and reduces the calculation amount of live image frame beautification.
  • step 303 includes:
  • the live image frame is converted from an RGB image into an HSV image, and the hue and brightness of the HSV image are used as constraint information to determine the first non-processed area in the target area.
  • a second non-processed area in the target area is determined.
  • the live image frame may first be converted from an RGB image to an HSV image.
  • HSV Human, Saturation, Value
  • the first non-treated area includes but is not limited to hair, glasses and other non-skin areas.
  • the target mask may include multiple layers, and different layers record eyebrows, nostrils, mouth and eye areas respectively. By adjusting different layers of the target mask, it is possible to filter a second non-processed area in the target area.
  • the second non-processed area includes but is not limited to areas such as eyes, nostrils, and mouth.
  • the first non-treatment area and the second non-treatment area in the target area can be deleted to obtain an area to be treated that only includes the skin part.
  • the pixel values corresponding to the first non-processed area and the second non-processed area can be adjusted to zero to implement the deletion operation of the first non-processed area and the second non-processed area.
  • the live image frame processing method provided by this embodiment can further reduce the scope of the first beautification operation by deleting the first non-processed area and the second non-processed area in the target area, effectively reducing the cost of the live broadcast.
  • the calculation amount of image frame beautification improves the efficiency of live image frame beautification, thereby ensuring high-quality live broadcast effects.
  • step 203 includes:
  • the first processing operation may specifically be a facial processing operation.
  • the facial area in the live image frame can be determined, wherein any facial recognition method can be used to realize the recognition and extraction of the facial area.
  • the defective area can be an area with spots and acne
  • the highlight area can be an overexposed area
  • the shadow area can be an area with lower darkness.
  • the live image frame can be effectively beautified, thereby improving the live broadcast effect of the virtual reality live broadcast.
  • FIG. 4 is a schematic flowchart of a live image frame processing method provided by yet another embodiment of the present disclosure. Based on any of the above embodiments, as shown in Figure 4, step 203 includes:
  • Step 401 Identify the defective area in the area to be processed, perform a correction operation on the defective area, and obtain a first texture map.
  • Step 402 Perform a color correction operation on the first texture map to obtain a second texture map.
  • Step 403 Determine the high-frequency area information corresponding to the live image frame for the second texture map and the live image frame, and determine the underlying skin quality information corresponding to the live image frame according to the second texture map.
  • Step 404 Perform a fusion operation on the high-frequency area information and the underlying skin quality information to obtain the image frame to be processed.
  • the skin resurfacing operation on the live image frame may specifically include the optimization of blemish areas such as spots and acne and the correction operation on the overall skin. Therefore, after the area to be processed is obtained, the defective area in the area to be processed can first be identified, a correction operation is performed on the defective area, and the first texture map is obtained.
  • a color correction operation can be performed on the first texture map to achieve the purpose of brightening the skin curve and removing yellow and red colors, and obtain the second texture map.
  • the high-frequency region information corresponding to the live image frame can be determined based on the second texture map and the live image frame, and the underlying skin quality information corresponding to the live image frame can be determined based on the second texture map.
  • the live image frame processing method provided in this embodiment can effectively realize the optimization operation of the area to be processed and achieve beautification effects by optimizing the defective area in the area to be processed and correcting the color.
  • the texture and details can be modified on the high-frequency layer without destroying the original color
  • the low-frequency layer can be modified on the low-frequency layer. Modify light and dark color blocks on the layer without destroying details, further improving the optimization effect of live image frames.
  • step 401 includes:
  • the area to be processed in the live image frame is blurred through a bilateral filtering algorithm to obtain a blurred image frame.
  • the area is determined to be a defective area.
  • the area to be processed in the live image frame can first be blurred.
  • a bilateral filtering algorithm can be used to blur the area to be processed in the live image frame to obtain a blurred image frame.
  • the viewport size of the bilateral filtering algorithm is (0.45*image height, 0.45*image width).
  • the filter kernel size is 10 pixels.
  • bilateral filtering is a nonlinear filter that can achieve the effects of maintaining edges and reducing noise and smoothing.
  • bilateral filtering also uses a weighted average method.
  • the weighted average of the brightness values of surrounding pixels is used to represent the intensity of a certain pixel.
  • the weighted average used is based on Gaussian distribution.
  • the weight of bilateral filtering not only considers pixels
  • the Euclidean distance also takes into account the radiation difference in the pixel range domain (the degree of similarity between the pixel in the convolution kernel and the center pixel, the color intensity), and these two weights are considered simultaneously when calculating the center pixel.
  • the difference between the blurred image frame and the live image frame can be calculated.
  • a difference range can be set in advance. For the difference in any area, if the difference falls within the difference range, it indicates that the area is a defective area.
  • the correction operation on the defective area to obtain the first texture map includes:
  • the defective area is filled with a preset pixel average value to obtain the first texture map.
  • the pixel average value can be set in advance, and the pixel average value can be the pixel average value corresponding to the pixels in the live image frame.
  • the defective area is filled with the pixel average value to optimize the defective area and obtain the first texture map.
  • the live image frame processing method provided in this embodiment can calculate the difference between the blurred image frame and the live image frame by blurring the area to be processed, so that the defective area in the area to be processed can be accurately located, and further based on The preset pixel average value is used to fill the defective area to correct the defective area and ensure the beautification effect of the live image frame.
  • step 402 includes:
  • the target processing area in the grayscale image is determined according to the preset grayscale value interval.
  • the preset color channel in the first texture image can be used as the grayscale image corresponding to the first texture image.
  • the blue channel can be used as the grayscale image corresponding to the first texture image.
  • the light and dark details in the first texture image can be determined based on the grayscale image, and then the highlight area, shadow area, etc. can be determined.
  • the gray value interval can be preset for different application scenarios.
  • the target processing area in the grayscale image is determined based on the grayscale value interval.
  • the first color lookup table can achieve the purpose of brightening skin curves and removing yellow and red colors.
  • the first color lookup table can be the lut image with the best optimization effect during the adjustment process. This disclosure does not limit the determination process of the first color lookup table. Therefore, a color correction operation can be performed on the target processing area according to the first color lookup table to obtain the second texture map.
  • color mapping can be performed on the target processing area according to the first color lookup table to implement color correction.
  • the live image frame processing method provided in this embodiment obtains the preset color channel in the first texture image as the The grayscale image corresponding to the first texture image is used to determine the target processing area in the grayscale image according to the preset grayscale value interval, so that the target optimization area can be accurately optimized, so that the optimization effect can better meet the user's personalization. need.
  • the color correction operation is performed on the target processing area through the first color lookup table corresponding to the first texture map, which can achieve the purpose of brightening the skin curve and removing yellow and red colors, and improves the optimization effect of the live image frame.
  • step 403 includes:
  • the second blur result is determined as the underlying skin quality information corresponding to the live image frame.
  • the radius of the filter kernel of the second joint bilateral filtering operation is greater than the radius of the filter kernel of the first joint bilateral filtering operation.
  • a first joint bilateral filtering operation can be performed on the second texture map to obtain the first blur result.
  • the first joint bilateral filtering operation may be a small radius joint bilateral filtering process.
  • the difference between the first blur result and the live image frame can be calculated to obtain high-frequency area information.
  • the second blur result is determined as the underlying skin quality information corresponding to the live image frame.
  • the second joint bilateral filtering operation may be a large radius joint bilateral filtering process.
  • the radius of the filter kernel of the second joint bilateral filtering operation is greater than the radius of the filter kernel of the first joint bilateral filtering operation.
  • the radius of the filter kernel of the second joint bilateral filtering operation may be twice the radius of the filter kernel of the first joint bilateral filtering operation.
  • step 404 includes:
  • the high-frequency area information and the underlying skin texture information are fused through a linear light mixing mode to obtain the image frame to be processed.
  • a linear light mixing mode may be used to fuse high-frequency area information and underlying skin quality information to obtain the image frame to be processed.
  • step 404 it also includes:
  • the image frame to be processed is sharpened to obtain a processed image frame to be processed.
  • Step 204 includes:
  • the image frame to be processed after obtaining the image frame to be processed, can also be sharpened as the final skin resurfacing result to obtain the processed image frame to be processed. Further, a subsequent second processing operation can be performed according to the processed image frame to be processed to obtain the processed target image frame.
  • the live image frame processing method provided by this embodiment divides a picture into a high-frequency layer and a low-frequency layer, so that the texture and details can be modified on the high-frequency layer without destroying the original color. Modify light and dark color blocks without destroying details, improving the effect of live image frame optimization.
  • FIG. 5 is a schematic structural diagram of a live image frame processing device provided by an embodiment of the present disclosure.
  • the device includes: an acquisition module 51, an image frame acquisition module 52, a determination module 53, a processing module 54 and a sending module 55.
  • the obtaining module 51 is used to obtain the image frame processing request.
  • the image frame acquisition module 52 is configured to acquire the live image frame corresponding to the virtual reality live content according to the image frame processing request.
  • the determination module 53 is used to determine the area to be processed in the live image frame, and perform the first processing operation on the area to be processed to obtain the image to be processed. like frames.
  • the processing module 54 is configured to perform a global second processing operation on the image frame to be processed to obtain a processed target image frame.
  • the sending module 55 is used to display the target image frame.
  • the image frame acquisition module is used to: acquire two image frames to be spliced collected by at least two cameras; perform a splicing operation on the two image frames to be spliced, and obtain The live image frame.
  • the determination module is configured to perform a recognition operation on the live image frame and obtain the key points corresponding to each target object in the live image frame.
  • the target area where each target object is located is determined based on the key points and the preset target mask. Determine the non-processed area in the target area, adjust the pixel value corresponding to the non-processed area to a preset value, and obtain the area to be processed.
  • the determination module is configured to: convert the live image frame from an RGB image to an HSV image, use the hue and brightness of the HSV image as constraint information, and determine the The first non-treated area in the target area. By adjusting the layer corresponding to the target mask, a second non-processed area in the target area is determined. Set the pixel values corresponding to the first non-processed area and the second non-processed area in the target area to zero to obtain the area to be processed.
  • the determination module is configured to: determine the facial area in the live image frame; and determine at least one of the flaw area, shadow area, and highlight area in the facial area.
  • the item performs a first processing operation to obtain the image frame to be processed.
  • the determination module is configured to: identify a defective area in the area to be processed, perform a correction operation on the defective area, and obtain a first texture map. Perform a color correction operation on the first texture map to obtain a second texture map.
  • the high-frequency region information corresponding to the live image frame is determined for the second texture map and the live image frame, and the underlying skin quality information corresponding to the live image frame is determined based on the second texture map.
  • a fusion operation is performed on the high-frequency area information and the underlying skin quality information to obtain the image frame to be processed.
  • the determination module is configured to: use a bilateral filtering algorithm to blur the area to be processed in the live image frame to obtain a blurred image frame. Calculate the difference between the blurred image frame and the live image frame. If the difference in any area is within the preset difference range, the area is determined to be a defective area.
  • the determination module is configured to perform a filling operation on the defective area using a preset pixel average value to obtain the first texture map.
  • the determination module is configured to: obtain the preset color channel in the first texture image as the grayscale image corresponding to the first texture image, and obtain the preset color channel. a first color lookup table corresponding to the first texture map.
  • the target processing area in the grayscale image is determined according to the preset grayscale value interval. Perform a color correction operation on the target processing area according to the first color lookup table to obtain the second texture map.
  • the determination module is configured to perform a first joint bilateral filtering operation on the second texture map to obtain a first blur result. Calculate the difference between the first blur result and the live image frame to obtain the high-frequency area information. Perform a second joint bilateral filtering operation on the second texture map to obtain a second blur result.
  • the second blur result is determined as the underlying skin quality information corresponding to the live image frame.
  • the radius of the filter kernel of the second joint bilateral filtering operation is larger than that of the first joint bilateral filtering operation. The radius of the filter kernel.
  • the determination module is configured to perform a fusion operation on the high-frequency area information and the underlying skin quality information through a linear light mixing mode to obtain the image frame to be processed. .
  • the device further includes: a sharpening module, configured to sharpen the image frame to be processed and obtain the processed image frame to be processed.
  • the processing module is configured to perform a global second processing operation on the processed image frame to be processed to obtain a processed target image frame.
  • the processing module is configured to: perform a global second processing operation on the image frame to be processed according to the second color lookup table corresponding to the image frame to be processed, and obtain the processing The target image frame after.
  • the equipment provided in this embodiment can be used to execute the technical solutions of the above method embodiments. Its implementation principles and technical effects are similar, and will not be described again in this embodiment.
  • embodiments of the present disclosure also provide an electronic device, including: a processor and a memory.
  • the memory stores computer-executable instructions.
  • the processor executes the computer execution instructions stored in the memory, so that the processor executes the live image frame processing method as described in any of the above embodiments.
  • FIG. 6 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the electronic device 600 may be a terminal device or a server.
  • terminal devices may include but are not limited to mobile phones, laptops, digital broadcast receivers, personal digital assistants (Personal Digital Assistant, PDA for short), tablet computers (Portable Android Device, PAD for short), portable multimedia players (Portable Mobile terminals such as Media Player (PMP for short), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), and fixed terminals such as digital TVs, desktop computers, etc.
  • PDA Personal Digital Assistant
  • PDA Personal Digital Assistant
  • PAD Personal Android Device
  • portable multimedia players Portable Mobile terminals such as Media Player (PMP for short
  • vehicle-mounted terminals such as vehicle-mounted navigation terminals
  • fixed terminals such as digital TVs, desktop computers, etc.
  • the electronic device shown in FIG. 6 is only an example and should not impose any limitations on the functions and scope of use of the embodiments of the present disclosure.
  • the electronic device 600 may include a processing device (such as a central processing unit, a graphics processor, etc.) 601, which may process data according to a program stored in a read-only memory (Read Only Memory, ROM for short) 602 or from a storage device. 608 loads the program in the random access memory (Random Access Memory, RAM for short) 603 to perform various appropriate actions and processing. In the RAM 603, various programs and data required for the operation of the electronic device 600 are also stored.
  • the processing device 601, ROM 602 and RAM 603 are connected to each other via a bus 604.
  • An input/output (I/O for short) interface 605 is also connected to bus 604.
  • the following devices can be connected to the I/O interface 605: input devices 606 including, for example, a touch screen, touch pad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a Liquid Crystal Display (LCD). ), an output device 607 such as a speaker, a vibrator, etc.; a storage device 608 including, for example, a magnetic tape, a hard disk, etc.; and a communication device 609. Communication device 609 may allow electronic device 600 to communicate wirelessly or wiredly with other devices to exchange data.
  • FIG. 6 illustrates electronic device 600 with various means, it should be understood that implementation or availability of all illustrated means is not required. More or fewer means may alternatively be implemented or provided.
  • embodiments of the present disclosure include a computer program product including a computer program carried on a computer-readable medium, the computer program containing program code for performing the method illustrated in the flowchart.
  • the computer program can be downloaded and installed from the network through the communication device 609, or installed from the storage device 608, or installed from the ROM 602.
  • the processing device 601 the above functions defined in the method of the embodiment of the present disclosure are performed.
  • the computer-readable medium mentioned above in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium, or any combination of the above two.
  • the computer-readable storage medium may be, for example, but is not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or any combination thereof. More specific examples of computer readable storage media may include, but are not limited to: electrical connections having one or more wires, portable computer disks, hard drives, RAM, ROM, Erasable Programmable Read Only Memory (EPROM for short) or flash memory, optical fiber, portable compact disk read only memory (Compact Disk Read Only Memory (CD-ROM for short)), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program for use by or in connection with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave, carrying computer-readable program code therein. Such propagated data signals may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the above.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium that can send, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device .
  • Program code contained on a computer-readable medium can be transmitted using any appropriate medium, including but not limited to: wires, optical cables, radio frequency (Radio Frequency, RF for short), etc., or any suitable combination of the above.
  • Embodiments of the present disclosure also provide a computer-readable storage medium.
  • Computer-executable instructions are stored in the computer-readable storage medium.
  • the processor executes the computer-executable instructions, the methods described in any of the above embodiments are implemented. Live image frame processing method.
  • An embodiment of the present disclosure also provides a computer program product, which includes a computer program.
  • the computer program When the computer program is executed by a processor, the live image frame processing method as described in any of the above embodiments is implemented.
  • An embodiment of the present disclosure also provides a computer program.
  • the computer program is executed by a processor, the live image frame processing method as described in any of the above embodiments is implemented.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device; it may also exist independently without being assembled into the electronic device.
  • the computer-readable medium carries one or more programs.
  • the electronic device When the one or more programs are executed by the electronic device, the electronic device performs the method shown in the above embodiment.
  • Computer program code for performing the operations of the present disclosure may be written in one or more programming languages, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional Procedural programming language—such as "C" or a similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or it can be connected to an external Computer (e.g. connected via the Internet using an Internet service provider).
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet service provider e.g. connected via the Internet using an Internet service provider
  • each block in the flowchart or block diagram may represent a module, segment, or portion of code that contains one or more logic functions that implement the specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown one after another may actually execute substantially in parallel, or they may sometimes execute in the reverse order, depending on the functionality involved.
  • each block of the block diagram and/or flowchart illustration, and combinations of blocks in the block diagram and/or flowchart illustration can be implemented by special purpose hardware-based systems that perform the specified functions or operations. , or can be implemented using a combination of specialized hardware and computer instructions.
  • the units involved in the embodiments of the present disclosure can be implemented in software or hardware.
  • the name of the unit does not constitute a limitation on the unit itself under certain circumstances.
  • the first acquisition unit can also be described as "the unit that acquires at least two Internet Protocol addresses.”
  • exemplary types of hardware logic components include: Field Programmable Gate Array (FPGA), Application Specific Integrated Circuit (ASIC), Application Specific Standard Products ( Application Specific Standard Parts (ASSP for short), System on Chip (SOC for short), Complex Programmable Logic Device (CPLD for short), etc.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • ASSP Application Specific Standard Parts
  • SOC System on Chip
  • CPLD Complex Programmable Logic Device
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices or devices, or any suitable combination of the foregoing. More specific examples of machine-readable storage media would include an electrical connection based on one or more wires, a portable computer disk, a hard disk, RAM, ROM, EPROM or flash memory, optical fiber, CD-ROM, optical storage device, magnetic storage device , or any suitable combination of the above.
  • a live image frame processing method including:
  • the image frame processing request obtain the live image frame corresponding to the virtual reality live content
  • obtaining live image frames corresponding to virtual reality live content includes:
  • determining the area to be processed in the live image frame includes:
  • determining the non-processed area in the target area and adjusting the pixel value corresponding to the non-processed area to a preset value includes:
  • determining the area to be processed in the live image frame and performing a first processing operation on the area to be processed to obtain the image frame to be processed includes:
  • performing a first processing operation on the area to be processed to obtain an image frame to be processed includes:
  • a fusion operation is performed on the high-frequency area information and the underlying skin quality information to obtain the image frame to be processed.
  • identifying the defective area within the area to be treated includes:
  • the area is determined to be a defective area.
  • performing a correction operation on the defective area to obtain the first texture map includes:
  • the defective area is filled with a preset pixel average value to obtain the first texture map.
  • performing a color correction operation on the first texture map to obtain a second texture map includes:
  • the high-frequency area information corresponding to the live image frame is determined for the second texture map and the live image frame, and the high-frequency area information corresponding to the live image frame is determined based on the second texture map.
  • the underlying skin quality information corresponding to the live image frame includes:
  • the radius of the filter kernel of the second joint bilateral filtering operation is greater than the radius of the filter kernel of the first joint bilateral filtering operation.
  • performing a fusion operation on the high-frequency area information and the underlying skin quality information to obtain the image frame to be processed includes:
  • the high-frequency area information and the underlying skin texture information are fused through a linear light mixing mode to obtain the image frame to be processed.
  • the method further includes:
  • the step of performing a global second processing operation on the image frame to be processed to obtain the processed target image frame includes:
  • performing a global second processing operation on the image frame to be processed to obtain a processed target image frame includes:
  • a live image frame processing system including: a terminal device, a binocular image acquisition device, and a virtual reality device; wherein,
  • the binocular image acquisition device is used to collect live image frames corresponding to virtual reality live content
  • the terminal device is used to obtain an image frame processing request, obtain a live image frame corresponding to the virtual reality live content according to the image frame processing request; determine the area to be processed in the live image frame, and perform the processing of the area to be processed. Perform a first processing operation to obtain an image frame to be processed; perform a global second processing operation on the image frame to be processed to obtain a processed target image frame; send the target image frame to a virtual reality device;
  • the virtual reality device is used to display the target image frame.
  • a live image frame processing device including:
  • Acquisition module used to obtain image frame processing requests
  • An image frame acquisition module configured to acquire live image frames corresponding to virtual reality live content according to the image frame processing request
  • a determination module configured to determine the area to be processed in the live image frame, and perform a first processing operation on the area to be processed to obtain the image frame to be processed;
  • a processing module configured to perform a global second processing operation on the image frame to be processed to obtain a processed target image frame
  • a sending module is used to display the target image frame.
  • the image frame acquisition module is used to:
  • the determining module is used to:
  • the determining module is used to:
  • the determining module is used to:
  • the determining module is used to:
  • a fusion operation is performed on the high-frequency area information and the underlying skin quality information to obtain the image frame to be processed.
  • the determining module is used to:
  • the area is determined to be a defective area.
  • the determining module is used to:
  • the defective area is filled with a preset pixel average value to obtain the first texture map.
  • the determining module is used to:
  • the determining module is used to:
  • the radius of the filter kernel of the second joint bilateral filtering operation is greater than the radius of the filter kernel of the first joint bilateral filtering operation.
  • the determining module is used to:
  • the high-frequency area information and the underlying skin quality information are fused through a linear light mixing mode to obtain the image frame to be processed.
  • the device further includes:
  • a sharpening module used to sharpen the image frame to be processed and obtain the processed image frame to be processed
  • the processing module is used for:
  • the processing module is configured to: perform a global second processing operation on the image frame to be processed according to the second color lookup table corresponding to the image frame to be processed, and obtain the processed Target image frame.
  • an electronic device including: at least one processor and a memory;
  • the memory stores computer execution instructions
  • the at least one processor executes the computer execution instructions stored in the memory, so that the at least one processor executes the live image frame processing method described in the above first aspect and various possible designs of the first aspect.
  • a computer-readable storage medium is provided.
  • Computer-executable instructions are stored in the computer-readable storage medium.
  • a processor executes the computer-executed instructions, Implement the live image frame processing method described in the first aspect and various possible designs of the first aspect.
  • a computer program product including a computer program that, when executed by a processor, implements the above first aspect and various possible designs of the first aspect.
  • the live image frame processing method includes
  • a computer program which when executed by a processor implements the live image as described in the first aspect and various possible designs of the first aspect. Frame processing method.
  • the live image frame processing method, device, electronic equipment, computer-readable storage medium, computer program product, and computer program provided in this embodiment obtain the direct data corresponding to the virtual reality live broadcast content according to the image frame processing request.
  • broadcast the image frame perform a first processing operation on the area to be processed in the live image frame, perform a global second processing operation on the image frame to be processed after the first processing operation, and send the target image frame after the second processing operation.
  • Display on the preset terminal device thereby enabling image processing operations in VR scenes.
  • the calculation amount in the image processing process can be effectively reduced, the efficiency of image processing is improved, and high-quality live broadcast effects can be ensured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例提供一种直播图像帧处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，该方法包括：获取图像帧处理请求；根据图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；确定直播图像帧中的待处理区域，并对待处理区域进行第一处理操作，获得待处理图像帧；根据直播图像帧对应的第一颜色查找表对待处理图像帧进行第二处理操作，获得处理后的目标图像帧；显示所述目标图像帧。从而能够实现VR场景下的图像帧处理操作。此外，通过对待处理区域进行第一处理操作对全局进行第二处理操作，从而能够有效地降低图像处理过程中的计算量，提高了图像美化操作的效率，进而能够保证优质的直播效果。

Description

直播图像帧处理方法、装置、设备、可读存储介质及产品
相关申请的交叉引用
本申请要求于2022年09月06日提交中国专利局、申请号为202211086343.5、申请名称为“直播图像帧处理方法、装置、设备、可读存储介质及产品”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种直播图像帧处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品及计算机程序。
背景技术
在直播过程中，为了能够得到更优质的直播效果，可以根据用户的触发操作采用美颜技术进行直播内容的优化操作。现有的美颜技术可应用在PC端、移动端，实现2D场景下的美颜操作。
随着科技的发展，虚拟现实(Virtual Reality，简称VR)技术逐渐走进用户的生活中。用户可以通过VR技术实现3D的VR直播。但是，现有的美颜技术无法实现VR场景下的美颜操作。
发明内容
本公开实施例提供一种直播图像帧处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，用于解决现有的美颜技术无法实现VR场景下的图像优化操作的技术问题。
第一方面，本公开实施例提供一种直播图像帧处理方法，包括：
获取图像帧处理请求；
根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
显示所述目标图像帧。
第二方面，本公开实施例提供一种直播图像帧处理系统，包括：终端设备、双目图像采集装置以及虚拟现实设备；其中，
所述双目图像采集装置用于采集虚拟现实直播内容对应的直播图像帧；
所述终端设备用于获取图像帧处理请求，根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；将所述目标图像帧发送至虚拟现实设备；
所述虚拟现实设备用于显示所述目标图像帧。
第三方面，本公开实施例提供一种直播图像帧处理装置，包括：
获取模块，用于获取图像帧处理请求；
图像帧获取模块，用于根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
确定模块，用于确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
处理模块，用于对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
发送模块，用于显示所述目标图像帧。
第四方面，本公开实施例提供一种电子设备，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第五方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第六方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第七方面，本公开实施例提供一种计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的直播图像帧处理系统的结构示意图。
图2为本公开实施例提供的直播图像帧处理方法的流程示意图。
图3为本公开又一实施例提供的直播图像帧处理方法的流程示意图。
图4为本公开又一实施例提供的直播图像帧处理方法的流程示意图。
图5为本公开实施例提供的直播图像帧处理装置的结构示意图。
图6为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技 术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
为了解决现有技术中无法实现VR场景下的图像优化操作的技术问题，本公开提供了一种直播图像帧处理方法、装置、设备、可读存储介质及产品。
需要说明的是，本公开提供的直播图像帧处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品及计算机程序可以应用在任意一种直播图像帧美化的场景中。
现有的美颜技术一般都是应用在2D场景中，无法实现对VR场景下的直播图像帧进行美化操作。
在解决上述技术问题的过程中，发明人通过研究发现，可以构建包括终端设备、双目图像采集装置以及虚拟现实设备的直播图像帧处理系统。基于上述直播图像帧处理系统，双目图像采集装置从不同角度同时获取主播的实时图像数据(单张图像4K)，将两张图像压制为一张8K的输入图像。其次将输入的8k图像输入到终端设备中进行人脸识别和渲染处理，其中，该终端设备具体可以为个人计算机(Personal Computer，简称PC)主机。然后将处理好的视频图像推到虚拟现实设备。最后虚拟现实设备显示器客户端接收直播视频流，进行3D视频播放，用户即可观看到经过美颜处理的3D直播。
图1为本公开实施例提供的直播图像帧处理系统的结构示意图，如图1所示，该直播图像帧处理系统可以包括终端设备11、双目图像采集装置12以及虚拟现实设备13，其中，终端设备11分别与双目图像采集装置12以及虚拟现实设备13通信连接，从而能够分别与双目图像采集装置12以及虚拟现实设备13进行信息交互。
基于上述系统架构，所述双目图像采集装置12用于采集虚拟现实直播内容对应的直播图像帧；
所述终端设备11用于获取图像帧处理请求，根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；对所述待处理图像帧进行第二处理操作，获得处理后的目标图像帧；将所述目标图像帧发送至虚拟现实设备13；
所述虚拟现实设备13用于显示所述目标图像帧。
基于上述系统架构，即能够实现在3D场景下的直播图像帧美化操作，进而能够使得用户在虚拟现实设备中观看到经过美颜处理的3D直播。
图2为本公开实施例提供的直播图像帧处理方法的流程示意图，如图2所示，该方法包括：
步骤201、获取图像帧处理请求。
本实施例的执行主体为终端设备，该终端设备可以分别与双目图像采集装置以及虚拟现实设备通信连接，从而能够与双目图像采集装置以及虚拟现实设备通信连接进行信息交互。可选地，该终端设备具体可以为PC主机。或者，该终端设备还可以为任意一种能够实现图像处理的设备，本公开对此不做限制。
可选地，该终端设备还可以与用户进行直播的设备通信连接。当用户在VR直播时，可以根据实际需求选择美颜技术进行直播内容的美化操作。相应的，当获取到用户在终端设备上触发美颜选项时，可以根据该触发操作生成图像帧处理请求，并将该图像 帧处理请求发送至终端设备。
作为一种可以实施的方式，也可以根据用户触发直播操作时，自动地对直播内容进行美化操作。当获取到用户的开播操作，可以自动地生成图像帧处理请求，并将该图像帧处理请求发送至终端设备。
相应地，该终端设备可以获取该图像帧处理请求。
步骤202、根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧。
在本实施方式中，在获取到图像帧处理请求时，可以获取虚拟现实直播内容对应的直播图像帧。
由于在VR直播场景中，一般都是采用双目图像采集装置进行直播内容的采集操作，双目图像采集装置分别从不同角度获取主播的实时图像，每个相机的输出图像大小为4k。因此具体可以获取虚拟现实直播内容对应的直播图像帧。
步骤203、确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧。
在本实施方式中，在对直播图像帧美化的过程中，可以针对直播图像帧中的用户进行磨皮以及美白操作。而由于VR直播场景下的直播图像帧往往尺寸较大，因此，对直播图像帧进行美化操作计算量较大。
为了提高直播图像帧美化的速度，在对直播图像帧中的用户进行磨皮操作时，可以仅针对直播图像帧中的用户的脸部、漏出的肢体部分进行磨皮操作，而针对直播图像帧中的其他部分不进行磨皮处理。
因此，在获取到直播图像帧之后，首先可以对直播图像帧中的待处理区域进行识别操作。可选地，该待处理区域具体可以为直播图像帧中的用户的脸部、漏出的肢体部分等。或者，在不同的应用场景下，若用户触发的请求为针对目标部位的特效处理请求，例如，若用户触发的请求为在头部添加贴纸的特效处理请求时，该待处理区域具体可以为直播图像帧中的用户的头部。
在完成对待处理区域的识别之后，即可以对该待处理区域进行第一处理操作，获得待处理图像帧。其中，在图像帧处理请求为美颜请求时，该第一处理操作可以为对待处理区域的磨皮操作。
步骤204、对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧。
在本实施方式中，在完成对待处理区域的第一处理操作之后，可以对待处理图像帧进行全局第二处理操作。其中，在图像帧处理请求为美颜请求时，该第二处理操作具体可以为美白操作。
实际应用中，待处理图像帧中除了用户以外，还可以包括背景部分。在对待处理图像帧进行全局的第二处理操作时，需要同时对用户以及背景部分进行优化。因此，为了保证第二处理操作的优化效果，可以预先设置直播图像帧对应的第二颜色查找表(lut图)。具体地，可以对直播图像帧对应的lut图进行调整，在调整过程中，确定一组只影响肤色，尽量保证背景不被影响的lut图，将该lut图作为该第二颜色查找表。
进一步地，可以根据该第一颜色查找表对待处理图像帧进行全局的颜色映射操作，完成对待处理图像帧的第二处理操作，获得处理后的目标图像帧。
其中，对待处理图像帧进行全局的第二处理操作具体可以为针对整张待处理图像帧的图像处理。
步骤205、显示所述目标图像帧。
在本实施例中，在完成对直播图像帧的优化操作之后，可以显示该目标图像帧。
可选地，可以将目标图像帧发送至预设终端设备中进行显示，以使用户在预设终端设备上观看到经过美颜处理的3D直播。可选地，该预设终端设备具体可以为虚拟现实设备。
或者，在获得目标图像帧之后，可以控制终端设备中预设的显示界面显示该目标图像帧。
进一步地，在上述任一实施例的基础上，步骤202包括：
获取至少两个摄像头采集的两张待拼接图像帧。
对所述两张待拼接图像帧进行拼接操作，获得所述直播图像帧。
在本实施例中，可以获取至少两个摄像头采集的两张待拼接图像帧，其中，每一待拼接图像帧的图像大小为4K。为了便于后续的直播图像帧优化操作，可以将两个角度的待拼接图像帧左右拼接为一张8k的直播图像帧。拼接好的8K直播图像帧直接输入终端设备进行特效处理，不需要做反畸变处理。
可选地，具体该两个摄像头可以为双目图像采集装置上设置的两个摄像头。具体可以获取双目图像采集装置中两个摄像头采集的两张待拼接图像帧。
本实施例提供的直播图像帧处理方法，通过根据图像帧处理请求获取虚拟现实直播内容对应的直播图像帧，并对直播图像帧中的待处理区域进行第一处理操作，对第一处理操作后的待处理图像帧进行全局的第二处理操作，将第二处理操作后的目标图像帧发送至虚拟现实设备中进行显示，从而能够实现VR场景下的图像处理操作。此外，通过对待处理区域进行第一处理操作对全局进行第二处理操作，从而能够有效地降低图像处理过程中的计算量，提高了图像处理的效率，进而能够保证优质的直播效果。
图3为本公开又一实施例提供的直播图像帧处理方法的流程示意图，在上述任一实施例的基础上，如图3所示，步骤203包括：
步骤301、对所述直播图像帧进行识别操作，获得所述直播图像帧中各目标对象对应的关键点。
步骤302、根据所述关键点以及预设的目标掩膜确定各所述目标对象所处的目标区域。
步骤303、确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，获得所述待处理区域。
在本实施例中，在获取到直播图像帧之后，可以通过预设的关键点识别算法对直播图像帧中的关键点进行识别操作，得到直播图像帧中各目标对象对应的关键点。需要说明的是，由于输入的直播图像帧是左右两个角度的待拼接图像帧拼接而成的，因此若待拼接图像帧中有N个目标对象，则直播图像帧将会检测2N个目标对象对应的人脸关键点，输出2N组人脸关键点。
进一步地，可以根据该关键点以及预设的目标掩膜确定各目标对象所处的目标区域。其中，该目标掩膜中包括多个图层，不同图层分别记录眉毛、鼻孔、嘴巴眼睛区 域。
可以理解的是，在第一美化操作时，往往需要作用在用户的皮肤区域上。因此，为了提高后续的优化效果，且降低后续的计算量，可以确定目标区域中的非处理区域。并对非处理区域进行删减操作，获得待处理区域。其中，该非处理区域包括但不限于用户的头发、眼睛、眉毛等位置。
可选地，为了实现对非处理区域的删减操作，具体可以对非处理区域的像素值进行调整，将非处理区域的像素值调整为预设数值，获得待处理区域。
本实施例提供的直播图像帧处理方法，通过识别直播图像帧中的关键点，并根据关键点确定目标对象所处的目标区域。从而能够基于该目标区域进行第一美化操作，降低了第一美化操作的范围，降低了直播图像帧美化的计算量。
进一步地，在上述任一实施例的基础上，步骤303包括：
将所述直播图像帧由RGB图像转换为HSV图像，将所述HSV图像的色调、明度作为约束信息，确定所述目标区域中的第一非处理区域。
通过调整所述目标掩膜对应的图层，确定所述目标区域中的第二非处理区域。
将所述目标区域中的第一非处理区域以及所述第二非处理区域对应的像素值设置为零，获得所述待处理区域。
在本实施例中，为了实现对非处理区域的删除操作，首先可以将直播图像帧由RGB图像转换为HSV图像。HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的一种颜色空间。通过将HSV图像的色调、明度作为约束信息，从而能够筛选出与用户的皮肤存在区别的第一非处理区域。其中，该第一非处理区域包括但不限于头发、眼镜等非皮肤区域。
进一步地，该目标掩膜中可以包括多个图层，不同图层分别记录眉毛、鼻孔、嘴巴眼睛区域。通过调整目标掩膜的不同图层，从而能够对目标区域中的第二非处理区域进行筛选。其中，该第二非处理区域包括但不限于眼睛、鼻孔、嘴巴等区域。
在分别确定第一非处理区域以及第二非处理区域之后，可以删除该目标区域中的第一非处理区域以及第二非处理区域，得到仅包括皮肤部分的待处理区域。
可选地，可以将第一非处理区域以及第二非处理区域对应的像素值调整为零，实现对第一非处理区域以及第二非处理区域的删减操作。
本实施例提供的直播图像帧处理方法，通过对目标区域中的第一非处理区域以及第二非处理区域进行删减操作，从而能够进一步地降低第一美化操作的范围，有效地降低了直播图像帧美化的计算量，提高了直播图像帧美化的效率，进而能够保证优质的直播效果。
进一步地，在上述任一实施例的基础上，步骤203包括：
确定所述直播图像帧中的面部区域；
对所述面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一处理操作，获得所述待处理图像帧。
在本实施例中，该第一处理操作具体可以为针对面部的处理操作。具体地，可以确定直播图像帧中的面部区域，其中，可以采用任意一种面部识别方式实现对面部区域的识别以及提取。对面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一 处理操作，获得待处理图像帧。其中，该瑕疵区域可以为存在斑点、痘痘的区域，高光区域可以为过曝区域，而阴影区域则可以为暗度较低的区域。
通过对整张直播图像帧进行美白操作，对面部区域进行磨皮操作，从而能够有效地对直播图像帧进行美化操作，进而能够提高虚拟现实直播的直播效果。
图4为本公开又一实施例提供的直播图像帧处理方法的流程示意图，在上述任一实施例的基础上，如图4所示，步骤203包括：
步骤401、识别所述待处理区域内的瑕疵区域，对所述瑕疵区域进行校正操作，获得第一纹理图。
步骤402、对所述第一纹理图进行颜色校正操作，获得第二纹理图。
步骤403、对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息。
步骤404、对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧。
在本实施例中，对直播图像帧的磨皮操作具体可以包括对斑痘等瑕疵区域的优化以及对整体皮肤的校正操作。因此，在获取到待处理区域之后，首先可以识别出待处理区域内的瑕疵区域，对瑕疵区域进行校正操作，获得第一纹理图。
进一步地，可以对第一纹理图进行颜色校正操作，以达到皮肤曲线提亮、颜色去黄红的目的，获得第二纹理图。针对第二纹理图，可以根据该第二纹理图以及直播图像帧确定直播图像帧对应的高频区域信息，以及可以根据该第二纹理图确定直播图像帧对应的底层肤质信息。把图层分割后，可以在高频图层上修饰纹理及细节而不破坏原始色彩，可以在低频图层上修改明暗色块而不破坏细节。将高频区域信息以及底层肤质信息进行融合操作，获得待处理图像帧。
本实施例提供的直播图像帧处理方法，通过对待处理区域内瑕疵区域进行优化，对颜色进行校正，从而能够有效地实现对待处理区域的优化操作，达到美化效果。此外，通过确定直播图像帧对应的高频区域信息以及直播图像帧对应的底层肤质信息，把图层分割后，可以在高频图层上修饰纹理及细节而不破坏原始色彩，可以在低频图层上修改明暗色块而不破坏细节，进一步地提高了直播图像帧的优化效果。
进一步地，在上述任一实施例的基础上，步骤401包括：
通过双边滤波算法对所述直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧。
计算所述模糊图像帧与所述直播图像帧之间的差值。
若任一区域的差值在预设的差值范围区间内，则判定所述区域为瑕疵区域。
在本实施例中，在进行瑕疵区域的识别时，首先可以先对直播图像帧中的待处理区域进行模糊处理。具体地，可以通过双边滤波算法对直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧。其中，双边滤波算法的视口大小为(0.45*图像高，0.45*图像宽)。滤波核大小为10个像素。
其中，双边滤波是一种非线性滤波器，它可以达到保持边缘、降噪平滑的效果。和其他滤波原理一样，双边滤波也是采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布。双边滤波的权重不仅考虑了像素 的欧氏距离，还考虑了像素范围域中的辐射差异(卷积核中像素与中心像素之间相似程度、颜色强度)，在计算中心像素的时候同时考虑这两个权重。
进一步地，可以计算模糊图像帧与直播图像帧之间的差值。为了实现对瑕疵区域的识别操作，可以预先设置一差值范围。针对任一区域的差值，若该差值落在该差值范围内，则表征该区域为瑕疵区域。
进一步地，在上述任一实施例的基础上，所述对所述瑕疵区域进行校正操作，获得第一纹理图，包括：
采用预设的像素平均值对所述瑕疵区域进行填充操作，获得所述第一纹理图。
在本实施例中，由于瑕疵区域一般为像素值较高，或者像素值较低的区域，因此，可以预先设置像素平均值，该像素平均值可以为直播图像帧内的像素对应的像素平均值。
通过该像素平均值对瑕疵区域进行填充操作，实现对瑕疵区域的优化操作，获得第一纹理图。
本实施例提供的直播图像帧处理方法，通过对待处理区域进行模糊处理，计算模糊图像帧与直播图像帧之间的差值，从而能够准确地定位到待处理区域内的瑕疵区域，进而能够基于预设的像素平均值对瑕疵区域进行填充操作，实现对瑕疵区域的校正，保证直播图像帧的美化效果。
进一步地，在上述任一实施例的基础上，步骤402包括：
获取所述第一纹理图中预设颜色通道作为所述第一纹理图对应的灰度图，以及，获取预设的与所述第一纹理图对应的第一颜色查找表。
根据预设的灰度值区间确定所述灰度图中的目标处理区域。
根据所述第一颜色查找表对所述目标处理区域进行颜色校正操作，获得所述第二纹理图。
在本实施例中，针对第一纹理图，由于该第一纹理图为RGB图像，因此可以将第一纹理图中预设颜色通道作为第一纹理图对应的灰度图。举例来说，可以将蓝色通道作为第一纹理图对应的灰度图。
在获得第一纹理图对应的灰度图之后，即可以根据该灰度图确定第一纹理图中的明暗细节，进而能够确定高光区域、阴影区域等。
由于实际应用中，不同的图像存在不同的光影特点，例如在亮度较高的位置采集的直播图像帧，可能出现过曝的问题，因此，需要对高光区域进行调整。而在亮度较低的位置采集的直播图像帧，可能出现由于过暗导致的清晰度不高的问题。因此需要对阴影部分进行调整。
因此，针对不同的应用场景，可以预先设置灰度值区间。根据该灰度值区间确定灰度图中的目标处理区域。获取预设的与第一纹理图对应的第一颜色查找表。其中，该第一颜色查找表能够达到皮肤曲线提亮、颜色去黄红的目的。该第一颜色查找表可以为调节过程中，优化效果最好的lut图。本公开对第一颜色查找表的确定过程不做限制。因此，可以根据第一颜色查找表对目标处理区域进行颜色校正操作，获得第二纹理图。可选地，可以根据第一颜色查找表对目标处理区域进行颜色映射，实现颜色校正。
本实施例提供的直播图像帧处理方法，通过获取第一纹理图中预设颜色通道作为所 述第一纹理图对应的灰度图，根据预设的灰度值区间确定灰度图中的目标处理区域，从而能够准确地对目标优化区域进行优化操作，使得优化效果更加满足用户的个性化需求。此外，通过第一纹理图对应的第一颜色查找表对目标处理区域进行颜色校正操作，能够达到皮肤曲线提亮、颜色去黄红的目的，提高了直播图像帧的优化效果。
进一步地，在上述任一实施例的基础上，步骤403包括：
对所述第二纹理图进行第一联合双边滤波操作，获得第一模糊结果。
计算所述第一模糊结果与所述直播图像帧之间的差值，获得所述高频区域信息。
对所述第二纹理图进行第二联合双边滤波操作，获得第二模糊结果。
将所述第二模糊结果确定为所述直播图像帧对应的底层肤质信息。
其中，所述第二联合双边滤波操作的滤波核的半径大于所述第一联合双边滤波操作的滤波核的半径。
在本实施例中，为了进一步地提高优化效果，在获得第二纹理图之后，可以对第二纹理图进行第一联合双边滤波操作，获得第一模糊结果。其中，该第一联合双边滤波操作可以为小半径的联合双边滤波处理。进一步地，可以计算第一模糊结果与直播图像帧之间的差值，获得高频区域信息。对第二纹理图进行第二联合双边滤波操作，获得第二模糊结果。将第二模糊结果确定为直播图像帧对应的底层肤质信息。其中，该第二联合双边滤波操作可以为大半径的联合双边滤波处理。可选地，第二联合双边滤波操作的滤波核的半径大于第一联合双边滤波操作的滤波核的半径。优选地，该第二联合双边滤波操作的滤波核的半径可以为第一联合双边滤波操作的滤波核的半径的二倍。
进一步地，在上述任一实施例的基础上，步骤404包括：
对所述高频区域信息以及所述底层肤质信息通过线性光混合模式进行融合操作，获得所述待处理图像帧。
在本实施例中，具体可以采用线性光混合模式实现对高频区域信息以及底层肤质信息的融合操作，得到该待处理图像帧。
进一步地，在上述任一实施例的基础上，步骤404之后，还包括：
对所述待处理图像帧进行锐化处理，获得处理后的待处理图像帧。
步骤204包括：
对所述处理后的待处理图像帧进行第二处理操作，获得处理后的目标图像帧。
在本实施例中，在获得待处理图像帧之后，还可以对待处理图像帧进行锐化处理作为最终的磨皮结果，获得处理后的待处理图像帧。进一步地，可以根据该处理后的待处理图像帧进行后续的第二处理操作，获得处理后的目标图像帧。
本实施例提供的直播图像帧处理方法，通过将一张图片分割成高频图层以及低频图层，从而可以在高频图层上修饰纹理及细节而不破坏原始色彩，可以在低频图层上修改明暗色块而不破坏细节，提高了直播图像帧优化的效果。
图5为本公开实施例提供的直播图像帧处理装置的结构示意图，如图5所示，该装置包括：获取模块51、图像帧获取模块52、确定模块53、处理模块54以及发送模块55。其中，获取模块51，用于获取图像帧处理请求。图像帧获取模块52，用于根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧。确定模块53，用于确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图 像帧。处理模块54，用于对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧。发送模块55，用于显示所述目标图像帧。
进一步地，在上述任一实施例的基础上，所述图像帧获取模块用于：获取至少两个摄像头采集的两张待拼接图像帧；对所述两张待拼接图像帧进行拼接操作，获得所述直播图像帧。
进一步地，在上述任一实施例的基础上，所述确定模块用于：对所述直播图像帧进行识别操作，获得所述直播图像帧中各目标对象对应的关键点。根据所述关键点以及预设的目标掩膜确定各所述目标对象所处的目标区域。确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，获得所述待处理区域。
进一步地，在上述任一实施例的基础上，所述确定模块用于：将所述直播图像帧由RGB图像转换为HSV图像，将所述HSV图像的色调、明度作为约束信息，确定所述目标区域中的第一非处理区域。通过调整所述目标掩膜对应的图层，确定所述目标区域中的第二非处理区域。将所述目标区域中的第一非处理区域以及所述第二非处理区域对应的像素值设置为零，获得所述待处理区域。
进一步地，在上述任一实施例的基础上，所述确定模块用于：确定所述直播图像帧中的面部区域；对所述面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一处理操作，获得所述待处理图像帧。
进一步地，在上述任一实施例的基础上，所述确定模块用于：识别所述待处理区域内的瑕疵区域，对所述瑕疵区域进行校正操作，获得第一纹理图。对所述第一纹理图进行颜色校正操作，获得第二纹理图。对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息。对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧。
进一步地，在上述任一实施例的基础上，所述确定模块用于：通过双边滤波算法对所述直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧。计算所述模糊图像帧与所述直播图像帧之间的差值。若任一区域的差值在预设的差值范围区间内，则判定所述区域为瑕疵区域。
进一步地，在上述任一实施例的基础上，所述确定模块用于：采用预设的像素平均值对所述瑕疵区域进行填充操作，获得所述第一纹理图。
进一步地，在上述任一实施例的基础上，所述确定模块用于：获取所述第一纹理图中预设颜色通道作为所述第一纹理图对应的灰度图，以及，获取预设的与所述第一纹理图对应的第一颜色查找表。根据预设的灰度值区间确定所述灰度图中的目标处理区域。根据所述第一颜色查找表对所述目标处理区域进行颜色校正操作，获得所述第二纹理图。
进一步地，在上述任一实施例的基础上，所述确定模块用于：对所述第二纹理图进行第一联合双边滤波操作，获得第一模糊结果。计算所述第一模糊结果与所述直播图像帧之间的差值，获得所述高频区域信息。对所述第二纹理图进行第二联合双边滤波操作，获得第二模糊结果。将所述第二模糊结果确定为所述直播图像帧对应的底层肤质信息。其中，所述第二联合双边滤波操作的滤波核的半径大于所述第一联合双边滤波操作 的滤波核的半径。
进一步地，在上述任一实施例的基础上，所述确定模块用于：对所述高频区域信息以及所述底层肤质信息通过线性光混合模式进行融合操作，获得所述待处理图像帧。
进一步地，在上述任一实施例的基础上，所述装置还包括：锐化模块，用于对所述待处理图像帧进行锐化处理，获得处理后的待处理图像帧。所述处理模块用于：对所述处理后的待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
进一步地，在上述任一实施例的基础上，所述处理模块用于：根据所述待处理图像帧对应的第二颜色查找表对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
为了实现上述实施例，本公开实施例还提供了一种电子设备，包括：处理器和存储器。
所述存储器存储计算机执行指令。
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上述任一实施例所述的直播图像帧处理方法。
图6为本公开实施例提供的电子设备的结构示意图，如图6所示，该电子设备600可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(Read Only Memory，简称ROM)602中的程序或者从存储装置608加载到随机访问存储器(Random Access Memory，简称RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，简称I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(Liquid Crystal Display，简称LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样 的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disk Read Only Memory，简称CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(Radio Frequency，简称RF)等等，或者上述的任意合适的组合。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述任一实施例所述的直播图像帧处理方法。
本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的直播图像帧处理方法。
本公开实施例还提供了一种计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的直播图像帧处理方法。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、专用标准产品(Application Specific Standard Parts，简称ASSP)、片上系统(System on Chip，简称SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，简称CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM或快闪存储器、光纤、CD-ROM、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种直播图像帧处理方法，包括：
获取图像帧处理请求；
根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
显示所述目标图像帧。
根据本公开的一个或多个实施例，所述获取虚拟现实直播内容对应的直播图像帧，包括：
获取至少两个摄像头采集的两张待拼接图像帧；
对所述两张待拼接图像帧进行拼接操作，获得所述直播图像帧。
根据本公开的一个或多个实施例，所述确定所述直播图像帧中的待处理区域，包括：
对所述直播图像帧进行识别操作，获得所述直播图像帧中各目标对象对应的关键点；
根据所述关键点以及预设的目标掩膜确定各所述目标对象所处的目标区域；
确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，获得所述待处理区域。
根据本公开的一个或多个实施例，所述确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，包括：
将所述直播图像帧由RGB图像转换为HSV图像，将所述HSV图像的色调、明度作为约束信息，确定所述目标区域中的第一非处理区域；
通过调整所述目标掩膜对应的图层，确定所述目标区域中的第二非处理区域；
将所述目标区域中的第一非处理区域以及所述第二非处理区域对应的像素值设置为零，获得所述待处理区域。
根据本公开的一个或多个实施例，所述确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧，包括：
确定所述直播图像帧中的面部区域；
对所述面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一处理操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述对所述待处理区域进行第一处理操作，获得待处理图像帧，包括：
识别所述待处理区域内的瑕疵区域，对所述瑕疵区域进行校正操作，获得第一纹理图；
对所述第一纹理图进行颜色校正操作，获得第二纹理图；
对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息；
对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述识别所述待处理区域内的瑕疵区域，包括：
通过双边滤波算法对所述直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧；
计算所述模糊图像帧与所述直播图像帧之间的差值；
若任一区域的差值在预设的差值范围区间内，则判定所述区域为瑕疵区域。
根据本公开的一个或多个实施例，所述对所述瑕疵区域进行校正操作，获得第一纹理图，包括：
采用预设的像素平均值对所述瑕疵区域进行填充操作，获得所述第一纹理图。
根据本公开的一个或多个实施例，所述对所述第一纹理图进行颜色校正操作，获得第二纹理图，包括：
获取所述第一纹理图中预设颜色通道作为所述第一纹理图对应的灰度图，以及，获取预设的与所述第一纹理图对应的第一颜色查找表；
根据预设的灰度值区间确定所述灰度图中的目标处理区域；
根据所述第一颜色查找表对所述目标处理区域进行颜色校正操作，获得所述第二纹理图。
根据本公开的一个或多个实施例，所述对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息，包括：
对所述第二纹理图进行第一联合双边滤波操作，获得第一模糊结果；
计算所述第一模糊结果与所述直播图像帧之间的差值，获得所述高频区域信息；
对所述第二纹理图进行第二联合双边滤波操作，获得第二模糊结果；
将所述第二模糊结果确定为所述直播图像帧对应的底层肤质信息；
其中，所述第二联合双边滤波操作的滤波核的半径大于所述第一联合双边滤波操作的滤波核的半径。
根据本公开的一个或多个实施例，所述对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧，包括：
对所述高频区域信息以及所述底层肤质信息通过线性光混合模式进行融合操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧之后，还包括：
对所述待处理图像帧进行锐化处理，获得处理后的待处理图像帧；
所述对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧，包括：
对所述处理后的待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧。
根据本公开的一个或多个实施例，所述对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧，包括：
根据所述待处理图像帧对应的第二颜色查找表对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
第二方面，根据本公开的一个或多个实施例，提供了一种直播图像帧处理系统，包括：终端设备、双目图像采集装置以及虚拟现实设备；其中，
所述双目图像采集装置用于采集虚拟现实直播内容对应的直播图像帧；
所述终端设备用于获取图像帧处理请求，根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；将所述目标图像帧发送至虚拟现实设备；
所述虚拟现实设备用于显示所述目标图像帧。
第三方面，根据本公开的一个或多个实施例，提供了一种直播图像帧处理装置，包括：
获取模块，用于获取图像帧处理请求；
图像帧获取模块，用于根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
确定模块，用于确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
处理模块，用于对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
发送模块，用于显示所述目标图像帧。
根据本公开的一个或多个实施例，所述图像帧获取模块用于：
获取至少两个摄像头采集的两张待拼接图像帧；
对所述两张待拼接图像帧进行拼接操作，获得所述直播图像帧。
根据本公开的一个或多个实施例，所述确定模块用于：
对所述直播图像帧进行识别操作，获得所述直播图像帧中各目标对象对应的关键点；
根据所述关键点以及预设的目标掩膜确定各所述目标对象所处的目标区域；
确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，获得所述待处理区域。
根据本公开的一个或多个实施例，所述确定模块用于：
将所述直播图像帧由RGB图像转换为HSV图像，将所述HSV图像的色调、明度作为约束信息，确定所述目标区域中的第一非处理区域；
通过调整所述目标掩膜对应的图层，确定所述目标区域中的第二非处理区域；
将所述目标区域中的第一非处理区域以及所述第二非处理区域对应的像素值设置为零，获得所述待处理区域。
根据本公开的一个或多个实施例，所述确定模块用于：
确定所述直播图像帧中的面部区域；
对所述面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一处理操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述确定模块用于：
识别所述待处理区域内的瑕疵区域，对所述瑕疵区域进行校正操作，获得第一纹理图；
对所述第一纹理图进行颜色校正操作，获得第二纹理图；
对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息；
对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述确定模块用于：
通过双边滤波算法对所述直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧；
计算所述模糊图像帧与所述直播图像帧之间的差值；
若任一区域的差值在预设的差值范围区间内，则判定所述区域为瑕疵区域。
根据本公开的一个或多个实施例，所述确定模块用于：
采用预设的像素平均值对所述瑕疵区域进行填充操作，获得所述第一纹理图。
根据本公开的一个或多个实施例，所述确定模块用于：
获取所述第一纹理图中预设颜色通道作为所述第一纹理图对应的灰度图，以及，获取预设的与所述第一纹理图对应的第一颜色查找表；
根据预设的灰度值区间确定所述灰度图中的目标处理区域；
根据所述第一颜色查找表对所述目标处理区域进行颜色校正操作，获得所述第二纹理图。
根据本公开的一个或多个实施例，所述确定模块用于：
对所述第二纹理图进行第一联合双边滤波操作，获得第一模糊结果；
计算所述第一模糊结果与所述直播图像帧之间的差值，获得所述高频区域信息；
对所述第二纹理图进行第二联合双边滤波操作，获得第二模糊结果；
将所述第二模糊结果确定为所述直播图像帧对应的底层肤质信息；
其中，所述第二联合双边滤波操作的滤波核的半径大于所述第一联合双边滤波操作的滤波核的半径。
根据本公开的一个或多个实施例，所述确定模块用于：
对所述高频区域信息以及所述底层肤质信息通过线性光混合模式进行融合操作，获得所述待处理图像帧。
根据本公开的一个或多个实施例，所述装置还包括：
锐化模块，用于对所述待处理图像帧进行锐化处理，获得处理后的待处理图像帧；
所述处理模块用于：
对所述处理后的待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
根据本公开的一个或多个实施例，所述处理模块用于：根据所述待处理图像帧对应的第二颜色查找表对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
第四方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第五方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
第七方面，根据本公开的一个或多个实施例，提供了一种计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的直播图像帧处理方法。
本实施例提供的直播图像帧处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，通过根据图像帧处理请求获取虚拟现实直播内容对应的直 播图像帧，并对直播图像帧中的待处理区域进行第一处理操作，对第一处理操作后的待处理图像帧进行全局的第二处理操作，将第二处理操作后的目标图像帧发送至预设终端设备中进行显示，从而能够实现VR场景下的图像处理操作。此外，通过对待处理区域进行第一处理操作对全局进行第二处理操作，从而能够有效地降低图像处理过程中的计算量，提高了图像处理的效率，进而能够保证优质的直播效果。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (19)

  1. 一种直播图像帧处理方法，包括：
    获取图像帧处理请求；
    根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
    确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
    对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
    显示所述目标图像帧。
  2. 根据权利要求1所述的方法，其中，所述获取虚拟现实直播内容对应的直播图像帧，包括：
    获取至少两个摄像头采集的两张待拼接图像帧；
    对所述两张待拼接图像帧进行拼接操作，获得所述直播图像帧。
  3. 根据权利要求1或2所述的方法，其中，所述确定所述直播图像帧中的待处理区域，包括：
    对所述直播图像帧进行识别操作，获得所述直播图像帧中各目标对象对应的关键点；
    根据所述关键点以及预设的目标掩膜确定各所述目标对象所处的目标区域；
    确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，获得所述待处理区域。
  4. 根据权利要求3所述的方法，其中，所述确定所述目标区域中的非处理区域，将所述非处理区域对应的像素值调整为预设数值，包括：
    将所述直播图像帧由RGB图像转换为HSV图像，将所述HSV图像的色调、明度作为约束信息，确定所述目标区域中的第一非处理区域；
    通过调整所述目标掩膜对应的图层，确定所述目标区域中的第二非处理区域；
    将所述目标区域中的第一非处理区域以及所述第二非处理区域对应的像素值设置为零，获得所述待处理区域。
  5. 根据权利要求1至4中任一项所述的方法，其中，所述确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧，包括：
    确定所述直播图像帧中的面部区域；
    对所述面部区域中的瑕疵区域、阴影区域、高光区域中的至少一项进行第一处理操作，获得所述待处理图像帧。
  6. 根据权利要求1至4中任一项所述的方法，其中，所述待处理区域为面部区域；所述对所述待处理区域进行第一处理操作，获得待处理图像帧，包括：
    识别所述待处理区域内的瑕疵区域，对所述瑕疵区域进行校正操作，获得第一纹理图；
    对所述第一纹理图进行颜色校正操作，获得第二纹理图；
    对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息；
    对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧。
  7. 根据权利要求6所述的方法，其中，所述识别所述待处理区域内的瑕疵区域，包括：
    通过双边滤波算法对所述直播图像帧中的待处理区域进行模糊处理，获得模糊图像帧；
    计算所述模糊图像帧与所述直播图像帧之间的差值；
    若任一区域的差值在预设的差值范围区间内，则判定所述区域为瑕疵区域。
  8. 根据权利要求6或7所述的方法，其中，所述对所述瑕疵区域进行校正操作，获得第一纹理图，包括：
    采用预设的像素平均值对所述瑕疵区域进行填充操作，获得所述第一纹理图。
  9. 根据权利要求6至8中任一项所述的方法，其中，所述对所述第一纹理图进行颜色校正操作，获得第二纹理图，包括：
    获取所述第一纹理图中预设颜色通道作为所述第一纹理图对应的灰度图，以及，获取预设的与所述第一纹理图对应的第一颜色查找表；
    根据预设的灰度值区间确定所述灰度图中的目标处理区域；
    根据所述第一颜色查找表对所述目标处理区域进行颜色校正操作，获得所述第二纹理图。
  10. 根据权利要求6至9中任一项所述的方法，其中，所述对所述第二纹理图以及所述直播图像帧确定所述直播图像帧对应的高频区域信息，以及，根据所述第二纹理图确定所述直播图像帧对应的底层肤质信息，包括：
    对所述第二纹理图进行第一联合双边滤波操作，获得第一模糊结果；
    计算所述第一模糊结果与所述直播图像帧之间的差值，获得所述高频区域信息；
    对所述第二纹理图进行第二联合双边滤波操作，获得第二模糊结果；
    将所述第二模糊结果确定为所述直播图像帧对应的底层肤质信息；
    其中，所述第二联合双边滤波操作的滤波核的半径大于所述第一联合双边滤波操作的滤波核的半径。
  11. 根据权利要求6至10中任一项所述的方法，其中，所述对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧，包括：
    对所述高频区域信息以及所述底层肤质信息通过线性光混合模式进行融合操作，获得所述待处理图像帧。
  12. 根据权利要求6至11中任一项所述的方法，其中，所述对所述高频区域信息以及所述底层肤质信息进行融合操作，获得所述待处理图像帧之后，还包括：
    对所述待处理图像帧进行锐化处理，获得处理后的待处理图像帧；
    所述对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧，包括：
    对所述处理后的待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
  13. 根据权利要求1至4中任一项所述的方法，其中，所述对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧，包括：
    根据所述待处理图像帧对应的第二颜色查找表对所述待处理图像帧进行全局第二处理操作，获得处理后的目标图像帧。
  14. 一种直播图像帧处理系统，包括：终端设备、双目图像采集装置以及虚拟现实设备；其中，
    所述双目图像采集装置用于采集虚拟现实直播内容对应的直播图像帧；
    所述终端设备用于获取图像帧处理请求，根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；对所述待处理图像帧进行全局的第二处理操作，获得处理 后的目标图像帧；将所述目标图像帧发送至虚拟现实设备；
    所述虚拟现实设备用于显示所述目标图像帧。
  15. 一种直播图像帧处理装置，包括：
    获取模块，用于获取图像帧处理请求；
    图像帧获取模块，用于根据所述图像帧处理请求，获取虚拟现实直播内容对应的直播图像帧；
    确定模块，用于确定所述直播图像帧中的待处理区域，并对所述待处理区域进行第一处理操作，获得待处理图像帧；
    处理模块，用于对所述待处理图像帧进行全局的第二处理操作，获得处理后的目标图像帧；
    发送模块，用于显示所述目标图像帧。
  16. 一种电子设备，包括：处理器和存储器；
    所述存储器存储计算机执行指令；
    所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至13中任一项所述的直播图像帧处理方法。
  17. 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至13中任一项所述的直播图像帧处理方法。
  18. 一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的直播图像帧处理方法。
  19. 一种计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的直播图像帧处理方法。
PCT/CN2023/115615 2022-09-06 2023-08-29 直播图像帧处理方法、装置、设备、可读存储介质及产品 WO2024051535A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211086343.5 2022-09-06
CN202211086343 2022-09-06

Publications (1)

Publication Number Publication Date
WO2024051535A1 true WO2024051535A1 (zh) 2024-03-14

Family

ID=86794848

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/CN2023/115615 WO2024051535A1 (zh) 2022-09-06 2023-08-29 直播图像帧处理方法、装置、设备、可读存储介质及产品
PCT/CN2023/135962 WO2024125328A1 (zh) 2022-09-06 2023-12-01 直播图像帧处理方法、装置、设备、可读存储介质及产品

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/135962 WO2024125328A1 (zh) 2022-09-06 2023-12-01 直播图像帧处理方法、装置、设备、可读存储介质及产品

Country Status (2)

Country Link
CN (1) CN116320597A (zh)
WO (2) WO2024051535A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320597A (zh) * 2022-09-06 2023-06-23 北京字跳网络技术有限公司 直播图像帧处理方法、装置、设备、可读存储介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078371A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Imaging control apparatus and imaging apparatus control method
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN108009999A (zh) * 2017-11-30 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109035180A (zh) * 2018-09-27 2018-12-18 广州酷狗计算机科技有限公司 视频播放方法、装置、设备及存储介质
CN110572692A (zh) * 2018-06-06 2019-12-13 中国电信股份有限公司 直播视频美颜方法和装置、计算机可读存储介质
CN114998115A (zh) * 2022-04-27 2022-09-02 阿里巴巴（中国）有限公司 图像美化处理方法、装置及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534880A (zh) * 2016-11-28 2017-03-22 深圳Tcl数字技术有限公司 视频合成方法及装置
CN112396559A (zh) * 2019-08-19 2021-02-23 王艳苓 直播画面定向美颜平台
CN113808027B (zh) * 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN115514883B (zh) * 2021-02-04 2023-05-12 华为技术有限公司 跨设备的协同拍摄方法、相关装置及系统
CN115442637A (zh) * 2022-09-06 2022-12-06 北京字跳网络技术有限公司 直播特效渲染方法、装置、设备、可读存储介质及产品
CN116320597A (zh) * 2022-09-06 2023-06-23 北京字跳网络技术有限公司 直播图像帧处理方法、装置、设备、可读存储介质及产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078371A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Imaging control apparatus and imaging apparatus control method
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN108009999A (zh) * 2017-11-30 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110572692A (zh) * 2018-06-06 2019-12-13 中国电信股份有限公司 直播视频美颜方法和装置、计算机可读存储介质
CN109035180A (zh) * 2018-09-27 2018-12-18 广州酷狗计算机科技有限公司 视频播放方法、装置、设备及存储介质
CN114998115A (zh) * 2022-04-27 2022-09-02 阿里巴巴（中国）有限公司 图像美化处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN116320597A (zh) 2023-06-23
WO2024125328A1 (zh) 2024-06-20

Similar Documents

Publication Publication Date Title
US10878612B2 (en) Facial image replacement using 3-dimensional modelling techniques
CN110378846B (zh) 一种处理图像磨皮的方法、装置、介质和电子设备
WO2021139382A1 (zh) 人脸图像的处理方法、装置、可读介质和电子设备
WO2024051535A1 (zh) 直播图像帧处理方法、装置、设备、可读存储介质及产品
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN112330527A (zh) 图像处理方法、装置、电子设备和介质
US20240104810A1 (en) Method and apparatus for processing portrait image
WO2023071707A1 (zh) 视频图像处理方法、装置、电子设备及存储介质
US10915996B2 (en) Enhancement of edges in images using depth information
WO2023143229A1 (zh) 图像处理方法、装置、设备及存储介质
CN111583103B (zh) 人脸图像处理方法、装置、电子设备及计算机存储介质
CN109102484B (zh) 用于处理图像的方法和装置
CN116017018A (zh) 直播特效渲染方法、装置、设备、可读存储介质及产品
CN116168091A (zh) 图像处理方法、装置、计算机设备和计算机程序产品
CN115131260A (zh) 图像处理方法、装置、设备、计算机可读存储介质及产品
WO2022166907A1 (zh) 图像处理方法、装置、设备及可读存储介质
US10298914B2 (en) Light field perception enhancement for integral display applications
CN114841853A (zh) 图像处理方法、装置、设备及存储介质
CN114581979A (zh) 图像处理方法和装置
CN112767278B (zh) 基于非均匀大气光先验的图像去雾方法及相关设备
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US20240177409A1 (en) Image processing method and apparatus, electronic device, and readable storage medium
CN113963000B (zh) 图像分割方法、装置、电子设备及程序产品
CN115775215A (zh) 图像处理方法、装置、电子设备和存储介质
CN115953597A (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23862230

Country of ref document: EP

Kind code of ref document: A1