WO2019128787A1 - 网络视频直播方法、装置及电子设备 - Google Patents

网络视频直播方法、装置及电子设备 Download PDF

Info

Publication number
WO2019128787A1
WO2019128787A1 PCT/CN2018/121882 CN2018121882W WO2019128787A1 WO 2019128787 A1 WO2019128787 A1 WO 2019128787A1 CN 2018121882 W CN2018121882 W CN 2018121882W WO 2019128787 A1 WO2019128787 A1 WO 2019128787A1
Authority
WO
WIPO (PCT)
Prior art keywords
enhanced
information
video stream
live
target
Prior art date
Application number
PCT/CN2018/121882
Other languages
English (en)
French (fr)
Inventor
李军舰
Original Assignee
阿里巴巴集团控股有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司 filed Critical 阿里巴巴集团控股有限公司
Publication of WO2019128787A1 publication Critical patent/WO2019128787A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/4061—Push-to services, e.g. push-to-talk or push-to-video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Definitions

  • the present application relates to the field of network video live broadcast technology, and in particular, to a network video live broadcast method, device, and electronic device.
  • Webcast technology is one of today's hot technologies, and many websites or apps provide live streaming.
  • any user can apply to become the anchor. Therefore, the website can include multiple anchors, and each anchor broadcasts to multiple users in one channel, and the user can see the anchor video in the current channel. And hear the sound, the anchor can also private chat with multiple users in the channel, and so on.
  • the anchor wants to enrich the display content on the screen, or to create a certain atmosphere, usually only arrange some decorations such as lights in the room, so that the live broadcast room can attract more users to watch and station. stay.
  • the system can also provide some information on the interface during the live broadcast. For example, according to the user's “likes” behavior, “floating” some cartoon pictures on the screen, including “lollipop”, “ Love, etc., the more frequent the user's "likes", the more such small cards will float out, creating a high "hot” atmosphere. Or, you can play some animation effects on the screen according to the behavior of the user giving gifts, and so on.
  • the display effects provided by the system are not related to the layout of the room where the anchor is located, and therefore, it is difficult to decorate the anchor room.
  • the present application provides a network video live broadcast method, device, and electronic device, so that the terminal device where the second client is located can obtain a video viewing experience with AR enhanced information without performing performance upgrade.
  • a network video live broadcast method includes:
  • the first client renders the enhanced information during the process of collecting the live video stream
  • the enhanced video stream is provided to a server, and the enhanced video stream is provided by the server to at least one second client.
  • a network video live broadcast method includes:
  • a live video stream provided by the first client, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information;
  • the enhanced video stream is provided to at least one second client having a need to view the live video stream.
  • a network video live broadcast method includes:
  • the second client submits a request to the server to view the specified live video stream
  • the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information
  • the enhanced video stream is displayed.
  • a network video live broadcast method includes:
  • the first client collects a live video stream
  • An object in a physical space environment is identified from the live video stream for adding enhancement information to the live video stream according to the location of the identified target object in the video image.
  • a network video live broadcast method includes:
  • the first client provides optional enhanced topic information in the live video interface
  • the enhanced information corresponding to the target enhanced theme is rendered;
  • a network video live broadcast method includes:
  • the server determines target enhancement information to be rendered
  • the target enhanced information is sent to the first client that is the live broadcast initiator, and the target enhanced information is used to be added to the live video stream collected by the first client.
  • a network video live broadcast device is applied to a first client, including:
  • An enhanced information rendering unit configured to render enhanced information during the process of collecting the live video stream
  • An enhanced video stream generating unit configured to synthesize the collected live video stream and the enhanced information to generate an enhanced video stream with enhanced information
  • An enhanced video stream providing unit for providing the enhanced video stream to a server, the enhanced video stream being provided by the server to at least one second client.
  • a network video live broadcast device is applied to a server, including:
  • a live video stream receiving unit configured to receive a live video stream provided by the first client, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information;
  • a live video stream providing unit configured to provide the enhanced video stream to at least one second client having a requirement for viewing the live video stream.
  • a network video live broadcast device is applied to a second client, including:
  • a request submitting unit configured to submit a request for viewing a specified live video stream to the server
  • a video stream receiving unit configured to receive a live video stream provided by the server, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information;
  • a video stream display unit configured to display the enhanced video stream.
  • a network video live broadcast device is applied to a first client, including:
  • a live video stream collecting unit is configured to collect a live video stream
  • an identifying unit configured to identify an object in the physical space environment from the live video stream, to add the enhanced information to the live video stream according to the location of the identified target object in the video image.
  • a network video live broadcast device is applied to a first client, including:
  • a target enhancement theme determining unit configured to: after the target enhanced theme is selected, render the enhanced information corresponding to the target enhanced theme;
  • a synthesis processing unit configured to synthesize the enhanced information and the live video information.
  • a network video live broadcast device is applied to a server, including:
  • a target enhancement information determining unit configured to determine target enhancement information to be rendered
  • the target enhanced information pushing unit is configured to push the target enhanced information to the first client that is the live broadcast initiator, and the target enhanced information is used to add to the live video stream collected by the first client.
  • An electronic device comprising:
  • One or more processors are One or more processors;
  • a memory associated with the one or more processors the memory for storing program instructions that, when read by the one or more processors, perform the following operations:
  • the enhanced video stream is provided to a server, and the enhanced video stream is provided by the server to at least one second client.
  • the present application discloses the following technical effects:
  • the first client can initiate the collection of the live video stream and the rendering of the enhanced information, and combine the two to obtain an enhanced video stream, and then the enhanced video stream can be obtained.
  • the second client that views the live broadcast of the network video, so that the terminal device where the second client is located can obtain the video viewing experience with the AR enhanced information without performing performance upgrade.
  • FIG. 1 is a schematic structural diagram of a system provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of a form of enhanced information display provided by an embodiment of the present application.
  • 4-1 to 4-3 are schematic diagrams of interfaces provided by an embodiment of the present application.
  • FIG. 5 is a flowchart of a second method provided by an embodiment of the present application.
  • FIG. 6 is a flowchart of a third method provided by an embodiment of the present application.
  • FIG. 7 is a flowchart of a fourth method provided by an embodiment of the present application.
  • FIG. 10 is a schematic diagram of a first device provided by an embodiment of the present application.
  • FIG. 11 is a schematic diagram of a second device provided by an embodiment of the present application.
  • FIG. 12 is a schematic diagram of a third device provided by an embodiment of the present application.
  • FIG. 13 is a schematic diagram of a fourth device provided by an embodiment of the present application.
  • FIG. 14 is a schematic diagram of a fifth device provided by an embodiment of the present application.
  • FIG. 15 is a schematic diagram of a sixth device provided by an embodiment of the present application.
  • FIG. 16 is a schematic diagram of an electronic device according to an embodiment of the present application.
  • Augmented Reality in order to better help the anchor user to decorate the environment of the live broadcast, and to play the role of rendering the atmosphere, Augmented Reality (AR) can be implemented in the process of live broadcast.
  • AR is a technology that integrates real world information and virtual world information, and is an entity information (visual information, sound, taste, touch, etc.) that is difficult to experience in a certain time and space of the real world.
  • entity information visual information, sound, taste, touch, etc.
  • the virtual information is applied to the real world, and is perceived by human senses.
  • the real environment and virtual objects are superimposed in the same picture or space in real time, thus surpassing reality. Sensory experience.
  • the implementation of the AR technology usually depends on the hardware and software configuration of the terminal device as the viewing terminal, and some relatively low-end terminal devices may not be implemented.
  • Better augmented reality The number of users on the network video is large, and a large number of users use relatively low-end terminal devices, which cannot support the processing and playback of AR information. Therefore, when watching live video using such terminal devices, Unable to achieve AR effect. It is also because some viewer devices cannot achieve the AR effect.
  • the anchor terminal wants to decorate the live broadcast room, it can only be realized by arranging decorations such as lights in the room.
  • the AR effect can be effectively added during the live broadcast of the network video, and at the same time, the performance upgrade of the terminal device of the viewing terminal is not depended.
  • the specific implementation manner may be that, on the anchor end (referred to as the first client in the embodiment of the present application, and correspondingly, the viewing terminal is referred to as the second client), the collected live video stream and the AR effect enhancement information are performed. Synthesizing, and then sending to the server, so that when the second terminal requests the server to watch the live broadcast of the network video initiated by the first client, the server may provide the enhanced live video stream to the second client, and second The client can play directly to get a live video stream with enhanced information.
  • the second client only needs to be able to parse and play the video stream normally, and does not need to perform related processing such as video synthesis. Therefore, the second client can play the AR effect while the terminal device where the second client is located does not need to support the AR technology.
  • the embodiment of the present application relates to a first client, a server, and a second client, where the first client is mainly used by a client that initiates a live broadcast of the network video.
  • the role may include the collection of the live video stream, the rendering of the enhanced information, and the synthesis of the two, uploading to the server, and the like.
  • the server may be configured to receive a live video stream uploaded by the first client.
  • the video stream is a video stream with enhanced information, and a specific live broadcast URL may be generated and sent to the second client. Provide the appropriate link.
  • the second client is mainly used to play a specific live video stream.
  • This embodiment first provides a method for webcasting from the perspective of the first client.
  • the method may specifically include:
  • S201 The first client renders the enhanced information in the process of collecting the live video stream.
  • the principle is to combine a myriad of individual particles to make a fixed shape.
  • the controller or script controls its overall or individual motion, simulating real-world effects.
  • the part shown by 301 is the enhanced content rendered, which is not the real scene image collected from the physical space environment where the anchor is located, but is used for the physical space environment.
  • the specific enhanced information is mainly provided by the server, and may be multiple, and the first client may determine the enhanced information that needs to be currently rendered in multiple ways.
  • the server may push relevant enhanced information to the first client according to actual conditions. For example, the server may push according to whether the live broadcast is currently for a specific holiday. For example, if the current date is Christmas, the Christmas-related enhanced information may be pushed to the first client, so that the Christmas tree and the like may be purchased without the anchor. , you can view enhanced information with ambience from the live stream.
  • the network sales platform may generate the enhanced information according to the image data of the commodity object participating in the activity in advance. And provide it to the live platform server.
  • the live broadcast platform server can push the enhanced information related to the commodity object information to the first client, so that the user can obtain information related to the promotional commodity and the like from the video stream during the process of watching the live broadcast.
  • the personalized promotion may be performed according to the user characteristics of the main audience of the specific anchor user.
  • the enhanced information corresponding to the commodity object that is of general interest to the office worker can be pushed, and the like.
  • the enhanced information may be pushed according to the real-time weather conditions of the geographic location of the anchor. For example, if the city where the anchor is located is snowing, the enhanced information related to the snowy weather may be pushed to the first client of the anchor. ,and many more.
  • a plurality of optional enhanced themes can also be provided in the first client, each theme corresponding to different materials, and the anchor user can select the desired enhanced theme according to his own needs during the live broadcast process.
  • the enhanced information corresponding to the target enhanced theme is rendered.
  • specific optional enhancement topics may include "Tide Hyun Sports", “Discover Global”, “Cool Play Technology”, “Taste Life”, “Design Aesthetics", “True. Two Elements ",and many more.
  • the anchor user can select one of the themes to enhance their video, change to other themes to get different video enhancements, and more.
  • the material of the specific enhanced information may be obtained in advance.
  • the server may provide a plurality of optional materials, and the first client downloads the specific material to the terminal device in advance. Alternatively, it is also possible to download specific material from the server when it is necessary to render specific enhancement information.
  • the live video stream is collected locally on the terminal device where the first client is located, and the enhanced information is also locally rendered on the terminal device where the first client is located, and the first client is providing the live video stream to the server.
  • the collected information is also played locally on the terminal device, that is, in the live broadcast process, the content of the main body played by the first client and the second client are consistent. Therefore, after the live video stream is collected, the first client can be played locally on the terminal device, and the enhanced information can be directly synthesized in the collected live video stream directly by the terminal device, and A client plays, so that the anchor user can also view the enhanced live video information.
  • S202 Synthesize the collected live video stream and the enhanced information to generate an enhanced video stream with enhanced information.
  • the live video stream and the enhanced information may be synthesized in the first client to generate enhanced information.
  • Enhanced video stream which is mainly used for providing to the server, and then provided by the server to the second client requesting to watch the live video of the video.
  • the target object when the collected live video stream is combined with the enhanced information, the target object may be identified from the collected live video stream, and then the collected live broadcast is obtained according to the location information of the target object.
  • the video stream is combined with the enhanced information to display the enhanced information at a location where the target object is located, so that the collected real-life image and the rendered virtual image can be integrated into one, which is better realized.
  • the effect of AR is also considered.
  • the anchor user aligns his camera with a computer, so that this computer is the main content in the real-life image captured by the camera, and selects the "true. two yuan" enhanced theme, then the synthesized The effect can be as shown in Figure 4-2.
  • the enhanced information under the enhanced theme can be displayed according to the location of the computer, and the virtual character image of the enhanced information is displayed near the computer. If the anchor user moves his terminal device and causes the position of the computer to change in the screen, the position of the virtual character may also change, as shown in Figure 4-3, that is, the enhanced information may follow the target object in the The change in position in the live video stream image.
  • an object recognition model may be established in advance, and the object recognition model may identify the category of the specific target object, for example, A computer, or a water dispenser, and so on.
  • the object recognition model is blindly established, and the method of traversing all objects to identify the model Identifying the target objects in the current live broadcast room will be inefficient, the recognition may not be high, and the number of object recognition models that need to be established in advance may be very large.
  • the correspondence between each first user and the object recognition model that may be required may be saved in advance, so that the first client may need to perform object recognition.
  • a request for obtaining an object recognition model is initiated to the server, and the first client may be associated with the identifier information of the first user, and the server may return the object recognition model associated with the first user to the first client, first The client can use these associated recognition models to identify the target object.
  • the specific object recognition model may also be pre-established by the server, and the first client provides an optional object recognition model list for the host user, and the anchor user may select from the user, and then save the first user in the server.
  • the correspondence indicates which objects to be identified in the live room of the first user. For example, if a first user's live room has an object such as a computer, a water dispenser, or a coffee machine, the first user may select a recognition model corresponding to the object when selecting the object recognition model. In this way, in the process of specifically performing the live broadcast, if the enhancement information needs to be rendered, the recognition model can be used to identify the target object from the image currently entering the camera acquisition range, and display the virtual image.
  • the related technician may perform multi-angle image acquisition on the object in advance, for example, for example.
  • the object can be placed in the middle, a terminal device such as a handheld mobile phone walks around the object for one week, and the mobile phone camera is always aimed at the object, thereby obtaining a video, and each frame image in the video can be used as training for the object recognition.
  • a sample of the model before the specific use of each frame image for training, it is usually necessary to mark the position of the target object in each frame of the image.
  • the labeling of the image training samples is mainly divided into two types, one is based on the annotation of the two-dimensional image, and the other is the three-dimensional image annotation based on the object CAD model.
  • the so-called two-dimensional image annotation mainly refers to the rectangular area where the target object is located in the two-dimensional image, and the process usually needs to be completed by the staff by manual labeling. That is, the worker is required to manually select the position of the target object in each image.
  • the efficiency of manual labeling is very low. In the case of a large number of image training samples, it takes a lot of manpower and time cost to mark.
  • the three-dimensional image annotation based on the object CAD model mainly uses each frame in the pre-captured video as the image training sample, and first obtains the CAD model of the target object.
  • the target object in the video is a car
  • the first need to be A CAD model of the automobile is obtained, and then a correspondence relationship between a plurality of points in the CAD model and feature points corresponding to the target object is artificially marked in one of the frames.
  • model-based tracking can be used to track the target object for batch labeling.
  • the tracking process specifically uses the feature points of the marked target object to identify the location of the target object in other frame images.
  • This annotation method in 3D space is more automated than the two-dimensional image annotation, and can realize the purpose of labeling one frame in the video and automatically labeling the entire video.
  • the automatic labeling itself has a uniform quantitative standard for labeling accuracy, which is more accurate than artificial labeling.
  • its shortcomings are also very obvious.
  • the CAD model of the target object is usually provided by the production or design side of the target object.
  • the CAD model is not available from the production or design side, it will not be possible to achieve automatic use of the above method. Marking, and in practice, this phenomenon is very common, that is, it is difficult to obtain the CAD model of the target object, thus affecting the versatility of this method.
  • an automatic labeling scheme can also be provided in the embodiment of the present application, and the CAD model of the target object can be used, and the target object can be marked while shooting, and when the video shooting is completed, The labeling operation for each frame image is completed, that is, it is not necessary to perform the labeling operation of the target object for each frame image after the video is captured, so that the labeling efficiency can be effectively improved.
  • tracking is performed by means of a computer vision inertial component (for example, ARKit, etc.), and in a shooting standby state after the camera component is started (that is, the camera starts to framing, the screen of the terminal device)
  • the framing image can be displayed on the screen, but the user has not pressed the shooting button.
  • the outline of the target object is further recorded.
  • the position of the marked point can be tracked, and each time an image is captured, the mapping position of the marked point in the image plane of the image can be determined. This mapping position can be used to determine the position of the target object in the image of the frame.
  • the foregoing function may be implemented in the first client, so that the operation of the video capture may be performed by the anchor user through the first client.
  • the first client The annotation of the position of the target object in each frame of the image can be automatically completed. That is to say, the anchor user can perform image acquisition on an object that may be photographed in the room before the specific live broadcast, and the operation of the collection can be performed by the first client.
  • the computer may be brought into the live broadcast screen, and the first client may be used to perform multi-angle image acquisition on the computer in advance.
  • the training image can be generated and submitted to the server, and the server can directly use the training image for training, and the process of labeling is not necessary. That is to say, in this manner, the object recognition model may be generated according to the training material submitted by the first client, the training material includes a video file obtained by multi-angle shooting of the specified object, and saving A document file having positional calibration information specifying the object in each frame image, for example, may be an XML document or the like.
  • the position calibration information may be determined by: obtaining a plurality of label points for representing the location of the specified object in the shooting standby state after the camera component is started, and acquiring one frame after starting image acquisition. In the image, the position calibration information of the specified object in each frame image is determined by tracking the mapping position of the plurality of label points in the image plane of each frame image.
  • the related images can be collected by the respective anchor users according to the objects actually arranged in the live broadcast, and the server can generate a more targeted object recognition model according to this, so that the identification that needs to be saved can be reduced.
  • S203 Providing the enhanced video stream to a server, where the enhanced video stream is provided by the server to at least one second client.
  • the first client After the first client synthesizes the enhanced video stream, it can be submitted to the server.
  • the method of submitting and synthesizing can be adopted, thereby achieving the effect of streaming.
  • the above-mentioned enhanced video stream is provided during the live broadcast of the network video, and the server can provide a corresponding access URL for the specific live video of the network.
  • the server can make a request to the server.
  • the server can assign a specific URL to it.
  • the first client can initiate the collection of the video stream and the rendering of the enhanced information by the first client that initiates the live broadcast of the network video, and combine the two to obtain an enhanced video stream.
  • the enhanced video stream is provided to the second client that views the live broadcast of the network video, so that the terminal device where the second client is located can obtain the video viewing experience with the AR enhanced information without performing performance upgrade.
  • the second embodiment is corresponding to the first embodiment. From the perspective of the server, a network video live broadcast method is provided. Referring to FIG. 5, the method may specifically include:
  • the server receives a live video stream provided by the first client, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information.
  • the enhanced video stream is provided to at least one second client having a requirement for viewing the live video stream.
  • the third embodiment is also corresponding to the first embodiment. From the perspective of the second client, a network video live broadcast method is provided. Referring to FIG. 6, the method may specifically include:
  • S601 The second client submits a request for viewing the specified live video stream to the server.
  • S602 Receive a live video stream provided by the server, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information.
  • S603 Display the enhanced video stream.
  • the fourth embodiment is a network video live broadcast method from another perspective of the first client.
  • the method may specifically include:
  • the first client collects a live video stream.
  • S702 Identify, from the live video stream, an object in a physical space environment for adding enhancement information to the live video stream according to the location of the identified target object in the video image.
  • the collecting of the live video stream and the subsequent object recognition processing may be performed after the anchor user initiates the live broadcast, so as to add the enhanced image to the collected real-life image.
  • the enhanced information to be rendered may also be determined, and then the enhanced information is rendered for adding to the live video stream.
  • the live video stream may be combined with the enhanced information to generate an enhanced video stream with enhanced information, and then the enhanced video stream is provided to a server, and the enhanced video stream is provided by the server. At least one second client.
  • the enhanced information to be rendered may be determined according to the information pushed by the server.
  • the information pushed by the server may be determined according to a preset holiday, or may be determined according to a specific weather type that occurs in the geographic location of the anchor user.
  • optional enhanced theme information may be provided in the live video interface, and after the target enhanced theme is selected, the enhanced information corresponding to the target enhanced theme is determined as the enhanced information to be rendered.
  • the anchor user can interact with the first client to select the theme that they need or are interested in, and enhance the image between the live rooms.
  • the enhanced information includes: enhanced information used to set the atmosphere.
  • it may include: enhanced information generated from an image of the related commodity object.
  • the network video broadcast method is provided from the perspective of the interaction between the first client and the anchor user.
  • the method may specifically include:
  • the first client provides optional enhanced theme information in a live video interface.
  • S803 Synthesize the enhanced information and the live video information.
  • the synthesized enhanced video stream may also be provided to a server, and the enhanced video stream is provided by the server to the at least one second client.
  • an object in a physical space environment may be identified from the live video stream for use according to the identified target object.
  • the location in the video image adds the enhanced information to the live video stream.
  • another network video live broadcast method is provided from the perspective of the server.
  • the method may specifically include:
  • S901 The server determines target enhancement information to be rendered.
  • the enhanced information corresponding to the weather type is determined as the target enhancement information.
  • the enhanced information generated based on the image information of the product object provided by the network sales server may be received in advance; at this time, the enhanced information generated based on the image information of the product object may be determined as the target enhanced information.
  • the enhanced information generated according to the image information of the product object may correspond to the target date information.
  • the enhanced information generated according to the image information of the product object may be determined as the location within the target date.
  • Target enhancement information may be provided.
  • the enhanced information generated according to the image information of the product object corresponds to the target user group information; at this time, the feature of the viewing end user group that plays the content according to the first client, and the The enhanced information generated by the image information determines the target enhanced information to implement personalized information push.
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to the first client, and includes:
  • the enhanced information rendering unit 1001 is configured to render the enhanced information during the process of collecting the live video stream;
  • the enhanced video stream generating unit 1002 is configured to synthesize the collected live video stream and the enhanced information to generate an enhanced video stream with enhanced information.
  • the enhanced video stream providing unit 1003 is configured to provide the enhanced video stream to a server, and the enhanced video stream is provided by the server to the at least one second client.
  • the local playing unit is configured to play the enhanced video stream locally on the terminal device where the first client is located.
  • the enhanced video stream generating unit may specifically include:
  • a target object identification subunit configured to identify a target object from the collected live video stream
  • a synthesizing subunit configured to synthesize the collected live video stream and the video enhancement information according to the location information of the target object, so as to display the video enhancement information at a location where the target object is located.
  • the video enhancement information may follow a change in location of the target object in the live video stream image.
  • the device may further include:
  • An object recognition model obtaining unit is configured to obtain an object recognition model for identifying a target object from the collected live video stream.
  • the object recognition model obtaining unit may be specifically configured to:
  • the object recognition model may be generated according to the training material submitted by the first client, where the training material includes a video file obtained by multi-angle shooting of the specified object, and the specified object is saved. A document file of position calibration information in each frame image.
  • the position calibration information may be determined by: obtaining a plurality of label points for representing the location of the specified object in the shooting standby state after the camera component is started, and starting each image acquisition after the image acquisition is started. And determining position calibration information of the specified object in each frame image by tracking a mapping position of the plurality of label points in an image plane of each frame image.
  • the device may further include:
  • An optional theme providing unit for providing optional enhanced topic information before the rendering of the video enhancement information
  • the target theme determining unit is configured to render the video enhancement information corresponding to the target enhanced theme after the target enhanced theme is selected.
  • the video enhancement information includes three-dimensional particle effect information or three-dimensional model information.
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to a server, and includes:
  • the live video stream receiving unit 1101 is configured to receive a live video stream provided by the first client, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information.
  • the live video stream providing unit 1102 is configured to provide the enhanced video stream to at least one second client having a requirement for viewing the live video stream.
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to the second client, and includes:
  • the request submitting unit 1201 is configured to submit a request for viewing the specified live video stream to the server;
  • the video stream receiving unit 1202 is configured to receive a live video stream provided by the server, where the live video stream is an enhanced video stream obtained by synthesizing the collected live image video stream and the rendered enhanced information;
  • the video stream display unit 1203 is configured to display the enhanced video stream.
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to the first client, and includes:
  • the live video stream collecting unit 1301 is configured to collect a live video stream
  • the identifying unit 1302 is configured to identify an object in the physical space environment from the live video stream, to add the enhanced information to the live video stream according to the location of the identified target object in the video image. .
  • the device may further include:
  • An enhancement information determining unit configured to determine enhancement information to be rendered
  • a rendering unit configured to render the enhanced information for adding to the live video stream.
  • a synthesizing unit configured to synthesize the live video stream and the enhanced information to generate an enhanced video stream with enhanced information
  • An enhanced video stream providing unit for providing the enhanced video stream to the server, the enhanced video stream being provided by the server to the at least one second client.
  • the enhanced information determining unit may be specifically configured to:
  • the enhanced information to be rendered is determined based on the information pushed by the server.
  • the information pushed by the server is determined according to a preset holiday.
  • the information pushed by the server is determined according to a specific weather type that occurs in the geographic location of the anchor user.
  • the enhanced information determining unit may be specifically configured to:
  • the enhanced information corresponding to the target enhanced theme is determined as the enhanced information to be rendered.
  • the enhancement information includes: enhanced information for setting an atmosphere.
  • the enhancement information includes: enhanced information generated from an image of the related item object.
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to the first client, and includes:
  • the enhanced theme providing unit 1401 is configured to provide optional enhanced theme information in the live video interface
  • the target enhanced topic determining unit 1402 is configured to: after the target enhanced theme is selected, render the enhanced information corresponding to the target enhanced theme;
  • the synthesis processing unit 1403 is configured to perform the synthesis processing on the enhanced information and the live video information.
  • the device may further include:
  • an enhanced video stream providing unit configured to provide the synthesized enhanced video stream to the server, where the enhanced video stream is provided by the server to the at least one second client.
  • the synthesis processing unit may be specifically configured to:
  • the embodiment of the present application further provides a network video live broadcast device.
  • the device is applied to a server, and includes:
  • a target enhancement information determining unit 1501 configured to determine target enhancement information to be rendered
  • the target enhancement information determining unit may be specifically configured to:
  • the enhanced information related to the preset holiday is determined as the target enhanced information.
  • the target enhancement information determining unit may be specifically configured to:
  • the enhanced information corresponding to the weather type is determined as the target enhancement information.
  • the device may further include:
  • An enhanced information receiving unit configured to receive in advance, enhanced information generated by the network sales server according to image information of the commodity object
  • the target enhancement information determining unit may be specifically configured to:
  • the enhancement information generated based on the image information of the commodity object is determined as the target enhancement information.
  • the enhanced information generated according to the image information of the product object corresponds to target date information
  • the target enhancement information determining unit may be specifically configured to:
  • the enhancement information generated based on the image information of the commodity object is determined as the target enhancement information within the target date.
  • the enhanced information generated according to the image information of the product object may also correspond to the target user group information
  • the target enhancement information determining unit may be specifically configured to:
  • an electronic device including:
  • One or more processors are One or more processors;
  • a memory associated with the one or more processors the memory for storing program instructions that, when read by the one or more processors, perform the following operations:
  • the enhanced video stream is provided to a server, and the enhanced video stream is provided by the server to at least one second client.
  • FIG. 16 exemplarily shows the architecture of the electronic device.
  • the device 1600 can be a mobile phone, a computer, a digital broadcast terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, and a personal digital assistant. , aircraft, etc.
  • device 1600 can include one or more of the following components: processing component 1602, memory 1604, power component 1606, multimedia component 1608, audio component 1610, input/output (I/O) interface 1612, sensor component 1614, And a communication component 1616.
  • Processing component 1602 typically controls the overall operation of device 1600, such as operations associated with display, telephone calls, data communications, camera operations, and recording operations.
  • the processing component 1602 can include one or more processors 1620 to execute instructions to complete a traffic compression request when the preset condition is met in the video playing method provided by the technical solution of the present disclosure, and send the traffic compression request to the server, where the traffic is sent to the server.
  • processing component 1602 can include one or more modules to facilitate interaction between component 1602 and other components.
  • processing component 1602 can include a multimedia module to facilitate interaction between multimedia component 1608 and processing component 1602.
  • Memory 1604 is configured to store various types of data to support operation at device 1600. Examples of such data include instructions for any application or method operating on device 1600, contact data, phone book data, messages, pictures, videos, and the like. Memory 1604 can be implemented by any type of volatile or non-volatile storage device, or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read only memory (EEPROM), erasable Programmable Read Only Memory (EPROM), Programmable Read Only Memory (PROM), Read Only Memory (ROM), Magnetic Memory, Flash Memory, Disk or Optical Disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read only memory
  • EPROM erasable Programmable Read Only Memory
  • PROM Programmable Read Only Memory
  • ROM Read Only Memory
  • Magnetic Memory Flash Memory
  • Disk Disk or Optical Disk.
  • Power component 1606 provides power to various components of device 1600.
  • Power component 1606 can include a power management system, one or more power sources, and other components associated with generating, managing, and distributing power for device 1600.
  • the multimedia component 1608 includes a screen between the device 1600 and the user that provides an output interface.
  • the screen can include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen can be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touches, slides, and gestures on the touch panel. The touch sensor can sense not only the boundaries of the touch or sliding action, but also the duration and pressure associated with the touch or slide operation.
  • the multimedia component 1608 includes a front camera and/or a rear camera. When the device 1600 is in an operation mode, such as a shooting mode or a video mode, the front camera and/or the rear camera can receive external multimedia data. Each front and rear camera can be a fixed optical lens system or have focal length and optical zoom capabilities.
  • the audio component 1610 is configured to output and/or input an audio signal.
  • the audio component 1610 includes a microphone (MIC) that is configured to receive an external audio signal when the device 1600 is in an operational mode, such as a call mode, a recording mode, and a voice recognition mode.
  • the received audio signal may be further stored in memory 1604 or transmitted via communication component 1616.
  • the audio component 1610 also includes a speaker for outputting an audio signal.
  • the I/O interface 1612 provides an interface between the processing component 1602 and a peripheral interface module, which may be a keyboard, a click wheel, a button, or the like. These buttons may include, but are not limited to, a home button, a volume button, a start button, and a lock button.
  • Sensor assembly 1614 includes one or more sensors for providing device 1600 with a status assessment of various aspects.
  • sensor assembly 1614 can detect an open/closed state of device 1600, a relative positioning of components, such as the display and keypad of device 1600, and sensor component 1614 can also detect a change in position of one component of device 1600 or device 1600. The presence or absence of contact by the user with the device 1600, the orientation or acceleration/deceleration of the device 1600 and the temperature change of the device 1600.
  • Sensor assembly 1614 can include a proximity sensor configured to detect the presence of nearby objects without any physical contact.
  • Sensor assembly 1614 may also include a light sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor assembly 1614 can also include an acceleration sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • Communication component 1616 is configured to facilitate wired or wireless communication between device 1600 and other devices.
  • Device 1600 can access a wireless network based on a communication standard, such as WiFi, 2G or 3G, or a combination thereof.
  • the communication component 1616 receives broadcast signals or broadcast associated information from an external broadcast management system via a broadcast channel.
  • the communication component 1616 also includes a near field communication (NFC) module to facilitate short range communication.
  • NFC near field communication
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • device 1600 may be implemented by one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable A gate array (FPGA), controller, microcontroller, microprocessor, or other electronic component implementation for performing the above methods.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGA field programmable A gate array
  • controller microcontroller, microprocessor, or other electronic component implementation for performing the above methods.
  • a non-transitory computer readable storage medium comprising instructions, such as a memory 1604 comprising instructions executable by processor 1620 of device 1600 to perform the video provided by the disclosed technical solutions
  • the traffic compression request is generated and sent to the server, where the traffic compression request records information for triggering the server to acquire the target attention area, and the traffic compression request is used to request the server priority.
  • the code content of the video content in the target area is ensured; the video content corresponding to the code stream file is played according to the code stream file returned by the server, where the code stream file is the server according to the traffic compression request to the target attention area.
  • the non-transitory computer readable storage medium may be a ROM, a random access memory (RAM), a CD-ROM, a magnetic tape, a floppy disk, and an optical data storage device.
  • the present application can be implemented by means of software plus a necessary general hardware platform. Based on such understanding, the technical solution of the present application may be embodied in the form of a software product in essence or in the form of a software product, which may be stored in a storage medium such as a ROM/RAM or a disk. , an optical disk, etc., includes instructions for causing a computer device (which may be a personal computer, server, or network device, etc.) to perform the methods described in various embodiments of the present application or portions of the embodiments.
  • a computer device which may be a personal computer, server, or network device, etc.

Abstract

本申请实施例公开了网络视频直播方法、装置及电子设备，其中一方法包括：第一客户端在采集直播视频流的过程中，渲染增强信息；将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。通过本申请实施例，使得第二客户端所在的终端设备无需进行性能升级，即可获得具有AR增强信息的视频观看体验。

Description

网络视频直播方法、装置及电子设备
本申请要求2017年12月26日递交的申请号为201711433544.7、发明名称为“网络视频直播方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及网络视频直播技术领域，特别是涉及网络视频直播方法、装置及电子设备。
背景技术
网络直播技术是当今的热门技术之一，很多网站或者App都提供了在线直播功能。在这种直播网站中，任何用户都可以申请成为主播，因此，网站内可以包括多个主播，每个主播向一个频道内的多个用户进行广播，用户可以看到当前频道内的主播视频，并听到其声音，主播还可以与频道内的多个用户进行私聊，等等。
在网络直播过程中，如果主播想要丰富屏幕上的展示内容，或者烘托出一定的氛围，通常只能自行在房间里布置一些灯光等装饰物，使得其直播间能够更吸引用户的观看以及驻留。除此之外，系统也能够在直播的过程中在界面上提供一些信息，例如，根据用户的“点赞”行为，在屏幕中“飘”出一些卡通图片，包括“棒棒糖”、“爱心”等等，用户的“点赞”次数越多越频繁，也会飘出越多的这类小卡片，以此营造出一种高“热度”的氛围。或者，还可以根据用户赠送礼物的行为，在屏幕上播放一些动画特效，等等。但是，系统提供的这些展示效果，均与主播所在房间的布置布局等无关，因此，难以起到装饰主播间的目的。
发明内容
本申请提供了网络视频直播方法、装置及电子设备，使得第二客户端所在的终端设备无需进行性能升级，即可获得具有AR增强信息的视频观看体验。
本申请提供了如下方案：
一种网络视频直播方法，包括：
第一客户端在采集直播视频流的过程中，渲染增强信息；
将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频 流；
将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
一种网络视频直播方法，包括：
服务器接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
一种网络视频直播方法，包括：
第二客户端向服务器提交观看指定直播视频流的请求；
接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
对所述增强视频流进行展示。
一种网络视频直播方法，包括：
第一客户端采集直播视频流；
从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
一种网络视频直播方法，包括：
第一客户端在视频直播界面中提供可选的增强主题信息；
在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
将所述增强信息与所述视频直播信息进行合成处理。
一种网络视频直播方法，包括：
服务器确定待渲染的目标增强信息；
将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
一种网络视频直播装置，应用于第一客户端，包括：
增强信息渲染单元，用于在采集直播视频流的过程中，渲染增强信息；
增强视频流生成单元，用于将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
增强视频流提供单元，用于将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
一种网络视频直播装置，应用于服务器，包括：
直播视频流接收单元，用于接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
直播视频流提供单元，用于将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
一种网络视频直播装置，应用于第二客户端，包括：
请求提交单元，用于向服务器提交观看指定直播视频流的请求；
视频流接收单元，用于接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
视频流展示单元，用于对所述增强视频流进行展示。
一种网络视频直播装置，应用于第一客户端，包括：
直播视频流采集单元，用于采集直播视频流；
识别单元，用于从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
一种网络视频直播装置，应用于第一客户端，包括：
增强主题提供单元，用于在视频直播界面中提供可选的增强主题信息；
目标增强主题确定单元，用于在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
合成处理单元，用于将所述增强信息与所述视频直播信息进行合成处理。
一种网络视频直播装置，应用于服务器，包括：
目标增强信息确定单元，用于确定待渲染的目标增强信息；
目标增强信息推送单元，用于将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
在采集直播视频流的过程中，渲染增强信息；
将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
通过本申请实施例，可以由发起网络视频直播的第一客户端机械能直播视频流的采集以及增强信息的渲染，并将两者进行合成，得到增强视频流，然后，可以将这种增强视频流提供给观看该网络视频直播的第二客户端，这样，第二客户端所在的终端设备无需进行性能升级，即可获得具有AR增强信息的视频观看体验。对于主播端的用户而言，无需专门在直播间布置装饰物，即可获得想要的氛围渲染效果，甚至还能够超出普通装饰物所带来的效果。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统架构示意图；
图2是本申请实施例提供的第一方法的流程图；
图3是本申请实施例提供的增强信息展示形式示意图；
图4-1至4-3是本申请实施例提供的界面示意图；
图5是本申请实施例提供的第二方法的流程图；
图6是本申请实施例提供的第三方法的流程图；
图7是本申请实施例提供的第四方法的流程图；
图8是本申请实施例提供的第五方法的流程图；
图9是本申请实施例提供的第六方法的流程图；
图10是本申请实施例提供的第一装置的示意图；
图11是本申请实施例提供的第二装置的示意图；
图12是本申请实施例提供的第三装置的示意图；
图13是本申请实施例提供的第四装置的示意图；
图14是本申请实施例提供的第五装置的示意图；
图15是本申请实施例提供的第六装置的示意图；
图16是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，为了更好的帮助主播端用户装饰其直播间的环境，起到渲染氛围等作用，可以在直播的过程中实现增强现实(Augmented Reality，AR)。其中，AR是一种将真实世界信息和虚拟世界信息进行集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，从而达到超越现实的感官体验。
但是，现有技术中，却难以将AR技术与网络直播技术相结合，主要是因为，AR技术的实现通常依赖于作为观看端的终端设备的软硬件配置，一些相对低端的终端设备可能无法实现较好的增强现实效果。而网络视频的观看端用户数量众多，其中存在很大部分的用户使用的是相对低端的终端设备，无法支持AR信息的处理及播放，因此，在使用这种终端设备观看直播视频时，就无法实现AR效果。也正是因为有些观看端设备无法实现AR效果，在现有技术中，如果主播端想要对其直播间进行装饰，只能通过在房间内布置灯光等装饰物的方式来实现。
而本申请实施例中，则可以在网络视频直播的过程中，有效的添加AR效果，同时，不依赖于观看端终端设备的性能升级。具体的实现方式可以是，在主播端(本申请实施例中称为第一客户端，相应的，将观看端称为第二客户端)将采集到的直播视频流与AR效果的增强信息进行合成，然后再发送到服务器，这样，当第二终端向服务器请求收看该第一客户端发起的网络视频直播时，服务器就可以将该增强后的直播视频流提供给第二客户端，第二客户端直接进行播放，即可获得带有增强信息的直播视频流。在该方案中，只需要第一客户端所在的终端设备能够支持AR技术即可，第二客户端只需要能够正常对视频流进行解析及播放即可，不需要进行视频的合成等相关处理，因此，能够使 得第二客户端播放出AR效果的同时，不需要第二客户端所在的终端设备支持AR技术。
从系统架构角度而言，参见图1，本申请实施例涉及到第一客户端、服务器以及第二客户端，其中，第一客户端主要是发起网络视频直播的一侧所使用的客户端，在本申请实施例中，其作用可以包括对直播视频流的采集，对增强信息的渲染以及将两者的合成、上传到服务器等。服务器则主要可以用于接收第一客户端上传的直播视频流，在本申请实施例中，该视频流为带有增强信息的视频流，另外可以生成具体的直播网址，并向第二客户端提供相应的链接。第二客户端则主要用于对具体的直播视频流进行播放。
下面对具体的实现方案进行详细介绍。
实施例一
该实施例一首先从第一客户端的角度，提供了一种网络直播方法，参见图2，该方法具体可以包括：
S201：第一客户端在采集直播视频流的过程中，渲染增强信息；
在网络视频直播过程中，第一客户端可以启动终端设备中的摄像机组件进行图像采集，并以流的形式上传到服务器。而在本申请实施例中，在采集了图像信息的同时，还可以对增强信息进行渲染，例如，具体可以包括一些用于渲染直播现场氛围的信息，包括一些三维(3D)粒子特效信息、3D模型信息，或者，还可以是与网络销售平台进行合作，根据平台内销售的商品对象的图像信息生成相关的增强信息，等等。其中，3D粒子特效信息具体是指，为模拟现实中的水、火、雾、气等效果由各种三维软件开发的制作模块，原理是将无数的单个粒子组合使其呈现出固定形态，借由控制器，脚本来控制其整体或单个的运动，模拟出现真实的效果。例如，如图3所示，其中的301所示的部分，即为渲染出的增强内容，这些内容并不是从主播所在的物理空间环境中采集到的实景图像，而是用于对物理空间环境进行氛围渲染的增强图像。
其中，具体的增强信息主要由服务器提供，并且可能会有多种，而第一客户端可以通过多种方式确定当前需要渲染的增强信息。例如，在一种方式下，可以是在视频直播的过程中，由服务器根据实际情况向第一客户端推送相关的增强信息。例如，服务器可以根据直播当前是否为某特定节日进行推送，如，假设当前日期是圣诞节，则可以向第一客户端推送与圣诞节相关的增强信息，这样可以无需主播自行购置圣诞树等装饰物，即可从直播视频流中观看到具有氛围烘托效果的增强信息。或者，如果与网络销售平台具有合作关系，而当前日期刚好是该网络销售平台举行某大型活动促销的日子，则可以由该网络销售平台预先根据参加活动的商品对象的图像数据，生成增强信息，并提供给 直播平台服务器。这样，直播平台服务器便可以向第一客户端推送与这种商品对象信息相关的增强信息，使得用户在观看直播的过程中，还可以从视频流中获得与促销商品等相关的信息。其中，在向第一客户端进行这种与商品对象信息相关的增强信息的推送时，还可以根据具体主播用户的主要受众群体的用户特征等，进行个性化的推送。例如，如果某主播的受众全体主要是上班族，则可以推送上班族普遍感兴趣的商品对象对应的增强信息，等等。再者，还可以根据主播所在地理位置的实时天气情况进行增强信息的推送，例如，如果某主播所在城市下雪了，则可以向该主播的第一客户端推送与下雪天气相关的增强信息，等等。
另外，在具体实现时，还可以在第一客户端提供多种可选的增强主题，每种主题对应不同的素材，主播用户在直播的过程中，可以根据自己的需求选择所需的增强主题，在目标增强主题被选中后，则渲染该目标增强主题对应的增强信息。例如，如图4-1所示，具体可选的增强主题可以包括“潮炫运动”、“发现全球”、“酷玩科技”、“品味生活”、“设计美学”、“真.二次元”，等等。主播用户可以选择其中一个主题对其视频进行增强，还可以更换到其他主题下获得不同的视频增强效果，等等。在这种情况下，具体的增强信息的素材可以是预先获得的，例如，可以是由服务器提供多种可选的素材，第一客户端提前将具体的素材下载到终端设备本地。或者，也可以是在需要渲染具体的增强信息时，再从服务器下载具体的素材。
其中，由于直播视频流是在第一客户端所在的终端设备本地进行采集的，增强信息也是在第一客户端所在的终端设备本地进行渲染，而第一客户端在向服务器提供直播视频流的过程中，也会在终端设备本地对采集到的信息进行播放，也即，在直播过程中，第一客户端与第二客户端所播放的主体内容是一致的。因此，在采集到直播视频流之后，还可以直接由第一客户端在终端设备本地进行播放，所渲染的增强信息也可以直接在终端设备本地合成到所采集的直播视频流中，并由第一客户端进行播放，使得主播用户也能够观看到增强后的直播视频信息。
S202：将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
除了在第一客户端中播放所述直播视频流以及所渲染的增强信息，在本申请实施例中，还可以在第一客户端中对直播视频流与增强信息进行合成，生成带有增强信息的增强视频流，这种增强视频流主要用于提供给服务器，然后由服务器提供给请求观看该视频直播的第二客户端。
具体在将采集到的直播视频流与增强信息进行合成时，还可以从所述采集到的直播视频流中识别目标物体，然后，根据所述目标物体所在的位置信息，将所采集到的直播视频流与所述增强信息进行合成，以便将所述增强信息展示在所述目标物体所在的位置，这样，可以使得采集到的实景图像与所渲染出的虚拟图像融为一体，更好的实现AR的效果。
例如，假设主播用户将其摄像头对准的是某台电脑，使得这台电脑是其摄像头所采集到的实景图像中的主体内容，并选择了“真.二次元”增强主题，则合成后的效果可以如图4-2所示，可以根据这台电脑所在的位置，对该增强主题下的增强信息进行展示，将该增强信息之的虚拟人物形象展示在电脑附近。如果主播用户移动其终端设备导致电脑在屏幕中的位置发生变化，则该虚拟人物的位置也可以随之变化，如图4-3所示，也即，增强信息可以跟随所述目标物体在所述直播视频流图像中的位置变化。
其中，具体实现时，为了能够从主播用户所在的空间环境中识别出具体的目标物体，可以预先建立物体识别模型，通过这种物体识别模型，可以识别出具体目标物体的类别，例如，是一台电脑，还是一台饮水机等等。其中，由于现实生活中可能存在的物体数量非常多，同一类型的物体在不同品牌不同型号之间也可能存在一些差异，因此，如果盲目的建立物体识别模型，并通过遍历所有物体识别模型的方式识别当前直播间中的目标物体，效率还会很低，识别度还可能不高，并且需要预先建立的物体识别模型的数量可能也会非常庞大。
为此，在本申请的优选实施例中，还可以预先将与各个第一用户与可能所需的物体识别模型之间对应关系进行保存，这样，第一客户端在需要进行物体识别时，可以向服务器发起获得物体识别模型的请求，并且可以在请求中携带第一客户端关联第一用户的标识信息，服务器则可以将该第一用户关联的物体识别模型返回给第一客户端，第一客户端利用这些相关联的识别模型进行目标物体的识别即可。
其中，具体的物体识别模型也可以是由服务器预先进行建立，并通过第一客户端为主播用户提供可选的物体识别模型列表，主播用户可以从中进行选择，之后，在服务器中保存第一用户(也即主播用户)与物体识别模型之间的对应关系。该对应关系表明，该第一用户的直播间中有哪些待识别的物体。例如，某第一用户的直播间中有电脑、饮水机、咖啡机等物体，则该第一用户在进行物体识别模型的选择时，可以选择这些物体对应的识别模型。这样，后续在具体进行直播的过程中，如果需要渲染增强信息，则可以使用这些识别模型从当前进入摄像头采集范围的图像中识别出目标物体，并进行虚拟 图像的展示。
其中，具体在建立物体识别模型时，通常需要预先获取训练图像，在通常情况下，如果需要建立某物体的识别模型，则可以由相关的技术人员预先对该物体进行多角度的图像采集，例如，可以将物体放置在中间，手持手机等终端设备围绕该物体走一周，并将手机摄像头始终对准该物体，从而获得一个视频，视频中的每一帧图像都可以作为用于训练该物体识别模型的样本。其中，在具体使用各帧图像进行训练之前，通常还需要对每帧图像中目标物体所在的位置进行标注。在现有技术中，图像训练样本的标注主要分为两种，一种是基于二维图像的标注，另一种是基于物体CAD模型的三维图像标注。所谓二维图像标注主要是指在二维图像中标注目标物体所在的矩形区域，该过程通常需要由工作人员通过手工标注的方式来完成。也即，需要工作人员在各个图像中手动框选出目标物体所在的位置。但是，手工标注的效率会很低，在图像训练样本众多的情况下，需要耗费大量的人力以及时间成本去进行标注。
基于物体CAD模型的三维图像标注，则主要是将预先拍摄的视频中的各帧作为图像训练样本，首先获得目标物体的CAD模型，例如，当视频中的目标物体为一辆汽车时，需要首先获得该汽车的CAD模型，然后，在其中一帧图像中人为标注CAD模型中的多个点与目标物体对应的特征点之间的对应关系。随后可以利用model-based tracking通过跟踪目标物体以进行批量标注，跟踪的过程具体是利用标注出的目标物体的特征点，在其他帧图像中识别出目标物体所在的位置。这种在3D空间中的标注方法较之二维图像标注自动化程度高，可实现标注视频中的一帧进而自动标注整个视频的目的。同时，自动标注本身对标注精度也有统一量化标准，较之人为标注更加精确。然而，其缺点也十分明显，即通常情况下，目标物体的CAD模型通常是由目标物体的生产或者设计方提供，但是，如果生产或者设计方无法提供CAD模型，则会无法利用上述方式实现自动标注，而且在实际应用中，这种现象又是很常见的，也即，很难获取目标物体的CAD模型，因此，影响了这种方法的通用性。其次，即使能够找到目标物体的CAD模型，由于对目标物体的跟踪通常情况下依赖物体上有足够多的特征点，但是，当物体本身是纯色、高反光或透明等情况时，model-based tracking将无法保证其足够的准确性，进而影响自动标注的效果。
为了解决上述问题，本申请实施例中还可以提供一种自动标注的方案，可以不需要借助于目标物体的CAD模型，还可以边拍摄边进行对目标物体的标注，在视频拍摄完成时，也完成了对各帧图像的标注操作，也即，不需要在拍摄完视频之后，再分别针对各 帧图像进行目标物体的标注操作，因此，可以有效的提高标注效率。具体的，可以在进行视频拍摄的过程中，借助于计算机视觉惯性组件(例如ARKit等)进行跟踪，并且，在摄像机组件启动之后的拍摄待命状态下(也即，摄像机开始取景，终端设备的屏幕上能够显示出取景图像，但是用户尚未按下拍摄按钮)，还可以针对进入到摄像机取景范围的图像，获得用于代表其中包含的目标物体所在位置的多个标注点，可以通过这些标注点勾勒出目标物体的轮廓，进而，在开始进行拍摄后，可以对这种标注点的位置进行跟踪，在每采集到一帧图像时，可以确定出这些标注点在图像的像平面中的映射位置，这种映射位置便可以用于确定目标物体在这帧图像中的位置。
其中，在使用上述方案的情况下，可以在第一客户端中实现上述功能，这样，具体可以由主播用户通过第一客户端完成上述视频采集的操作，在采集的过程中，第一客户端便可以自动完成对每一帧图像中目标物体所在位置的标注。也就是说，主播用户在具体进行直播之前，可以预先将其房间内可能会被拍摄到的物体进行图像采集，该采集的操作可以通过第一客户端来进行。例如，某主播用户的直播间中有一台电脑，在其具体直播的过程中，可能会使得其电脑进入到直播画面中，则可以预先使用第一客户端对该电脑进行多角度的图像采集，第一客户端在图像采集过程中完成具体目标物体的标注之后，可以生成训练图像，提交到服务器，服务器直接利用这种训练图像进行训练即可，不必再进行标注的过程。也就是说，在这种方式下，物体识别模型可以是根据所述第一客户端提交的训练素材而生成的，所述训练素材包括通过对指定物体进行多角度拍摄所得的视频文件，以及保存有所述指定物体在各帧图像中的位置标定信息的文档文件，例如，可以是XML文档等等。其中，所述位置标定信息可以通过以下方式确定：在在摄像机组件启动之后的拍摄待命状态下，获得用于代表指定物体所在位置的多个标注点，开始进行图像采集后，每采集到一帧图像时，通过跟踪所述多个标注点在各帧图像的像平面中的映射位置，确定所述指定物体在各帧图像中的位置标定信息。
也就是说，通过上述方式，可以由各个主播用户根据自己直播间实际所布置的物体进行相关图像的采集，服务器可以据此生成更有针对性的物体识别模型，这样，可以降低需要保存的识别模型的数量，并且，也可以提高匹配的效率以及准确度。
S203：将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
在第一客户端合成得到增强视频流之后，便可以提交到服务器，当然，具体实现时，可以采用边合成边提交的方式，以此达到流式传输的效果。其中，由于是在网络视频直 播的过程中提供上述增强视频流，而服务器可以为具体的网络视频直播提供相应的访问网址，例如，在某主播用户想要开始进行直播时，可以向服务器进行请求，服务器可以为其分配具体的网址。并且，可以为第二客户端提供相应的访问链接，第二用户(观看者用户)如果需要收看某主播用户的视频直播，则可以通过该访问链接进入到具体的直播间，服务器便可以将该直播间的直播视频流提供给这种第二用户关联的第二客户端。在本申请实施例中，由于服务器接收到的是增强视频流，因此，提供给第二客户端的也是这种带有增强信息的视频流。并且，由于已经在第一客户端将视频信息与增强信息进行了合成，因此，第二客户端只需要对其进行播放即可，不必再进行目标物体的识别、信息的合成等处理，但是却可以观看到具有增强信息的直播视频画面。
总之，在本申请实施例中，可以由发起网络视频直播的第一客户端机械能直播视频流的采集以及增强信息的渲染，并将两者进行合成，得到增强视频流，然后，可以将这种增强视频流提供给观看该网络视频直播的第二客户端，这样，第二客户端所在的终端设备无需进行性能升级，即可获得具有AR增强信息的视频观看体验。对于主播端的用户而言，无需专门在直播间布置装饰物，即可获得想要的氛围渲染效果，甚至还能够超出普通装饰物所带来的效果。
实施例二
该实施例二是与实施例一相对应的，从服务器的角度，提供了一种网络视频直播方法，参见图5，该方法具体可以包括：
S501：服务器接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
S502：将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
实施例三
该实施例三也是与实施例一相对应的，从第二客户端的角度，提供了一种网络视频直播方法，参见图6，该方法具体可以包括：
S601：第二客户端向服务器提交观看指定直播视频流的请求；
S602：接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
S603：对所述增强视频流进行展示。
由于上述实施例二以及实施例三均是与实施例一相对应的，因此，相关的具体实现 可以参见实施例一中的记载，这里不再赘述。
实施例四
该实施例四是从第一客户端的另一个角度，提供了一种网络视频直播方法，参见图7，该方法具体可以包括：
S701：第一客户端采集直播视频流；
S702：从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
其中，可以是在主播用户发起了直播之后，进行直播视频流的采集，以及后续的物体识别处理，以用于在采集到的实景图像中添加上增强图像。
具体实现时，还可以确定待渲染的增强信息，然后，对所述增强信息进行渲染，以用于添加到所述直播视频流中。另外，还可以将所述直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流，然后，将增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
其中，具体在确定待渲染的增强信息时，可以有多种方式，例如，一种方式下，可以根据服务器推送的信息确定待渲染的增强信息。其中，所述服务器推送的信息可以根据预置节日而确定，或者，还可以根据主播用户所在地理位置出现的特定天气类型而确定。
另一种实现方式下，可以在视频直播界面中提供可选的增强主题信息，在目标增强主题被选中后，将该目标增强主题对应的增强信息确定为待渲染的增强信息。也就是说，主播用户可以与第一客户端进行互动，选择自己所需要或者感兴趣的主题，对其直播间图像进行增强。
具体实现时，所述增强信息包括：用于烘托氛围的增强信息。或者，还可以包括：根据相关商品对象的图像生成的增强信息。
实施例五
该实施例五主要从第一客户端与主播用户之间的互动角度，提供了另一种网络视频直播方法，参见图8，该方法具体可以包括：
S801：第一客户端在视频直播界面中提供可选的增强主题信息；
S802：在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
S803：将所述增强信息与所述视频直播信息进行合成处理。
具体实现时，还可以将合成得到的增强视频流提供给服务器，由所述服务器将所述 增强视频流提供给至少一个第二客户端。
其中，具体在将所述增强信息与所述视频直播信息进行合成处理时，还可以从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加所述增强信息。
实施例六
该实施例六从服务器的角度，提供了另一种网络视频直播方法，参见图9，该方法具体可以包括：
S901：服务器确定待渲染的目标增强信息；
S902：将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
具体实现时，可以将与预置节日相关的增强信息确定为目标增强信息。
或者，如果主播用户所在地理位置出现预置的天气类型，则将与该天气类型对应的增强信息确定为目标增强信息。
另外，还可以预先接收网络销售服务器提供的根据商品对象的图像信息生成的增强信息；此时，可以将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
具体的，所述根据商品对象的图像信息生成的增强信息可以对应有目标日期信息，此时，可以在所述目标日期内，将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
或者，所述根据商品对象的图像信息生成的增强信息对应有目标用户群体信息；此时，可以根据所述第一客户端关联播放内容的观看端用户群体的特征，以及所述根据商品对象的图像信息生成的增强信息，确定所述目标增强信息，实现个性化的信息推送。
以上各实施例中的未详述部分，包括具体从物理空间环境中识别物体的方式，物体识别模型的创建方式，等等，均可以参见前述实施例中的记载，这里不再赘述。
与实施例一相对应，本申请实施例还提供了一种网络视频直播装置，参见图10，该装置应用于第一客户端，包括：
增强信息渲染单元1001，用于在采集直播视频流的过程中，渲染增强信息；
增强视频流生成单元1002，用于将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
增强视频流提供单元1003，用于将所述增强视频流提供给服务器，由所述服务器将 所述增强视频流提供给至少一个第二客户端。
具体实现时，该装置还可以包括：
本地播放单元，用于在所述第一客户端所在的终端设备本地，对所述增强视频流进行播放。
具体实现时，所述增强视频流生成单元具体可以包括：
目标物体识别子单元，用于从所述采集到的直播视频流中识别目标物体；
合成子单元，用于根据所述目标物体所在的位置信息，将所采集到的直播视频流与所述视频增强信息进行合成，以便将所述视频增强信息展示在所述目标物体所在的位置。
其中，所述视频增强信息可跟随所述目标物体在所述直播视频流图像中的位置变化。
另外，该装置还可以包括：
物体识别模型获得单元，用于获得物体识别模型，以用于从所述采集到的直播视频流中识别目标物体。
具体的，所述物体识别模型获得单元具体可以用于：
向服务器提交获得物体识别模型的请求，所述请求中携带有所述第一客户端关联的第一用户标识；接收所述服务器返回的与所述第一用户标识相关联的物体识别模型。
其中，所述物体识别模型可以是根据所述第一客户端提交的训练素材而生成的，所述训练素材包括通过对指定物体进行多角度拍摄所得的视频文件，以及保存有所述指定物体在各帧图像中的位置标定信息的文档文件。
所述位置标定信息可以通过以下方式确定：在在摄像机组件启动之后的拍摄待命状态下，获得用于代表指定物体所在位置的多个标注点，开始进行图像采集后，每采集到一帧图像时，通过跟踪所述多个标注点在各帧图像的像平面中的映射位置，确定所述指定物体在各帧图像中的位置标定信息。
在具体实现时，该装置还可以包括：
可选主题提供单元，用于所述渲染视频增强信息之前，提供可选的增强主题信息；
目标主题确定单元，用于在目标增强主题被选中后，渲染该目标增强主题对应的视频增强信息。
其中，所述视频增强信息包括三维粒子特效信息，或三维模型信息。
与实施例二相对应，本申请实施例还提供了一种网络视频直播装置，参见图11，该 装置应用于服务器，包括：
直播视频流接收单元1101，用于接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
直播视频流提供单元1102，用于将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
与实施例三相对应，本申请实施例还提供了一种网络视频直播装置，参见图12，该装置应用于第二客户端，包括：
请求提交单元1201，用于向服务器提交观看指定直播视频流的请求；
视频流接收单元1202，用于接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
视频流展示单元1203，用于对所述增强视频流进行展示。
与实施例四相对应，本申请实施例还提供了一种网络视频直播装置，参见图13，该装置应用于第一客户端，包括：
直播视频流采集单元1301，用于采集直播视频流；
识别单元1302，用于从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
具体的，该装置还可以包括：
增强信息确定单元，用于确定待渲染的增强信息；
渲染单元，用于对所述增强信息进行渲染，以用于添加到所述直播视频流中。
另外还可以包括：
合成单元，用于将所述直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
增强视频流提供单元，用于将增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
其中，所述增强信息确定单元具体可以用于：
根据服务器推送的信息确定待渲染的增强信息。
其中，所述服务器推送的信息根据预置节日而确定。
或者，所述服务器推送的信息根据主播用户所在地理位置出现的特定天气类型而确定。
另一种方式下，所述增强信息确定单元具体可以用于：
在视频直播界面中提供可选的增强主题信息；
在目标增强主题被选中后，将该目标增强主题对应的增强信息确定为待渲染的增强信息。
其中，所述增强信息包括：用于烘托氛围的增强信息。
或者，所述增强信息包括：根据相关商品对象的图像生成的增强信息。
与实施例五相对应，本申请实施例还提供了一种网络视频直播装置，参见图14，该装置应用于第一客户端，包括：
增强主题提供单元1401，用于在视频直播界面中提供可选的增强主题信息；
目标增强主题确定单元1402，用于在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
合成处理单元1403，用于将所述增强信息与所述视频直播信息进行合成处理。
另外，该装置还可以包括：
增强视频流提供单元，用于将合成得到的增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
其中，所述合成处理单元具体可以用于：
从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加所述增强信息。
与实施例六相对应，本申请实施例还提供了一种网络视频直播装置，参见图15，该装置应用于服务器，包括：
目标增强信息确定单元1501，用于确定待渲染的目标增强信息；
目标增强信息推送单元1502，用于将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
其中，所述目标增强信息确定单元具体可以用于：
将与预置节日相关的增强信息确定为目标增强信息。
或者，所述目标增强信息确定单元具体可以用于：
如果主播用户所在地理位置出现预置的天气类型，则将与该天气类型对应的增强信息确定为目标增强信息。
另外，该装置还可以包括：
增强信息接收单元，用于预先接收网络销售服务器提供的根据商品对象的图像信息 生成的增强信息；
此时，所述目标增强信息确定单元具体可以用于：
将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
具体实现时，所述根据商品对象的图像信息生成的增强信息对应有目标日期信息；
所述目标增强信息确定单元具体可以用于：
在所述目标日期内，将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
另外，所述根据商品对象的图像信息生成的增强信息也可以对应有目标用户群体信息；
所述目标增强信息确定单元具体可以用于：
根据所述第一客户端关联播放内容的观看端用户群体的特征，以及所述根据商品对象的图像信息生成的增强信息，确定所述目标增强信息。
另外，本申请实施例还提供了一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
在采集直播视频流的过程中，渲染增强信息；
将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
其中，图16示例性的展示出了电子设备的架构，例如，设备1600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。
参照图16，设备1600可以包括以下一个或多个组件：处理组件1602，存储器1604，电源组件1606，多媒体组件1608，音频组件1610，输入/输出(I/O)的接口1612，传感器组件1614，以及通信组件1616。
处理组件1602通常控制设备1600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1602可以包括一个或多个处理器1620来执行指令，以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流 量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外，处理组件1602可以包括一个或多个模块，便于处理组件1602和其他组件之间的交互。例如，处理部件1602可以包括多媒体模块，以方便多媒体组件1608和处理组件1602之间的交互。
存储器1604被配置为存储各种类型的数据以支持在设备1600的操作。这些数据的示例包括用于在设备1600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1606为设备1600的各种组件提供电力。电源组件1606可以包括电源管理系统，一个或多个电源，及其他与为设备1600生成、管理和分配电力相关联的组件。
多媒体组件1608包括在设备1600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1608包括一个前置摄像头和/或后置摄像头。当设备1600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1610被配置为输出和/或输入音频信号。例如，音频组件1610包括一个麦克风(MIC)，当设备1600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中，音频组件1610还包括一个扬声器，用于输出音频信号。
I/O接口1612为处理组件1602和外围接口模块之间提供接口，上述外围接口模块 可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1614包括一个或多个传感器，用于为设备1600提供各个方面的状态评估。例如，传感器组件1614可以检测到设备1600的打开/关闭状态，组件的相对定位，例如所述组件为设备1600的显示器和小键盘，传感器组件1614还可以检测设备1600或设备1600一个组件的位置改变，用户与设备1600接触的存在或不存在，设备1600方位或加速/减速和设备1600的温度变化。传感器组件1614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1616被配置为便于设备1600和其他设备之间有线或无线方式的通信。设备1600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件1616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1604，上述指令可由设备1600的处理器1620执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的网络视频直播方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (37)

  1. 一种网络视频直播方法，其特征在于，包括：
    第一客户端在采集直播视频流的过程中，渲染增强信息；
    将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
    将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
  2. 根据权利要求1所述的方法，其特征在于，还包括：
    在所述第一客户端所在的终端设备本地，对所述增强视频流进行播放。
  3. 根据权利要求1所述的方法，其特征在于，
    所述将所采集到的直播视频流与所述增强信息进行合成，包括：
    从所述采集到的直播视频流中识别目标物体；
    根据所述目标物体所在的位置信息，将所采集到的直播视频流与所述增强信息进行合成，以便将所述增强信息展示在所述目标物体所在的位置。
  4. 根据权利要求3所述的方法，其特征在于，
    所述增强信息跟随所述目标物体在所述直播视频流图像中的位置变化。
  5. 根据权利要求3所述的方法，其特征在于，还包括：
    获得物体识别模型，以用于从所述采集到的直播视频流中识别目标物体。
  6. 根据权利要求5所述的方法，其特征在于，
    所述获得物体识别模型，包括：
    向服务器提交获得物体识别模型的请求，所述请求中携带有所述第一客户端关联的第一用户标识；
    接收所述服务器返回的与所述第一用户标识相关联的物体识别模型。
  7. 根据权利要求6所述的方法，其特征在于，
    所述物体识别模型是根据所述第一客户端提交的训练素材而生成的，所述训练素材包括通过对指定物体进行多角度拍摄所得的视频文件，以及保存有所述指定物体在各帧图像中的位置标定信息的文档文件。
  8. 根据权利要求6所述的方法，其特征在于，
    所述位置标定信息通过以下方式确定：在摄像机组件启动后，获得用于代表指定物体所在位置的多个标注点，开始进行图像采集后，每采集到一帧图像时，通过跟踪所述多个标注点在各帧图像的像平面中的映射位置，确定所述指定物体在各帧图像中的位置标定信息。
  9. 根据权利要求1至8任一项所述的方法，其特征在于，
    所述渲染增强信息之前，还包括：
    提供可选的增强主题信息；
    在目标增强主题被选中后，渲染该目标增强主题对应的增强信息。
  10. 根据权利要求1至8任一项所述的方法，其特征在于，
    所述增强信息包括三维粒子特效信息，或三维模型信息。
  11. 一种网络视频直播方法，其特征在于，包括：
    服务器接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
    将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
  12. 一种网络视频直播方法，其特征在于，包括：
    第二客户端向服务器提交观看指定直播视频流的请求；
    接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
    对所述增强视频流进行展示。
  13. 一种网络视频直播方法，其特征在于，包括：
    第一客户端采集直播视频流；
    从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
  14. 根据权利要求13所述的方法，其特征在于，还包括：
    确定待渲染的增强信息；
    对所述增强信息进行渲染，以用于添加到所述直播视频流中。
  15. 根据权利要求14所述的方法，其特征在于，还包括：
    将所述直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
    将增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
  16. 根据权利要求14所述的方法，其特征在于，
    所述确定待渲染的增强信息，包括：
    根据服务器推送的信息确定待渲染的增强信息。
  17. 根据权利要求16所述的方法，其特征在于，
    所述服务器推送的信息根据预置节日而确定。
  18. 根据权利要求16所述的方法，其特征在于，
    所述服务器推送的信息根据主播用户所在地理位置出现的特定天气类型而确定。
  19. 根据权利要求14所述的方法，其特征在于，
    所述确定待渲染的增强信息，包括：
    在视频直播界面中提供可选的增强主题信息；
    在目标增强主题被选中后，将该目标增强主题对应的增强信息确定为待渲染的增强信息。
  20. 根据权利要求13至19任一项所述的方法，其特征在于，
    所述增强信息包括：用于烘托氛围的增强信息。
  21. 根据权利要求13至19任一项所述的方法，其特征在于，
    所述增强信息包括：根据相关商品对象的图像生成的增强信息。
  22. 一种网络视频直播方法，其特征在于，包括：
    第一客户端在视频直播界面中提供可选的增强主题信息；
    在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
    将所述增强信息与所述视频直播信息进行合成处理。
  23. 根据权利要求22所述的方法，其特征在于，还包括：
    将合成得到的增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
  24. 根据权利要求22所述的方法，其特征在于，
    所述将所述增强信息与所述视频直播信息进行合成处理，包括：
    从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加所述增强信息。
  25. 一种网络视频直播方法，其特征在于，包括：
    服务器确定待渲染的目标增强信息；
    将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
  26. 根据权利要求25所述的方法，其特征在于，
    所述确定待渲染的目标增强信息，包括：
    将与预置节日相关的增强信息确定为目标增强信息。
  27. 根据权利要求25所述的方法，其特征在于，
    所述确定待渲染的目标增强信息，包括：
    如果主播用户所在地理位置出现预置的天气类型，则将与该天气类型对应的增强信息确定为目标增强信息。
  28. 根据权利要求25所述的方法，其特征在于，
    预先接收网络销售服务器提供的根据商品对象的图像信息生成的增强信息；
    所述确定待渲染的目标增强信息，包括：
    将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
  29. 根据权利要求28所述的方法，其特征在于，
    所述根据商品对象的图像信息生成的增强信息对应有目标日期信息；
    所述确定待渲染的目标增强信息，包括：
    在所述目标日期内，将所述根据商品对象的图像信息生成的增强信息，确定为所述目标增强信息。
  30. 根据权利要求28所述的方法，其特征在于，
    所述根据商品对象的图像信息生成的增强信息对应有目标用户群体信息；
    所述确定待渲染的目标增强信息，包括：
    根据所述第一客户端关联播放内容的观看端用户群体的特征，以及所述根据商品对象的图像信息生成的增强信息，确定所述目标增强信息。
  31. 一种网络视频直播装置，其特征在于，应用于第一客户端，包括：
    增强信息渲染单元，用于在采集直播视频流的过程中，渲染增强信息；
    增强视频流生成单元，用于将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
    增强视频流提供单元，用于将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
  32. 一种网络视频直播装置，其特征在于，应用于服务器，包括：
    直播视频流接收单元，用于接收第一客户端提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
    直播视频流提供单元，用于将所述增强视频流提供给具有观看所述直播视频流需求的至少一个第二客户端。
  33. 一种网络视频直播装置，其特征在于，应用于第二客户端，包括：
    请求提交单元，用于向服务器提交观看指定直播视频流的请求；
    视频流接收单元，用于接收所述服务器提供的直播视频流，所述直播视频流是通过将采集到的实景图像视频流与渲染出的增强信息进行合成得到的增强视频流；
    视频流展示单元，用于对所述增强视频流进行展示。
  34. 一种网络视频直播装置，其特征在于，应用于第一客户端，包括：
    直播视频流采集单元，用于采集直播视频流；
    识别单元，用于从所述直播视频流中对所在物理空间环境中的物体进行识别，以用于根据识别出的目标物体在视频图像中的位置，向所述直播视频流中添加增强信息。
  35. 一种网络视频直播装置，其特征在于，应用于第一客户端，包括：
    增强主题提供单元，用于在视频直播界面中提供可选的增强主题信息；
    目标增强主题确定单元，用于在目标增强主题被选中后，对所述目标增强主题对应的增强信息进行渲染；
    合成处理单元，用于将所述增强信息与所述视频直播信息进行合成处理。
  36. 一种网络视频直播装置，其特征在于，应用于服务器，包括：
    目标增强信息确定单元，用于确定待渲染的目标增强信息；
    目标增强信息推送单元，用于将所述目标增强信息推送到作为直播发起方的第一客户端，所述目标增强信息用于添加到所述第一客户端采集到的直播视频流中。
  37. 一种电子设备，其特征在于，包括：
    一个或多个处理器；以及
    与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：
    在采集直播视频流的过程中，渲染增强信息；
    将所采集到的直播视频流与所述增强信息进行合成，生成带有增强信息的增强视频流；
    将所述增强视频流提供给服务器，由所述服务器将所述增强视频流提供给至少一个第二客户端。
PCT/CN2018/121882 2017-12-26 2018-12-19 网络视频直播方法、装置及电子设备 WO2019128787A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711433544.7A CN109963163A (zh) 2017-12-26 2017-12-26 网络视频直播方法、装置及电子设备
CN201711433544.7 2017-12-26

Publications (1)

Publication Number Publication Date
WO2019128787A1 true WO2019128787A1 (zh) 2019-07-04

Family

ID=67022163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/121882 WO2019128787A1 (zh) 2017-12-26 2018-12-19 网络视频直播方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN109963163A (zh)
WO (1) WO2019128787A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427110A (zh) * 2019-08-01 2019-11-08 广州华多网络科技有限公司 一种直播方法、装置以及直播服务器
CN110971930A (zh) * 2019-12-19 2020-04-07 广州酷狗计算机科技有限公司 虚拟形象直播的方法、装置、终端及存储介质
CN111862109A (zh) * 2020-06-28 2020-10-30 国网山东省电力公司德州供电公司 多目标采集、图像识别及自动标注识别结果的系统和装置
CN112184382A (zh) * 2020-09-30 2021-01-05 北京绿善心星球网络科技开发有限公司 商品展示方法、装置、电子设备及可读存储介质
CN112689151A (zh) * 2020-12-07 2021-04-20 深圳盈天下视觉科技有限公司 直播方法、装置、计算机设备和存储介质
CN113132741A (zh) * 2021-03-03 2021-07-16 广州鑫泓设备设计有限公司 一种虚拟直播系统和方法
CN113271471A (zh) * 2020-02-14 2021-08-17 阿里巴巴集团控股有限公司 信息展示方法、设备及系统
CN113542332A (zh) * 2020-04-22 2021-10-22 中移智行网络科技有限公司 基于定位标注的客服视频交互方法和设备
CN113852833A (zh) * 2021-08-30 2021-12-28 阿里巴巴（中国）有限公司 多设备协同直播方法、装置及电子设备
CN113873264A (zh) * 2021-10-25 2021-12-31 北京字节跳动网络技术有限公司 显示图像的方法、装置、电子设备及存储介质
CN113965768A (zh) * 2021-09-10 2022-01-21 北京达佳互联信息技术有限公司 直播间信息展示方法、装置、电子设备及服务器
CN114630138A (zh) * 2022-03-14 2022-06-14 上海哔哩哔哩科技有限公司 配置信息下发方法及系统
CN114979708A (zh) * 2022-05-20 2022-08-30 咪咕数字传媒有限公司 视频推送方法、装置、服务器设备及可读存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188114A (zh) * 2019-07-05 2021-01-05 北京小米移动软件有限公司 一种显示粒子特效的拍摄方法及装置
CN112291608B (zh) * 2019-07-25 2022-06-14 腾讯科技（深圳）有限公司 一种虚拟物品数据处理方法、装置及存储介质
CN111131892B (zh) * 2019-12-31 2022-02-22 安博思华智能科技有限责任公司 一种控制直播背景的系统和方法
CN113538083B (zh) * 2020-04-22 2023-02-03 阿里巴巴集团控股有限公司 数据处理方法、系统、线下店铺空间及设备
CN114071215A (zh) * 2020-07-31 2022-02-18 阿里巴巴集团控股有限公司 视频播放方法、设备、系统及存储介质
CN111935495A (zh) * 2020-08-13 2020-11-13 上海识装信息科技有限公司 一种基于ar技术的视频直播商品展示方法及系统
CN112218107B (zh) * 2020-09-18 2022-07-08 广州虎牙科技有限公司 直播渲染方法和装置、电子设备及存储介质
CN112218108B (zh) * 2020-09-18 2022-07-08 广州虎牙科技有限公司 直播渲染方法、装置、电子设备及存储介质
CN112153400B (zh) * 2020-09-22 2022-12-06 北京达佳互联信息技术有限公司 直播互动方法、装置、电子设备及存储介质
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN112584184B (zh) * 2020-11-24 2022-08-30 北京达佳互联信息技术有限公司 图像显示方法、装置、电子设备及存储介质
CN112295224A (zh) * 2020-11-25 2021-02-02 广州博冠信息科技有限公司 三维特效生成方法及装置、计算机存储介质、电子设备
CN113315982B (zh) * 2021-05-07 2023-06-27 广州虎牙科技有限公司 一种直播方法、计算机存储介质及设备
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN113453035A (zh) * 2021-07-06 2021-09-28 浙江商汤科技开发有限公司 一种基于增强现实的直播方法和相关装置以及存储介质
CN113573131B (zh) * 2021-07-14 2023-08-18 广州方硅信息技术有限公司 应用于直播的数据处理方法、装置、电子设备及存储介质
CN113947959A (zh) * 2021-10-23 2022-01-18 首都医科大学附属北京天坛医院 一种基于mr技术的远程教学系统和直播问题筛选系统
CN114143568B (zh) * 2021-11-15 2024-02-09 上海盛付通电子支付服务有限公司 一种用于确定增强现实直播图像的方法与设备
CN114173142A (zh) * 2021-11-19 2022-03-11 广州繁星互娱信息科技有限公司 对象直播展示方法和装置、存储介质及电子设备
CN114786023A (zh) * 2022-03-28 2022-07-22 南京小灿灿网络科技有限公司 一种基于虚拟现实的ar直播系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109338A1 (en) * 2013-10-17 2015-04-23 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN105654471A (zh) * 2015-12-24 2016-06-08 武汉鸿瑞达信息技术有限公司 应用于互联网视频直播的增强现实ar系统及方法
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN106937130A (zh) * 2017-03-14 2017-07-07 引力互动科技（武汉）有限公司 一种在视频直播中投放广告的系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251405A (zh) * 2016-07-26 2016-12-21 北京奇虎科技有限公司 增强现实的方法和终端
CN107480587B (zh) * 2017-07-06 2020-12-08 创新先进技术有限公司 一种模型配置以及图像识别的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109338A1 (en) * 2013-10-17 2015-04-23 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN105654471A (zh) * 2015-12-24 2016-06-08 武汉鸿瑞达信息技术有限公司 应用于互联网视频直播的增强现实ar系统及方法
CN106648083A (zh) * 2016-12-09 2017-05-10 广州华多网络科技有限公司 增强演奏场景合成控制方法及装置
CN106937130A (zh) * 2017-03-14 2017-07-07 引力互动科技（武汉）有限公司 一种在视频直播中投放广告的系统及方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427110A (zh) * 2019-08-01 2019-11-08 广州华多网络科技有限公司 一种直播方法、装置以及直播服务器
CN110427110B (zh) * 2019-08-01 2023-04-18 广州方硅信息技术有限公司 一种直播方法、装置以及直播服务器
CN110971930A (zh) * 2019-12-19 2020-04-07 广州酷狗计算机科技有限公司 虚拟形象直播的方法、装置、终端及存储介质
CN113271471A (zh) * 2020-02-14 2021-08-17 阿里巴巴集团控股有限公司 信息展示方法、设备及系统
CN113542332B (zh) * 2020-04-22 2023-04-07 中移智行网络科技有限公司 基于定位标注的客服视频交互方法和设备
CN113542332A (zh) * 2020-04-22 2021-10-22 中移智行网络科技有限公司 基于定位标注的客服视频交互方法和设备
CN111862109A (zh) * 2020-06-28 2020-10-30 国网山东省电力公司德州供电公司 多目标采集、图像识别及自动标注识别结果的系统和装置
CN111862109B (zh) * 2020-06-28 2024-02-23 国网山东省电力公司德州供电公司 多目标采集、图像识别及自动标注识别结果的系统和装置
CN112184382A (zh) * 2020-09-30 2021-01-05 北京绿善心星球网络科技开发有限公司 商品展示方法、装置、电子设备及可读存储介质
CN112689151A (zh) * 2020-12-07 2021-04-20 深圳盈天下视觉科技有限公司 直播方法、装置、计算机设备和存储介质
CN113132741A (zh) * 2021-03-03 2021-07-16 广州鑫泓设备设计有限公司 一种虚拟直播系统和方法
CN113852833B (zh) * 2021-08-30 2024-03-22 阿里巴巴（中国）有限公司 多设备协同直播方法、装置及电子设备
CN113852833A (zh) * 2021-08-30 2021-12-28 阿里巴巴（中国）有限公司 多设备协同直播方法、装置及电子设备
CN113965768A (zh) * 2021-09-10 2022-01-21 北京达佳互联信息技术有限公司 直播间信息展示方法、装置、电子设备及服务器
CN113965768B (zh) * 2021-09-10 2024-01-02 北京达佳互联信息技术有限公司 直播间信息展示方法、装置、电子设备及服务器
CN113873264A (zh) * 2021-10-25 2021-12-31 北京字节跳动网络技术有限公司 显示图像的方法、装置、电子设备及存储介质
CN114630138B (zh) * 2022-03-14 2023-12-08 上海哔哩哔哩科技有限公司 配置信息下发方法及系统
CN114630138A (zh) * 2022-03-14 2022-06-14 上海哔哩哔哩科技有限公司 配置信息下发方法及系统
CN114979708A (zh) * 2022-05-20 2022-08-30 咪咕数字传媒有限公司 视频推送方法、装置、服务器设备及可读存储介质
CN114979708B (zh) * 2022-05-20 2023-10-17 咪咕数字传媒有限公司 视频推送方法、装置、服务器设备及可读存储介质

Also Published As

Publication number Publication date
CN109963163A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
WO2019128787A1 (zh) 网络视频直播方法、装置及电子设备
KR101664754B1 (ko) 정보 취득 방법, 장치, 프로그램 및 기록매체
US10182187B2 (en) Composing real-time processed video content with a mobile device
CN106165430A (zh) 视频直播方法及装置
US20210281909A1 (en) Method and apparatus for sharing video, and storage medium
JP2017532582A (ja) オーディオカバー表示方法および装置
CN109729372B (zh) 直播间切换方法、装置、终端、服务器及存储介质
TW202007142A (zh) 視頻檔案的生成方法、裝置及儲存媒體
CN109167937B (zh) 视频发布方法、装置、终端及存储介质
WO2019001229A1 (zh) 实现虚拟资源自定义的方法及装置
US11949979B2 (en) Image acquisition method with augmented reality anchor, device, apparatus and storage medium
CN111327916B (zh) 基于地理对象的直播管理方法、装置、设备及存储介质
CN106331830A (zh) 直播处理方法、装置、设备及系统
US20220078221A1 (en) Interactive method and apparatus for multimedia service
WO2023185809A1 (zh) 视频数据生成方法、装置、电子设备及存储介质
CN109729367B (zh) 提供直播媒体内容信息的方法、装置及电子设备
JP2016506700A (ja) 混合媒体通信
CN113806306A (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
CN114302160A (zh) 信息显示方法、装置、计算机设备及介质
TW201917556A (zh) 多屏互動方法、裝置及電子設備
CN106572397A (zh) 视频直播应用中的互动方法及装置
CN114268823A (zh) 一种视频播放方法、装置、电子设备及存储介质
US20220327580A1 (en) Method and apparatus for interacting with image, and medium and electronic device
CN106954093B (zh) 全景视频处理方法、装置及系统
WO2023241377A1 (zh) 视频数据的处理方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894763

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18894763

Country of ref document: EP

Kind code of ref document: A1