WO2026001982A1 - 管理直播间中的音频数据的方法、装置、设备和介质 - Google Patents

管理直播间中的音频数据的方法、装置、设备和介质

Info

Publication number
WO2026001982A1
WO2026001982A1 PCT/CN2025/103145 CN2025103145W WO2026001982A1 WO 2026001982 A1 WO2026001982 A1 WO 2026001982A1 CN 2025103145 W CN2025103145 W CN 2025103145W WO 2026001982 A1 WO2026001982 A1 WO 2026001982A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
audio data
broadcaster
activity
broadcast room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2025/103145
Other languages
English (en)
French (fr)
Inventor
陈柏均
张玉锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Original Assignee
Douyin Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd filed Critical Douyin Vision Co Ltd
Publication of WO2026001982A1 publication Critical patent/WO2026001982A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Definitions

  • the exemplary implementations of this disclosure generally relate to the field of computers, and more particularly to methods, apparatus, devices, and computer-readable storage media for managing audio data in a live streaming room.
  • live streaming functionality With the development of computer technology, more and more applications are able to provide live streaming functionality.
  • the host can interact with viewers, attracting more viewers and providing them with richer information.
  • some live streaming applications can create interactive activities within the live stream, allowing users to participate in activities initiated by the host.
  • the host can configure these interactive activities, enabling audio and/or video interaction between the host, participating users, and other viewers.
  • a method for managing audio data in a live streaming room includes: determining the type of a first user based on whether the first user participates in activities within the live streaming room; acquiring the broadcaster's audio data in the live streaming room based on the first user's type; and determining audio data to be provided to the first user based on the broadcaster's audio data.
  • an apparatus for managing audio data in a live streaming room includes: a type determination module configured to determine the type of a first user based on whether the first user participates in activities within the live streaming room; a data acquisition module configured to acquire broadcast audio data of the broadcaster user in the live streaming room based on the type of the first user; and a data generation module configured to determine audio data to be provided to the first user based on the broadcast audio data.
  • an electronic device in a third aspect of this disclosure, includes: at least one processor; and at least one memory coupled to the at least one processor and storing instructions for execution by the at least one processor, the instructions causing the electronic device to perform the method according to a first aspect of this disclosure when executed by the at least one processor.
  • a computer-readable storage medium stores computer-executable instructions thereon, which, when executed by a processor, cause the processor to implement the method according to a first aspect of this disclosure.
  • a computer program product including computer-executable instructions, wherein when executed by a processor, the computer-executable instructions implement the method according to a first aspect of this disclosure.
  • Figure 1 shows a schematic diagram of an example environment in which embodiments of the present disclosure can be implemented
  • Figure 2 illustrates a traditional example of managing audio data in a live streaming room
  • Figure 3 illustrates a flowchart of a process for managing audio data in a live streaming room according to some embodiments of the present disclosure
  • Figure 4 illustrates a schematic diagram of an example of managing audio data in a live streaming room according to some embodiments of the present disclosure
  • Figure 5 illustrates a schematic diagram of a process for managing audio data in a live streaming room according to some embodiments of the present disclosure
  • Figure 6 shows a schematic structural block diagram of an apparatus for managing audio data in a live streaming room according to some embodiments of the present disclosure.
  • Figure 7 shows a block diagram of an electronic device in which one or more embodiments of the present disclosure may be implemented.
  • the term “comprising” and similar terms should be understood as open-ended inclusion, i.e., “including but not limited to”.
  • the term “based on” should be understood as “at least partially based on”.
  • the term “one embodiment” or “the embodiment” should be understood as “at least one embodiment”.
  • the term “some embodiments” should be understood as “at least some embodiments”.
  • the terms “first”, “second”, etc., may refer to different or the same objects. Other explicit and implicit definitions may also be included below.
  • performing a step in response to A does not mean that the step is performed immediately after A, but may include one or more intermediate steps.
  • a prompt message is sent to the user to clearly inform the user that the requested operation will require the acquisition and use of the user's personal information, thereby enabling the user to choose whether to provide personal information to the software or hardware such as electronic devices, applications, servers or storage media that perform the operation of the technical solution disclosed herein, based on the prompt message.
  • a prompt message in response to a user's active request, can be sent to the user, such as a pop-up window, where the prompt message can be presented in text format.
  • the pop-up window can also include a selection control allowing the user to choose "agree” or “disagree” to provide personal information to the electronic device.
  • FIG. 1 illustrates a schematic diagram of an example environment 100 in which embodiments of the present disclosure can be implemented.
  • user 110 can establish a live streaming room (e.g., a live streaming room in a live streaming application can correspond to a live streaming room) and provide live streaming content through an associated terminal device 120.
  • a live streaming room e.g., a live streaming room in a live streaming application can correspond to a live streaming room
  • terminal device 120 can also be referred to as the host terminal of the live streaming room.
  • One or more users 130-1, 130-2, ..., 130-N can watch the live stream and participate in interactive activities through their respective associated terminal devices 140-1, 140-2, ..., 140-N.
  • users 130-1, 130-2, ..., 130-N can be collectively referred to as user 130 or individually
  • terminal devices 140-1, 140-2, ..., 140-N can be collectively referred to as terminal device 140 or individually.
  • user 130 can also be referred to as a viewer, listener, viewer, or participant in the live stream.
  • Terminal device 140 can also be referred to as the viewer terminal of the live stream.
  • user 130 can be invited to join the live stream; in this case, the invited user can become a guest user and interact with the host via voice chat.
  • terminal devices 120 and 140 may each have an application capable of providing live streaming services installed, or access to a website capable of providing live streaming services. Users 110 and 130 can operate terminal devices 120 and 140 to access the corresponding application or website.
  • terminal devices 120 and 140 can present corresponding live streaming interfaces, which can provide live streaming content, such as audio live streaming content or video live streaming content.
  • terminal devices 120 and 140 can also communicate with server 150 via network 152 to provide live streaming services.
  • Server 150 can provide functions such as management, configuration, and maintenance of applications or websites.
  • Terminal devices 120 and 140 can be any type of mobile terminal, fixed terminal, or portable terminal, including mobile phones, desktop computers, laptop computers, notebook computers, netbook computers, tablet computers, media computers, multimedia tablets, personal communication system (PCS) devices, personal navigation devices, personal digital assistants (PDAs), audio/video players, digital cameras/camcorders, television receivers, radio receivers, e-book devices, gaming devices, or any combination thereof, including accessories and peripherals of these devices or any combination thereof.
  • terminal devices 120 and 140 may also support any type of user-facing interface (such as "wearable" circuitry).
  • Server 150 can be various types of computing systems/servers capable of providing computing power, including but not limited to mainframes, edge computing nodes, computing devices in cloud environments, etc.
  • Server 130 can, for example, provide backend services for applications providing live streaming services in terminal devices 120 and 140.
  • server 120 may include a first server for providing live streaming services and a second server for providing activity services.
  • live streaming services and activity services may be provided by a single server.
  • live streaming platforms often use both RTC (Real-Time Communication) and CDN (Content Delivery Network) services simultaneously.
  • RTC Real-Time Communication
  • CDN Content Delivery Network
  • a host e.g., user 110
  • a guest e.g., some users in user 130
  • the voice chat portion uses the RTC service to ensure low-latency real-time interaction (the data stream corresponding to the RTC service can be called an RTC stream).
  • the RTC service then forwards the live chat content to the CDN service.
  • Viewers who do not connect via voice chat e.g., users other than some users in user 130
  • still obtain live stream content from the CDN service the data stream corresponding to the CDN service can be called a CDN stream).
  • FIG 2 shows a schematic diagram of an example 200 of traditionally managing audio data in a live streaming room.
  • the host can invite a group of guests to participate in the event.
  • viewer 201 can obtain the host's (i.e., user 110's) CDN stream 210 based on a CDN service.
  • the CDN stream includes user 110's host voice audio data in the live streaming room, activity audio data generated by user 110 participating in the event, and guest audio data of each guest user in the live streaming room.
  • Guests 202 who did not participate in the event and guests 203 who did participate can both obtain user 110's RTC stream 220 based on an RTC service.
  • the RTC stream also includes user 110's host voice audio data in the live streaming room, activity audio data generated by user 110 participating in the event, and guest audio data of each guest user in the live streaming room.
  • embodiments of this disclosure propose an improved scheme for managing audio data in a live streaming room.
  • the type of a first user in the live streaming room is determined based on whether the first user participates in the activities within the live streaming room.
  • the broadcaster's audio data in the live streaming room is obtained.
  • audio data to be provided to the first user is determined.
  • a broadcaster can invite guest users to participate in a racing game, where the broadcaster drives a car and the guest users drive motorcycles.
  • guest users participating in the racing game they can be provided with the broadcaster's voice data and the motorcycle's audio data, thereby enhancing their immersion in the activity and eliminating interference from the broadcaster's car audio.
  • guest users not participating in the racing game they can be provided with the broadcaster's voice data and the car's audio data, allowing them to participate in the activity from the broadcaster's perspective.
  • the corresponding anchor audio data of the guest user in the live broadcast room can be obtained based on the type of guest user, and then audio data provided to the guest user can be generated based on the obtained anchor audio data. This helps to reduce the influence of the anchor user on the guest user and/or other anchors participating in the event, thereby allowing the guest user and/or other anchors to focus more on the event content.
  • FIG. 3 illustrates a flowchart of a process 300 for managing audio data in a live broadcast room according to some embodiments of the present disclosure.
  • Process 300 can be implemented at server 150, and alternatively and/or additionally, terminal devices 120 and 140 can invoke functions of server 150 to implement process 300.
  • Process 300 is described below with reference to Figure 1. It is understood that process 300 can be executed only if it is determined that a guest user has been invited to participate in the activity. If the broadcaster has not invited guest users to participate in the activity, the broadcaster's voice audio data in the live broadcast room, the activity audio data generated by the broadcaster's participation in the activity, and the guest audio data of each guest user in the live broadcast room can be directly provided to guest users and viewers.
  • the process 300 of this disclosure can be executed on any device with data processing capabilities, such as a terminal device or any server device in a network. Specifically, the process 300 can be executed on a real-time communication server used to manage the audio data of the live broadcast room.
  • the type of the first user is determined based on whether the first user in the live stream participates in the activities within the live stream.
  • This activity can be an activity initiated by the streamer.
  • This activity can, for example, include a game.
  • the first user here can, for example, be a user who is interacting with the streamer in the live stream.
  • the type of the first user can, for example, indicate whether the first user is participating in the activities.
  • the first user can include guest users in the live stream (also referred to as the first guest user).
  • the first user can include another broadcaster user in the live stream who is different from the broadcaster user.
  • multiple types of users can participate in the activity, thereby improving the interactivity between users.
  • the specific implementation process will be described below using only the example of a guest user as the first user.
  • the first user can include other broadcaster users.
  • box 320 based on the type of the first user, obtain the anchor audio data of the anchor user in the live broadcast room.
  • the first broadcaster's audio data can be received.
  • the first broadcaster's audio data may, for example, consist only of the broadcaster's voice audio data (e.g., human voice data) in the live stream.
  • the first broadcaster's audio data can also be received automatically in response to determining that there are guest users participating in the activity in the live stream.
  • the terminal device 120 may receive second broadcast audio data of the broadcaster user.
  • This second broadcast audio data may, for example, include broadcast voice audio data of the broadcaster user in the live broadcast room, and broadcast activity audio data generated by the broadcaster user participating in the activity.
  • the broadcast activity audio data may include, for example, audio data of the actions performed by the broadcaster user in the game (also referred to as the audio data corresponding to the broadcaster user in the game) and/or background audio data in the game.
  • the broadcast activity audio data may include car engine audio generated by the broadcaster user driving the car, background music of the game, etc.
  • the broadcast activity audio data may include audio generated by the broadcaster user playing chess in the game, dialogue of the virtual character corresponding to the broadcaster user in the game, background music of the game, etc.
  • box 330 based on the broadcaster's audio data, determine the audio data to be provided to the first user.
  • the broadcaster's audio data can be provided directly to the first user.
  • the audio data provided to the first user can be generated based on the broadcaster's audio data and other audio data.
  • first activity audio data generated by the first user's participation in the activity can also be obtained, and audio data can be generated based on the first activity audio data and the broadcaster's voice audio data.
  • the first activity audio data may include, for example, audio data of the actions performed by the first user in the game (i.e., audio data corresponding to the guest user in the game) and/or background audio data in the game.
  • the first activity audio data may include the motorcycle engine audio generated by the first user driving the motorcycle, the game's background music, etc.
  • the first activity audio data may include the audio generated by the first user playing chess in the game, the dialogue of the virtual character corresponding to the first user in the game, the game's background music, etc.
  • audio data can be generated based on the received user audio data of a second user in the live stream.
  • the user audio data of the second user in the live stream may include the second user's voice audio data in the live stream.
  • the user audio data of the second user in the live stream may include the second user's voice audio data and activity audio data in the live stream.
  • the second user's audio data in the live stream room can be acquired, and audio data provided to the first user can be generated based on the second user's audio data in the live stream room.
  • the second user is a user who can speak in the live stream room, including at least one of the following: other guest users connected via live stream (regardless of whether they participate in the activity) and other broadcasters in a multi-broadcast scenario (regardless of whether they participate in the activity).
  • the audio reception mode of the first user can be obtained.
  • the audio reception mode can specify whether the first user is allowed to receive audio data from users other than the broadcaster (i.e., the second user).
  • a "Do Not Disturb" mode can specify that the first user is not allowed to receive audio data from other users
  • a "Normal” mode can specify that the first user is allowed to receive audio data from other users.
  • the audio data can be generated based on the audio receiving mode. Specifically, in normal mode, in response to determining that the audio receiving mode indicates permission to receive audio data from users other than the broadcaster, the audio data of the second user in the live stream can also be acquired. Then, the audio data to be provided to the first user can be generated based on the second user's audio data in the live stream. At this time, the first user can hear the voices from the broadcaster and other users interacting with the broadcast (including guests and/or other broadcasters). Alternatively and/or additionally, in do-not-disturb mode, the voice audio data from the second user can be excluded, in which case the first user only receives audio data from the broadcaster, thereby reducing interference from other users.
  • audio data can be generated based on the first broadcaster's audio data, the first activity audio data generated by the first user's participation, and the second user's audio data in the live stream. That is, in the case of a racing game, participating guest users can hear the broadcaster's voice, the audio of themselves driving a motorcycle, and the voices of other guests.
  • audio data can be generated based on the second broadcaster's audio data and the second user's audio data in the live stream. That is, in the case of a racing game, non-participating guest users can hear the broadcaster's voice, the audio of the broadcaster driving a car, and the voices of other guests.
  • the audio data of each guest user in the live broadcast room can be acquired and provided to users in the live broadcast room (including the host user, guest users, and/or audience users). For example, for audience users, the second host audio data of the host user and the guest audio data of each guest user in the live broadcast room (including guests participating in the activity and those not participating in the activity) can be received, and audio data for the audience users can be generated based on the second host audio data and the guest audio data. In some embodiments, to prevent guests from hearing their own guest audio data, for each guest (regardless of the time period they participate in the activity), the guest audio data of other guests can be provided to that guest.
  • FIG. 4 illustrates a schematic diagram of an example 400 for managing audio data in a live streaming room according to some embodiments of the present disclosure.
  • two RTC streams i.e., RTC stream 410 and RTC stream 420
  • RTC stream 420 including first broadcaster audio data (which only includes user 110's broadcaster voice audio data in the live streaming room), can be provided to the guest 203 participating in the event.
  • RTC stream 410 including second broadcaster audio data (which includes user 110's broadcaster voice audio data in the live streaming room and broadcaster activity audio data generated by user 110's participation in the event), can be provided to the guest 202 not participating in the event.
  • RTC stream 410 and the RTC stream from the guest user can be CDN merged to obtain CDN stream 210, which is then provided to the audience user 201 in the live streaming room. This ensures that guests participating in the event cannot hear the audio data of the host's activities generated by user 110's participation, thus preventing the audio data from affecting their own activities.
  • Figure 5 illustrates a schematic diagram of a process 500 for managing audio data in a live streaming room according to some embodiments of the present disclosure.
  • the terminal device 120 corresponding to the broadcaster, the terminal device 510 corresponding to the guest participating in the activity, and the terminal device 520 corresponding to the guest not participating in the live streaming activity can all be connected to the server 510, which can correspond to the server 150 in Figure 1.
  • the server 510 may include an activity server for providing background services for the activity.
  • Terminal devices 120 and 510 may include cloud activity containers (i.e., cloud activity containers 501 and 503), which can obtain the activity page from the activity server and present it on the corresponding terminal device.
  • the server 510 may also include a live streaming server for providing background services for live chat 502-1.
  • terminal device 120 can acquire two RTC streams for the broadcaster user.
  • One RTC stream includes the broadcaster user's voice audio data in the live stream room, and the broadcaster activity audio data generated by the broadcaster user participating in the activity (i.e., the second broadcaster audio data).
  • the other RTC stream includes the broadcaster user's voice audio data in the live stream room (i.e., the first broadcaster audio data).
  • Terminal device 510 can acquire one RTC stream for the guests participating in the activity, which includes the guest audio data in the live stream room.
  • Terminal device 520 can acquire one RTC stream for the guests not participating in the activity, which includes the guest audio data in the live stream room. It is understood that there can be multiple guests participating in the activity and/or multiple guests not participating in the activity, therefore there can be multiple terminal devices 510 and multiple terminal devices 520, which is not limited in this disclosure.
  • the RTC system 530 can acquire the aforementioned multiple RTC streams and merge the RTC streams containing audio data of guests participating in the event in the live broadcast room and the RTC streams containing audio data of guests not participating in the event in the live broadcast room, and provide them to the broadcaster user (i.e., send them to terminal device 120).
  • the RTC system 530 can merge the RTC stream containing the audio data of the first broadcaster and the RTC stream containing audio data of other guests in the live broadcast room, and provide them to the guests participating in the event (i.e., send them to terminal device 510).
  • the RTC system 530 can merge the RTC stream containing the audio data of the second broadcaster and the RTC stream containing audio data of other guests in the live broadcast room, and provide them to the guests participating in the event (i.e., send them to terminal device 520).
  • the RTC system 530 can merge the RTC stream containing the audio data of the second broadcaster, the RTC stream containing audio data of guests participating in the event in the live broadcast room, and the RTC stream containing audio data of guests not participating in the event in the live broadcast room, and provide them to the audience 201 in the form of CDN stream 210.
  • the corresponding anchor audio data of the host user can be obtained based on the type of guest user in the live broadcast room, and then audio data provided to different types of guest users can be generated based on the obtained anchor audio data. This helps to reduce the influence of the anchor activity audio data generated by the host user's participation in the activity on the guest user participating in the activity, thereby allowing the guest user to focus more on the activity content.
  • FIG. 6 shows a schematic structural block diagram of an apparatus 600 for managing audio data in a live broadcast room according to certain embodiments of this disclosure.
  • the various modules/components in apparatus 600 can be implemented by hardware, software, firmware, or any combination thereof.
  • device 600 includes a type determination module 610, configured to determine the type of a first user based on whether the first user participates in the activities within the live stream.
  • Device 600 also includes a data acquisition module 620, configured to acquire the broadcaster's audio data from the live stream user based on the first user's type.
  • Device 600 further includes a data generation module 630, configured to determine the audio data to be provided to the first user based on the broadcaster's audio data.
  • the data acquisition module 620 includes: a first broadcaster audio data receiving module, configured to receive first broadcaster audio data of the broadcaster user in response to determining the type of the first user indicating that the first user is participating in an activity, the first broadcaster audio data including the broadcaster user's broadcaster voice audio data in the live broadcast room.
  • the data generation module 630 further includes: a first activity audio data acquisition module configured to acquire first activity audio data generated by a first user participating in an activity; and a first data generation module configured to generate audio data for providing to the first user based on the first broadcaster audio data and the first activity audio data.
  • the data generation module 630 is further configured to: in response to determining that a second user exists in the live broadcast room, acquire the user audio data of the second user in the live broadcast room; and generate audio data to be provided to the first user based on the user audio data of the second user in the live broadcast room.
  • the device 600 further includes: a guest audio data acquisition module configured to acquire guest audio data of each guest user in the live broadcast room; and a guest audio data providing module configured to provide guest audio data to users in the live broadcast room, wherein the users in the live broadcast room include at least one of the following: the host user, the guest user, and the viewer user in the live broadcast room.
  • the data acquisition module 620 includes a second broadcaster audio data receiving module, configured to receive second broadcaster audio data of the broadcaster user in response to determining that the type of the first user indicates that the first user has not participated in the activity.
  • the second broadcaster audio data includes broadcaster voice audio data of the broadcaster user in the live broadcast room, and broadcaster activity audio data generated by the broadcaster user participating in the activity.
  • the activity is a game
  • the streamer activity audio data includes at least one of the following: the streamer user's audio data in the game, and the background audio data in the game.
  • the apparatus 600 further includes: a second broadcaster audio data providing module, configured to provide second broadcaster audio data to viewers in the live broadcast room.
  • the apparatus 600 further includes an execution module configured to implement the apparatus at a real-time communication server for managing audio data in a live broadcast room in response to determining that a guest user has been invited to participate in an event.
  • the apparatus 600 further includes: an audio data providing module configured to provide second anchor audio data to users in the live broadcast room in response to determining that no guest users are participating in the activity, wherein the users in the live broadcast room include at least one of the following: guest users in the live broadcast room and audience users.
  • the first user and the second user include at least one of the following: a guest user in the live broadcast room, and another host user in the live broadcast room who is different from the host user.
  • the units and/or modules included in device 600 can be implemented in various ways, including software, hardware, firmware, or any combination thereof.
  • one or more units and/or modules can be implemented using software and/or firmware, such as machine-executable instructions stored on a storage medium.
  • some or all of the units and/or modules in device 600 can be implemented at least partially by one or more hardware logic components.
  • exemplary types of hardware logic components include field-programmable gate arrays (FPGAs), application-specific integrated circuits (ASICs), application-specific standard products (ASSPs), systems-on-a-chip (SoCs), complex programmable logic devices (CPLDs), and so on.
  • Such electronic devices or combinations of electronic devices may, for example, include server 150, terminal device 120, and/or terminal device 140 in FIG. 1.
  • Figure 7 illustrates a block diagram of an electronic device 700 in which one or more embodiments of the present disclosure may be implemented. It should be understood that the electronic device 700 shown in Figure 7 is merely exemplary and should not constitute any limitation on the functionality and scope of the embodiments described herein. The electronic device 700 shown in Figure 7 can be used to implement the server 150, terminal device 120, and/or terminal device 140 of Figure 1.
  • the electronic device 700 is in the form of a general-purpose electronic device.
  • Components of the electronic device 700 may include, but are not limited to, one or more processors or processing units 710, memory 720, storage devices 730, one or more communication units 740, one or more input devices 750, and one or more output devices 760.
  • the processing unit 710 may be a physical or virtual processor and is capable of performing various processes according to programs stored in the memory 720. In a multiprocessor system, multiple processing units execute computer-executable instructions in parallel to improve the parallel processing capability of the electronic device 700.
  • Electronic device 700 typically includes multiple computer storage media. Such media can be any accessible media that is accessible to electronic device 700, including but not limited to volatile and non-volatile media, removable and non-removable media.
  • Memory 720 can be volatile memory (e.g., registers, cache, random access memory (RAM)), non-volatile memory (e.g., read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory), or some combination thereof.
  • Storage device 730 can be removable or non-removable media and can include machine-readable media, such as flash drives, disks, or any other media that can be used to store information and/or data and can be accessed within electronic device 700.
  • Electronic device 700 may further include additional removable/non-removable, volatile/non-volatile storage media.
  • disk drives for reading from or writing to removable, non-volatile disks (e.g., "floppy disks") and optical disk drives for reading from or writing to removable, non-volatile optical disks may be provided.
  • each drive may be connected to a bus (not shown) via one or more data media interfaces.
  • Memory 720 may include computer program product 725 having one or more program modules configured to perform various methods or actions of various embodiments of the present disclosure.
  • the communication unit 740 enables communication with other electronic devices via a communication medium. Additionally, the functionality of the components of the electronic device 700 can be implemented using a single computing cluster or multiple computing machines capable of communicating via communication connections. Therefore, the electronic device 700 can operate in a networked environment using logical connections to one or more other servers, network personal computers (PCs), or another network node.
  • PCs network personal computers
  • Input device 750 can be one or more input devices, such as a mouse, keyboard, trackball, etc.
  • Output device 760 can be one or more output devices, such as a monitor, speaker, printer, etc.
  • Electronic device 700 can also communicate with one or more external devices (not shown) via communication unit 740 as needed. These external devices include storage devices, display devices, etc., and can communicate with one or more devices that enable user interaction with electronic device 700, or with any device that enables electronic device 700 to communicate with one or more other electronic devices (e.g., network card, modem, etc.). Such communication can be performed via input/output (I/O) interface (not shown).
  • I/O input/output
  • a computer-readable storage medium that stores computer-executable instructions thereon, wherein the computer-executable instructions are executed by a processor to implement the methods described above.
  • a computer program product is also provided, which is tangibly stored on a non-transitory computer-readable medium and includes computer-executable instructions, which are executed by a processor to implement the methods described above.
  • These computer-readable program instructions can be provided to a processing unit of a general-purpose computer, a special-purpose computer, or other programmable data processing apparatus to produce a machine such that, when executed by the processing unit of the computer or other programmable data processing apparatus, they create means for implementing the functions/actions specified in one or more blocks of the flowchart and/or block diagram.
  • These computer-readable program instructions can also be stored in a computer-readable storage medium that causes a computer, programmable data processing apparatus, and/or other device to operate in a particular manner.
  • the computer-readable medium storing the instructions comprises an article of manufacture that includes instructions for implementing aspects of the functions/actions specified in one or more blocks of the flowchart and/or block diagram.
  • Computer-readable program instructions can be loaded onto a computer, other programmable data processing apparatus, or other device to cause a series of operational steps to be performed on the computer, other programmable data processing apparatus, or other device to produce a computer-implemented process, thereby causing the instructions that execute on the computer, other programmable data processing apparatus, or other device to perform the functions/actions specified in one or more boxes of a flowchart and/or block diagram.
  • each block in a flowchart or block diagram may represent a module, segment, or portion of an instruction, which contains one or more executable instructions for implementing the specified logical function.
  • the functions indicated in the blocks may occur in a different order than those indicated in the drawings. For example, two consecutive blocks may actually be executed substantially in parallel, and they may sometimes be executed in reverse order, depending on the functions involved.
  • each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts may be implemented using a dedicated hardware-based system that performs the specified function or action, or using a combination of dedicated hardware and computer instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

根据本公开的实施例，提供了管理直播间中的音频数据的方法、装置、设备和介质。该方法包括：基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型；基于第一用户的类型，获取直播间中的主播用户的主播音频数据；以及基于主播音频数据，确定用于向第一用户提供的音频数据。

Description

管理直播间中的音频数据的方法、装置、设备和介质
本申请要求2024年06月24日递交的，标题为“管理直播间中的音频数据的方法、装置、设备和介质”、申请号为202410823772.9的中国发明专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开的示例性实现方式总体涉及计算机领域，特别地涉及管理直播间中的音频数据的方法、装置、设备和计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的应用能够提供直播功能。在直播过程时，主播用户可以与观众用户可以进行交互，可以吸引更多的观众用户，并且向观众用户提供更为丰富的信息。例如，一些直播应用能够在直播间中创建互动活动，用户可以参与到主播方发起的互动活动。主播方可以对直播间内的互动活动进行配置，主播方、参与互动活动的用户以及其他观看直播间的用户可以在直播间内进行音频和/或视频互动。
发明内容
在本公开的第一方面，提供了一种用于管理直播间中的音频数据的方法。该方法包括：基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型；基于第一用户的类型，获取直播间中的主播用户的主播音频数据；以及基于主播音频数据，确定用于向第一用户提供的音频数据。
在本公开的第二方面，提供了一种用于管理直播间中的音频数据的装置。该装置包括：类型确定模块，被配置为基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型；数据获取模块，被配置为基于第一用户的类型，获取直播间中的主播用户的主播音频数据；以及数据生成模块，被配置为基于主播音频数据，确定用于向第一用户提供的音频数据。
在本公开的第三方面，提供了一种电子设备。该电子设备包括：至少一个处理器；以及至少一个存储器，至少一个存储器被耦合到至少一个处理器并且存储用于由至少一个处理器执行的指令，指令在由至少一个处理器执行时使电子设备执行根据本公开第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，计算机可执行指令在被处理器执行时使处理器实现根据本公开第一方面的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机可执行指令，其中计算机可执行指令被处理器执行时实现根据本公开的第一方面的方法。
应当理解，本内容部分中所描述的内容并非旨在限定本公开的实现方式的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
图2示出了传统上的管理直播间中的音频数据的示例的示意图；
图3示出了根据本公开的一些实施例的用于管理直播间中的音频数据的过程的流程图；
图4示出了根据本公开的一些实施例的用于管理直播间中的音频数据的示例的示意图；
图5示出了根据本公开的一些实施例的用于管理直播间中的音频数据的过程的示意图；
图6示出了根据本公开的一些实施例的用于管理直播间中的音频数据的装置的示意性结构框图；以及
图7示出了其中可以实现本公开的一个或多个实施例的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本文中，除非明确说明，“响应于A”执行一个步骤并不意味着在“A”之后立即执行该步骤，而是可以包括一个或多个中间步骤。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
示例环境
图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在环境100中，用户110可以通过相关联的终端设备120建立直播间(例如，直播应用中的直播间可以对应于一个直播间)并提供直播内容等。在一些场景中，用户110例如也称为直播间的主播、直播方或管理方。终端设备120也可以被称为直播间的主播端。
一个或多个用户130-1、130-2、……、130-N可以通过各自相关联的终端设备140-1、140-2、……、140-N观看直播并参与直播间的互动等。为便于讨论，用户130-1、130-2、……、130-N可以统称为或单独称为用户130，并且终端设备140-1、140-2、……、140-N可以统称为或单独称为终端设备140。在一些场景中，用户130也可以称为直播间的观众、听众、观看方或参与方。终端设备140也可以被称为直播间的观众端。备选地和/或附加地，用户130可以被邀请加入直播，此时被邀请的用户可以转换为嘉宾用户，并且连麦与主播对话。
应当理解，虽然图1中仅示出了单个主播用户，在一些实施例中，在某个直播间中可以有多个主播用户发起直播。
在一些实施例中，终端设备120、终端设备140中可以分别安装有能够提供直播服务的应用，或者可以访问能够提供直播服务的网站。用户110和用户130可以操作终端设备120和终端设备140，以访问对应的应用或网站。
相应地，终端设备120和终端设备140可以呈现相应的直播界面，其例如可以提供直播间的直播内容，例如，音频直播内容或视频直播内容等。
在一些实施例中，终端设备120和终端设备140还可以通过网络152与服务器150通信，以实现对直播服务的供应。服务器150可以提供关于应用或网站的管理、配置和维护等功能。
终端设备120和终端设备140可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，终端设备120、140也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
服务器150可以是能够提供计算能力的各种类型的计算系统/服务器，包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。服务器130例如可以为终端设备120和终端设备140中提供直播服务的应用提供后台服务。在一些实施例中，如果主播用户在直播间中发起活动，服务器120可以包括用于提供直播服务的第一服务器和用于提供活动服务的第二服务器。备选地和/或附加地，可以由单一服务器来提供直播服务和活动服务。
应当理解，仅出于示例性的目的描述环境100中各个元素的结构和功能，而不暗示对于本公开的范围的任何限制。以下将继续参考附图描述本公开的一些示例实施例。
在直播场景下，直播平台经常会同时使用RTC(实时通信)和CDN(内容分发网络)服务，当主播(例如用户110)与嘉宾(例如用户130中的部分用户)进行连麦时，连麦部分将使用RTC服务以保证低延时的实时互动(RTC服务对应的数据流可以被称之为RTC流)，RTC服务随后将直播连麦的内容转推至CDN服务，不连麦的观众(例如用户130中的部分用户之外的用户)依然从CDN服务获取直播内容(CDN服务对应的数据流可以被称之为CDN流)。
参见图2描述向不同用户提供音频数据的过程，该图2示出了传统上的管理直播间中的音频数据的示例200的示意图。主播可以邀请一部分嘉宾来参与活动。如图2所示，观众201可以基于CDN服务获取主播(也即用户110)的CDN流210，CDN流包括用户110在直播间中的主播语音音频数据、用户110参与活动所产生的活动音频数据以及直播间中的各个嘉宾用户在直播间中的嘉宾音频数据。未参与活动的嘉宾202和参与活动的嘉宾203均可以基于RTC服务获取用户110的RTC流220，RTC流同样包括用户110在直播间中的主播语音音频数据、用户110参与活动所产生的活动音频数据以及直播间中的各个嘉宾用户在直播间中的嘉宾音频数据。
传统上，参与活动的嘉宾、未参与活动的嘉宾以及观众所听到的音频数据的内容是相同的。对于参与活动的嘉宾而言，其无法获取自身参与活动所产生的活动音频数据，并且仅能获取主播参与活动产生的活动音频，这会影响参与活动的嘉宾的沉浸度并且干扰嘉宾参与活动的专注力。
音频数据管理的概要
有鉴于此，本公开的实施例提出了一种用于管理直播间中的音频数据的改进方案。根据该方案，基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型。基于第一用户的类型，获取直播间中的主播用户的主播音频数据。基于主播音频数据，确定用于向第一用户提供的音频数据。
为了便于描述，在下文中仅以赛车游戏作为活动的示例来描述音频数据管理过程。主播用户可以邀请嘉宾用户参与赛车游戏，此时主播用户可以驾驶汽车，并且嘉宾用户可以驾驶摩托车。对于参加赛车游戏的嘉宾用户而言，可以向该用户提供主播的人声数据和摩托车的音频数据，由此提高此类嘉宾用户对于活动的沉浸感，并且免收来自主播的汽车音频的干扰。对于未参加赛车游戏的嘉宾用户而言，可以向该用户提供主播的人声数据和汽车的音频数据，由此以主播视角来参与活动。
以此方式，在本公开的实施例中，可以基于直播间中嘉宾用户的类型来获取对应的主播用户的主播音频数据，进而基于获取到的主播音频数据生成向嘉宾用户提供的音频数据。这有助于降低参与活动的嘉宾用户和/或参与活动的其他主播受到的来自主播用户的影响，进而使得该嘉宾用户和/或其他主播可以更加专注于活动内容。以下进一步结合附图来详细描述该方案的各种示例实现。
音频数据管理的详细过程
图3示出了根据本公开的一些实施例的用于管理直播间中的音频数据的过程300的流程图。过程300可以被实现在服务器150处，备选地和/或附加地，终端设备120和140可以调用服务器150的功能，来实现过程300。下面参考图1描述过程300。可以理解，可以仅在确定嘉宾用户被邀请参与活动的情况下，执行过程300。在主播用户未邀请嘉宾用户参与活动的情况下，可以直接向嘉宾用户以及观众用户提供主播在直播间中的主播语音音频数据、主播参与活动所产生的活动音频数据以及直播间中的各个嘉宾用户在直播间中的嘉宾音频数据。
本公开的一些示例实施例中，可以在具有数据处理能力的任意设备处执行本公开的过程300，例如，可以在终端设备处执行，可以在网络中的任意服务器设备处执行。具体地，可以在用于管理所述直播间的音频数据的实时通信服务器处执行过程300。
在框310，基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型。这个活动可以是主播用户所发起的活动。这个活动例如可以包括游戏。这里的第一用户例如可以为在直播间中与主播用户进行连麦的用户。第一用户的类型例如可以指示第一用户是否参与活动。
在本公开的实施例中，第一用户可以包括直播间中的嘉宾用户(也称为第一嘉宾用户)。备选地和/或附加地，在多主播的情况下，第一用户可以包括直播间中的不同于主播用户的另一主播用户。以此方式，可以支持多种类型的用户参与活动，从而提高用户之间的交互性。为了便于描述，在下文中将仅以嘉宾用户作为第一用户的示例描述具体实现过程，备选地和/或附加地，在多主播情况下，第一用户可以包括其他主播用户。
在框320，基于第一用户的类型，获取直播间中的主播用户的主播音频数据。
在一些实施例中，如果确定第一用户的类型指示第一用户参与活动，可以接收主播用户的第一主播音频数据。第一主播音频数据例如可以仅包括主播用户在直播间中的主播语音音频数据(例如，人声数据)。关于接收第一主播音频数据的具体时机，在一些实施例中，可以响应于接收到来自主播用户的指示接收第一主播音频数据的用户操作(例如针对特定操作控件的触发操作)，确定可以接收第一主播音频数据。备选地或者附加地，在一些实施例中，还可以响应于确定直播间中存在参与活动的嘉宾用户，自行接收第一主播音频数据。
在一些实施例中，如果确定第一用户的类型指示第一用户未参与活动，终端设备120可以接收主播用户的第二主播音频数据。这个第二主播音频数据例如可以包括主播用户在直播间中的主播语音音频数据、以及主播用户参与活动所产生的主播活动音频数据。以活动是游戏为例，主播活动音频数据例如可以包括主播用户在游戏中执行的动作的音频数据(也称为主播用户在游戏中对应的音频数据)和/或游戏中的背景音频数据。在上文赛车游戏的示例中，主播活动音频数据可以包括主播用户在驾驶汽车时产生的汽车引擎音频、游戏的背景音乐等等。又例如，如果游戏为下棋游戏，主播活动音频数据可以包括主播用户在游戏中下棋产生的音频、主播用户对应的虚拟角色在游戏中的对话、游戏的背景音乐等等。
在框330，基于主播音频数据，确定用于向第一用户提供的音频数据。
在一些实施例中，可以直接向第一用户提供主播音频数据。备选地和/或附加地，可以基于主播音频数据和其他音频数据，来生成向第一用户提供的音频数据。针对参与活动的第一用户，还可以获取第一用户参与活动所产生的第一活动音频数据，并基于第一活动音频数据和主播语音音频数据，生成音频数据。与主播活动音频数据类似地，第一活动音频数据例如可以包括第一用户在游戏中执行的动作的音频数据(也即，与嘉宾用户在游戏中对应的音频数据)和/或游戏中的背景音频数据。例如，在上文赛车游戏的示例中，第一活动音频数据可以包括第一用户在驾驶摩托车时产生的摩托车引擎音频、游戏的背景音乐等等。又例如，如果游戏为下棋游戏，第一活动音频数据可以包括第一用户在游戏中下棋产生的音频、第一用户对应的虚拟角色在游戏中的对话、游戏的背景音乐等等。
在一些实施例中，针对未参与活动的第一用户，可以基于接收到的第二用户在直播间中的用户音频数据，生成音频数据。在此，第二用户在直播间中的用户音频数据可以包括第二用户在直播间中的语音音频数据。备选地和/或附加地，第二用户在直播间中的用户音频数据可以包括第二用户在直播间中的语音音频数据及活动音频数据。
在一些实施例中，如果在第一用户(无论是否参与活动)之外，直播间中还存在第二用户，可以获取第二用户在直播间中的用户音频数据(例如，第二用户在直播间中说话的语音)，并且基于第二用户在直播间中的用户音频数据，生成向第一用户提供的音频数据。在此的第二用户是可以在直播间中说话的用户，例如包括以下至少任一项：连麦的其他嘉宾用户(无论是否参与活动)以及多主播场景下的其他主播(无论是否参与活动)。
在一些示例中，可以获取第一用户的音频接收模式。在此，音频接收模式可以指定第一用户是否允许接收来自主播用户以外的其他用户(也即，第二用户)的音频数据。具体地，免打扰模式可以指定第一用户不允许接收来自其他用户的音频数据，并且常规模式可以指定第一用户允许接收来自其他用户的音频数据。
在确定用于向第一用户提供的音频数据的过程中，可以基于音频接收模式，生成向第一用户提供的音频数据。具体地，在常规模式下，响应于确定音频接收模式指示允许接收来自主播用户以外的其他用户的音频数据，还可以获取第二用户在直播间中的用户音频数据。进而可以基于第二用户在直播间中的用户音频数据，生成向第一用户提供的音频数据。此时，第一用户可听到来自主播和其他连麦用户(包括嘉宾和/或其他主播)的声音。备选地和/或附加地，在免打扰模式下，可以排除来自第二用户的语音音频数据，此时第一用户仅接收来自主播的音频数据，由此可以降低其他用户对于第一用户的干扰。
示例性地，针对参与活动的第一用户，可以基于主播用户的第一主播音频数据、第一用户参与活动所产生的第一活动音频数据以及第二用户在直播间中的用户音频数据，生成向参与活动的第一用户提供的音频数据。也即，在赛车游戏的情况下，参与活动的嘉宾用户可以听到主播的人声、自己驾驶摩托车的音频、以及其他嘉宾的人声。针对未参与活动的第一用户，可以基于主播用户的第二主播音频数据以及第二用户在直播间中的用户音频数据，生成向未参与活动的第一用户提供的音频数据。也即，在赛车游戏的情况下，未参与活动的嘉宾用户可以听到主播的人声、主播驾驶汽车的音频、以及其他嘉宾的人声。
在一些实施例中，可以获取直播间中的各个嘉宾用户在直播间中的嘉宾音频数据，并向直播间中的用户(包括直播间中的主播用户、嘉宾用户和/或观众用户)提供嘉宾音频数据。示例性地，针对观众用户，可以接收主播用户的第二主播音频数据以及直播间中的各个嘉宾用户(包括参与活动的嘉宾用户和未参与活动的嘉宾用户)在直播间中的嘉宾音频数据，并基于第二主播音频数据和嘉宾音频数据来生成针对观众用户的音频数据。在一些实施例中，为避免嘉宾听到来自自己的嘉宾音频数据，针对每个嘉宾(无论时段参与活动)，可以向该嘉宾提供该嘉宾之外的其他嘉宾的嘉宾音频数据。
图4示出了根据本公开的一些实施例的用于管理直播间中的音频数据的示例400的示意图。如图4所示，针对来自主播(也即用户110)的主播音频数据，可以获取两路RTC流(也即RTC流410和RTC流420)。可以向参与活动的嘉宾203提供包括第一主播音频数据(第一主播音频数据仅包括用户110在直播间中的主播语音音频数据)的RTC流420。可以向未参与活动的嘉宾202提供包括第二主播音频数据(第二主播音频数据包括用户110在直播间中的主播语音音频数据、以及用户110参与活动所产生的主播活动音频数据)的RTC流410。可以将RTC流410和来自嘉宾用户的RTC流(包括嘉宾用户的嘉宾音频数据)进行CDN合流以得到CDN流210，CDN流210被提供给直播间内的观众用户201。由此，可以使得参与活动的嘉宾听不到用户110参与活动所产生的主播活动音频数据，可以避免主播活动音频数据对自身的活动所造成影响。
图5示出了根据本公开的一些实施例的用于管理直播间中的音频数据的过程500的示意图。如图5所示，主播用户对应的终端设备120、参与活动的嘉宾对应的终端设备510和未参与直播活动的嘉宾对应的终端设备520可以均与服务端510相连接，服务端510可以对应于图1中的服务器150。服务端510可以包括用于为活动提供后台服务的活动服务端。终端设备120和终端设备510中可以包括云活动容器(也即云活动容器501和云活动容器503)，云活动容器可以从活动服务端处获取活动页面，并将其呈现在对应的终端设备处。服务端510还可以包括用于为直播连麦502-1提供后台服务的直播服务端。
在终端设备120、终端设备510、终端设备520分别处于直播连麦502-1、502-2和502-3(统称为502)状态下时，终端设备120可以获取针对主播用户的两路RTC流，一路RTC流包括主播用户在直播间中的主播语音音频数据、以及主播用户参与活动所产生的主播活动音频数据(也即第二主播音频数据)，一路RTC流包括主播用户在直播间中的主播语音音频数据(也即第一主播音频数据)。终端设备510可以获取参与活动的嘉宾的一路RTC流，该RTC流包括参与活动的嘉宾在直播间中的嘉宾音频数据。终端设备520可以获取未参与活动的嘉宾的一路RTC流，该RTC流包括未参与活动的嘉宾在直播间中的嘉宾音频数据。可以理解，可以存在多个参与活动的嘉宾和/或多个未参与活动的嘉宾，因此可以存在多个终端设备510和多个终端设备520，本公开对此不作限定。
RTC系统530可以获取上述的多路RTC流，并将包括参与活动的嘉宾在直播间中的嘉宾音频数据的RTC流和包括未参与活动的嘉宾在直播间中的嘉宾音频数据的RTC流进行合并，提供给主播用户(也即发送给终端设备120)。RTC系统530可以将包括第一主播音频数据的RTC流和包括自身之外的其他嘉宾在直播间中的嘉宾音频数据的RTC流进行合并，提供给参与活动的嘉宾(也即发送给终端设备510)。RTC系统530可以将包括第二主播音频数据的RTC流和包括自身之外的其他嘉宾在直播间中的嘉宾音频数据的RTC流进行合并，提供给参与活动的嘉宾(也即发送给终端设备520)。RTC系统530可以将包括第二主播音频数据的RTC流、包括参与活动的嘉宾在直播间中的嘉宾音频数据的RTC流和包括未参与活动的嘉宾在直播间中的嘉宾音频数据的RTC流进行合并，以CDN流210的形式提供给观众201。
综上所述，根据本公开的实施例，可以基于直播间中嘉宾用户的类型来获取对应的主播用户的主播音频数据，进而基于获取到的主播音频数据生成向不同类型的嘉宾用户提供的音频数据。这有助于降低参与活动的嘉宾用户受到主播用户参与活动所产生的主播活动音频数据的影响，进而使得该嘉宾用户可以更加专注于活动内容。
示例装置和设备
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图6示出了根据本公开的某些实施例的管理直播间中的音频数据的装置600的示意性结构框图。装置600中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
如图所示，装置600包括类型确定模块610，被配置为基于直播间中的第一用户是否参与直播间中的活动，确定第一用户的类型。装置600还包括数据获取模块620，被配置为基于第一用户的类型，获取直播间中的主播用户的主播音频数据。装置600还包括数据生成模块630，被配置为基于主播音频数据，确定用于向第一用户提供的音频数据。
在一些实施例中，数据获取模块620包括：第一主播音频数据接收模块，被配置为响应于确定第一用户的类型指示第一用户参与活动，接收主播用户的第一主播音频数据，第一主播音频数据包括主播用户在直播间中的主播语音音频数据。
在一些实施例中，数据生成模块630进一步包括：第一活动音频数据获取模块，被配置为获取第一用户参与活动所产生的第一活动音频数据；以及第一数据生成模块，被配置为基于第一主播音频数据以及第一活动音频数据，生成用于向第一用户提供的音频数据。
在一些实施例中，数据生成模块630进一步被配置用于：响应于确定直播间中存在第二用户，获取第二用户在直播间中的用户音频数据；以及基于第二用户在直播间中的用户音频数据，生成向第一用户提供的音频数据。
在一些实施例中，装置600进一步包括：嘉宾音频数据获取模块，被配置为获取直播间中的各个嘉宾用户在直播间中的嘉宾音频数据；以及嘉宾音频数据提供模块，被配置为向直播间中的用户提供嘉宾音频数据，直播间中的用户包括以下至少任一项：直播间中的主播用户、嘉宾用户以及观众用户。
在一些实施例中，数据获取模块620包括：第二主播音频数据接收模块，被配置为响应于确定第一用户的类型指示第一用户未参与活动，接收主播用户的第二主播音频数据，第二主播音频数据包括主播用户在直播间中的主播语音音频数据、以及主播用户参与活动所产生的主播活动音频数据。
在一些实施例中，活动是游戏，主播活动音频数据包括以下至少任一项：主播用户在游戏中对应的音频数据、以及游戏中的背景音频数据。
在一些实施例中，装置600进一步包括：第二主播音频数据提供模块，被配置为向直播间中的观众用户提供第二主播音频数据。
在一些实施例中，装置600进一步包括：执行模块，被配置为响应于确定嘉宾用户被邀请参与活动，在用于管理直播间的音频数据的实时通信服务器处实现所述装置。
在一些实施例中，装置600进一步包括：音频数据提供模块，被配置为响应于确定没有嘉宾用户参与活动，向直播间中的用户提供第二主播音频数据，直播间中的用户包括以下至少任一项：直播间中的嘉宾用户、以及观众用户。
在一些实施例中，第一用户和第二用户包括以下至少任一项：直播间中的嘉宾用户、以及直播间中的不同于主播用户的另一主播用户。
装置600中所包括的单元和/或模块可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元和/或模块可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置600中的部分或者全部单元和/或模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
应当理解，以上方法中的一个或多个步骤可以由适当的电子设备或电子设备的组合来执行。这样的电子设备或电子设备的组合例如可以包括图1中的服务器150、终端设备120和/或终端设备140。
图7示出了其中可以实施本公开的一个或多个实施例的电子设备700的框图。应当理解，图7所示出的电子设备700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图7所示出的电子设备700可以用于实现图1的服务器150、终端设备120和/或终端设备140。
如图7所示，电子设备700是通用电子设备的形式。电子设备700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备700的并行处理能力。
电子设备700通常包括多个计算机存储介质。这样的介质可以是电子设备700可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据并且可以在电子设备700内被访问。
电子设备700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元740实现通过通信介质与其他电子设备进行通信。附加地，电子设备700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备760可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备700交互的设备进行通信，或者与使得电子设备700与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (16)

  1. 一种用于管理直播间中的音频数据的方法，包括：
    基于直播间中的第一用户是否参与所述直播间中的活动，确定所述第一用户的类型；
    基于所述第一用户的所述类型，获取所述直播间中的主播用户的主播音频数据；以及
    基于所述主播音频数据，确定用于向所述第一用户提供的音频数据。
  2. 根据权利要求1所述的方法，其中基于所述第一用户的所述类型来获取所述主播音频数据包括：响应于确定所述第一用户的所述类型指示所述第一用户参与所述活动，接收所述主播用户的第一主播音频数据，所述第一主播音频数据包括所述主播用户在所述直播间中的主播语音音频数据。
  3. 根据权利要求2所述的方法，其中基于所述主播音频数据，确定用于向所述第一用户提供的所述音频数据进一步包括：
    获取所述第一用户参与所述活动所产生的第一活动音频数据；以及
    基于所述第一主播音频数据以及第一活动音频数据，生成用于向所述第一用户提供的所述音频数据。
  4. 根据权利要求1或2所述的方法，其中确定用于向所述第一用户提供的所述音频数据进一步包括：
    响应于确定所述直播间中存在第二用户，获取所述第二用户在所述直播间中的用户音频数据；以及
    基于所述第二用户在所述直播间中的用户音频数据，生成向所述第一用户提供的所述音频数据。
  5. 根据权利要求4所述的方法，其中基于所述第二用户在所述直播间中的用户音频数据，生成向所述第一用户提供的所述音频数据包括：
    获取所述第一用户的音频接收模式；以及
    响应于确定所述音频接收模式指示允许接收来自所述主播用户以外的其他用户的音频数据，基于所述第二用户在所述直播间中的用户音频数据来生成向所述第一用户提供的所述音频数据。
  6. 根据权利要求1所述的方法，进一步包括：
    获取所述直播间中的各个嘉宾用户在所述直播间中的嘉宾音频数据；以及
    向所述直播间中的用户提供所述嘉宾音频数据，所述直播间中的用户包括以下至少任一项：所述直播间中的所述主播用户、嘉宾用户以及观众用户。
  7. 根据权利要求1所述的方法，其中基于所述第一用户的所述类型来获取所述主播音频数据包括：响应于确定所述第一用户的所述类型指示所述第一用户未参与所述活动，接收所述主播用户的第二主播音频数据，所述第二主播音频数据包括所述主播用户在所述直播间中的主播语音音频数据、以及所述主播用户参与所述活动所产生的主播活动音频数据。
  8. 根据权利要求7所述的方法，其中所述活动是游戏，所述主播活动音频数据包括以下至少任一项：所述主播用户在所述游戏中对应的音频数据、以及所述游戏中的背景音频数据。
  9. 根据权利要求7所述的方法，进一步包括：向所述直播间中的观众用户提供所述第二主播音频数据。
  10. 根据权利要求1所述的方法，进一步包括：响应于确定所述嘉宾用户被邀请参与所述活动，在用于管理所述直播间的音频数据的实时通信服务器处执行所述方法。
  11. 根据权利要求7所述的方法，进一步包括：响应于确定没有嘉宾用户参与所述活动，向所述直播间中的用户提供所述第二主播音频数据，所述直播间中的用户包括以下至少任一项：所述直播间中的嘉宾用户、以及观众用户。
  12. 根据权利要求4所述的方法，其中所述第一用户和所述第二用户包括以下至少任一项：所述直播间中的嘉宾用户、以及所述直播间中的不同于所述主播用户的另一主播用户。
  13. 一种用于管理直播间中的音频数据的装置，包括：
    类型确定模块，被配置为基于直播间中的第一用户是否参与所述直播间中的活动，确定所述第一用户的类型；
    数据获取模块，被配置为基于所述第一用户的所述类型，获取所述直播间中的主播用户的主播音频数据；以及
    数据生成模块，被配置为基于所述主播音频数据，确定用于向所述第一用户提供的音频数据。
  14. 一种电子设备，包括：
    至少一个处理器；以及
    至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令，所述指令在由所述至少一个处理器执行时使所述电子设备执行根据权利要求1至12中任一项所述的方法。
  15. 一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令可由处理器执行以实现根据权利要求1至12中任一项所述的方法。
  16. 一种计算机程序产品，包括计算机可执行指令，其中所述计算机可执行指令/被处理器执行时实现根据权利要求1至12中任一项所述的方法。
PCT/CN2025/103145 2024-06-24 2025-06-24 管理直播间中的音频数据的方法、装置、设备和介质 Pending WO2026001982A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410823772.9A CN121217943A (zh) 2024-06-24 2024-06-24 管理直播间中的音频数据的方法、装置、设备和介质
CN202410823772.9 2024-06-24

Publications (1)

Publication Number Publication Date
WO2026001982A1 true WO2026001982A1 (zh) 2026-01-02

Family

ID=98118163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2025/103145 Pending WO2026001982A1 (zh) 2024-06-24 2025-06-24 管理直播间中的音频数据的方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN121217943A (zh)
WO (1) WO2026001982A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818004A (zh) * 2019-12-11 2020-10-23 厦门雅基软件有限公司 云游戏直播方法、云游服务器及计算机可读存储介质
CN113542792A (zh) * 2021-07-14 2021-10-22 北京字节跳动网络技术有限公司 音频合流方法、音频上传方法、设备及程序产品
CN115065829A (zh) * 2022-04-25 2022-09-16 武汉斗鱼鱼乐网络科技有限公司 一种多人连麦方法及相关设备
CN115733826A (zh) * 2021-08-31 2023-03-03 索尼互动娱乐有限责任公司 跨应用和平台的音频分析和可访问性
CN116828222A (zh) * 2023-07-20 2023-09-29 广州方硅信息技术有限公司 直播间直播流控制方法及其装置、设备、介质
CN117395447A (zh) * 2023-11-01 2024-01-12 抖音视界有限公司 直播互动方法、直播系统、可读介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818004A (zh) * 2019-12-11 2020-10-23 厦门雅基软件有限公司 云游戏直播方法、云游服务器及计算机可读存储介质
CN113542792A (zh) * 2021-07-14 2021-10-22 北京字节跳动网络技术有限公司 音频合流方法、音频上传方法、设备及程序产品
CN115733826A (zh) * 2021-08-31 2023-03-03 索尼互动娱乐有限责任公司 跨应用和平台的音频分析和可访问性
CN115065829A (zh) * 2022-04-25 2022-09-16 武汉斗鱼鱼乐网络科技有限公司 一种多人连麦方法及相关设备
CN116828222A (zh) * 2023-07-20 2023-09-29 广州方硅信息技术有限公司 直播间直播流控制方法及其装置、设备、介质
CN117395447A (zh) * 2023-11-01 2024-01-12 抖音视界有限公司 直播互动方法、直播系统、可读介质及电子设备

Also Published As

Publication number Publication date
CN121217943A (zh) 2025-12-26

Similar Documents

Publication Publication Date Title
CN116708857A (zh) 用于直播间交互的方法、装置、设备和存储介质
EP4618566A1 (en) Video interaction method and apparatus, and device and storage medium
WO2026008058A1 (zh) 用于直播互动的方法、装置、设备和存储介质
WO2026001989A1 (zh) 用于交互的方法、装置、设备和存储介质
WO2025252051A1 (zh) 交互方法、装置、设备和存储介质
WO2026012489A1 (zh) 用于直播互动的方法、装置、设备和存储介质
WO2025242205A1 (zh) 直播互动的方法、装置、设备和存储介质
WO2026001982A1 (zh) 管理直播间中的音频数据的方法、装置、设备和介质
EP4618563A1 (en) Livestream method and apparatus, device and storage medium
WO2026001097A1 (zh) 云游戏处理和互动方法、装置、设备和存储介质
CN119961517A (zh) 与虚拟对象交互的方法、装置、设备、介质和程序产品
CN117412069A (zh) 直播互动方法、装置、设备和存储介质
WO2026001994A1 (zh) 用于管理直播间的方法、装置、设备和介质
WO2026092459A1 (zh) 直播内容呈现的方法、装置、设备和存储介质
WO2026001990A1 (zh) 直播方法、装置、设备和介质
WO2026067269A1 (zh) 用于音频处理的方法、装置、设备和存储介质
WO2026092437A1 (zh) 用于直播控制的方法、装置、设备和存储介质
WO2026092471A1 (zh) 用于直播控制的方法、装置、设备和存储介质
WO2025256643A1 (zh) 直播交互方法、装置、设备和存储介质
US20250355736A1 (en) Message interaction
US20250337703A1 (en) Message sending
CN121940583A (zh) 直播内容呈现的方法、装置、设备和存储介质
WO2026092473A1 (zh) 交互的方法、装置、设备和存储介质
WO2025259197A2 (zh) 用于直播互动的方法、装置、设备、介质和程序产品
CN121940557A (zh) 界面交互的方法、装置、设备、存储介质和产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25826046

Country of ref document: EP

Kind code of ref document: A1