WO2023202152A1 - 音频重定向方法、装置、设备及存储介质 - Google Patents

音频重定向方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2023202152A1
WO2023202152A1 PCT/CN2022/143322 CN2022143322W WO2023202152A1 WO 2023202152 A1 WO2023202152 A1 WO 2023202152A1 CN 2022143322 W CN2022143322 W CN 2022143322W WO 2023202152 A1 WO2023202152 A1 WO 2023202152A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
redirector
source
destination
redirection
Prior art date
Application number
PCT/CN2022/143322
Other languages
English (en)
French (fr)
Inventor
何�轩
杨俊拯
刘科洋
普明君
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2023202152A1 publication Critical patent/WO2023202152A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Definitions

  • the embodiments of the present application relate to the field of redirection technology, and in particular to an audio redirection method, device, equipment and storage medium.
  • Redirect refers to the technology of transferring certain capabilities from one device to another.
  • the transferred capabilities include video, audio, control, etc.
  • Audio redirection is a common redirection technology in daily life.
  • the source device can transmit audio to the destination device to achieve better playback effects. For example, take the scenario of redirecting audio from a mobile phone to a car. When the mobile phone has audio that needs to be played, the mobile phone can redirect the audio to the car speakers, and then the car speakers play the audio.
  • Embodiments of the present application provide an audio redirection method, device, equipment and storage medium.
  • the technical solutions are as follows:
  • inventions of the present application provide an audio redirection method, which is used for a source device.
  • the method includes:
  • the audio redirection mode includes device-level redirection and application-level redirection;
  • the redirected audio is transmitted to the destination device through a link between the source audio redirector and the destination audio redirector, the destination audio redirector being created by the destination device.
  • inventions of the present application provide an audio redirection method, which is used for a destination device.
  • the method includes:
  • the redirected audio transmitted by the source device is received through the link between the destination audio redirector and the source audio redirector, the source audio redirector is created by the source device, the The redirected audio is obtained by audio collection by the source device based on the audio redirection mode indicated by the audio redirection instruction.
  • the audio redirection mode includes device-level redirection and application-level redirection;
  • the redirected audio is played through the destination audio output device.
  • inventions of the present application provide an audio redirection device, which is used for source equipment.
  • the device includes:
  • the first instruction receiving module is used to receive audio redirection instructions
  • An audio collection module configured to collect audio based on the audio redirection mode indicated by the audio redirection instruction to obtain redirected audio, where the audio redirection mode includes device-level redirection and application-level redirection;
  • the first transmission module is used to transmit the redirected audio to the destination device through the link between the source audio redirector and the destination audio redirector.
  • the destination audio redirector is configured by the destination audio redirector. Describe the creation of the destination device.
  • inventions of the present application provide an audio redirection device, which is used for destination equipment.
  • the device includes:
  • the first instruction receiving module is used to receive audio redirection instructions
  • a first creation module configured to create a destination audio redirector based on the audio redirection instruction
  • the first receiving module is configured to receive the redirected audio transmitted by the source device through the link between the destination audio redirector and the source audio redirector.
  • the source audio redirector is configured by the Created by the source device, the redirected audio is obtained by the source device performing audio collection based on the audio redirection mode indicated by the audio redirection instruction.
  • the audio redirection mode includes device-level redirection and application-level redirection. Orientation;
  • a playback module configured to play the redirected audio through the destination audio output device.
  • inventions of the present application provide a computer device.
  • the computer device includes a processor and a memory; the memory stores at least one program, and the at least one program is used to be executed by the processor to implement the following: The audio redirection method described above.
  • embodiments of the present application provide a computer-readable storage medium in which at least one instruction is stored, and the at least one instruction is executed by a processor to implement audio as described in the above aspect. Redirect method.
  • inventions of the present application provide a computer program product.
  • the computer program product includes computer instructions, and the computer instructions are stored in a computer-readable storage medium.
  • the processor of the computer device reads the computer instructions from the computer-readable storage medium, and the processor executes the computer instructions, so that the computer device performs the audio redirection method provided in various optional implementations of the above aspect.
  • Figure 1 shows a flow chart of an audio redirection method provided by an exemplary embodiment of the present application
  • Figure 2 shows an implementation schematic diagram of the encoding, transmission and decoding processes provided by an exemplary embodiment of the present application
  • Figure 3 shows an implementation schematic diagram of the encoding, transmission and decoding processes provided by another exemplary embodiment of the present application
  • Figure 4 shows a schematic diagram of two audio output modes provided by an exemplary embodiment of the present application
  • Figure 5 shows a schematic diagram of the implementation environment of the device-level redirection mode audio redirection method provided by an exemplary embodiment of the present application
  • Figure 6 shows a flow chart of a device-level redirection mode audio redirection method provided by an exemplary embodiment of the present application
  • Figure 7 shows a schematic flow diagram of redirected audio data in an implementation environment of the device-level redirection mode
  • Figure 8 shows a schematic diagram of the implementation environment under the application-level sound collection solution provided by another exemplary embodiment of the present application.
  • Figure 9 shows a flow chart of a device-level redirection mode audio redirection method provided by an exemplary embodiment of the present application.
  • Figure 10 shows a schematic flow diagram of redirected audio data in an implementation environment in application-level redirection mode
  • Figure 11 shows a structural block diagram of an audio redirection device provided by an embodiment of the present application.
  • Figure 12 shows a structural block diagram of an audio redirection device provided by an embodiment of the present application.
  • Figure 13 shows a structural block diagram of a computer device provided by an exemplary embodiment of the present application.
  • audio redirection scenarios in related technologies only mention many-to-one situations, and do not mention one-to-many or even many-to-many situations, that is, the sound of the same application is output to multiple destination terminals at the same time or Case of multiple audio output devices. It should be noted that in this case, there is no mutual interference between the destinations, and the destination device needs to support simultaneous output.
  • a certain audio output channel can be specified, or certain audio mixed output channels can be selected.
  • the audio of the application can be output to these multiple destination devices at the same time.
  • the destination device has multiple audio output devices, the multiple audio channels can be output separately.
  • multi-channel audio separate output is realized, and a certain channel of audio is also supported to be turned off, improving the user experience of multi-channel audio in redirection.
  • the source device is an electronic device with redirection requirements, which can be a mobile terminal such as a smartphone, tablet, or personal computer.
  • the object with redirection requirements in the source device is called a redirection object.
  • the redirection object can be a screen mirroring or a redirection application, and the redirection content of the redirection object can include at least one of video, audio, and control.
  • the redirection object specifically refers to audio or an application containing audio.
  • the same source device can perform audio redirection on at least two redirection objects at the same time.
  • audio redirection can be performed on game applications and video applications at the same time, and audio redirection can also be performed on video applications and navigation applications at the same time.
  • the source device has an upper limit on the number of redirect objects that support simultaneous audio redirection, and the upper limit is related to the processing performance of the source device.
  • the destination device is an electronic device used to display redirection results, which may be a smartphone, a tablet, a personal computer, a smart TV, or a vehicle-mounted terminal (such as a car machine), etc.
  • the destination device has the audio playback function, and the audio played by the destination device is the audio of the screencasting object.
  • Both the source device and the destination device have audio output devices.
  • Common audio output devices include: the device's own speakers, wired headphones, Bluetooth headphones, wired speakers, Bluetooth speakers, etc.
  • Some terminal devices may have multiple audio output devices.
  • car machines usually contain multiple screens, and each screen can be connected to the headset individually through wired or wireless methods.
  • the at least two audio output devices can play different audios at the same time, or the same audio, and the screen-cast audio played by each audio output device can be
  • a single audio redirection object can also be multiple audio redirection objects (in this case, the screen of the destination device displays multiple audio redirection objects in split screen).
  • connection method adopted between the source device and the destination device may include at least one of Wlan AP mode, WiFi-P2P, USB wired connection, and mobile data network, which is not limited in the embodiments of this application. .
  • Figure 1 shows a flow chart of an audio redirection method provided by an exemplary embodiment of the present application.
  • the method includes:
  • Step 101 The source device receives the audio redirection instruction.
  • the source device When audio redirection through the source device is required, the source device responds to the audio redirection operation and receives the audio redirection instruction.
  • the audio redirection operation can be triggered on the source device side or by a third-party device, where the third-party device and the source device are in the same scheduling domain, for example, the third-party device and the source device Log in with the same user account.
  • the source device can redirect screen mirroring or redirect an installed and running application (ie, a redirection application).
  • a redirection application ie, a redirection application
  • the application can be running in the background during the redirection process.
  • the redirection application can be a navigation application, a video application, a game application, etc., or even a pure audio application.
  • the embodiment of the present application does not limit the specific type of screen casting application.
  • Step 102 The destination device receives the audio redirection instruction.
  • the source device after receiving the audio redirection instruction, transmits the audio redirection instruction to the destination device, and then the destination device receives the audio redirection instruction.
  • the source device can transmit audio redirection instructions wirelessly, such as Bluetooth, Wlan AP, WiFi-P2P or mobile data network; the redirection data can also be transmitted wiredly. , for example, USB wired connection; the redirection data can also be transmitted through a hybrid wired and wireless method, which is not limited in the embodiments of the present application.
  • Step 103 The source device creates a source audio redirector based on the audio redirection instruction.
  • the source device after the source device receives the audio redirection instruction, it further creates a source audio redirector based on the audio redirection instruction.
  • the source audio redirector is grouped based on the destination device. The same group The source audio redirector shares the audio transport.
  • the source device creates a source audio redirector based on the source device identification, application identification, destination device identification, and audio output device identification indicated by the audio redirection instruction.
  • the source device when the source device needs to redirect audio to different destination devices (it can be the same audio redirection object or different audio redirection objects), the source device creates multiple source audio redirectors. ;When the source device casts the same redirection object to multiple audio output devices of the destination device, the source device creates multiple source audio redirectors for different audio output devices; when the source device casts the same redirection object to the destination device's When multiple audio output devices project different redirection objects, the source device creates multiple source audio redirectors for different redirection objects.
  • the source device when it is necessary to redirect the game application to the first audio output device of the first destination device and the second audio output device of the second destination device, the source device based on the source device identifier, the first destination identifier, Create a first source audio redirector based on the game application identifier and the first audio output device identifier, and create a second source audio redirector based on the source device identifier, the second destination identifier, the navigation application identifier, and the second audio output device identifier.
  • the source device When it is necessary to redirect the game application to the first audio output device of the first destination device and redirect the navigation application to the second audio output device of the first destination device, the source device is based on the source device identifier, Create a first source audio redirector based on the first destination identifier, the game application identifier, and the first audio output device identifier, and create a third source audio redirector based on the source device identifier, the first destination identifier, the navigation application identifier, and the second audio output device identifier.
  • Two source audio redirectors when it is necessary to simultaneously redirect audio to the first audio output device and the second audio output device of the first destination device for the game application, the source device is based on the source device identifier and the first destination identifier.
  • the game application identifier and the first audio output device identifier create a first source audio redirector, and create a second source audio redirector based on the source device identifier, the first destination identifier, the game application identifier and the second audio output device identifier. Director.
  • Step 104 The destination device creates a destination audio redirector based on the audio redirection instruction.
  • the destination device creates a destination audio redirector based on the audio redirection instructions.
  • the destination audio redirectors are grouped based on the source device, and the same group of destination audio redirectors share audio transmission.
  • the destination device creates a destination audio redirector based on the source device identifier, application identifier, destination device identifier, and audio output device identifier indicated by the audio redirection instruction.
  • the source device redirects audio to different destination devices (it can be the same audio redirection object or different audio redirection objects), different destination devices create different destination redirectors; when the source device When the device redirects the same audio redirection object to multiple audio output devices of the destination device, the destination device creates multiple destination redirectors for different audio output devices; when the source device redirects audio to multiple audio output devices of the destination device When the output device audio redirects different audio redirection objects, the destination device creates multiple destination redirectors for different audio redirection objects.
  • the source device redirects the game application to the first audio output device of the first destination device and the second audio output device of the second destination device
  • the first destination device based on the source device identifier, the first The destination identifier, the game application identifier, and the first audio output device identifier create a first destination audio redirector
  • the second destination device is based on the source device identifier, the second destination identifier, the game application identifier, and the second audio output device Identifies the creation of a second destination audio redirector; when the source device audio redirects the game application to the first audio output device of the first destination device, the navigation application redirects the audio to the second audio output device of the first destination device.
  • the destination device creates a first destination audio redirector based on the source device identifier, the first destination identifier, the game application identifier, and the first audio output device identifier.
  • the navigation The application identifier and the second audio output device identifier create a second destination audio redirector; when the source device redirects the game application to the first audio output device and the second audio output device of the first destination device, the destination device The device creates a first destination audio redirector based on the source device identifier, the first destination identifier, the game application identifier, and the first audio output device identifier.
  • the second audio output device identifier creates a second destination audio redirector.
  • Step 105 The source device collects audio based on the audio redirection mode indicated by the audio redirection instruction to obtain redirected audio.
  • the source device performs audio collection based on the audio redirection mode indicated by the audio redirection instruction.
  • the audio redirection mode includes device-level redirection and application-level redirection.
  • the source device performs device-level audio collection. At this time, the audio of each application in the device is collected in a mixed manner.
  • the source device performs application-level audio collection. At this time, the sound of each application in the device can be collected separately.
  • Step 106 The source device transmits the redirected audio to the destination device through the link between the source audio redirector and the destination audio redirector.
  • the source device transmits the encoded redirection to the destination device through at least one link between at least one source redirector and one destination redirector. Audio.
  • the source device can transmit redirected audio through wireless methods, such as Wlan AP, WiFi-P2P or mobile data network; it can also transmit redirected audio through wired methods, such as USB Wired connection; the redirected audio can also be transmitted through a wired and wireless hybrid method, which is not limited in the embodiments of the present application.
  • wireless methods such as Wlan AP, WiFi-P2P or mobile data network
  • wired methods such as USB Wired connection
  • the redirected audio can also be transmitted through a wired and wireless hybrid method, which is not limited in the embodiments of the present application.
  • Step 107 The destination device receives the redirected audio transmitted by the source device through the link between the destination audio redirector and the source audio redirector.
  • the destination device receives the redirected audio transmitted by the source device through at least one link between at least one destination redirector and at least one source redirector.
  • Step 108 The destination device plays the redirected audio through the destination audio output device.
  • the destination device determines the target audio output device according to the target audio output device identification, and then performs audio playback through the target audio output device.
  • the source device receives the audio redirection instruction, it creates the source audio redirector based on the audio redirection instruction, and then based on the audio redirection instruction indicated
  • the audio redirection mode is used to collect audio, and finally the redirected audio is transmitted to the destination device through the link between the source audio redirector and the destination audio redirector; using the solution provided by the embodiment of this application, the device can be solved For audio redirection issues at the level and application level, the device audio of the source device can be played through the audio output device of the destination device, or the application audio of the specified application in the source device can be played.
  • perform audio collection based on the audio redirection mode indicated by the audio redirection instruction to obtain redirected audio including:
  • audio collection is performed through the device-level audio collector to obtain the device redirection audio of the source device;
  • the audio redirection mode indicated by the audio redirection instruction is the application-level redirection mode
  • the audio is collected through the target application-level audio collector corresponding to the target application to obtain the application redirection audio of the target application, where different applications Corresponds to different application-level audio collectors.
  • the audio redirection mode is device-level redirection mode
  • Redirected audio is transmitted to the destination device through the link between the source audio redirector and the destination audio redirector, including:
  • the source-side audio redirectors are grouped based on the destination device identifier corresponding to the source-side audio redirector to obtain at least one source-side redirector group, where , the source audio redirectors corresponding to the same destination device identifier are divided into the same source redirector group;
  • the source redirector group contains at least two source audio redirectors, determine the first source audio redirector from the source redirector group;
  • Device redirected audio is transmitted to the destination device through a link between the first source audio redirector and the first destination audio redirector.
  • the method also includes:
  • the audio redirection cancellation instruction indicates that the link corresponding to the first source audio redirector exits, determine the second source audio redirector from the source redirector group;
  • the audio redirection mode is application-level redirection mode
  • Redirected audio is transmitted to the destination device through the link between the source audio redirector and the destination audio redirector, including:
  • source-side audio redirectors When at least two source-side audio redirectors are created, group the source-side audio redirectors based on the destination device ID and application ID corresponding to the source-side audio redirector to obtain at least one source-side redirector.
  • a redirector group in which the source audio redirectors corresponding to the same destination device ID and application ID are divided into the same source redirector group;
  • the source redirector group contains at least two source audio redirectors, determine a third source audio redirector from the source redirector group;
  • the application redirected audio is transmitted to the destination device through a link between the third source audio redirector and the third destination audio redirector.
  • this method also includes:
  • the audio redirection cancellation instruction indicates that the link corresponding to the third source-side audio redirector exits, determine the fourth source-side audio redirector from the source-side redirector group;
  • the audio redirection mode is device-level redirection mode.
  • the method also includes:
  • the device redirected audio is audio encoded through a unified audio encoder to obtain the device redirected audio data stream;
  • the audio redirection mode is application-level redirection mode, and the method also includes:
  • the offload transmission application redirects the audio data stream to each source audio redirector corresponding to the target application.
  • create a source-side audio redirector based on audio redirection instructions including:
  • this method also includes:
  • create an audio player based on the audio redirection mode indicated by the audio redirection directive including:
  • the audio redirection mode indicated by the audio redirection instruction is device-level redirection, create a device-level audio player corresponding to the source device indicated by the audio redirection instruction;
  • the audio redirection mode indicated by the audio redirection instruction is application-level redirection, create an application-level audio player corresponding to the target application indicated by the audio redirection instruction.
  • output redirected audio to the destination audio output device through the audio player including:
  • the audio redirection mode is device-level redirection mode
  • Receive redirected audio transmitted by the source device through the link between the destination audio redirector and the source audio redirector including:
  • the destination audio redirectors are grouped based on the source device identifier corresponding to the destination audio redirector to obtain at least one destination redirector group, where , the destination audio redirectors corresponding to the same source device identifier are divided into the same destination redirector group;
  • the receiving source device is received through the link between the first destination audio redirector and the first source audio redirector.
  • the transmitting device redirects audio, and the first source audio redirector is determined by the source device.
  • this method also includes:
  • the audio redirection mode is application-level redirection mode
  • Receive redirected audio transmitted by the source device through the link between the destination audio redirector and the source audio redirector including:
  • the destination audio redirectors When at least two destination audio redirectors are created, group the destination audio redirectors based on the source device identifier and application identifier corresponding to the destination audio redirector to obtain at least one destination redirector.
  • the destination audio redirector group corresponding to the same source device identifier and application identifier is divided into the same destination redirector group;
  • receiving the source device through a link between a third destination audio redirector and a third source audio redirector receives the source device through a link between a third destination audio redirector and a third source audio redirector.
  • the transmitting application redirects audio, and the third source audio redirector is determined by the source device.
  • this method also includes:
  • create a destination audio redirector based on audio redirection instructions including:
  • the source device performs audio encoding on the device-redirected audio through a unified audio encoder. After obtaining the device-redirected audio data stream, the device-redirected audio is distributed and transmitted to each source-side audio redirector. data flow.
  • the source device before transmitting audio to the destination device, the source device, after collecting the audio, encodes the collected content through an encoder to generate audio data. This process will generate encoding overhead.
  • the destination device after the destination device receives the audio data, it needs to use a decoder to parse the audio data to restore the audio. In this process, decoding overhead will be incurred.
  • the same redirection object in the source device needs to be audio redirected to a different destination device, or audio redirected to different output devices of the same destination device.
  • the method shown in Figure 2 is used, that is, when it is necessary to redirect the audio and audio in the source device to the audio output device 1 and the audio output device 2 of the destination device 1, and the audio output of the destination device 2
  • audio encoding is performed through encoders 1, 2, and 3 respectively
  • audio decoding is performed through decoders 1, 2, and 3 respectively
  • audio data stream transmission in three channels will generate three times the encoding and decoding overhead.
  • the source device and the destination device adopt a multiplexing strategy, that is, the source device encodes the audio through a multiplexing encoder to generate audio data, and the destination device analyzes the audio data through a multiplexing decoder. , restore the audio.
  • the source device and the destination device adopt multiplexing strategies respectively, which reduces encoding and decoding overhead.
  • the source device when the audio and audio in the source device need to be redirected to the audio output device 1 and the audio output device 2 of the destination device 1, and the audio output device 3 of the destination device 2, the source device The device reuses the encoder 1 to perform audio encoding to obtain an audio data stream.
  • the destination device 1 After receiving the audio data stream, the destination device 1 performs audio decoding through the multiplexing decoder 1, thereby decoding the audio output device 1 and the audio output device 2 to obtain The audio is played. After receiving the audio data stream, the destination device 2 decodes the audio through the decoder 2, and then plays the decoded audio through the audio output device 3.
  • the source device and the destination device respectively adopt a multiplexing strategy to multiplex encoders and decoders, thereby reducing encoding overhead and decoding overhead when using multiple channels for audio data stream transmission.
  • the destination device also creates an audio player based on the audio redirection mode indicated by the audio redirection instruction, and outputs the redirected audio to the destination audio output device through the audio player.
  • the audio player to output redirected audio to the destination audio output device.
  • the destination device When an audio player corresponds to a destination audio output device, the destination device outputs redirected audio to a single destination audio output device through the audio player.
  • the audio output device In a multi-channel audio scenario, based on multiple audio players and multiple Corresponding to the audio output device, there will be two audio output modes: mix output and split output.
  • split output means that one audio player corresponds to multiple audio output devices, and the same audio channel of the audio player is split and output to multiple audio output devices.
  • the implementation principle can be used to shunt multiple outputs from the application layer or system layer.
  • the destination device mixes the redirected audio output by the at least two audio players and sends it to the destination.
  • the audio output device outputs the remixed, redirected audio.
  • mixing output refers to multiple audio players corresponding to one audio output device. Each audio player is responsible for playing one channel of audio. Mixing output will be performed in the audio output device.
  • the Android system layer already supports this capability.
  • FIG. 5 shows a schematic diagram of the implementation environment of the device-level redirection mode audio redirection method provided by an exemplary embodiment of the present application.
  • the implementation environment may include: at least one source device 510 and at least one destination device. 520.
  • the source device 510 includes a smartphone 511 and a tablet computer 512
  • the destination device 520 includes a vehicle-mounted terminal 521 and a smart large-screen device 522 as an example.
  • the vehicle-mounted terminal 521 and the smart large-screen device 522 are both controlled by SoC (System on Chip).
  • the vehicle-mounted terminal 521 has a main driver central control long screen 5211, a first audio output device 5214 of the main driver central control long screen 5211, a passenger entertainment screen 5212, and a second audio output device 5215 of the passenger driver entertainment screen 5212 ( are controlled by the SoC 5213 of the vehicle-mounted terminal 521), and the first audio output device 5214 and the second audio output device 5215 are independent of each other.
  • the smart large-screen device 522 has a screen 5221 and a third audio output device 5222.
  • the many-to-multiple redirection in the embodiment of the present application is embodied in multiple source devices (multiple source devices participate in redirection), multiple redirect objects (multiple redirect objects in the same source device participate in redirection), and multi-destination devices. (Multiple destination devices participate in redirection) and multiple audio output devices (multiple audio output devices of the same destination device participate in redirection).
  • the navigation application in the smartphone 511 is redirected to the main driving center control long screen 5211 of the vehicle terminal 521, and the navigation voice is transmitted from the first audio output device 5214 to play;
  • the first game application is redirected to the main driving central control long screen 5211 of the vehicle terminal 521 and the screen 5221 of the smart large screen device 522, that is, the screen 5221 and the main driving central control long screen 5211 display the same redirection content
  • Both the first audio output device 5214 and the third audio output device 5222 play the first game voice, in which the first game application and the navigation application are displayed in split screen in the long screen 5211 of the main driving control, and the first audio output device 5214 is
  • the game voice and the navigation voice are mixed and output;
  • the second game application in the tablet 512 is redirected to the passenger entertainment screen 5212 of the vehicle-mounted terminal 521, and the second game voice is played by the second audio output device 5215.
  • the above embodiment only takes audio redirection from a mobile terminal to a vehicle-mounted terminal and a smart large-screen device as an example for schematic explanation.
  • the solution provided by the embodiment of the present application can be applied to other multi-to-multi-directional scenarios.
  • the embodiments do not limit specific application scenarios.
  • the embodiment of this application supports two sound collection schemes, namely a device-level sound collection scheme and an application-level sound collection scheme.
  • the sound collection scheme is indicated by an audio redirection instruction, and the source device follows the sound collection method indicated by the audio redirection instruction.
  • Collect audio in audio mode Please refer to Figure 6, which shows a flow chart of a device-level redirection mode audio redirection method provided by an exemplary embodiment of the present application.
  • This embodiment of the present application takes the application of this method to the implementation environment shown in Figure 5 as an example. Note that this method may include the following steps:
  • Step 601 The source device receives the audio redirection instruction.
  • Step 602 The destination device receives the audio redirection instruction.
  • step 102 For the implementation of this step, reference can be made to the above-mentioned step 102, which will not be described again in this embodiment.
  • Step 603 The source device creates a source audio redirector based on the audio redirection instruction.
  • step 103 For the implementation of this step, reference can be made to the above-mentioned step 103, which will not be described again in this embodiment.
  • Step 604 The destination device creates a destination audio redirector based on the audio redirection instruction.
  • step 104 For the implementation of this step, reference can be made to the above-mentioned step 104, which will not be described again in this embodiment.
  • Step 605 The source device collects audio through the device-level audio collector based on the audio redirection instruction to obtain device redirected audio.
  • the source device collects audio through the device-level audio collector to obtain the device-redirected audio of the source device.
  • one source device corresponds to a device-level audio collector
  • the device-level audio collector is used to collect device-level audio.
  • the recording function provided by standard Android collects the audio mixed by multiple applications at the system layer, which is device-level redirected audio.
  • the source device after the source device performs device-level audio collection, it performs audio encoding on the collected audio content through the encoder to obtain the device redirected audio data stream.
  • the source device can use AAC (Advanced Audio Coding, Advanced Audio Coding) ) and other audio coding formats, which are not limited in the embodiments of the present application.
  • Step 606 When at least two source-side audio redirectors are created, the source-side device groups the source-side audio redirectors to obtain at least one source-side redirector group.
  • the source-side device groups the source-side audio redirectors based on the destination device identifiers corresponding to the source-side audio redirectors. , obtaining at least one source redirector group, wherein the source audio redirectors corresponding to the same destination device identifier are classified into the same source redirector group.
  • the source device creates the source audio redirector based on the source device ID, application ID, destination device ID, and audio output device ID indicated by the audio redirection instruction, the sources within the same source redirector group The device ID is consistent with the destination device ID.
  • source audio redirectors in the same source redirector group share audio transmission.
  • Step 607 When at least two destination audio redirectors are created, the destination device groups the destination audio redirectors to obtain at least one destination redirector group.
  • the destination device when at least two destination audio redirectors are created, the destination device is based on the source device identification pair corresponding to the destination audio redirector.
  • the destination audio redirectors are grouped to obtain at least one destination redirector group, in which the destination audio redirectors corresponding to the same source device identifier are classified into the same destination redirector group.
  • destination audio redirector 1 and destination audio redirector 2 are both destination audio redirectors corresponding to source device 1.
  • Audio redirector 3 is a destination audio redirector corresponding to source device 2, where destination audio redirector 1 and destination audio redirector 2 are classified into the same destination redirector group.
  • the destination device Since the destination device creates the destination audio redirector based on the source device ID, application ID, destination device ID, and audio output device ID indicated by the audio redirection instruction, the source device within the same destination redirector group The device ID is consistent with the destination device ID.
  • Step 608 If the source redirector group contains at least two source audio redirectors, the source device determines the first source audio redirector from the source redirector group.
  • the first source audio redirector may be the first created source audio redirector in the source redirector group, or may be a randomly determined one in the source redirector group.
  • Source-side audio redirector The embodiments of this application do not limit the specific method of determining the first source-side audio redirector.
  • the destination audio redirector corresponding to the first source redirector is the first destination audio redirector.
  • Step 609 The source device transmits the device redirected audio to the destination device through the link between the first source audio redirector and the first destination audio redirector.
  • the device-level audio is shared and transmitted (that is, only transmitted on one channel). These multiple links The roads and channels do not interfere with each other.
  • each source redirector group will only select the first channel for push streaming, that is, the source device passes the link between the first source audio redirector and the first destination audio redirector. path to transmit device redirected audio to the destination device.
  • the source device transmits the audio-encoded device-redirected audio data stream to the destination device through a link between the first source audio redirector and the first destination audio redirector.
  • Step 610 In the case where the destination redirector group contains at least two destination audio redirectors, the destination device passes the link between the first destination audio redirector and the first source audio redirector. path to receive device-level redirected audio transmitted by the source device.
  • the destination device when the audio redirection mode indicated by the audio redirection instruction is device-level redirection, the destination device creates a device-level audio player corresponding to the source device indicated by the audio redirection instruction, and uses the device-level audio The player outputs redirected audio to the destination audio output device.
  • the destination audio redirectors in a destination redirector group correspond to the same device-level audio player.
  • the device-level audio player may be one-to-one with the destination audio output device, or may have split output and mixing output, depending on the corresponding relationship between the output device and the application.
  • Step 611 The destination device plays the redirected audio through the destination audio output device.
  • step 108 For the implementation of this step, reference can be made to the above-mentioned step 108, which will not be described again in this embodiment.
  • one source device corresponds to one device-level audio collector
  • the source device identifier, application identifier, and destination device identifier correspond to the source audio redirection
  • the source audio redirector is grouped based on the destination device.
  • the same group of source audio redirectors share audio transmission.
  • the destination device creates an audio player based on the source device.
  • the source device ID, application ID and destination device The identification corresponds to the destination audio redirector.
  • the destination audio redirectors are grouped based on the source device.
  • the same group of destination audio redirectors corresponds to the same audio player, which can realize multi-level many-to-many audio redirection and improve the complexity of Applicability to audio redirection scenarios.
  • each link can enter and exit at any time, if the link between the first source audio redirector and the first destination audio redirector is disconnected or exits, in order to ensure that the source device can normally communicate with the destination device
  • the transmission device redirects the audio.
  • the source device can also receive the audio redirection cancellation instruction and send the audio redirection cancellation instruction to the destination device. After the audio redirection cancellation instruction indicates the first When the link corresponding to the source audio redirector exits, the source device determines the second source audio redirector from the source redirector group, and the destination device deletes the first from the destination redirector group.
  • the destination audio redirector and then the source device transmits device-redirected audio to the destination device through the link between the second source audio redirector and the second destination audio redirector, the source device The first source audio redirector is deleted, and finally the destination device receives the source device through the link between the second destination audio redirector and the second source audio redirector in the destination redirector group.
  • the transmitting device redirects audio.
  • the method of switching to the second link to continue outputting to the audio player when the first link is disconnected or exited is called audio stream relay.
  • Figure 7 shows the flow of redirected audio data in the implementation environment of the device-level redirection mode.
  • source device 1 corresponds to a device-level audio collector 1
  • source device 2 corresponds to a device-level audio collector.
  • Audio collector 2 if source device 1 is a smartphone and source device 2 is a tablet, destination audio redirector 1 and destination audio redirector 2 in destination redirector group 1 correspond to the audio player 1 and the destination audio output device 1, the destination audio redirector 3 corresponds to the audio player 2 and the destination audio output device 2, and the destination audio redirector 4 corresponds to the audio player 3 and the destination audio output device 3.
  • the navigation application in the source device 1 is redirected to the main driver's central control long screen of the vehicle terminal, and the navigation voice is played by the audio output device of the main driver's central control long screen.
  • the audio output device is the destination audio output device 1;
  • the first game application in the source device 1 is redirected to the main driver's central control long screen and the smart large screen device's screen in the vehicle terminal, and the audio output devices of the main driver's central control long screen and the smart large screen device all play the first game application.
  • Game voice in which the audio output device of the main driver's central control long screen is the destination audio output device 1, the audio output device of the smart large screen device is the destination audio output device 3, and the first game voice in the destination audio output device 1 Mixed output with the navigation voice; the second game application in the tablet is redirected to the passenger entertainment screen of the vehicle terminal, and the second game voice is played by the audio output device of the passenger entertainment screen, which is the destination audio output device 2.
  • the source audio redirector 1 is the source audio redirector corresponding to the navigation voice of the navigation application of the destination audio output device 1 in the source device 1 that needs to redirect audio to the destination device 1.
  • the source end The audio redirector 2 is a source audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1.
  • the source audio redirector The director 3 is a source audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 3 in the destination device 2.
  • the source audio redirector 4 is the source audio redirector corresponding to the second game voice of the second game application in the source device 2 that needs to redirect audio to the destination audio output device 2 in the destination device 1 .
  • the destination audio redirector 1 is the destination audio redirector corresponding to the navigation voice of the navigation application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1
  • the destination audio redirector 2 is the destination audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1
  • the destination audio redirector 3 is The audio in the source device 2 needs to be redirected to the destination audio redirector corresponding to the second game voice of the second game application of the destination audio output device 2 in the destination device 1.
  • the destination audio redirector 4 is the source.
  • the audio in device 1 needs to be redirected to the destination audio redirector corresponding to the first game voice of the first game application of the destination audio output device 3 in destination device 2.
  • source audio redirector 1 and source audio redirector 2 corresponding to the same destination audio output device 1 are divided into source redirector group 1.
  • source redirector group 1 The link corresponding to the source audio redirector 1 and the destination audio redirector 1, and the link corresponding to the source audio redirector 2 and the destination audio redirector 2, because the two links share audio Transmission, in order to avoid pushing multiple audio streams to the same destination, resulting in duplication of audio streams and erroneous sound effects such as echo, the source device usually uses the source audio redirector 1 and the destination The link corresponding to audio redirector 1 performs device redirection audio transmission.
  • the links corresponding to source audio redirector 1 and destination audio redirector 1 are disconnected or exited, switch to the source The link corresponding to the end audio redirector 2 and the destination audio redirector 2 performs device redirected audio transmission.
  • FIG. 8 shows a schematic diagram of the implementation environment under the application-level sound collection solution provided by another exemplary embodiment of the present application.
  • the implementation environment may include: at least one source device 810 and at least one destination device 820.
  • the source device 810 includes a smart phone 811 and a smart phone 812
  • the destination device 820 includes a first vehicle-mounted terminal 821 and a second vehicle-mounted terminal 822.
  • the first vehicle-mounted terminal 821 and the second vehicle-mounted terminal 822 are used for illustration. 822 are installed in the same vehicle, and the first vehicle-mounted terminal 821 and the second vehicle-mounted terminal 822 are controlled by different SoC (System on Chip, system-level chip) respectively.
  • SoC System on Chip, system-level chip
  • the first vehicle-mounted terminal 821 is a vehicle-mounted terminal arranged in the front row of the vehicle
  • the second vehicle-mounted terminal 822 is a vehicle-mounted terminal arranged in the rear row of the vehicle.
  • the vehicle-mounted terminal 821 has a main driver central control long screen 8211, a first audio output device 8214 of the main driver central control long screen 8211, a passenger entertainment screen 8212, and a second audio output device 8215 of the passenger driver entertainment screen 8212 ( are controlled by the first SoC 8213 of the vehicle-mounted terminal 821), and the first audio output device 8214 and the second audio output device 8215 are independent of each other.
  • the vehicle-mounted terminal 822 has a rear entertainment screen left screen 8221 and a rear entertainment screen left screen
  • the third audio output device 8224 of 8221, the right screen 8222 of the rear entertainment screen, and the fourth audio output device 8225 of the right screen 8222 of the rear entertainment screen (all controlled by the second SoC 8223 of the second vehicle-mounted terminal 822), and the third The audio output device 8224 and the fourth audio output device 8225 are independent of each other.
  • the many-to-multiple redirection in the embodiment of the present application is embodied in multiple source devices (multiple source devices participate in redirection), multiple redirect objects (multiple redirect objects in the same source device participate in redirection), and multi-destination devices. (Multiple destination devices participate in redirection) and multi-screen (multiple screens of the same destination device participate in redirection).
  • the navigation application in the smartphone 811 is redirected to the main driving center control long screen 8211 of the first vehicle-mounted terminal 821, and the navigation voice is output by the first audio
  • the device 8214 plays; the first game application is redirected to the main driving center control long screen 8211 of the first vehicle-mounted terminal 821 and the rear entertainment screen left screen 8221 and rear entertainment screen right screen 8222 of the second vehicle-mounted terminal 822, that is, The long screen of the main driver's control screen, the left screen of the rear entertainment screen, and the right screen of the rear entertainment screen display the same redirection content, and the first audio output device, the third audio output device, and the fourth audio output device all
  • the first game voice is played, in which the first game application and the navigation application are displayed in split screens on the long screen 8211 of the driver's central control, and the first game voice and the navigation voice are mixed and played in the first audio output device 8214; in the smart phone 812
  • the second game application is redirected to
  • Figure 9 shows a flow chart of an audio redirection method in application-level redirection mode provided by an exemplary embodiment of the present application.
  • This embodiment of the present application takes the application of this method to the implementation environment shown in Figure 8 as an example. Note that this method may include the following steps:
  • Step 901 The source device receives an audio redirection instruction.
  • Step 902 The destination device receives the audio redirection instruction.
  • step 102 For the implementation of this step, reference can be made to the above-mentioned step 102, which will not be described again in this embodiment.
  • Step 903 The source device creates a source audio redirector based on the audio redirection instruction.
  • step 103 For the implementation of this step, reference can be made to the above-mentioned step 103, which will not be described again in this embodiment.
  • Step 904 The destination device creates a destination audio redirector based on the audio redirection instruction.
  • step 104 For the implementation of this step, reference can be made to the above-mentioned step 104, which will not be described again in this embodiment.
  • Step 905 The source device collects audio through the target application-level audio collector corresponding to the target application based on the audio redirection instruction, and obtains the application redirection audio.
  • the source device collects audio through the target application-level audio collector corresponding to the target application to obtain the application redirection audio of the target application, where , different applications correspond to different application-level audio collectors, and the application-level audio collector is used to collect application-level audio.
  • the source device performs audio encoding on the application redirection audio through the audio encoder corresponding to the target application, obtains the application redirection audio data stream, and then sends the audio data stream to each source-side audio redirector corresponding to the target application.
  • the offloading application redirects the audio data stream.
  • the source device collects application-level audio, it performs audio encoding on the collected audio content through an encoder to obtain an application-redirected audio data stream.
  • the source device can use audio encoding formats such as AAC for encoding.
  • AAC audio encoding formats
  • Step 906 When at least two source-side audio redirectors are created, the source-side device groups the source-side audio redirectors to obtain at least one source-side redirector group.
  • the source-side device redirects the source-side audio based on the destination device identification and application identification corresponding to the source-side audio redirector.
  • the directors are grouped to obtain at least one source redirector group, in which the source audio redirectors corresponding to the same destination device identifier and application identifier are classified into the same source redirector group.
  • the source device creates the source audio redirector based on the source device ID, application ID, destination device ID, and audio output device ID indicated by the audio redirection instruction, the sources within the same source redirector group The device identification, destination device identification and application identification are consistent.
  • source audio redirectors in the same source redirector group share audio transmission.
  • Step 907 When at least two destination audio redirectors are created, the destination device groups the destination audio redirectors to obtain at least one destination redirector group.
  • the destination device when at least two destination audio redirectors are created, the destination device is based on the source device identifier corresponding to the destination audio redirector and Apply the identifier to group the destination audio redirectors to obtain at least one destination redirector group, in which the destination audio redirectors corresponding to the same source device identifier and application identifier are divided into the same destination redirector Group.
  • the destination device Since the destination device creates the destination audio redirector based on the source device ID, application ID, destination device ID, and audio output device ID indicated by the audio redirection instruction, the source device within the same destination redirector group The device identification, destination device identification and application identification are consistent.
  • Step 908 If the source redirector group contains at least two source audio redirectors, the source device determines a third source audio redirector from the source redirector group.
  • the third source audio redirector may be the first source audio redirector in the source redirector group, and the destination audio redirector corresponding to the source redirector is called A third-destination audio redirector.
  • Step 909 The source device transmits the application redirected audio to the destination device through the link between the third source audio redirector and the third destination audio redirector.
  • the application-level audio is shared and transmitted (that is, only transmitted on one channel). Multiple link channels do not interfere with each other.
  • each source redirector group will only select the first channel for push streaming, that is, the source device redirects the third source audio redirector to the third destination audio A link between directors that transmits application redirection audio to the destination device.
  • Step 910 In the case where the destination redirector group contains at least two destination audio redirectors, the destination device passes through the link between the third destination audio redirector and the third source audio redirector. Path to receive application redirected audio transmitted by the source device.
  • the destination device when the audio redirection mode indicated by the audio redirection instruction is application-level redirection, the destination device creates an application-level audio player corresponding to the source device indicated by the audio redirection instruction, and uses the application-level audio The player outputs redirected audio to the destination audio output device.
  • the destination creates an application-level audio player for each application that requires audio redirection, regardless of whether they come from the same source device or whether they output to the same destination audio output device.
  • the same group of destination audio directors corresponds to the same audio player.
  • the audio player of the destination device has a one-to-one correspondence with the same application under the source device, and is used to process all audio playback of the specified application on the source device on the destination device.
  • the destination audio player and the destination audio output device may be one-to-one, or may have split output and mixing output, depending on the corresponding relationship between the output device and the application.
  • Step 911 The destination device plays the redirected audio through the destination audio output device.
  • step 108 For the implementation of this step, reference can be made to the above-mentioned step 108, which will not be described again in this embodiment.
  • the audio redirection mode when the audio redirection mode is the application-level redirection mode, different applications correspond to different application-level audio collectors, and the source device identifier, application identifier, and destination device identifier correspond to the source audio redirector.
  • the source audio redirectors are grouped based on the destination device ID and application ID. The same group of source audio redirectors share audio transmission.
  • the destination device creates an audio player based on the source device ID and application ID.
  • the source device ID , the application identifier and the destination device identifier correspond to the destination audio redirector, and the destination audio redirectors are grouped based on the source device identifier and application identifier.
  • the same group of destination audio redirectors corresponds to the same audio player, enabling multiple Hierarchical many-to-many audio redirection improves applicability to complex audio redirection scenarios.
  • each link in the structure can enter and exit at any time. If the first link is disconnected or exits, in order to ensure that the source device can normally redirect to The destination device transmits the device to redirect the audio.
  • the source device can also receive the audio redirection cancellation instruction and send the audio redirection cancellation instruction to the destination device. After the audio redirection cancellation instruction
  • the source device determines the fourth source audio redirector from the source redirector group, and the destination device determines the fourth source audio redirector from the destination redirector group.
  • the source device After the third destination audio redirector is deleted, and then the source device transmits the device redirected audio to the destination device through the link between the fourth source audio redirector and the fourth destination audio redirector, The source device deletes the third source audio redirector, and finally the destination device receives the audio signal through the link between the fourth destination audio redirector and the fourth source audio redirector in the destination redirector group. Device-redirected audio transmitted by the source device.
  • Figure 10 shows the flow direction of redirected audio data in the implementation environment in application-level redirection mode.
  • the navigation application corresponds to the application-level audio collector 1.
  • the first game application corresponds to application-level audio collector 2, and the second game application in source device 2 corresponds to application-level audio collector 3.
  • Source device 1 and source device 2 are both smartphones, and destination device 1 and destination Terminal devices 2 are all vehicle-mounted terminals.
  • the navigation application in the source device 1 is redirected to the main driver's central control long screen of the first vehicle terminal, and the navigation voice is played by the audio output device of the main driver's central control long screen.
  • This audio output device is the destination audio output device. 1;
  • the first game application in the source device 1 is redirected to the main driver central control long screen of the first vehicle terminal and the left screen of the rear entertainment screen and the right screen of the rear entertainment screen of the second vehicle terminal, that is, the main driver screen.
  • the central control long screen, the left screen of the rear entertainment screen, and the right screen of the rear entertainment screen display the same redirection content, that is, the destination audio output device of the first vehicle terminal's main driving central control long screen 1.
  • the left screen of the rear entertainment screen The destination audio output device 3 and the destination audio output device 4 on the right screen of the rear entertainment screen both play the first game voice, in which the first game application and the navigation application are displayed in split screens on the long screen of the driver's central control.
  • a game voice and navigation voice are mixed and played in the destination audio output device 1; the second game application in the source device 2 is redirected to the passenger entertainment screen of the first vehicle terminal, and the second game voice is played by the passenger entertainment screen.
  • the destination audio output device 2 plays.
  • the source audio redirector 1 is the source audio redirector corresponding to the navigation voice of the navigation application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1.
  • the source The audio redirector 2 is a source audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1.
  • the source audio redirector The director 3 is a source audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 3 in the destination device 2.
  • the source audio redirector 4 is the source audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 4 in the destination device 2
  • the source audio redirector 5 is The source device 2 needs to redirect audio to the source audio redirector corresponding to the second game voice of the second game application of the destination audio output device 2 in the destination device 1 .
  • the destination audio redirector 1 is the destination audio redirector corresponding to the navigation voice of the navigation application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1
  • the destination audio redirector 2 is the destination audio redirector corresponding to the first game voice of the first game application in the source device 1 that needs to redirect audio to the destination audio output device 1 in the destination device 1
  • the destination audio redirector 3 is The audio in the source device 2 needs to be redirected to the destination audio redirector corresponding to the second game voice of the second game application of the destination audio output device 2 in the destination device 1.
  • the destination audio redirector 4 is the source.
  • Audio needs to be redirected in device 1 to the source audio redirector corresponding to the first game voice of the first game application of the destination audio output device 3 in destination device 2, and the destination audio redirector 5 is the source device 1
  • the audio needs to be redirected to the destination audio redirector corresponding to the first game voice of the first game application of the destination audio output device 4 in the destination device 2 .
  • source audio redirector 3 and source audio redirector 4 of the same application corresponding to the same destination audio output device 1 are divided into source redirector group 1.
  • source redirector group 1 including the links corresponding to the source audio redirector 3 and the destination audio redirector 3, as well as the links corresponding to the source audio redirector 4 and the destination audio redirector 4. Since the two links Channel shared audio transmission.
  • the source device usually uses a source audio redirector 3 Perform device redirected audio transmission on the link corresponding to the destination audio redirector 3. When the link corresponding to the source audio redirector 3 and the destination audio redirector 3 is disconnected or exited, then Switch to the link corresponding to the source audio redirector 4 and the destination audio redirector 4 to perform device redirection audio transmission.
  • the only difference between the application-level redirection mode and the device-level redirection mode is that the device-level redirection mode groups and redirects audio on a device-by-device basis, while the application-level multi-channel audio strategy is based on Grouping and audio redirection are performed on a device + application basis.
  • FIG 11 shows a structural block diagram of an audio redirection device provided by an embodiment of the present application.
  • This device is used for source equipment and may include:
  • the first instruction receiving module 1101 is used to receive audio redirection instructions
  • Creation module 1102 configured to create a source audio redirector based on the audio redirection instruction
  • the audio collection module 1103 is configured to collect audio based on the audio redirection mode indicated by the audio redirection instruction to obtain redirected audio.
  • the audio redirection mode includes device-level redirection and application-level redirection;
  • the first transmission module 1104 is configured to transmit the redirected audio to the destination device through the link between the source audio redirector and the destination audio redirector.
  • the destination audio redirector is composed of The destination device is created.
  • the audio collection module 1103 is used for:
  • audio collection is performed through a device-level audio collector to obtain the device redirection audio of the source device;
  • audio collection is performed through the target application-level audio collector corresponding to the target application to obtain the application of the target application. Redirect audio, where different applications correspond to different application-level audio collectors.
  • the audio redirection mode is the device-level redirection mode
  • the first transmission module 1104 includes:
  • the first grouping unit is configured to perform grouping on the source audio redirector based on the destination device identifier corresponding to the source audio redirector when at least two source audio redirectors are created. Grouping to obtain at least one source redirector group, wherein the source audio redirectors corresponding to the same destination device identification are divided into the same source redirector group;
  • a first determining unit configured to determine a first source-side audio redirector from the source-side redirector group when the source-side redirector group contains at least two of the source-side audio redirectors. director;
  • a first transmission unit configured to transmit the device redirected audio to the destination device through a link between the first source audio redirector and the first destination audio redirector.
  • the device also includes:
  • the second instruction receiving module is used to receive the audio redirection cancellation instruction
  • a first determination module configured to determine a second source end from the source end redirector group when the audio redirection cancellation instruction indicates that the link corresponding to the first source end audio redirector exits.
  • a second transmission module configured to transmit the device redirected audio to the destination device through the link between the second source audio redirector and the second destination audio redirector;
  • the first deletion module is used to delete the first source audio redirector.
  • the audio redirection mode is the application-level redirection mode
  • the first transmission module 1104 includes:
  • the second grouping unit is configured to group the source audio based on the destination device identifier and application identifier corresponding to the source audio redirector when at least two source audio redirectors are created.
  • the redirectors are grouped to obtain at least one source redirector group, wherein the source audio redirectors corresponding to the same destination device identification and application identification are divided into the same source redirector group;
  • a second determination unit configured to determine a third source-end audio redirector from the source-end redirector group when the source-end redirector group contains at least two of the source-end audio redirectors. director;
  • the second transmission unit is configured to transmit the application redirected audio to the destination device through the link between the third source audio redirector and the third destination audio redirector.
  • the device also includes:
  • the third instruction receiving module is used to receive the audio redirection cancellation instruction
  • a second determination module configured to determine a fourth source end from the source end redirector group when the audio redirection cancellation instruction indicates that the link corresponding to the third source end audio redirector exits.
  • a third transmission module configured to transmit the application redirected audio to the destination device through the link between the fourth source audio redirector and the fourth destination audio redirector;
  • the second deletion module is used to delete the third source audio redirector.
  • the audio redirection mode is the device-level redirection mode, and the device further includes:
  • a first audio encoding module configured to perform audio encoding on the device redirected audio through a unified audio encoder to obtain a device redirected audio data stream;
  • a fourth transmission module configured to offload and transmit the device redirected audio data stream to each of the source audio redirectors
  • the audio redirection mode is the application-level redirection mode, and the device further includes:
  • a second audio encoding module configured to perform audio encoding on the application redirection audio through an audio encoder corresponding to the target application to obtain an application redirection audio data stream;
  • the fifth transmission module is configured to offload and transmit the application redirection audio data stream to each of the source audio redirectors corresponding to the target application.
  • the creation module 1102 is used for:
  • the source audio redirector is created based on the source device identification, application identification, destination device identification and audio output device identification indicated by the audio redirection instruction.
  • FIG 12 shows a structural block diagram of an audio redirection device provided by an embodiment of the present application.
  • the device is used for destination equipment, and the device may include:
  • the first instruction receiving module 1201 is used to receive audio redirection instructions
  • the first creation module 1202 is used to create a destination audio redirector based on the audio redirection instruction
  • the first receiving module 1203 is configured to receive the redirected audio transmitted by the source device through the link between the destination audio redirector and the source audio redirector. Created by the source device, the redirected audio is obtained by audio collection by the source device based on the audio redirection mode indicated by the audio redirection instruction.
  • the audio redirection mode includes device-level redirection and application-level redirection. Redirect;
  • the playback module 1204 is used to play the redirected audio through the destination audio output device.
  • the device also includes:
  • a second creation module configured to create an audio player based on the audio redirection mode indicated by the audio redirection instruction
  • An output module configured to output the redirected audio to the destination audio output device through the audio player.
  • the second creation module is used for:
  • the audio redirection mode indicated by the audio redirection instruction is the device-level redirection
  • the audio redirection mode indicated by the audio redirection instruction is the application-level redirection
  • the output module is used for:
  • the audio redirection mode is the device-level redirection mode
  • the first receiving module 1203 includes:
  • the first grouping unit is configured to, when at least two destination audio redirectors are created, group the destination audio redirectors based on the source device identifier corresponding to the destination audio redirector. Grouping to obtain at least one destination redirector group, wherein the destination audio redirectors corresponding to the same source device identification are divided into the same destination redirector group;
  • a first receiving unit configured to redirect the first destination audio redirector and the first source audio through the first destination audio redirector when the destination redirector group includes at least two destination audio redirectors.
  • the first source audio redirector is determined by the source device.
  • the device also includes:
  • the second instruction receiving module is used to receive the audio redirection cancellation instruction
  • a first deletion module configured to delete the first source-end audio redirector from the destination-end redirector group when the audio redirection cancellation instruction indicates that the link corresponding to the first source-end audio redirector has exited.
  • the second receiving module is configured to receive the device redirection transmitted by the source device through the link between the second destination audio redirector and the second source audio redirector in the destination redirector group.
  • the second source audio redirector is determined by the source device.
  • the audio redirection mode is the application-level redirection mode
  • the first receiving module 1203 includes:
  • the second grouping unit is configured to, when at least two destination audio redirectors are created, group the destination audio based on the source device identifier and application identifier corresponding to the destination audio redirector.
  • the redirectors are grouped to obtain at least one destination redirector group, wherein the destination audio redirectors corresponding to the same source device identifier and application identifier are divided into the same destination redirector group;
  • a second receiving unit configured to redirect audio through a third destination audio redirector and a third source audio redirector when the destination redirector group includes at least two destination audio redirectors.
  • the third source audio redirector is determined by the source device.
  • the device also includes:
  • the third instruction receiving module is used to receive the audio redirection cancellation instruction
  • a second deletion module configured to delete the third source-end audio redirector from the destination-end redirector group when the audio redirection cancellation instruction indicates that the link corresponding to the third source-end audio redirector exits.
  • a third receiving module configured to receive the application redirection transmitted by the source device through the link between the fourth destination audio redirector and the fourth source audio redirector in the destination redirector group.
  • the fourth source audio redirector is determined by the source device.
  • the first creation module 1202 is used for:
  • the destination audio redirector is created based on the source device identification, application identification, destination device identification and audio output device identification indicated by the audio redirection instruction.
  • FIG. 13 shows a structural block diagram of a computer device provided by an exemplary embodiment of the present application.
  • the computer device 1300 can be implemented as a source device or a destination device in each of the above embodiments.
  • Computer device 1300 may include one or more of the following components: processor 1310 and memory 1320.
  • Processor 1310 may include one or more processing cores.
  • the processor 1310 uses various interfaces and lines to connect various parts of the entire computer device 1300, and executes by running or executing instructions, programs, code sets or instruction sets stored in the memory 1320, and calling data stored in the memory 1320.
  • the processor 1310 can use at least one of digital signal processing (Digital Signal Processing, DSP), field-programmable gate array (Field-Programmable Gate Array, FPGA), and programmable logic array (Programmable Logic Array, PLA). implemented in hardware form.
  • DSP Digital Signal Processing
  • FPGA Field-Programmable Gate Array
  • PLA programmable logic array
  • the processor 1310 can integrate one or more of a central processing unit (Central Processing Unit, CPU), a graphics processor (Graphics Processing Unit, GPU), a neural network processor (Neural-network Processing Unit, NPU), a modem, etc.
  • a central processing unit Central Processing Unit, CPU
  • a graphics processor Graphics Processing Unit, GPU
  • a neural network processor Neural-network Processing Unit, NPU
  • the CPU mainly handles the operating system, user interface and applications
  • the GPU is used to render and draw the content that needs to be displayed on the touch screen
  • the NPU is used to implement artificial intelligence (Artificial Intelligence, AI) functions
  • the modem is used to process Wireless communication. It can be understood that the above-mentioned modem may not be integrated into the processor 1310 and may be implemented by a separate chip.
  • the memory 1320 may include random access memory (RAM) or read-only memory (Read-Only Memory, ROM). Optionally, the memory 1320 includes non-transitory computer-readable storage medium. Memory 1320 may be used to store instructions, programs, codes, sets of codes, or sets of instructions.
  • the memory 1320 may include a program storage area and a data storage area, where the program storage area may store instructions for implementing an operating system, instructions for at least one function (such as a touch function, a sound playback function, an image playback function, etc.), Instructions, etc., used to implement each method embodiment described below; the storage data area may store data created according to the use of the computer device 1300 (such as audio data, phone book), etc.
  • the structure of the computer device 1300 shown in the above figures does not constitute a limitation on the computer device.
  • the computer device may include more or less components than those shown in the figures, or a combination thereof. Certain parts, or different arrangements of parts.
  • the computer device 1300 also includes a display screen, camera components, microphones, speakers, radio frequency circuits, input units, sensors (such as acceleration sensors, angular velocity sensors, light sensors, etc.), audio circuits, WiFi modules, power supplies, Bluetooth modules, etc. Components will not be described in detail here.
  • Embodiments of the present application also provide a computer-readable storage medium that stores at least one program code.
  • the program code is loaded and executed by a processor to implement audio redirection as described in the above embodiments. method.
  • Embodiments of the present application provide a computer program product.
  • the computer program product includes computer instructions, and the computer instructions are stored in a computer-readable storage medium.
  • the processor of the computer device reads the computer instructions from the computer-readable storage medium, and the processor executes the computer instructions, so that the computer device performs the audio redirection method provided in various optional implementations of the above aspect.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请实施例公开了一种音频重定向方法、装置、设备及存储介质,属于重定向技术领域。该方法包括:接收音频重定向指令(101);基于音频重定向指令创建源端音频重定向器(103);基于音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频(105),音频重定向模式包括设备级重定向和应用级重定向;通过源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输重定向音频(106),目的端音频重定向器由所述目的端设备创建,进而通过目的端音频输出设备播放重定向音频(108)。

Description

音频重定向方法、装置、设备及存储介质
本申请要求于2022年04月20日提交的申请号为202210417067.X、发明名称为“音频重定向方法、装置、设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及重定向技术领域,特别涉及一种音频重定向方法、装置、设备及存储介质。
背景技术
重定向(redirect)是指将某种能力由一端设备流转至另一端设备的技术,流转的能力包括视频、音频和控制等等。音频重定向是日常生活中常见的一种重定向技术。
借助音频重定向功能,源端设备可以将音频传输到目的端设备上,从而达到更好的播放效果。比如,以将手机中的音频重定向至车机场景为例,当手机端有音频需要播放时,手机端可以将该音频重定向至车载扬声器,进而由车载扬声器对该音频进行播放。
发明内容
本申请实施例提供了一种音频重定向方法、装置、设备及存储介质。所述技术方案如下:
一方面,本申请实施例提供了一种音频重定向方法,所述方法用于源端设备,所述方法包括:
接收音频重定向指令;
基于所述音频重定向指令创建源端音频重定向器;
基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,所述音频重定向模式包括设备级重定向和应用级重定向;
通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,所述目的端音频重定向器由所述目的端设备创建。
另一方面,本申请实施例提供了一种音频重定向方法,所述方法用于目的端设备,所述方法包括:
接收音频重定向指令;
基于所述音频重定向指令创建目的端音频重定向器;
通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,所述源端音频重定向器由所述源端设备创建,所述重定向音频由所述源端设备基于所述音频重定向指令所指示的音频重定向模式进行音频采集得到,所述音频重定向模式包括设备级重定向和应用级重定向;
通过目的端音频输出设备播放所述重定向音频。
另一方面,本申请实施例提供了一种音频重定向装置,所述装置用于源端设备,所述装置包括:
第一指令接收模块,用于接收音频重定向指令;
创建模块,用于基于所述音频重定向指令创建源端音频重定向器;
音频采集模块,用于基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,所述音频重定向模式包括设备级重定向和应用级重定向;
第一传输模块,用于通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,所述目的端音频重定向器由所述目的端设备创建。
另一方面,本申请实施例提供了一种音频重定向装置,所述装置用于目的端设备,所述装置包括:
第一指令接收模块,用于接收音频重定向指令;
第一创建模块,用于基于所述音频重定向指令创建目的端音频重定向器;
第一接收模块,用于通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,所述源端音频重定向器由所述源端设备创建,所述重定向音频由所述源端设备基于所述音频重定向指令所指示的音频重定向模式进行音频采集得到,所述音频重定向模式包括设备级重定向和应用级重定向;
播放模块,用于通过目的端音频输出设备播放所述重定向音频。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器;所述存储器存储有至少一段程序,所述至少一段程序用于被所述处理器执行以实现如上述方面所述的音频重定向方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一 条指令,所述至少一条指令由处理器执行以实现如上述方面所述的音频重定向方法。
另一方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的音频重定向方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的音频重定向方法的流程图;
图2示出了本申请一个示例性实施例提供的编码、传输以及解码过程的实施示意图;
图3示出了本申请另一个示例性实施例提供的编码、传输以及解码过程的实施示意图;
图4示出了本申请一个示例性实施例提供的两种音频输出模式示意图;
图5示出了本申请一个示例性实施例提供的设备级重定向模式音频重定向方法的实施环境示意图;
图6示出了本申请一个示例性实施例提供的设备级重定向模式音频重定向方法的流程图;
图7示出了设备级重定向模式的实施环境中重定向音频数据的流向示意图;
图8示出了本申请另一个示例性实施例提供的应用级采音方案下的实施环境的示意图;
图9示出了本申请一个示例性实施例提供的设备级重定向模式音频重定向方法的流程图;
图10示出了应用级重定向模式下的实施环境中重定向音频数据的流向示意图;
图11示出了本申请一个实施例提供的音频重定向装置的结构框图;
图12示出了本申请一个实施例提供的音频重定向装置的结构框图;
图13示出了本申请一个示例性实施例提供的计算机设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中,对于多路音频的策略大多未考虑目的端存在多个音频输出设备的情况,即使有考虑到目的端存在多个音频输出设备的情况,也只允许同一个音频输出设备单路输出,即同一个音区仍只允许一路音频输出,由优先级和音源焦点来决定输出哪一路音频,不支持特定情况下的混音输出。
此外,相关技术中的音频重定向场景也只提到了多对一的情况,未提及一对多,甚至是多对多的情况,即在同一个应用的声音同时输出到多个目的终端或多个音频输出设备的情况。需要注意的是,这种情况下目的端不存在相互干扰,需要目的端设备支持同时输出。
有鉴于此,本申请实施例中,面对音频重定向场景,在多路音频并存的情况下,可以指定某一路音频输出,也可以选择某几路音频混合输出,当一个应用从源端设备投屏到目的端设备时,若存在多个目的端设备,该应用的音频可以同时输出到这多个目的端设备中,当目的端设备有多个音频输出设备时,多路音频可以分别输出到多个音频输出设备上,实现了多路音频分离输出,也支持关闭某一路音频,提升重定向中多路音频的用户体验。
源端设备是具有重定向需求的电子设备,其可以是智能手机、平板电脑、个人计算机等移动终端。源端设备中具有重定向需求的对象被称为重定向对象,重定向对象可以是屏幕镜像或者重定向应用,且重定向对象的重定向内容可以包括视频、音频以及控制中的至少一种,本申请实施例中,重定向对象特指音频或包含音频的应用。
本申请实施例中,同一源端设备可以同时对至少两个重定向对象进行音频重定向。比如,可以同时对游戏类应用以及视频类应用进行音频重定向,也可以同时对视频类应用以及导航类应用进行音频重定向。其中,源端设备支持同时音频重定向的重定向对象的数量具有上限,且该上限与源端设备的处理性能相关。
目的端设备是用于进行重定向结果展示的电子设备,其可以是智能手机、平板电脑、个人计算机、智能电视或者车载终端(比如车机)等等。目的端设备具备音频播放功能,目的端设备播放的音频即为投屏对象的音频。
不论是源端设备还是目的端设备都具有音频输出设备,常见音频输出设备包括:设备自带的扬声器、有线耳机、蓝牙耳机、有线音响、蓝牙音响等。对于某些终端设备可能带有多个音频输出设备。比如车机,通常包含多块屏幕,每块屏幕可以单独通过有线或无线的方式连接耳机。
在一些实施例中,当目的端设备具有至少两个音频输出设备时,至少两个音频输出设备可以同时播放不同的音频,或者,相同音频,且各个音频输出设备所播放的投屏音频可以为单一音频重定向对象,也可 以为多个音频重定向对象(此时目的端设备屏幕分屏显示多个音频重定向对象)。
可选的,源端设备和目的端设备之间采用的连接方式可以包括Wlan AP模式、WiFi-P2P、USB有线连接、移动数据网络中的至少一种,本申请实施例对此并不进行限定。
请参考图1,其示出了本申请一个示例性实施例提供的音频重定向方法的流程图,该方法包括:
步骤101,源端设备接收音频重定向指令。
当需要通过源端设备进行音频重定向时,源端设备响应于音频重定向操作,接收音频重定向指令。
可选的,该音频重定向操作可以在源端设备侧触发,也可以由第三方设备触发,其中,该第三方设备与源端设备处于同一调度域中,比如,第三方设备与源端设备登陆有相同用户账号。
关于源端设备音频重定向的具体内容,在一些实施例中,源端设备可以对屏幕镜像进行重定向,也可以对安装并运行的应用程序(即重定向应用)进行重定向。可选的,当重定向对象为应用时,重定向过程中该应用可以处于后台运行状态。
可选的,该重定向应用可以为导航应用、视频类应用、游戏类应用等,甚至也可以为纯音频类应用,本申请实施例并不对投屏应用的具体类型进行限定。
步骤102,目的端设备接收音频重定向指令。
在一种可能的实施方式中,源端设备接收音频重定向指令后,将该音频重定向指令传送给目的端设备,进而由目的端设备接收该音频重定向指令。
关于音频重定向指令的传送方式,可选的,源端设备可以通过无线方式传送音频重定向指令,比如,蓝牙、Wlan AP、WiFi-P2P或移动数据网络;也可以通过有线方式传输重定向数据,比如,USB有线连接;也可以通过有线无线混合方式传输重定向数据,本申请实施例对此不作限定。
步骤103,源端设备基于音频重定向指令创建源端音频重定向器。
在一种可能的实施方式中,源端设备接收到音频重定向指令后,进一步基于音频重定向指令创建源端音频重定向器,该源端重音频定向器基于目的端设备进行分组,同一组源端音频重定向器共享音频传输。
在一种可能的实施方式中,源端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建源端音频重定向器。
可选的,当源端设备需要向不同目的端设备进行音频重定向时(可以是同一音频重定向对象,也可以是不同音频重定向对象),源端设备创建多个源端音频重定向器;当源端设备向目的端设备的多个音频输出设备投屏同一重定向对象时,源端设备针对不同音频输出设备创建多个源端音频重定向器;当源端设备向目的端设备的多个音频输出设备投屏不同重定向对象时,源端设备针对不同重定向对象创建多个源端音频重定向器。
比如,当需要向第一目的端设备的第一音频输出设备以及第二目的端设备的第二音频输出设备音频重定向游戏应用时,源端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一源端音频重定向器,基于源端设备标识、第二目的端标识、导航应用标识以及第二音频输出设备标识创建第二源端音频重定向器;当需要向第一目的端设备的第一音频输出设备音频重定向游戏应用,向第一目的端设备的第二音频输出设备音频重定向导航应用时,源端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一源端音频重定向器,基于源端设备标识、第一目的端标识、导航应用标识以及第二音频输出设备标识创建第二源端音频重定向器;当需要向第一目的端设备的第一音频输出设备以及第二音频输出设备同时音频重定向游戏应用时,源端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一源端音频重定向器,基于源端设备标识、第一目的端标识、游戏应用标识以及第二音频输出设备标识创建第二源端音频重定向器。
步骤104,目的端设备基于音频重定向指令创建目的端音频重定向器。
与源端设备相对应的,目的端设备基于音频重定向指令创建目的端音频重定向器,该目的端音频重定向器基于源端设备进行分组,同一组目的端音频定向器共享音频传输。
在一种可能的实施方式中,目的端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建目的端音频重定向器。
其中,当源端设备向不同目的端设备进行音频重定向时(可以是同一音频重定向对象,也可以是不同音频重定向对象),不同目的端设备创建不同目的端重定向器;当源端设备向目的端设备的多个音频输出设备音频重定向同一音频重定向对象时,目的端设备针对不同音频输出设备创建多个目的端重定向器;当源端设备向目的端设备的多个音频输出设备音频重定向不同音频重定向对象时,目的端设备针对不同音频重定向对象创建多个目的端重定向器。
比如,当源端设备向第一目的端设备的第一音频输出设备以及第二目的端设备的第二音频输出设备音频重定向游戏应用时,第一目的端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一目的端音频重定向器,第二目的端设备基于源端设备标识、第二目的端标识、游戏 应用标识以及第二音频输出设备标识创建第二目的端音频重定向器;当源端设备向第一目的端设备的第一音频输出设备音频重定向游戏应用,向第一目的端设备的第二音频输出设备音频重定向导航应用时,目的端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一目的端音频重定向器,基于源端设备标识、第一目的端标识、导航应用标识以及第二音频输出设备标识创建第二目的端音频重定向器;当源端设备向第一目的端设备的第一音频输出设备以及第二音频输出设备音频重定向游戏应用时,目的端设备基于源端设备标识、第一目的端标识、游戏应用标识以及第一音频输出设备标识创建第一目的端音频重定向器,基于源端设备标识、第一目的端标识、游戏应用标识以及第二音频输出设备标识创建第二目的端音频重定向器。
步骤105,源端设备基于音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频。
在一种可能的实施方式中,源端设备基于音频重定向指令所指示的音频重定向模式进行音频采集,该音频重定向模式包括设备级重定向和应用级重定向。
在设备级重定向模式下,源端设备进行设备级音频采集,此时设备中各个应用的音频以混音的方式被采集。
在应用级重定向模式下,源端设备进行应用级音频采集,此时设备中各个应用的声音可分别被采集。
步骤106,源端设备通过源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输重定向音频。
在一种可能的实施方式中,完成音频采集后,源端设备通过至少一个源端重定向器与一个目的端重定向器之间的至少一条链路,向目的端设备传输编码后的重定向音频。
关于重定向音频的传输方式,可选的,源端设备可以通过无线方式传输重定向音频,比如,Wlan AP、WiFi-P2P或移动数据网络;也可以通过有线方式传输重定向音频,比如,USB有线连接;也可以通过有线无线混合方式传输重定向音频,本申请实施例对此不作限定。
步骤107,目的端设备通过目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频。
在一种可能的实施方式中,目的端设备通过至少一个目的端重定向器与至少一个源端重定向器之间的至少一条链路,接收源端设备传输的重定向音频。
步骤108,目的端设备通过目的端音频输出设备播放重定向音频。
在一种可能的实施方式中,当目的端设备具有至少两个音频输出设备时,目的端设备根据目标音频输出设备标识确定目标音频输出设备,进而通过目标音频输出设备进行音频播放。
综上所述,本申请实施例中,在音频重定向过程中,源端设备接收音频重定向指令后,基于音频重定向指令创建源端音频重定向器,进而基于音频重定向指令所指示的音频重定向模式进行音频采集,最后通过源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输重定向音频;采用本申请实施例提供的方案,能够解决设备级和应用级别的音频重定向问题,可以通过目的端设备的音频输出设备播放源端设备的设备音频,也可以播放源端设备中指定应用的应用音频。
可选的,基于音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,包括:
在音频重定向指令所指示的音频重定向模式为设备级重定向模式的情况下,通过设备级音频采集器进行音频采集,得到源端设备的设备重定向音频;
在音频重定向指令所指示的音频重定向模式为应用级重定向模式的情况下,通过目标应用对应的目标应用级音频采集器进行音频采集,得到目标应用的应用重定向音频,其中,不同应用对应不同应用级音频采集器。
可选的,音频重定向模式为设备级重定向模式;
通过源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输重定向音频,包括:
在创建有至少两个源端音频重定向器的情况下,基于源端音频重定向器对应的目的端设备标识对源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识的源端音频重定向器被划分至同一源端重定向器组;
在源端重定向器组中包含至少两个源端音频重定向器的情况下,从源端重定向器组中确定第一源端音频重定向器;
通过第一源端音频重定向器与第一目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频。
可选的,方该法还包括:
接收音频重定向取消指令;
在音频重定向取消指令指示第一源端音频重定向器对应的链路退出的情况下,从源端重定向器组中确定第二源端音频重定向器;
通过第二源端音频重定向器与第二目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频;
删除第一源端音频重定向器。
可选的,音频重定向模式为应用级重定向模式;
通过源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输重定向音频,包括:
在创建有至少两个源端音频重定向器的情况下,基于源端音频重定向器对应的目的端设备标识和应用标识,对源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识以及应用标识的源端音频重定向器被划分至同一源端重定向器组;
在源端重定向器组中包含至少两个源端音频重定向器的情况下,从源端重定向器组中确定第三源端音频重定向器;
通过第三源端音频重定向器与第三目的端音频重定向器之间的链路,向目的端设备传输应用重定向音频。
可选的,该方法还包括:
接收音频重定向取消指令;
在音频重定向取消指令指示第三源端音频重定向器对应的链路退出的情况下,从源端重定向器组中确定第四源端音频重定向器;
通过第四源端音频重定向器与第四目的端音频重定向器之间的链路,向目的端设备传输应用重定向音频;
删除第三源端音频重定向器。
可选的,音频重定向模式为设备级重定向模式,该方法还包括:
通过统一的音频编码器对设备重定向音频进行音频编码,得到设备重定向音频数据流;
向各个源端音频重定向器分流传输设备重定向音频数据流;
音频重定向模式为应用级重定向模式,方法还包括:
通过目标应用对应的音频编码器对应用重定向音频进行音频编码,得到应用重定向音频数据流;
向目标应用对应的各个源端音频重定向器分流传输应用重定向音频数据流。
可选的,基于音频重定向指令创建源端音频重定向器,包括:
基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建源端音频重定向器。
可选的,该方法还包括:
基于音频重定向指令指示的音频重定向模式创建音频播放器;
通过音频播放器向目的端音频输出设备输出重定向音频。
可选的,基于音频重定向指令指示的音频重定向模式创建音频播放器,包括:
在音频重定向指令指示的音频重定向模式为设备级重定向的情况下,创建音频重定向指令所指示源端设备对应的设备级音频播放器;
在音频重定向指令指示的音频重定向模式为应用级重定向的情况下,创建音频重定向指令所指示目标应用对应的应用级音频播放器。
可选的,通过音频播放器向目的端音频输出设备输出重定向音频,包括:
通过音频播放器向单一目的端音频输出设备输出重定向音频;或,
通过音频播放器向至少两个目的端音频输出设备分流输出重定向音频;或,
对至少两个音频播放器输出的重定向音频进行混音处理;向目的端音频输出设备输出混音处理后的重定向音频。
可选的,音频重定向模式为设备级重定向模式;
通过目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,包括:
在创建有至少两个目的端音频重定向器的情况下,基于目的端音频重定向器对应的源端设备标识对目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识的目的端音频重定向器被划分至同一目的端重定向器组;
在目的端重定向器组中包含至少两个目的端音频重定向器的情况下,通过第一目的端音频重定向器与第一源端音频重定向器之间的链路,接收源端设备传输的设备重定向音频,第一源端音频重定向器由源端设备确定。
可选的,该方法还包括:
接收音频重定向取消指令;
在音频重定向取消指令指示第一源端音频重定向器对应的链路退出的情况下,从目的端重定向器组中删除第一目的端音频重定向器;
通过目的端重定向器组中第二目的端音频重定向器与第二源端音频重定向器之间的链路,接收源端设备传输的设备重定向音频,第二源端音频重定向器由源端设备确定。
可选的,音频重定向模式为应用级重定向模式;
通过目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,包括:
在创建有至少两个目的端音频重定向器的情况下,基于目的端音频重定向器对应的源端设备标识以及应用标识,对目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识以及应用标识的目的端音频重定向器被划分至同一目的端重定向器组;
在目的端重定向器组中包含至少两个目的端音频重定向器的情况下,通过第三目的端音频重定向器与第三源端音频重定向器之间的链路,接收源端设备传输的应用重定向音频,第三源端音频重定向器由源端设备确定。
可选的,该方法还包括:
接收音频重定向取消指令;
在音频重定向取消指令指示第三源端音频重定向器对应的链路退出的情况下,从目的端重定向器组中删除第三目的端音频重定向器;
通过目的端重定向器组中第四目的端音频重定向器与第四源端音频重定向器之间的链路,接收源端设备传输的应用重定向音频,第四源端音频重定向器由源端设备确定。
可选的,基于音频重定向指令创建目的端音频重定向器,包括:
基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建目的端音频重定向器。
在一种可能的实施方式中,源端设备通过统一的音频编码器对设备重定向音频进行音频编码,得到设备重定向音频数据流之后,向各个源端音频重定向器分流传输设备重定向音频数据流。
可选的,在向目的端设备传输音频前,源端设备在采集到音频后,通过编码器对采集的内容进行编码,生成音频数据,这个过程中会产生编码开销。对应的,目的端设备接收到音频数据后,需要利用解码器对音频数据进行解析,从而还原音频,在这个过程中会产生解码开销。
在一种可能的音频重定向场景下,源端设备中的同一重定向对象需要被音频重定向至不同的目的端设备,或者,被音频重定向至同一目的端设备的不同输出设备。相关技术中采用如图2所示的方式,即当需要将源端设备中的音频同时音频重定向至目的端设备1的音频输出设备1和音频输出设备2,以及目的端设备2的音频输出设备3时,通过编码器1、2、3分别进行音频编码,通过解码器1、2、3分别进行音频解码,并且分三路进行音频数据流传输会产生三倍编码、解码开销。
而在本申请实施例中,源端设备与目的端设备采用复用策略,即源端设备通过复用编码器对音频进行编码生成音频数据,目的端设备通过复用解码器对音频数据进行解析,还原出音频。相比于相关技术,源端设备与目的端设备分别采用复用策略,减少了编码、解码开销。如图3所示,同样当需要将源端设备中的音频同时音频重定向至目的端设备1的音频输出设备1和音频输出设备2,以及目的端设备2的音频输出设备3时,源端设备复用编码器1进行音频编码,得到音频数据流,目的端设备1接收到音频数据流后,通过复用解码器1进行音频解码,从而通过音频输出设备1和音频输出设备2对解码得到的音频进行播放,目的端设备2接收到音频数据流后,通过解码器2进行音频解码,从而通过音频输出设备3对解码得到的音频进行播放。
本实施例中,源端设备与目的端设备分别采用复用策略,复用编码器及解码器,降低了采用多路进行音频数据流传输时的编码开销及解码开销。
在另一种可能的实施方式中,目的端设备还会基于音频重定向指令指示的音频重定向模式创建音频播放器,并通过音频播放器向目的端音频输出设备输出重定向音频。
可选的,音频播放器向目的端音频输出设备输出重定向音频的方式具有多种可能。
在一个音频播放器对应一个目的端音频输出设备时,目的端设备通过音频播放器向单一目的端音频输出设备输出重定向音频,而在多路音频场景中,根据多个音频播放器跟多个音频输出设备的对应关系,会出现两种音频输出模式:混音输出和分流输出。
示意性的,如图4所示,在一个音频播放器对应至少两个目的端音频输出设备时,目的端设备通过音频播放器向至少两个目的端音频输出设备分流输出重定向音频。其中,分流输出指一个音频播放器对应多个音频输出设备,将音频播放器的同一路音频分流输出到多个音频输出设备中。实现原理可以从应用层或系统层进行分流多路输出。
示意性的,如图4所示,在至少两个音频播放器对应一个目的端音频输出设备时,目的端设备对至少 两个音频播放器输出的重定向音频进行混音处理,并向目的端音频输出设备输出混音处理后的重定向音频。其中,混音输出指多个音频播放器对应一个音频输出设备,每个音频播放器负责一路音频的播放,在音频输出设备中将进行混音输出,安卓系统层已支持此能力。
本申请实施例中,根据底层音频采集方式不同,分为设备级多路音频方法和应用级多路音频方法。为解决多路音频采集中的复用、分流问题,并针对目的端设备的音频输出设备的拓扑结构,采取混音输出、音频分流等策略,从而提升音频性能并降低功耗。
请参考图5,其示出了本申请一个示例性实施例提供的设备级重定向模式音频重定向方法的实施环境示意图,该实施环境可以包括:至少一个源端设备510以及至少一个目的端设备520。
图5中以源端设备510包括智能手机511以及平板电脑512,目的端设备520包括车载终端521和智能大屏设备522为例进行说明。其中,车载终端521和智能大屏设备522均由SoC(System on Chip,系统级芯片)控制。
如图5所示,车载终端521具有主驾中控长屏5211、主驾中控长屏5211的第一音频输出设备5214、副驾娱乐屏5212以及副驾娱乐屏5212的第二音频输出设备5215(均由车载终端521的SoC5213控制),且第一音频输出设备5214和第二音频输出设备5215之间相互独立,智能大屏设备522具有屏幕5221及第三音频输出设备5222。
本申请实施例中的多对多重定向体现在多源端设备(多个源端设备参与重定向)、多重定向对象(同一源端设备中的多个重定向对象参与重定向)、多目的端设备(多个目的端设备参与重定向)以及多音频输出设备(同一目的端设备的多个音频输出设备参与重定向)。在一种可能的多对多投屏场景下,如图5所示,智能手机511中的导航应用被重定向至车载终端521的主驾中控长屏5211,导航语音由第一音频输出设备5214进行播放;第一游戏应用被重定向至车载终端521的主驾中控长屏5211和智能大屏设备522的屏幕5221,即屏幕5221和主驾中控长屏5211显示相同重定向内容,第一音频输出设备5214和第三音频输出设备5222都播放第一游戏语音,其中,主驾中控长屏5211中第一游戏应用与导航应用分屏显示,第一音频输出设备5214中第一游戏语音与导航语音混音输出;平板电脑512中的第二游戏应用被重定向至车载终端521的副驾娱乐屏5212,第二游戏语音由第二音频输出设备5215播放。
需要说明的是,上述实施例仅以移动终端向车载终端及智能大屏设备进行音频重定向为例进行示意性的说明,本申请实施例提供的方案可以应用于其他多对多重定向场景,本实施例并不对具体的应用场景构成限定。
本申请实施例支持两种采音方案,即设备级采音方案和应用级采音方案,其中,该采音方案由音频重定向指令所指示,源端设备按照音频重定向指令所指示的采音模式采集音频。请参考图6,其示出了本申请一个示例性实施例提供的设备级重定向模式音频重定向方法的流程图,本申请实施例以该方法应用于图5所示的实施环境为例进行说明,该方法可以包括如下步骤:
步骤601,源端设备接收音频重定向指令。
本步骤的实施方式可以参考上述步骤101,本实施例在此不作赘述。
步骤602,目的端设备接收音频重定向指令。
本步骤的实施方式可以参考上述步骤102,本实施例在此不作赘述。
步骤603,源端设备基于音频重定向指令创建源端音频重定向器。
本步骤的实施方式可以参考上述步骤103,本实施例在此不作赘述。
步骤604,目的端设备基于音频重定向指令创建目的端音频重定向器。
本步骤的实施方式可以参考上述步骤104,本实施例在此不作赘述。
步骤605,源端设备基于音频重定向指令通过设备级音频采集器进行音频采集,得到设备重定向音频。
在音频重定向指令所指示的音频重定向模式为设备级重定向模式的情况下,源端设备通过设备级音频采集器进行音频采集,得到源端设备的设备重定向音频。
可选的,在音频重定向模式为设备级重定向模式的情况下,一个源端设备对应一个设备级音频采集器,该设备级音频采集器用于采集设备级音频。
以安卓系统为例,标准安卓提供的录音功能采集的是系统层多个应用混音之后的音频,即为设备级重定向音频。
可选的,源端设备进行设备级音频采集后,通过编码器对采集的音频内容进行音频编码,得到设备重定向音频数据流,其中,源端设备可以采用AAC(Advanced Audio Coding,高级音频编码)等音频编码格式进行编码,本申请实施例对此不作限定。
步骤606,在创建有至少两个源端音频重定向器的情况下,源端设备对源端音频重定向器进行分组,得到至少一个源端重定向器组。
在一种可能的实施方式中,在创建有至少两个源端音频重定向器的情况下,源端设备基于源端音频重 定向器对应的目的端设备标识对源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识的源端音频重定向器被划分至同一源端重定向器组。
由于源端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建源端音频重定向器,因此,同一源端重定向器组内的源端设备标识与目的端设备标识是一致的。
可选的,同一源端重定向器组内的源端音频重定向器共享音频传输。
步骤607,在创建有至少两个目的端音频重定向器的情况下,目的端设备对目的端音频重定向器进行分组,得到至少一个目的端重定向器组。
与源端设备相对应的,在一种可能的实施方式中,在创建有至少两个目的端音频重定向器的情况下,目的端设备基于目的端音频重定向器对应的源端设备标识对目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识的目的端音频重定向器被划分至同一目的端重定向器组。
比如,目的端设备中创建有3个目的端音频重定向器,其中目的端音频重定向器1与目的端音频重定向器2都是对应源端设备1的目的端音频重定向器,目的端音频重定向器3是对应源端设备2的目的端音频重定向器,其中,目的端音频重定向器1与目的端音频重定向器2被划分至同一目的端重定向器组。
由于目的端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建目的端音频重定向器,因此,同一目的端重定向器组内的源端设备标识与目的端设备标识是一致的。
步骤608,在源端重定向器组中包含至少两个源端音频重定向器的情况下,源端设备从源端重定向器组中确定第一源端音频重定向器。
可选的,该第一源端音频重定向器可以是该源端重定向器组中的首个创建的源端音频重定向器,也可以是该源端重定向器组中随机确定的一个源端音频重定向器,本申请实施例并不对具体的第一源端音频重定向器的确定方法构成限定。
对应的,第一源端重定向器所对应的目的端音频重定向器即为第一目的端音频重定向器。
步骤609,源端设备通过第一源端音频重定向器与第一目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频。
在设备级的多路音频方法中,对于同一个源端设备与同一个目的端设备建立的多条链路通道,设备级音频是共享传输的(即只在一个通道传输),这多条链路通道彼此之间互不干扰。
源端设备对源端音频重定向器进行分组,得到至少一个源端重定向器组后,为避免向同一个目的端传输多路音频流,从而导致的音频流的重复,并产生回响等错误的声音效果的情况,每个源端重定向器组只会选择第一路进行推流,即源端设备通过第一源端音频重定向器与第一目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频。
可选的,源端设备通过第一源端音频重定向器与第一目的端音频重定向器之间的链路,向目的端设备传输音频编码后的设备重定向音频数据流。
步骤610,在目的端重定向器组中包含至少两个目的端音频重定向器的情况下,目的端设备通过第一目的端音频重定向器与第一源端音频重定向器之间的链路,接收源端设备传输的设备级重定向音频。
可选的,在音频重定向指令指示的音频重定向模式为设备级重定向的情况下,目的端设备创建音频重定向指令所指示源端设备对应的设备级音频播放器,并通过设备级音频播放器向目的端音频输出设备输出重定向音频。
可选的,一个目的端重定向器组内的目的端音频重定向器对应同一设备级音频播放器。
可选的,设备级音频播放器与目的端音频输出设备可能是一对一的,也可能有分流输出和混音输出,这取决于输出设备和应用的对应关系。
步骤611,目的端设备通过目的端音频输出设备播放重定向音频。
本步骤的实施方式可以参考上述步骤108,本实施例在此不作赘述。
本实施例中,在音频重定向模式为设备级重定向模式的情况下,一个源端设备对应一个设备级音频采集器,源端设备标识、应用标识及目的端设备标识对应源端音频重定向器,源端音频重定向器基于目的端设备进行分组,同一组源端音频重定向器共享音频传输,目的端设备基于源端设备创建音频播放器,源端设备标识、应用标识及目的端设备标识对应目的端音频重定向器,目的端音频重定向器基于源端设备进行分组,同一组目的端音频定向器对应同一音频播放器,能够实现多层级的多对多音频重定向,提高对复杂音频重定向场景的适用性。
由于每条链路随时可以进入和退出,若第一源端音频重定向器与第一目的端音频重定向器之间的链路断开或退出,为保证源端设备能够正常向目的端设备传输设备重定向音频,在一种可能的实施方式中,源端设备还可以接收音频重定向取消指令,并将该音频重定向取消指令发送至目的端设备,在音频重定向取 消指令指示第一源端音频重定向器对应的链路退出的情况下,源端设备从源端重定向器组中确定第二源端音频重定向器,目的端设备从目的端重定向器组中删除第一目的端音频重定向器,进而由源端设备通过第二源端音频重定向器与第二目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频后,源端设备删除第一源端音频重定向器,最后由目的端设备通过目的端重定向器组中第二目的端音频重定向器与第二源端音频重定向器之间的链路,接收源端设备传输的设备重定向音频。
其中,这种第一条链路断开或退出,切换到第二条链路继续向音频播放器输出的方法称为音频流接力。
示意性的,图7示出了设备级重定向模式的实施环境中重定向音频数据的流向示意图,图7中源端设备1对应一个设备级音频采集器1,源端设备2对应一个设备级音频采集器2,若源端设备1为智能手机,源端设备2为平板电脑,目的端重定向器组1内的目的端音频重定向器1和目的端音频重定向器2对应音频播放器1和目的端音频输出设备1,目的端音频重定向器3对应音频播放器2和目的端音频输出设备2,目的端音频重定向器4对应音频播放器3和目的端音频输出设备3。
源端设备1中的导航应用被重定向至车载终端的主驾中控长屏,导航语音由主驾中控长屏的音频输出设备进行播放,该音频输出设备为目的端音频输出设备1;源端设备1中的第一游戏应用被重定向至车载终端的主驾中控长屏和智能大屏设备的屏幕,主驾中控长屏及智能大屏设备的音频输出设备都播放第一游戏语音,其中,主驾中控长屏的音频输出设备为目的端音频输出设备1,智能大屏设备的音频输出设备为目的端音频输出设备3,目的端音频输出设备1中第一游戏语音与导航语音混音输出;平板电脑中的第二游戏应用被重定向至车载终端的副驾娱乐屏,第二游戏语音由副驾娱乐屏的音频输出设备播放,该音频输出设备为目的端音频输出设备2。
图7中,源端音频重定向器1为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的导航应用的导航语音对应的源端音频重定向器,源端音频重定向器2为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的第一游戏应用的第一游戏语音对应的源端音频重定向器,源端音频重定向器3为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备3的第一游戏应用的第一游戏语音对应的源端音频重定向器,源端音频重定向器4为源端设备2中需要音频重定向至目的端设备1中目的端音频输出设备2的第二游戏应用的第二游戏语音对应的源端音频重定向器。目的端音频重定向器1为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的导航应用的导航语音对应的目的端音频重定向器,目的端音频重定向器2为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的第一游戏应用的第一游戏语音对应的目的端音频重定向器,目的端音频重定向器3为源端设备2中需要音频重定向至目的端设备1中目的端音频输出设备2的第二游戏应用的第二游戏语音对应的目的端音频重定向器,目的端音频重定向器4为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备3的第一游戏应用的第一游戏语音对应的目的端音频重定向器。
图7中,对应同一目的端音频输出设备1的源端音频重定向器1和源端音频重定向器2被划分为源端重定向器组1,在源端重定向器组1中,包含源端音频重定向器1和目的端音频重定向器1所对应的链路,以及源端音频重定向器2和目的端音频重定向器2所对应的链路,由于两条链路共享音频传输,为避免向同一个目的端推多路音频流,从而导致的音频流的重复,并产生回响等错误的声音效果的情况,源端设备通常会采用源端音频重定向器1和目的端音频重定向器1所对应的链路进行设备重定向音频传输,在源端音频重定向器1和目的端音频重定向器1所对应的链路断开或退出的情况下,再切换至源端音频重定向器2和目的端音频重定向器2所对应的链路进行设备重定向音频传输。
图8示出了本申请另一个示例性实施例提供的应用级采音方案下的实施环境的示意图。该实施环境可以包括:至少一个源端设备810以及至少一个目的端设备820。
图8中以源端设备810包括智能手机811以及智能手机812,目的端设备820包括第一车载终端821和第二车载终端822为例进行说明,其中,第一车载终端821和第二车载终端822设置在同一车辆中,且第一车载终端821和第二车载终端822分别由不同的SoC(System on Chip,系统级芯片)控制。比如,第一车载终端821为设置在车辆前排的车载终端,第二车载终端822为设置在车辆后排的车载终端。
如图8所示,车载终端821具有主驾中控长屏8211、主驾中控长屏8211的第一音频输出设备8214、副驾娱乐屏8212以及副驾娱乐屏8212的第二音频输出设备8215(均由车载终端821的第一SoC 8213控制),且第一音频输出设备8214和第二音频输出设备8215之间相互独立,车载终端822具有后排娱乐屏左屏8221、后排娱乐屏左屏8221的第三音频输出设备8224、后排娱乐屏右屏8222以及后排娱乐屏右屏8222的第四音频输出设备8225(均由第二车载终端822的第二SoC 8223控制),且第三音频输出设备8224和第四音频输出设备8225之间相互独立。
本申请实施例中的多对多重定向体现在多源端设备(多个源端设备参与重定向)、多重定向对象(同一源端设备中的多个重定向对象参与重定向)、多目的端设备(多个目的端设备参与重定向)以及多屏幕(同一目的端设备的多个屏幕参与重定向)。在一种可能的多对多重定向场景下,如图8所示,智能手机 811中的导航应用被重定向至第一车载终端821的主驾中控长屏8211,导航语音由第一音频输出设备8214进行播放;第一游戏应用被重定向至第一车载终端821的主驾中控长屏8211和第二车载终端822的后排娱乐屏左屏8221和后排娱乐屏右屏8222,即主驾中控长屏8211、后排娱乐屏左屏8221和后排娱乐屏右屏8222显示相同重定向内容,第一音频输出设备8214、第三音频输出设备8224和第四音频输出设备8225都播放第一游戏语音,其中,主驾中控长屏8211中第一游戏应用与导航应用分屏显示,第一游戏语音与导航语音在第一音频输出设备8214中混音播放;智能手机812中的第二游戏应用被重定向至第一车载终端821的副驾娱乐屏8212,第二游戏语音由第二音频输出设备8215播放。
需要说明的是,上述实施例仅以移动终端向车载终端进行音频重定向为例进行示意性的说明,本申请实施例提供的方案还可以应用于其他多对多重定向场景,本实施例并不对具体的应用场景构成限定。
请参考图9,其示出了本申请一个示例性实施例提供的应用级重定向模式音频重定向方法的流程图,本申请实施例以该方法应用于图8所示的实施环境为例进行说明,该方法可以包括如下步骤:
步骤901,源端设备接收音频重定向指令。
本步骤的实施方式可以参考上述步骤101,本实施例在此不作赘述。
步骤902,目的端设备接收音频重定向指令。
本步骤的实施方式可以参考上述步骤102,本实施例在此不作赘述。
步骤903,源端设备基于音频重定向指令创建源端音频重定向器。
本步骤的实施方式可以参考上述步骤103,本实施例在此不作赘述。
步骤904,目的端设备基于音频重定向指令创建目的端音频重定向器。
本步骤的实施方式可以参考上述步骤104,本实施例在此不作赘述。
步骤905,源端设备基于音频重定向指令通过目标应用对应的目标应用级音频采集器进行音频采集,得到应用重定向音频。
在音频重定向指令所指示的音频重定向模式为应用级重定向模式的情况下,源端设备通过目标应用对应的目标应用级音频采集器进行音频采集,得到目标应用的应用重定向音频,其中,不同应用对应不同应用级音频采集器,该应用级音频采集器用于采集应用级音频。
在一种可能的实施方式中,源端设备通过目标应用对应的音频编码器对应用重定向音频进行音频编码,得到应用重定向音频数据流,进而向目标应用对应的各个源端音频重定向器分流传输应用重定向音频数据流。
可选的,源端设备进行应用级级音频采集后,通过编码器对采集的音频内容进行音频编码,得到应用重定向音频数据流,其中,源端设备可以采用AAC等音频编码格式进行编码,本申请实施例对此不作限定。
步骤906,在创建有至少两个源端音频重定向器的情况下,源端设备对源端音频重定向器进行分组,得到至少一个源端重定向器组。
在一种可能的实施方式中,在创建有至少两个源端音频重定向器的情况下,源端设备基于源端音频重定向器对应的目的端设备标识和应用标识,对源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识以及应用标识的源端音频重定向器被划分至同一源端重定向器组。
由于源端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建源端音频重定向器,因此,同一源端重定向器组内的源端设备标识、目的端设备标识与应用标识是一致的。
可选的,同一源端重定向器组内的源端音频重定向器共享音频传输。
步骤907,在创建有至少两个目的端音频重定向器的情况下,目的端设备对目的端音频重定向器进行分组,得到至少一个目的端重定向器组。
与源端设备相对应的,在一种可能的实施方式中,在创建有至少两个目的端音频重定向器的情况下,目的端设备基于目的端音频重定向器对应的源端设备标识以及应用标识,对目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识以及应用标识的目的端音频重定向器被划分至同一目的端重定向器组。
由于目的端设备基于音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建目的端音频重定向器,因此,同一目的端重定向器组内的源端设备标识、目的端设备标识与应用标识是一致的。
步骤908,在源端重定向器组中包含至少两个源端音频重定向器的情况下,源端设备从源端重定向器组中确定第三源端音频重定向器。
可选的,该第三源端音频重定向器可以是该源端重定向器组中的第一个源端音频重定向器,该源端重定向器所对应的目的端音频重定向器称为第三目的端音频重定向器。
步骤909,源端设备通过第三源端音频重定向器与第三目的端音频重定向器之间的链路,向目的端设备传输应用重定向音频。
在应用级的多路音频方法中,对于同一个源端设备的同一应用与同一个目的端设备建立的多条链路通道,应用级音频是共享传输的(即只在一个通道传输),这多条链路通道彼此之间互不干扰。
源端音频管理器把多个源端音频重定向器根据其所配对的目的端设备的唯一标识符进行分组后,为避免向同一个目的端传输多路音频流,从而导致的音频流的重复,并产生回响等错误的声音效果的情况,每个源端重定向器组只会选择第一路进行推流,即源端设备通过第三源端音频重定向器与第三目的端音频重定向器之间的链路,向目的端设备传输应用重定向音频。
步骤910,在目的端重定向器组中包含至少两个目的端音频重定向器的情况下,目的端设备通过第三目的端音频重定向器与第三源端音频重定向器之间的链路,接收源端设备传输的应用重定向音频。
可选的,在音频重定向指令指示的音频重定向模式为应用级重定向的情况下,目的端设备创建音频重定向指令所指示源端设备对应的应用级音频播放器,并通过应用级音频播放器向目的端音频输出设备输出重定向音频。
可选的,目的端对需要进行音频重定向的每一个应用创建一个应用级音频播放器,无论他们是否来自同一个源端设备,也无论是否输出到同一个目的端音频输出设备。
可选的,同一组目的端音频定向器对应同一音频播放器。
可选的,目的端设备的音频播放器与源端设备下的同一应用一一对应,用于处理该源端设备的指定应用在此目的端设备上的所有音频播放。
可选的,目的端音频播放器与目的端音频输出设备可能是一对一的,也可能有分流输出和混音输出,这取决于输出设备和应用的对应关系。
步骤911,目的端设备通过目的端音频输出设备播放重定向音频。
本步骤的实施方式可以参考上述步骤108,本实施例在此不作赘述。
本实施例中,在音频重定向模式为应用级重定向模式的情况下,不同应用对应不同应用级音频采集器,源端设备标识、应用标识及目的端设备标识对应源端音频重定向器,且源端音频重定向器基于目的端设备标识和应用标识进行分组,同一组源端音频重定向器共享音频传输,目的端设备基于源端设备标识及应用标识创建音频播放器,源端设备标识、应用标识及目的端设备标识对应目的端音频重定向器,且目的端音频重定向器基于源端设备标识及应用标识进行分组,同一组目的端音频定向器对应同一音频播放器,能够实现多层级的多对多音频重定向,提高对复杂音频重定向场景的适用性。
与设备级重定向模式类似,在应用级重定向模式的情况下,结构中的每条链路随时可以进入和退出,若第一条链路断开或退出,为保证源端设备能够正常向目的端设备传输设备重定向音频,在一种可能的实施方式中,源端设备还可以接收音频重定向取消指令,并将该音频重定向取消指令发送至目的端设备,在音频重定向取消指令指示第三源端音频重定向器对应的链路退出的情况下,源端设备从源端重定向器组中确定第四源端音频重定向器,目的端设备从目的端重定向器组中删除第三目的端音频重定向器,进而由源端设备通过第四源端音频重定向器与第四目的端音频重定向器之间的链路,向目的端设备传输设备重定向音频后,源端设备删除第三源端音频重定向器,最后由目的端设备通过目的端重定向器组中第四目的端音频重定向器与第四源端音频重定向器之间的链路,接收源端设备传输的设备重定向音频。
示意性的,图10示出了应用级重定向模式下的实施环境中重定向音频数据的流向示意图,图10中源端设备1中有两个应用,导航应用对应应用级音频采集器1,第一游戏应用对应应用级音频采集器2,源端设备2中的第二游戏应用对应应用级音频采集器3,源端设备1和源端设备2都是智能手机,目的端设备1和目的端设备2都是车载终端。
源端设备1中的导航应用被重定向至第一车载终端的主驾中控长屏,导航语音由主驾中控长屏的音频输出设备进行播放,该音频输出设备为目的端音频输出设备1;源端设备1中的第一游戏应用被重定向至第一车载终端的主驾中控长屏和第二车载终端的后排娱乐屏左屏和后排娱乐屏右屏,即主驾中控长屏、后排娱乐屏左屏和后排娱乐屏右屏显示相同重定向内容,即第一车载终端的主驾中控长屏的目的端音频输出设备1、后排娱乐屏左屏的目的端音频输出设备3和后排娱乐屏右屏的目的端音频输出设备4都播放第一游戏语音,其中,主驾中控长屏屏幕中第一游戏应用与导航应用分屏显示,第一游戏语音与导航语音在目的端音频输出设备1中混音播放;源端设备2中的第二游戏应用被重定向至第一车载终端的副驾娱乐屏,第二游戏语音由副驾娱乐屏的目的端音频输出设备2播放。
图10中,源端音频重定向器1为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的导航应用的导航语音对应的源端音频重定向器,源端音频重定向器2为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的第一游戏应用的第一游戏语音对应的源端音频重定向器,源端音频重定向器3为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备3的第一游戏应 用的第一游戏语音对应的源端音频重定向器,源端音频重定向器4为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备4的第一游戏应用的第一游戏语音对应的源端音频重定向器,源端音频重定向器5为源端设备2中需要音频重定向至目的端设备1中目的端音频输出设备2的第二游戏应用的第二游戏语音对应的源端音频重定向器。
目的端音频重定向器1为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的导航应用的导航语音对应的目的端音频重定向器,目的端音频重定向器2为源端设备1中需要音频重定向至目的端设备1中目的端音频输出设备1的第一游戏应用的第一游戏语音对应的目的端音频重定向器,目的端音频重定向器3为源端设备2中需要音频重定向至目的端设备1中目的端音频输出设备2的第二游戏应用的第二游戏语音对应的目的端音频重定向器,目的端音频重定向器4为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备3的第一游戏应用的第一游戏语音对应的源端音频重定向器,目的端音频重定向器5为源端设备1中需要音频重定向至目的端设备2中目的端音频输出设备4的第一游戏应用的第一游戏语音对应的目的端音频重定向器。
图10中,对应同一目的端音频输出设备1的同一应用的源端音频重定向器3和源端音频重定向器4被划分为源端重定向器组1,在源端重定向器组1中,包含源端音频重定向器3和目的端音频重定向器3所对应的链路,以及源端音频重定向器4和目的端音频重定向器4所对应的链路,由于两条链路共享音频传输,为避免向同一个目的端推多路音频流,从而导致的音频流的重复,并产生回响等错误的声音效果的情况,源端设备通常会采用源端音频重定向器3和目的端音频重定向器3所对应的链路进行设备重定向音频传输,在源端音频重定向器3和目的端音频重定向器3所对应的链路断开或退出的情况下,再切换至源端音频重定向器4和目的端音频重定向器4所对应的链路进行设备重定向音频传输。
由上述几个实施例可以发现,应用级重定向模式与设备级重定向模式的唯一区别在于,设备级重定向模式是以设备为单位进行分组及音频重定向,应用级多路音频策略是以设备+应用为单位进行分组及音频重定向。
请参考图11,其示出了本申请一个实施例提供的音频重定向装置的结构框图。该装置用于源端设备,该装置可以包括:
第一指令接收模块1101,用于接收音频重定向指令;
创建模块1102,用于基于所述音频重定向指令创建源端音频重定向器;
音频采集模块1103,用于基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,所述音频重定向模式包括设备级重定向和应用级重定向;
第一传输模块1104,用于通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,所述目的端音频重定向器由所述目的端设备创建。
可选的,所述音频采集模块1103,用于:
在所述音频重定向指令所指示的所述音频重定向模式为所述设备级重定向模式的情况下,通过设备级音频采集器进行音频采集,得到所述源端设备的设备重定向音频;
在所述音频重定向指令所指示的所述音频重定向模式为所述应用级重定向模式的情况下,通过目标应用对应的目标应用级音频采集器进行音频采集,得到所述目标应用的应用重定向音频,其中,不同应用对应不同应用级音频采集器。
可选的,所述音频重定向模式为所述设备级重定向模式;
所述第一传输模块1104,包括:
第一分组单元,用于在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识的所述源端音频重定向器被划分至同一源端重定向器组;
第一确定单元,用于在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第一源端音频重定向器;
第一传输单元,用于通过所述第一源端音频重定向器与第一目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频。
可选的,所述装置还包括:
第二指令接收模块,用于接收音频重定向取消指令;
第一确定模块,用于在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第二源端音频重定向器;
第二传输模块,用于通过所述第二源端音频重定向器与第二目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频;
第一删除模块,用于删除所述第一源端音频重定向器。
可选的,所述音频重定向模式为所述应用级重定向模式;
所述第一传输模块1104,包括:
第二分组单元,用于在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识和应用标识,对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识以及应用标识的所述源端音频重定向器被划分至同一源端重定向器组;
第二确定单元,用于在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第三源端音频重定向器;
第二传输单元,用于通过所述第三源端音频重定向器与第三目的端音频重定向器之间的链路,向所述目的端设备传输所述应用重定向音频。
可选的,所述装置还包括:
第三指令接收模块,用于接收音频重定向取消指令;
第二确定模块,用于在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第四源端音频重定向器;
第三传输模块,用于通过所述第四源端音频重定向器与第四目的端音频重定向器之间的链路,向所述目的端设备传输所述应用重定向音频;
第二删除模块,用于删除所述第三源端音频重定向器。
可选的,所述音频重定向模式为所述设备级重定向模式,所述装置还包括:
第一音频编码模块,用于通过统一的音频编码器对所述设备重定向音频进行音频编码,得到设备重定向音频数据流;
第四传输模块,用于向各个所述源端音频重定向器分流传输所述设备重定向音频数据流;
所述音频重定向模式为所述应用级重定向模式,所述装置还包括:
第二音频编码模块,用于通过所述目标应用对应的音频编码器对所述应用重定向音频进行音频编码,得到应用重定向音频数据流;
第五传输模块,用于向所述目标应用对应的各个所述源端音频重定向器分流传输所述应用重定向音频数据流。
可选的,所述创建模块1102,用于:
基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述源端音频重定向器。
请参考图12,其示出了本申请一个实施例提供的音频重定向装置的结构框图。所述装置用于目的端设备,该装置可以包括:
第一指令接收模块1201,用于接收音频重定向指令;
第一创建模块1202,用于基于所述音频重定向指令创建目的端音频重定向器;
第一接收模块1203,用于通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,所述源端音频重定向器由所述源端设备创建,所述重定向音频由所述源端设备基于所述音频重定向指令所指示的音频重定向模式进行音频采集得到,所述音频重定向模式包括设备级重定向和应用级重定向;
播放模块1204,用于通过目的端音频输出设备播放所述重定向音频。
可选的,所述装置还包括:
第二创建模块,用于基于所述音频重定向指令指示的所述音频重定向模式创建音频播放器;
输出模块,用于通过所述音频播放器向所述目的端音频输出设备输出所述重定向音频。
可选的,所述第二创建模块,用于:
在所述音频重定向指令指示的所述音频重定向模式为所述设备级重定向的情况下,创建所述音频重定向指令所指示源端设备对应的设备级音频播放器;
在所述音频重定向指令指示的所述音频重定向模式为所述应用级重定向的情况下,创建所述音频重定向指令所指示目标应用对应的应用级音频播放器。
可选的,所述输出模块,用于:
通过所述音频播放器向单一目的端音频输出设备输出所述重定向音频;或,
通过所述音频播放器向至少两个目的端音频输出设备分流输出所述重定向音频;或,
对至少两个所述音频播放器输出的所述重定向音频进行混音处理;向所述目的端音频输出设备输出混音处理后的重定向音频。
可选的,所述音频重定向模式为所述设备级重定向模式;
所述第一接收模块1203,包括:
第一分组单元,用于在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备标识对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
第一接收单元,用于在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第一目的端音频重定向器与第一源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第一源端音频重定向器由所述源端设备确定。
可选的,所述装置还包括:
第二指令接收模块,用于接收音频重定向取消指令;
第一删除模块,用于在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第一目的端音频重定向器;
第二接收模块,用于通过所述目的端重定向器组中第二目的端音频重定向器与第二源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第二源端音频重定向器由所述源端设备确定。
可选的,所述音频重定向模式为所述应用级重定向模式;
所述第一接收模块1203,包括:
第二分组单元,用于在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备标识以及应用标识,对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识以及应用标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
第二接收单元,用于在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第三目的端音频重定向器与第三源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第三源端音频重定向器由所述源端设备确定。
可选的,所述装置还包括:
第三指令接收模块,用于接收音频重定向取消指令;
第二删除模块,用于在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第三目的端音频重定向器;
第三接收模块,用于通过所述目的端重定向器组中第四目的端音频重定向器与第四源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第四源端音频重定向器由所述源端设备确定。
可选的,所述第一创建模块1202,用于:
基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述目的端音频重定向器。
请参考图13,其示出了本申请一个示例性实施例提供的计算机设备的结构方框图。该计算机设备1300可以实现成为上述各个实施例中的源端设备或目的端设备。计算机设备1300可以包括一个或多个如下部件:处理器1310和存储器1320。
处理器1310可以包括一个或者多个处理核心。处理器1310利用各种接口和线路连接整个计算机设备1300内的各个部分,通过运行或执行存储在存储器1320内的指令、程序、代码集或指令集,以及调用存储在存储器1320内的数据,执行计算机设备1300的各种功能和处理数据。可选地,处理器1310可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、神经网络处理器(Neural-network Processing Unit,NPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;NPU用于实现人工智能(Artificial Intelligence,AI)功能;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1310中,单独通过一块芯片进行实现。
存储器1320可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选地,该存储器1320包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1320可用于存储指令、程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储根据计算机设备1300的使用所创建的数据(比如音频数据、电话本)等。
除此之外,本领域技术人员可以理解,上述附图所示出的计算机设备1300的结构并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,计算机设备1300中还包括显示屏、摄像组件、麦克风、扬声器、射频电路、输入单元、传感器(比 如加速度传感器、角速度传感器、光线传感器等等)、音频电路、WiFi模块、电源、蓝牙模块等部件,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如上各个实施例所述的音频重定向方法。
本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的音频重定向方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (37)

  1. 一种音频重定向方法,所述方法用于源端设备,所述方法包括:
    接收音频重定向指令;
    基于所述音频重定向指令创建源端音频重定向器;
    基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,所述音频重定向模式包括设备级重定向和应用级重定向;
    通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,所述目的端音频重定向器由所述目的端设备创建。
  2. 根据权利要求1所述的方法,其中,所述基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,包括:
    在所述音频重定向指令所指示的所述音频重定向模式为所述设备级重定向模式的情况下,通过设备级音频采集器进行音频采集,得到所述源端设备的设备重定向音频;
    在所述音频重定向指令所指示的所述音频重定向模式为所述应用级重定向模式的情况下,通过目标应用对应的目标应用级音频采集器进行音频采集,得到所述目标应用的应用重定向音频,其中,不同应用对应不同应用级音频采集器。
  3. 根据权利要求2所述的方法,其中,所述音频重定向模式为所述设备级重定向模式;
    所述通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,包括:
    在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识的所述源端音频重定向器被划分至同一源端重定向器组;
    在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第一源端音频重定向器;
    通过所述第一源端音频重定向器与第一目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频。
  4. 根据权利要求3所述的方法,其中,所述方法还包括:
    接收音频重定向取消指令;
    在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第二源端音频重定向器;
    通过所述第二源端音频重定向器与第二目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频;
    删除所述第一源端音频重定向器。
  5. 根据权利要求2所述的方法,其中,所述音频重定向模式为所述应用级重定向模式;
    所述通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,包括:
    在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识和应用标识,对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识以及应用标识的所述源端音频重定向器被划分至同一源端重定向器组;
    在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第三源端音频重定向器;
    通过所述第三源端音频重定向器与第三目的端音频重定向器之间的链路,向所述目的端设备传输所述应用重定向音频。
  6. 根据权利要求5所述的方法,其中,所述方法还包括:
    接收音频重定向取消指令;
    在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第四源端音频重定向器;
    通过所述第四源端音频重定向器与第四目的端音频重定向器之间的链路,向所述目的端设备传输所述应用重定向音频;
    删除所述第三源端音频重定向器。
  7. 根据权利要求2所述的方法,其中,所述音频重定向模式为所述设备级重定向模式,所述方法还 包括:
    通过统一的音频编码器对所述设备重定向音频进行音频编码,得到设备重定向音频数据流;
    向各个所述源端音频重定向器分流传输所述设备重定向音频数据流;
    所述音频重定向模式为所述应用级重定向模式,所述方法还包括:
    通过所述目标应用对应的音频编码器对所述应用重定向音频进行音频编码,得到应用重定向音频数据流;
    向所述目标应用对应的各个所述源端音频重定向器分流传输所述应用重定向音频数据流。
  8. 根据权利要求1至7任一所述的方法,其中,所述基于所述音频重定向指令创建源端音频重定向器,包括:
    基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述源端音频重定向器。
  9. 一种音频重定向方法,所述方法用于目的端设备,所述方法包括:
    接收音频重定向指令;
    基于所述音频重定向指令创建目的端音频重定向器;
    通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,所述源端音频重定向器由所述源端设备创建,所述重定向音频由所述源端设备基于所述音频重定向指令所指示的音频重定向模式进行音频采集得到,所述音频重定向模式包括设备级重定向和应用级重定向;
    通过目的端音频输出设备播放所述重定向音频。
  10. 根据权利要求9所述的方法,其中,所述方法还包括:
    基于所述音频重定向指令指示的所述音频重定向模式创建音频播放器;
    通过所述音频播放器向所述目的端音频输出设备输出所述重定向音频。
  11. 根据权利要求10所述的方法,其中,所述基于所述音频重定向指令指示的所述音频重定向模式创建音频播放器,包括:
    在所述音频重定向指令指示的所述音频重定向模式为所述设备级重定向的情况下,创建所述音频重定向指令所指示源端设备对应的设备级音频播放器;
    在所述音频重定向指令指示的所述音频重定向模式为所述应用级重定向的情况下,创建所述音频重定向指令所指示目标应用对应的应用级音频播放器。
  12. 根据权利要求10所述的方法,其中,所述通过所述音频播放器向所述目的端音频输出设备输出所述重定向音频,包括:
    通过所述音频播放器向单一目的端音频输出设备输出所述重定向音频;或,
    通过所述音频播放器向至少两个目的端音频输出设备分流输出所述重定向音频;或,
    对至少两个所述音频播放器输出的所述重定向音频进行混音处理;向所述目的端音频输出设备输出混音处理后的重定向音频。
  13. 根据权利要求9至12任一所述的方法,其中,所述音频重定向模式为所述设备级重定向模式;
    所述通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,包括:
    在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备标识对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
    在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第一目的端音频重定向器与第一源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第一源端音频重定向器由所述源端设备确定。
  14. 根据权利要求13所述的方法,其中,所述方法还包括:
    接收音频重定向取消指令;
    在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第一目的端音频重定向器;
    通过所述目的端重定向器组中第二目的端音频重定向器与第二源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第二源端音频重定向器由所述源端设备确定。
  15. 根据权利要求9至12任一所述的方法,其中,所述音频重定向模式为所述应用级重定向模式;
    所述通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,包括:
    在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备 标识以及应用标识,对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识以及应用标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
    在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第三目的端音频重定向器与第三源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第三源端音频重定向器由所述源端设备确定。
  16. 根据权利要求15所述的方法,其中,所述方法还包括:
    接收音频重定向取消指令;
    在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第三目的端音频重定向器;
    通过所述目的端重定向器组中第四目的端音频重定向器与第四源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第四源端音频重定向器由所述源端设备确定。
  17. 根据权利要求9至12任一所述的方法,其中,所述基于所述音频重定向指令创建目的端音频重定向器,包括:
    基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述目的端音频重定向器。
  18. 一种音频重定向装置,所述装置用于源端设备,所述装置包括:
    第一指令接收模块,用于接收音频重定向指令;
    创建模块,用于基于所述音频重定向指令创建源端音频重定向器;
    音频采集模块,用于基于所述音频重定向指令所指示的音频重定向模式进行音频采集,得到重定向音频,所述音频重定向模式包括设备级重定向和应用级重定向;
    第一传输模块,用于通过所述源端音频重定向器与目的端音频重定向器之间的链路,向目的端设备传输所述重定向音频,所述目的端音频重定向器由所述目的端设备创建。
  19. 根据权利要求18所述的装置,其中,所述音频采集模块,用于:
    在所述音频重定向指令所指示的所述音频重定向模式为所述设备级重定向模式的情况下,通过设备级音频采集器进行音频采集,得到所述源端设备的设备重定向音频;
    在所述音频重定向指令所指示的所述音频重定向模式为所述应用级重定向模式的情况下,通过目标应用对应的目标应用级音频采集器进行音频采集,得到所述目标应用的应用重定向音频,其中,不同应用对应不同应用级音频采集器。
  20. 根据权利要求1的装置,其中,所述音频重定向模式为所述设备级重定向模式;
    所述第一传输模块,包括:
    第一分组单元,用于在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识的所述源端音频重定向器被划分至同一源端重定向器组;
    第一确定单元,用于在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第一源端音频重定向器;
    第一传输单元,用于通过所述第一源端音频重定向器与第一目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频。
  21. 根据权利要求20所述的装置,其中,所述装置还包括:
    第二指令接收模块,用于接收音频重定向取消指令;
    第一确定模块,用于在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第二源端音频重定向器;
    第二传输模块,用于通过所述第二源端音频重定向器与第二目的端音频重定向器之间的链路,向所述目的端设备传输所述设备重定向音频;
    第一删除模块,用于删除所述第一源端音频重定向器。
  22. 根据权利要求19所述的装置,其中,所述音频重定向模式为所述应用级重定向模式;
    所述第一传输模块,包括:
    第二分组单元,用于在创建有至少两个所述源端音频重定向器的情况下,基于所述源端音频重定向器对应的目的端设备标识和应用标识,对所述源端音频重定向器进行分组,得到至少一个源端重定向器组,其中,对应同一目的端设备标识以及应用标识的所述源端音频重定向器被划分至同一源端重定向器组;
    第二确定单元,用于在所述源端重定向器组中包含至少两个所述源端音频重定向器的情况下,从所述源端重定向器组中确定第三源端音频重定向器;
    第二传输单元,用于通过所述第三源端音频重定向器与第三目的端音频重定向器之间的链路,向所述 目的端设备传输所述应用重定向音频。
  23. 根据权利要求22所述的装置,其中,所述装置还包括:
    第三指令接收模块,用于接收音频重定向取消指令;
    第二确定模块,用于在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述源端重定向器组中确定第四源端音频重定向器;
    第三传输模块,用于通过所述第四源端音频重定向器与第四目的端音频重定向器之间的链路,向所述目的端设备传输所述应用重定向音频;
    第二删除模块,用于删除所述第三源端音频重定向器。
  24. 根据权利要求19所述的装置,其中,所述音频重定向模式为所述设备级重定向模式,所述装置还包括:
    第一音频编码模块,用于通过统一的音频编码器对所述设备重定向音频进行音频编码,得到设备重定向音频数据流;
    第四传输模块,用于向各个所述源端音频重定向器分流传输所述设备重定向音频数据流;
    所述音频重定向模式为所述应用级重定向模式,所述装置还包括:
    第二音频编码模块,用于通过所述目标应用对应的音频编码器对所述应用重定向音频进行音频编码,得到应用重定向音频数据流;
    第五传输模块,用于向所述目标应用对应的各个所述源端音频重定向器分流传输所述应用重定向音频数据流。
  25. 根据权利要求18至24任一所述的装置,其中,所述创建模块,用于:
    基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述源端音频重定向器。
  26. 一种音频重定向装置,所述装置用于目的端设备,所述装置包括:
    第一指令接收模块,用于接收音频重定向指令;
    第一创建模块,用于基于所述音频重定向指令创建目的端音频重定向器;
    第一接收模块,用于通过所述目的端音频重定向器与源端音频重定向器之间的链路,接收源端设备传输的重定向音频,所述源端音频重定向器由所述源端设备创建,所述重定向音频由所述源端设备基于所述音频重定向指令所指示的音频重定向模式进行音频采集得到,所述音频重定向模式包括设备级重定向和应用级重定向;
    播放模块,用于通过目的端音频输出设备播放所述重定向音频。
  27. 根据权利要求26所述的装置,其中,所述装置还包括:
    第二创建模块,用于基于所述音频重定向指令指示的所述音频重定向模式创建音频播放器;
    输出模块,用于通过所述音频播放器向所述目的端音频输出设备输出所述重定向音频。
  28. 根据权利要求27所述的装置,其中,所述第二创建模块,用于:
    在所述音频重定向指令指示的所述音频重定向模式为所述设备级重定向的情况下,创建所述音频重定向指令所指示源端设备对应的设备级音频播放器;
    在所述音频重定向指令指示的所述音频重定向模式为所述应用级重定向的情况下,创建所述音频重定向指令所指示目标应用对应的应用级音频播放器。
  29. 根据权利要求27所述的装置,其中,所述输出模块,用于:
    通过所述音频播放器向单一目的端音频输出设备输出所述重定向音频;或,
    通过所述音频播放器向至少两个目的端音频输出设备分流输出所述重定向音频;或,
    对至少两个所述音频播放器输出的所述重定向音频进行混音处理;向所述目的端音频输出设备输出混音处理后的重定向音频。
  30. 根据权利要求26至29任一所述的装置,其中,所述音频重定向模式为所述设备级重定向模式;
    所述第一接收模块,包括:
    第一分组单元,用于在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备标识对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
    第一接收单元,用于在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第一目的端音频重定向器与第一源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第一源端音频重定向器由所述源端设备确定。
  31. 根据权利要求30所述的装置,其中,所述装置还包括:
    第二指令接收模块,用于接收音频重定向取消指令;
    第一删除模块,用于在所述音频重定向取消指令指示所述第一源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第一目的端音频重定向器;
    第二接收模块,用于通过所述目的端重定向器组中第二目的端音频重定向器与第二源端音频重定向器之间的链路,接收所述源端设备传输的设备重定向音频,所述第二源端音频重定向器由所述源端设备确定。
  32. 根据权利要求26至29任一所述的装置,其中,所述音频重定向模式为所述应用级重定向模式;
    所述第一接收模块,包括:
    第二分组单元,用于在创建有至少两个所述目的端音频重定向器的情况下,基于所述目的端音频重定向器对应的源端设备标识以及应用标识,对所述目的端音频重定向器进行分组,得到至少一个目的端重定向器组,其中,对应同一源端设备标识以及应用标识的所述目的端音频重定向器被划分至同一目的端重定向器组;
    第二接收单元,用于在所述目的端重定向器组中包含至少两个所述目的端音频重定向器的情况下,通过第三目的端音频重定向器与第三源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第三源端音频重定向器由所述源端设备确定。
  33. 根据权利要求32所述的装置,其中,所述装置还包括:
    第三指令接收模块,用于接收音频重定向取消指令;
    第二删除模块,用于在所述音频重定向取消指令指示所述第三源端音频重定向器对应的链路退出的情况下,从所述目的端重定向器组中删除所述第三目的端音频重定向器;
    第三接收模块,用于通过所述目的端重定向器组中第四目的端音频重定向器与第四源端音频重定向器之间的链路,接收所述源端设备传输的应用重定向音频,所述第四源端音频重定向器由所述源端设备确定。
  34. 根据权利要求26至29任一所述的装置,其中,所述第一创建模块,用于:
    基于所述音频重定向指令所指示的源端设备标识、应用标识、目的端设备标识以及音频输出设备标识创建所述目的端音频重定向器。
  35. 一种计算机设备,所述计算机设备包括处理器和存储器;所述存储器存储有至少一段程序,所述至少一段程序用于被所述处理器执行以实现如权利要求1至8任一所述的音频重定向方法,或,实现如权利要求9至17任一所述的音频重定向方法。
  36. 一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器执行以实现如权利要求1至8任一所述的音频重定向方法,或,实现如权利要求9至17任一所述的音频重定向方法。
  37. 一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如权利要求1至8任一所述的音频重定向方法,或,实现如权利要求9至17任一所述的音频重定向方法。
PCT/CN2022/143322 2022-04-20 2022-12-29 音频重定向方法、装置、设备及存储介质 WO2023202152A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210417067.X 2022-04-20
CN202210417067.XA CN114979899A (zh) 2022-04-20 2022-04-20 音频重定向方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023202152A1 true WO2023202152A1 (zh) 2023-10-26

Family

ID=82977947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/143322 WO2023202152A1 (zh) 2022-04-20 2022-12-29 音频重定向方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114979899A (zh)
WO (1) WO2023202152A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979899A (zh) * 2022-04-20 2022-08-30 Oppo广东移动通信有限公司 音频重定向方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089813A1 (en) * 2007-10-02 2009-04-02 Conexant Systems, Inc. Method and system for dynamic audio stream redirection
CN112835549A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 一种切换音频输出设备的方法及设备
CN113992966A (zh) * 2021-10-26 2022-01-28 Oppo广东移动通信有限公司 重定向方法、装置、设备、存储介质及程序产品
CN114157903A (zh) * 2021-12-02 2022-03-08 Oppo广东移动通信有限公司 重定向方法、装置、设备、存储介质及程序产品
CN114979899A (zh) * 2022-04-20 2022-08-30 Oppo广东移动通信有限公司 音频重定向方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180098151A1 (en) * 2016-10-03 2018-04-05 Blackfire Research Corporation Enhanced multichannel audio interception and redirection for multimedia devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089813A1 (en) * 2007-10-02 2009-04-02 Conexant Systems, Inc. Method and system for dynamic audio stream redirection
CN112835549A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 一种切换音频输出设备的方法及设备
CN113992966A (zh) * 2021-10-26 2022-01-28 Oppo广东移动通信有限公司 重定向方法、装置、设备、存储介质及程序产品
CN114157903A (zh) * 2021-12-02 2022-03-08 Oppo广东移动通信有限公司 重定向方法、装置、设备、存储介质及程序产品
CN114979899A (zh) * 2022-04-20 2022-08-30 Oppo广东移动通信有限公司 音频重定向方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114979899A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN111343603B (zh) 一种数据传送系统、方法和电子设备及头盔
US20200396560A1 (en) Systems and Methods for Spatial Audio Rendering
CN105072482B (zh) 一种多媒体播放设备的播放控制方法及装置
CN104640013B (zh) 音箱控制方法及系统
CN106878920B (zh) 数据转发方法、其装置、蓝牙设备及音频传输方法
WO2021164352A1 (zh) 一种网络直播数据的管理方法以及相关装置
WO2023071546A1 (zh) 重定向方法、装置、设备、存储介质及程序产品
US20070087686A1 (en) Audio playback device and method of its operation
WO2023202152A1 (zh) 音频重定向方法、装置、设备及存储介质
US20200078673A1 (en) Video display system, video display device, its control method, and information storage medium
CN203352696U (zh) 一种多媒体数字会议系统
CN103327287B (zh) 一种会议信号播放方法和装置、视频会议终端、移动设备
CN107037858A (zh) 一种移动终端的外接设备及屏幕显示信息的显示系统
CN113825125B (zh) 一种多组无线蓝牙耳机的音频共享方法
EP4171066A1 (en) Audio processing method, apparatus, and system, and storage medium
KR20140138954A (ko) 멀티미디어 비디오 데이터의 송신, 수신 방법 및 대응되는 장치
WO2024001384A1 (zh) 蓝牙多媒体包的传输方法、装置、设备及系统
WO2020114038A1 (zh) 网络分流方法及相关设备
WO2024016754A1 (zh) 多媒体包传输方法、装置、设备及介质
US20220001276A1 (en) Video display system, video display device, its control method, and information storage medium
TW202135482A (zh) 音訊資訊傳送系統、方法、裝置及相應的兩輪車和頭盔
WO2022206270A1 (zh) 设备添加方法、装置、蓝牙芯片及设备
WO2022100528A1 (zh) 音视频转发方法、装置、终端与系统
CN1898957B (zh) 与媒体适配器协同使用多条通信链路
CN114915949A (zh) 蓝牙通信系统与蓝牙设备群

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22938370

Country of ref document: EP

Kind code of ref document: A1