WO2023090726A1 - 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법 - Google Patents

오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023090726A1
WO2023090726A1 PCT/KR2022/017297 KR2022017297W WO2023090726A1 WO 2023090726 A1 WO2023090726 A1 WO 2023090726A1 KR 2022017297 W KR2022017297 W KR 2022017297W WO 2023090726 A1 WO2023090726 A1 WO 2023090726A1
Authority
WO
WIPO (PCT)
Prior art keywords
packet
electronic device
packets
audio
audio signal
Prior art date
Application number
PCT/KR2022/017297
Other languages
English (en)
French (fr)
Inventor
이상훈
문한길
김현욱
박재하
방경호
양현철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210183753A external-priority patent/KR20230072355A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22895933.4A priority Critical patent/EP4380193A1/en
Priority to CN202280075412.4A priority patent/CN118303037A/zh
Priority to US18/082,296 priority patent/US20230154478A1/en
Publication of WO2023090726A1 publication Critical patent/WO2023090726A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/12—Wireless traffic scheduling

Definitions

  • the disclosure below relates to audio streaming, and more specifically, to an electronic device performing audio streaming and an operating method thereof.
  • a headset used by a user to listen to music or make a call is rapidly changing from a wired connection method to a wireless connection method such as Bluetooth.
  • TWS Truste-Wireless Stereo
  • market expectations for TWS audio quality are rising.
  • major music service providers at home and abroad are also strengthening High Fidelity (HiFi) audio services, such as high-quality lossless sound sources.
  • HiFi High Fidelity
  • An electronic device includes a memory in which computer-executable instructions are stored, and a processor that executes the computer-executable instructions, and the processor is a wireless communication channel through which an audio signal is transmitted.
  • the processor may include information about the remaining space of a transmission buffer of the electronic device that transmits the audio packets at regular intervals, a received signal strength indicator (RSSI) measured by the electronic device, and the electronic device.
  • RSSI received signal strength indicator
  • Execute instructions executable by the computer configured to analyze the transmission environment into levels of the transmission environment using at least one of the number of Bluetooth devices connected to and a use state value of Wi-Fi used by the electronic device can
  • the processor may execute the computer executable instructions configured to determine a bitrate of the audio signal based on levels of the transmission environment.
  • the processor is configured to separate the audio signal into a main audio signal and a residual audio signal, encode the main audio signal into the main packet, and encode the residual audio signal into the plurality of extension packets. Instructions executable by the configured computer may be executed.
  • the processor encodes the audio signal using lossy compression to generate an encoded audio signal, organizes the encoded signal into the main packet, and configures the audio signal and the encoded signal between the audio signal and the encoded signal.
  • the computer-executable instructions configured to losslessly code a residual signal and divide the losslessly-coded residual signal into the plurality of extension packets may be executed.
  • the processor divides the lossless coded residual signal into a plurality of regions from the most significant bit (MSB) to the least significant bit (LSB), and the importance of the plurality of regions It is possible to execute instructions executable by the computer configured to divide into the plurality of extended packets separately.
  • the processor sequentially starts the first extension packet having the highest importance from the region corresponding to the most significant bit to the region corresponding to the least significant bit in the bit plane where the lossless-encoded residual signal is encoded.
  • Execute instructions executable by the computer configured to divide into fourth extended packets having low importance.
  • the processor divides the frequency band of the residual signal into a plurality of bands, and divides the frequency band of the residual signal into the plurality of extension packets according to importance of data located in the plurality of bands. It is possible to execute instructions executable by the computer configured to divide.
  • the processor sequentially places the first extension with the highest importance from data located in a low-frequency band including the lowest frequency among the plurality of bands to data located in a high-frequency band including the highest frequency. packet to the fourth extended packet having the lowest priority.
  • the processor may execute instructions executable by the computer configured to determine a first packet type for stable transmission of the main packet based on the type of the packet, which is the main packet.
  • the processor determines the packet type of each extension packet of the plurality of extension packets based on at least one of a level of the transmission environment and an importance of the extension packet based on the type of the extension packet. may execute executable instructions with the computer configured to determine
  • the processor executes the computer-executable instructions configured to segment the packets and, for each packet of the packets, determine the packet type further based on the amount of data of the audio signal.
  • a method of operating an electronic device includes analyzing a transmission environment of a wireless communication channel through which an audio signal is transmitted, and determining a bit rate of the audio signal based on an analysis result of the transmission environment. operation, encoding the audio signal including a main packet for audio streaming and a plurality of extension packets for improving sound quality into packets according to the bit rate, the result of analyzing the transmission environment and the types of packets An operation of determining a packet type representing the number of time slots and a modulation scheme used to transmit each packet of the packets, based on at least one audio packet reflecting the packet type for each packet of the packets and an operation of transmitting the audio packets.
  • the operation of analyzing the transmission environment includes information about the remaining space of a transmission buffer of the electronic device that transmits the audio packets at regular intervals, and a received signal strength indicator (RSSI) measured by the electronic device. ), analyzing the transmission environment into levels of the transmission environment using at least one of the number of Bluetooth devices connected to the electronic device and a use state value of WiFi used by the electronic device,
  • the determining of the bit rate of the audio signal may include determining the bit rate of the audio signal based on levels of the transmission environment.
  • the encoding may include dividing the audio signal into a main audio signal and a residual audio signal, encoding the main audio packet into the main packet, and converting the residual audio signal into the plurality of extension packets.
  • An encoding operation may be included.
  • the encoding may include encoding the audio signal using lossy compression to generate an encoded audio signal, constructing the encoded audio signal into the main packet, and converting the audio signal into the main packet.
  • the operation of dividing the lossless coded residual signal into the plurality of extension packets divides the lossless coded residual signal from the most significant bit (MSB) to the least significant bit (LSB) up to a plurality of regions, dividing the lossless-encoded residual signal into a plurality of extension packets according to the importance of the plurality of regions, and dividing a frequency band of the residual signal into a plurality of bands; and dividing the frequency band of the residual signal into the extension packets according to importance of data located in a plurality of bands.
  • MSB most significant bit
  • LSB least significant bit
  • the determining of the packet type includes determining a first packet type for stable transmission of the main packet based on the type of the packet, which is the main packet, and the type of the packet, which is the extension packet. and determining a packet type of each extension packet among the plurality of extension packets based on at least one of the level of the transmission environment and the importance of the extension packet.
  • the determining of the packet type may include dividing the packets, and determining the packet type for each packet of the packets based on a data amount of the audio signal.
  • it may include a computer program stored in a computer-readable recording medium in order to execute the operating method in combination with hardware.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram of an audio module according to various implementations.
  • FIG. 3 is a diagram illustrating an example of an audio signal processing system according to various embodiments.
  • FIG. 4 is a diagram illustrating an outline of a packet transmission method in a large-capacity audio streaming environment according to an embodiment.
  • FIG. 5 is a block diagram of an electronic device according to an exemplary embodiment.
  • 6A and 6B are diagrams illustrating packet types and usage of time slots for each packet type according to an embodiment.
  • FIG. 7 is a block diagram of an electronic device according to another embodiment.
  • FIG. 8 is a diagram for explaining the configuration and operation of an audio encoder according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining a method of configuring a residual signal into extension packets according to an exemplary embodiment.
  • 10 is a diagram for explaining a method of configuring a residual signal into extension packets according to another embodiment.
  • FIG. 11 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating an operating method of an electronic device according to another embodiment.
  • FIG. 13 is a diagram for explaining a method of adjusting a packet type in audio streaming according to an embodiment.
  • FIG. 14 is a diagram for explaining a method of transmitting an audio packet in a wireless transmission environment according to an embodiment.
  • 15 is a flowchart illustrating a method of operating an electronic device according to another embodiment.
  • 16 is a diagram illustrating a packet payload size for each transmission bit rate of a UHQ audio signal according to an embodiment.
  • 17 is a flowchart illustrating an operating method of an electronic device according to another embodiment.
  • 18 is a diagram for explaining a method of transmitting an audio packet in a wireless transmission environment according to another embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100 according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, a sound output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into one component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (eg, sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit (eg, a graphic processing unit, a neural network processing unit) that may operate independently of or together with the main processor 121).
  • NPU neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • the main processor 121 and the auxiliary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: 0.5 milliseconds (ms) or less for each downlink (DL) and uplink (UL), or 1 ms or less for a round trip).
  • eMBB eg, 20 Gbps or more
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: 0.5 milliseconds (ms) or less for each downlink (DL) and uplink (UL), or 1 ms or less for a round trip.
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram 200 of an audio module 170 according to various implementations.
  • the audio module 170 of FIG. 2 may include or be similar in many respects to the audio module 170 described above with reference to FIG. 1 and may include additional features not noted above.
  • the audio module 170 includes, for example, an audio input interface 210, an audio input mixer 220, an analog to digital converter (ADC) 230, an audio signal processor 240, and a DAC. (digital to analog converter) 250, an audio output mixer 260, or an audio output interface 270 may be included.
  • ADC analog to digital converter
  • ADC analog to digital converter
  • DAC digital to analog converter
  • the audio input interface 210 is a part of the input module 150 or through a microphone configured separately from the electronic device 101 (eg, a dynamic microphone, a condenser microphone, or a piezo microphone), obtained from the outside of the electronic device 101.
  • An audio signal corresponding to sound may be received.
  • the audio input interface 210 directly connects the external electronic device 102 through a connection terminal 178. , or may be connected wirelessly (eg, Bluetooth communication) through the wireless communication module 192 to receive an audio signal.
  • the audio input interface 210 may receive a control signal related to an audio signal obtained from the external electronic device 102 (eg, a volume control signal received through an input button).
  • the audio input interface 210 includes a plurality of audio input channels, and can receive different audio signals for each corresponding audio input channel among the plurality of audio input channels.
  • the audio input interface 210 may receive an audio signal from other components (eg, the processor 120 or the memory 130) of the electronic device 101 .
  • the audio input mixer 220 may synthesize a plurality of input audio signals into at least one audio signal.
  • the audio input mixer 220 may synthesize a plurality of analog audio signals input through the audio input interface 210 into at least one analog audio signal.
  • the ADC 230 may convert an analog audio signal into a digital audio signal.
  • the ADC 230 converts an analog audio signal received through the audio input interface 210 or an analog audio signal synthesized through the audio input mixer 220 additionally or alternatively to a digital audio signal. can be converted into signals.
  • the audio signal processor 240 may perform various processes on the digital audio signal received through the ADC 230 or the digital audio signal received from other components of the electronic device 101 .
  • the audio signal processor 240 changes the sampling rate of one or more digital audio signals, applies one or more filters, performs interpolation processing, amplifies or attenuates all or some frequency bands, It can perform noise processing (eg, noise or echo reduction), channel change (eg, switching between mono and stereo), mixing, or specified signal extraction.
  • noise processing eg, noise or echo reduction
  • channel change eg, switching between mono and stereo
  • mixing or specified signal extraction.
  • one or more functions of the audio signal processor 240 may be implemented in the form of an equalizer.
  • the DAC 250 may convert a digital audio signal into an analog audio signal.
  • the DAC 250 is a digital audio signal processed by the audio signal processor 240 or other components of the electronic device 101 (eg, the processor 120 or the memory 130). )) to convert the digital audio signal obtained from the analog audio signal.
  • the audio output mixer 260 may synthesize a plurality of audio signals to be output into at least one audio signal. For example, according to one embodiment, the audio output mixer 260 converts an audio signal converted to analog through the DAC 250 and another analog audio signal (eg, an analog audio signal received through the audio input interface 210). ) into at least one analog audio signal.
  • the audio output mixer 260 converts an audio signal converted to analog through the DAC 250 and another analog audio signal (eg, an analog audio signal received through the audio input interface 210). ) into at least one analog audio signal.
  • the audio output interface 270 transmits the analog audio signal converted by the DAC 250 and/or the analog audio signal synthesized by the audio output mixer 260 additionally or alternatively to the electronic device through the audio output module 155. It can be output to the outside of (101).
  • the sound output module 155 may include, for example, a speaker or receiver such as a dynamic driver or a balanced armature driver.
  • the sound output module 155 may include a plurality of speakers.
  • the audio output interface 270 may output an audio signal having a plurality of different channels (eg, stereo or 5.1 channels) through at least some of the plurality of speakers.
  • the audio output interface 270 is directly connected to the external electronic device 102 (eg, an external speaker or headset) through a connection terminal 178 or wirelessly through a wireless communication module 192. and output an audio signal.
  • the audio module 170 does not separately include the audio input mixer 220 or the audio output mixer 260, and uses at least one function of the audio signal processor 240 to provide a plurality of digital audio signals. At least one digital audio signal may be generated by synthesizing them.
  • the audio module 170 is an audio amplifier (e.g., a speaker) capable of amplifying an analog audio signal input through the audio input interface 210 or an audio signal to be output through the audio output interface 270. amplification circuit).
  • the audio amplifier may be configured as a separate module from the audio module 170.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented by hardware, software, or firmware, and is mutually compatible with terms such as, for example, logic, logical blocks, parts, or circuits. can be used adversarially.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more stored in a storage medium eg, the internal memory 136 or the external memory 138 readable by a machine (eg, the electronic device 101). It may be implemented as software (eg, program 140) containing instructions.
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of objects, and some of the multiple objects may be disposed separately from other components.
  • one or more components or operations among the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order, or may be omitted, or one or more other actions may be added.
  • FIG. 3 is a diagram illustrating an example of an audio signal processing system 10 according to various embodiments.
  • an audio signal processing system 10 may include a first electronic device 101 and a second electronic device 102 .
  • the first electronic device 101 and the second electronic device 102 may include at least a part of the configuration of the electronic device 101 described above with reference to FIG. 1 .
  • the first electronic device 101 may be connected to the second electronic device 102 by wire or wirelessly and output an audio signal transmitted by the second electronic device 102 .
  • the first electronic device 101 may collect external sound signals using a plurality of microphones and transfer the collected audio signals to the second electronic device 102 .
  • the first electronic device 101 may be a wireless earphone capable of establishing a short-range communication channel (eg, a communication channel based on a Bluetooth module) with the second electronic device 102 .
  • the first electronic device 101 may be any one of true-wireless stereo (TWS), wireless headphones, and wireless headsets.
  • TWS true-wireless stereo
  • the first electronic device 101 is illustrated as a kernel-type wireless earphone, but is not limited thereto.
  • the first electronic device 101 may be a stem-type wireless earphone in which at least a part of the housing protrudes in a specific direction in order to collect a user voice signal.
  • the first electronic device 101 may be a wired earphone connected to the second electronic device 102 in a wired manner.
  • the earphone-type first electronic device 101 includes an insertion unit 301a that can be inserted into the user's ear, and a device connected to the insertion unit 301a and at least partially mounted on the user's auricle. It may include a housing 301 (or case) having a mounting portion 301b.
  • the first electronic device 101 may include a plurality of microphones (eg, the first microphone 150-1 and the second microphone 150-2).
  • the electronic device 101 may include an input interface 377 capable of receiving a user's input.
  • the input interface 377 may include, for example, a physical interface (eg, physical button, touch button) and a virtual interface (eg, gesture, object recognition, voice recognition).
  • the electronic device 101 may include a touch sensor capable of detecting contact with a user's skin.
  • an area where a touch sensor is disposed eg, the input interface 377) may be located in a part of the electronic device 101.
  • An input may be applied by a user touching this area using a body part.
  • Such touch input may include, for example, a single touch, multiple touches, a swipe, and/or a flick.
  • the microphones 150-1 and 150-2 may perform the functions of the input module 150 described above with reference to FIG. 1, and descriptions overlapping those described with reference to FIG. 1 will be omitted.
  • the first microphone 150-1 is disposed on the holder 301b to collect external ambient sound while the first electronic device 101 is worn on the user's ear. At least a portion of the sound hole may be exposed to the outside based on the inner side of the ear.
  • the second microphone 150-2 may be disposed in the insertion portion 301a.
  • the second microphone 150-2 is based on the opening toward the auricle of the outer ear canal so that the signal transmitted to the inside of the outer ear canal (or ear canal) can be collected while the first electronic device 101 is worn on the user's ear.
  • at least a portion of the tone hole may be exposed toward the inside of the outer ear passage, or may be arranged such that at least a portion of the tone hole is in contact with an inner wall of the outer ear passage.
  • the first electronic device 101 when a user wears the first electronic device 101 and utters a voice, at least a part of the tremors caused by the utterance is transmitted through body tissues such as the user's skin, muscles, or bones, and the transmitted tremors are It can be collected as ambient sound by the second microphone 150-2 inside the ear.
  • the second microphone 150 - 2 may be various types of microphones (eg, an in-ear microphone, an inner microphone, or a bone conduction microphone) capable of collecting sound from the inner cavity of the user's ear.
  • the second microphone 150 - 2 may include at least one air conduction microphone and/or at least one bone conduction microphone for detecting voice.
  • the air conduction microphone may detect voice transmitted through air (eg, user's speech) and output a voice signal corresponding to the detected voice.
  • the bone conduction microphone may measure vibration of a bone (eg, skull) caused by a user's voice and output a voice signal corresponding to the measured vibration.
  • a bone conduction microphone may be called a bone conduction sensor or other various names.
  • the voice detected by the air conduction microphone may be a voice mixed with external noise while the user's speech is transmitted through the air. Since the voice detected by the bone conduction microphone is the voice detected according to the vibration of the bone, it may be a voice with little external noise (eg, the effect of noise).
  • the electronic device 101 may further include an accelerator and/or a vibration sensor (eg, a voice pickup unit (VPU) sensor) for voice activity detection (VAD).
  • a vibration sensor eg, a voice pickup unit (VPU) sensor
  • VAD voice activity detection
  • the first electronic device 101 may include the audio module 170 described above with reference to FIGS. 1 and 2 . Descriptions overlapping those described with reference to FIGS. 1 and 2 will be omitted.
  • the first electronic device 101 performs noise processing (eg, noise suppressing process), frequency band adjustment, and Audio signal processing such as gain adjustment may be performed.
  • the configuration of the first electronic device 101 will be described with reference to FIG. 5 .
  • the first electronic device 101 may be referred to as the electronic device 101 in FIGS. 4 to 11 .
  • the electronic device 101 may include a sensor capable of detecting a state in which the electronic device 101 is worn on the user's ear.
  • the sensor may include a sensor capable of detecting a distance to an object (eg, an infrared sensor or a laser sensor) and a sensor capable of detecting contact with an object (eg, a touch sensor).
  • the sensor may detect a distance from or contact with the skin to generate a signal.
  • the processor 120 of the electronic device 101 may recognize whether the electronic device 101 is currently worn by detecting a signal generated by a sensor.
  • the second electronic device 102 forms a communication channel with the first electronic device 101, transmits a designated audio signal to the first electronic device 101, and/or the first electronic device 101.
  • An audio signal can be received from (101).
  • the second electronic device 102 may form a communication channel (eg, a wired or wireless communication channel) with the first electronic device 101, such as a portable terminal, a terminal device, a smart phone, or a tablet PC (personal computer). ), pads, and various electronic devices such as wearable electronic devices, but are not necessarily limited thereto.
  • the second electronic device 102 may include components identical to or corresponding to those of the electronic device 101 described above with reference to FIG. 1 , and include fewer or more components than the electronic device 101 of FIG. 1 depending on implementation. can do.
  • the first electronic device 101 may perform beamforming to obtain an enhanced user voice signal.
  • the first electronic device 101 may perform beamforming on external sound signals received through the plurality of microphones 150-1 and 150-2.
  • FIG. 4 is a diagram showing an overview of a packet transmission method in an audio streaming environment according to an embodiment.
  • 'Good condition' for example, when the performance metric of the transmission environment exceeds a predetermined threshold value
  • a diagram 400 is shown showing packet types transmitted in this bad condition ('bad condition', eg, when the performance metric of the transmission environment is inferior to a predetermined threshold).
  • Operations of an electronic device eg, the electronic device 101 of FIGS. 1 and 3
  • Operations of an electronic device eg, the electronic device 101 of FIGS. 1 and 3
  • Operations of an electronic device eg, the electronic device 101 of FIGS. 1 and 3
  • a communication module eg, the communication module 190 of FIG.
  • the Bluetooth network may include, for example, a Bluetooth legacy network and/or a Bluetooth low energy (BLE) network.
  • the electronic device 101 and an external electronic device eg, the electronic device 102 of FIGS. 1 and 3 ) perform wireless communication through one of a Bluetooth legacy network and a BLE network, or both Wireless communication may be performed through two networks.
  • the bit rate is set according to the analysis result of the transmission environment (eg, congestion or electric field condition) and transmitted together with the analysis result of the transmission environment.
  • the analysis result of the transmission environment eg, congestion or electric field condition
  • various packet types eg, 1st packet type to 4th packet type
  • audio is cut off in the weak electric field situation. It can improve the phenomenon and improve the audio quality.
  • an electronic device 500 (eg, the electronic device 101 of FIGS. 1 and 3 ) according to an embodiment includes a memory 510 (eg, the memory 130 of FIG. 1 ), a processor ( 530) (eg, the processor 120 of FIG. 1) and a communication interface 550 (eg, the communication module 190 of FIG. 1).
  • Memory 510 , processor 530 and communication interface 550 may communicate with each other via communication bus 505 .
  • the memory 510 may store computer-executable instructions.
  • the memory 510 may store signals or data received through the communication interface 550 and/or audio packets formed by the processor 530 .
  • the memory 510 may store various types of information generated during processing of the processor 530 to be described later. In addition, the memory 510 may store various data and/or programs.
  • the memory 510 may include volatile memory (eg, volatile memory 132 of FIG. 1 ) or non-volatile memory (eg, non-volatile memory 134 of FIG. 1 ).
  • the memory 510 may include a mass storage medium such as a hard disk to store various types of data.
  • the processor 530 may access the memory 510 to execute instructions.
  • the processor 530 may determine a bit rate of the audio signal based on a result of analyzing the transmission environment of the wireless communication channel through which the audio signal is transmitted.
  • the processor 530 may include, for example, information about the remaining space of the transmission buffer of the electronic device 500 that transmits audio packets at regular intervals, a received signal strength indicator (RSSI) measured by the electronic device 500,
  • RSSI received signal strength indicator
  • the transmission environment may be analyzed in levels of the transmission environment using at least one of the number of Bluetooth devices connected to the electronic device 500 and a value of a use state of WiFi used by the electronic device 500 . Since both the Bluetooth signal and the WiFi signal are transmitted using the 1.4 GHz band, interference may occur when the electronic device 500 uses the two signals together.
  • the 'WiFi usage state value' may correspond to a value indicating whether the electronic device 500 uses WiFi. For example, in an on state in which the electronic device 500 uses WiFi, the usage state value may be set to '1', and the electronic device 500 does not use WiFi. In an off state, the use state value may be set to '0'. In other embodiments, the use state values associated with the on state and the off state may be different without departing from the scope of the present disclosure.
  • the processor 530 determines, for example, when the wireless transmission environment indicated by the level of the transmission environment is good (eg, when the performance metric of the transmission environment exceeds a predetermined threshold value) is high. A bit rate value is set, and when the wireless transmission environment indicated by the level of the transmission environment is not good (eg, when the performance metric of the transmission environment is inferior to a predetermined threshold value), a low bit rate value is set to reduce the audio signal's performance. Bitrate can be set.
  • the processor 530 converts the audio signal into a main packet for audio streaming (eg, the main packet 850 of FIG. 8) and a plurality of extension packets (eg, the extension packets of FIG. 8) for improving sound quality according to the bit rate. 860)) can be coded into packets.
  • a main packet for audio streaming eg, the main packet 850 of FIG. 8
  • a plurality of extension packets eg, the extension packets of FIG. 860
  • the processor 530 separates the audio signal into a main audio signal and a residual audio signal and encodes the audio signal into a main packet and a plurality of extension packets.
  • the processor 530 may encode the audio signal by lossy compression and configure the encoded signal into a main packet. Alternatively or additionally, the processor 530 may losslessly encode a residual signal corresponding to a difference between an audio signal and a signal encoded by lossy compression, and divide the losslessly encoded signal into a plurality of extension packets.
  • the processor 530 is configured to determine a packet type indicating the number of time slots and a modulation method used for transmission of the corresponding packet for each packet based on at least one of the result of analyzing the transmission environment and the type of packets. It can be.
  • the processor 530 may be configured to determine a first packet type for stable transmission of the main packet regardless of an analysis result of the transmission environment, for example, when the type of the corresponding packet is the main packet.
  • the first packet type may be, for example, a 2-DH1 packet or a 2-DH5 packet, but is not necessarily limited thereto.
  • the processor 530 selects the packet type of the extended packet from the first to fourth packet types based on at least one of the level of the transmission environment and the importance of the extended packet. It can be configured to determine one of the packet types.
  • the first packet type may be a 2-DH1 packet
  • the second packet type may be a 2-DH3 packet
  • the third packet type may be a 2-DH5 packet
  • the fourth packet type may be a 3-DH5 packet; It is not necessarily limited to this. Packet types according to an embodiment will be described in more detail with reference to FIG. 6 below.
  • the processor 530 further considers the amount of data of the audio signal based on the result of analyzing the transmission environment It is possible to segment the packet and determine the packet type. A method in which the processor 530 determines the packet type by further considering the amount of data of the audio signal will be described in more detail with reference to FIG. 18 below.
  • the processor 530 may be configured to configure and transmit audio packets reflecting the packet type for each packet.
  • the processor 530 may execute a program and control the electronic device 500 .
  • Program codes executed by the processor 530 may be stored in the memory 510 .
  • the processor 530 may perform at least one method or a technique corresponding to at least one method described later with reference to FIGS. 5 to 18 below.
  • the electronic device 500 may be a hardware implemented electronic device 500 having a circuit having a physical structure for the processor 530 to execute desired operations.
  • desired operations may include codes or instructions included in a program.
  • the electronic device 500 implemented as hardware includes a microprocessor, a central processing unit (CPU), a graphic processing unit (GPU), a processor core, and a multiprocessor. - May include a multi-core processor, a multiprocessor, an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA), and/or a neural processing unit (NPU).
  • CPU central processing unit
  • GPU graphic processing unit
  • NPU neural processing unit
  • FIG. 6A and 6B are diagrams illustrating packet types and time slot usage for each packet type according to an exemplary embodiment.
  • a table 600 showing packet types of packets used in an advanced audio distribution profile (A2DP) according to an embodiment is shown.
  • the packet may be, for example, an asynchronous connection-less (ACL) packet, but is not necessarily limited thereto.
  • ACL asynchronous connection-less
  • the Bluetooth standard defines various profiles to suit various uses, and a profile such as an advanced audio distribution profile (A2DP) may be used for transmission of an audio signal.
  • A2DP an electronic device
  • an electronic device eg, the electronic device 101 of FIG. 1 and/or the electronic device 500 of FIG. 5
  • Audio signals can be transmitted.
  • the electronic device 500 may select an appropriate packet type of the ACL packet to be used according to the size of data to be transmitted and/or the bit rate of the audio signal.
  • ACL packets can be largely divided into 2M packets and 3M packets according to packet modulation schemes. Since 2M packets transmit less data than 3M packets, they can be robust against sound interruption in a congested environment.
  • a 3M packet transmits a larger amount of data than a 2M packet, it may be advantageous to transmit a large amount of data.
  • packet types may be divided according to the number of time slots used for packet transmission as shown in FIG. 6B below.
  • Packet types according to an embodiment may vary according to a modulation scheme used for packet transmission and the number of time slots.
  • Packet types include, for example, 2-DH1 packet type, 2-DH3 packet type, 2-DH5 packet type, 3-DH1 packet type, D-DH3 packet type, and D-DH5 packet type as disclosed in table 600. It may include a type, but is not necessarily limited thereto. 2 or 3 at the beginning of the packet types indicates 2M packets or 3M packets corresponding to the modulation method of the packet, and numbers (e.g., 1, 3, 5) after DH indicate the time slot(s) used by the packet. can indicate the number of For example, a 2-DH3 packet type may indicate a 2M packet using 3 time slots, and a 3-DH5 packet type may indicate a 3M packet using 5 time slots.
  • One time slot may have, for example, 625u seconds (sec).
  • sec 625u seconds
  • an electronic device 700 (eg, the electronic device 101 of FIGS. 1 and 3 and/or the electronic device 500 of FIG. 5 ) according to an embodiment includes an electric field situation analysis module 710 ), a bit rate control module 720, a packet type control module 730, an audio encoder 740, a packet construction module 750, and a transmission module 760.
  • the electric field condition analysis module 710 includes information about the remaining space of the transmission buffer of the electronic device 700 that transmits audio packets at regular intervals, a received signal strength indication measured by the electronic device 700 ; RSSI), the number of Bluetooth devices connected to the electronic device 700, and a use state value of WiFi used by the electronic device 700.
  • the electric field situation analysis module 710 may analyze the transmission environment using at least one or a combination of the collected information, and display the analysis result as levels of the transmission environment.
  • the electric field situation analysis module 710 may analyze the transmission environment including the electric field strength of the wireless communication channel.
  • the 'electromagnetic field strength' represents the strength of a radio wave when it is propagated as energy per unit area, and can be used as an example of an indicator (eg, performance metric) indicating good or bad transmission environment.
  • the transmission environment is "good” (e.g. field strength exceeds a pre-determined threshold) or "bad” (e.g. field strength is inferior to a pre-determined threshold) by comparing the field strength to a pre-determined threshold. can judge
  • the term 'electric field condition' used below may be understood as the same meaning as 'transmission environment'.
  • the electric field situation analysis module 710 may continuously collect the state of the transmission buffer of the electronic device 700 .
  • the 'state of the transmission buffer' may mean the current remaining space of the transmission buffer.
  • the electric field condition analysis module 710 may determine a packet transmission condition between the electronic device 700 transmitting data and the device receiving the data by using the state of the transmission buffer. For example, when the transmission environment is good, the level of the buffer representing the remaining space of the transmission buffer maintains a constant state, but when the transmission environment is not good, the transmission buffer level may increase as data accumulates in the transmission buffer. For example, when the level of the transmission buffer is lower than a certain standard, the amount of buffered data is relatively small due to smooth transmission (e.g., the transmission environment is good), that is, the transmission environment is good.
  • the level of the transmission buffer is higher than a certain criterion, the amount of buffered data is relatively large due to non-smooth transmission (eg, an unstable transmission environment). , in other words, the transmission environment may correspond to a bad state.
  • the electric field situation analysis module 710 determines the level of the transmission environment according to the extent to which the current remaining space of the transmission buffer is more than a predetermined standard or the degree to which the current remaining buffer space is less than a predetermined standard, for example, 1 level (eg, very Good) to 5 levels (e.g. very bad).
  • a transmission environment may be classified into a different number of levels (eg, more levels, fewer levels), and/or the levels may increase and/or increase without departing from the scope of the present disclosure. or in decreasing order.
  • the electric field situation analysis module 710 may additionally utilize a received signal strength indicator (RSSI) to measure the transmission environment.
  • the received signal strength index (RSSI) means an indicator indicating the strength of the received signal measured by each device. As this is worse, it may have a lower intensity index value.
  • the electric field situation analysis module 710 indicates that the transmission environment is in a good state when the RSSI of the received signal measured by the electronic device 700 is higher than (eg, exceeds) a predetermined criterion, and the strength of the received signal is If it is lower than or equal to (e.g., inferior) a certain criterion, it can be analyzed that the transmission environment represents a bad state.
  • the bit rate control module 720 may change the bit rate to be suitable for the current transmission situation according to the level of the transmission environment corresponding to the result of analyzing the transmission environment in the electric field condition analysis module 710 .
  • the bitrate adjustment module 720 may set (or adjust) a higher bitrate value as the transmission environment is better (eg, the level of the transmission environment is closer to level 1).
  • the bitrate adjustment module 720 may set (or adjust) a lower bitrate value as the transmission environment is poor (eg, the transmission environment level is closer to level 5).
  • the bitrate control module 720 may deliver the bitrate set according to the level of the transmission environment to the audio encoder 740 .
  • the packet type control module 730 determines the analysis result of the transmission environment analyzed by the electric field condition analysis module 710 and the type of packets (eg, main packet (eg, main packet 850 of FIG. 8) or extended packet (eg, An appropriate packet type to be used for transmission can be determined according to the extension packets 860 of FIG. 8).
  • the type of packets eg, main packet (eg, main packet 850 of FIG. 8) or extended packet (eg, An appropriate packet type to be used for transmission can be determined according to the extension packets 860 of FIG. 8).
  • the packet type control module 730 may determine the packet type according to, for example, the level of the transmission environment. For example, the packet type control module 730 may select 3M packets as the level of the transmission environment approaches 1, and/or use 2M packets as the level of the transmission environment approaches 5. Alternatively or additionally, the packet type control module 730 selects a packet type using 5 time slots even within the same 2M packet or 3M packet when the transmission environment is better, and when the transmission environment is poor, 3 time slots are selected. and/or a packet type using one time slot(s).
  • the packet type adjusting module 730 may determine a packet type according to the packet type, for example.
  • the main packet 850 may correspond to a packet having the highest priority that must be transmitted for seamless audio streaming.
  • the extension packet 860 is a packet including residual audio data and may correspond to a packet additionally transmitted to improve audio quality.
  • the packet type control module 730 may select a packet type so as to be stably transmitted regardless of a wireless transmission environment.
  • Packet type control module 730 for example, when the type of the packet is the main packet 850, regardless of the analysis result of the transmission environment, that is, for stable transmission of the main packet 850, that is, the smallest 2M packet
  • a first packet type (eg, 2-DH1 packet type) using the number of time slots may be selected.
  • the packet type adjusting module 730 determines the packet type of the extension packet 860 based on at least one of the level of the transmission environment and the importance of the extension packet 860. You can choose.
  • the packet type control module 730 selects a fourth packet type (eg, 3-DH5) to which all extension packets 860 can be transmitted, in order to improve sound quality when the wireless transmission environment is good (eg, strong electric field).
  • a third packet type eg, 2-DH5
  • the packet type control module 730 controls the extension packet 860 according to the importance of each extension packet 860 so that the extension packet 860 can be stably transmitted.
  • 1 packet type eg 2-DH1
  • 2 packet type eg 2-DH3
  • the audio encoder 740 may encode the input audio signal 705 using the bit rate determined by the bit rate control module 720 .
  • the audio encoder 740 may separate the audio signal into a main audio signal and a residual audio signal.
  • the audio encoder 740 may encode the main audio signal into a main packet 850 and encode the residual audio signal into a plurality of extension packets 860 .
  • the audio signal encoded by the audio encoder 740 may be transmitted to the packet construction module 750 for packet conversion. The configuration and operation of the audio encoder 740 will be described in more detail with reference to FIG. 8 below.
  • the packet construction module 750 determines the packet types of the main packet 850 and the plurality of extension packets 860 according to the packet type determined by the packet type control module 730, and determines the determined packet type and/or packet size. Audio data encoded by the audio encoder 740 may be packetized into each audio packet according to the above.
  • the transmission module 760 may transmit the audio packet configured in the packet construction module 750 to the receiving device.
  • the electronic device 700 prevents audio interruption by variably adjusting the size of audio data and/or the packet type of a transport packet used when transmitting large amounts of data for a high-quality audio service in a wireless transmission environment. , can maintain high-resolution audio quality.
  • an audio encoder 740 includes a Bluetooth audio encoder (BT encoder) 810, an integer modified descrete consie transform (InMDCT) module 820, and an inverse quantization module 830. ), and a lossless coding module 840.
  • BT encoder Bluetooth audio encoder
  • InMDCT integer modified descrete consie transform
  • inverse quantization module 830.
  • lossless coding module 840.
  • the audio signal 705 input to the audio encoder 740 may be encoded through the Bluetooth audio encoder 810 used in audio streaming.
  • the Bluetooth audio encoder 810 performs the operation of a general audio codec, and a signal encoded through the Bluetooth audio encoder 810 may be configured as a main packet 850.
  • the InMDCT module 820 may convert the audio signal 705 into a frequency domain signal.
  • MDCT is a method of changing a time domain signal into a frequency domain signal, and may be generally expressed as 'time to frequency domain transform'.
  • the audio encoder 740 may obtain a residual signal 835 corresponding to a difference between the audio signal 705 and the signal encoded by the inverse quantization module 830 in the frequency domain.
  • the lossless coding module 840 may losslessly encode the residual signal 835 and divide the lossless-encoded residual signal into a plurality of extension packets 860. A method of dividing and encoding the residual signal 835 into extension packets 860 by the audio encoder 740 will be described in more detail with reference to FIGS. 9 to 10 below.
  • the Bluetooth audio encoder 810 performs lossy compression, when a signal encoded by the Bluetooth audio encoder 810 is compared with the original audio signal 705, signal loss may occur. Therefore, in an embodiment, the residual signal 835 corresponding to the difference between the original audio signal 705 and the audio signal encoded through lossy compression by the inverse quantization module 830 is converted by the lossless coding module 840. It may be divided into a plurality of extension packets 863 by lossless coding and transmitted.
  • the extension packets 863 are not necessarily packets for streaming, but the sound quality may be similar to that of the original audio signal 705 as many extension packets 863 are successfully received.
  • the audio decoder of the receiving device decodes the main packet 850 first, and even if only the audio signal obtained by decoding the main packet 850 is output, sound quality equivalent to that of Bluetooth audio streaming can be secured.
  • the receiving device can receive a lossless audio service similar to the original audio signal 705 by decoding extension packets 860 additionally transmitted in addition to the main packet 850 and combining them with the audio signal of the main packet 850. . In this way, as the extension packets 860 are added to the main packet 850 one by one, an audio signal close to the original audio signal 705 can be output.
  • the electronic device may transmit UHQ audio packets as 3M packets instead of 2M packets.
  • the electronic device may divide the 3M packet into two small 2M packets according to the transmission environment and transmit the 2M packets.
  • FIG. 9 is a diagram for explaining a method of configuring a residual signal into extension packets according to an exemplary embodiment.
  • an electronic device eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 .
  • a process of dividing and encoding a residual signal eg, the residual signal 835 of FIG. 8
  • extension packets 910 , 920 , 930 , and 940 is illustrated.
  • the electronic device 700 (eg, the audio encoder 740 of FIG. 7 ) divides the lossless coded residual signal into a plurality of regions from the most significant bit (MSB) to the least significant bit (LSB) and divided into extension packets according to importance of a plurality of regions.
  • the electronic device 700 sequentially has the highest importance from the region corresponding to the most significant bit (MSB) to the region corresponding to the least significant bit (LSB) of the first extension packet. From 910, it can be divided into a fourth extension packet 940 having the lowest importance.
  • the data of the residual signal 835 located in the most significant bit corresponds to the most important data among the four areas to improve sound quality, and the least significant bit (LSB) ) may correspond to data of the lowest importance.
  • the most significant bit is the most significant bit of any data type and is located at the leftmost position, so it may be called "left-most bit (LMB)".
  • the electronic device 700 divides the region corresponding to the most significant bit (MSB) into the first extension packet 910 having the highest importance by, for example, a bit-plane slicing method, and the first extension packet 910 An area below the area corresponding to the packet 910 may be divided into a second extension packet 920 having a second highest importance. The electronic device 700 may divide an area below the area corresponding to the second extension packet 920 into a third extension packet 930 having a third highest importance. Alternatively or additionally, the electronic device 700 may divide the region corresponding to the least significant bit (LSB) into the fourth extension packet 940 having the lowest importance.
  • the 'area corresponding to the most significant bit (MSB)' may be understood as an area including the most significant bit.
  • the 'region corresponding to the least significant bit (LSB)' may be understood as a region including the least significant bit.
  • extension packets are divided into 4 levels, but it is not necessarily limited thereto, and the importance of extension packets is 3 levels, 5 levels or higher levels without departing from the scope of the present invention. can be distinguished by
  • the electronic device 700 may transmit data corresponding to each region of the bit plane 900 in which the residual signal 835 is encoded using extension packets 910 , 920 , 930 , and 940 corresponding to the corresponding region.
  • FIG. 10 is a diagram for explaining a method of configuring a residual signal into extension packets according to another embodiment.
  • an electronic device according to an embodiment eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7
  • a process of dividing and encoding a residual signal eg, the residual signal 835 of FIG. 8
  • extension packets 1010 , 1020 , 1030 , and 1040 is shown.
  • the electronic device 700 (eg, the audio encoder 740 of FIG. 7 ) divides the frequency band of the lossless-encoded residual signal 835 into a plurality of bands, and expands the frequency bands according to the importance of data located in the plurality of bands. It can be split into packets.
  • the electronic device 700 divides the lossless-encoded residual signal 835 into, for example, four regions according to frequency bands, and divides signals in regions corresponding to each frequency band into extension packets 1010, 1020, and 1030. , 1040) can be transmitted using each.
  • the data of the residual signal 835 located in the low frequency band corresponds to the most important data
  • the data of the residual signal 835 located in the high frequency band is the least important. It may correspond to one data.
  • the electronic device 700 sequentially assigns the highest importance from data located in the low frequency band including the lowest frequency to data located in the high frequency band including the highest frequency. It can be divided from the first extension packet 1010 to the fourth extension packet 1040 having the lowest importance.
  • data of the residual signal 835 located in a low-frequency band is the most important data, and the importance of data may decrease as it is located in a high-frequency band.
  • the electronic device 700 divides the residual signal 835 of the region corresponding to the low frequency band into the first extension packet 1010 having the highest importance, and the second extension packet having the second highest importance ( 1020), and the third extension packet 1030, which has the third highest importance.
  • the electronic device 700 may divide data located in the rightmost high frequency band of the frequency band 1000 into the fourth extension packet 1040 having the lowest importance.
  • extension packets 1010, 1020, 1030, and 1040 are divided into four levels, but it is not necessarily limited thereto, and if it does not deviate from the scope of the present invention, It can be divided into three stages, five stages or more stages.
  • the electronic device 700 may transmit data corresponding to each frequency band in the frequency band 1000 of the residual signal 835 using extension packets 1010, 1020, 1030, and 1040 corresponding to the corresponding frequency band. .
  • FIG. 11 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • each operation may be performed sequentially, but not necessarily sequentially. For example, the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 ) according to an embodiment performs operations 1110 through Through operation 1160, audio packets may be transmitted.
  • the electronic device 500 may analyze a transmission environment of a wireless communication channel through which an audio signal is transmitted.
  • the electronic device 500 may include, for example, information about the remaining space of the transmission buffer of the electronic device 500 that transmits audio packets at regular intervals, RSSI of the received signal measured by the electronic device 500 , the number of Bluetooth devices connected to the electronic device 500, and a use state value of WiFi used by the electronic device 500, the transmission environment may be analyzed into levels of the transmission environment.
  • the electronic device 500 may determine the bit rate of the audio signal based on the analysis result of the transmission environment in operation 1110.
  • the electronic device 500 may determine the bit rate of the audio signal based on the levels of the transmission environment analyzed in operation 1110.
  • the electronic device 500 may encode the audio signal into packets including a main packet for audio streaming and a plurality of extension packets for improving sound quality according to the bit rate determined in operation 1120.
  • the electronic device 500 may separate the audio signal into a main audio signal and a residual audio signal and encode them into a main packet and a plurality of extension packets.
  • the electronic device 500 may configure the main packet by encoding the audio signal by lossy compression.
  • the electronic device 500 may losslessly encode a residual signal between an audio signal and a signal encoded by lossy compression, and divide the losslessly encoded residual signal into a plurality of extension packets.
  • Examples of how the electronic device 500 encodes extension packets may be as follows. For example, the electronic device 500 divides the encoded residual signal into a plurality of areas from the most significant bit (MSB) to the least significant bit (LSB), and divides the encoded residual signal into extended packets according to the importance of the plurality of areas. can be divided According to another embodiment, the electronic device 500 may divide the frequency band of the residual signal into a plurality of bands and divide the frequency band of the residual signal into extension packets according to importance of data located in the plurality of bands. there is.
  • MSB most significant bit
  • LSB least significant bit
  • the electronic device 500 determines the number of modulation schemes and time slots used for transmission of corresponding packets for each packet, based on at least one of the result of analyzing the transmission environment and the types of packets in operation 1110.
  • a packet type representing may be determined. For example, when the type of the corresponding packet is the main packet, the electronic device 500 may determine the first packet type for stable transmission of the main packet regardless of the analysis result of the transmission environment. Alternatively or additionally, when the type of the corresponding packet is an extended packet, the electronic device 500 determines the packet type of the extended packet based on at least one of the level of the transmission environment and the importance of the extended packet, for example, the first It may be determined as one of a packet type to a fourth packet type.
  • the electronic device 500 may configure audio packets reflecting the packet type determined in operation 1140 for each packet.
  • the electronic device 500 may transmit the audio packets configured in operation 1150.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 .
  • audio signal encoding and packet transmission may be performed through operations 1210 to 1270.
  • the electronic device 500 may buffer the input audio signal in an input buffer.
  • the electronic device 500 may analyze an electric field of a transmission environment through which an input audio signal is transmitted.
  • the electronic device 500 may determine a bit rate based on the electric field analysis result of the wireless communication environment in operation 1250. For example, the electronic device 500 sets a high bitrate when the transmission environment according to the electric field analysis is better than a preset criterion (eg, exceeds), and sets a high bit rate when the transmission environment is worse than a preset criterion (eg, inferior). , a low bit rate can be set.
  • a preset criterion eg, exceeds
  • a high bit rate eg, inferior
  • the electronic device 500 may encode the audio signal stored in the input buffer in operation 1210 using the bit rate set in operation 1260. For example, when large-capacity audio signal transmission is required, such as lossless audio, the electronic device 500 may encode the audio signal by dividing it into a main audio signal and a residual audio signal.
  • the electronic device 500 may determine a packet type in consideration of the electric field analysis result of the wireless transmission environment in operation 1250 and the packet type. For example, if the wireless transmission environment is good, the electronic device 500 has a large amount of transmittable data, such as 3-DH5 corresponding to the lower right direction in the table 600 of FIG. 6A, and a large number of time slots. You can determine the packet type to use. Alternatively or additionally, if the transmission environment is not good, the electronic device 500 has a small amount of transmittable data and a small number of time slots, such as 2-DH1 corresponding to the upper left direction in the table 600 of FIG. 6A. , but it is possible to determine a stable packet type.
  • the electronic device 500 may packetize the data encoded in operation 1220 according to the packet type determined in operation 1270.
  • the electronic device 500 may transmit the packetized audio packet in operation 1230.
  • FIG. 13 is a diagram for explaining a method of adjusting a packet type in audio streaming according to an embodiment.
  • an electronic device according to an embodiment eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7
  • a diagram 1300 is shown to explain a method of adjusting packet types in scalable lossless audio streaming for hi-fi audio.
  • the main packet 1310 shown in FIG. 13 may be encoded by, for example, a core codec such as Samsung scalable codec (SSC).
  • the main packet 1310 (eg, the main packet 850 of FIG. 8 ) may be transmitted at a bit rate of, for example, 88 to 192 kbps or 88 to 229 kbps according to a transmission environment.
  • the main packet and extension packet(s) e.g. extension packets 860 of FIG. 8) are combined
  • the main packet is an important packet that must be transmitted and is encoded whenever audio data is encoded. It must be transmitted, and the extension packet(s) can be transmitted sequentially when the transmission environment is good.
  • the extension packet(s) may correspond to data obtained by encoding a residual signal corresponding to a difference between the original audio data and the main packet 1310 (eg, the residual signal 835 of FIG. 8 ).
  • the corresponding residual signal 835 is divided into several extension packets and transmitted, and when all of the extension packets are successfully transmitted and all residual signals 835 are successfully transmitted, the receiving device can perform lossless encoding.
  • the electronic device 500 converts the main packet 1310 into the most stable packet such as 2-DH3 at a low bit rate of 88 kbps when the channel condition (eg, transmission environment) is bad. If the channel condition improves after transmission by type, it can be transmitted by a packet type in which the number of time slots is increased, such as 2-DH5, at a gradually higher bit rate such as 192 kbps or 229 kbps. Alternatively or additionally, as the channel condition gradually improves, the electronic device 500 transmits a plurality of packets 1330 composed of a core packet and extension packet(s) at a bit rate of 512 kbps to a plurality of second packets.
  • the channel condition eg, transmission environment
  • the electronic device 500 transmits a plurality of packets 1330 composed of a core packet and extension packet(s) at a bit rate of 512 kbps to a plurality of second packets.
  • the packet 1330 is transmitted by a packet type having more transmission capacity, such as 2-DH5, or used to transmit extended packets in the packet 1330
  • a packet type having more transmission capacity such as 2-DH5
  • a 3-DH5 packet type having a larger number of time slots may be selected and transmitted.
  • an electronic device eg, the electronic device 101 of FIG. 1 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7
  • an electronic device is in a wireless transmission environment.
  • Packet types used for transmission of the main packet 1410 eg, the main packet 850 of FIG. 8
  • the extension packet 1430 eg, the extension packets 860 of FIG. 8 in the good and bad cases
  • An illustrated diagram 1400 is shown.
  • the electronic device 500 can transmit the main packet 1410 as a 2M packet having high robustness against audio interruption.
  • the electronic device 500 may transmit the main packet 1410 as, for example, a 2-DH5 packet type, regardless of the analysis result of the wireless transmission environment.
  • the electronic device 500 may transmit the extension packet 1430 using a 3M packet having a large amount of transmission data. If the transmission environment worsens, packet transmission may fail. Therefore, when the transmission environment becomes below a certain level, the electronic device 500 converts the 3M packet that used to transmit the extension packet 1430 into a 2M packet and transmits it. can be performed. When a 2M packet is used, the amount of data that can be transmitted by the electronic device 500 is reduced, but the possibility of successful transmission is increased, so that the packet can be stably transmitted.
  • the electronic device 500 may convert the packet type from a 2-DH5 packet using 5 type slots to a 2-DH3 packet using 3 time slots even within a 2M packet.
  • the electronic device 500 may transmit only the main packet 1410 and maintain sound interruption robustness by controlling a bit rate for transmitting the main packet 1410 .
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 .
  • a packet type of a scalable lossless audio packet may be selected and transmitted.
  • the electronic device 500 determines whether the type of packet to be transmitted is a main packet (eg, the main packet 850 of FIG. 8 and/or the main packet 1410 of FIG. 14 ) or an extended packet (eg, the main packet 850 of FIG. 8 ). extension packets 860 of FIG. 8 and/or extension packet 1430 of FIG. 14 .
  • the electronic device 500 may determine the packet type to transmit the main packet 1410 as the first packet type in operation 1520.
  • the first packet type may be, for example, 2-DH1 or 2-DH3.
  • the electronic device 500 classifies the importance of the corresponding extended packet 1430 in operation 1530 and analyzes the transmission environment in operation 1540.
  • operations 1530 and 1540 may be performed simultaneously or may be performed with a predetermined time difference, and operation 1540 may be performed first and then operation 1530 may be performed.
  • the electronic device 500 When the importance of the extension packet 1430 is classified in operation 1530 and the analysis of the transmission environment is completed in operation 1540, the electronic device 500 operates based on the analysis result of the importance of the extension packet 1430 and the transmission environment in operation 1550.
  • the packet type of the extension packet 1430 may be determined as any one of the first to fourth packet types.
  • the electronic device 500 may configure an audio packet according to the first packet type determined in operation 1520 or the packet type determined in operation 1550.
  • the electronic device 500 may transmit the audio packet configured in operation 1560.
  • 16 is a diagram illustrating a packet payload size for each transmission bit rate of a UHQ audio signal according to an embodiment.
  • An electronic device (eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 ) transmits UHQ audio streaming.
  • the packet type may be adjusted to maintain sound interruption robustness.
  • UHQ audio may generally correspond to 96kHz/24bit audio packets, and may have more than twice the amount of data as compared to 44.1kHz/16bit, which is a commonly used audio format.
  • the table 1600 may indicate a packet payload size for each bit rate and a packet type required for transmission when streaming UHQ audio.
  • the electronic device 500 transmits the encoded audio signal every 18 msec at a bit rate of, for example, 328 kbps, and at this time, a 3-DH5 packet having a packet type of 3M packet may be used. At this time, if the transmission environment gets worse and worse, the electronic device 500 may transmit a 2-DH5 packet whose packet type is a 2M packet every 9 msec at a bit rate of 328 kbps for more stable transmission. Then, when the transmission environment deteriorates, the electronic device 500 may change the bit rate to 256 kbps to reduce the amount of data to be transmitted, thereby enabling more stable transmission.
  • the electronic device 500 transmits data by 2-DH5 packet type every 18 msec at a bit rate of 256 kbps, and when the transmission environment deteriorates, the electronic device 500 changes the packet type and transmits audio packets of the 2-DH3 packet type every 9 msec. can transmit Since the 2-DH3 packet type uses fewer time slots than the 2-DH5 packet type, the electronic device 500 can transmit audio packets more stably.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7 .
  • the packet type of the 96kHz/24bit UHQ audio packet may be adjusted according to the transmission environment in which 96kHz/24bit UHQ audio streaming is performed.
  • the electronic device 500 may determine whether the level of the transmission environment according to the analysis result of the transmission environment is greater than a first threshold value Th1.
  • the electronic device 500 may determine the bit rate of the UHQ audio signal as the first bit rate.
  • the electronic device 500 may determine whether the level of the transmission environment is greater than the second threshold Th2.
  • the electronic device 500 may set the first packet type as the packet type to transmit the UHQ audio packet.
  • the electronic device 500 may set the second packet type to the packet type to transmit the UHQ audio packet.
  • the electronic device 500 determines the bit rate of the UHQ audio signal as the second bit rate.
  • the electronic device 500 may determine whether the level of the transmission environment is higher than the third threshold Th3.
  • the electronic device 500 may set the third packet type as the packet type to transmit the UHQ audio packet in operation 1780. In contrast, in operation 1770, when it is determined that the level of the transmission environment is less than or equal to the third threshold Th3, in operation 1790, the electronic device 500 may set the fourth packet type as the packet type to transmit the UHQ audio packet. .
  • the size of data to be transmitted may be larger than that of general CD (compact-disc) quality (44.1 kHz/16 bit) audio.
  • the electronic device 500 may further subdivide the wireless transmission environment and adjust the bit rate and packet type.
  • the electronic device 500 may transmit audio packets using different packet types even at the same bit rate according to classification of a more subdivided transmission environment.
  • FIG. 18 is a diagram for explaining a method of transmitting an audio packet in a wireless transmission environment according to another embodiment.
  • an electronic device according to an embodiment eg, the electronic device 101 of FIGS. 1 and 3 , the electronic device 500 of FIG. 5 , and/or the electronic device 700 of FIG. 7
  • the electronic device 500 can transmit audio data robust against wireless errors by selecting an appropriate packet according to the transmission environment in the TWS wireless headset using Bluetooth by simultaneously adjusting the bit rate and packet type according to the wireless transmission environment.
  • the electronic device 500 when audio data is divided into a plurality of packets for transmission of a large-capacity audio frame such as UHQ audio, the electronic device 500 simultaneously adjusts the bit rate and the packet type according to the wireless transmission environment to transmit the transmission environment. Even in this bad case, it is possible to prevent sound interruption while maintaining sound quality.
  • the electronic device 500 may transmit the audio stream in a 3-DH5 packet type at a bit rate of 328 kbps when the transmission environment is favorable.
  • the audio stream is large, such as the UHQ stream 1810
  • the electronic device 500 may divide the corresponding audio stream into two audio packets having a 2-DH5 packet type and transmit the corresponding audio stream instead of the 3-DH5 packet type. there is.
  • the electronic device 500 may transmit the audio stream using the 2-DH5 packet type at a bit rate of 256 kbps.
  • the electronic device 500 may divide the corresponding audio stream into two audio packets having a 2-DH2 packet type and transmit the corresponding audio stream instead of the 2-DH5 packet type. there is.
  • the electronic device 500 may further consider the amount of data (eg, large capacity like UHQ audio) of the audio signal based on the result of analyzing the transmission environment to divide the packet and determine the packet type.
  • amount of data eg, large capacity like UHQ audio
  • the electronic device 101,500,700 includes a memory 130,510 in which computer-executable instructions are stored, and a processor that accesses the memory 130,510 and executes the instructions ( 120,530), wherein the instructions determine a bit rate of the audio signal 705 based on a result of analyzing a transmission environment of a wireless communication channel through which the audio signal 705 is transmitted, and the bit rate According to the rate, the audio signal 705 is divided into packets including main packets 850 and 1410 for audio streaming and a plurality of extension packets 860, 910, 920, 930, 940, 1010, 1020, 1030, 1040 and 1430 for sound quality improvement.
  • a packet type indicating a modulation method and the number of time slots used for transmission of the corresponding packet for each packet It may be configured to configure and transmit audio packets reflecting the packet type for each of the packets.
  • the commands include information about the remaining space of the transmission buffer of the electronic device 101,500,700 that transmits the audio packets at regular intervals, and an indicator of the strength of the received signal measured by the electronic device 101,500,700 ( RSSI), the number of Bluetooth devices connected to the electronic device 101,500,700, and the use state value of Wi-Fi used by the electronic device 101,500,700, or a combination thereof, to determine the transmission environment. It can be configured to analyze the levels of.
  • the instructions may be configured to determine a bitrate of the audio signal 705 based on levels of the transmission environment.
  • the instructions divide the audio signal 705 into a main audio signal 705 and a residual audio signal 705, and convert the main audio signal 705 into the main packets 850 and 1410. and encoding the residual audio signal 705 into the plurality of extension packets 860 , 910 , 920 , 930 , 940 , 1010 , 1020 , 1030 , 1040 , and 1430 .
  • the instructions encode the audio signal 705 by lossy compression compose the encoded signal into the main packet, and convert the audio signal 705 and the signal encoded by lossy compression.
  • the residual signal 835 between the terminals may be losslessly coded, and the lossless-coded residual signal may be divided into the plurality of extension packets 860, 910, 920, 930, 940, 1010, 1020, 1030, 1040, and 1430.
  • the instructions divide the lossless coded residual signal 835 into a plurality of regions from the most significant bit (MSB) to the least significant bit (LSB), and the plurality of The plurality of extension packets 860 , 910 , 920 , 930 , 940 , 1010 , 1020 , 1030 , 1040 , and 1430 may be divided according to importance of regions.
  • the instructions are the first extension packets having the highest importance sequentially from an area corresponding to the most significant bit to an area corresponding to the least significant bit in the bit plane where the lossless-encoded residual signal 835 is encoded. It may be configured to divide from (910, 1010) into fourth extension packets (940, 1040) having the lowest priority.
  • the instructions divide the frequency band of the residual signal 835 into a plurality of bands, and divide the frequency band of the residual signal according to the importance of data located in the plurality of bands into the extension packets. (860,910,920,930,940,1010,1020,1030,1040,1430).
  • the instructions sequentially include first extension with the highest priority from data located in a low frequency band including the lowest frequency among the plurality of bands to data located in a high frequency band including the highest frequency. It may be configured to divide from the packets 910 and 1010 to the fourth extension packets 940 and 1040 having the lowest priority.
  • the commands are first for stable transmission of the main packet 850 or 1410 regardless of the analysis result of the transmission environment when the type of the corresponding packet is the main packet 850 or 1410. It can be configured to determine the packet type.
  • the instructions are based on at least one of the level of the transmission environment and the importance of the extension packet. , may be configured to determine the packet type of the extended packets (860, 910, 920, 930, 940, 1010, 1020, 1030, 1040, 1430).
  • the instructions may be configured to divide the packet by further considering the amount of data of the audio signal 705 as a result of analyzing the transmission environment, and to determine the packet type.
  • the operating method of the electronic device (101,500,700) is an operation of analyzing a transmission environment of a wireless communication channel through which an audio signal (705) is transmitted, based on the analysis result of the transmission environment, the audio signal (705)
  • An operation of determining a bit rate of , the audio signal 705 according to the bit rate is divided into main packets 850 and 1410 for audio streaming and a plurality of extension packets 860, 910, 920, 930, 940, and 1010 for improving sound quality.
  • the operation of analyzing the transmission environment includes information about the remaining space of the transmission buffer of the electronic device 101,500,700 that transmits the audio packets at regular intervals, and reception measured in the electronic device 101,500,700.
  • the transmission using any one or a combination of a signal strength indicator (RSSI), the number of Bluetooth devices connected to the electronic device 101,500,700, and a WiFi usage status value used by the electronic device 101,500,700.
  • RSSI signal strength indicator
  • the number of Bluetooth devices connected to the electronic device 101,500,700 and a WiFi usage status value used by the electronic device 101,500,700.
  • the encoding operation divides the audio signal 705 into a main audio signal 705 and a residual audio signal 705, and encodes the main audio packet into the main packets 850 and 1410. and encoding the residual audio signal into the plurality of extension packets 860 , 910 , 920 , 930 , 940 , 1010 , 1020 , 1030 , 1040 , and 1430 .
  • the encoding may include encoding the audio signal 705 by lossy compression to form the main packets 850 and 1410, and encoding the audio signal 705 and the audio signal 705 by lossy compression.
  • the operation of dividing and encoding the plurality of extension packets 860, 910, 920, 930, 940, 1010, 1020, 1030, 1040, and 1430 converts the encoded residual signal 835 to a most significant bit (MSB) to the least significant bit (LSB) into a plurality of regions, and dividing into the extension packets (860, 910, 920, 930, 940, 1010, 1020, 1030, 1040, 1430) according to the importance of the plurality of regions, and the Dividing the frequency band of the residual signal 835 into a plurality of bands, and dividing the extension packets 860, 910, 920, 930, 940, 1010, 1020, 1030, 1040, and 1430 according to the importance of data located in the plurality of bands. may include any one of them.
  • the operation of determining the packet type is performed when the type of the corresponding packet is the main packet 850 or 1410, regardless of the analysis result of the transmission environment, the main packet 850 or 1410 is stable.
  • the operation of determining the packet type includes dividing the packet by further considering the amount of data of the audio signal 705 as a result of analyzing the transmission environment, and determining the packet type. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치는 컴퓨터로 실행 가능한 명령어들이 저장된 메모리, 및 상기 컴퓨터로 실행 가능한 명령어들을 실행하는 프로세서를 포함할 수 있다. 프로세서는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 오디오 신호의 비트레이트를 결정하고, 오디오 신호를 비트레이트에 따라 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고, 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로, 패킷들 별로 해당 패킷의 전송에 이용되는 변조 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성되는 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다..

Description

오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법
아래의 개시는 오디오 스트리밍, 보다 구체적으로 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.
무선 통신 기술의 발전으로 다양한 종류의 웨어러블 기기들(wearable devices)이 스마트폰과 함께 사용되고 있다. 예를 들어, 사용자가 음악을 듣거나 통화 시에 사용하는 헤드셋(head set)은 유선으로 연결하는 방식에서 블루투스와 같은 무선으로 연결하는 방식으로 빠르게 변환하고 있다. 특히, 좌/우가 분리된 TWS(True-Wireless Stereo) 방식의 무선 헤드셋이 대중화되면서, TWS 오디오 음질에 대한 시장 기대치가 상승하고 있다. 이에 따라, 국내외 주요 음원 서비스 업체에서도 고음질의 무손실 음원과 같은 하이파이(High Fidelity; HiFi) 오디오 서비스를 강화하고 있다.고음질의 오디오 데이터를 블루투스와 같은 무선 전송 기술을 이용하여 전송하기 위해서는 무선으로 다량의 데이터를 전송할 수 있어야 한다. 무선 헤드셋의 특성상, 전송 환경이 좋지 않은 약전계 상황에서 음 끊김이 발생할 수 있으며, 전송하는 데이터의 크기가 커질수록 음 끊김에 취약할 수 있다. 예를 들어, 좌/우가 분리된 TWS 방식의 무선 헤드셋에서는 이러한 음 끊김 현상이 더욱 빈번하게 발생할 수 있다.
일 실시예에 따른 전자 장치는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리, 및 상기 컴퓨터로 실행 가능한 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호의 비트레이트(bit rate)를 결정하고, 상기 오디오 신호를 상기 비트레이트에 따라 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하고, 상기 메인 오디오 신호를 상기 메인 패킷으로 부호화하고, 상기 잔차 오디오 신호를 상기 복수의 확장 패킷들로 부호화하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 인코딩된 오디오 신호를 생성하기 위해 손실 압축을 이용하여 상기 오디오 신호를 부호화하고, 상기 부호화된 신호를 상기 메인 패킷으로 구성하고, 상기 오디오 신호와 상기 부호화된 신호 간의 잔차 신호를 무손실 부호화하고, 상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit, MSB)부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 무손실 부호화한 잔차 신호를 부호화한 비트 평면에서 상기 최상위 비트에 대응하는 영역부터 상기 최하위 비트에 대응하는 영역까지 순차적으로 가장 높은 중요도를 갖는 제1 확장 패킷부터 가장 낮은 중요도를 갖는 제4 확장 패킷으로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 잔차 신호의 주파수 대역을 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 복수의 대역들 중 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷부터 상기 중요도가 가장 낮은 제4 확장 패킷까지 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 메인 패킷인 패킷의 종류에 기초하여, 상기 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 확장 패킷인 패킷의 종류에 기초하여, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 복수의 확장 패킷들 각각의 확장 패킷의 패킷 타입을 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 패킷들을 분할하고, 상기 패킷들 각각의 패킷에 대해, 상기 오디오 신호의 데이터량에 더 기초하여 상기 패킷 타입을 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행할 수 있다.
일 실시예에 따르면, 전자 장치의 동작 방법은 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석하는 동작, 상기 전송 환경의 분석 결과를 기초로, 상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작, 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 상기 오디오 신호를 상기 비트레이트에 따라 패킷들로 부호화하는 동작, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들의 각 패킷을 전송하기 위해 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작, 상기 패킷들의 각 패킷에 대한 상기 패킷 타입을 반영한 오디오 패킷들을 구성하는 동작, 및 상기 오디오 패킷들을 전송하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 전송 환경을 분석하는 동작은 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하는 동작을 포함하고, 상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작은 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 부호화하는 동작은 상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하고, 상기 메인 오디오 패킷을 상기 메인 패킷으로 부호화하고, 상 잔차 오디오 신호를 상기 복수의 확장 패킷들로 부호화하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 부호화하는 동작은 부호화된 오디오 신호를 생성하기 위해 손실 압축을 이용하여 상기 오디오 신호를 부호화하는 동작, 상기 부호화된 오디오 신호를 상기 메인 패킷으로 구성하는 동작, 상기 오디오 신호와 상기 부호화된 신호 간의 차이에 대응하는 잔차 신호를 무손실 부호화하는 동작, 및 상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하는 동작은 상기 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit, MSB)부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 무손실 부호화한 잔차 신호를 복수의 영역들의 중요도에 따라 상기 복수의 확장 패킷들로 분할하는 동작, 및 상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 상기 잔차 신호의 주파수 대역을 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들로 분할하는 동작 중 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 메인 패킷인 패킷의 종류에 기초하여, 상기 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하는 동작, 및 상기 확장 패킷인 패킷의 종류에 기초하여, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 복수의 확장 패킷들 중 각 확장 패킷의 패킷 타입을 결정하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 패킷들을 분할하는 동작, 및 상기 패킷들의 각 패킷에 대해, 상기 오디오 신호의 데이터 량에 더 기초하여 상기 패킷 타입을 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 하드웨어와 결합되어 상기 동작 방법을 실행시키기 위하여 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시에 따른 오디오 모듈의 블록도이다.
도 3은 다양한 실시 예에 따른 오디오 신호 처리 시스템의 일 예를 나타낸 도면이다.
도 4는 일 실시 예에 따른 대용량 오디오 스트리밍 환경에서의 패킷 전송 방법의 개요를 도시한 도면이다.
도 5는 일 실시 예에 따른 전자 장치의 블록도이다.
도 6a 및 도 6b는 일 실시 예에 따른 패킷 타입들 및 패킷 타입 별 타임 슬롯의 사용량을 나타낸 도면이다.
도 7은 다른 실시 예에 따른 전자 장치의 블록도이다.
도 8은 일 실시 예에 따른 오디오 인코더의 구성 및 동작을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 12는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 13은 일 실시 예에 따른 오디오 스트리밍에서 패킷 타입을 조절하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다.
도 15는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 16은 일 실시 예에 따른 UHQ 오디오 신호의 전송 비트레이트 별 패킷 페이로드 사이즈(payload size)를 나타낸 도면이다.
도 17은 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 18은 다른 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다.
이하, 실시 예에들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5 milliseconds(ms) 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시에 따른 오디오 모듈(170)의 블록도(200)이다. 도 2의 오디오 모듈(170)은 도 1을 참조하여 위에서 설명된 오디오 모듈(170)을 포함하거나 많은 면에서 유사할 수 있고, 위에서 언급되지 않은 추가적인 특징들을 포함할 수 있다.
도 2를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.
오디오 입력 인터페이스(210)는 입력 모듈(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 오디오 신호가 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 획득되는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일실시 예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 통해 수신된 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 상기 복수의 오디오 입력 채널들 중 대응하는 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일실시 예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 예를 들어, 일실시 예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(240)는 ADC(230)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일실시 예에 따르면, 오디오 신호 처리기(240)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 예를 들어, 일실시 예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일실시 예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 및/또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 모듈(155)을 통해 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)는, 예를 들어, dynamic driver 또는 balanced armature driver 같은 스피커, 또는 리시버를 포함할 수 있다. 일실시 예에 따르면, 음향 출력 모듈(155)는 복수의 스피커들을 포함할 수 있다. 이런 경우, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일실시 예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 구비하지 않고, 오디오 신호 처리기(240)의 적어도 하나의 기능을 이용하여 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(예: 스피커 증폭 회로)를 포함할 수 있다. 일실시 예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
본 문서에 개시된 다양한 실시 예에들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예에들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예에들로 한정하려는 것이 아니며, 해당 실시 예에의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나 또는 둘"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예에들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예에들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예에들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예에들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예에들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예에들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 다양한 실시 예에 따른 오디오 신호 처리 시스템(10)의 일 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 따른 오디오 신호 처리 시스템(10)은 제1 전자 장치(101) 및 제2 전자 장치(102)를 포함할 수 있다. 제1 전자 장치(101) 및 제2 전자 장치(102)는 도 1을 참조하여 전술한 전자 장치(101)의 구성을 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(101)는 제2 전자 장치(102)와 유선 또는 무선으로 연결되고, 제2 전자 장치(102)가 전달하는 오디오 신호를 출력할 수 있다. 제1 전자 장치(101)는 복수의 마이크를 이용하여 외부 사운드 시그널을 수집하고, 수집된 오디오 신호를 제2 전자 장치(102)로 전달할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(101)는 근거리 통신 채널(예: 블루투스 모듈 기반의 통신 채널)을 제2 전자 장치(102)와 설정할 수 있는 무선 이어폰일 수 있다. 예를 들어, 제1 전자 장치(101)는 완전 무선 이어폰(TWS: true-wireless stereo), 무선 헤드폰(headphone) 및 무선 헤드셋(headset) 중 어느 하나일 수 있다. 도 3에서 제1 전자 장치(101)가 커널형 무선 이어폰으로 도시되어 있으나, 이로 제한되는 것은 아니다. 일례로, 제1 전자 장치(101)는 사용자 음성 신호를 수집하기 위해 적어도 일부 하우징이 특정 방향으로 돌출된 지주(stem) 형 무선 이어폰일 수 있다. 다른 일 실시 예에 따르면, 제1 전자 장치(101)는 유선 방식으로 제2 전자 장치(102)와 연결되는 유선 이어폰일 수 있다.
일 실시 예에 따르면, 이어폰 타입의 제1 전자 장치(101)는 사용자의 귀에 삽입될 수 있는 삽입부(301a)와, 삽입부(301a)와 연결되며 사용자의 귓바퀴에 적어도 일부가 거치될 수 있는 거치부(301b)를 가지는 하우징(301)(또는 케이스)을 포함할 수 있다. 제1 전자 장치(101)는 복수의 마이크(예: 제1 마이크(150-1), 및 제2 마이크(150-2))을 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)는 사용자의 입력을 수신할 수 있는 입력 인터페이스(377)를 포함할 수 있다. 입력 인터페이스(377)는 예를 들어, 물리적인 인터페이스(예: 물리 버튼, 터치 버튼)와 가상 인터페이스(예: 제스처, 사물 인식, 음성 인식)를 포함할 수 있다. 일 실시 예에서, 전자 장치(101)는 사용자의 피부와 접촉을 감지할 수 있는 터치 센서를 포함할 수 있다. 예를 들어, 전자 장치(101)의 일부에는 터치 센서가 배치된 영역(예: 입력 인터페이스(377))이 위치할 수 있다. 사용자가 신체 부위를 이용하여 이 영역을 터치하는 것으로 입력을 인가할 수 있다. 이러한 터치 입력은 예를 들어, 한 번 터치, 복수 터치, 스와이프(swipe), 및/또는 튕기기(flick)를 포함할 수 있다.
마이크(150-1, 150-2)는 도 1을 참조하여 전술한 입력 모듈(150)의 기능을 수행할 수 있고, 도 1을 참조하여 설명한 부분과 중복되는 설명은 생략한다. 마이크(150-1, 150-2) 중 제1 마이크(150-1)는 거치부(301b)에 배치되어 제1 전자 장치(101)가 사용자의 귀에 착용된 상태에서 외부 주변 사운드를 수집할 수 있도록, 귀 내측을 기준으로, 음공의 적어도 일부가 외부로 노출되도록 배치될 수 있다. 마이크(150-1, 150-2) 중 제2 마이크(150-2)는 삽입부(301a)에 배치될 수 있다. 제2 마이크(150-2)는 제1 전자 장치(101)가 사용자의 귀에 착용된 상태에서 바깥귀길(또는, 외이도) 내부로 전달되는 신호를 수집할 수 있도록, 바깥귀길의 귓바퀴쪽 개구부를 기준으로, 음공의 적어도 일부가 바깥귀길 내측을 향해 노출되거나 바깥귀길의 내벽과 적어도 일부가 접촉되도록 배치될 수 있다. 예를 들어, 사용자가 제1 전자 장치(101)를 착용하고 음성을 발화하는 경우, 발화에 따른 떨림의 적어도 일부가 사용자의 피부나 근육 또는 뼈와 같은 신체조직을 통해 전달되고, 전달된 떨림은 귀 내측에서 제2 마이크(150-2)에 의해 주변 사운드로 수집될 수 있다.
다양한 실시 예에 따르면, 제2 마이크(150-2)는 사용자의 귀 내측 공동에서 소리를 수집할 수 있는 다양한 형태의 마이크(예: 인이어 마이크, 이너 마이크, 또는 골전도 마이크)일 수 있다. 예를 들어, 제2 마이크(150-2)는, 음성을 감지하기 위한 적어도 하나의 공기 전도 마이크(air conduction microphone) 및/또는 적어도 하나의 골 전도 마이크(bone conduction microphone)를 포함할 수 있다. 공기 전도 마이크는 공기를 통해 전달되는 음성(예: 사용자의 발화)을 감지하여, 감지된 음성에 대응하는 음성 신호를 출력할 수 있다. 골 전도 마이크는, 사용자의 발성에 의한 골(bone)(예: 두개골)의 진동을 측정하여, 측정된 진동에 대응하는 음성 신호를 출력할 수 있다. 골 전도 마이크는, 골 전도 센서 또는 그 밖의 다양한 명칭으로 호칭될 수 있다. 공기 전도 마이크에 의해 감지되는 음성은 사용자의 발화가 공기를 통해 전달되는 동안 외부 잡음(noise)이 섞인 음성일 수 있다. 골 전도 마이크에 의해 감지되는 음성은 골의 진동에 따라 감지된 음성이므로 외부 잡음의 유입(예: 잡음의 영향)이 적은 음성일 수 있다.
도 3에서는 제1 마이크(150-1) 및 제2 마이크(150-2)가 각각 한 개씩 전자 장치(101)에 탑재된 것으로 도시되었으나 이에 제한되는 것은 아니고, 외부 마이크인 제1 마이크(150-1) 및/또는 인이어 마이크인 제2 마이크(150-2)는 전자 장치(101)에 복수 개 탑재될 수 있다. 도 3에서는 생략되었으나, 전자 장치(101)에는 음성 활동 감지(VAD: voice activity detection)를 위한 가속기(accelerator) 및/또는 진동 센서(예: VPU(voice pickup unit) 센서)가 더 포함될 수 있다.
일 실시 예에 따르면, 제1 전자 장치(101)에는 도 1 및 도 2를 참조하여 전술한 오디오 모듈(170)이 포함될 수 있다. 도 1 및 도 2를 참조하여 설명한 부분과 중복되는 설명은 생략한다. 제1 전자 장치(101)는 오디오 모듈(170)을 통해(예를 들어, 도 2의 오디오 신호 처리기(240)를 통해) 노이즈 처리(예: 노이즈 억제(noise suppressing) 처리), 주파수 대역 조절, 이득(gain) 조절과 같은 오디오 신호 처리를 수행할 수 있다. 제1 전자 장치(101)의 구성은 도 5를 참조하여 설명한다. 제1 전자 장치(101)는 도 4 내지 도 11에서 전자 장치(101)로 지칭될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 사용자의 귀에 착용된 상태를 감지할 수 있는 센서를 포함할 수 있다. 예를 들어, 센서는 물체와의 거리를 감지할 수 있는 센서(예: 적외선 센서, 레이저 센서), 물체와의 접촉을 감지할 수 있는 센서(예: 터치 센서)를 포함할 수 있다. 이러한 센서는 전자 장치(101)가 사용자의 귀에 착용됨에 따라, 피부와의 거리 또는 피부와의 접촉을 감지하여 신호를 생성할 수 있다. 전자 장치(101)의 프로세서(120)는 센서가 생성한 신호를 감지하여 전자 장치(101)가 현재 착용 상태인지 여부를 인식할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(102)는 제1 전자 장치(101)와 통신 채널을 형성하고, 제1 전자 장치(101)로 지정된 오디오 신호를 전달하거나, 및/또는 제1 전자 장치(101)로부터 오디오 신호를 수신할 수 있다. 예를 들어, 제2 전자 장치(102)는 제1 전자 장치(101)와 통신 채널(예: 유선 또는 무선 통신 채널)을 형성할 수 있는 휴대 단말, 단말 장치, 스마트폰, 태블릿 PC(personal computer), 패드류, 웨어러블 전자 장치와 같은 다양한 전자 장치일 수 있으나 반드시 이에 한정되지 않는다. 제2 전자 장치(102)는 도 1을 참조하여 전술한 전자 장치(101)와 동일하거나 대응하는 구성을 포함할 수 있고, 구현에 따라 도 1의 전자 장치(101)보다 적거나 많은 구성을 포함할 수 있다.
일 실시 예에 따르면 오디오 신호 처리 시스템(10)에서, 제1 전자 장치(101)는 향상된 사용자 음성 신호를 획득하기 위해 빔포밍(beamforming)을 수행할 수 있다. 예를 들어 제1 전자 장치(101)는 복수개의 마이크들(150-1, 150-2)로 수신한 외부 사운드 시그널에 대해 빔포밍을 수행할 수 있다.
도 4는 일 실시 예에 따른 오디오 스트리밍 환경에서의 패킷 전송 방법의 개요를 도시한 도면이다. 도 4를 참조하면, 일 실시 예에 따른 대용량 오디오 스트리밍 환경에서의 전송 환경이 좋은 경우('Good condition', 예를 들어, 전송 환경의 성능 메트릭이 미리 결정된 임계값을 초과하는 경우)와 전송 환경이 나쁜 경우('Bad condition', 예를 들어, 전송 환경의 성능 메트릭이 미리 결정된 임계값보다 열등한 경우)에 전송되는 패킷 타입들을 나타낸 도면(400)이 도시된다. 일 실시 예에 따라 이하 설명되는 전자 장치(예: 도 1 및 도 3의 전자 장치(101))의 동작들은 전자 장치(101)의 통신 모듈(예: 도 1의 통신 모듈(190))에 포함되는 블루투스 칩에 의해 수행될 수 있고, 또는 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120))에 의해 수행될 수도 있다. 블루투스 네트워크는 2.4GHz 대역을 사용하는 무선 기술이므로, 예를 들어, 와이파이(Wi-Fi), 지그비(Zigbee), 및/또는 엘티이 밴드(LTE(Long-Term Evolution) Band) 7과 같은 동일 주파수 대역을 사용하는 다른 통신 기술에 의해 통신 품질이 영향받을 수 있다. 블루투스 네트워크는 예를 들어, 블루투스 레거시(legacy) 네트워크 및/또는 BLE(bluetooth low energy) 네트워크를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101) 및 외부 전자 장치(예: 도 1 및 도 3의 전자 장치(102))는 블루투스 레거시 네트워크와 BLE 네트워크 중 하나의 네트워크를 통해 무선 통신을 수행하거나, 두 개의 네트워크를 통해 무선 통신을 수행할 수 있다.
블루투스 오디오는 무선 전송 특성상, 전송 환경이 좋지 않은 약전계 상황에서 음 끊김이 발생할 수 있다. 일 예로, 블루투스 표준 코덱인 SBC(sub band coder-decoder)에서 일반적으로 사용하는 비트레이트는 229kbps이고, 무손실 오디오의 대표 코덱인 FLAC(free lossless audio codec)에서 사용하는 평균 비트레이트는 900kbps정도로 약 4배 정도 많을 수 있다. 블루투스 무선 통신을 이용하여 UHQ(Ultra-High Quality)(96kHz/24bit) 오디오, 또는 무손실 오디오와 같은 대용량의 오디오 데이터를 전달하는 경우, 무선 전송 환경에 따라 음 끊김이 발생할 수 있다.
관련된 블루투스 오디오 스트리밍 서비스에서는 부호화(encoding)한 오디오 신호의 데이터 크기가 작기 때문에 하나의 오디오 프레임을 하나의 오디오 패킷으로 전송할 수 있다. 하지만 무손실 오디오와 같이 대용량 오디오 신호를 전송하는 경우, 하나의 오디오 프레임을 하나의 패킷으로 전송하는 것이 불가능하고, 여러 개의 패킷에 나누어 전송해야 할 수 있다. 따라서, 무선 전송 환경이 나빠졌을 때에 단순히 비트레이트를 조절하거나 또는 패킷 타입을 변경하는 것만으로는 약전계 상황에서 음끊김을 줄이면서 오디오 음질을 보장하는 것이 어려울 수 있다.
일 실시 예에서는 하나의 오디오 프레임을 복수의 오디오 패킷들에 나누어 전송하는 경우, 전송 환경의 분석 결과(예: 혼잡도 또는 전계 상황)에 따라 비트레이트를 설정하고, 전송 환경의 분석 결과와 함께 전송하는 패킷의 종류, 및/또는 각 패킷(예: 확장 패킷들)의 중요도를 고려하여 패킷들 별로 다양한 패킷 타입들(예: 제1 패킷 타입 내지 제4 패킷 타입)을 설정함으로써 약전계 상황에서 음끊김 현상을 개선하고 오디오 음질을 향상시킬 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 블록도이다. 도 5를 참조하면, 일 실시 예에 따른 전자 장치(500)(예: 도 1 및 도 3의 전자 장치(101))는 메모리(510)(예: 도 1의 메모리(130)), 프로세서(530)(예: 도 1의 프로세서(120)) 및 통신 인터페이스(550)(예: 도 1의 통신 모듈(190))를 포함할 수 있다. 메모리(510), 프로세서(530) 및 통신 인터페이스(550)는 통신 버스(505)를 통해 서로 통신할 수 있다.
메모리(510)는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)을 저장할 수 있다. 메모리(510)는 통신 인터페이스(550)를 통해 수신한 신호 또는 데이터 및/또는 프로세서(530)에 의해 구성된 오디오 패킷을 저장할 수 있다.
메모리(510)는 후술하는 프로세서(530)의 처리 과정에서 생성되는 다양한 정보를 저장할 수 있다. 이 밖에도, 메모리(510)는 각종 데이터 및/또는 프로그램을 저장할 수 있다. 메모리(510)는 휘발성 메모리(예: 도 1의 휘발성 메모리(132)) 또는 비휘발성 메모리(예: 도 1의 비휘발성 메모리(134))를 포함할 수 있다. 메모리(510)는 하드 디스크와 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
프로세서(530)는 메모리(510)에 억세스(access)하여 명령어들을 실행할 수 있다. 프로세서(530)는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 오디오 신호의 비트레이트(bit rate)를 결정할 수 있다. 프로세서(530)는 예를 들어, 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(500)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(500)에서 측정되는 수신 신호의 강도 지표(RSSI), 전자 장치(500)에 연결된 블루투스 디바이스의 개수 및 전자 장치(500)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 전송 환경을 전송 환경의 레벨들로 분석할 수 있다. 블루투스 신호와 와이파이(WiFi) 신호 둘 다 1.4GHz 대역을 사용하여 전송되므로 전자 장치(500)에서 두 신호를 함께 사용하는 경우, 간섭이 발생할 수 있다. '와이파이(WiFi)의 사용 상태 값'은 전자 장치(500)가 와이파이(WiFi)를 사용하는지 여부를 나타내는 값에 해당할 수 있다. 예를 들어, 전자 장치(500)가 와이파이(WiFi)를 사용하는 온(on) 상태에서 사용 상태 값은 '1'로 설정될 수 있고, , 전자 장치(500)가 와이파이(WiFi)를 사용하지 않는 오프(off) 상태에서 사용 상태 값은 '0'으로 설정될 수 있다. 다른 실시예에서 온 상태 및 오프 상태와 관련된 사용 상태 값은 본 개시의 범위를 벗어지 않으면서 상이할 수 있다.
프로세서(530)는 전송 환경의 레벨들에 기초하여, 예를 들어, 전송 환경의 레벨이 나타내는 무선 전송 환경이 좋을 때(예: 전송 환경의 성능 메트릭이 미리 결정된 임계값을 초과하는 경우)는 높은 비트레이트 값을 설정하고, 전송 환경의 레벨이 나타내는 무선 전송 환경이 좋지 않을 때(예: 전송 환경의 성능 메트릭이 미리 결정된 임계값보다 열등한 경우)는 낮은 비트레이트 값을 설정하는 방식으로 오디오 신호의 비트레이트를 결정할 수 있다.
프로세서(530)는 비트레이트에 따라 오디오 신호를 오디오 스트리밍을 위한 메인 패킷(예: 도 8의 메인 패킷(850)) 및 음질 향상을 위한 복수의 확장 패킷들(예: 도 8의 확장 패킷들(860))을 포함하는 패킷들로 부호화 할 수 있다. 프로세서(530)는 예를 들어, 무손실 오디오와 같이 대용량의 오디오 신호 전송이 필요한 경우, 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 메인 패킷 및 복수의 확장 패킷들로 부호화할 수 있다.
프로세서(530)는 오디오 신호를 손실 압축에 의해 부호화하고, 부호화된 신호를 메인 패킷으로 구성할 수 있다. 대안적으로 또는 추가적으로, 프로세서(530)는 오디오 신호와 손실 압축에 의해 부호화된 신호 간의 차이에 대응하는 잔차 신호를 무손실 부호화하고, 무손실 부호화 한 신호를 복수의 확장 패킷들로 분할할 수 있다.
프로세서(530)가 오디오 신호를 메인 패킷과 확장 패킷들로 분할하여 부호화하는 방법은 아래의 도 8 내지 도 10을 참조하여 설명한다.
프로세서(530)는 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로, 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하도록 구성될 수 있다. 프로세서(530)는 예를 들어, 해당 패킷의 종류가 메인 패킷인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하도록 구성될 수 있다. 제1 패킷 타입은 예를 들어, 2-DH1 패킷 또는 2-DH5 패킷 일 수 있으며, 반드시 이에 한정되지는 않는다. 대안적으로 또는 추가적으로, 프로세서(530)는 해당 패킷의 종류가 확장 패킷인 경우, 전송 환경의 레벨 및 확장 패킷의 중요도 중 적어도 하나를 기초로, 확장 패킷의 패킷 타입을 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나로 결정하도록 구성될 수 있다. 예를 들어, 제1 패킷 타입은 2-DH1 패킷이고, 제2 패킷 타입은 2-DH3 패킷이고, 제3 패킷 타입은 2-DH5패킷이며, 제4 패킷 타입은 3-DH5 패킷일 수 있으며, 반드시 이에 한정되지는 않는다. 일 실시 예에 따른 패킷 타입들은 아래의 도 6을 참조하여 보다 구체적으로 설명한다.
실시 예에 따라서, UHQ(96kHz/24bit), Hifi(48kHz/24bit) 오디오와 같이 전송 용량이 큰 고음질 오디오의 경우, 프로세서(530)는 전송 환경을 분석한 결과에 오디오 신호의 데이터 량을 더 고려하여 패킷을 분할하고, 패킷 타입을 결정할 수 있다. 프로세서(530)가 오디오 신호의 데이터 량을 더 고려하여 패킷 타입을 결정하는 방법은 아래의 도 18을 참조하여 보다 구체적으로 설명한다.
프로세서(530)는 패킷들 별로 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.
프로세서(530)는 프로그램을 실행하고, 전자 장치(500)를 제어할 수 있다. 프로세서(530)에 의하여 실행되는 프로그램 코드는 메모리(510)에 저장될 수 있다.
대안적으로 또는 추가적으로, 프로세서(530)는 아래의 도 5 내지 도 18를 통해 후술하는 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 기법을 수행할 수 있다. 전자 장치(500)는 프로세서(530)가 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 전자 장치(500)일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 전자 장치(500)는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphic processing unit; GPU), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), 및/또는 NPU(neural processing unit)를 포함할 수 있다.
도 6a 및 도 6b는 은 일 실시 예에 따른 패킷 타입들 및 패킷 타입 별 타임 슬롯의 사용량을 나타낸 도면이다. 도 6a를 참조하면, 일 실시 예에 따른 A2DP(advanced audio distribution profile)에서 사용되는 패킷의 패킷 타입들을 나타낸 표(600)가 도시된다. 여기서 패킷은 예를 들어, ACL(asynchronous connection-less) 패킷일 수 있으며, 반드시 이에 한정되지는 않는다.
블루투스 표준에서는 다양한 사용 용도에 맞게 여러 가지 프로파일들을 정의하고 있으며, 오디오 신호의 전송을 위해서는 예를 들어, A2DP(advanced audio distribution profile)와 같은 프로파일이 사용될 수 있다. A2DP에 의할 경우, 전자 장치(예: 도 1의 전자 장치(101), 및/또는 도 5의 전자 장치(500))는 예를 들어, 표(600)에 개시된 것과 같은 ACL 패킷을 사용하여 오디오 신호를 전송할 수 있다. 전자 장치(500)는 오디오 신호의 전송을 위해 전송하는 데이터의 크기 및/또는 오디오 신호의 비트레이트에 따라 사용할 ACL 패킷의 적절한 패킷 타입을 선택할 수 있다. ACL 패킷은 패킷의 변조(modulation) 방식에 따라 크게 2M 패킷과 3M 패킷으로 나눌 수 있다. 2M 패킷은 3M 패킷보다 전송하는 데이터 량이 적으므로 혼잡한 환경에서 음 끊김에 강건할 수 있다. 대안적으로 또는 추가적으로, 3M 패킷은 2M 패킷보다 전송하는 데이터 량이 많으므로 대용량의 데이터를 전송하기에 유리할 수 있다. 같은 2M 패킷 또는 3M 패킷 내에서도 아래의 도 6b와 같이 패킷 전송에 사용하는 타임 슬롯(time slot)들의 개수에 따라 패킷 타입들이 나뉘어질 수 있다.
일 실시 예에 따른 패킷 타입들은 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수에 따라 달라질 수 있다. 패킷 타입들은 예를 들어, 표(600)에 개시된 것과 같은 2-DH1 패킷 타입, 2-DH3 패킷 타입, 2-DH5 패킷 타입, 3-DH1 패킷 타입, D-DH3 패킷 타입, 및 D-DH5 패킷 타입을 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 패킷 타입들에서 맨 앞에 기재된 2 또는 3은 패킷의 변조 방식에 해당하는 2M 패킷 또는 3M 패킷을 나타내고, DH 뒤에 기재된 숫자(예: 1, 3, 5)는 해당 패킷이 사용하는 타임 슬롯(들)의 개수를 나타낼 수 있다. 예를 들어 2-DH3 패킷 타입은 3개의 타임 슬롯들을 사용하는 2M 패킷을 나타내고, 3-DH5패킷 타입은 5개의 타임 슬롯들을 사용하는 3M 패킷을 나타낼 수 있다.
도 6b를 참조하면, 패킷 타입 별 타임 슬롯들의 사용량을 나타낸 도면(620)이 도시된다. 하나의 타임 슬롯은 예를 들어, 625u 초(sec)의 시간을 가질 수 있다. 해당 패킷이 사용하는 타임 슬롯의 개수가 적을수록 전송 에러가 발생할 확률이 더 적으며, 동일한 전송 주기에서 더 많은 재전송 기회를 얻을 수 있다. 때문에 패킷이 사용하는 타임 슬롯의 개수가 적을수록 전송 에러에 더 강인한 특성을 가질 수 있다.
도 7은 다른 실시 예에 따른 전자 장치의 블록도이다. 도 7을 참조하면, 일 실시 예에 따른 전자 장치(700)(예: 도 1 및 도 3의 전자 장치(101), 및/또는 도 5의 전자 장치(500))는 전계 상황 분석 모듈(710), 비트레이트 조절 모듈(720), 패킷 타입 조절 모듈(730), 오디오 인코더(740), 패킷 구성 모듈(750), 및 송신 모듈(760)을 포함할 수 있다.
전계 상황 분석 모듈(710)은 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(700)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(700)에서 측정되는 수신 신호의 강도 지표(received signal strength indication; RSSI), 전자 장치(700)에 연결된 블루투스 디바이스의 개수 및 전자 장치(700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 수집할 수 있다. 전계 상황 분석 모듈(710)은 수집한 정보 중 적어도 하나 또는 이들의 조합을 이용하여 전송 환경을 분석하고, 분석 결과를 전송 환경의 레벨들로 나타낼 수 있다.
전계 상황 분석 모듈(710)은 무선 통신 채널의 전계 강도를 포함하는 전송 환경을 분석할 수 있다. '전계 강도(electromagnetic field strength)'은 전파가 전달될 때의 전파의 세기를 단위 면적당 에너지로 표시한 것으로서, 전송 환경의 좋고 나쁨을 나타내는 지표(예, 성능 메트릭)의 일 예시로 사용될 수 있다.다시 말해, 전계 강도를 미리 정해진 임계값과 비교하여 전송 환경이 "좋음"(예: 전계 강도가 미리 정해진 임계값을 초과함) 또는 "나쁨"(예: 전계 강도가 미리 정해진 임계값보다 열등함)을 판단할 수 있다. 이하에서 사용되는 용어 '전계 상황'은 '전송 환경'과 동일한 의미로 이해될 수 있다.
전계 상황 분석 모듈(710)은 전자 장치(700)의 전송 버퍼의 상태를 지속적으로 수집할 수 있다. 여기서, '전송 버퍼의 상태'는 전송 버퍼의 현재 잔여 공간을 의미할 수 있다. 전계 상황 분석 모듈(710)은 전송 버퍼의 상태를 이용하여 데이터를 송신하는 전자 장치(700)와 데이터를 수신하는 장치 간의 패킷 전송 상황을 파악할 수 있다. 예를 들어, 전송 환경이 좋은 경우에는 전송 버퍼의 잔여 공간을 나타내는 버퍼의 레벨은 일정한 상태를 유지하지만, 전송 환경이 좋지 않은 경우에는 전송 버퍼에 데이터가 쌓여 전송 버퍼의 레벨이 높아질 수 있다. 예를 들어, 전송 버퍼의 레벨이 일정 기준보다 낮은 경우, 원활한 전송(예: 전송 환경이 좋은 상태)으로 인해 버퍼링된 데이터의 양이 비교적 적은 상태, 다시 말해 전송 환경이 좋은 상태에 해당할 수 있다. 대안적으로 또는 추가적으로, 전송 버퍼의 레벨이 일정 기준보다 높은 경우, 원활하지 않은 전송(예: 전송 환경이 불안정한 상태)으로 인해 버퍼링된 데이터의 양이 비교적 많은 상태(예: 전송 환경이 불안정한 상태), 다시 말해 전송 환경이 나쁜 상태에 해당할 수 있다.
전계 상황 분석 모듈(710)은 전송 버퍼의 현재 잔여 공간이 일정 기준보다 많이 남은 정도 또는 현재 잔여 버퍼 공간이 일정 기준보다 적게 남은 정도에 따라 전송 환경의 레벨을 예를 들어, 1 레벨(예: 매우 좋음)부터 5레벨(예: 매우 나쁨)까지 분석할 수 있다.
일부 실시예들에서, 전송 환경은 상이한 수의 레벨들(예를 들어, 더 많은 레벨들, 더 적은 레벨들)로 분류될 수 있고/있거나, 레벨들은 본 개시의 범위를 벗어나지 않으면서 증가 및/또는 감소하는 순서일 수 있다.
대안적으로 또는 추가적으로, 전계 상황 분석 모듈(710)은 전송 환경 측정을 위해 수신 신호의 강도 지표(RSSI)를 추가적으로 활용할 수도 있다. 수신 신호의 강도 지표(RSSI)는 각 장치에서 측정되는 수신 신호의 강도를 나타내는 지표를 의미하며, 예를 들어, 가까운 거리에서 전송 환경이 좋을수록 높은 강도 지표 값을, 기기가 서로 멀리 떨어져 전송 환경이 나쁠수록 낮은 강도 지표 값을 가질 수 있다. 전계 상황 분석 모듈(710)은 전자 장치(700)에서 측정되는 수신 신호의 강도 지표(RSSI)가 일정 기준보다 높은(예: 초과하는) 경우에는 전송 환경이 좋은 상태를 나타내고, 수신 신호의 세기가 일정 기준보다 낮거나 같은(예: 열등한) 경우에는 전송 환경이 나쁜 상태를 나타낸다고 분석할 수 있다.
비트레이트 조절 모듈(720)은 전계 상황 분석 모듈(710)에서 전송 환경을 분석한 결과에 해당하는 전송 환경의 레벨에 따라서 비트레이트를 현재 전송 상황에 적합하게 변경시킬 수 있다. 예를 들어, 비트레이트 조절 모듈(720)은 전송 환경이 더 좋을수록(예를 들어, 전송 환경의 레벨이 레벨 1에 가까울수록), 높은 비트레이트 값을 설정(또는 조정)할 수 있다. 대안적으로 또는 추가적으로, 비트레이트 조절 모듈(720)은 전송 환경이 좋지 않을수록(예: 전송 환경의 레벨이 레벨 5에 가까울수록), 낮은 비트레이트 값을 설정(또는 조정)할 수 있다.
비트레이트 조절 모듈(720)은 전송 환경의 레벨에 따라 설정된 비트레이트를 오디오 인코더(740)에게 전달할 수 있다.
패킷 타입 조절 모듈(730)은 전계 상황 분석 모듈(710)에서 분석된 전송 환경의 분석 결과와 패킷들의 종류(예: 메인 패킷(예: 도 8의 메인 패킷(850)) 또는 확장 패킷(예: 도 8의 확장 패킷들(860)))에 따라 전송에 사용할 적절한 패킷 타입을 결정할 수 있다.
패킷 타입 조절 모듈(730)은 예를 들어, 전송 환경의 레벨에 따라 패킷 타입을 결정할 수 있다. 패킷 타입 조절 모듈(730)은 예를 들어, 전송 환경의 레벨이 1에 가까울수록 3M 패킷을 선택하고, 및/또는 전송 환경의 레벨이 5에 가까울수록 2M 패킷을 사용할 수 있다. 대안적으로 또는 추가적으로, 패킷 타입 조절 모듈(730)은 같은 2M 패킷 또는 3M 패킷 내에서도 전송 환경이 좀 더 좋은 경우에는 5개의 타임 슬롯들을 사용하는 패킷 타입을 선택하고, 전송 환경이 나쁜 경우에는 3개 및/또는 1개의 타임 슬롯(들)을 사용하는 패킷 타입을 선택할 수 있다.
패킷 타입 조절 모듈(730)은 예를 들어, 패킷 종류에 따른 패킷 타입을 결정할 수 있다. 메인 패킷(850)은 끊김 없는 오디오 스트리밍을 위해서 반드시 전송되어야 하는 우선 순위가 가장 높은 패킷에 해당할 수 있다. 확장 패킷(860)은 잔차 오디오 데이터를 포함하는 패킷으로 오디오 음질 향상을 위하여 추가적으로 전송되는 패킷에 해당할 수 있다.
예를 들어, 해당 패킷의 종류가 메인 패킷(850)인 경우, 패킷 타입 조절 모듈(730)은 무선 전송 환경에 상관없이 안정적으로 전송될 수 있도록 패킷 타입을 선택할 수 있다. 패킷 타입 조절 모듈(730)은 예를 들어, 해당 패킷의 종류가 메인 패킷(850)인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷(850)의 안정적 전송을 위해 다시 말해 2M 패킷에서 가장 작은 개수의 타임 슬롯을 사용하는 제1 패킷 타입(예: 2-DH1 패킷 타입)을 선택할 수 있다.
또는 해당 패킷의 종류가 확장 패킷(860)인 경우, 패킷 타입 조절 모듈(730)은 전송 환경의 레벨 및 확장 패킷(860)의 중요도 중 적어도 하나를 기초로, 확장 패킷(860)의 패킷 타입을 선택할 수 있다. 패킷 타입 조절 모듈(730)은 무선 전송 환경이 좋은 경우(예: 강전계)에는 음질을 개선하기 위하여, 모든 확장 패킷(860)들이 전송될 수 있는 제4 패킷 타입(예: 3-DH5) 또는 제3 패킷 타입(예: 2-DH5)을 선택할 수 있다. 대안적으로 또는 추가적으로, 무선 전송 환경이 나쁜 경우(예: 약전계), 패킷 타입 조절 모듈(730)은 각 확장 패킷(860)의 중요도에 따라 확장 패킷(860)이 안정적으로 전송될 수 있도록 제1 패킷 타입(예: 2-DH1) 또는 제2 패킷 타입(예: 2-DH3)을 선택할 수 있다.
오디오 인코더(740)는 비트레이트 조절 모듈(720)로부터 결정된 비트레이트를 이용하여 입력된 오디오 신호(705)를 부호화(encoding)할 수 있다. 오디오 인코더(740)는 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리할 수 있다. 오디어 인코더(740)는 메인 오디오 신호를 메인 패킷(850)으로 부호화하고, 잔차 오디오 신호를 복수의 확장 패킷(860)들로 부호화할 수 있다. 오디오 인코더(740)에 의해 부호화 된 오디오 신호는 패킷 변환을 위해 패킷 구성 모듈(750)에 전달될 수 있다. 오디오 인코더(740)의 구성 및 동작은 아래의 도 8을 참조하여 보다 구체적으로 설명한다.
패킷 구성 모듈(750)은 패킷 타입 조절 모듈(730)로부터 결정된 패킷 타입에 맞게, 메인 패킷(850) 및 복수의 확장 패킷(860)들의 패킷 타입을 결정하고, 결정된 패킷 타입 및/또는 패킷의 사이즈에 맞게 오디오 인코더(740)에서 부호화된 오디오 데이터를 각 오디오 패킷에 패킷화(packetizing)할 수 있다.
송신 모듈(760)은 패킷 구성 모듈(750)에서 구성된 오디오 패킷을 수신 장치로 전송할 수 있다.
일 실시 예에 따른 전자 장치(700)는 무선 전송 환경에서 고음질 오디오 서비스를 위한 대용량의 데이터 전송 시에 오디오 데이터의 크기 및/또는 사용하는 전송 패킷의 패킷 타입을 가변적으로 조정하여 음끊김을 방지하고, 고음질 오디오 퀄리티를 유지할 수 있다.
도 8은 일 실시 예에 따른 오디오 인코더의 구성 및 동작을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시 예에 따른 오디오 인코더(740)는 블루투스 오디오 인코더(BT encoder)(810), InMDCT(integer modified descrete consie transform) 모듈(820), 인버스 양자화(inverse quantization) 모듈(830), 및 무손실 압축 코딩(lossless coding) 모듈(840)을 포함할 수 있다.
오디오 인코더(740)에 입력된 오디오 신호(705)는 오디오 스트리밍에서 이용되는 블루투스 오디오 인코더(810)를 통하여 부호화될 수 있다. 블루투스 오디오 인코더(810)는 일반적인 오디오 코덱의 동작을 수행하고, 블루투스 오디오 인코더(810)를 통해 부호화된 신호는 메인 패킷(850)으로 구성될 수 있다.
InMDCT모듈(820)은 오디오 신호(705)를 주파수 도메인의 신호로 변환할 수 있다. 여기서, MDCT는 시간 도메인 신호를 주파수 도메인 신호로 변경해주는 방법으로 일반적으로 'time to frequency domain transform'이라고 표현할 수도 있다.
오디오 인코더(740)는 주파수 도메인에서 오디오 신호(705)와 인버스 양자화 모듈(830)에 의해 부호화된 신호 간의 차이에 해당하는 잔차(residual) 신호(835)를 구할 수 있다. 무손실 코딩 모듈(840)은 잔차 신호(835)를 무손실 부호화하고, 무손실 부호화한 잔차 신호를 복수의 확장 패킷들(860)로 분할하여 구성할 수 있다. 오디오 인코더(740)가 잔차 신호(835)를 확장 패킷들(860)로 분할하여 부호화하는 방법은 아래의 도 9 내지 도 10을 참조하여 보다 구체적으로 설명한다.
블루투스 오디오 인코더(810)는 손실 압축을 수행하므로 블루투스 오디오 인코더(810)에 의해 부호화 신호와 원본 신호인 오디오 신호(705)를 비교하는 경우, 신호의 손실이 발생할 수 있다. 따라서, 일 실시 예에서는 원본 신호인 오디오 신호(705)와 인버스 양자화 모듈(830)에 의한 손실 압축을 통해 부호화된 오디오 신호 간의 차이에 해당하는 잔차 신호(835)를 무손실 코딩 모듈(840)에 의한 무손실 부호화에 의해 복수의 확장(extension) 패킷들(863)로 분할하여 전송할 수 있다. 확장 패킷들(863)은 스트리밍을 위해 꼭 필요한 패킷은 아니지만 복수의 확장 패킷들(863)을 성공적으로 많이 수신할수록 음질이 원본 오디오 신호(705)와 유사할 수 있다.
수신 장치 측의 오디오 디코더에서는 첫번째로 메인 패킷(850)을 디코딩하게 되며, 메인 패킷(850)을 디코딩한 오디오 신호만을 출력하더라도 블루투스 오디오 스트리밍 수준의 음질을 확보할 수 있다. 수신 장치는 메인 패킷(850)에 더하여 추가적으로 전송되는 확장 패킷들(860)을 디코딩하여 메인 패킷(850)의 오디오 신호와 합쳐 줌으로써 원본인 오디오 신호(705)와 유사한 무손실 오디오 서비스를 제공받을 수 있다. 이와 같이 메인 패킷(850)에 확장 패킷(860)이 하나씩 추가될수록 원본인 오디오 신호(705)에 가까운 오디오 신호가 출력될 수 있다.
도면에 도시하지는 않았지만, 예를 들어, UHQ 오디오의 경우, 손실 압축 방식을 사용한 인코딩을 수행하므로 메인 패킷만이 존재하고, 별도의 확장 패킷들이 존재하지 않을 수 있다. 도 18을 통해 후술하겠지만, UHQ 오디오 신호는 사이즈가 매우 크므로 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 UHQ 오디오 패킷을 2M 패킷이 아니라 3M 패킷으로 전송할 수 있다. 이 경우, 전자 장치는 전송 환경에 따라서 3M 패킷을 사이즈가 작은 2M 패킷 2 개로 분할하고, 2M 패킷들을 전송할 수 있다.
도 9는 일 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 잔차 신호(예: 도 8의 잔차 신호(835))를 확장 패킷들(910,920,930,940)로 분할하여 부호화하는 과정이 도시된다.
전자 장치(700)(예: 도 7의 오디오 인코더(740))는 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고, 복수의 영역들의 중요도 별로 확장 패킷들로 분할할 수 있다. 전자 장치(700)는 잔차 신호(835)를 부호화한 비트 평면(900)에서 최상위 비트(MSB)에 대응하는 영역부터 최하위 비트(LSB)에 대응하는 영역까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910)부터 중요도가 가장 낮은 제4 확장 패킷(940)으로 분할할 수 있다. 잔차 신호(835)를 4개의 영역들로 구분하는 경우, 4개의 영역들 중 음질 향상을 위해 최상위 비트(MSB)에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터에 해당하며, 최하위 비트(LSB)에 위치한 잔차 신호(835)의 데이터가 중요도가 가장 낮은 데이터에 해당할 수 있다. 최상위 비트(MSB)는 임의의 데이터 형의 최상위 비트로서 가장 왼쪽에 위치하므로 "left-most bit(LMB)"로 불릴 수도 있다.
전자 장치(700)는 예를 들어, 비트 평면 분할(bit-plane slicing) 방식에 의해 최상위 비트(MSB)에 대응하는 영역을 중요도가 가장 높은 제1 확장 패킷(910)으로 분할하고, 제1 확장 패킷(910)에 대응하는 영역의 아래 영역을 중요도가 두 번째로 높은 제2 확장 패킷(920)으로 분할할 수 있다. 전자 장치(700)는 제2 확장 패킷(920)에 대응하는 영역의 아래 영역을 중요도가 세 번째로 높은 제3 확장 패킷(930)으로 분할할 수 있다. 대안적으로 또는 추가적으로, 전자 장치(700)는 최하위 비트(LSB)에 대응하는 영역을 중요도가 가장 낮은 제4 확장 패킷(940)으로 분할할 수 있다. 여기서, '최상위 비트(MSB)에 대응하는 영역'은 최상위 비트를 포함하는 영역으로 이해될 수 있다. 대안적으로 또는 추가적으로, '최하위 비트(LSB)에 대응하는 영역'은 최하위 비트를 포함하는 영역으로 이해될 수 있다.
일 실시 예에서는 설명의 편의를 위하여, 확장 패킷들의 중요도를 4단계로 구분하였으나 반드시 이에 한정되는 것은 아니며, 본 발명의 권리범위를 벗어나지 않으면서 확장 패킷의 중요도는 3단계, 5단계 또는 그 이상의 단계로 구분될 수 있다.
전자 장치(700)는 잔차 신호(835)를 부호화한 비트 평면(900)의 각 영역들에 해당하는 데이터를 해당 영역에 대응하는 확장 패킷들(910,920,930,940)을 이용하여 전송할 수 있다.
도 10은 다른 실시 예에 따른 잔차 신호를 확장 패킷들로 구성하는 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 잔차 신호(예: 도 8의 잔차 신호(835))를 확장 패킷들(1010,1020,1030,1040)로 분할하여 부호화하는 과정이 도시된다.
전자 장치(700)(예: 도 7의 오디오 인코더(740))는 무손실 부호화한 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 복수의 대역들에 위치하는 데이터의 중요도 별로 확장 패킷들로 분할할 수 있다. 전자 장치(700)는 무손실 부호화한 잔차 신호(835)를 주파수 대역에 따라 예를 들어, 4개의 영역들로 구분하고, 각 주파수 대역에 대응하는 영역의 신호를 확장 패킷들(1010,1020,1030,1040) 각각을 이용하여 전송할 수 있다.
잔차 신호(835)를 주파수 대역(1000)으로 구분하는 경우, 저주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터에 해당하고, 고주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 덜 중용한 데이터에 해당할 수 있다.
전자 장치(700)는 잔차 신호(835)의 주파수 대역(1000)에서 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(1010)부터 중요도가 가장 낮은 제4 확장 패킷(1040)까지 분할할 수 있다.
잔차 신호(835)의 주파수 대역(1000)에서 저주파 대역에 위치한 잔차 신호(835)의 데이터가 가장 중요한 데이터이며, 고주파 쪽에 위치할수록 데이터의 중요도가 떨어질 수 있다. 전자 장치(700)는 저주파 대역에 대응하는 영역의 잔차 신호(835)를 중요도가 가장 높은 제1확장 패킷(1010)으로 분할하고, 고주파 대역으로 갈수록 순차적으로 중요도가 두번째로 높은 제2 확장 패킷(1020), 및 중요도가 세번째로 높은 제3 확장 패킷(1030)으로 분할할 수 있다. 전자 장치(700)는 주파수 대역(1000)에서 가장 오른쪽에 해당하는 고주파 대역에 위치하는 데이터를 중요도가 가장 낮은 제4 확장 패킷(1040)으로 분할할 수 있다.
도 9와 마찬가지로, 일 실시 예에서는 설명의 편의를 위하여, 확장 패킷들(1010,1020,1030,1040)의 중요도를 4단계로 구분하였으나 반드시 이에 한정되는 것은 아니며, 본 발명의 권리범위를 벗어나지 않으면서 3단계, 5단계 또는 그 이상의 단계로 구분될 수 있다.
전자 장치(700)는 잔차 신호(835)의 주파수 대역(1000)에서 각 주파수 대역에 해당하는 데이터를 해당 주파수 대역에 대응하는 확장 패킷들(1010,1020,1030,1040)을 이용하여 전송할 수 있다.
도 11은 일 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 도 11을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1110 내지 동작 1160을 통해 오디오 패킷들을 전송할 수 있다.
동작 1110에서, 전자 장치(500)는 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석할 수 있다. 전자 장치(500)는 예를 들어, 일정 주기 단위로 오디오 패킷들을 전송하는 전자 장치(500)의 전송 버퍼의 잔여 공간에 대한 정보, 전자 장치(500)에서 측정되는 수신 신호의 강도 지표(RSSI), 전자 장치(500)에 연결된 블루투스 디바이스의 개수 및 전자 장치(500)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 전송 환경을 전송 환경의 레벨들로 분석할 수 있다.
동작 1120에서, 전자 장치(500)는 동작 1110에서의 전송 환경의 분석 결과를 기초로, 오디오 신호의 비트레이트(bit rate)를 결정할 수 있다. 전자 장치(500)는 동작 1110에서 분석된 전송 환경의 레벨들에 기초하여 오디오 신호의 비트레이트를 결정할 수 있다.
동작 1130에서, 전자 장치(500)는 동작 1120에서 결정한 비트레이트에 따라 오디오 신호를 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화할 수 있다. 전자 장치(500)는 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하여 메인 패킷 및 복수의 확장 패킷들로 부호화할 수 있다. 전자 장치(500)는 오디오 신호를 손실 압축에 의해 부호화하여 메인 패킷으로 구성할 수 있다. 전자 장치(500)는 오디오 신호와 손실 압축에 의해 부호화된 신호 간의 잔차 신호를 무손실 부호화하고, 무손실 부호화한 잔차 신호를 복수의 확장 패킷들로 분할할 수 있다.
전자 장치(500)가 확장 패킷들을 부호화하는 방법의 예시들은 다음과 같을 수 있다. 전자 장치(500)는 예를 들어, 부호화한 잔차 신호를 최상위 비트(MSB)부터 최하위 비트(LSB)까지 복수의 영역들로 구분하고, 부호화한 잔차 신호를 복수의 영역들의 중요도 별로 확장 패킷들로 분할할 수 있다. 다른 실시예에 따르면, 전자 장치(500)는 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 잔차 신호의 주파수 대역을 복수의 대역들에 위치하는 데이터의 중요도 별로 확장 패킷들로 분할할 수 있다.
동작 1140에서, 전자 장치(500)는 동작 1110에서 전송 환경을 분석한 결과 및 패킷들의 종류 중 적어도 하나를 기초로, 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정할 수 있다. 전자 장치(500)는 예를 들어, 해당 패킷의 종류가 메인 패킷인 경우, 전송 환경의 분석 결과와 무관하게 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정할 수 있다. 대안적으로 또는 추가적으로, 전자 장치(500)는 해당 패킷의 종류가 확장 패킷인 경우, 전송 환경의 레벨 및 확장 패킷의 중요도 중 적어도 하나를 기초로, 확장 패킷의 패킷 타입을 예를 들어, 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나로 결정할 수 있다.
동작 1150에서, 전자 장치(500)는 패킷들 별로 동작 1140에서 결정한 패킷 타입을 반영한 오디오 패킷들을 구성할 수 있다.
동작 1160에서, 전자 장치(500)는 동작 1150에서 구성한 오디오 패킷들을 전송할 수 있다.
도 12는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 12를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 예를 들어, TWS 헤드셋을 이용하여 오디오 스트리밍을 수행하는 경우, 동작 1210 내지 동작 1270을 통해 오디오 신호의 부호화 및 패킷 전송을 수행할 수 있다.
동작 1210에서, 전자 장치(500)는 입력된 오디오 신호를 입력 버퍼에 버퍼링(buffering)할 수 있다.
동작 1210과 함께 동작 1250에서, 전자 장치(500)는 입력된 오디오 신호가 전달된 전송 환경의 전계를 분석할 수 있다.
동작 1260에서, 전자 장치(500)는 동작 1250의 무선 통신 환경의 전계 분석 결과를 기초로, 비트레이트를 결정할 수 있다. 전자 장치(500)는 예를 들어, 전계 분석에 따른 전송 환경이 미리 설정된 기준보다 좋은 경우(예: 초과), 높은 비트레이트를 설정하고, 전송 환경이 미리 설정된 기준보다 나쁜 경우(예: 열등), 낮은 비트레이트를 설정할 수 있다.
동작 1220에서, 전자 장치(500)는 동작 1210에서 입력 버퍼에 저장된 오디오 신호를, 동작 1260에서 설정된 비트레이트를 이용해 인코딩할 수 있다. 전자 장치(500)는 예를 들어, 무손실 오디오와 같이 대용량의 오디오 신호 전송이 필요한 경우, 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 나누어 인코딩할 수 있다.
동작 1270에서, 전자 장치(500)는 동작 1250에서의 무선 전송 환경의 전계 분석 결과 및 패킷의 종류를 고려하여 패킷 타입을 결정할 수 있다. 예를 들어, 무선 전송 환경이 좋다면, 전자 장치(500)는 도 6a의 표(600)에서 우측 하단 방향에 해당하는 3-DH5와 같이 전송할 수 있는 데이터 양이 많고, 많은 개수의 타임 슬롯들을 이용하는 패킷 타입을 결정할 수 있다. 대안적으로 또는 추가적으로,전송 환경이 좋지 않다면, 전자 장치(500)는 도 6a의 표(600)에서 좌측 상단 방향에 해당하는 2- DH1과 같이 전송할 수 있는 데이터 양이 작고, 적은 개수의 타임 슬롯들을 이용하지만, 안정적인 패킷 타입을 결정할 수 있다.
동작 1230에서, 전자 장치(500)는 동작 1220에서 인코딩한 데이터를 동작 1270에서 결정된 패킷 타입에 맞게 패킷화(packetizing)할 수 있다.
동작 1240에서, 전자 장치(500)는 동작 1230에서 패킷화한 오디오 패킷을 전송할 수 있다.
도 13은 일 실시 예에 따른 오디오 스트리밍에서 패킷 타입을 조절하는 방법을 설명하기 위한 도면이다. 도 13을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 하이파이 오디오를 위한 스케일러블(scalable) 무손실 오디오 스트리밍에서 패킷 타입들을 조절하는 방법을 설명하기 위한 도면(1300)이 도시된다.
도 13에 도시된 메인 패킷(1310)은 예를 들어, SSC(Samsung scalable codec)와 같은 코어 코덱(core codec)에 의해 인코딩될 수 있다. 메인 패킷(1310)(예: 도 8의 메인 패킷(850))은 전송 환경에 따라 예를 들어, 88~192kbps 또는 88~229 kbps의 비트레이트로 전송될 수 있다. 메인 패킷과 확장(extension) 패킷(들)(예: 도 8의 확장 패킷들(860))이 결합된 패킷(1330)에서 메인 패킷은 꼭 전송되어야 하는 중요한 패킷으로 매 오디오 데이터를 부호화 할 때마다 전송되어야 하며, 확장 패킷(들)은 전송 환경이 좋을 경우에 순차적으로 전송될 수 있다. 확장 패킷(들)은 원본 오디오 데이터와 메인 패킷(1310) 간의 차이에 해당하는 잔차 신호(예: 도 8의 잔차 신호(835))를 부호화한 데이터에 해당할 수 있다. 해당 잔차 신호(835)는 여러 개의 확장 패킷들로 나누어 전송되며, 확장 패킷들 모두가 전송에 성공하여 모든 잔차 신호(835)가 성공적으로 전송되는 경우, 수신 장치가 무손실 부호화를 수행할 수 있다.
전자 장치(500)는 전송 환경의 분석 결과에 따라, 채널 조건(channel condition)(예: 전송 환경)이 나쁜 경우에는 메인 패킷(1310)을 88kbps의 낮은 비트레이트로 2-DH3과 같이 가장 안정적인 패킷 타입에 의해 전송하다가 채널 조건이 좋아지는 경우, 192kbps 또는 229kbps와 같이 점차 높은 비트레이트로 2-DH5와 같이 타임 슬롯의 개수가 늘어난 패킷 타입에 의해 전송할 수 있다. 대안적으로 또는 추가적으로, 전자 장치(500)는 채널 조건이 점차 좋아짐에 따라 메인(core) 패킷과 확장(extension) 패킷(들)로 구성된 복수의 패킷(1330)을 512kbps의 비트레이트로 복수의2-DH3패킷 타입으로 전송하다가 채널 조건이 점차 개선되는 경우, 패킷(1330)을 2-DH5와 같이 더 많은 전송 용량을 갖는 패킷 타입에 의해 전송하거나, 또는 패킷(1330)에서 확장 패킷들을 전송하는데 이용되는 타임 슬롯의 개수가 더 큰 3-DH5 패킷 타입을 선택하여 전송할 수 있다.
도 14는 일 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다. 도 14를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 무선 전송 환경이 좋은 경우와 나쁜 경우에 메인 패킷(1410)(예: 도 8의 메인 패킷(850)) 및 확장 패킷(1430)(예: 도 8의 확장 패킷들(860))의 전송에 이용하는 패킷 타입들을 나타낸 도면(1400)이 도시된다.
전술한 바와 같이, 메인 패킷(1410)은 전송 환경에 상관없이 끊김없이 전송되어야 하므로 전자 장치(500)는 메인 패킷(1410)을 음 끊김에 강건성이 높은 2M 패킷으로 전송할 수 있다. 전자 장치(500)는 무선 전송 환경의 분석 결과와 무관하게, 메인 패킷(1410)을 예를 들어, 2-DH5 패킷 타입으로 전송할 수 있다.
전송 환경이 좋을 때에는 최대한 많은 잔여 신호를 전송하여 고음질을 유지하는 것이 중요하기 때문에, 전자 장치(500)는 전송 데이터 양이 큰 3M 패킷을 이용하여 확장 패킷(1430)을 전송할 수 있다. 전송 환경이 점점 나빠지게 되면, 패킷 전송에 실패하는 경우가 발생할 수 있으므로, 전자 장치(500)는 전송 환경이 일정 수준 이하가 되면 확장 패킷(1430)을 전송하던 3M 패킷을 2M 패킷으로 변환하여 전송을 수행할 수 있다. 2M 패킷을 사용할 경우, 전자 장치(500)가 전송할 수 있는 데이터 양은 줄어들지만 전송 성공 가능성이 높아지므로 안정적으로 패킷을 전송할 수 있다. 전자 장치(500)는 전송 환경이 나빠지면 2M 패킷 내에서도 5개의 타입 슬롯들을 사용하는 2-DH5 패킷에서 3개의 타임 슬롯들을 사용하는 2-DH3 패킷으로 패킷 타입을 변환할 수 있다. 전자 장치(500)는 전송 환경이 더 나빠지는 경우, 메인 패킷(1410)만을 전송하고, 메인 패킷(1410)을 전송하는 비트레이트를 제어함으로써 음 끊김 강건성을 유지할 수 있다.
도 15는 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 15를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1510 내지 동작 1570을 통해 스케일러블 무손실 오디오 패킷의 패킷 타입을 선택하여 전송할 수 있다.
동작 1510에서, 전자 장치(500)는 전송하고자 하는 패킷의 종류가 메인 패킷(예: 도 8의 메인 패킷(850), 및/또는 도 14의 메인 패킷(1410))인지 또는 확장 패킷(예: 도 8의 확장 패킷들(860), 및/또는 도 14의 확장 패킷(1430))인지를 결정할 수 있다.
동작 1510에서 전송하고자 하는 패킷의 종류가 메인 패킷(1410)으로 결정된 경우, 동작 1520에서, 전자 장치(500)는 메인 패킷(1410)을 전송할 패킷 타입을 제1 패킷 타입으로 결정할 수 있다. 제1 패킷 타입은 예를 들어, 2-DH1일 수도 있고, 또는 2-DH3일 수도 있다.
동작 1510에서 전송하고자 하는 패킷의 종류가 확장 패킷(1430)으로 결정된 경우, 동작 1530에서, 전자 장치(500)는 해당 확장 패킷(1430)의 중요도를 분류하고, 동작 1540에서 전송 환경을 분석할 수 있다. 이때, 동작 1530과 동작 1540은 동시에 수행될 수도 있고, 또는 일정 시간 차를 두고 수행될 수도 있으며, 동작 1540이 먼저 수행된 후, 동작 1530이 수행될 수도 있다.
동작 1530에서 확장 패킷(1430)의 중요도가 분류되고, 동작 1540에서 전송 환경의 분석이 완료되면, 동작 1550에서, 전자 장치(500)는 확장 패킷(1430)의 중요도 및 전송 환경의 분석 결과를 기초로, 확장 패킷(1430)의 패킷 타입을 제1 패킷 타입 내지 제4 패킷 타입 중 어느 하나의 패킷 타입으로 결정할 수 있다.
동작 1560에서, 전자 장치(500)는 동작 1520에서 결정된 제1 패킷 타입 또는 동작 1550에서 결정된 패킷 타입에 따라 오디오 패킷을 구성할 수 있다.
동작 1570에서, 전자 장치(500)는 동작 1560에서 구성된 오디오 패킷을 전송할 수 있다.
도 16은 일 실시 예에 따른 UHQ 오디오 신호의 전송 비트레이트 별 패킷 페이로드 사이즈(payload size)를 나타낸 도면이다.
일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 UHQ 오디오 스트리밍 시에 전송 환경에 따라 패킷 타입을 조절하여 음끊김 강건성을 유지할 수도 있다.
UHQ 오디오는 일반적으로 96kHz/24bit 오디오 패킷에 해당할 수 있으며, 일반적으로 사용하는 오디오 포맷인 44.1kHz/16bit 대비 2배 이상의 데이터 량을 가질 수 있다. 표(1600)은 UHQ 오디오의 스트리밍 시에 비트레이트 별 패킷 페이로드 사이즈(payload size) 및 전송에 필요한 패킷 타입을 나타낼 수 있다.
전송 환경이 좋은 경우, 전자 장치(500)는 인코딩된 오디오 신호를 예를 들어, 328kbps의 비트레이트로 18msec마다 전송하게 되고, 이때, 패킷 타입이 3M 패킷인 3-DH5 패킷을 이용할 수 있다. 이때, 전송 환경이 점점 나빠지게 되면, 전자 장치(500)는 조금 더 안정적인 전송을 위해 328kbps의 비트레이트로 9msec마다 패킷 타입이 2M 패킷인 2-DH5 패킷을 전송할 수 있다. 이후, 전송 환경이 더 나빠지면, 전자 장치(500)는 비트레이트를 256kbps로 변경하여 전송할 데이터의 양을 감소시킴으로써 좀 더 안정적인 전송이 가능하게 할 수 있다. 전자 장치(500)는 예를 들어, 256kbps의 비트레이트로 18msec마다 2-DH5 패킷 타입에 의해 데이터를 전송하다가, 전송 환경이 더 나빠지면 패킷 타입을 변경하여 9msec 마다 2-DH3 패킷 타입의 오디오 패킷을 전송할 수 있다. 2-DH3패킷 타입은 2-DH5 패킷 타입 대비 사용하는 타임 슬롯의 개수가 적기 때문에 전자 장치(500)는 좀 더 안정적으로 오디오 패킷을 전송할 수 있다.
도 17은 다른 실시 예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 17을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))는 동작 1710 내지 동작 1790을 통해 예를 들어, 96kHz/24bit의 UHQ 오디오 스트리밍을 수행하는 전송 환경에 따라 예를 들어, 96kHz/24bit의 UHQ 오디오 패킷의 패킷 타입을 조절할 수 있다.
동작 1710에서, 전자 장치(500)는 전송 환경의 분석 결과에 따른 전송 환경의 레벨이 제1 임계치(Th1)보다 큰지 여부를 결정할 수 있다.
동작 1710에서, 전송 환경의 레벨이 제1 임계치보다 크다고 결정된 경우, 동작 1720에서, 전자 장치(500)는 UHQ 오디오 신호의 비트레이트를 제1 비트레이트로 결정할 수 있다.
동작 1720에서의 제1 비트레이트를 결정한 이후, 동작 1730에서, 전자 장치(500)는 다시 전송 환경의 레벨이 제2 임계치(Th2)보다 큰지 여부를 결정할 수 있다.
동작 1730에서, 전송 환경의 레벨이 제2 임계치(Th2)보다 크다고 결정된 경우, 동작 1740에서 전자 장치(500)는 제1 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다. 이와 달리, 동작 1730에서, 전송 환경의 레벨이 제2 임계치(Th2)보다 작거나 같다고 결정된 경우, 동작 1750에서 전자 장치(500)는 제2 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다.
대안적으로 또는 추가적으로, 동작 1710에서, 전송 환경의 레벨이 제1 임계치(Th1)보다 작거나 같다고 결정된 경우, 동작 1760에서 전자 장치(500)는 UHQ 오디오 신호의 비트레이트를 제2 비트레이트로 결정할 수 있다.
동작 1760에서의 제2 비트레이트를 결정한 이후, 동작 1770에서, 전자 장치(500)는 다시 전송 환경의 레벨이 제3 임계치(Th3)보다 큰지 여부를 결정할 수 있다.
동작 1770에서, 전송 환경의 레벨이 제3 임계치(Th3)보다 크다고 결정된 경우, 전자 장치(500)는 동작 1780에서 제3 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다. 이와 달리, 동작 1770에서, 전송 환경의 레벨이 제3 임계치(Th3)보다 작거나 같다고 결정된 경우, 동작 1790에서 전자 장치(500)는 제4 패킷 타입을 UHQ 오디오 패킷을 전송할 패킷 타입으로 설정할 수 있다.
예를 들어, UHQ 오디오 또는 하이파이 오디오와 같은 고음질 오디오의 경우, 일반적인 CD(compact-disc) 품질(44.1kHz/16bit)의 오디오보다 전송하는 데이터의 크기가 커질 수 있다. 이러한 경우, 전자 장치(500)는 무선 전송 환경을 좀 더 세분화하여 비트레이트와 패킷 타입을 조절할 수 있다. 전자 장치(500)는 좀더 세분화된 전송 환경의 분류에 따라 동일한 비트레이트에서도 서로 다른 패킷 타입을 이용하여 오디오 패킷을 전송할 수 있다.
도 18은 다른 실시 예에 따른 무선 전송 환경에서 오디오 패킷을 전송하는 방법을 설명하기 위한 도면이다. 도 18을 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1 및 도 3의 전자 장치(101), 도 5의 전자 장치(500), 및/또는 도 7의 전자 장치(700))가 UHQ 오디오 패킷을 스트리밍 시, 전송 환경에 따라 패킷 타입을 변경하는 과정을 나타낸 도면(1800)이 도시된다.
전자 장치(500)는 무선 전송 환경에 따라 비트레이트와 패킷 타입을 동시에 조절함으로써 블루투스를 이용한 TWS 무선 헤드셋에서 전송 환경에 따라 적절한 패킷을 선택하여 무선 에러에 강인한 오디오 데이터를 전송할 수 있다.
예를 들어, UHQ 오디오와 같이 대용량 오디오 프레임의 전송을 위해 오디오 데이터가 복수의 패킷들로 나뉘어 전송되는 경우, 전자 장치(500)는 무선 전송 환경에 따라 비트레이트와 패킷 타입을 동시에 조절함으로써 전송 환경이 나쁜 경우에도 음질을 유지하면서 음 끊김이 발생하지 않도록 할 수 있다. 전자 장치(500)는 예를 들어, 전송 환경이 좋은 경우에는 328kbps의 비트레이트로 3-DH5 패킷 타입에 의해 오디오 스트림을 전송할 수 있다. 이때, 오디오 스트림이 UHQ 스트림(1810)과 같이 대용량인 경우, 전자 장치(500)는 3-DH5 패킷 타입 대신에, 해당 오디오 스트림을 2-DH5 패킷 타입을 갖는 2개의 오디오 패킷들로 나누어 전송할 수도 있다. 이후, 전송 환경이 나빠지면, 전자 장치(500)는 256kbps의 비트레이트로 2-DH5 패킷 타입에 의해 오디오 스트림을 전송할 수 있다. 마찬가지로, 오디오 스트림이 UHQ 스트림(1810)와 같이 대용량인 경우, 전자 장치(500)는 2-DH5 패킷 타입 대신에, 해당 오디오 스트림을 2-DH2 패킷 타입을 갖는 2개의 오디오 패킷들로 나누어 전송할 수도 있다.
이와 같이, 전자 장치(500)는 전송 환경을 분석한 결과에 오디오 신호의 데이터 량(예: UHQ 오디오와 같이 대용량)을 더 고려하여 패킷을 분할하고, 패킷 타입을 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(101,500,700)는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리(130,510), 및 상기 메모리(130,510)에 억세스(access)하여 상기 명령어들을 실행하는 프로세서(120,530)를 포함하고, 상기 명령어들은, 오디오 신호(705)가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하고, 상기 비트레이트에 따라 상기 오디오 신호(705)를 오디오 스트리밍을 위한 메인 패킷(850,1410) 및 음질 향상을 위한 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)을 포함하는 패킷들로 부호화하고, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치(101,500,700)의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치(101,500,700)에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치(101,500,700)에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치(101,500,700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 어느 하나 또는 이들의 조합을이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호(705)의 비트레이트를 결정하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 오디오 신호(705)를 메인 오디오 신호(705)와 잔차 오디오 신호(705)로 분리하고, 상기 메인 오디오 신호(705)를 상기 메인 패킷(850,1410)으로 부호화하고, 상기 잔차 오디오 신호(705)를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 부호화 하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 오디오 신호(705)를 손실 압축에 의해 부호화하고, 상기 부호화된 신호를 상기 메인 패킷으로 구성하고, 상기 오디오 신호(705)와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호(835)를 무손실 부호화하고, 상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성할 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 무손실 부호화한 잔차 신호(835)를 최상위 비트(most significant bit, MSB )부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 무손실 부호화한 잔차 신호(835)를 부호화한 비트 평면에서 상기 최상위 비트에 대응하는 영역부터 상기 최하위 비트에 대응하는 영역까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910,1010)부터 상기 중요도가 가장 낮은 제4 확장 패킷(940,1040)으로 분할하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 잔차 신호의 주파수 대역을 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 복수의 대역들 중 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷(910,1010)부터 상기 중요도가 가장 낮은 제4 확장 패킷(940,1040)까지 분할하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 해당 패킷의 종류가 상기 메인 패킷(850,1410)인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷(850,1410)의 안정적 전송을 위한 제1 패킷 타입을 결정하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 해당 패킷의 종류가 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 패킷 타입을 결정하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 명령어들은 상기 전송 환경을 분석한 결과에 상기 오디오 신호(705)의 데이터 량을 더 고려하여 상기 패킷을 분할하고, 상기 패킷 타입을 결정하도록 구성될 수 있다.
일 실시 예에 따르면, 전자 장치(101,500,700)의 동작 방법은 오디오 신호(705)가 전송되는 무선 통신 채널의 전송 환경을 분석하는 동작, 상기 전송 환경의 분석 결과를 기초로, 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하는 동작, 상기 비트레이트에 따라 상기 오디오 신호(705)를 오디오 스트리밍을 위한 메인 패킷(850,1410) 및 음질 향상을 위한 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)을 포함하는 패킷들로 부호화하는 동작, 상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작, 상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하는 동작, 및 상기 오디오 패킷들을 전송하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 전송 환경을 분석하는 동작은 일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치(101,500,700)의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치(101,500,700)에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치(101,500,700)에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치(101,500,700)가 이용하는 와이파이(WiFi)의 사용 상태 값 중 어느 하나 또는 이들의 조합을 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하는 동작을 포함하고, 상기 오디오 신호(705)의 비트레이트(bit rate)를 결정하는 동작은 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호(705)의 비트레이트를 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 부호화하는 동작은 상기 오디오 신호(705)를 메인 오디오 신호(705)와 잔차 오디오 신호(705)로 분리하고, 상기 메인 오디오 패킷을 상기 메인 패킷(850,1410)으로 부호화하고, 상기 잔차 오디오 신호를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 부호화하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 부호화하는 동작은 상기 오디오 신호(705)를 손실 압축에 의해 부호화하여 상기 메인 패킷(850,1410)으로 구성하는 동작, 상기 오디오 신호(705)와 상기 손실 압축에 의해 부호화된 신호 간의 잔차 신호(835)를 무손실 부호화하는 동작, 및 상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하여 부호화하는 동작은 상기 부호화한 잔차 신호(835)를 최상위 비트(most significant bit, MSB )부터 최하위 비트(lease significant bit, LSB)까지 복수의 영역들로 구분하고, 상기 복수의 영역들의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작, 및 상기 잔차 신호(835)의 주파수 대역을 복수의 대역들로 구분하고, 상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들(860,910,920,930,940,1010,1020,1030,1040,1430)로 분할하는 동작 중 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 해당 패킷의 종류가 상기 메인 패킷(850,1410)인 경우, 상기 전송 환경의 분석 결과와 무관하게 상기 메인 패킷(850,1410)의 안정적 전송을 위한 제1 패킷 타입을 결정하는 동작, 및 상기 해당 패킷의 종류가 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)인 경우, 상기 전송 환경의 레벨 및 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 중요도 중 적어도 하나를 기초로, 상기 확장 패킷(860,910,920,930,940,1010,1020,1030,1040,1430)의 패킷 타입을 결정하는 동작 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 패킷 타입을 결정하는 동작은 상기 전송 환경을 분석한 결과에 상기 오디오 신호(705)의 데이터 량을 더 고려하여 상기 패킷을 분할하고, 상기 패킷 타입을 결정하는 동작을 포함할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 컴퓨터로 실행 가능한 명령어들을 실행하는 프로세서
    를 포함하고,
    상기 프로세서는
    오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석한 결과를 기초로 상기 오디오 신호의 비트레이트(bit rate)를 결정하고,
    상기 오디오 신호를 상기 비트레이트에 따라 오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 패킷들로 부호화하고,
    상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들 별로 해당 패킷의 전송에 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하고,
    상기 패킷들 별로 상기 패킷 타입을 반영한 오디오 패킷들을 구성하여 전송하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는 상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는
    상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하고, 상기 메인 오디오 신호를 상기 메인 패킷으로 부호화하고, 상기 잔차 오디오 신호를 상기 복수의 확장 패킷들로 부호화하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는 인코딩된 오디오 신호를 생성하기 위해 손실 압축을 이용하여 상기 오디오 신호를 부호화하고,
    상기 부호화된 신호를 상기 메인 패킷으로 구성하고,
    상기 오디오 신호와 상기 부호화된 신호 간의 잔차 신호를 무손실 부호화하고,
    상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는
    상기 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고,
    상기 복수의 영역들의 중요도 별로 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는
    상기 무손실 부호화한 잔차 신호를 부호화한 비트 평면에서 상기 최상위 비트에 대응하는 영역부터 상기 최하위 비트에 대응하는 영역까지 순차적으로 가장 높은 중요도를 갖는 제1 확장 패킷부터 가장 낮은 중요도를 갖는 제4 확장 패킷으로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치
  8. 제5항에 있어서,
    상기 프로세서는
    상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고,
    상기 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 잔차 신호의 주파수 대역을 상기 복수의 확장 패킷들로 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는
    상기 복수의 대역들 중 가장 낮은 주파수를 포함하는 저주파 대역에 위치하는 데이터부터 가장 높은 주파수를 포함하는 고주파 대역에 위치하는 데이터까지 순차적으로 중요도가 가장 높은 제1 확장 패킷부터 상기 중요도가 가장 낮은 제4 확장 패킷까지 분할하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는
    상기 메인 패킷인 패킷의 종류에 기초하여, 상기 메인 패킷의 안정적 전송을 위한 제1 패킷 타입을 결정하고,
    확장 패킷인 패킷의 종류에 기초하여, 상기 전송 환경의 레벨 및 상기 확장 패킷의 중요도 중 적어도 하나를 기초로, 상기 복수의 확장 패킷들 각각의 확장 패킷의 패킷 타입을 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는
    상기 패킷들을 분할하고,
    상기 패킷들 각각의 패킷에 대해, 상기 오디오 신호의 데이터량에 더 기초하여 상기 패킷 타입을 결정하도록 구성되는 상기 컴퓨터로 실행 가능한 명령어들을 실행하는, 전자 장치.
  12. 오디오 신호가 전송되는 무선 통신 채널의 전송 환경을 분석하는 동작;
    상기 전송 환경의 분석 결과를 기초로, 상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작;
    오디오 스트리밍을 위한 메인 패킷 및 음질 향상을 위한 복수의 확장 패킷들을 포함하는 상기 오디오 신호를 상기 비트레이트에 따라 패킷들로 부호화하는 동작;
    상기 전송 환경을 분석한 결과 및 상기 패킷들의 종류 중 적어도 하나를 기초로, 상기 패킷들의 각 패킷을 전송하기 위해 이용되는 변조(modulation) 방식 및 타임 슬롯의 개수를 나타내는 패킷 타입을 결정하는 동작;
    상기 패킷들의 각 패킷에 대한 상기 패킷 타입을 반영한 오디오 패킷들을 구성하는 동작; 및
    상기 오디오 패킷들을 전송하는 동작
    을 포함하는, 전자 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 전송 환경을 분석하는 동작은
    일정 주기 단위로 상기 오디오 패킷들을 전송하는 상기 전자 장치의 전송 버퍼의 잔여 공간에 대한 정보, 상기 전자 장치에서 측정되는 수신 신호의 강도 지표(RSSI), 상기 전자 장치에 연결된 블루투스 디바이스의 개수 및 상기 전자 장치가 이용하는 와이파이(WiFi)의 사용 상태 값 중 적어도 하나를 이용하여, 상기 전송 환경을 상기 전송 환경의 레벨들로 분석하는 동작
    을 포함하고,
    상기 오디오 신호의 비트레이트(bit rate)를 결정하는 동작은
    상기 전송 환경의 레벨들에 기초하여 상기 오디오 신호의 비트레이트를 결정하는 동작
    을 포함하는, 전자 장치의 동작 방법.
  14. 제12항에 있어서,
    상기 부호화하는 동작은
    상기 오디오 신호를 메인 오디오 신호와 잔차 오디오 신호로 분리하고, 상기 메인 오디오 패킷을 상기 메인 패킷으로 부호화하고, 상 잔차 오디오 신호를 상기 복수의 확장 패킷들로 부호화하는 동작
    을 포함하는, 전자 장치의 동작 방법.
  15. 제12항에 있어서,
    상기 부호화하는 동작은
    부호화된 오디오 신호를 생성하기 위해 손실 압축을 이용하여 상기 오디오 신호를 부호화하는 동작;
    상기 부호화된 오디오 신호를 상기 메인 패킷으로 구성하는 동작;
    상기 오디오 신호와 상기 부호화된 신호 간의 차이에 대응하는 잔차 신호를 무손실 부호화하는 동작; 및
    상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하는 동작
    을 포함하고,
    상기 무손실 부호화한 잔차 신호를 상기 복수의 확장 패킷들로 분할하는 동작은
    상기 무손실 부호화한 잔차 신호를 최상위 비트(most significant bit; MSB)부터 최하위 비트(lease significant bit; LSB)까지 복수의 영역들로 구분하고, 상기 무손실 부호화한 잔차 신호를 복수의 영역들의 중요도에 따라 상기 복수의 확장 패킷들로 분할하는 동작; 및
    상기 잔차 신호의 주파수 대역을 복수의 대역들로 구분하고, 상기 잔차 신호의 주파수 대역을 복수의 대역들에 위치하는 데이터의 중요도 별로 상기 확장 패킷들로 분할하는 동작
    중 어느 하나를 포함하는, 전자 장치의 동작 방법.
PCT/KR2022/017297 2021-11-17 2022-11-07 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법 WO2023090726A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22895933.4A EP4380193A1 (en) 2021-11-17 2022-11-07 Electronic device for performing audio streaming and operating method thereof
CN202280075412.4A CN118303037A (zh) 2021-11-17 2022-11-07 用于执行音频流式传输的电子设备及其操作方法
US18/082,296 US20230154478A1 (en) 2021-11-17 2022-12-15 Electronic device for performing audio streaming and operating method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0158772 2021-11-17
KR20210158772 2021-11-17
KR10-2021-0183753 2021-12-21
KR1020210183753A KR20230072355A (ko) 2021-11-17 2021-12-21 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/082,296 Continuation US20230154478A1 (en) 2021-11-17 2022-12-15 Electronic device for performing audio streaming and operating method thereof

Publications (1)

Publication Number Publication Date
WO2023090726A1 true WO2023090726A1 (ko) 2023-05-25

Family

ID=86397460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017297 WO2023090726A1 (ko) 2021-11-17 2022-11-07 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2023090726A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032227A1 (en) * 2008-05-08 2014-01-30 Broadcom Corporation Bit error management methods for wireless audio communication channels
KR20160004712A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 비인가 주파수 대역에서 무선 통신하는 방법 및 이를 구현하는 전자장치
KR20180051284A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20180062230A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무선 연결을 이용한 오디오 스트리밍 방법 및 장치
KR20200100387A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 실시간 비트레이트 제어 방법 및 이를 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140032227A1 (en) * 2008-05-08 2014-01-30 Broadcom Corporation Bit error management methods for wireless audio communication channels
KR20160004712A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 비인가 주파수 대역에서 무선 통신하는 방법 및 이를 구현하는 전자장치
KR20180051284A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20180062230A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무선 연결을 이용한 오디오 스트리밍 방법 및 장치
KR20200100387A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 실시간 비트레이트 제어 방법 및 이를 위한 전자 장치

Similar Documents

Publication Publication Date Title
WO2022055068A1 (ko) 음성에 포함된 커맨드를 확인하는 전자 장치와 이의 동작 방법
WO2022154546A1 (ko) 자동 음량 제어를 수행하는 웨어러블 장치
WO2022154363A1 (ko) 오디오 데이터를 처리하기 위한 오디오 장치 및 그의 동작 방법
WO2022231135A1 (ko) 오디오 신호를 출력하는 방법 및 이를 수행하는 전자 장치
WO2022030882A1 (ko) 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
WO2021221440A1 (ko) 음질 향상 방법 및 그 장치
WO2023090726A1 (ko) 오디오 스트리밍을 수행하는 전자 장치 및 그 동작 방법
WO2023085749A1 (ko) 빔포밍을 제어하는 전자 장치 및 이의 동작 방법
WO2022186470A1 (ko) 오디오 처리 방법 및 이를 포함하는 전자 장치
WO2022119194A1 (ko) 전자 장치 및 이를 이용한 멀티 채널 오디오 출력 방법
WO2022158787A1 (ko) 전자 장치 및 외부 오디오 장치와의 통신 링크를 전환하는 방법
WO2021201429A1 (ko) 전자 장치 및 그의 오디오 출력을 제어하는 방법
WO2021246751A1 (ko) 블루투스 통신 환경의 다중 장치간 통신 방법 및 이를 위한 전자 장치
WO2023096231A1 (ko) 오디오 패킷을 송, 수신하는 전자 장치, 싱크 장치 및 그 동작 방법들
WO2024080723A1 (ko) 오디오 신호를 처리하는 전자 장치 및 방법
WO2024080633A1 (ko) 전자 장치 및 그 동작 방법
WO2024214920A2 (ko) 음향을 출력하는 전자 장치 및 이를 이용한 음향 출력 방법
WO2024215063A1 (ko) 소리를 출력하는 제1전자 장치와 이를 제어하는 제2전자 장치, 및 상기 제1전자 장치의 동작 방법
WO2024080597A1 (ko) 오디오 비트스트림을 적응적으로 처리하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023153613A1 (ko) 음질 향상 및 소모 전류 감소 방법 및 그 장치
WO2022154370A1 (ko) 다중 장치 간 통신 방법 및 이를 위한 전자 장치
WO2023027288A1 (ko) 영상 통화를 수행하는 동안 복수의 이미지 스트림을 전송하는 전자 장치 및 전자 장치의 동작 방법
WO2022197151A1 (ko) 외부 소리를 듣기 위한 전자 장치 및 전자 장치의 동작 방법
EP4380193A1 (en) Electronic device for performing audio streaming and operating method thereof
WO2023063627A1 (ko) 오디오 장면에 기초하여 주변 사운드를 제어하는 전자 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895933

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022895933

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895933

Country of ref document: EP

Effective date: 20240226

WWE Wipo information: entry into national phase

Ref document number: 202427036655

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 202280075412.4

Country of ref document: CN