WO2021187869A1 - 전자 장치 및 이를 이용한 오디오 신호 처리 방법 - Google Patents

전자 장치 및 이를 이용한 오디오 신호 처리 방법 Download PDF

Info

Publication number
WO2021187869A1
WO2021187869A1 PCT/KR2021/003244 KR2021003244W WO2021187869A1 WO 2021187869 A1 WO2021187869 A1 WO 2021187869A1 KR 2021003244 W KR2021003244 W KR 2021003244W WO 2021187869 A1 WO2021187869 A1 WO 2021187869A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
audio signal
microphone
external electronic
microphones
Prior art date
Application number
PCT/KR2021/003244
Other languages
English (en)
French (fr)
Inventor
양재모
김선미
김현욱
문한길
심환
이건우
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021187869A1 publication Critical patent/WO2021187869A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Definitions

  • Various embodiments of the present invention relate to an electronic device and a method for processing an audio signal using the same.
  • the electronic device may include a plurality of microphones to acquire an audio signal.
  • the electronic device may use a plurality of microphones to obtain a voice signal when performing a call, a voice signal of a subject when photographing, and/or an audio signal for a surrounding environment.
  • an audio signal When an audio signal is acquired using a plurality of microphones included in an electronic device, it may be difficult to obtain the direction of the audio signal and a remote audio signal depending on the location where the plurality of microphones are arranged and the distance between the plurality of microphones. have.
  • a noise signal as well as an audio signal is received through a plurality of microphones, it may be difficult to obtain directions of the signals, and thus it may be difficult to attenuate the noise signal.
  • the electronic device may acquire an audio signal using not only a plurality of microphones included in the electronic device but also at least one microphone included in a communication-connected external electronic device.
  • An electronic device includes a communication circuit, a memory, a plurality of microphones, and a processor operatively connected to the communication circuit, the memory, and the plurality of microphones, wherein the processor comprises: Detect a connection of an external electronic device through a circuit, receive audio signals through a plurality of microphones of the electronic device, and receive audio signals received through a plurality of microphones of the electronic device and the external electronic device Calculating a delay time between audio signals, compensating for a delay time between audio signals received through the plurality of microphones of the electronic device and audio signals received from the external electronic device, and the plurality of microphones and the plurality of microphones of the electronic device It may be configured to perform beamforming using at least one microphone of an external electronic device.
  • a method of processing an audio signal of an electronic device includes detecting a connection of an external electronic device through a communication circuit, receiving audio signals through a plurality of microphones of the electronic device, and Calculating a delay time between audio signals received through the plurality of microphones of the electronic device and the audio signals received from the external electronic device, audio signals received through the plurality of microphones of the electronic device and the external electronic device Compensating for a delay time between audio signals received from the , and performing beamforming using a plurality of microphones of the electronic device and at least one microphone of the external electronic device.
  • the electronic device may acquire an audio signal of improved sound quality using not only a plurality of microphones included in the electronic device but also at least one microphone included in a communication-connected external electronic device.
  • An electronic device identifies a direction in which a beam is formed using a plurality of microphones included in the electronic device and at least one microphone included in a communication-connected external electronic device, thereby generating a beam generated in a specified direction. It is possible not only to clearly acquire an audio signal, but also to attenuate a noise signal generated in a direction other than the designated direction.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of an audio module, according to various embodiments.
  • FIG. 3 is a block diagram illustrating an electronic device and an external electronic device according to various embodiments of the present disclosure
  • FIG. 4 is a flowchart illustrating a method of processing audio signals received through a plurality of microphones of an electronic device and at least one microphone of an external electronic device, according to various embodiments of the present disclosure
  • FIG. 5 is a flowchart illustrating a method of determining a microphone for acquiring an audio signal, according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram for describing a method of calculating a delay time between audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; It is a drawing.
  • FIG. 7 is for explaining a method of synchronizing delay times between audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; It is a drawing.
  • FIG. 8 is a diagram for describing a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure
  • FIG. 9 is a diagram for describing a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure
  • FIG. 10 is a diagram for describing a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input device 150 , a sound output device 155 , a display device 160 , an audio module 170 , and a sensor module ( 176 , interface 177 , haptic module 179 , camera module 180 , power management module 188 , battery 189 , communication module 190 , subscriber identification module 196 , or antenna module 197 . ) may be included. In some embodiments, at least one of these components (eg, the display device 160 or the camera module 180 ) may be omitted or one or more other components may be added to the electronic device 101 . In some embodiments, some of these components may be implemented as one integrated circuit. For example, the sensor module 176 (eg, a fingerprint sensor, an iris sensor, or an illuminance sensor) may be implemented while being embedded in the display device 160 (eg, a display).
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be loaded into the volatile memory 132 , process commands or data stored in the volatile memory 132 , and store the resulting data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be loaded into the volatile memory 132 , process commands or data stored in the volatile memory 132 , and store the resulting data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, an image signal processor) that can operate independently or together with the main processor 121 . , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function. The auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, an image signal processor
  • the auxiliary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 may be, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190. have.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input device 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display device 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 160 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input device 150 , or an external electronic device (eg, a sound output device 155 ) connected directly or wirelessly with the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the electronic device 102 may output a sound.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, WiFi direct, or IrDA (infrared data association)) or a second network 199 (eg, a cellular network, the Internet, Alternatively, it may communicate with the external electronic device through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other.
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 197 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the electronic devices 102 and 104 may be the same or a different type of the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more of the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 2 is a block diagram 200 of an audio module 170, in accordance with various embodiments.
  • the audio module 170 includes, for example, an audio input interface 210 , an audio input mixer 220 , an analog to digital converter (ADC) 230 , an audio signal processor 240 , and a DAC. It may include a digital to analog converter 250 , an audio output mixer 260 , or an audio output interface 270 .
  • ADC analog to digital converter
  • the audio input interface 210 is a part of the input device 150 or acquired from the outside of the electronic device 101 through a microphone (eg, a dynamic microphone, a condenser microphone, or a piezo microphone) configured separately from the electronic device 101 .
  • An audio signal corresponding to the sound may be received.
  • the audio input interface 210 is directly connected to the external electronic device 102 through the connection terminal 178 . , or wirelessly (eg, via Bluetooth communication) through the wireless communication module 192 to receive an audio signal.
  • the audio input interface 210 may receive a control signal (eg, a volume adjustment signal received through an input button) related to an audio signal obtained from the external electronic device 102 .
  • the audio input interface 210 may include a plurality of audio input channels, and may receive a different audio signal for each corresponding audio input channel among the plurality of audio input channels.
  • the audio input interface 210 may receive an audio signal from another component of the electronic device 101 (eg, the processor 120 or the memory 130 ).
  • the audio input mixer 220 may synthesize a plurality of input audio signals into at least one audio signal.
  • the audio input mixer 220 may synthesize a plurality of analog audio signals input through the audio input interface 210 into at least one analog audio signal.
  • the ADC 230 may convert an analog audio signal into a digital audio signal.
  • the ADC 230 converts an analog audio signal received via the audio input interface 210, or additionally or alternatively, an analog audio signal synthesized via the audio input mixer 220 to digital audio. can be converted into a signal.
  • the audio signal processor 240 may perform various processing on the digital audio signal input through the ADC 230 or the digital audio signal received from other components of the electronic device 101 .
  • the audio signal processor 240 may change a sampling rate for one or more digital audio signals, apply one or more filters, perform interpolation processing, amplify or attenuate all or part of a frequency band, It can perform noise processing (such as noise or echo reduction), channel changes (such as switching between mono and stereo), mixing, or specified signal extraction.
  • one or more functions of the audio signal processor 240 may be implemented in the form of an equalizer.
  • the DAC 250 may convert a digital audio signal into an analog audio signal.
  • the DAC 250 is a digital audio signal processed by the audio signal processor 240 , or another component of the electronic device 101 (eg, the processor 120 or the memory 130 ). ))) can be converted into an analog audio signal.
  • the audio output mixer 260 may synthesize a plurality of audio signals to be output into at least one audio signal.
  • the audio output mixer 260 includes an audio signal converted to analog through the DAC 250 and another analog audio signal (eg, an analog audio signal received through the audio input interface 210 ). ) can be synthesized into at least one analog audio signal.
  • the audio output interface 270 transmits an analog audio signal converted through the DAC 250 or an analog audio signal synthesized by the audio output mixer 260 additionally or alternatively through the audio output device 155 to the electronic device 101 . ) can be printed out.
  • the sound output device 155 may include, for example, a speaker such as a dynamic driver or a balanced armature driver, or a receiver.
  • the sound output device 155 may include a plurality of speakers.
  • the audio output interface 270 may output an audio signal having a plurality of different channels (eg, stereo or 5.1 channel) through at least some of the plurality of speakers.
  • the audio output interface 270 is directly connected to the external electronic device 102 (eg, an external speaker or headset) through the connection terminal 178 or wirelessly through the wireless communication module 192 . to output an audio signal.
  • the audio module 170 does not separately include the audio input mixer 220 or the audio output mixer 260 , but uses at least one function of the audio signal processor 240 to provide a plurality of digital audio signals. At least one digital audio signal may be generated by synthesizing them.
  • the audio module 170 is an audio amplifier (not shown) capable of amplifying an analog audio signal input through the audio input interface 210 or an audio signal to be output through the audio output interface 270 . (eg speaker amplification circuit).
  • the audio amplifier may be configured as a module separate from the audio module 170 .
  • FIG. 3 is a block diagram 300 illustrating an electronic device 305 and an external electronic device 335 according to various embodiments of the present disclosure.
  • an electronic device 305 (eg, the electronic device 101 of FIG. 1 ) includes a communication circuit 310 (eg, the communication module 190 of FIG. 1 ), a memory 315 (eg, FIG. 1 ). 1 memory 130 ), touch screen display 320 (eg, display device 160 of FIG. 1 ), codec 325 , first microphone 327 , second microphone 328 , and/or processor 330 (eg, the processor 120 of FIG. 1 ) may be included, and at least some of the illustrated components may be omitted or substituted.
  • a communication circuit 310 eg, the communication module 190 of FIG. 1
  • a memory 315 eg, FIG. 1
  • 1 memory 130 e. 1 memory 130
  • touch screen display 320 eg, display device 160 of FIG. 1
  • codec 325 eg, first microphone 327 , second microphone 328 , and/or processor 330
  • processor 120 of FIG. 1 may be included, and at least some of the illustrated components may be omitted or
  • the communication circuit 310 (eg, the communication module 190 of FIG. 1 ) establishes a communication channel with the external electronic device 335 (eg, the electronic device 102 of FIG. 1 ), and It may support transmission and reception of various data, for example, an audio signal, with the electronic device 335 .
  • the communication circuit 310 may support short-range communication.
  • short-range communication may include Bluetooth, Bluetooth Low Energy (BLE), WiFi, or UWB.
  • the memory 315 may store a program for supporting a communication connection with the external electronic device 335 through the communication circuit 310 .
  • the memory 315 receives a plurality of audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the third microphone 351 of the external electronic device 335 .
  • a program for compensating the delay time can be stored by synchronizing the audio signals.
  • the memory 315 stores a program for performing beamforming using a plurality of microphones 327 and 328 for obtaining an analog audio signal generated in a specified direction and the third microphone 351 of the external electronic device 335 . can
  • the touch screen display 320 may include a display 321 and/or a touch panel 323 .
  • the touch screen display 320 displays an image under the control of the processor 330, a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light emitting diode ( It may be implemented as any one of an organic light-emitting diode (OLED) display, a micro electro mechanical systems (MEMS) display, or an electronic paper display.
  • the present invention is not limited thereto.
  • the first microphone 327 and the second microphone 328 may receive an analog audio signal.
  • the analog audio signal received (eg, input) from the first microphone 327 and the second microphone 328 is transmitted through a codec 325 (eg, a hardware codec) such as pulse code modulation (pcm) data. It may be decoded (eg, converted) into a digital audio signal (eg, a first digital audio signal and a second digital audio signal).
  • pcm pulse code modulation
  • the processor 330 controls the overall operation of the electronic device 305 and a signal flow between internal components of the electronic device 305 , and performs data processing. can be done
  • the processor 330 may communicate with the external electronic device 335 through the communication circuit 310 .
  • the external electronic device 335 may include a device including at least one microphone, for example, an ear type wearable device or a watch type wearable device.
  • the processor 330 may receive an audio signal (eg, a first analog audio signal and/or a second analog audio signal) through the first microphone 327 and/or the second microphone 328 .
  • the processor 330 may receive a first digital audio signal through the first microphone 327 and receive a second digital audio signal through the second microphone 328 .
  • the processor 355 of the external electronic device 335 may receive a third digital audio signal from the third microphone 351 and the codec 350 .
  • the processor 330 may receive the third digital audio signal from the external electronic device 335 .
  • the processor 330 may calculate a delay time between the first digital audio signal or the second digital audio signal and the third digital audio signal, and compensate for this.
  • the processor 330 may perform beamforming using the first microphone 327 , the second microphone 328 , and the third microphone 351 .
  • the external electronic device 335 may include a communication circuit 340 , a memory 345 , a codec 350 , a third microphone 351 , and/or a processor 355 .
  • the external electronic device 335 may include a wearable device.
  • the wearable device may include an ear type wearable device designed to be worn on a user's left and/or right ear, or a watch type wearable device designed to be worn on a user's wrist.
  • the present invention is not limited thereto, and the wearable device according to various embodiments of the present disclosure may include an electronic device including at least one microphone.
  • the communication circuit 340 may establish a communication channel with the electronic device 305 and support transmitting and receiving various data, for example, an audio signal, with the electronic device 305 .
  • the communication circuit 340 may support short-range wireless communication.
  • short-range wireless communication may include Bluetooth, Bluetooth Low Energy (BLE), WiFi, or UWB.
  • the memory 345 may store a program for supporting a communication connection with the electronic device 305 through the communication circuit 340 .
  • the memory 345 may store a program for transmitting it to the electronic device 305 .
  • the processor 355 of the external electronic device 335 may receive an analog audio signal through the third microphone 351 .
  • the analog audio signal received from the third microphone 351 is decoded (eg, a third digital audio signal) into a digital audio signal (eg, a third digital audio signal) such as pcm data through the codec 350 (eg, a hardware codec). can be converted).
  • the pcm data converted by the codec 350 may be transmitted to the processor 355 .
  • the external electronic device 335 may include more microphones in addition to the third microphone 351 .
  • the processor 355 may communicate with the electronic device 305 through the communication circuit 340 .
  • the processor 355 may convert an analog audio signal received through the third microphone 351 into a digital audio signal, and transmit the converted digital audio signal to the electronic device 305 .
  • the electronic device 305 includes a communication circuit 310 , a memory 315 , a plurality of microphones (eg, a first microphone 327 , a second microphone 328 ), and the communication circuit ( 310 ), the memory 315 , and a processor 330 operatively connected to the plurality of microphones 327 and 328 , wherein the processor 330 includes an external electronic device through the communication circuit 310 . Detects the connection of 335 , receives audio signals through the plurality of microphones 327 and 328 of the electronic device 305 , and receives the audio signals through the plurality of microphones 327 and 328 of the electronic device 305 .
  • a communication circuit 310 includes a communication circuit 310 , a memory 315 , a plurality of microphones (eg, a first microphone 327 , a second microphone 328 ), and the communication circuit ( 310 ), the memory 315 , and a processor 330 operatively connected to the plurality of microphones 327 and 328
  • a delay time is calculated between the received audio signals and the audio signal received from the external electronic device 335 , and the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external Compensating for a delay time between audio signals received from the electronic device 335, and a plurality of microphones 327 and 328 of the electronic device 305 and at least one microphone (eg, a second microphone) of the external electronic device 335 3 may be set to perform beamforming using the microphone 351).
  • the processor 330 transmits an audio signal received through at least one microphone (eg, the third microphone 351 ) of the external electronic device 335 to the communication circuit 310 .
  • An audio signal received from the external electronic device 335 through and the delay time between the audio signal received from the external electronic device 335 may be set to be calculated.
  • the processor 330 is configured to receive audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and audio signals received from the external electronic device 335 . By synchronizing, it can be set to compensate for the delay time.
  • the processor 330 may be configured to amplify an audio signal received from a specified direction and attenuate an audio signal received from a direction other than the specified direction as the beamforming is performed. have.
  • the processor 330 transmits a first signal to the external electronic device 335 through a first channel, and transmits the first signal transmitted to the external electronic device 335 to the second is looped back through a channel and returned, a second signal is transmitted to the external electronic device 335 through the second channel, and the second signal transmitted to the external electronic device 335 is
  • the plurality of microphones 327 and 328 of the electronic device 305 are looped back through a second channel and returned through the second channel, and based on the returned first signal and the returned second signal. ) may be set to calculate the delay time between an audio signal received through one microphone and an audio signal received from the external electronic device 335 .
  • the processor 330 may include an audio signal received through one of the plurality of microphones 327 and 328 of the electronic device 305 and time information at which the audio signal is received. It is stored in the memory 315, and an audio signal received through at least one microphone (eg, the third microphone 351) of the external electronic device 335 and the at least one microphone (eg, the third microphone 351) )), the time information at which an audio signal is received is received from the external electronic device 335 through the communication circuit 310 and received through one microphone 327 or 328 of the electronic device 305 .
  • One microphone of the electronic device 305 It may be set to synchronize the audio signal received through 327 or 328 with the audio signal received from the external electronic device 335 .
  • the electronic device 305 further includes a camera (eg, the camera module 180 of FIG. 1 ) and a display (eg, the display device 160 of FIG. 1 ), and the processor 330 includes , a subject obtained through the camera is displayed on the display, and when a user input for selecting a subject displayed on the display is detected, the beamforming direction is set in a direction in which the subject is located, and movement of the subject tracking the subject based on It can be set to form a beam.
  • a camera eg, the camera module 180 of FIG. 1
  • a display eg, the display device 160 of FIG. 1
  • the processor 330 includes , a subject obtained through the camera is displayed on the display, and when a user input for selecting a subject displayed on the display is detected, the beamforming direction is set in a direction in which the subject is located, and movement of the subject tracking the subject based on It can be set to form a beam.
  • the processor 330 may include a plurality of microphones 327 and 328 of the electronic device 305 or at least one microphone (eg, a third microphone 351) of the external electronic device 335 . )), or when the direction in which the audio signal is received is changed as the movement of the subject is detected, the direction of the beamforming may be changed.
  • the processor 330 may include one of the power values of the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external electronic device 335 . ) when the absolute value of the difference in power values of the audio signals received from the audio signal is less than the specified power value, the plurality of microphones 327 and 328 of the electronic device 305 and at least one microphone of the external electronic device 335 . (eg, the third microphone 351) may be set to perform the beamforming.
  • the processor 330 may include one of the power values of the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external electronic device 335 . ) when the absolute value of the difference in the power value of the audio signal received from the external electronic device 335 is greater than or equal to the specified power value, the power value of the audio signal received from the external electronic device 335 and the plurality of microphones ( One of the power values of the audio signals received through 327 and 328 is compared, and the power value of the audio signal received from the external electronic device 335 is determined by the plurality of microphones 327 of the electronic device 305 .
  • the audio signal is transmitted using at least one microphone (eg, the third microphone 351) of the external electronic device 335.
  • a control signal is transmitted to the external electronic device 335 to receive, and a power value of an audio signal received from the external electronic device 335 is transmitted through a plurality of microphones 327 and 328 of the electronic device 305 . If it is less than or equal to one of the power values of the received audio signals, it may be configured to perform the beamforming using the plurality of microphones 327 and 328 of the electronic device 305 .
  • FIG. 4 is a flowchart 400 for explaining a method of processing audio signals received through a plurality of microphones of an electronic device and at least one microphone of an external electronic device, according to various embodiments of the present disclosure.
  • the processor included in the electronic device (eg, the electronic device 305 of FIG. 3 ) performs an external electronic device (eg, the external device of FIG. 3 ).
  • the connection of the electronic device 335 may be detected.
  • a communication circuit eg, the communication circuit 310 of FIG. 3 , the short-range wireless communication circuit. (eg, Bluetooth pairing).
  • the external electronic device 335 may include at least one microphone (eg, the third microphone 351 of FIG. 3 ).
  • the external electronic device 335 may include an ear type wearable device including at least one microphone or a watch type wearable device.
  • the present invention is not limited thereto.
  • the processor 330 transmits audio signals through a plurality of microphones (eg, the first microphone 327 and the second microphone 328 of FIG. 3 ) included in the electronic device 305 . (eg, a first digital audio signal and a second digital audio signal) may be received.
  • the processor 330 is an input for acquiring an audio signal (eg, an input for capturing an image, an input for performing a voice recognition function for processing user utterance, an input for audio recording, or an input for voice communication) input) can be detected.
  • the processor 330 receives a first digital audio signal through a plurality of microphones, for example, a first microphone (eg, the first microphone 327 in FIG. 3 ), A second digital audio signal may be received through a second microphone (eg, the second microphone 328 of FIG. 3 ).
  • a first microphone eg, the first microphone 327 in FIG. 3
  • a second digital audio signal may be received through a second microphone (eg, the second microphone 328 of FIG. 3 ).
  • the processor 330 receives a first digital audio signal or a plurality of microphones (eg, the first microphone 327 and the second microphone 328 ) of the electronic device 305 A delay time between the second digital audio signal and the third digital audio signal received from the external electronic device (eg, the external electronic device 335 of FIG. 3 ) may be calculated.
  • the processor 355 included in the external electronic device 335 transmits a third digital audio signal through at least one microphone (eg, the third microphone 351 of FIG. 3 ) included in the external electronic device 335 .
  • the processor 355 of the external electronic device 335 may transmit a third digital audio signal received from at least one microphone (eg, the third microphone 351 of FIG. 3 ) to the electronic device 305 .
  • the electronic device 305 and the external electronic device 335 may receive the same analog audio while being separated by a predetermined distance. Although the same analog audio is received, the position of the first microphone 327 , the second microphone 328 , or the third microphone 351 is different, so that the direction in which the first digital audio signal is received, the second digital audio signal A receiving direction and/or a receiving direction of the third digital audio signal may be different. Between the first digital audio signal, the second digital audio signal, and/or the third digital audio signal as the positions of the first microphone 327 , the second microphone 328 , and/or the third microphone 351 are different A difference in reception time may occur.
  • the processor 330 may receive the third digital audio signal from the external electronic device 335 .
  • the processor 330 receives the first digital audio signal or the second digital audio signal received through the first microphone 327 or the second microphone 328 of the electronic device 305 and the external electronic device 335 .
  • a delay time difference between the third digital audio times may be calculated.
  • the processor 330 receives audio signals (eg, the plurality of microphones (eg, the first microphone 327 and the second microphone 328 ) of the electronic device 305 ).
  • the delay time between the first digital audio signal or the second digital audio signal) and the audio signal (eg, the third digital audio signal) received from the external electronic device 335 may be compensated.
  • the processor 330 may compensate for the delay time by synchronizing the first digital audio signal, the second digital audio signal, and the third digital audio signal.
  • the electronic device 305 may synchronize the delay time using a wireless sensor network (WSN).
  • a method of synchronizing the delay time using a wireless sensor network may include reference broadcasting synchronization (RBS), timing-sync protocol for sensor networks (TPSN), or the flooding time synchronization protocol (FTSP).
  • RBS reference broadcasting synchronization
  • TPSN timing-sync protocol for sensor networks
  • FTSP flooding time synchronization protocol
  • FTSP is a method having a sender-receiver synchronization structure, and may prevent duplicate propagation of synchronization packets by using a sequence.
  • Digital audio signals (eg, a first digital audio signal and a second digital audio signal) received through the plurality of microphones 327 and 328 of the electronic device 305 according to an embodiment and the external electronic device 335
  • a digital audio signal eg, a third digital audio signal
  • various embodiments will be described with reference to FIGS. 6 and 7 to be described later.
  • the processor 330 performs beamforming using the plurality of microphones 327 and 328 of the electronic device 305 and at least one microphone 351 of the external electronic device 335 in operation 450 .
  • the processor 330 performs beamforming using the plurality of microphones 327 and 328 of the electronic device 305 and the third microphone 351 of the external electronic device 335 to generate a target audio signal (eg, a audio signal).
  • the processor 330 may amplify the target audio signal in an operation of receiving the audio signal.
  • the processor 330 may process a received audio signal other than the target audio signal as noise.
  • the plurality of microphones of the electronic device 305 is changed in one embodiment.
  • a direction in which a beam is formed using 327 and 328 and the third microphone 351 of the external electronic device 335 may also be changed (eg, adjusted).
  • FIG. 4 it has been described that the connection of one external electronic device is detected, but the present invention is not limited thereto, and the electronic device 305 may be communicatively connected to a plurality of external electronic devices.
  • FIG. 5 is a flowchart 500 for explaining a method of determining a microphone for acquiring an audio signal, according to various embodiments.
  • a processor included in the electronic device (eg, the electronic device 305 of FIG. 3 ) performs an external electronic device (eg, the external device of FIG. 3 ).
  • the connection of the electronic device 335 may be detected.
  • the electronic device 305 may be communicatively connected to the external electronic device 335 through a communication circuit (eg, the communication circuit 310 of FIG. 3 ) (eg, a short-range wireless communication circuit).
  • the processor 330 receives an audio signal obtained through the microphone of the external electronic device 335 (eg, the third microphone 351 of FIG. 3 ) from the external electronic device 335 .
  • the external electronic device 335 may acquire an audio signal (eg, a third digital audio signal) through the third microphone 351 , and transmit the acquired audio signal (eg, a third digital audio signal) to the electronic device. (305).
  • the processor 330 When the processor 330 receives an audio signal (eg, a third digital audio signal) acquired through the third microphone 351 of the external electronic device 335 (eg, YES in operation 515 ), the external electronic device ( It is determined that the third microphone 351 of the 335 is operated, and thereafter, operation 520 may be performed.
  • an audio signal eg, a third digital audio signal
  • the external electronic device It is determined that the third microphone 351 of the 335 is operated, and thereafter, operation 520 may be performed.
  • the processor 330 may perform beamforming through a plurality of microphones (eg, the first microphone 327 or the second microphone 328 of FIG. 3 ) of the electronic device 305 in operation 540 .
  • the processor 330 may receive an audio signal in a direction in which the beam is formed by forming a beam using the plurality of microphones 327 and 328 of the electronic device 305 .
  • the processor 330 may pre-process the audio signal received from the external electronic device 335 in operation 520 .
  • preprocessing may include inverse quantization processing, signal amplification, and/or signal conditioning.
  • the processor 330 may detect a voice signal from the audio signal in operation 525 .
  • the processor 330 may detect a voice signal from the audio signal using a voice activity detection (VAD) module (not shown).
  • VAD voice activity detection
  • the processor 330 generates an audio signal (eg, third digital audio) acquired through the third microphone 351 of the external electronic device 335 in operation 515 . signal), and audio signals through a plurality of microphones (eg, the first microphone 327 and the second microphone 328 of FIG. 3 ) of the electronic device 305 .
  • the processor 330 may receive a first digital audio signal through the first microphone 327 and receive a second digital audio signal through the second microphone 328 .
  • the processor 330 determines the power value of the audio signal received through the microphone (eg, the third microphone 351 ) of the external electronic device 335 and the microphone ( For example, it may be determined whether an absolute value of a difference in power values of audio signals received through the first microphone 327 and the second microphone 328 (one microphone among the first microphone 327 and the second microphone 328) exceeds a specified power value.
  • the processor 330 determines one of the plurality of microphones 327 and 328 of the electronic device 305 (eg, the first microphone 327 or the second microphone 328 ) as a reference microphone, and Measure the power value (eg, the power value of the first digital audio signal or the power value of the second digital audio signal) of the audio signal received through the microphone (eg, the first microphone 327 or the second microphone 328 ) can do.
  • the power value eg, the power value of the first digital audio signal or the power value of the second digital audio signal
  • the processor 330 may measure the power value of the audio signal (eg, the third digital audio signal) received through the microphone (eg, the third microphone 351) of the external electronic device 335 . have.
  • the processor 355 of the external electronic device 335 measures the power value of the audio signal (eg, the third digital audio signal) received through the microphone (eg, the third microphone 351), and may be transmitted to the electronic device 305 .
  • the processor 330 receives a power value of an audio signal (eg, a third digital audio signal) received through a microphone (eg, the third microphone 351 ) of the external electronic device 335 from the external electronic device 335 . can do.
  • the processor 330 determines the power value (eg, the power value of the first digital audio signal) of the audio signal received through the reference microphone (eg, the first microphone 327 or the second microphone 328)
  • the power value of the second digital audio signal) and the power value of the audio signal (eg, the third digital audio signal) received through the microphone (eg, the third microphone 351) of the external electronic device 335 may be compared. .
  • the power value of the audio signal received through the microphone 351 of the external electronic device 335 and the microphone of the electronic device 305 eg, the first microphone 327 of FIG. 3 , the second microphone ( 328))
  • the processor 330 in operation 535 the electronic device ( 305) using a plurality of microphones (eg, the first microphone 327 and the second microphone 328) and the microphone of the external electronic device 335 (eg, the third microphone 351).
  • the electronic device 305 can Beamforming using a plurality of microphones (eg, the first microphone 327 and the second microphone 328) of the electronic device 305 and a microphone (eg, the third microphone 351) of the external electronic device 335 It is possible to receive an audio signal in the direction in which the beam is formed by performing .
  • a plurality of microphones eg, the first microphone 327 and the second microphone 328
  • a microphone eg, the third microphone 351
  • the power value of the audio signal received through the microphone 351 of the external electronic device 335 and the microphone of the electronic device 305 eg, the first microphone 327 of FIG. 3 , the second microphone ( 328))
  • the processor 330 controls the external electronic device 335 .
  • the power value of the audio signal received through the microphone 351 and the microphone of the electronic device 305 eg, one microphone among the first microphone 327 and the second microphone 328 in FIG. 3
  • Power values of audio signals can be compared.
  • the processor 330 determines that the power value of the audio signal received through the microphone 351 of the external electronic device 335 is the microphone of the electronic device 305 (eg, the first microphone 327 of FIG. 3 ). ), it can be checked whether the power value of the audio signal received through one of the microphones) of the second microphone 328) is exceeded. For example, the processor 330 may compare the power value of the first digital audio signal or the power value of the second digital audio signal with the power value of the third digital audio signal.
  • the power value of the audio signal received through the microphone 351 of the external electronic device 335 is the microphone of the electronic device 305 (eg, the first microphone 327 of FIG. 3 , the second microphone ( 328))) is less than or equal to the power value of the audio signal received through (eg, NO in operation 545), the processor 330 in operation 550, a plurality of microphones of the electronic device 305 (eg, FIG. Beamforming may be performed through the first microphone 327 and the second microphone 328 of 3).
  • the processor 330 may receive an audio signal in a direction in which the beam is formed by forming a beam using the plurality of microphones 327 and 328 of the electronic device 305 .
  • the power value of the audio signal received through the microphone 351 of the external electronic device 335 is the microphone of the electronic device 305 (eg, the first microphone 327 of FIG. 3 , the second microphone ( 328))) exceeds the power value of the audio signal received through one of the microphones) (eg, YES in operation 545), the processor 330 controls the microphone 351 of the external electronic device 335 in operation 555.
  • An audio signal obtained through the above operation may be received from the external electronic device 335 .
  • the processor 330 may transmit a control signal to the external electronic device 305 to receive audio using a microphone (eg, the third microphone 351 ) of the external electronic device 335 .
  • the processor 355 included in the external electronic device 335 transmits an audio signal obtained through a microphone (eg, the third microphone 351 ) to the electronic device 305 based on the control signal received from the electronic device 305 . ) can be sent to
  • noise included in the audio signal may be removed by detecting noise from the audio signal received in the direction in which the beam is formed, and applying, for example, noise suppression technology to the section in which the noise is detected. have.
  • a target audio signal with clear and improved sound quality may be obtained.
  • FIG. 6 is a diagram for describing a method of calculating a delay time between audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; Figure 600.
  • the reference signal 610 is transmitted to the external electronic device 335 through two channels, for example, an acoustic channel 620 (acoustic ch.) and a wireless channel 630 (wireless ch.).
  • an acoustic channel 620 acoustic ch.
  • a wireless channel 630 wireless ch.
  • the reference signal 610 transmitted through the acoustic channel 620 and the wireless channel 630 is looped back through the wireless channel 630 to the plurality of microphones 327 and 328 of the electronic device 305 .
  • the electronic device 305 Based on what is returned, the electronic device 305 performs an audio signal (eg, a first digital audio signal or a second digital audio signal) received from the plurality of microphones 327 and 328 of the electronic device 305 and an external electronic device.
  • a delay between audio signals (eg, a third digital audio signal) received from 335 may be calculated.
  • the electronic device 305 may transmit a reference signal 610 to the external electronic device 335 through the wireless channel 630 .
  • the transmitted reference signal 610 may be looped back by the external electronic device 335 and returned to the electronic device 305 through the wireless channel 630 .
  • the electronic device 305 transmits a reference signal 610 output through a speaker (eg, the sound output device 155 of FIG. 1 ) to an external electronic device through an acoustic channel 620 (acoustic ch.). You can send it to (335).
  • the reference signal 610 transmitted to the external electronic device 335 may be looped back through the wireless channel 630 (wireless ch.) and returned to the electronic device 305 .
  • the electronic device 305 is configured to respond to the reference signal 610 transmitted to the external electronic device 335 through the wireless channel 630 being returned from the external electronic device 335 through the wireless channel 630 .
  • Time and time as the reference signal 610 transmitted to the external electronic device 335 through the acoustic channel 620 is returned from the external electronic device 335 through the wireless channel 630 from the external electronic device 335
  • the audio signal received by the microphone of the electronic device 305 eg, the first microphone 327 or the second microphone 328
  • Interval delay can be calculated.
  • the time delay in the wireless channel 630 may be doubled.
  • the reference signal 610 output through the speaker eg, the sound output device 155 of FIG. 1
  • a time delay due to transmission and loopback from the external electronic device 335 through the wireless channel 630 may be multiplied by 0.5.
  • the delay in the acoustic channel 620 may be calculated by using the difference between the delays (eg, wireless channel delay * 0.5) transmitted to and loopbacked from the external electronic device 335 through the wireless channel 630. .
  • FIG. 7 is for explaining a method of synchronizing delay times between audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; Figure 700.
  • the electronic device 305 may be communicatively connected to the external electronic device 335 through the communication circuit 310 .
  • the electronic device 305 may have the same time information (eg, a time index) as the external electronic device 335 communicatively connected to the electronic device 305 .
  • the reference time generator 710 stored in the memory 315 of the electronic device 305 may generate time information.
  • the reference time generator 710 may transmit the generated time information to the processor 330 .
  • the processor 330 of the electronic device 305 may transmit 725 the time information generated by the reference time generator 710 to the external electronic device 335 through the communication circuit 310 .
  • the external electronic device 335 may store the time information received from the electronic device 305 as reference time information 750 in the memory 345 .
  • the reference time generator 710 stored in the memory 315 of the electronic device 305 may transmit the generated time information to the processor 330 at specified time intervals.
  • the processor 330 may transmit 725 the time information generated by the reference time generator 710 to the external electronic device 335 at a specified time interval.
  • the processor 330 may transmit ( 725 ) the reference time information to the external electronic device 335 using a Bluetooth profile at a specified time interval.
  • the external electronic device 335 may update the reference time information 750 stored in the memory 345 based on the time information received at a specified time interval from the electronic device 305 .
  • the processor 330 may receive an analog audio signal from a microphone, for example, the first microphone 327 (or the second microphone 328 ).
  • An analog audio signal received (eg, input) from the first microphone 327 is transmitted through a codec 715 (eg, the codec 325 in FIG. 3 , a hardware codec) with pulse code modulation (pcm) data and It may be decoded (eg, converted) into the same digital audio signal (eg, the first digital audio signal).
  • the processor 330 may transmit the pcm data converted by the codec 715 to a beamforming solution 730 in the memory 315 .
  • the processor 330 may receive time information on the audio signal from the reference time generator 710 while transmitting the pcm data converted by the codec 715 to the beamforming solution 730 .
  • the processor 330 may transmit ( 735 ) timestamp pcm data in which time information about the received audio signal is recorded to the beamforming solution 730 .
  • the processor 330 may display pcm data received as a digital audio signal as a timestamp (eg, an index) in units of a predetermined frame.
  • the processor 355 of the external electronic device 335 may receive an analog audio signal through the third microphone 351 .
  • the analog audio signal received from the third microphone 351 is a digital audio signal (eg, third digital audio signal) can be decoded (eg, converted).
  • the processor 355 may transmit 765 the pcm data converted by the codec 760 to the electronic device 305 through the communication circuit 340 .
  • the processor 355 may store the pcm data converted by the codec 760 in the memory 345 based on the reference time information 750 received from the electronic device 305 .
  • the processor 355 may display pcm data received as a digital audio signal as a timestamp (eg, an index) in units of a predetermined frame.
  • the processor 355 may transmit 765 the timestamp pcm data to the electronic device 305 via the communication circuit 340 .
  • the processor 330 of the electronic device 305 may store the timestamp pcm data received from the external electronic device 335 in the memory 315 .
  • the processor 330 of the electronic device 305 may store the timestamp pcm data received from the external electronic device 335 in the beamforming solution 730 in the memory 315 .
  • the processor 355 uses a Bluetooth profile (eg, synchronous connection oriented (SCO), advanced audio distribution profile (A2DP), or serial port profile (SPP)) to a Bluetooth packet including timestamp pcm data. (bluetooth packet) may be transmitted 765 to the electronic device 305 through the communication circuit 340 .
  • a Bluetooth profile eg, synchronous connection oriented (SCO), advanced audio distribution profile (A2DP), or serial port profile (SPP)
  • SCO synchronous connection oriented
  • A2DP advanced audio distribution profile
  • SPP serial port profile
  • the processor 330 uses the beamforming solution 730 in the memory 315 to store the timestamp pcm data received from the codec 715 and the timestamp pcm data received from the external electronic device 335 .
  • pcm data having the same timestamp eg, the same time index
  • the processor 330 may synchronize the pcm data of the electronic device 305 and the pcm data of the external electronic device 335 having the same timestamp by using the beamforming solution 730 .
  • FIG. 8 is a diagram 800 for explaining a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; )am.
  • Reference numeral ⁇ 810> of FIG. 8 denotes a state in which the user 815 wears an external electronic device (eg, the external electronic device 335 of FIG. 3 ), for example, an ear-type wearable device 830 on an ear.
  • an embodiment in which the subject 820 is photographed using an electronic device eg, the electronic device 305 of FIG. 3 ) may be included.
  • the electronic device 305 transmits an audio signal, for example, a subject ( 820) may receive an audio signal.
  • the ear-type wearable device 830 may receive an audio signal, for example, an analog audio signal of the subject 820 through the microphone 833 (eg, the third microphone 351 ).
  • the ear-type wearable device 830 may transmit an analog audio signal of the subject 820 received from the microphone 833 to the electronic device 305 .
  • a beam in a direction in which the analog audio signal of the subject 820 is received using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 is used.
  • a forming direction may be set.
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 may form a beam 835 in a direction in which the analog audio signal of the subject 820 is received.
  • an analog audio signal of the subject 820 may be received through the formed beam 835 .
  • the electronic device 305 forms (835) a beam in a direction in which an analog audio signal of the subject 820 is received by using the microphone 833 of the ear-type wearable device 830 to receive the subject 820.
  • an audio signal of the subject 820 with improved sound quality may be obtained.
  • the electronic device 305 receives the analog audio signal of the subject 820 by an analog audio signal excluding the analog audio signal of the subject 820 , for example, a beam formed through the plurality of microphones 327 and 328 . It is possible to attenuate an analog audio signal received in a direction other than the current direction, for example, an analog audio signal of the user 815 photographing the subject 820 .
  • the electronic device 305 receives and amplifies the analog audio signal of the user 815 photographing the attenuated subject 820 and the ear-type wearable device 830 and the analog audio signal of the subject 820 . can be mixed.
  • the electronic device 305 may monitor the analog audio signal of the subject 820 received through the microphone 833 of the ear-type wearable device 830 in real time when the subject 820 is photographed. And through monitoring, the forward directionality and/or mixing ratio can be adjusted in real time.
  • the electronic device 305 may obtain a distance between the user 815 and the subject 820 using a time of flight (ToF) camera, and may obtain a scene (eg, a person). , night scene, landscape, backlight portrait, night portrait, backlight, macro, low light, or spotlight) can be analyzed.
  • the electronic device 305 may adjust and/or mix the audio level of the analog audio signal of the subject 820 based on the analyzed scene.
  • ToF time of flight
  • the electronic device 305 may acquire the distance between the user 815 and the subject 820 using the ToF camera. When the acquired distance exceeds the specified distance, the electronic device 305 may output a notification message for moving the electronic device 305 or the external electronic device 335 in the direction in which the subject 820 is located. . For example, when the subject 820 is photographed, when the distance between the user 815 and the subject 820 is long (eg, when the distance between the user 815 and the subject 820 exceeds a specified distance), the subject 820 . Since the level of the voice signal of ' is low, it may not be possible to obtain a clear voice signal.
  • the electronic device 305 transmits a notification message for movement in the direction in which the subject 820 is located (eg, the electronic device 305 to the location of the subject 820 ).
  • a notification message to induce movement in the direction) can be output.
  • Reference numeral ⁇ 850> of FIG. 8 includes an embodiment in which the user 815 performs a video call using the electronic device 305 while wearing the ear-type wearable device 335 on the ear. can do.
  • the electronic device 305 includes a microphone (eg, a first microphone 327 and a second microphone 328 ) of the electronic device 305 and an ear-type wearable device 335 . ) through the third microphone 351 may receive an audio signal, for example, an analog audio signal of the user 815 .
  • the plurality of microphones 327 and 328 of the electronic device 305 and the third microphone 351 of the ear-type wearable device 335 may receive the analog audio signal of the user 815 through the formed beam 865 . have. For example, by using the third microphone 351 of the ear-type wearable device to form a beam 865 in a direction in which the analog audio signal of the user 815 is received, the analog audio signal of the user 815 can be received. have.
  • the electronic device 305 may amplify the received analog audio signal of the user 815 . As the analog audio signal of the user 815 is amplified, the analog audio signal of the user 815 having improved sound quality may be obtained.
  • the electronic device 305 is an analog audio signal other than the analog audio signal of the user 815, for example, an analog audio signal received in a direction other than the direction in which the analog audio signal of the user 815 is received, for example, An analog audio signal detected in the vicinity of the electronic device 305 may be attenuated.
  • the electronic device 305 may mix the attenuated analog audio signal detected in the vicinity of the electronic device 305 and the amplified analog audio signal received from the ear-type wearable device 830 .
  • FIG. 9 is a diagram 900 for explaining a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; )am.
  • Reference numeral ⁇ 910> of FIG. 9 denotes a state in which the user 915 wears an external electronic device (eg, the external electronic device 335 of FIG. 3 ), for example, an ear-type wearable device 830 on an ear.
  • an embodiment in which the subject 920 is photographed using an electronic device eg, the electronic device 305 of FIG. 3 ) may be included.
  • the electronic device 305 displays a screen including a subject 920 acquired through a camera (eg, the camera module 180 of FIG. 1 ) (eg, FIG. 3 ). can be displayed on the display 321 of the
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 eg, first 3 The microphone 351
  • the beamforming direction is set in the direction in which the selected subject 920 is located using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 .
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 may receive an analog audio signal of the subject 920 through the formed beam 935 .
  • the direction in which the analog audio signal of the subject 920 is received may be changed according to the movement of the subject 920 .
  • a beam using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 is formed.
  • Orientation can also be changed (eg adjusted). For example, when the direction in which the analog audio signal of the subject 920 is received is changed, the electronic device 305 receives from the plurality of microphones 327 and 328 of the electronic device 305 according to the exemplary embodiment of FIG. 7 .
  • a plurality of microphones 327 and 328 of the electronic device 305 and an ear-type wearable device can be adjusted in real time by using the microphone 833 of the 830 .
  • the electronic device 305 tracks the selected subject 920 and the electronic device A direction in which a beam is formed may be adjusted by using the plurality of microphones 327 and 328 of 305 and the microphone 833 of the ear-type wearable device 830 .
  • Reference numeral ⁇ 950> of FIG. 9 denotes a state in which the user 915 wears an external electronic device (eg, the external electronic device 335 of FIG. 3 ), for example, an ear-type wearable device 830 on an ear.
  • an external electronic device eg, the external electronic device 335 of FIG. 3
  • an ear-type wearable device 830 on an ear may include an embodiment in which a plurality of subjects 920 and 955 are photographed using an electronic device (eg, the electronic device 305 of FIG. 3 ).
  • the electronic device 305 may obtain the number of subjects, a direction in which the subjects are located, and/or a distance from the subjects by using the ToF camera.
  • the electronic device 305 may display a screen including a plurality of subjects 920 and 955 acquired through a camera on a display (eg, the display 321 of FIG. 3 ).
  • the plurality of microphones 327 and 328 of the electronic device 305 and an ear type wearable A microphone 833 of the device 830 may track the selected subject 920 or 955 and form a beam 970 or 975 .
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 may correspond to the direction in which the selected subject 920 or 955 is located.
  • the electronic device 305 may form a beam (970 or 975) based on the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 .
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 transmit the selected subject through the formed beam 970 or 975 . It can receive an analog audio signal of (920 or 955).
  • FIG. 10 is a diagram 1000 for explaining a method of processing audio signals received through a plurality of microphones of an electronic device and audio signals received through at least one microphone of an external electronic device, according to various embodiments of the present disclosure; )am.
  • a user 1005 photographs a subject 1010 using an electronic device (eg, the electronic device 305 of FIG. 3 ) and an external electronic device (eg, the external electronic device of FIG. 3 ).
  • an electronic device eg, the electronic device 305 of FIG. 3
  • an external electronic device eg, the external electronic device of FIG. 3
  • an embodiment in which an ear-type wearable device 830 is worn on the ear of the subject 1010 processes an audio signal may be included.
  • a user 1005 and a subject 1010 may be separated from each other by a predetermined distance.
  • the electronic device 305 may receive an analog audio signal of the subject 1010 and an analog audio signal around the subject 1010 from the ear-type wearable device 830 .
  • the electronic device 305 receives an analog audio signal of the subject 1010 received through the microphone 833 (eg, the third microphone 351 ) of the ear-type wearable device 830 . It can be monitored in real time, and the monitoring allows you to adjust the forward directionality and/or mixing ratio in real time.
  • the electronic device 305 may obtain a direction in which the subject 1010 is located and/or a distance from the subject 1010 by using the ToF camera.
  • the electronic device 305 uses the microphone 833 of the ear-type wearable device 830 based on the distance from the subject 1010 acquired through the ToF camera to the analog for the subject 1010 of the same volume. Adjustment of the sensitivity of the microphone 833 (eg, increase or decrease the volume of the acquired analog audio signal) to acquire the audio signal may be controlled. Even when the distance between the user 1005 and the subject 1010 increases or decreases as the sensitivity of the microphone 833 is adjusted, the electronic device 305 may obtain an audio signal for the subject 1010 of the same volume. have.
  • the direction in which the analog audio signal of the subject 1010 is received may be changed according to the movement of the subject 1010 while the ear-type wearable device 830 is worn on the subject 1010 .
  • a beam using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 is formed.
  • Orientation can also be changed (eg adjusted). For example, when the direction in which the analog audio signal of the subject 1010 is received is changed, it is connected to the audio signals received from the plurality of microphones 327 and 328 of the electronic device 305 according to the embodiment of FIG. 7 described above.
  • the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 are synchronized by synchronizing the delay time between the audio signals received from the microphone 833 of the wearable device 830 of the type ) can be used to adjust the direction in which the beam is formed in real time.
  • a screen including the subject 1010 obtained through a camera eg, the camera module 180 of FIG. 1
  • a display eg, the display 321 of FIG. 3
  • the subject When 1010 is selected, a beam is formed by tracking the selected subject 1010 and using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830. direction can be adjusted.
  • an ear-type wearable device 830 when performing a game by executing a game application using the electronic device 305 and an external electronic device 335 communicatively connected to the electronic device 305, for example, an ear-type wearable device 830
  • beamforming may be performed using the plurality of microphones 327 and 328 of the electronic device 305 and the microphone 833 of the ear-type wearable device 830 .
  • the voice recognition rate may be improved.
  • An audio signal processing method of an electronic device 305 includes an operation of detecting a connection of an external electronic device 335 through a communication circuit (eg, the communication circuit 310 of FIG. 3 ), the electronic device The operation of receiving audio signals through the plurality of microphones 327 and 328 of the electronic device 305 and the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external electronic device 335 ) calculating a delay time between the audio signals received from the electronic device 305, between the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the audio signals received from the external electronic device 335 Compensating for the delay time, and using a plurality of microphones 327 and 328 of the electronic device 305 and at least one microphone (eg, the third microphone 351 of FIG. 3 ) of the external electronic device 335 ) It may include an operation of performing beamforming using the .
  • the calculating of the delay time includes an audio signal received through at least one microphone (eg, the third microphone 351 of FIG. 3 ) of the external electronic device 335 , the The operation of receiving from the external electronic device 335 through the communication circuit 310 , the operation of determining one of the plurality of microphones 327 , 328 of the electronic device 305 as a reference microphone, and the determined reference
  • the method may include calculating the delay time between the audio signal received through the microphone and the audio signal received from the external electronic device 335 .
  • compensating for the delay time includes audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and audio received from the external electronic device 335 . and compensating for the delay time by synchronizing the signals.
  • An audio signal processing method of an electronic device 305 includes performing the beamforming to amplify an audio signal received from a specified direction and attenuate an audio signal received from a direction other than the specified direction It may further include an action.
  • the calculating of the delay time includes transmitting a first signal to the external electronic device 335 through a first channel (eg, the acoustic channel 620 of FIG. 6 ), and An operation in which the first signal transmitted to the electronic device 335 is looped back and returned through a second channel (eg, the wireless channel 630 of FIG. 6 ), through the second channel 630 .
  • a second signal is transmitted to the external electronic device 335 , and the second signal transmitted to the external electronic device 335 is looped back through the second channel 630 to the second channel 630 .
  • an audio signal received through one of the plurality of microphones 327 and 328 of the electronic device 305 and the The method may include calculating the delay time between audio signals received from the external electronic device 335 .
  • compensating for the delay time includes an audio signal received through one of the plurality of microphones 327 and 328 of the electronic device 305 and time information at which the audio signal is received an operation of storing in a memory (eg, the memory 315 of FIG.
  • Branching may include an operation of synchronizing an audio signal received through one microphone 327 or 328 of the electronic device 305 with an audio signal received from the external electronic device 335 .
  • the performing of the beamforming includes displaying a subject acquired through a camera (eg, the camera module 180 of FIG. 1 ) on a display (eg, the display device 160 of FIG. 1 ).
  • operation when a user input for selecting a subject displayed on the display is detected, setting the beamforming direction in a direction in which the subject is located, and tracking the subject based on the movement of the subject,
  • the operation may include forming a beam using the plurality of microphones 327 and 328 of the device 305 and at least one microphone (eg, the third microphone 351 ) of the external electronic device 335 .
  • the method of processing an audio signal of the electronic device 305 includes a plurality of microphones 327 and 328 of the electronic device 305 or at least one microphone (eg, a second microphone) of the external electronic device 335 .
  • the method may further include changing the direction of the beamforming when it is detected that the position of the microphone 351) is changed or the direction in which the audio signal is received is changed as the movement of the subject is detected.
  • the performing of the beamforming includes one of the power values of the audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external electronic device.
  • the absolute value of the difference in power values of the audio signal received from the 335 is less than the specified power value, at least one of the plurality of microphones 327 and 328 of the electronic device 305 and the external electronic device 335 . and performing the beamforming using a microphone (eg, the third microphone 351) of the .
  • one power value among the power values of audio signals received through the plurality of microphones 327 and 328 of the electronic device 305 and the external When the absolute value of the difference in the power value of the audio signal received from the electronic device 335 is equal to or greater than the specified power value, the power value of the audio signal received from the external electronic device 335 and the electronic device 305 are Comparing one of the power values of the audio signals received through the plurality of microphones 327 and 328 , the power value of the audio signal received from the external electronic device 335 is determined by the electronic device 305 .
  • At least one microphone (eg, the third microphone 351) of the external electronic device 335 is used.
  • the operation of transmitting a control signal to the external electronic device 335 to receive the audio signal, and the power value of the audio signal received from the external electronic device 335 is determined by the plurality of microphones ( If it is less than or equal to one of the power values of the audio signals received through 327 and 328, the method may further include performing the beamforming using the plurality of microphones 327 and 328 of the electronic device 305.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B, or C”, “at least one of A, B, and C”, and
  • Each of the phrases such as “at least one of A, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited.
  • one (eg first) component is “coupled” or “connected” to another (eg, second) component with or without the terms “functionally” or “communicatively”
  • one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a machine eg, electronic device 101
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg, downloaded or uploaded) directly between smartphones (eg: smartphones) and online.
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명의 다양한 실시예들에 따르면, 전자 장치는, 통신 회로, 메모리, 복수의 마이크, 및 상기 통신 회로, 상기 메모리, 및 상기 복수의 마이크와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 통신 회로를 통해 외부 전자 장치의 연결을 검출하고, 상기 전자 장치의 복수의 마이크를 통해 오디오 신호들을 수신하고, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 상기 오디오 신호 간 지연 시간을 계산하고, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호와 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 보상하고, 및 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔포밍을 수행하도록 설정될 수 있다. 본 발명에 개시된 다양한 실시예들 이외의 다른 다양한 실시예가 가능할 수 있다.

Description

전자 장치 및 이를 이용한 오디오 신호 처리 방법
본 발명의 다양한 실시예는 전자 장치 및 이를 이용한 오디오 신호를 처리하는 방법에 관한 것이다.
전자 장치는 오디오 신호를 획득하기 위해 복수의 마이크를 포함할 수 있다. 예컨대, 전자 장치는 복수의 마이크를 이용하여 통화 수행 시의 음성 신호, 촬영 시 피사체의 음성 신호, 및/또는 주변 환경에 대한 오디오 신호를 획득할 수 있다.
전자 장치에 포함된 복수의 마이크를 이용하여 오디오 신호를 획득하는 경우, 복수의 마이크가 배치되는 위치 및 복수의 마이크 간 거리에 따라 오디오 신호의 방향 및 원거리의 오디오 신호를 획득하는 데 어려움이 있을 수 있다. 복수의 마이크를 통해 오디오 신호뿐만 아니라 잡음 신호(noise signal)가 수신될 때, 신호들의 방향을 획득하는데 어려움이 있어, 잡음 신호를 감쇄하는 데 어려움이 있을 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 전자 장치에 포함된 복수의 마이크뿐만 아니라 통신 연결된 외부 전자 장치에 포함된 적어도 하나의 마이크를 이용하여 오디오 신호를 획득할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 회로, 메모리, 복수의 마이크, 및 상기 통신 회로, 상기 메모리, 및 상기 복수의 마이크와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 통신 회로를 통해 외부 전자 장치의 연결을 검출하고, 상기 전자 장치의 복수의 마이크를 통해 오디오 신호들을 수신하고, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 상기 오디오 신호 간 지연 시간을 계산하고, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 보상하고, 및 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔포밍을 수행하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 오디오 신호를 처리하는 방법은, 통신 회로를 통해 외부 전자 장치의 연결을 검출하는 동작, 상기 전자 장치의 복수의 마이크를 통해 오디오 신호들을 수신하는 동작, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 계산하는 동작, 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 보상하는 동작, 및 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔포밍을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 전자 장치에 포함된 복수의 마이크뿐만 아니라 통신 연결된 외부 전자 장치에 포함된 적어도 하나의 마이크를 이용하여 향상된 음질의 오디오 신호를 획득할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 전자 장치에 포함된 복수의 마이크 및 통신 연결된 외부 전자 장치에 포함된 적어도 하나의 마이크를 이용하여 빔이 형성되는 방향을 확인함으로써, 지정된 방향에서 발생되는 오디오 신호를 명확하게 획득할 수 있을 뿐만 아니라, 지정된 방향 이외의 방향에서 발생되는 잡음 신호를 감쇄시킬 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 다양한 실시예들에 따른, 오디오 모듈의 블록도이다.
도 3은, 다양한 실시예들에 따른, 전자 장치와 외부 전자 장치를 나타내는 블록도이다.
도 4는, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크 및 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호들을 처리하는 방법을 설명하기 위한 흐름도이다.
도 5는, 다양한 실시예들에 따른, 오디오 신호를 획득하기 위한 마이크를 결정하는 방법을 설명하기 위한 흐름도이다.
도 6은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호 간 지연 시간을 계산하는 방법을 설명하기 위한 도면이다.
도 7은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호 간 지연 시간을 동기화하는 방법을 설명하기 위한 도면이다.
도 8은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 9는, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 10은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)), 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144), 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct, 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예에 따른, 오디오 모듈(170)의 블록도(200)이다.
도 2를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.
오디오 입력 인터페이스(210)는 입력 장치(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 오디오 신호가 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 획득되는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일 실시예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 통해 수신된 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 상기 복수의 오디오 입력 채널들 중 대응하는 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일 실시예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)를 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(240)는 ADC(230)를 통해 입력 받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일 실시예에 따르면, 오디오 신호 처리기(240)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 예를 들어, 일 실시예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)를 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 장치(155)를 통해 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들어, dynamic driver 또는 balanced armature driver 같은 스피커, 또는 리시버를 포함할 수 있다. 일 실시예에 따르면, 음향 출력 장치(155)는 복수의 스피커들을 포함할 수 있다. 이런 경우, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일 실시예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일 실시예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 포함하지 않고, 오디오 신호 처리기(240)의 적어도 하나의 기능을 이용하여 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일 실시예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일 실시예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
도 3은, 다양한 실시예들에 따른, 전자 장치(305)와 외부 전자 장치(335)를 나타내는 블록도(300)이다.
도 3을 참조하면, 전자 장치(305)(예: 도 1의 전자 장치(101))는 통신 회로(310)(예: 도 1의 통신 모듈(190)), 메모리(315)(예: 도 1의 메모리(130)), 터치스크린 디스플레이(320)(예: 도 1의 표시 장치(160)), 코덱(325), 제1 마이크(327), 제2 마이크(328), 및/또는 프로세서(330)(예: 도 1의 프로세서(120))를 포함할 수 있으며, 도시된 구성 중 적어도 일부가 생략 또는 치환될 수 있다.
일 실시예에 따르면, 통신 회로(310)(예: 도 1의 통신 모듈(190))는 외부 전자 장치(335)(예: 도 1의 전자 장치(102))와 통신 채널을 설립하고, 외부 전자 장치(335)와 다양한 데이터 예컨대, 오디오 신호를 송수신하도록 지원할 수 있다. 다양한 실시예에 따르면, 통신 회로(310)는 근거리 통신을 지원할 수 있다. 예를 들어, 근거리 통신은 Bluetooth, Bluetooth Low Energy(BLE), WiFi, 또는 UWB를 포함할 수 있다.
일 실시예에 따르면, 메모리(315)(예: 도 1의 메모리(130))는 통신 회로(310)를 통해 외부 전자 장치(335)와 통신 연결을 지원하기 위한 프로그램을 저장할 수 있다. 일 실시예에서, 메모리(315)는 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신되는 복수의 오디오 신호들과 외부 전자 장치(335)의 제 3 마이크(351)를 통해 수신되는 오디오 신호를 동기화 하여, 지연 시간을 보상하기 위한 프로그램을 저장할 수 있다. 메모리(315)는 지정된 방향에서 발생되는 아날로그 오디오 신호를 획득하기 위한 복수의 마이크(327, 328) 및 외부 전자 장치(335)의 제 3 마이크(351)를 이용한 빔포밍을 수행하기 위한 프로그램을 저장할 수 있다.
일 실시예에 따르면, 터치스크린 디스플레이(320)(예: 도 1의 표시 장치(160))는 디스플레이(321) 및/또는 터치패널(323)을 포함할 수 있다.
일 실시예에서, 터치스크린 디스플레이(320)는 프로세서(330)의 제어 하에 영상을 표시하며, 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light-emitting diode, LED) 디스플레이, 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 또는 마이크로 전자 기계 시스템(micro electro mechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 중 어느 하나로 구현될 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 제1 마이크(327) 및 제2 마이크(328)는 아날로그 오디오 신호를 수신할 수 있다. 제1 마이크(327) 및 제2 마이크(328)로부터 수신(예: 입력)되는 아날로그 오디오 신호는 코덱(325)(예: 하드웨어 코덱(hardware codec))을 통해 pcm(pulse code modulation) 데이터와 같은 디지털 오디오 신호(예: 제1 디지털 오디오 신호 및 제2 디지털 오디오 신호)로 디코딩(예: 변환)될 수 있다. 디코딩된 디지털 오디오 신호는 프로세서(330)로 전송될 수 있다.
일 실시예에 따르면, 프로세서(330)(예: 도 1의 프로세서(120))는 전자 장치(305)의 전반적인 동작 및 전자 장치(305)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행할 수 있다.
일 실시예에서, 프로세서(330)는 통신 회로(310)를 통해 외부 전자 장치(335)와 통신 연결할 수 있다. 외부 전자 장치(335)는 적어도 하나의 마이크를 포함한 장치 예컨대, 이어 타입(ear type)의 웨어러블 장치, 또는 와치 타입(watch type)의 웨어러블 장치를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다. 프로세서(330)는 제1 마이크(327) 및/또는 제2 마이크(328)를 통해 오디오 신호(예: 제1 아날로그 오디오 신호 및/또는 제2 아날로그 오디오 신호)를 수신할 수 있다.
일 실시예에 따르면, 프로세서(330)는 제1 마이크(327)를 통해 제1 디지털 오디오 신호를 수신하고, 제2 마이크(328)를 통해 제2 디지털 오디오 신호를 수신할 수 있다. 외부 전자 장치(335)의 프로세서(355)는 제 3 마이크(351) 및 코덱(350)으로부터 제3 디지털 오디오 신호를 수신할 수 있다. 일 실시예에 따르면, 프로세서(330)는 외부 전자 장치(335)로부터 제3 디지털 오디오 신호를 수신할 수 있다. 일 실시예에서, 프로세서(330)는 제1 디지털 오디오 신호 또는 제2 디지털 오디오 신호와 제3 디지털 오디오 신호 간 지연 시간을 계산하고, 이를 보상할 수 있다. 프로세서(330)는 제1 마이크(327), 제2 마이크(328), 및 제 3 마이크(351)를 이용하여 빔포밍을 수행할 수 있다.
일 실시예에서, 외부 전자 장치(335)는 통신 회로(340), 메모리(345), 코덱(350), 제3 마이크(351), 및/또는 프로세서(355)를 포함할 수 있다.
일 실시예에서, 외부 전자 장치(335)는 웨어러블 장치(wearable device)를 포함할 수 있다. 예컨대, 웨어러블 장치는 사용자의 좌측 귀 및/또는 우측 귀에 착용되도록 설계된 이어 타입(ear type)의 웨어러블 장치, 또는 사용자의 손목에 착용되도록 설계된 와치 타입(watch type)의 웨어러블 장치를 포함할 수 있다. 하지만, 이에 한정하는 것은 아니며, 본 발명의 다양한 실시예들에 따른 웨어러블 장치는 적어도 하나의 마이크를 포함하는 전자 장치를 포함할 수 있다.
일 실시예에 따르면, 통신 회로(340)는 전자 장치(305)와 통신 채널을 설립하고, 전자 장치(305)와 다양한 데이터 예컨대, 오디오 신호를 송수신하도록 지원할 수 있다. 통신 회로(340)는 근거리 무선 통신을 지원할 수 있다. 예를 들어, 근거리 무선 통신은 Bluetooth, Bluetooth Low Energy(BLE), WiFi, 또는 UWB를 포함할 수 있다.
일 실시예에 따르면, 메모리(345)는 통신 회로(340)를 통해 전자 장치(305)와 통신 연결을 지원하기 위한 프로그램을 저장할 수 있다. 메모리(345)는 제 3 마이크(351)를 통해 오디오 신호가 수신되면, 이를 전자 장치(305)에 송신하기 위한 프로그램을 저장할 수 있다.
일 실시예에 따르면, 외부 전자 장치(335)의 프로세서(355)는 제 3 마이크(351)를 통해 아날로그 오디오 신호를 수신할 수 있다. 제 3 마이크(351)로부터 수신되는 아날로그 오디오 신호는 코덱(350)(예: 하드웨어 코덱(hardware codec))을 통해 pcm 데이터와 같은 디지털 오디오 신호(예: 제3 디지털 오디오 신호)로 디코딩(예: 변환)될 수 있다. 코덱(350)에 의해 변환된 pcm 데이터는 프로세서(355)에 전송될 수 있다. 일 실시예에서, 외부 전자 장치(335)는 제 3 마이크(351) 외에 더 많은 마이크를 포함할 수 있다.
일 실시예에 따르면, 프로세서(355)는 통신 회로(340)를 통해 전자 장치(305)와 통신 연결할 수 있다. 프로세서(355)는 제 3 마이크(351)를 통해 수신된 아날로그 오디오 신호를 디지털 오디오 신호로 변환하고, 변환된 디지털 오디오 신호를, 전자 장치(305)에 송신하도록 할 수 있다.
다양한 실시예들에 따른 전자 장치(305)는, 통신 회로(310), 메모리(315), 복수의 마이크(예: 제1 마이크(327), 제2 마이크(328)), 및 상기 통신 회로(310), 상기 메모리(315), 및 상기 복수의 마이크(327, 328)와 작동적으로 연결된 프로세서(330)를 포함하며, 상기 프로세서(330)는, 상기 통신 회로(310)를 통해 외부 전자 장치(335)의 연결을 검출하고, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 오디오 신호들을 수신하고, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신된 상기 오디오 신호 간 지연 시간을 계산하고, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호 간 지연 시간을 보상하고, 및 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 빔포밍을 수행하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 통해 수신되는 오디오 신호를, 상기 통신 회로(310)를 통해 상기 외부 전자 장치(335)로부터 수신하고, 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 기준 마이크로서 결정하고, 및 상기 결정된 기준 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신되는 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호를 동기화하여, 상기 지연 시간을 보상하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 빔포밍을 수행함에 따라 지정된 방향으로부터 수신된 오디오 신호를 증폭시키고, 상기 지정된 방향 이외의 방향에서 수신되는 오디오 신호를 감쇄시키도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 제1 신호를 제1 채널을 통해 상기 외부 전자 장치(335)에 송신하고, 상기 외부 전자 장치(335)로 송신된 제1 신호가 제2 채널을 통해 루프백(loopback)되어 리턴(return)되고, 상기 제2 채널을 통해 제2 신호를 상기 외부 전자 장치(335)에 송신하고, 상기 외부 전자 장치(335)로 송신된 제2 신호가 상기 제2 채널을 통해 루프백(loopback)되어 상기 제2 채널을 통해 리턴되고, 및 상기 리턴된 제1 신호와 상기 리턴된 제2 신호에 기반하여 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 오디오 신호가 수신되는 시간 정보를 상기 메모리(315)에 저장하고, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 통해 수신된 오디오 신호와 상기 적어도 하나의 마이크(예: 제3 마이크(351))를 통해 오디오 신호가 수신되는 시간 정보를, 상기 통신 회로(310)를 통해 상기 외부 전자 장치(335)로부터 수신하고, 상기 전자 장치(305)의 하나의 마이크(327 또는 328)를 통해 수신되는 오디오 신호의 시간 정보와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호의 시간 정보를 비교하고, 및 상기 비교 결과에 기반하여, 동일한 시간 정보를 가지는 상기 전자 장치(305)의 하나의 마이크(327 또는 328)를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호를 동기화하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치(305)는 카메라(예: 도 1의 카메라 모듈(180)) 및 디스플레이(예: 도 1의 표시 장치(160))를 더 포함하며, 상기 프로세서(330)는, 상기 카메라를 통해 획득되는 피사체를 상기 디스플레이에 표시하고, 상기 디스플레이에 표시된 피사체를 선택하는 사용자 입력이 검출되면, 상기 피사체가 위치하는 방향으로 상기 빔포밍의 방향을 설정하고, 및 상기 피사체의 움직임에 기초하여 상기 피사체를 트래킹하며, 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 빔을 형성하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 전자 장치(305)의 복수의 마이크(327, 328) 또는 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))의 위치가 변경됨을 검출하거나, 또는 상기 피사체의 움직임이 검출됨에 따라 상기 오디오 신호가 수신되는 방향이 변경되면, 상기 빔포밍의 방향을 변경하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 미만이면, 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 상기 빔포밍을 수행하도록 설정될 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(330)는, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 상기 지정된 파워 값 이상이면, 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값과 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 비교하고, 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 초과하면, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 상기 오디오 신호를 수신하도록 상기 외부 전자 장치(335)에 제어 신호를 송신하고, 및 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값 이하이면, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 이용하여 상기 빔포밍을 수행하도록 설정될 수 있다.
도 4는, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크 및 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호들을 처리하는 방법을 설명하기 위한 흐름도(400)이다.
도 4를 참조하면, 전자 장치(예: 도 3의 전자 장치(305))에 포함된 프로세서(예: 도 3의 프로세서(330))는 410동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(335))의 연결을 검출할 수 있다. 예컨대, 전자 장치(305)와 외부 전자 장치(335)는 일정 거리로 떨어진 상태로 지정된 범위 내 위치함에 따라 통신 회로(예: 도 3의 통신 회로(310), 근거리 무선 통신 회로)를 통해 통신 연결(예: 블루투스 페어링(bluetooth pairing))될 수 있다.
일 실시예에서, 외부 전자 장치(335)는 적어도 하나의 마이크(예: 도 3의 제3 마이크(351))를 포함할 수 있다. 예컨대, 외부 전자 장치(335)는 적어도 하나의 마이크를 포함하는 이어 타입(ear type)의 웨어러블 장치, 또는 와치 타입(watch type)의 웨어러블 장치를 포함할 수 있다. 하지만 이에 한정하는 것은 아니다.
일 실시예에서, 프로세서(330)는 420동작에서, 전자 장치(305)에 포함된 복수의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328))를 통해 오디오 신호들(예: 제1 디지털 오디오 신호, 제2 디지털 오디오 신호)을 수신할 수 있다. 예컨대, 프로세서(330)는 오디오 신호를 획득하기 위한 입력(예: 영상을 촬영하기 위한 입력, 사용자 발화를 처리하기 위한 음성 인식 기능을 수행하기 위한 입력, 오디오 레코딩을 위한 입력, 또는 음성 통신을 위한 입력)을 검출할 수 있다. 프로세서(330)는 오디오 신호를 획득하기 위한 입력이 검출됨에 응답하여, 복수의 마이크 예컨대, 제1 마이크(예: 도 3의 제1 마이크(327))를 통해 제1 디지털 오디오 신호를 수신하고, 제2 마이크(예: 도 3의 제2 마이크(328))를 통해 제 2 디지털 오디오 신호를 수신할 수 있다.
일 실시예에서, 프로세서(330)는 430동작에서, 전자 장치(305)의 복수의 마이크(예: 제1 마이크(327) 및 제2 마이크(328))를 통해 수신된 제1 디지털 오디오 신호 또는 제2 디지털 오디오 신호와 외부 전자 장치(예: 도 3의 외부 전자 장치(335))로부터 수신된 제3 디지털 오디오 신호 간 지연 시간을 계산할 수 있다. 예컨대, 외부 전자 장치(335)에 포함된 프로세서(355)는 외부 전자 장치(335)에 포함된 적어도 하나의 마이크(예: 도 3의 제 3 마이크(351))를 통해 제3 디지털 오디오 신호를 수신할 수 있다. 외부 전자 장치(335)의 프로세서(355)는 적어도 하나의 마이크(예: 도 3의 제3 마이크(351))로부터 수신된 제3 디지털 오디오 신호를 전자 장치(305)에 전송할 수 있다.
일 실시예에서, 전자 장치(305)와 외부 전자 장치(335)는 일정 거리로 떨어진 상태에서 동일한 아날로그 오디오를 수신할 수 있다. 동일한 아날로그 오디오가 수신되지만, 제1 마이크(327), 제 2 마이크(328), 또는 제3 마이크(351)의 위치가 다르므로, 제1 디지털 오디오 신호가 수신되는 방향, 제2 디지털 오디오 신호가 수신되는 방향, 및/또는 제3 디지털 오디오 신호가 수신되는 방향은 상이할 수 있다. 제1 마이크(327), 제 2 마이크(328), 및/또는 제3 마이크(351)의 위치가 다름에 따라 제1 디지털 오디오 신호, 제2 디지털 오디오 신호, 및/또는 제 3 디지털 오디오 신호 간 수신 시간 차이가 발생할 수 있다.
일 실시예에서, 프로세서(330)는 제3 디지털 오디오 신호를, 외부 전자 장치(335)로부터 수신할 수 있다. 프로세서(330)는 전자 장치(305)의 제1 마이크(327) 또는 제2 마이크(328)를 통해 수신된 제1 디지털 오디오 신호, 또는 제2 디지털 오디오 신호와 외부 전자 장치(335)로부터 수신한 제3 디지털 오디오 시간 간 지연 시간 차이를 계산할 수 있다.
일 실시예에서, 프로세서(330)는 440동작에서, 전자 장치(305)의 복수의 마이크(예: 제1 마이크(327) 및 제2 마이크(328))를 통해 수신된 오디오 신호들(예: 제1 디지털 오디오 신호 또는 제2 디지털 오디오 신호)와 외부 전자 장치(335)로부터 수신된 오디오 신호(예: 제3 디지털 오디오 신호) 간 지연 시간을 보상할 수 있다. 예컨대, 프로세서(330)는 제1 디지털 오디오 신호, 제2 디지털 오디오 신호, 및 제 3 디지털 오디오 신호를 동기화 하여, 지연 시간을 보상할 수 있다.
일 실시예에서, 전자 장치(305)는 무선 센서 네트워크(wireless sensor network, WSN)를 이용하여 지연 시간을 동기화할 수 있다. 무선 센서 네트워크를 이용하여 지연 시간을 동기화하는 방법으로, RBS(reference broadcasting synchronization), TPSN(timing-sync protocol for sensor networks), 또는 FTSP(the flooding time synchronization protocol)를 포함할 수 있다. 예컨대, RBS(reference broadcasting synchronization)는 센더(sender)가 비콘(beacon)을 브로드캐스트하면 리시버(receiver)가 비콘을 수신한 시간을 기록하고, 이를 비교하여 지연 시간을 동기화하는 방법을 포함할 수 있다. 다른 예를 들어, TPSN(timing-sync protocol for sensor networks)는 센더-리시버의 동기화 구조를 가진 동기화 방식으로, 하나의 센더가 다음 하나의 리시버에 동기를 전달해 주는 계층적(hierarchical) 방식의 2-way 동기 전달 방법을 포함할 수 있다. 또 다른 예를 들어, FTSP(the flooding time synchronization protocol)는 센더-리시버의 동기화 구조를 가지는 방법으로, 회차(sequence)를 사용하여 동기화 패킷의 중복 전파를 방지할 수 있다.
일 실시예에 따른 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 디지털 오디오 신호들(예: 제1 디지털 오디오 신호 및 제2 디지털 오디오 신호)과 외부 전자 장치(335)의 적어도 하나의 제 3 마이크(351)를 통해 수신된 디지털 오디오 신호(예: 제3 디지털 오디오 신호)를 동기화하는 동작과 관련하여, 후술하는 도 6 및 도 7에서 다양한 실시예들이 설명될 것이다.
일 실시예에서, 프로세서(330)는 450동작에서 전자 장치(305)의 복수의 마이크(327, 328) 및 외부 전자 장치(335)의 적어도 하나의 마이크(351)를 이용하여 빔포밍을 수행할 수 있다. 프로세서(330)는 전자 장치(305)의 복수의 마이크(327, 328) 및 외부 전자 장치(335)의 제 3 마이크(351)를 이용한 빔포밍에 따라 타겟 오디오 신호(예: 사용자가 획득하고자 하는 오디오 신호)를 검출할 수 있다. 예컨대, 프로세서(330)는 오디오 신호를 수신하는 동작에서 타겟 오디오 신호를 증폭시킬 수 있다.
일 실시예에서, 프로세서(330)는 타겟 오디오 신호 외에 수신되는 오디오 신호를 잡음(noise)으로 처리할 수 있다.
일 실시예에서, 전자 장치(305)의 복수의 마이크(327, 328) 및/또는 제 3 마이크(351)의 위치가 변경되거나, 또는 타겟 오디오가 변경되면, 전자 장치(305)의 복수의 마이크(327, 328) 및 외부 전자 장치(335)의 제 3 마이크(351)를 이용한 빔이 형성되는 방향 또한 변경(예: 조정)될 수 있다.
일 실시예에 따른 도 4에서, 하나의 외부 전자 장치의 연결을 검출하는 것으로 설명하였으나, 이에 한정하는 것은 아니며, 전자 장치(305)는 복수개의 외부 전자 장치들과 통신 연결될 수 있다.
도 5는, 다양한 실시예들에 따른, 오디오 신호를 획득하기 위한 마이크를 결정하는 방법을 설명하기 위한 흐름도(500)이다.
도 5를 참조하면, 전자 장치(예: 도 3의 전자 장치(305))에 포함된 프로세서(예: 도 3의 프로세서(330))는 510동작에서, 외부 전자 장치(예: 도 3의 외부 전자 장치(335))의 연결을 검출할 수 있다. 예컨대, 전자 장치(305)는 통신 회로(예: 도 3의 통신 회로(310))(예: 근거리 무선 통신 회로)를 통해 외부 전자 장치(335)와 통신 연결될 수 있다.
일 실시예에서, 프로세서(330)는 515동작에서, 외부 전자 장치(335)의 마이크(예: 도 3의 제3 마이크(351))를 통해 획득된 오디오 신호가 외부 전자 장치(335)로부터 수신되는지 여부를 확인할 수 있다. 예컨대, 외부 전자 장치(335)는 제3 마이크(351)를 통해 오디오 신호(예: 제3 디지털 오디오 신호)를 획득할 수 있으며, 획득한 오디오 신호(예: 제3 디지털 오디오 신호)를 전자 장치(305)에 송신할 수 있다. 프로세서(330)는 외부 전자 장치(335)의 제3 마이크(351)를 통해 획득된 오디오 신호(예: 제3 디지털 오디오 신호)를 수신하는 경우(예: 515동작의 YES), 외부 전자 장치(335)의 제3 마이크(351)가 동작하는 것으로 결정하고, 이후 520동작을 수행할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 마이크(예: 도 3의 제3 마이크(351))를 통해 획득된 오디오 신호가 외부 전자 장치(335)로부터 수신되지 않으면(예: 515동작의 NO), 프로세서(330)는 540동작에서, 전자 장치(305)의 복수의 마이크(예: 도 3의 제1 마이크(327), 또는 제2 마이크(328))를 통해 빔포밍을 수행할 수 있다. 예컨대, 프로세서(330)는 전자 장치(305)의 복수의 마이크(327, 328)를 이용하여 빔을 형성함으로써, 빔이 형성된 방향에서의 오디오 신호를 수신할 수 있다.
일 실시예에서, 프로세서(330)는 520동작에서, 외부 전자 장치(335)로부터 수신된 오디오 신호를 전처리(pre-processing)할 수 있다. 예컨대, 전처리는 역양자화 처리, 신호 증폭, 및/또는 신호 조정을 포함할 수 있다.
일 실시예에서, 프로세서(330)는 525동작에서, 오디오 신호에서 음성 신호를 검출할 수 있다. 예컨대, 프로세서(330)는 VAD(voice activity detection) 모듈(미도시)을 이용하여 오디오 신호에서 음성 신호를 검출할 수 있다. 일 실시예에서, 미도시 되었으나, 아날로그 오디오 신호가 발생함에 따라 프로세서(330)는 515동작의 외부 전자 장치(335)의 제3 마이크(351)를 통해 획득된 오디오 신호(예: 제3 디지털 오디오 신호)를 수신하고, 전자 장치(305)의 복수의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328))를 통해 오디오 신호들을 수신할 수 있다. 예컨대, 프로세서(330)는 제1 마이크(327)를 통해 제1 디지털 오디오 신호를 수신하고, 제2 마이크(328)를 통해 제 2 디지털 오디오 신호를 수신할 수 있다.
일 실시예에서, 프로세서(330)는 530동작에서, 외부 전자 장치(335)의 마이크(예: 제3 마이크(351))를 통해 수신된 오디오 신호의 파워 값과 전자 장치(305)의 마이크(예: 제1 마이크(327), 제2 마이크(328) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값을 초과하는지 여부를 결정할 수 있다. 예컨대, 프로세서(330)는 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크(예: 제1 마이크(327) 또는 제2 마이크(328))를 기준 마이크로서 결정하고, 기준 마이크(예: 제1 마이크(327) 또는 제2 마이크(328))를 통해 수신된 오디오 신호의 파워 값(예: 제1 디지털 오디오 신호의 파워 값 또는 제2 디지털 오디오 신호의 파워 값)을 측정할 수 있다.
일 실시예에서, 프로세서(330)는 외부 전자 장치(335)의 마이크(예: 제 3 마이크(351))를 통해 수신된 오디오 신호(예: 제 3 디지털 오디오 신호)의 파워 값을 측정할 수 있다. 또 다른 예로, 외부 전자 장치(335)의 프로세서(355)는 마이크(예: 제 3 마이크(351))를 통해 수신된 오디오 신호(예: 제 3 디지털 오디오 신호)의 파워 값을 측정하고, 이를 전자 장치(305)에 송신할 수 있다. 프로세서(330)는 외부 전자 장치(335)로부터 외부 전자 장치(335)의 마이크(예: 제 3 마이크(351))를 통해 수신된 오디오 신호(예: 제 3 디지털 오디오 신호)의 파워 값을 수신할 수 있다.
일 실시예에서, 프로세서(330)는 기준 마이크(예: 제1 마이크(327) 또는 제2 마이크(328))를 통해 수신된 오디오 신호의 파워 값(예: 제1 디지털 오디오 신호의 파워 값 또는 제2 디지털 오디오 신호의 파워 값)과 외부 전자 장치(335)의 마이크(예: 제 3 마이크(351))를 통해 수신된 오디오 신호(예: 제3 디지털 오디오 신호)의 파워 값을 비교할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값과 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 미만이면(예: 530동작의 YES), 프로세서(330)는 535동작에서, 전자 장치(305)의 복수의 마이크(예: 제1 마이크(327) 및 제2 마이크(328)) 및 외부 전자 장치(335)의 마이크(예: 제3 마이크(351))를 이용하여 빔포밍을 수행할 수 있다. 전자 장치(305)의 복수의 마이크(예: 제1 마이크(327) 및 제2 마이크(328)) 및 외부 전자 장치(335)의 마이크(예: 제3 마이크(351))를 이용하여 빔포밍을 수행함으로써 빔이 형성된 방향에서의 오디오 신호를 수신할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값과 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 이상이면(예: 530동작의 NO), 프로세서(330)는 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값과 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값을 비교할 수 있다. 예컨대, 프로세서(330)는 545동작에서, 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값이 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값을 초과하는지 여부를 확인할 수 있다. 예컨대, 프로세서(330)는 제1 디지털 오디오 신호의 파워 값 또는 제2 디지털 오디오 신호의 파워 값과 제3 디지털 오디오 신호의 파워 값을 비교할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값이 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값 이하이면(예: 545동작의 NO), 프로세서(330)는 550동작에서, 전자 장치(305)의 복수의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328))를 통해 빔포밍을 수행할 수 있다. 예컨대, 프로세서(330)는 전자 장치(305)의 복수의 마이크(327, 328)를 이용하여 빔을 형성함으로써, 빔이 형성된 방향에서의 오디오 신호를 수신할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 마이크(351)를 통해 수신된 오디오 신호의 파워 값이 전자 장치(305)의 마이크(예: 도 3의 제1 마이크(327), 제2 마이크(328)) 중 하나의 마이크)를 통해 수신된 오디오 신호의 파워 값을 초과하면(예: 545동작의 YES), 프로세서(330)는 555동작에서, 외부 전자 장치(335)의 마이크(351)를 통해 획득된 오디오 신호를 외부 전자 장치(335)로부터 수신할 수 있다. 예컨대, 프로세서(330)는 외부 전자 장치(335)의 마이크(예: 제3 마이크(351))를 이용하여 오디오를 수신하도록, 외부 전자 장치(305)에 제어 신호를 송신할 수 있다. 외부 전자 장치(335)에 포함된 프로세서(355)는 전자 장치(305)로부터 수신한 제어 신호에 기반하여, 마이크(예: 제3 마이크(351))를 통해 획득된 오디오 신호를 전자 장치(305)에 송신할 수 있다.
일 실시예에서, 빔이 형성된 방향에서 수신된 오디오 신호로부터 잡음을 검출하고, 잡음이 검출된 구간에 대하여 예컨대, 잡음 억제(noise suppression) 기술을 적용함으로써, 오디오 신호에 포함된 잡음을 제거할 수 있다.
다양한 실시예들에 따른 도 5에서, 오디오 신호의 파워 값이 큰 전자 장치의 마이크를 이용하여 오디오 신호를 수신함에 따라, 명확하고 향상된 음질의 타겟 오디오 신호를 획득할 수 있다.
도 6은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호 간 지연 시간을 계산하는 방법을 설명하기 위한 도면(600)이다.
일 실시예에 따른 도 6에서 기준 신호(610)는 2개의 채널 예컨대, 어쿠스틱 채널(620)(acoustic ch.) 및 무선 채널(630)(wireless ch.)을 통해 외부 전자 장치(335)에 송신될 수 있다. 예컨대, 어쿠스틱 채널(620) 및 무선 채널(630)을 통해 송신된 기준 신호(610)가 무선 채널(630)을 통해 루프백(loopback)되어 전자 장치(305)의 복수의 마이크(327, 328)로 리턴되는 것에 기반하여, 전자 장치(305)는 전자 장치(305)의 복수의 마이크(327, 328)로부터 수신되는 오디오 신호(예: 제1 디지털 오디오 신호 또는 제2 디지털 오디오 신호)와 외부 전자 장치(335)로부터 수신되는 오디오 신호(예: 제3 디지털 오디오 신호) 간 지연을 계산할 수 있다.
도 6을 참조하면, 전자 장치(305)는 무선 채널(630)을 통해 기준 신호(610)를 외부 전자 장치(335)에 송신할 수 있다. 송신되는 기준 신호(610)는 외부 전자 장치(335)에서 루프백(loopback)되어 무선 채널(630)을 통해 전자 장치(305)로 리턴(return)될 수 있다.
일 실시예에서, 전자 장치(305)는 스피커(예: 도 1의 음향 출력 장치(155))를 통해 출력되는 기준 신호(610)를 어쿠스틱 채널(620)(acoustic ch.)을 통해 외부 전자 장치(335)에 송신할 수 있다. 외부 전자 장치(335)로 송신된 기준 신호(610)는 무선 채널(630)(wireless ch.)을 통해 루프백(loopback)되어 전자 장치(305)로 리턴(return)될 수 있다.
일 실시예에서, 전자 장치(305)는 무선 채널(630)을 통해 외부 전자 장치(335)에 송신한 기준 신호(610)가 외부 전자 장치(335)로부터 무선 채널(630)을 통해 리턴됨에 따른 시간과 어쿠스틱 채널(620)을 통해 외부 전자 장치(335)에 송신한 기준 신호(610)가 외부 전자 장치(335)로부터 무선 채널(630)을 통해 외부 전자 장치(335)로부터 리턴됨에 따른 시간에 기반하여 전자 장치(305)의 마이크(예: 제1 마이크(327) 또는 제2 마이크(328))로 수신되는 오디오 신호와 외부 전자 장치(335)의 제 3 마이크(351)로 수신되는 오디오 신호 간 지연 시간을 계산할 수 있다. 예컨대, 기준 신호(610)가 무선 채널(630)을 통해 외부 전자 장치(335)에 송신되고 외부 전자 장치(335)로부터 리턴됨에 따라 무선 채널(630)에서의 시간 지연은 2배가 될 수 있다. 어쿠스틱 채널(620)에서의 지연을 계산하기 위해 스피커(예: 도 1의 음향 출력 장치(155))를 통해 출력되는 기준 신호(610)가 어쿠스틱 채널(620)을 통해 외부 전자 장치(335)에 송신되고 외부 전자 장치(335)로부터 무선 채널(630)을 통해 루프백(loopback)됨에 따른 시간 지연에 0.5배를 할 수 있다. 무선 채널(630)을 통해 외부 전자 장치(335)에 송신되고 외부 전자 장치(335)로부터 리턴됨에 따른 지연(예: 무선 채널 지연*2)과 어쿠스틱 채널(620)을 통해 외부 전자 장치(335)에 송신되고 외부 전자 장치(335)로부터 무선 채널(630)을 통해 루프백(loopback)됨에 따른 지연(예: 무선 채널 지연*0.5) 간 차를 이용하여 어쿠스틱 채널(620)에서의 지연을 계산할 수 있다.
도 7은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호 간 지연 시간을 동기화하는 방법을 설명하기 위한 도면(700)이다.
도 7을 참조하면, 전자 장치(305)는 통신 회로(310)를 통해 외부 전자 장치(335)와 통신 연결될 수 있다. 전자 장치(305)는 전자 장치(305)와 통신 연결된 외부 전자 장치(335)와 동일한 시간 정보(예: 시간 인덱스(index))를 가질 수 있다.
일 실시예에서, 전자 장치(305)의 메모리(315)에 저장된 기준 시간 발생부(710)는 시간 정보를 생성할 수 있다. 기준 시간 발생부(710)는 생성된 시간 정보를 프로세서(330)에 전달할 수 있다. 전자 장치(305)의 프로세서(330)는 기준 시간 발생부(710)에 의해 생성된 시간 정보를 통신 회로(310)를 통해 외부 전자 장치(335)에 송신(725)할 수 있다. 외부 전자 장치(335)는 전자 장치(305)로부터 수신한 시간 정보를 기준 시간 정보(750)로서 메모리(345)에 저장할 수 있다. 전자 장치(305)의 메모리(315)에 저장된 기준 시간 발생부(710)는 생성되는 시간 정보를 지정된 시간 간격으로 프로세서(330)에 전달할 수 있다. 프로세서(330)는 기준 시간 발생부(710)에 의해 생성되는 시간 정보를 지정된 시간 간격으로 외부 전자 장치(335)에 송신(725)할 수 있다. 예컨대, 프로세서(330)는 지정된 시간 간격으로 블루투스 프로파일(bluetooth profile)을 이용하여 기준 시간 정보를 외부 전자 장치(335)에 송신(725)할 수 있다. 외부 전자 장치(335)는 전자 장치(305)로부터 지정된 시간 간격으로 수신되는 시간 정보에 기반하여 메모리(345) 내 저장된 기준 시간 정보(750)를 업데이트할 수 있다.
일 실시예에서, 프로세서(330)는 마이크 예컨대, 제1 마이크(327)(또는, 제2 마이크(328))로부터 아날로그 오디오 신호를 수신할 수 있다. 제1 마이크(327)로부터 수신(예: 입력)되는 아날로그 오디오 신호는 코덱(715)(예: 도 3의 코덱(325), 하드웨어 코덱(hardware codec))을 통해 pcm(pulse code modulation) 데이터와 같은 디지털 오디오 신호(예: 제1 디지털 오디오 신호)로 디코딩(예: 변환)될 수 있다. 프로세서(330)는 코덱(715)에 의해 변환된 pcm 데이터를 메모리(315) 내 빔포밍 솔루션(beamforming solution)(730)으로 송신할 수 있다. 프로세서(330)는 코덱(715)에 의해 변환된 pcm 데이터를 빔포밍 솔루션(730)으로 송신하는 중에 기준 시간 발생부(710)로부터 오디오 신호에 대한 시간 정보를 수신할 수 있다. 프로세서(330)는 수신된 오디오 신호에 대한 시간 정보가 기록된 타임스탬프(timestamp) pcm 데이터를 빔포밍 솔루션(730)으로 송신(735)할 수 있다. 예컨대, 프로세서(330)는 디지털 오디오 신호로 수신되는 pcm 데이터들을 일정 프레임(frame) 단위로 하여 타임스탬프(예: 인덱스)로 표시할 수 있다.
일 실시예에서, 외부 전자 장치(335)의 프로세서(355)는 제 3 마이크(351)를 통해 아날로그 오디오 신호를 수신할 수 있다. 제 3 마이크(351)로부터 수신되는 아날로그 오디오 신호는 코덱(760)(예: 도 3의 코덱(350), 하드웨어 코덱(hardware codec))을 통해 pcm 데이터와 같은 디지털 오디오 신호(예: 제3 디지털 오디오 신호)로 디코딩(예: 변환)될 수 있다. 프로세서(355)는 코덱(760)에 의해 변환된 pcm 데이터를 통신 회로(340)를 통해 전자 장치(305)에 송신(765)할 수 있다. 일 실시예에서, 프로세서(355)는 코덱(760)에 의해 변환된 pcm 데이터를 전자 장치(305)로부터 수신한 기준 시간 정보(750)에 기반하여 메모리(345)에 저장할 수 있다. 예컨대, 프로세서(355)는 디지털 오디오 신호로 수신되는 pcm 데이터들을 일정 프레임(frame) 단위로 하여 타임스탬프(예: 인덱스)로 표시할 수 있다. 프로세서(355)는 타임스탬프 pcm 데이터를 통신 회로(340)를 통해 전자 장치(305)에 송신(765)할 수 있다. 전자 장치(305)의 프로세서(330)는 외부 전자 장치(335)로부터 수신한 타임스탬프 pcm 데이터를 메모리(315)에 저장할 수 있다. 예를 들어, 전자 장치(305)의 프로세서(330)는 외부 전자 장치(335)로부터 수신한 타임스탬프 pcm 데이터를 메모리(315) 내 빔포밍 솔루션(730)에 저장할 수 있다.
일 실시예에서, 프로세서(355)는 블루투스 프로파일(예: SCO(synchronous connection oriented), A2DP(advanced audio distribution profile), 또는 SPP(serial port profile))을 이용하여 타임스탬프 pcm 데이터를 포함하는 블루투스 패킷(bluetooth packet)을 통신 회로(340)를 통해 전자 장치(305)에 송신(765)할 수 있다.
일 실시예에서, 프로세서(330)는 메모리(315) 내 빔포밍 솔루션(730)을 이용하여 코덱(715)으로부터 수신한 타임스탬프 pcm 데이터와 외부 전자 장치(335)로부터 수신한 타임스탬프 pcm 데이터를 비교하고, 동일한 타임스탬프(예: 동일한 시간 인덱스)를 가지는 pcm 데이터를 동일한 시간에 제1 마이크(327), 또는 제 3 마이크(351)를 통해 입력되는 오디오 신호로 결정할 수 있다. 프로세서(330)는 빔포밍 솔루션(730)을 이용하여 동일한 타임스탬프를 가지는 전자 장치(305)의 pcm 데이터와 외부 전자 장치(335)의 pcm 데이터를 동기화할 수 있다.
도 8은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면(800)이다.
일 실시예에 따른 도 8의 참조번호 <810>은 사용자(815)가 외부 전자 장치(예: 도 3의 외부 전자 장치(335)) 예컨대, 이어 타입의 웨어러블 장치(830)를 귀에 착용한 상태에서 전자 장치(예: 도 3의 전자 장치(305))를 이용하여 피사체(820)를 촬영하는 실시예를 포함할 수 있다.
도 8의 참조번호 <810>을 참조하면, 전자 장치(305)는 전자 장치(305)의 마이크(예: 제1 마이크(327) 및 제2 마이크(328))를 통해 오디오 신호 예컨대, 피사체(820)의 오디오 신호를 수신할 수 있다. 이어 타입의 웨어러블 장치(830)는 마이크(833)(예: 제 3 마이크(351))를 통해 오디오 신호 예컨대, 피사체(820)의 아날로그 오디오 신호를 수신할 수 있다. 이어 타입의 웨어러블 장치(830)는 마이크(833)로부터 수신된 피사체(820)의 아날로그 오디오 신호를 전자 장치(305)에 전송할 수 있다.
일 실시예에서, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 피사체(820)의 아날로그 오디오 신호가 수신되는 방향으로 빔포밍 방향이 설정될 수 있다. 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)는 피사체(820)의 아날로그 오디오 신호가 수신되는 방향으로 빔(835)을 형성할 수 있으며, 형성된 빔(835)을 통해 피사체(820)의 아날로그 오디오 신호를 수신할 수 있다. 예컨대, 전자 장치(305)는 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 피사체(820)의 아날로그 오디오 신호가 수신되는 방향으로 빔을 형성(835)하여 수신된 피사체(820)의 아날로그 오디오 신호를 증폭할 수 있다. 피사체(820)의 아날로그 오디오 신호가 증폭됨에 따라 향상된 음질의 피사체(820)의 오디오 신호를 획득할 수 있다.
일 실시예에서, 전자 장치(305)는 피사체(820)의 아날로그 오디오 신호를 제외한 아날로그 오디오 신호 예컨대, 복수의 마이크(327, 328)를 통해 형성된 빔에 의해 피사체(820)의 아날로그 오디오 신호가 수신되는 방향이 아닌 다른 방향에서 수신되는 아날로그 오디오 신호 예컨대, 피사체(820)를 촬영하는 사용자(815)의 아날로그 오디오 신호를 감쇄시킬 수 있다.
일 실시예에서, 전자 장치(305)는 감쇄된 피사체(820)를 촬영하는 사용자(815)의 아날로그 오디오 신호와 이어 타입의 웨어러블 장치(830)로부터 수신하여 증폭한 피사체(820)의 아날로그 오디오 신호를 믹싱할 수 있다.
일 실시예에서, 전자 장치(305)는 피사체(820)를 촬영하는 경우 이어 타입의 웨어러블 장치(830)의 마이크(833)를 통해 수신되는 피사체(820)의 아날로그 오디오 신호를 실시간으로 모니터링 할 수 있으며, 모니터링을 통해 전방 지향성 및/또는 믹싱 비율을 실시간으로 조절할 수 있다.
다른 실시예에서, 미도시 되었으나, 전자 장치(305)는 ToF(time of flight) 카메라를 이용하여 사용자(815)와 피사체(820) 간 거리를 획득할 수 있으며, 장면(scene)(예: 인물, 야경, 풍경, 역광 인물, 야간 인물, 역광, 매크로, 약한 조명, 또는 스포트라이트)을 분석할 수 있다. 전자 장치(305)는 분석된 장면에 기반하여 피사체(820)의 아날로그 오디오 신호의 오디오 레벨을 조절, 및/또는 믹싱을 수행할 수 있다.
또 다른 실시예에서, 미도시 되었으나, 전자 장치(305)는 ToF 카메라를 이용하여 사용자(815)와 피사체(820) 간 거리를 획득할 수 있다. 획득된 거리가 지정된 거리를 초과하는 경우, 전자 장치(305)는 전자 장치(305) 또는 외부 전자 장치(335)를 피사체(820)가 위치하는 방향으로의 이동에 대한 알림 메시지를 출력할 수 있다. 예컨대, 피사체(820)를 촬영 시 사용자(815)와 피사체(820)의 거리가 먼 경우(예: 사용자(815)와 피사체(820) 간 거리가 지정된 거리를 초과하는 경우), 피사체(820)의 음성 신호의 레벨이 낮아, 명확한 음성 신호를 획득하지 못할 수 있다. 피사체(820)의 음성 신호를 정확하게 획득하기 위해, 전자 장치(305)는 피사체(820)가 위치하는 방향으로의 이동에 대한 알림 메시지(예: 전자 장치(305)를 피사체(820)가 위치하는 방향으로 이동하도록 유도하기 위한 알림 메시지)를 출력할 수 있다.
일 실시예에 따른 도 8의 참조번호 <850>은 사용자(815)가 이어 타입의 웨어러블 장치(335)를 귀에 착용한 상태에서 전자 장치(305)를 이용하여 영상 통화를 수행하는 실시예를 포함할 수 있다.
도 8의 참조번호 <850>을 참조하면, 전자 장치(305)는 전자 장치(305)의 마이크(예: 제1 마이크(327) 및 제2 마이크(328))와 이어 타입의 웨어러블 장치(335)의 제3 마이크(351)를 통해 오디오 신호 예컨대, 사용자(815)의 아날로그 오디오 신호를 수신할 수 있다. 일 실시예에서, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(335)의 제3 마이크(351)를 이용하여 사용자(815)의 아날로그 오디오 신호가 수신되는 방향으로 빔포밍 방향을 설정할 수 있다. 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(335)의 제3 마이크(351)는 형성된 빔(865)을 통해 사용자(815)의 아날로그 오디오 신호를 수신할 수 있다. 예컨대, 이어 타입의 웨어러블 장치의 제3 마이크(351)를 이용하여 사용자(815)의 아날로그 오디오 신호가 수신되는 방향으로 빔을 형성(865)하여, 사용자(815)의 아날로그 오디오 신호를 수신할 수 있다. 전자 장치(305)는 수신되는 사용자(815)의 아날로그 오디오 신호를 증폭할 수 있다. 사용자(815)의 아날로그 오디오 신호가 증폭됨에 따라 향상된 음질의 사용자(815)의 아날로그 오디오 신호를 획득할 수 있다.
일 실시예에서, 전자 장치(305)는 사용자(815)의 아날로그 오디오 신호를 제외한 아날로그 오디오 신호 예컨대, 사용자(815)의 아날로그 오디오 신호가 수신되는 방향이 아닌 다른 방향에서 수신되는 아날로그 오디오 신호 예컨대, 전자 장치(305)의 주변에서 검출되는 아날로그 오디오 신호를 감쇄시킬 수 있다.
일 실시예에서, 전자 장치(305)는 감쇄된 전자 장치(305)의 주변에서 검출되는 아날로그 오디오 신호와 이어 타입의 웨어러블 장치(830)로부터 수신하여 증폭한 아날로그 오디오 신호를 믹싱할 수 있다.
도 9는, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면(900)이다.
일 실시예에 따른 도 9의 참조번호 <910>은 사용자(915)가 외부 전자 장치(예: 도 3의 외부 전자 장치(335)) 예컨대, 이어 타입의 웨어러블 장치(830)를 귀에 착용한 상태에서 전자 장치(예: 도 3의 전자 장치(305))를 이용하여 피사체(920)를 촬영하는 실시예를 포함할 수 있다.
도 9의 참조번호 <910>을 참조하면, 전자 장치(305)는 카메라(예: 도 1의 카메라 모듈(180))를 통해 획득되는 피사체(920)를 포함하는 화면을 디스플레이(예: 도 3의 디스플레이(321))에 표시할 수 있다. 디스플레이(321)에 표시된 피사체(920)를 선택하는 입력이 검출되면, 전자 장치(305)의 복수의 마이크(327, 328)와 이어 타입의 웨어러블 장치(830)의 마이크(833)(예: 제 3 마이크(351))는 피사체(920)에 대해 빔 트래킹(beam tracking)을 수행할 수 있다.
일 실시예에서, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 선택된 피사체(920)가 위치하는 방향으로 빔포밍 방향을 설정할 수 있다. 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)는 형성된 빔(935)을 통해 피사체(920)의 아날로그 오디오 신호를 수신할 수 있다.
일 실시예에서, 이어 타입의 웨어러블 장치(830)가 피사체(920)의 귀에 착용된 상태에서 피사체(920)의 움직임에 따라 피사체(920)의 아날로그 오디오 신호가 수신되는 방향이 변경될 수 있다. 피사체(920)의 아날로그 오디오 신호가 수신되는 방향이 변경되면, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용한 빔이 형성되는 방향 또한 변경(예: 조정)될 수 있다. 예컨대, 피사체(920)의 아날로그 오디오 신호가 수신되는 방향이 변경되는 경우, 전술한 도 7의 실시예에 따라 전자 장치(305)는 전자 장치(305)의 복수의 마이크(327, 328)로부터 수신되는 오디오 신호들과 이어 타입의 웨어러블 장치(830)의 마이크(833)로부터 수신되는 오디오 신호 간 지연 시간을 동기화하여 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔이 형성되는 방향을 실시간으로 조정할 수 있다. 다른 예를 들어, 디스플레이(321)에 표시된 카메라(180)를 통해 획득되는 피사체(920)를 선택하는 입력을 검출하는 것에 기반하여, 전자 장치(305)는 선택한 피사체(920)를 트래킹하며 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔이 형성되는 방향을 조정할 수 있다.
일 실시예에 따른 도 9의 참조번호 <950>은 사용자(915)가 외부 전자 장치(예: 도 3의 외부 전자 장치(335)) 예컨대, 이어 타입의 웨어러블 장치(830)를 귀에 착용한 상태에서 전자 장치(예: 도 3의 전자 장치(305))를 이용하여 복수의 피사체(920, 955)를 촬영하는 실시예를 포함할 수 있다.
도 9의 참조번호 <950>을 참조하면, 전자 장치(305)는 ToF 카메라를 이용하여 피사체의 수, 피사체가 위치하는 방향, 및/또는 피사체와의 거리를 획득할 수 있다. 전자 장치(305)는 카메라를 통해 획득되는 복수의 피사체(920, 955)를 포함하는 화면을 디스플레이(예: 도 3의 디스플레이(321))에 표시할 수 있다. 디스플레이(321)에 표시된 복수의 피사체(920, 955) 중 하나의 피사체(920 또는 955)를 선택하는 입력이 검출되면, 전자 장치(305)의 복수의 마이크(327, 328)와 이어 타입의 웨어러블 장치(830)의 마이크(833)는 선택된 피사체(920 또는 955)를 트래킹하며 빔(970 또는 975)을 형성할 수 있다.
일 실시예에서, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 선택된 피사체(920 또는 955)가 위치하는 방향에 대응하도록 빔포밍 방향을 설정할 수 있다. 전자 장치(305)는 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)에 기반하여 빔을 형성(970 또는 975)할 수 있다. 선택된 피사체(920 또는 955)에 대해, 형성된 빔(970 또는 975)을 통해 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)는 선택된 피사체(920 또는 955)의 아날로그 오디오 신호를 수신할 수 있다.
도 10은, 다양한 실시예들에 따른, 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호를 처리하는 방법을 설명하기 위한 도면(1000)이다.
일 실시예에 따른 도 10은 사용자(1005)가 전자 장치(예: 도 3의 전자 장치(305))를 이용하여 피사체(1010)를 촬영하고, 외부 전자 장치(예: 도 3의 외부 전자 장치(335)) 예컨대, 이어 타입의 웨어러블 장치(830)가 피사체(1010)의 귀에 착용된 상태에서 오디오 신호를 처리하는 실시예를 포함할 수 있다.
도 10을 참조하면, 사용자(1005)와 피사체(1010)는 일정 거리 떨어진 상태일 수 있다. 전자 장치(305)는 이어 타입의 웨어러블 장치(830)로부터 피사체(1010)의 아날로그 오디오 신호와 피사체(1010) 주변의 아날로그 오디오 신호를 수신할 수 있다. 전자 장치(305)는 피사체(1010)를 촬영하는 경우 이어 타입의 웨어러블 장치(830)의 마이크(833)(예: 제 3 마이크(351))를 통해 수신되는 피사체(1010)의 아날로그 오디오 신호를 실시간으로 모니터링 할 수 있으며, 모니터링을 통해 전방 지향성 및/또는 믹싱 비율을 실시간으로 조절할 수 있다.
일 실시예에서, 전자 장치(305)는 ToF 카메라를 이용하여 피사체(1010)가 위치하는 방향 및/또는 피사체(1010)와의 거리를 획득할 수 있다. 전자 장치(305)는 ToF 카메라를 통해 획득되는 피사체(1010)와의 거리에 기반하여 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 동일한 볼륨(volume)의 피사체(1010)에 대한 아날로그 오디오 신호를 획득하도록 마이크(833) 감도의 조절(예: 획득되는 아날로그 오디오 신호의 볼륨을 증대 또는 감소)을 제어할 수 있다. 마이크(833) 감도가 조절됨에 따라 사용자(1005)와 피사체(1010) 간 거리가 멀어지거나 또는 가까워지는 경우에도, 전자 장치(305)는 동일한 볼륨의 피사체(1010)에 대한 오디오 신호를 획득할 수 있다.
일 실시예에서, 이어 타입의 웨어러블 장치(830)가 피사체(1010)의 귀에 착용된 상태에서 피사체(1010)의 움직임에 따라 피사체(1010)의 아날로그 오디오 신호가 수신되는 방향이 변경될 수 있다. 피사체(1010)의 아날로그 오디오 신호가 수신되는 방향이 변경되면, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용한 빔이 형성되는 방향 또한 변경(예: 조정)될 수 있다. 예컨대, 피사체(1010)의 아날로그 오디오 신호가 수신되는 방향이 변경되는 경우, 전술한 도 7의 실시예에 따라 전자 장치(305)의 복수의 마이크(327, 328)로부터 수신되는 오디오 신호들과 이어 타입의 웨어러블 장치(830)의 마이크(833)로부터 수신되는 오디오 신호 간 지연 시간을 동기화하여 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔이 형성되는 방향을 실시간으로 조정할 수 있다. 다른 예를 들어, 카메라(예: 도 1의 카메라 모듈(180))를 통해 획득되는 피사체(1010)를 포함하는 화면을 디스플레이(예: 도 3의 디스플레이(321))에 표시하는 경우, 피사체(1010)를 선택함에 따라, 선택된 피사체(1010)를 트래킹하며 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔이 형성되는 방향을 조정할 수 있다.
일 실시예에서, 미도시 되었으나, 전자 장치(305) 및 전자 장치(305)와 통신 연결된 외부 전자 장치(335) 예컨대, 이어 타입의 웨어러블 장치(830)를 이용하여 게임 어플리케이션 실행으로, 게임 수행 시 음성 인식 기능을 수행하는 경우, 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔포밍을 수행할 수 있다. 전자 장치(305)의 복수의 마이크(327, 328) 및 이어 타입의 웨어러블 장치(830)의 마이크(833)를 이용하여 빔포밍을 수행함에 따라 음성 인식률이 개선될 수 있다.
다양한 실시예들에 따른 전자 장치(305)의 오디오 신호 처리 방법은, 통신 회로(예: 도 3의 통신 회로(310))를 통해 외부 전자 장치(335)의 연결을 검출하는 동작, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 오디오 신호들을 수신하는 동작, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호 간 지연 시간을 계산하는 동작, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호 간 지연 시간을 보상하는 동작, 및 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 도 3의 제3 마이크(351))를 이용하여 빔포밍을 수행하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 지연 시간을 계산하는 동작은, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 도 3의 제3 마이크(351))를 통해 수신되는 오디오 신호를, 상기 통신 회로(310)를 통해 상기 외부 전자 장치(335)로부터 수신하는 동작, 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 기준 마이크로서 결정하는 동작, 및 상기 결정된 기준 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 지연 시간을 보상하는 동작은, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신되는 오디오 신호들과 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호를 동기화하여, 상기 지연 시간을 보상하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(305)의 오디오 신호 처리 방법은, 상기 빔포밍을 수행하여, 지정된 방향으로부터 수신된 오디오 신호를 증폭시키고, 상기 지정된 방향 이외의 방향에서 수신되는 오디오 신호를 감쇄시키는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 지연 시간을 계산하는 동작은, 제1 신호를 제1 채널(예: 도 6의 어쿠스틱 채널(620))을 통해 상기 외부 전자 장치(335)에 송신하고, 상기 외부 전자 장치(335)로 송신된 제1 신호가 제2 채널(예: 도 6의 무선 채널(630))을 통해 루프백(loopback)되어 리턴(return)되는 동작, 상기 제2 채널(630)을 통해 제2 신호를 상기 외부 전자 장치(335)에 송신하고, 상기 외부 전자 장치(335)로 송신된 제2 신호가 상기 제2 채널(630)을 통해 루프백(loopback)되어 상기 제2 채널(630)을 통해 리턴되는 동작, 및 상기 리턴된 제1 신호와 상기 리턴된 제2 신호에 기반하여 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 지연 시간을 보상하는 동작은, 상기 전자 장치(305)의 복수의 마이크(327, 328) 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 오디오 신호가 수신되는 시간 정보를 메모리(예: 도 3의 메모리(315))에 저장하는 동작, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 통해 수신된 오디오 신호와 상기 적어도 하나의 마이크(예: 제3 마이크(351))를 통해 오디오 신호가 수신되는 시간 정보를, 상기 통신 회로(310)를 통해 상기 외부 전자 장치(335)로부터 수신하는 동작, 상기 전자 장치(305)의 하나의 마이크(327 또는 328)를 통해 수신되는 오디오 신호의 시간 정보와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호의 시간 정보를 비교하는 동작, 및 상기 비교 결과에 기반하여, 동일한 시간 정보를 가지는 상기 전자 장치(305)의 하나의 마이크(327 또는 328)를 통해 수신되는 오디오 신호와 상기 외부 전자 장치(335)로부터 수신되는 오디오 신호를 동기화하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 상기 빔포밍을 수행하는 동작은, 카메라(예: 도 1의 카메라 모듈(180))를 통해 획득되는 피사체를 디스플레이(예: 도 1의 표시 장치(160))에 표시하는 동작, 상기 디스플레이에 표시된 피사체를 선택하는 사용자 입력이 검출되면, 상기 피사체가 위치하는 방향으로 상기 빔포밍의 방향을 설정하는 동작, 및 상기 피사체의 움직임에 기초하여 상기 피사체를 트래킹하며, 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 빔을 형성하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(305)의 오디오 신호 처리 방법은, 상기 전자 장치(305)의 복수의 마이크(327, 328) 또는 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))의 위치가 변경됨을 검출하거나, 또는 상기 피사체의 움직임이 검출됨에 따라 상기 오디오 신호가 수신되는 방향이 변경되면, 상기 빔포밍의 방향을 변경하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따르면, 상기 빔포밍을 수행하는 동작은, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 미만이면, 상기 전자 장치(305)의 복수의 마이크(327, 328) 및 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 상기 빔포밍을 수행하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(305)의 오디오 신호 처리 방법은, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 상기 지정된 파워 값 이상이면, 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값과 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 비교하는 동작, 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 초과하면, 상기 외부 전자 장치(335)의 적어도 하나의 마이크(예: 제3 마이크(351))를 이용하여 상기 오디오 신호를 수신하도록 상기 외부 전자 장치(335)에 제어 신호를 송신하는 동작, 및 상기 외부 전자 장치(335)로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치(305)의 복수의 마이크(327, 328)를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값 이하이면, 상기 전자 장치(305)의 복수의 마이크(327, 328)를 이용하여 상기 빔포밍을 수행하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트 폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B, 또는 C", "A, B, 및 C 중 적어도 하나”, 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 회로;
    메모리;
    복수의 마이크; 및
    상기 통신 회로, 상기 메모리, 및 상기 복수의 마이크와 작동적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 통신 회로를 통해 외부 전자 장치의 연결을 검출하고,
    상기 전자 장치의 복수의 마이크를 통해 오디오 신호들을 수신하고,
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 상기 오디오 신호 간 지연 시간을 계산하고,
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 보상하고, 및
    상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔포밍을 수행하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치의 적어도 하나의 마이크를 통해 수신되는 오디오 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고,
    상기 전자 장치의 복수의 마이크 중 하나의 마이크를 기준 마이크로서 결정하고, 및
    상기 결정된 기준 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하도록 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 복수의 마이크를 통해 수신되는 오디오 신호들과 상기 외부 전자 장치로부터 수신되는 오디오 신호를 동기화하여, 상기 지연 시간을 보상하도록 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 빔포밍을 수행함에 따라 지정된 방향으로부터 수신된 오디오 신호를 증폭시키고, 상기 지정된 방향 이외의 방향에서 수신되는 오디오 신호를 감쇄시키도록 설정된 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    제1 신호를 제1 채널을 통해 상기 외부 전자 장치에 송신하고, 상기 외부 전자 장치로 송신된 제1 신호가 제2 채널을 통해 루프백(loopback)되어 리턴(return)되고,
    상기 제2 채널을 통해 제2 신호를 상기 외부 전자 장치에 송신하고, 상기 외부 전자 장치로 송신된 제2 신호가 상기 제2 채널을 통해 루프백(loopback)되어 상기 제2 채널을 통해 리턴되고, 및
    상기 리턴된 제1 신호와 상기 리턴된 제2 신호에 기반하여 상기 전자 장치의 복수의 마이크 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하도록 설정된 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 복수의 마이크 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 오디오 신호가 수신되는 시간 정보를 상기 메모리에 저장하고,
    상기 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호와 상기 적어도 하나의 마이크를 통해 오디오 신호가 수신되는 시간 정보를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하고,
    상기 전자 장치의 하나의 마이크를 통해 수신되는 오디오 신호의 시간 정보와 상기 외부 전자 장치로부터 수신되는 오디오 신호의 시간 정보를 비교하고, 및
    상기 비교 결과에 기반하여, 동일한 시간 정보를 가지는 상기 전자 장치의 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호를 동기화하도록 설정된 전자 장치.
  7. 제 1 항에 있어서,
    카메라; 및
    디스플레이를 더 포함하며,
    상기 프로세서는,
    상기 카메라를 통해 획득되는 피사체를 상기 디스플레이에 표시하고,
    상기 디스플레이에 표시된 피사체를 선택하는 사용자 입력이 검출되면, 상기 피사체가 위치하는 방향으로 상기 빔포밍의 방향을 설정하고,
    상기 피사체의 움직임에 기초하여 상기 피사체를 트래킹하며, 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔을 형성하고, 및
    상기 전자 장치의 복수의 마이크 또는 상기 외부 전자 장치의 적어도 하나의 마이크의 위치가 변경됨을 검출하거나, 또는 상기 피사체의 움직임이 검출됨에 따라 상기 오디오 신호가 수신되는 방향이 변경되면, 상기 빔포밍의 방향을 변경하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 미만이면, 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 상기 빔포밍을 수행하고,
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 상기 지정된 파워 값 이상이면, 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값과 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 비교하고,
    상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 초과하면, 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 상기 오디오 신호를 수신하도록 상기 외부 전자 장치에 제어 신호를 송신하고, 및
    상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값 이하이면, 상기 전자 장치의 복수의 마이크를 이용하여 상기 빔포밍을 수행하도록 설정된 전자 장치.
  9. 전자 장치의 오디오 신호 처리 방법에 있어서,
    통신 회로를 통해 외부 전자 장치의 연결을 검출하는 동작;
    상기 전자 장치의 복수의 마이크를 통해 오디오 신호들을 수신하는 동작;
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 계산하는 동작;
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들과 상기 외부 전자 장치로부터 수신된 오디오 신호 간 지연 시간을 보상하는 동작; 및
    상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔포밍을 수행하는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 지연 시간을 계산하는 동작은,
    상기 외부 전자 장치의 적어도 하나의 마이크를 통해 수신되는 오디오 신호를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작;
    상기 전자 장치의 복수의 마이크 중 하나의 마이크를 기준 마이크로서 결정하는 동작; 및
    상기 결정된 기준 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하는 동작을 포함하는 방법.
  11. 제 9 항에 있어서,
    상기 지연 시간을 보상하는 동작은,
    상기 전자 장치의 복수의 마이크를 통해 수신되는 오디오 신호들과 상기 외부 전자 장치로부터 수신되는 오디오 신호를 동기화하여, 상기 지연 시간을 보상하는 동작을 포함하는 방법.
  12. 제 9 항에 있어서,
    상기 지연 시간을 계산하는 동작은,
    제1 신호를 제1 채널을 통해 상기 외부 전자 장치에 송신하고, 상기 외부 전자 장치로 송신된 제1 신호가 제2 채널을 통해 루프백(loopback)되어 리턴(return)되는 동작;
    상기 제2 채널을 통해 제2 신호를 상기 외부 전자 장치에 송신하고, 상기 외부 전자 장치로 송신된 제2 신호가 상기 제2 채널을 통해 루프백(loopback)되어 상기 제2 채널을 통해 리턴되는 동작; 및
    상기 리턴된 제1 신호와 상기 리턴된 제2 신호에 기반하여 상기 전자 장치의 복수의 마이크 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호 간 상기 지연 시간을 계산하는 동작을 포함하는 방법.
  13. 제 9 항에 있어서,
    상기 지연 시간을 보상하는 동작은,
    상기 전자 장치의 복수의 마이크 중 하나의 마이크를 통해 수신되는 오디오 신호와 상기 오디오 신호가 수신되는 시간 정보를 메모리에 저장하는 동작;
    상기 외부 전자 장치의 적어도 하나의 마이크를 통해 수신된 오디오 신호와 상기 적어도 하나의 마이크를 통해 오디오 신호가 수신되는 시간 정보를, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 수신하는 동작;
    상기 전자 장치의 하나의 마이크를 통해 수신되는 오디오 신호의 시간 정보와 상기 외부 전자 장치로부터 수신되는 오디오 신호의 시간 정보를 비교하는 동작; 및
    상기 비교 결과에 기반하여, 동일한 시간 정보를 가지는 상기 전자 장치의 하나의 마이크를 통해 수신되는 오디오 신호와 상기 외부 전자 장치로부터 수신되는 오디오 신호를 동기화하는 동작을 포함하는 방법.
  14. 제 9 항에 있어서,
    상기 빔포밍을 수행하는 동작은,
    카메라를 통해 획득되는 피사체를 디스플레이에 표시하는 동작;
    상기 디스플레이에 표시된 피사체를 선택하는 사용자 입력이 검출되면, 상기 피사체가 위치하는 방향으로 상기 빔포밍의 방향을 설정하는 동작;
    상기 피사체의 움직임에 기초하여 상기 피사체를 트래킹하며, 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 빔을 형성하는 동작; 및
    상기 전자 장치의 복수의 마이크 또는 상기 외부 전자 장치의 적어도 하나의 마이크의 위치가 변경됨을 검출하거나, 또는 상기 피사체의 움직임이 검출됨에 따라 상기 오디오 신호가 수신되는 방향이 변경되면, 상기 빔포밍의 방향을 변경하는 동작을 포함하는 방법.
  15. 제 9 항에 있어서,
    상기 빔포밍을 수행하는 동작은,
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 지정된 파워 값 미만이면, 상기 전자 장치의 복수의 마이크 및 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 상기 빔포밍을 수행하는 동작;
    상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값과 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값의 차에 대한 절대값이 상기 지정된 파워 값 이상이면, 상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값과 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 비교하는 동작;
    상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값을 초과하면, 상기 외부 전자 장치의 적어도 하나의 마이크를 이용하여 상기 오디오 신호를 수신하도록 상기 외부 전자 장치에 제어 신호를 송신하는 동작; 및
    상기 외부 전자 장치로부터 수신된 오디오 신호의 파워 값이 상기 전자 장치의 복수의 마이크를 통해 수신된 오디오 신호들의 파워 값들 중 하나의 파워 값 이하이면, 상기 전자 장치의 복수의 마이크를 이용하여 상기 빔포밍을 수행하는 동작을 포함하는 방법.
PCT/KR2021/003244 2020-03-17 2021-03-16 전자 장치 및 이를 이용한 오디오 신호 처리 방법 WO2021187869A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0032499 2020-03-17
KR1020200032499A KR20210115970A (ko) 2020-03-17 2020-03-17 전자 장치 및 이를 이용한 오디오 신호 처리 방법

Publications (1)

Publication Number Publication Date
WO2021187869A1 true WO2021187869A1 (ko) 2021-09-23

Family

ID=77771762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003244 WO2021187869A1 (ko) 2020-03-17 2021-03-16 전자 장치 및 이를 이용한 오디오 신호 처리 방법

Country Status (2)

Country Link
KR (1) KR20210115970A (ko)
WO (1) WO2021187869A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116693A (ko) * 2008-03-18 2010-11-01 콸콤 인코포레이티드 다수의 디바이스들상에 다수의 마이크로폰들을 사용하는 스피치 향상
US20150054943A1 (en) * 2013-08-21 2015-02-26 Syavosh Zad Issa Audio focusing via multiple microphones
KR20150100305A (ko) * 2014-02-25 2015-09-02 삼성전자주식회사 입체 사운드를 재생하는 방법 및 장치
KR20160017499A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치
KR20170006996A (ko) * 2015-07-10 2017-01-18 삼성전자주식회사 전자 장치 및 그 입출력 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116693A (ko) * 2008-03-18 2010-11-01 콸콤 인코포레이티드 다수의 디바이스들상에 다수의 마이크로폰들을 사용하는 스피치 향상
US20150054943A1 (en) * 2013-08-21 2015-02-26 Syavosh Zad Issa Audio focusing via multiple microphones
KR20150100305A (ko) * 2014-02-25 2015-09-02 삼성전자주식회사 입체 사운드를 재생하는 방법 및 장치
KR20160017499A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치
KR20170006996A (ko) * 2015-07-10 2017-01-18 삼성전자주식회사 전자 장치 및 그 입출력 방법

Also Published As

Publication number Publication date
KR20210115970A (ko) 2021-09-27

Similar Documents

Publication Publication Date Title
WO2020071712A1 (en) Method for controlling plurality of voice recognizing devices and electronic device supporting the same
WO2019088793A1 (ko) 전자 장치 및 이를 이용한 화면 공유 방법
WO2019045394A1 (ko) 지정된 주파수 대역의 신호를 이용하여 외부 객체의 근접을 확인하는 전자 장치 및 전자 장치 제어 방법
WO2017111319A1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
WO2019135552A1 (ko) 통신 연결의 형성 또는 해제를 제어하는 전자 장치 및 그 동작 방법
WO2020050473A1 (ko) Uwb 네트워크에서 프리앰블을 적응적으로 제어하기 위한 장치 및 방법
WO2021162429A1 (en) Electronic device and method for controlling buffer
WO2021033927A1 (ko) 위치를 연산하기 위한 방법 및 그 전자 장치
WO2021091175A1 (ko) Nan 기반의 클러스터 머징 방법 및 이를 지원하는 전자 장치
WO2019156338A1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
WO2019156339A1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
WO2019151794A1 (ko) 블루투스 프로토콜에 기반한 측위 방법 및 전자 장치
WO2017018591A1 (ko) 카메라를 구비하는 이동 단말기 및 그 제어방법
WO2019066293A1 (ko) 외부 마이크로폰의 그라운드 단자와 전기적으로 연결될 수 있는 커넥터에 포함된 지정된 핀이 회로 기판의 지정된 그라운드와 전기적으로 연결된 회로 구조를 갖는 전자 장치
WO2019045517A1 (ko) 복수의 이미지 센서들의 동기화 제어 방법 및 이를 구현한 전자 장치
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2020032363A1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
WO2022030882A1 (ko) 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
WO2021132852A1 (ko) 오디오 데이터의 출력 방법 및 이를 지원하는 전자 장치
WO2020262835A1 (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
WO2021150000A1 (en) Electronic device for performing wireless communication and wireless communication method
WO2021020686A1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2020204617A1 (en) Method for removing dust using speaker and electronic device supporting the same
WO2021187869A1 (ko) 전자 장치 및 이를 이용한 오디오 신호 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21770812

Country of ref document: EP

Kind code of ref document: A1