WO2020262835A1 - 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 - Google Patents

전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 Download PDF

Info

Publication number
WO2020262835A1
WO2020262835A1 PCT/KR2020/007125 KR2020007125W WO2020262835A1 WO 2020262835 A1 WO2020262835 A1 WO 2020262835A1 KR 2020007125 W KR2020007125 W KR 2020007125W WO 2020262835 A1 WO2020262835 A1 WO 2020262835A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound device
microphone
sound
acoustic
signal
Prior art date
Application number
PCT/KR2020/007125
Other languages
English (en)
French (fr)
Inventor
김선미
이건우
양재모
김강열
방경호
이제옥
백순호
조기호
황호철
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020262835A1 publication Critical patent/WO2020262835A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a method of determining an acoustic device for processing an audio signal using the electronic device.
  • the electronic device may be connected (eg, paired) with peripheral devices through wireless communication (eg, Bluetooth).
  • the peripheral devices may be implemented in a form that can be inserted into the body, and may include, for example, an acoustic device.
  • the acoustic devices are a pair, and can operate wirelessly in a state inserted or in close contact with the user's left and right ears.
  • the sound device may include a speaker and at least one microphone, and may process an audio signal (for example, a voiceover) using at least one microphone of the sound device first worn on the left or right ear of the user.
  • the audio signal is transmitted using a sound device first worn on the user's left or right ear, without considering the state in which the sound device is worn on the user's ear and leakage of external noise from the shape of the user's ear. Audio quality may deteriorate over time.
  • An electronic device includes a user's left ear based on a state of an acoustic device worn on each of the user's left and right ears, and characteristic information of signals received from at least one microphone of the sound device. And among the sound devices worn on the right ear, the sound device worn in close contact with the user's ear may be determined as the sound device to process the audio signal.
  • An electronic device includes a wireless communication circuit and a processor operatively connected to the wireless communication circuit, wherein the processor includes a first sound device and a second sound device through the wireless communication circuit. Detects connection of the device, and checks first characteristic information of a signal received through at least one microphone of the first acoustic device and second characteristic information of a signal received through at least one microphone of the second acoustic device And, based on the checked first characteristic information and second characteristic information, the degree of adhesion between each of the first sound device and the second sound device and the object is checked, and the first sound device and the second sound device Determining the first sound device or the second sound device to process the received signal, and at least one microphone of the determined first sound device or the second sound device based on the degree of contact between each and the object It may be set to process the received signal through.
  • a wireless communication circuit and a processor operatively connected to the wireless communication circuit are included, and the processor is configured to connect a second acoustic device through the wireless communication circuit. It detects, acquires first characteristic information of a signal received through at least one microphone of the sound device, and obtains second characteristic information of a signal received through at least one microphone of the second sound device as the second sound It is received from an apparatus through the wireless communication circuit, and based on the obtained first characteristic information and the received second characteristic information, checks the degree of adhesion between each of the acoustic device and the second acoustic device and an object, and the Determining the sound device or the second sound device for processing the received signal, and the determined sound device or the second sound device based on a degree of close contact between the sound device and each of the second sound device and the object It may be set to process the received signal through at least one microphone of.
  • a method of determining a sound device for processing an audio signal of an electronic device includes: detecting a connection between a first sound device and a second sound device through a wireless communication circuit, the first Checking first characteristic information of a signal received through at least one microphone of the acoustic device and second characteristic information of a signal received through at least one microphone of the second acoustic device, the identified first characteristic information And checking the degree of adhesion between the object and the first sound device and the second sound device, based on the second characteristic information, and the adhesion level between each of the first sound device and the second sound device and the object. Based on the operation of determining the first sound device or the second sound device to process the received signal, and the received signal through at least one microphone of the determined first sound device or the second sound device It may include an operation to process.
  • An electronic device improves audio quality by processing an audio signal through an acoustic device determined based on a state of the sound device and characteristic information of signals received from at least one microphone of the sound device. I can make it.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • 2A is a diagram illustrating an acoustic device according to various embodiments.
  • 2B is a block diagram illustrating an electronic device and an acoustic device according to various embodiments.
  • 2C is a block diagram illustrating an acoustic device according to various embodiments.
  • 2D is a block diagram illustrating a communication connection between a first sound device and a second sound device according to various embodiments.
  • FIG. 3 is a flowchart illustrating a method of determining a sound device to process an audio signal, according to various embodiments.
  • FIG. 4 is a flowchart illustrating a method of determining a sound device to process an audio signal, according to various embodiments.
  • FIG. 5 is a diagram illustrating a method of determining an audio device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
  • FIG. 6 is a diagram for describing a method of determining an audio device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
  • FIG. 7 is a diagram illustrating a method of determining an audio device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network), or a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included.
  • a sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display.
  • the processor 120 for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132 The command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • software eg, a program 140
  • the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132
  • the command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the coprocessor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, an application is executed). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states related to. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have.
  • an image signal processor or a communication processor may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (for example, the processor 120 or the sensor module 176 ).
  • the data may include, for example, software (eg, the program 140), and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from an outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output an sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into sound. According to an embodiment, the audio module 170 acquires sound through the input device 150, the sound output device 155, or an external electronic device directly or wirelessly connected to the electronic device 101 (for example, Sound may be output through the electronic device 102 (for example, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through a tactile or motor sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture a still image and a video.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, electronic device 102, electronic device 104, or server 108). It is possible to support establishment and communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor), and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg : A LAN (local area network) communication module, or a power line communication module
  • a corresponding communication module is a first network 198 (for example, a Bluetooth, WiFi direct, or a short-range communication network such as IrDA (infrared data association)) or a second network 199 (for example, a cellular network, the Internet, Alternatively, it may communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • a computer network for example, a telecommunication network such as a LAN or WAN.
  • These various types of communication modules may be integrated into one component (eg, a single chip), or may be implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information stored in the subscriber identification module 196 (eg, International Mobile Subscriber Identifier (IMSI)) within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 can be checked and authenticated.
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module 197 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, provided by the communication module 190 from the plurality of antennas. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • At least some of the components are connected to each other through a communication method (e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and signals ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit the execution result to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 2A is a diagram 200 illustrating an acoustic device 230 according to various embodiments.
  • the acoustic device 230 may include a first acoustic device 235 and a second acoustic device 240.
  • the first acoustic device 235 may be an ear wearable type designed to be worn on the left ear of the body
  • the second acoustic device 240 may be an ear wearable type designed to be worn on the right ear of the body.
  • each of the first sound device 235 and the second sound device 240 is a speaker (not shown) and a first microphone (not shown) ( Example: In-ear microphones), second microphones 238a, 238b (eg, outer microphones), and input devices 239a, 239b (eg, touch pads) may be included.
  • Each of the first sound device 235 and the second sound device 240 converts a user's voice signal provided through a channel to a speaker (not shown) for outputting a sound signal and a user's ear canal into an electrical signal and outputs Holes 236a and 236b including a conduit for a first microphone (not shown) may be provided.
  • an ear tip may be mounted around the holes 236a and 236b.
  • an ear tip (not shown) may surround the holes 236a and 236b.
  • one of the at least one microphone for example, a first microphone (not shown), is inserted into a user's ear with the first sound device 235 or the second sound device 240, and when the user speaks, the user The signal generated from the ear of the can be used as an input signal.
  • Another one of the at least one microphone for example, the second microphones 238a and 238b may receive an ambient voice signal from the acoustic device 230.
  • the first sound device 235 and the second sound device 240 include a first microphone (not shown) and second microphones 238a and 238b, but are not limited thereto.
  • the first sound device 235 and the second sound device 240 may include more than two microphones.
  • the first sound device 235 and the second sound device 240 may further include a sensor and/or a charging terminal.
  • a sensor and/or a charging terminal With respect to the configuration of the acoustic device 230 described above, it will be described in detail in FIG. 2C to be described later.
  • 2B is a block diagram 203 illustrating an electronic device 204 and an acoustic device 230 according to various embodiments.
  • the electronic device 204 (eg, the electronic device 101 of FIG. 1) includes a wireless communication circuit 205 (eg, the communication module 190 of FIG. 1), and a memory 210 (eg: The memory 130 of FIG. 1), a touch screen display 215 (eg, the display device 160 of FIG. 1), an audio processing module 220 (eg, the audio module 170 of FIG. 1), and a processor ( 225) (for example, the processor 120 of FIG. 1) may be included.
  • a wireless communication circuit 205 eg, the communication module 190 of FIG. 1
  • a memory 210 eg: The memory 130 of FIG. 1
  • a touch screen display 215 eg, the display device 160 of FIG. 1
  • an audio processing module 220 eg, the audio module 170 of FIG. 1
  • a processor 225
  • the wireless communication circuit 205 may include a short-range wireless communication circuit (eg, bluetooth, wi-fi).
  • the short-range wireless communication circuit may connect (eg, pair) communication between the electronic device 204 and the sound device 230 (eg, the first sound device 235 and the second sound device 240).
  • the electronic device 204 first transmits audio data output from the audio processing module 220 through the wireless communication circuit 205. It may be transmitted to the sound device 235 and the second sound device 240.
  • the electronic device 204 is connected to at least one microphone of the first sound device 235 or the second sound device through a wireless communication circuit 205. 2
  • An audio signal input from at least one microphone of the sound device 240 may be received from the first sound device 235 or the second sound device 240.
  • the electronic device 204 transmits characteristic information of the sound device 230, for example, the first sound device 235 and the second sound device 240 through the wireless communication circuit 205, to the first sound device. 235 and the second sound device 240, respectively.
  • the characteristic information includes at least one of a user speech level, an echo level, a tonality component of at least one microphone, an input signal of at least one microphone, or an adaptive noise suppression gain. It can contain one.
  • the memory 210 (for example, the memory 130 in FIG. 1) stores information on the sound device 230 (for example, the first sound device 235 and the second sound device 240). Can be saved.
  • the memory 210 stores a reference value for each of at least one characteristic information for determining an acoustic device to process a signal among the acoustic device 230, for example, the first acoustic device 235 and the second acoustic device 240. I can.
  • the touch screen display 215 (eg, the display device 160 of FIG. 1) may be integrally configured including the display 217 and the touch panel 219.
  • the touch screen display 215 may display information related to the acoustic device 230, for example, the first acoustic device 235 and the second acoustic device 240 under the control of the processor 225.
  • the information related to the acoustic device 230 is determined to process the received audio signal, information related to whether the acoustic device 230 is paired with, for example, the first acoustic device 235 and the second acoustic device 240.
  • Information on the sound device battery information on the first sound device 235 and the second sound device 240, and/or control information for operating the first sound device 235 and the second sound device 240 (Eg, control information related to the function of the electronic device 204 (eg, connection and release of a telephone call, control signal related to audio playback)).
  • control information related to the function of the electronic device 204 eg, connection and release of a telephone call, control signal related to audio playback
  • the audio processing module 220 (eg, the audio module 170 of FIG. 1) is not shown, but may include a speaker and a microphone.
  • the audio processing module 220 may output audio data through a speaker.
  • the audio processing module 220 transmits audio data output under the control of the processor 225 to the paired sound device 230 (for example, the first sound device 235 and the second sound device 240) with a wireless communication circuit ( 205).
  • the processor 225 controls the overall operation of the electronic device 204 and signal flow between internal components of the electronic device 204, and performs data processing. And, it is possible to control the supply of power to the components from the battery (eg, the battery 189 of FIG. 1).
  • the processor 225 may detect a connection with the first sound device 235 and/or the second sound device 240 through the wireless communication circuit 205.
  • the processor 225 includes first characteristic information and second characteristic information of a signal received through at least one microphone (for example, a first microphone (not shown) and/or a second microphone 238a) of the first acoustic device 235.
  • Second characteristic information of a signal received through at least one microphone eg, a first microphone (not shown) and/or a second microphone 238b) of the acoustic device 240 may be checked.
  • the processor 225 is based on the confirmed first characteristic information and the second characteristic information, the degree of adhesion between each of the first sound device 235 and the second sound device 240 and an object (eg, inside the user's ear) ( Example: Fit status, unfit status) can be checked.
  • the processor 225 is a first sound device 235 or a second sound device determined based on the degree of adhesion between each of the first sound device 235 and the second sound device 240 and an object (eg, inside the user's ear).
  • An audio signal (eg, a voiceover) received through at least one microphone (eg, a first microphone (not shown) and/or a second microphone 238a, 238b) of 240 may be processed.
  • 2C is a block diagram 250 illustrating an acoustic device 230 according to various embodiments.
  • the acoustic device 230 for example, the first acoustic device 235 and the second acoustic device 240, respectively, includes a wireless communication circuit 260, a memory 263, an audio processing module 265, and a sensor.
  • a module 270 and a processor 275 may be included.
  • the wireless communication circuit 260 may include a short-range wireless communication circuit (eg, bluetooth, wi-fi).
  • the short-range wireless communication circuit may connect communication between the acoustic device 230 and the electronic device 204.
  • at least one microphone for example, a first microphone (not shown) and/or a second microphone
  • the audio signal input from the microphone 238a) or at least one microphone of the second acoustic device 240 is transmitted to the electronic device 204. Can be transmitted.
  • the sound device 230 may transmit characteristic information of the sound device 230, for example, the first sound device 235 and the second sound device 240 to the electronic device 204 through the wireless communication circuit 260. .
  • the acoustic device 230 transmits a control signal related to the function of the electronic device 204 sensed by the first acoustic device 235 or the second acoustic device 240 to the electronic device 204 through the wireless communication circuit 260. Can be transmitted.
  • the control signals related to the functions of the electronic device 204 may include control signals related to connection and release of a telephone call and audio reproduction (eg, pause, fast forward, rewind).
  • the memory 263 may store information related to the electronic device 204 to be paired.
  • the memory 263 stores a reference value for each of at least one characteristic information for determining an acoustic device to process a signal among the acoustic device 230, for example, the first sound device 235 and the second sound device 240. I can.
  • the audio processing module 265 is not shown, but a speaker and at least one microphone (eg, a first microphone (eg, an in-ear microphone) (not shown)), a second microphone (Eg, the second microphones 238a and 238b of FIG. 2A) (eg, an outer microphone)) may be included.
  • the speaker may output an audio signal corresponding to audio data received from the electronic device 204.
  • the sensor module 270 determines whether the sound device 230 is separated from the case (eg, configured to accommodate the first sound device 235 and the second sound device 240), the sound device ( 230) may detect whether an object, for example, is worn on the user's ear.
  • the processor 275 when the processor 275 is paired with the electronic device 204, at least one or more microphones (eg, in-ear microphones, outer microphones) or the second sound device 240 of the first sound device 235 ) Of the audio signal input from at least one microphone (for example, an in-ear microphone, an outer microphone) and characteristic information of the first sound device 235 and the second sound device 240 in the wireless communication circuit 260 It can be transmitted to the electronic device 204 through the.
  • the processor 275 may process an audio signal (eg, a voiceover) received through at least one microphone.
  • the first sound device 235 and the second sound device 240 may transmit and receive audio signals through short-range wireless communication with the electronic device 204, and the processor 225 of the electronic device 204
  • the audio device to process the audio signal can be determined by.
  • the present invention is not limited thereto, and each of the first sound device 235 and the second sound device 240 may operate independently.
  • a configuration for determining a sound device to process an audio signal will be described with reference to FIG. 2D to be described later.
  • 2D is a block diagram 280 illustrating a communication connection between the first sound device 235 and the second sound device 240 according to various embodiments.
  • the first sound device 235 and the second sound device 240 communicate through a wireless communication circuit 260, for example, a short-range wireless communication circuit (eg, bluetooth, wi-fi). : Can be paired.
  • a wireless communication circuit 260 for example, a short-range wireless communication circuit (eg, bluetooth, wi-fi). : Can be paired.
  • the first acoustic device 235 acquires first characteristic information of a signal received through at least one microphone, and through the wireless communication circuit 260 Second characteristic information on the paired second acoustic device 240 (or the first acoustic device 235) may be received from the second acoustic device 240.
  • the first acoustic device 235 (or the second acoustic device 240) is based on the obtained first characteristic information and the received second characteristic information, the first acoustic device 235 and the second acoustic device 240 ) You can check the degree of adhesion between each and the object (eg, inside the user's ear).
  • the first sound device 235 (or the second sound device 240) is determined based on the degree of adhesion between the first sound device 235 and the second sound device 240 and the object. ) Or the second sound device 240 may be used to process an audio signal (for example, a spoken voice).
  • an audio signal for example, a spoken voice
  • FIG. 3 is a flowchart 300 illustrating a method of determining a sound device to process an audio signal according to various embodiments.
  • the electronic device (eg, the electronic device 204 of FIG. 2) is a first sound device (eg, the first sound device 235 of FIG. 2A) and a second sound device (eg, : A connection of the second acoustic device 240 of FIG. 2A may be detected.
  • the electronic device 204 detects a connection (eg, Bluetooth pairing) with the first sound device 235 and the second sound device 240 through a wireless communication circuit (eg, a short-range wireless communication circuit). can do.
  • a connection eg, Bluetooth pairing
  • a wireless communication circuit eg, a short-range wireless communication circuit
  • the electronic device 204 includes first characteristic information of a signal received through at least one microphone of the first acoustic device 235 and at least one microphone of the second acoustic device 240.
  • the second characteristic information of the signal received through may be checked.
  • the first characteristic information and the second characteristic information are user speech level, echo level, and tonality of at least one microphone (eg, a first microphone (not shown) (in-ear microphone)). (tonality) component, input of at least one microphone (e.g., a first microphone (e.g., in-ear microphone) and a second microphone (e.g., second microphones 238a, 238b (e.g., outer microphones) in Fig. 2A)) It may include at least one of a signal or an adaptive noise suppression gain.
  • a first microphone e.g., in-ear microphone
  • a second microphone e.g., second microphones 238a, 238b (e.g., outer microphones) in Fig. 2A
  • It may include at least one of a signal or an adaptive noise suppression gain.
  • the electronic device 204 provides close contact between the first sound device 235 and the second sound device 240 and the object based on the checked first and second property information. You can check the degree.
  • the object may include the user's ear.
  • the electronic device 204 includes a first sound device 235 for processing a received signal based on a degree of close contact between each of the first sound device 235 and the second sound device 240 and the object.
  • the second acoustic device 240 may be determined.
  • the electronic device 204 allows the user to connect the first acoustic device 235 and the second acoustic device 240 to the ears (eg, left and right ears).
  • the degree of occlusion effect that occurs inside the user's ear when worn e.g., between the ear tip and the eardrum
  • leakage from the outside into the inside of the user's ear (e.g., between the ear tip and the eardrum). leakage) size.
  • the degree of the occlusion effect may mean an effect of amplifying the size of the low-frequency component due to internal resonance when a space sealed inside the ear is created by the ear tip as the acoustic device is worn on the ear.
  • Leakage may refer to the degree to which external noise leaks into the ear when the sound device is not properly worn.
  • the electronic device 204 has a high degree of obstruction effect and the degree of close contact of the acoustic device worn on the ear when the leakage size is low, the acoustic device worn on the ear when the degree of the occlusion effect is low and the leakage size is high. May be greater than the degree of adhesion of In other words, as a result of the comparison, the electronic device 204 may determine that the acoustic device having a high degree of adhesion is properly worn on the ear (eg, in a fit state), and the sound device having a small degree of adhesion is not properly worn on the ear. It can be judged as not (e.g., unfit). Based on the degree of adhesion, the electronic device 204 may determine a sound device having a high adhesion degree among the first sound device 235 and the second sound device 240 to be described later as the sound device to process the audio signal.
  • an operation of comparing the first characteristic information of the first acoustic device 235 and the second characteristic information of the second acoustic device 240 is performed as described later. can do.
  • the first sound device 235 and the second sound device 240 are each speaker and at least one or more microphones, such as a first microphone (eg, in-ear microphone) and second microphones 238a, 238b (E.g. outer microphone) can be included.
  • the electronic device 204 is one of at least one microphone of the first acoustic device 235 (for example, an in-ear microphone) and one of at least one microphone of the second acoustic device 240 (for example, an in-ear microphone). )
  • the first sound device 235 and the second sound device 240 may transmit information on the user's speech detected through each microphone (eg, in-ear microphone) to the electronic device 204.
  • the electronic device 204 includes a level of a user's speech detected through a microphone (for example, an in-ear microphone) of the first acoustic device 235 and a microphone of the second acoustic device 240 based on information on the user's speech.
  • a microphone for example, an in-ear microphone
  • the electronic device 204 includes a low-band (for example, 500 Hz or less) level of a user's speech detected through a microphone (for example, an in-ear microphone) of the first sound device 235 and at least the second sound device 240. It is possible to compare the low-band (eg 500Hz or less) level of user speech detected through a single microphone.
  • a difference between the average root mean square (RMS) level of the user's speech detected by the first acoustic device 235 and the average RMS level of the user's speech detected by the second acoustic device 240 is a specified value, for example, 5 dB If so, the electronic device 204 may determine an audio device having a high average RMS level as an audio device for processing an audio signal (eg, an audio signal received through at least one microphone).
  • RMS root mean square
  • the electronic device 204 is a signal for a user's speech detected through a microphone (eg, in-ear microphone) of the first acoustic device 235 in a specific band (eg, 50Hz, 100Hz, 200Hz). It is possible to compare the size of the signal with respect to the user's utterance sensed through the microphone of the second sound device 240 (for example, the in-ear microphone 238a).
  • a microphone eg, in-ear microphone
  • a specific band eg, 50Hz, 100Hz, 200Hz.
  • the electronic device 204 may determine an acoustic device having a high signal level as an acoustic device for processing an audio signal.
  • an echo phenomenon may occur.
  • the first sound device 235 and the second sound device 240 transmit information on the echo signal received by each microphone (eg, in-ear microphone) to the electronic device 204 can do.
  • the electronic device 204 includes an echo signal generated through a microphone (for example, an in-ear microphone) from the first sound device 235 and a microphone from the second sound device 240 based on information on the received echo signal. Echo signals generated through an in-ear microphone) can be compared.
  • the operation of comparing the echo signals may be performed in the same manner as the operation of comparing the levels of user utterances described above.
  • the electronic device 204 is the first sound device 235 and the second sound device 240 at a low level (eg 500 Hz or less) (or a specific band (eg 50 Hz, 100 Hz, 200 Hz)).
  • the electronic device 204 may determine an audio device having a high value as an audio device for processing an audio signal based on the comparison result.
  • the electronic device 204 includes a tonality component of a microphone (eg, in-ear microphone) of the first sound device 235 and a microphone (eg, in-ear microphone) of the second sound device 240.
  • a tonality component of a microphone eg, in-ear microphone
  • a microphone eg, in-ear microphone
  • -Ear microphone e.g., in-ear microphone
  • the electronic device 204 may determine a sound device having a high tonality component as a sound device for processing an audio signal through analysis.
  • the electronic device 204 includes an input signal and a second sound from a first microphone (eg, in-ear microphone) and a second microphone (eg, outer microphone 238a) of the first acoustic device 235.
  • Input signals from the first microphone (eg, in-ear microphone) and the second microphone (eg, outer microphone 238b) of the device 240 may be checked.
  • the first acoustic device 235 and the second acoustic device 240 transmit information on input signals received through each microphone (eg, in-ear microphone and outer microphone 238a, 238b) to the electronic device 204. Can send.
  • the electronic device 204 is based on the input signals of the first and second microphones 238a and 238b for each of the received acoustic devices, and a threshold of a coherence value of the interference signal in the low frequency band.
  • An acoustic device that is less than or equal to may be determined as an acoustic device for processing an audio signal.
  • the electronic device 204 has a small coherence value among the coherence of the first sound device 235 and the coherence of the second sound device 240 in the low frequency band.
  • the acoustic device may be determined as an acoustic device for processing a received signal.
  • the wearing state of the acoustic device on the object may be checked using an adaptive noise suppression gain. For example, based on the signal of the first microphone (eg, in-ear microphone) of the first sound device 235 or the second sound device 240, the second microphone 238a or 238b (eg, outer microphone) When the size of an adaptive filter using a signal as a target signal is greater than or equal to the specified value, the electronic device 204 is in a state in which the acoustic device having the specified value or greater is not properly worn on the object (eg, unfit). State).
  • an adaptive noise suppression gain For example, based on the signal of the first microphone (eg, in-ear microphone) of the first sound device 235 or the second sound device 240, the second microphone 238a or 238b (eg, outer microphone)
  • the electronic device 204 is in a state in which the acoustic device having the specified value or greater is not properly worn on the object (eg, unfit). State).
  • the electronic device 204 may determine an acoustic device in which the size of the adaptive filter is less than a specified value among the first sound device 235 or the second sound device 240 as the sound device for processing the audio signal.
  • the acoustic device in which the size of the adaptive filter is less than the specified value may be properly worn on the object (eg, in a fit state).
  • the electronic device 204 A sound device having a small value among the filter and the adaptive filter of the second sound device 240 may be determined as the sound device for processing the audio signal.
  • the electronic device 204 may process a signal received through at least one microphone of the determined first sound device 235 or the second sound device 240. For example, the electronic device 204 may process a spoken voice using the determined first sound device 235 or the second sound device 240.
  • At least one microphone of the acoustic device that is not determined as an acoustic device for processing a signal among the first acoustic device 235 and the second acoustic device 240 may be turned off.
  • At least one microphone of the sound device that is not determined as the sound device for processing a signal may be turned off when a call is sent or received according to a telephone call connection.
  • At least one microphone of an acoustic device that is not determined as an acoustic device for processing a signal may be turned off by hardware, software, or a combination thereof.
  • At least one of the components included in the processor 275 of the acoustic device 230 and at least one of the components included in the processor 225 of the electronic device 204 may be implemented as hardware.
  • at least one component included in the processor 275 of the sound device 230 is implemented as a circuit inside the sound device 230, or at least one component included in the processor 225 of the electronic device 204
  • the components of may be implemented as a circuit inside the electronic device 204.
  • At least one microphone of an acoustic device that is not determined as an acoustic device for processing a signal may be turned off by a circuit implemented as hardware in the acoustic device 230 or the electronic device 204.
  • At least one of the components included in the processor 275 of the acoustic device 230 and at least one of the components of the processor 225 of the electronic device 204 may be implemented in software. .
  • it may be implemented as a program (eg, an application) for controlling the acoustic device 230.
  • At least one microphone of the sound device that is not determined as the sound device for processing the signal may be turned off through a program for controlling the sound device 230.
  • At least one microphone of a sound device that is not determined as a sound device for processing a signal may be turned off through a software implemented program that drives a hardware processor.
  • the electronic device 204 is 303 To check first characteristic information of a signal received through at least one microphone of the first acoustic device 235 of operation and second characteristic information of a signal received through at least one microphone of the second acoustic device 240 The operation can be performed. In other words, it is possible to check whether the first sound device 235 or the second sound device 240 is properly worn on the object at specified time intervals, and based on this, as a sound device for processing an audio signal, a predetermined sound device You can keep the sound device or switch to another sound device. In this case, in order to check whether the first sound device 235 or the second sound device 240 is properly worn on the object, the electronic device 204 is at least one of the sound devices controlled in the off state. You can control the microphone to be turned on at specified time intervals.
  • the electronic device 204 is disconnected from the sound device determined to process the received signal, for example, the first sound device 235 (or the second sound device 240), Alternatively, it may be sensed that an object (eg, a user's ear) changes the wearing state of the sound device (eg, changes from a worn state to an unworn state).
  • the electronic device 204 may turn off at least one microphone of the first sound device 235 (or the second sound device 240) in which the connection is released or the wearing state is switched.
  • the electronic device 204 determines the second sound device 240 as a sound device for processing an audio signal, and turns on at least one microphone of the second sound device 240 to process the audio signal.
  • a signal for (on) may be transmitted to the second acoustic device 240.
  • the first acoustic device 235 and the second acoustic device 240 are connected to the electronic device 204, but the first acoustic device 235 and the second sound are connected to the electronic device 204.
  • the electronic device 204 may process the audio signal using the connected sound device.
  • the electronic device 204 may not turn off at least one microphone of an acoustic device that is not determined as an acoustic device for processing a signal.
  • external audio may be obtained through at least one microphone of a sound device that is not determined as a sound device for processing a signal.
  • the electronic device 204 may detect the ambient noise of the electronic device 204 based on external audio obtained through at least one microphone of the sound device other than the sound device for processing a signal.
  • the electronic device 204 may remove noise due to detected ambient noise or may adjust the volume of the speaker.
  • the electronic device 204 uses at least one microphone (for example, an in-ear microphone) of the sound device other than the sound device for processing the signal, and the signal output through the speaker flows into at least one microphone. It is possible to monitor whether a howling phenomenon or an echo phenomenon occurs. As a result of monitoring, if it is determined that a howling phenomenon or an echo phenomenon has occurred in the received signal, the electronic device 204 may remove the howling noise or the echo noise.
  • the electronic device 204 may remove the howling noise or the echo noise.
  • the first acoustic device 235 and the second acoustic device 240 transmit and receive audio data through short-range wireless communication with the electronic device 204, and process the audio signal by the electronic device 204.
  • each of the first sound device 235 and the second sound device 240 may operate independently.
  • a configuration for determining a sound device to process an audio signal will be described with reference to FIG. 4 to be described later.
  • FIG. 4 is a flowchart 400 illustrating a method of determining a sound device to process an audio signal, according to various embodiments.
  • the first sound device 235 of the first sound device 235 and the second sound device 240 operating independently determines an audio device for processing an audio signal.
  • an acoustic device for processing an audio signal may be determined by the second acoustic device 240.
  • a first acoustic device (eg, the first acoustic device 235 of FIG. 2A) includes at least one microphone (eg, a first microphone (not shown, in-ear microphone)) and / Or it is possible to obtain first characteristic information of a signal received through the second microphone 238a (eg, outer microphone) of FIG. 2A.
  • the first acoustic device 235 receives second characteristic information of the second acoustic device 240 connected through a wireless communication circuit (eg, a short-range wireless communication circuit) from the second acoustic device 240. I can.
  • a wireless communication circuit eg, a short-range wireless communication circuit
  • the first characteristic information and the second characteristic information include a user speech level, an echo level, a tonality component of at least one microphone (eg, in-ear microphone), and at least one microphone (eg: It may include at least one of an input signal of an in-ear microphone and/or an outer microphone (eg, the second microphones 238a and 238b of FIG. 2A ), or an adaptive noise suppression gain.
  • a tonality component of at least one microphone eg, in-ear microphone
  • at least one microphone eg: It may include at least one of an input signal of an in-ear microphone and/or an outer microphone (eg, the second microphones 238a and 238b of FIG. 2A ), or an adaptive noise suppression gain.
  • the first acoustic device 235 is based on the obtained first characteristic information and the received second characteristic information in operation 405, the first acoustic device 235 and the second acoustic device 240, respectively You can check the degree of adhesion between the object and the object.
  • the first acoustic device 235 includes a first acoustic device 235 for processing a received signal based on a degree of close contact between each of the first acoustic device 235 and the second acoustic device 240 and the object. ) Or the second acoustic device 240 may be determined.
  • the first acoustic device 235 when the first acoustic device 235 is determined as the acoustic device for processing the received signal, the first acoustic device 235 is in operation 409, at least one microphone of the first acoustic device 235 The signal received through can be processed. In one embodiment, the first acoustic device 235 second a control signal for turning off at least one microphone of the second acoustic device 240 that is not determined as a sound device for processing a received signal. It can be transmitted to the sound device 240.
  • the first sound device 235 turns off at least one microphone of the second sound device 240 that is not determined as a sound device for processing a received signal when a call is sent or received according to a telephone call connection ( A control signal for off) may be transmitted to the second sound device 240.
  • the first sound device 235 when making a call or receiving a call according to a telephone call connection, does not transmit a control signal for turning off at least one microphone of the second sound device 240.
  • the first sound device 235 receives external audio through at least one microphone of the second sound device 240 or transmits a control signal to the second sound device 240 to monitor the received signal. Can be transmitted.
  • the first sound device 235 when the second sound device 240 is determined as the sound device for processing the received signal, the first sound device 235 is in operation 411, at least one microphone of the second sound device 240 A control signal for processing a signal received through may be transmitted to the second acoustic device 240.
  • the first acoustic device 235 may turn off at least one microphone of the first acoustic device 235 that is not determined as an acoustic device for processing a received signal.
  • the first sound device 235 turns off at least one microphone of the first sound device 235, which is not determined as a sound device for processing a received signal, when a call is sent or received according to a telephone call connection ( off).
  • the first sound device 235 when making a call or receiving a call according to a telephone call connection, does not turn off at least one microphone of the first sound device 235, and the first sound device ( Control to receive external audio through at least one microphone of 235) or to monitor a received signal.
  • FIG. 5 is a diagram 500 for describing a method of determining a sound device to process an audio signal from among a first sound device and a second sound device according to various embodiments.
  • reference numeral ⁇ 510> denotes at least one of the first acoustic devices 235 in a state where the first acoustic device (eg, the first acoustic device 235 of FIG. 2A) is worn on the left ear of the user.
  • This is a diagram showing the results of noise suppression (NS) processing of a signal received through a microphone (eg, an in-ear microphone, an outer microphone).
  • Reference number ⁇ 530> is an enlarged view of a partial area 515 treated with NS in reference number ⁇ 510>.
  • reference numeral ⁇ 550> denotes at least one microphone of the second acoustic device 240 while the second acoustic device (eg, the second acoustic device 240 of FIG. 2A) is worn on the user's right ear.
  • the second acoustic device eg, the second acoustic device 240 of FIG. 2A
  • in-ear (in-ear) microphone, outer (outer) microphone is a diagram showing the result of NS processing of the signal received.
  • Reference number ⁇ 570> is an enlarged view of a partial area 555 treated with NS in reference number ⁇ 550>.
  • a signal received through at least one microphone of the first acoustic device 235 worn on the left ear of the NS-treated user is the NS-treated user
  • a signal received through at least one microphone of the second acoustic device 240 worn on the right ear of it can be confirmed that noise 535 has occurred.
  • the electronic device (for example, the electronic device 204 of FIG. 2A) is determined that the degree to which the second acoustic device 240 is in close contact with the user's ear is greater than the degree to which the first acoustic device 235 is in close contact with the user's ear.
  • a determination e.g., determining that an acoustic device is properly worn on the user's ear, a fit state
  • the electronic device 204 may determine the second acoustic device 240 as a device for processing the received audio signal. have.
  • the electronic device 204 may turn off at least one microphone of the first acoustic device 235, which is not determined as a device for processing a received audio signal.
  • the electronic device 204 may turn off at least one microphone of the first acoustic device 235 when a call is sent or received according to a telephone call connection.
  • the electronic device 204 may receive external audio through at least one microphone of the first acoustic device 235 to adjust whether ambient noise is detected or a volume of a speaker according to the ambient noise. . In another embodiment, the electronic device 204 may monitor a signal received through at least one microphone of the first acoustic device 235 to determine whether a howling phenomenon or an echo phenomenon occurs.
  • FIG. 6 is a diagram 600 for describing a method of determining a sound device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
  • reference numeral 610 denotes at least one microphone (eg, a first microphone) of a first sound device (eg, the first sound device 235 of FIG. 2A) worn on the user's left ear in a low frequency band.
  • a first microphone eg, a first microphone
  • a second microphone 238a e.g., an outer microphone
  • Reference numeral ⁇ 630> denotes a coherence for a signal received through at least one microphone of a second acoustic device (for example, the second acoustic device 240 of FIG. 2A) worn on the user's right ear in a low frequency band. It is a figure showing the value.
  • the electronic device corresponds to an acoustic device, for example, reference number ⁇ 610> in which a coherence value of an interference signal in a low frequency band is less than a specified threshold.
  • the first sound device 235 may be determined as a sound device for processing an audio signal.
  • the electronic device 204 puts the first acoustic device 235 in a low frequency band where the coherence value of the interference signal is less than the specified value 620 in a state in which the acoustic device is properly worn on the user's ear (for example, a fit ( fit) state), and the audio signal may be processed using the first acoustic device 235.
  • the electronic device 204 is an audio device having a coherence value of an interference signal equal to or greater than a specified threshold 620 in a low frequency band, for example, the second sound device 240 corresponding to the reference numeral ⁇ 630> as an audio signal.
  • At least one microphone of the second acoustic device 240 may be turned off without determining as an acoustic device for processing.
  • at least one microphone of the second acoustic device 240 may be turned off under the control of the electronic device 204 when a call is sent or received according to a telephone call connection.
  • the second sound device 240 corresponding to the reference number ⁇ 630> is not determined as the sound device for processing an audio signal when a call is sent or received according to a call connection
  • the second sound device instead of turning off the at least one microphone of 240, the at least one microphone of the second sound device 240 is externally configured to adjust whether or not ambient noise is detected or the volume of the speaker according to the detected ambient noise. It can be used for receiving audio.
  • the electronic device 204 may monitor a signal received through at least one microphone of the second acoustic device 240 to determine whether a howling phenomenon or an echo phenomenon occurs.
  • FIG. 7 is a diagram 700 illustrating a method of determining an audio device to process an audio signal from among a first sound device and a second sound device according to various embodiments.
  • FIG. 7 is a first sound device (for example, the first sound device 235 in FIG. 2A) and a second sound device (for example, the second sound device 240 in FIG. 2A ), respectively, a microphone ( Example: Based on a signal received through an in-ear microphone), the wearing state of the acoustic device on the object (eg, the user's ear), for example, a fit state 710 and an unfit state 720 It is a figure for explaining the method of determining.
  • an electronic device (eg, the electronic device 204 of FIG. 2) is an object, for example, of an occlusion effect occurring inside the user's ear (eg, between the ear tip and the eardrum).
  • the wearing state of the acoustic device may be determined based on the degree 730 and the size 740 of a leak that leaks between the eartip and the eardrum from the outside.
  • the electronic device 204 is not properly worn on the object for an acoustic device having a degree of occlusion effect 730 less than a first designated value and a leak size 740 having a second designated value or more.
  • the unfit state may be determined as an unfit state 720 (eg, an unfit flag 750 having a value of 1).
  • the electronic device 204 is properly worn on the object for an acoustic device having a degree of occlusion effect 730 greater than or equal to a first designated value and a leak size 740 less than a second designated value, for example, fit ( unfit) state 710 (eg, a state in which the unfit flag 750 has a value of 0) may be determined.
  • the electronic device 204 may determine the sound device determined in the fit state 710 as the sound device to process the received audio signal.
  • the sound device to process the audio signal is determined by the electronic device 204, but the present invention is not limited thereto, and the first sound device 235 and the second sound When the device 240 operates independently, the first sound device 235 or the second sound device 240 may determine a sound device to process the audio signal.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B, or C”, “at least one of A, B, and C”, and
  • Each of the phrases such as “at least one of A, B, or C” may include any one of the items listed together in the corresponding phrase of the phrase, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited.
  • Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them.
  • the processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This makes it possible for the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic waves
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smart phones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smart phones).
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, a module or program of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration.
  • operations performed by modules, programs, or other components are sequentially, parallel, repeatedly, or heuristically executed, or one or more of the above operations are executed in a different order or omitted. Or one or more other actions may be added.

Abstract

본 발명의 다양한 실시예들에 따르면, 전자 장치는, 무선 통신 회로 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하고, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하고, 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및 상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정될 수 있다. 본 발명에 개시된 다양한 실시예들 이외의 다른 다양한 실시예가 가능하다.

Description

전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
본 발명의 다양한 실시예는 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법에 관한 것이다.
전자 장치는 무선 통신(예: 블루투스(bluetooth))을 통해 주변 장치들과 연결(예: 페어링(pairing))될 수 있다. 주변 장치들은 신체에 삽입이 가능한 형태로 구현될 수 있으며, 예컨대, 음향 장치를 포함할 수 있다. 음향 장치는 한 쌍으로, 사용자의 좌측 귀 및 우측 귀에 삽입되거나 밀착된 상태에서 무선으로 동작할 수 있다. 음향 장치는 스피커 및 적어도 하나 이상의 마이크를 포함할 수 있으며, 사용자의 좌측 귀 또는 우측 귀에 먼저 착용된 음향 장치의 적어도 하나 이상의 마이크를 이용하여 오디오 신호(예: 송화 음성)를 처리할 수 있다.
사용자의 귀에 음향 장치가 착용되는 상태, 사용자의 귀 형태에 따른 외부 잡음이 내부로 새어 들어오는 누설(leakage)을 고려하지 않고, 사용자의 좌측 귀 또는 우측 귀에 먼저 착용된 음향 장치를 이용하여 오디오 신호를 처리함에 따라 오디오 품질이 나빠질 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 사용자의 좌측 귀 및 우측 귀 각각에 착용되는 음향 장치의 상태 및 음향 장치의 적어도 하나 이상의 마이크로부터 수신되는 신호의 특성 정보에 기반하여, 사용자의 좌측 귀 및 우측 귀에 착용되는 음향 장치들 중 사용자의 귀에 밀착되게 착용된 음향 장치를 오디오 신호를 처리할 음향 장치로 결정할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 무선 통신 회로, 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하고, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하고, 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및 상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정될 수 있다.
본 발명의 다양한 실시예들에 따른 음향 장치에 있어서, 무선 통신 회로, 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 제2 음향 장치의 연결을 검출하고, 상기 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보를 획득하고, 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 상기 제2 음향 장치로부터 상기 무선 통신 회로를 통해 수신하고, 상기 획득된 제1 특성 정보 및 상기 수신된 제2 특성 정보에 기반하여, 상기 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고, 상기 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하기 위한 상기 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및 상기 결정된 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정될 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치의 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법은, 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하는 동작, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작, 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하는 동작, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하는 동작, 및 상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 음향 장치의 상태 및 음향 장치의 적어도 하나 이상의 마이크로부터 수신되는 신호의 특성 정보에 기반하여 결정된 음향 장치를 통해 오디오 신호를 처리함에 따라 오디오 품질을 향상시킬 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는, 다양한 실시예들에 따른, 음향 장치를 도시한 도면이다.
도 2b는, 다양한 실시예들에 따른, 전자 장치와 음향 장치를 나타내는 블록도이다.
도 2c는, 다양한 실시예들에 따른, 음향 장치를 나타내는 블록도이다.
도 2d는, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 간 통신 연결을 나타내는 블록도이다.
도 3은, 다양한 실시예들에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도이다.
도 4는, 다양한 실시예들에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 6은, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 7은, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)), 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144), 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct, 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2a는, 다양한 실시예들에 따른, 음향 장치(230)를 도시한 도면(200)이다.
도 2a를 참조하면, 음향 장치(230)는 제1 음향 장치(235) 및 제2 음향 장치(240)를 포함할 수 있다. 제1 음향 장치(235)는 신체 좌측 귀에 착용되도록 설계된 이어 웨어러블 타입(ear wearable type)일 수 있으며, 제2 음향 장치(240)는 신체 우측 귀에 착용되도록 설계된 이어 웨어러블 타입일 수 있다.
일 실시예에서, 참조번호 <201> 및 <202>에 도시된 바와 같이 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 스피커(미도시), 제1 마이크(미도시)(예: 인-이어(in-ear) 마이크) 및 제2 마이크(238a, 238b)(예: 아우터(outer) 마이크), 및 입력 장치(239a, 239b)(예: 터치 패드)를 포함할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 소리 신호를 출력하기 위한 스피커(미도시)에 대한 관로 및 사용자의 외이도를 통해 제공되는 사용자의 음성 신호를 전기적 신호로 변환하여 출력하기 위한 제1 마이크(미도시)에 대한 관로를 포함하는 홀(236a, 236b)을 구비할 수 있다. 일 실시예에서, 홀(236a, 236b) 주변에 이어팁(ear tip)(미도시)이 장착될 수 있다. 예컨대, 이어팁(미도시)은 홀(236a, 236b)을 둘러쌀 수 있다.
일 실시예에서, 적어도 하나 이상의 마이크 중 하나 예컨대, 제1 마이크(미도시)는 제1 음향 장치(235) 또는 제2 음향 장치(240)가 사용자의 귀에 삽입되고, 사용자가 말을 할 때 사용자의 귀로부터 발생하는 신호를 입력 신호로서 사용할 수 있다. 적어도 하나 이상의 마이크 중 다른 하나 예컨대, 제2 마이크(238a, 238b)는 음향 장치(230)의 주변 음성 신호를 수신할 수 있다.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)이 제1 마이크(미도시) 및 제2 마이크(238a, 238b)를 포함하는 것으로 설명하였지만 이에 한정하는 것은 아니다. 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)는 두 개를 초과하는 마이크를 구비할 수 있다.
일 실시예에서, 미도시 하였지만, 제1 음향 장치(235) 및 제2 음향 장치(240)는 센서 및/또는 충전 단자를 더 포함할 수 있다. 전술한 음향 장치(230)의 구성과 관련하여, 후술하는 도 2c에서 상세히 설명될 것이다.
도 2b는, 다양한 실시예들에 따른, 전자 장치(204)와 음향 장치(230)를 나타내는 블록도(203)이다.
도 2b를 참조하면, 전자 장치(204)(예: 도 1의 전자 장치(101))는 무선 통신 회로(205)(예: 도 1의 통신 모듈(190)), 메모리(210)(예: 도 1의 메모리(130)), 터치스크린 디스플레이(215)(예: 도 1의 표시 장치(160)), 오디오 처리 모듈(220)(예: 도 1의 오디오 모듈(170)), 및 프로세서(225)(예: 도 1의 프로세서(120))를 포함할 수 있다.
일 실시예에 따르면, 무선 통신 회로(205)(예: 도 1의 통신 모듈(190))는 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 포함할 수 있다. 근거리 무선 통신 회로는 전자 장치(204)와 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240)) 간의 통신을 연결(예: 페어링(pairing))할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 페어링된 상태에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 오디오 처리 모듈(220)로부터 출력되는 오디오 데이터를 제1 음향 장치(235) 및 제2 음향 장치(240)에 전송할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 페어링된 상태에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 제1 음향 장치(235)의 적어도 하나의 마이크 또는 제2 음향 장치(240)의 적어도 하나의 마이크로부터 입력되는 오디오 신호를 제1 음향 장치(235) 또는 제2 음향 장치(240)로부터 수신할 수 있다.
일 실시예에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 음향 장치(230) 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 제1 음향 장치(235) 및 제2 음향 장치(240) 각각으로부터 수신할 수 있다. 예컨대, 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크의 토널리티(tonality) 성분, 적어도 하나의 마이크의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(210)(예: 도 1의 메모리(130))는 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240))에 대한 정보를 저장할 수 있다. 메모리(210)는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 중 신호를 처리할 음향 장치를 결정하기 위한 적어도 하나의 특성 정보 각각에 대한 기준 값을 저장할 수 있다.
일 실시예에 따르면, 터치스크린 디스플레이(215)(예: 도 1의 표시 장치(160))는 디스플레이(217)와 터치패널(219)을 포함하는 일체형으로 구성될 수 있다.
일 실시예에서, 터치스크린 디스플레이(215)는 프로세서(225)의 제어 하에 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240)와 관련된 정보를 표시할 수 있다. 예컨대, 음향 장치(230)와 관련된 정보는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 각각과의 페어링 여부와 관련된 정보, 수신되는 오디오 신호를 처리하도록 결정된 음향 장치에 대한 정보, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 배터리 정보, 및/또는 제1 음향 장치(235) 및 제2 음향 장치(240)를 조작하기 위한 제어 정보(예: 전자 장치(204)의 기능과 관련된 제어 정보(예: 전화 호의 연결 및 해제, 오디오 재생과 관련된 제어 신호))를 포함할 수 있다.
일 실시예에 따르면, 오디오 처리 모듈(220)(예: 도 1의 오디오 모듈(170))은 도시하지 않았지만, 스피커 및 마이크를 포함할 수 있다. 오디오 처리 모듈(220)은 스피커를 통해 오디오 데이터를 출력할 수 있다. 오디오 처리 모듈(220)은 프로세서(225)의 제어 하에 출력되는 오디오 데이터를 페어링된 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240))에 무선 통신 회로(205)를 통해 송신할 수 있다.
일 실시예에 따르면, 프로세서(225)(예: 도 1의 프로세서(120))는 전자 장치(204)의 전반적인 동작 및 전자 장치(204)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리(예: 도 1의 배터리(189))에서 상기 구성들로의 전원 공급을 제어할 수 있다.
일 실시예에 따르면, 프로세서(225)는 무선 통신 회로(205)를 통해 제1 음향 장치(235) 및/또는 제2 음향 장치(240)와의 연결을 검출할 수 있다. 프로세서(225)는 제1 음향 장치(235)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a))를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238b))를 통해 수신되는 신호의 제2 특성 정보를 확인할 수 있다. 프로세서(225)는 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도(예: 핏(fit) 상태, 언핏(unfit) 상태)를 확인할 수 있다. 프로세서(225)는 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도에 기반하여 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a, 238b))를 통해 수신되는 오디오 신호(예: 송화 음성)를 처리할 수 있다.
도 2c는, 다양한 실시예들에 따른, 음향 장치(230)를 나타내는 블록도(250)이다.
도 2c를 참조하면, 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 각각은 무선 통신 회로(260), 메모리(263), 오디오 처리 모듈(265), 센서 모듈(270), 및 프로세서(275)를 포함할 수 있다.
일 실시예에 따르면, 무선 통신 회로(260)는 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 포함할 수 있다. 근거리 무선 통신 회로는 음향 장치(230)와 전자 장치(204) 간의 통신을 연결할 수 있다. 음향 장치(230)는 전자 장치(204)와 페어링되면, 무선 통신 회로(260)를 통해 제1 음향 장치(235)의 적어도 하나 이상의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a)) 또는 제2 음향 장치(240)의 적어도 하나 이상의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238b))로부터 입력되는 오디오 신호를 전자 장치(204)에 전송할 수 있다. 음향 장치(230)는 무선 통신 회로(260)를 통해 음향 장치(230) 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 전자 장치(204)에 전송할 수 있다. 음향 장치(230)는 무선 통신 회로(260)를 통해 제1 음향 장치(235) 또는 제2 음향 장치(240)에서 감지되는 전자 장치(204)의 기능과 관련된 제어 신호를 전자 장치(204)에 전송할 수 있다. 예컨대, 전자 장치(204)의 기능과 관련된 제어 신호는 전화 호의 연결 및 해제, 오디오 재생과 관련된 제어 신호(예: 일시 정지, 빨리 감기, 되감기)를 포함할 수 있다.
일 실시예에 따르면, 메모리(263)는 페어링되는 전자 장치(204)와 관련된 정보를 저장할 수 있다. 메모리(263)는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 중 신호를 처리할 음향 장치를 결정하기 위한 적어도 하나의 특성 정보 각각에 대한 기준 값을 저장할 수 있다.
일 실시예에 따르면, 오디오 처리 모듈(265)은 도시하지 않았지만, 스피커 및 적어도 하나 이상의 마이크(예: 제1 마이크(예: 인-이어(in-ear) 마이크)(미도시), 제2 마이크(예: 도 2a의 제2 마이크(238a, 238b))(예: 아우터(outer) 마이크)))를 포함할 수 있다. 스피커는 전자 장치(204)로부터 수신되는 오디오 데이터에 대응하는 오디오 신호를 출력할 수 있다.
일 실시예에 따르면, 센서 모듈(270)은 음향 장치(230)가 케이스(예: 제1 음향 장치(235) 및 제2 음향 장치(240)를 수용하도록 구성)로부터 이탈되었는지 여부, 음향 장치(230)가 오브젝트 예컨대, 사용자의 귀에 착용되었는지 여부를 감지할 수 있다.
일 실시예에 따르면, 프로세서(275)는 전자 장치(204)와 페어링되면, 제1 음향 장치(235)의 적어도 하나 이상의 마이크(예: 인-이어 마이크, 아우터 마이크) 또는 제2 음향 장치(240)의 적어도 하나 이상의 마이크(예: 인-이어 마이크, 아우터 마이크)로부터 입력되는 오디오 신호 및 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 무선 통신 회로(260)를 통해 전자 장치(204)에 전송할 수 있다. 프로세서(275)는 적어도 하나의 마이크를 통해 수신되는 오디오 신호(예: 송화 음성)를 처리할 수 있다.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 전자 장치(204)와 근거리 무선 통신을 통해 오디오 신호를 송수신할 수 있으며, 전자 장치(204)의 프로세서(225)에 의해 오디오 신호를 처리할 음향 장치를 결정할 수 있다. 하지만 이에 한정하는 것은 아니며, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 독립적으로 동작할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각이 독립적으로 동작하는 경우, 오디오 신호를 처리할 음향 장치를 결정하는 구성과 관련하여, 후술하는 도 2d에서 살펴보도록 한다.
도 2d는, 다양한 실시예들에 따른, 제1 음향 장치(235) 및 제2 음향 장치(240) 간 통신 연결을 나타내는 블록도(280)이다.
도 2d를 참조하면, 제1 음향 장치(235)와 제2 음향 장치(240)는 무선 통신 회로(260) 예컨대, 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 통해 통신이 연결(예: 페어링)될 수 있다.
일 실시예에서, 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보를 획득하고, 무선 통신 회로(260)를 통해 페어링된 제2 음향 장치(240)(또는, 제1 음향 장치(235))에 대한 제2 특성 정보를 제2 음향 장치(240)로부터 수신할 수 있다. 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 획득된 제1 특성 정보 및 수신된 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도를 확인할 수 있다. 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)를 이용하여 오디오 신호(예: 송화 음성)를 처리할 수 있다.
도 3은, 다양한 실시예들에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도(300)이다.
도 3을 참조하면, 전자 장치(예: 도 2의 전자 장치(204))는 301동작에서, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235)) 및 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))의 연결을 검출할 수 있다. 예컨대, 전자 장치(204)는 무선 통신 회로(예: 근거리 무선 통신 회로)를 통해 제1 음향 장치(235) 및 제2 음향 장치(240)와의 연결(예: 블루투스 페어링(bluetooth pairing))을 검출할 수 있다.
일 실시예에서, 전자 장치(204)는 303동작에서, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인할 수 있다.
일 실시예에서, 제1 특성 정보와 제2 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크(예: 제1 마이크(미도시)(인-이어 마이크))의 토널리티(tonality) 성분, 적어도 하나의 마이크(예: 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 도 2a의 제2 마이크(238a, 238b)(예: 아우터 마이크))의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 전자 장치(204)는 305동작에서, 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도를 확인할 수 있다. 오브젝트는 사용자의 귀를 포함할 수 있다. 전자 장치(204)는 307동작에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여, 수신되는 신호를 처리하기 위한 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정할 수 있다.
예컨대, 전자 장치(204)는 제1 특성 정보 및 제2 특성 정보에 기반하여, 사용자가 제1 음향 장치(235) 및 제2 음향 장치(240)를 귀(예: 좌측 귀 및 우측 귀)에 착용했을 때 사용자의 귀 내부(예: 이어팁(ear tip)과 고막 사이)에서 발생하는 폐색 효과(occlusion effect)의 정도와 외부에서 사용자의 귀 내부(예: 이어팁과 고막 사이)로 새어 들어오는 누설(leakage) 크기를 확인할 수 있다. 예컨대, 폐색 효과의 정도는 귀에 음향 장치가 착용됨에 따라 이어팁에 의해 귀 내부 밀폐된 공간이 생기면 내부 공진으로 인해 저주파 성분의 크기가 증폭되는 효과를 의미할 수 있다. 누설은 귀에 음향 장치가 제대로 착용되지 않은 경우 외부 잡음이 내부로 새어 들어오는 정도를 의미할 수 있다.
일 실시예에서, 전자 장치(204)는 폐색 효과의 정도가 높고 누설 크기가 낮은 경우의 귀에 착용된 음향 장치의 밀착 정도는, 폐색 효과의 정도가 낮고 누설 크기가 높은 경우의 귀에 착용된 음향 장치의 밀착 정도보다 클 수 있다. 다시 말해, 비교 결과, 전자 장치(204)는 밀착 정도가 큰 음향 장치를 귀에 제대로 착용된 것(예: 핏(fit) 상태)으로 판단할 수 있으며, 밀착 정도가 작은 음향 장치를 귀에 제대로 착용되지 않은 것(예: 언핏(unfit) 상태)으로 판단할 수 있다. 밀착 정도에 기반하여, 전자 장치(204)는 후술하는 제1 음향 장치(235) 및 제2 음향 장치(240) 중 밀착 정도가 큰 음향 장치를 오디오 신호를 처리할 음향 장치로 결정할 수 있다.
일 실시예에서, 전술한 밀착 정도를 판단하기 위한 방법으로서 후술하는 바와 같이 제1 음향 장치(235)의 제1 특성 정보 및 제2 음향 장치(240)의 제2 특성 정보를 비교하는 동작을 수행할 수 있다.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각 스피커 및 적어도 하나 이상의 마이크 예컨대, 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(238a, 238b)(예: 아우터 마이크)를 포함할 수 있다. 전자 장치(204)는 제1 음향 장치(235)의 적어도 하나 이상의 마이크 중 하나(예: 인-이어 마이크)와 제2 음향 장치(240)의 적어도 하나의 마이크 중 하나(예: 인-이어 마이크)를 통해 사용자 발화를 감지할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크)를 통해 감지되는 사용자 발화에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 사용자 발화에 대한 정보에 기반하여 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 레벨과 제2 음향 장치(240)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 레벨을 비교할 수 있다. 예컨대, 전자 장치(204)는 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 저역대(예: 500Hz 이하) 레벨과 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 감지된 사용자 발화의 저역대(예: 500Hz 이하) 레벨을 비교할 수 있다. 비교 결과, 저역대에서 제1 음향 장치(235)에서 감지된 사용자 발화의 평균 RMS(root mean square) 레벨과 제2 음향 장치(240)에서 감지된 사용자 발화의 평균 RMS 레벨의 차가 지정된 값 예컨대, 5dB 이상이면, 전자 장치(204)는 높은 평균 RMS 레벨을 가지는 음향 장치를 오디오 신호(예: 적어도 하나의 마이크를 통해 수신되는 음성 신호)를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 전자 장치(204)는 특정 대역(예: 50Hz, 100Hz, 200Hz)에서의 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화에 대한 신호의 크기와 제2 음향 장치(240)의 마이크(예: 인-이어 마이크(238a))를 통해 감지된 사용자 발화에 대한 신호의 크기를 비교할 수 있다. 비교 결과, 특정 대역(예: 50Hz, 100Hz, 200Hz)에서 제1 음향 장치(235)에서 감지된 사용자 발화에 대한 신호의 크기와 제2 음향 장치(240)에서 감지된 사용자 발화에 대한 신호의 크기의 차가 지정된 값 예컨대, 5dB 이상이면, 전자 장치(204)는 높은 신호의 크기를 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 제1 음향 장치(235)의 스피커 및 제2 음향 장치(240)의 스피커를 통해 출력되는 신호가 마이크(예: 인-이어 마이크)로 유입되는 경우, 에코 현상이 발생할 수 있다. 에코 현상이 발생하는 경우, 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크)로 수신되는 에코 신호에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 수신된 에코 신호에 대한 정보에 기반하여 제1 음향 장치(235)에서 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호와 제2 음향 장치(240)에서 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호를 비교할 수 있다. 에코 신호를 비교하는 동작은, 전술한 사용자 발화의 레벨을 비교하는 동작과 동일하게 수행될 수 있다. 예컨대, 전자 장치(204)는 저역 레벨(예: 500Hz 이하)(또는, 특정 대역(예: 50Hz, 100Hz, 200Hz))에서의 제1 음향 장치(235) 및 제2 음향 장치(240) 각각의 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호의 값을 비교할 수 있다. 전자 장치(204)는 비교 결과에 기반하여, 높은 값을 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 전자 장치(204)는 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)의 토널리티(tonality) 성분과 제2 음향 장치(240)의 마이크(예: 인-이어 마이크)의 토널리티 성분을 분석할 수 있다. 전자 장치(204)는 분석을 통해 토널리티 성분이 높은 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 전자 장치(204)는 제1 음향 장치(235)의 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 아우터 마이크(238a))의 입력 신호와 제2 음향 장치(240)의 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 아우터 마이크(238b))의 입력 신호를 확인할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크 및 아우터 마이크(238a, 238b))로 수신되는 입력 신호에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 수신되는 각 음향 장치에 대한 제1 마이크 및 제2 마이크(238a, 238b)의 입력 신호에 기반하여, 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold) 미만인 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 제1 음향 장치(235)의 저주파수 대역에서 코히런스(coherence)와 제2 음향 장치(240)의 저주파수 대역에서 코히런스(coherence)가 지정된 값 미만이거나, 또는 지정된 값 미만이 아니면(예: 이상이면), 전자 장치(204)는 저주파수 대역에서 제1 음향 장치(235)의 코히런스(coherence)와 제2 음향 장치(240)의 코히런스(coherence) 중 작은 코히런스 값을 가지는 음향 장치를 수신되는 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
다른 실시예에서, 적응적 잡음 억제 게인(adaptive noise suppression gain)을 이용하여 오브젝트 상에 음향 장치의 착용 상태를 확인할 수 있다. 예컨대, 제1 음향 장치(235) 또는 제2 음향 장치(240)의 제1 마이크(예: 인-이어 마이크)의 신호를 기준으로, 제2 마이크(238a 또는 238b)(예: 아우터 마이크)의 신호를 타겟 신호로 하는 적응적 필터(adaptive filter)의 크기가 지정된 값 이상이면, 전자 장치(204)는 지정된 값 이상을 가지는 음향 장치가 오브젝트 상에 제대로 착용되지 않은 상태(예: 언핏(unfit) 상태)인 것으로 결정할 수 있다. 전자 장치(204)는 제1 음향 장치(235) 또는 제2 음향 장치(240) 중 적응적 필터의 크기가 지정된 값 미만인 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다. 다시 말해, 적응적 필터의 크기가 지정된 값 미만인 음향 장치는 오브젝트 상에 제대로 착용된 상태(예: 핏(fit) 상태)일 수 있다.
다른 실시예에서, 제1 음향 장치(235)의 적응적 필터와 제2 음향 장치(240)의 적응적 필터가 지정된 값 이상이면, 전자 장치(204)는 제1 음향 장치(235)의 적응적 필터와 제2 음향 장치(240)의 적응적 필터 중 작은 값을 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.
일 실시예에서, 전자 장치(204)는 309동작에서, 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리할 수 있다. 예컨대, 전자 장치(204)는 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)를 이용하여 송화 음성을 처리할 수 있다.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 중 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 오프(off)될 수 있다.
일 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 오프(off)될 수 있다.
일 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 하드웨어적, 소프트웨어적, 또는 이들의 조합에 의해 오프(off)될 수 있다.
일 실시예에서, 음향 장치(230)의 프로세서(275)에 포함된 구성요소들 중 적어도 하나와 전자 장치(204)의 프로세서(225)에 포함된 구성요소들 중 적어도 하나는 하드웨어적으로 구현될 수 있다. 예컨대, 음향 장치(230)의 프로세서(275)에 포함된 적어도 하나의 구성요소는 음향 장치(230)의 내부에 회로적으로 구현되거나, 전자 장치(204)의 프로세서(225)에 포함된 적어도 하나의 구성요소는 전자 장치(204)의 내부에 회로적으로 구현될 수 있다. 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 음향 장치(230) 또는 전자 장치(204)의 내부에 하드웨어적으로 구현된 회로에 의해 오프(off)될 수 있다.
다른 실시예에서, 음향 장치(230)의 프로세서(275)에 포함된 구성요소들 중 적어도 하나와 전자 장치(204)의 프로세서(225)의 구성요소들 중 적어도 하나는 소프트웨어적으로 구현될 수 있다. 예컨대, 음향 장치(230)를 제어하기 위한 프로그램(예: 어플리케이션)으로 구현될 수 있다. 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 음향 장치(230)를 제어하기 위한 프로그램을 통해 오프(off)될 수 있다.
다른 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 하드웨어적인 프로세서를 구동시키는 소프트웨어적으로 구현된 프로그램을 통해 오프(off)될 수 있다.
일 실시예에서, 미도시 하였지만, 307동작의 수신되는 신호를 처리하도록 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정한 후, 지정된 시간이 경과하면, 전자 장치(204)는 303동작의 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작을 수행할 수 있다. 다시 말해, 제1 음향 장치(235) 또는 제2 음향 장치(240)가 오브젝트 상에 제대로 착용된 상태인지 지정된 시간 간격으로 확인할 수 있으며, 이에 기반하여 오디오 신호를 처리하기 위한 음향 장치로서, 기 결정된 음향 장치를 유지하거나, 다른 음향 장치로 스위칭 할 수 있다. 이 경우, 제1 음향 장치(235) 또는 제2 음향 장치(240)가 오브젝트 상에 제대로 착용된 상태인지 확인하기 위하여 전자 장치(204)는 오프(off) 상태로 제어된 음향 장치의 적어도 하나의 마이크를 지정된 시간 간격으로 온(on) 되도록 제어할 수 있다.
일 실시예에서, 미도시 하였지만, 전자 장치(204)는 수신되는 신호를 처리하도록 결정된 음향 장치 예컨대, 제1 음향 장치(235)(또는, 제2 음향 장치(240))의 연결이 해제되거나, 또는 오브젝트(예: 사용자의 귀)에 음향 장치의 착용 상태가 전환(예: 착용된 상태에서 미착용 상태로 전환)됨을 감지할 수 있다. 전자 장치(204)는 연결이 해제되거나 또는 착용 상태가 전환된 제1 음향 장치(235)(또는, 제2 음향 장치(240))의 적어도 하나의 마이크를 오프시킬 수 있다. 이 경우, 전자 장치(204)는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하고, 오디오 신호를 처리할 수 있도록 제2 음향 장치(240)의 적어도 하나의 마이크를 온(on)시키기 위한 신호를 제2 음향 장치(240)에 송신할 수 있다.
전술한 실시예에서, 전자 장치(204)에 제1 음향 장치(235) 및 제2 음향 장치(240)가 연결된 것으로 설명하였지만, 전자 장치(204)에 제1 음향 장치(235) 및 제2 음향 장치(240) 중 하나가 연결된 경우, 전자 장치(204)는 연결된 하나의 음향 장치를 이용하여 오디오 신호를 처리할 수 있다.
전술한 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235) 및 제2 음향 장치(240) 중 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 오프(off)하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예컨대, 전자 장치(204)는 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 오프(off)시키지 않을 수 있다. 예컨대, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 통해 외부 오디오를 획득할 수 있다. 전자 장치(204)는 신호를 처리하기 위한 음향 장치를 제외한 음향 장치의 적어도 하나의 마이크를 통해 획득된 외부 오디오에 기반하여 전자 장치(204)의 주변 소음을 감지할 수 있다. 전자 장치(204)는 감지되는 주변 소음으로 인한 노이즈를 제거하거나, 또는 스피커의 볼륨을 조절할 수 있다.
다른 실시예에서, 전자 장치(204)는 신호를 처리하기 위한 음향 장치를 제외한 음향 장치의 적어도 하나의 마이크(예: 인-이어 마이크)를 이용하여 스피커를 통해 출력되는 신호가 적어도 하나의 마이크로 유입됨에 따른 하울링 현상 또는 에코 현상이 발생하는지 모니터링 할 수 있다. 모니터링 결과, 수신되는 신호에서 하울링 현상 또는 에코 현상이 발생한 것으로 결정되면, 전자 장치(204)는 하울링 노이즈 또는 에코 노이즈를 제거할 수 있다.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 전자 장치(204)와 근거리 무선 통신을 통해 오디오 데이터를 송수신하고, 전자 장치(204)에 의해 오디오 신호를 처리할 음향 장치를 결정하는 것으로 설명하였지만 이에 한정하는 것은 아니다. 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 독립적으로 동작할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각이 독립적으로 동작하는 경우, 오디오 신호를 처리할 음향 장치를 결정하는 구성과 관련하여, 후술하는 도 4에서 살펴보도록 한다.
도 4는, 다양한 실시예들에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도(400)이다.
일 실시예에 따른 도 4에서, 독립적으로 동작하는 제1 음향 장치(235) 및 제2 음향 장치(240) 중 제1 음향 장치(235)에 의해 오디오 신호를 처리하기 위한 음향 장치를 결정하는 것으로 가정하여 설명한다. 하지만 이에 한정하는 것은 아니며, 제2 음향 장치(240)에 의해 오디오 신호를 처리하기 위한 음향 장치를 결정할 수 있다.
도 4를 참조하면, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))는 401동작에서, 적어도 하나의 마이크(예: 제1 마이크(미도시, 인-이어 마이크)) 및/또는 도 2a의 제2 마이크(238a)(예: 아우터 마이크))를 통해 수신되는 신호의 제1 특성 정보를 획득할 수 있다. 제1 음향 장치(235)는 403동작에서, 무선 통신 회로(예: 근거리 무선 통신 회로)를 통해 연결된 제2 음향 장치(240)에 대한 제2 특성 정보를 제2 음향 장치(240)로부터 수신할 수 있다. 예컨대, 제1 특성 정보와 제2 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크(예: 인-이어 마이크)의 토널리티(tonality) 성분, 적어도 하나의 마이크(예: 인-이어 마이크 및/또는 아우터 마이크(예: 도 2a의 제2 마이크(238a, 238b))의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제1 음향 장치(235)는 405동작에서, 획득된 제1 특성 정보 및 수신된 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도를 확인할 수 있다. 제1 음향 장치(235)는 407동작에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여, 수신되는 신호를 처리하기 위한 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정할 수 있다.
일 실시예에 따른 405동작 및 407동작은 전술한 도 3의 305동작 및 307동작과 유사하므로, 그에 대한 상세한 설명은 도 3과 관련된 설명으로 대신할 수 있다.
일 실시예에서, 수신되는 신호를 처리하기 위한 음향 장치로 제1 음향 장치(235)가 결정되면, 제1 음향 장치(235)는 409동작에서, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리할 수 있다. 일 실시예에서, 제1 음향 장치(235)는 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다. 예컨대, 제1 음향 장치(235)는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다.
다른 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235)는 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 전송하지 않을 수 있다. 예컨대, 제1 음향 장치는(235)는 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 외부 오디오를 수신하거나, 수신되는 신호를 모니터링 하도록 하기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다.
일 실시예에서, 수신되는 신호를 처리하기 위한 음향 장치로 제2 음향 장치(240)가 결정되면, 제1 음향 장치(235)는 411동작에서, 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리하기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다. 일 실시예에서, 제1 음향 장치(235)는 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off) 시킬 수 있다. 예컨대, 제1 음향 장치(235)는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off) 시킬 수 있다.
다른 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235)는 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off)시키지 않고, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 외부 오디오를 수신하거나, 또는 수신되는 신호를 모니터링 하도록 제어할 수 있다.
도 5는, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(500)이다.
도 5를 참조하면, 참조번호 <510>은 사용자의 왼쪽 귀에 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))가 착용된 상태에서 제1 음향 장치(235)의 적어도 하나의 마이크(예: 인-이어(in-ear) 마이크, 아우터(outer) 마이크))를 통해 수신되는 신호의 NS(noise suppression) 처리 결과를 도시한 도면이다. 참조번호 <530>은 참조번호 <510>에서 NS 처리된 일부 영역(515)을 확대하여 도시한 도면이다.
일 실시예에서, 참조번호 <550>은 사용자의 오른쪽 귀에 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))가 착용된 상태에서 제2 음향 장치(240)의 적어도 하나의 마이크(예: 인-이어(in-ear) 마이크, 아우터(outer) 마이크))를 통해 수신되는 신호의 NS 처리 결과를 도시한 도면이다. 참조번호 <570>은 참조번호 <550>에서 NS 처리된 일부 영역(555)을 확대하여 도시한 도면이다.
일 실시예에서, 참조번호 <530> 및 <570>을 비교하면, NS 처리된 사용자의 왼쪽 귀에 착용된 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호는, NS 처리된 사용자의 오른쪽 귀에 착용된 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호와 비교하여, 잡음(535)이 발생한 것을 확인할 수 있다. 이 경우, 전자 장치(예: 도 2a의 전자 장치(204))는 제2 음향 장치(240)가 사용자의 귀에 밀착된 정도가 제1 음향 장치(235)가 사용자의 귀에 밀착된 정도보다 큰 것으로 결정(예: 사용자의 귀에 음향 장치가 제대로 착용된 것으로 결정, 핏(fit) 상태)하고, 전자 장치(204)는 수신되는 오디오 신호를 처리하기 위한 장치로서 제2 음향 장치(240)를 결정할 수 있다.
일 실시예에서, 전자 장치(204)는 수신되는 오디오 신호를 처리하기 위한 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off)시킬 수 있다. 예컨대, 전자 장치(204)는 제1 음향 장치(235)의 적어도 하나의 마이크를 전화 호 연결에 따른 호 발신 또는 호 수신 시, 오프(off)시킬 수 있다.
다른 실시예에서, 전자 장치(204)는 주변 소음이 감지되는지 여부 또는 주변 소음에 따른 스피커의 볼륨을 조절하기 위하여 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 외부 오디오를 수신할 수 있다. 다른 실시예에서, 전자 장치(204)는 하울링 현상 또는 에코 현상이 발생하는지 여부를 결정하기 위하여 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호를 모니터링 할 수 있다.
도 6은, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(600)이다.
도 6을 참조하면, 참조번호 <610>은 저주파수 대역에서 사용자의 왼쪽 귀에 착용된 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))의 적어도 하나의 마이크(예: 제1 마이크(미도시)(예: 인-이어 마이크) 및 도 2a의 제2 마이크(238a)(예: 아우터 마이크))를 통해 수신되는 신호에 대한 코히런스(coherence) 값을 도시한 도면이다. 참조번호 <630>은 저주파수 대역에서 사용자의 오른쪽 귀에 착용된 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값을 도시한 도면이다.
일 실시예에서, 전자 장치(예: 도 2의 전자 장치(204))는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold) 미만인 음향 장치 예컨대, 참조번호 <610>에 해당하는 제1 음향 장치(235)를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다. 예컨대, 전자 장치(204)는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(620) 미만인 제1 음향 장치(235)를 사용자의 귀에 음향 장치가 제대로 착용된 상태(예: 핏(fit) 상태)로 결정하고, 제1 음향 장치(235)를 이용하여 오디오 신호를 처리할 수 있다. 전자 장치(204)는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold)(620) 이상인 음향 장치 예컨대, 참조번호 <630>에 해당하는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하지 않고, 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시킬 수 있다. 예컨대, 제2 음향 장치(240)의 적어도 하나의 마이크는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 전자 장치(204)의 제어 하에 오프(off)될 수 있다.
다른 실시예에서, 호 연결에 따른 호 발신 또는 호 수신 시, 참조번호 <630>에 해당하는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하지 않은 경우, 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키는 대신, 주변 소음이 감지되는지 여부 또는 감지되는 주변 소음에 따른 스피커의 볼륨을 조절하기 위하여 제2 음향 장치(240)의 적어도 하나의 마이크를 외부 오디오를 수신하는 용도로 이용할 수 있다. 다른 실시예에서, 전자 장치(204)는 하울링 현상 또는 에코 현상이 발생하는지 여부를 결정하기 위하여 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 모니터링 할 수 있다.
도 7은, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(700)이다.
일 실시예에 따른 도 7은, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235)) 및 제2 음향 장치(예: 도 2a의 제2 음향 장치(240)) 각각의 마이크(예: 인-이어 마이크)를 통해 수신되는 신호에 기반하여 오브젝트(예: 사용자의 귀) 상에 음향 장치의 착용 상태 예컨대, 핏(fit) 상태(710) 및 언핏(unfit) 상태(720)를 결정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(예: 도 2의 전자 장치(204))는 오브젝트 예컨대, 사용자의 귀 내부(예: 이어팁(ear tip)과 고막 사이)에서 발생하는 폐색 효과(occlusion effect)의 정도(730)와 외부에서 이어팁과 고막 사이로 새어 들어오는 누설(leakage)의 크기(740)에 기반하여 음향 장치의 착용 상태를 결정할 수 있다.
일 실시예에서, 전자 장치(204)는 폐색 효과의 정도(730)가 제1 지정된 값 미만이고, 누설의 크기(740)가 제2 지정된 값 이상을 가지는 음향 장치에 대해 오브젝트 상에 제대로 착용되지 않은 상태 예컨대, 언핏(unfit) 상태(720)(예: 언핏 플래그(unfit flag)(750)가 1 값을 가지는 상태)로 결정할 수 있다. 전자 장치(204)는 폐색 효과의 정도(730)가 제1 지정된 값 이상이고, 누설의 크기(740)가 제2 지정된 값 미만을 가지는 음향 장치에 대해 오브젝트 상에 제대로 착용된 상태 예컨대, 핏(unfit) 상태(710)(예: 언핏 플래그(unfit flag)(750)가 0 값을 가지는 상태)로 결정할 수 있다. 전자 장치(204)는 핏(fit) 상태(710)로 결정된 음향 장치를 수신되는 오디오 신호를 처리할 음향 장치로 결정할 수 있다.
다양한 실시예들에 따른 도 5 내지 도 7에서 오디오 신호를 처리할 음향 장치가 전자 장치(204)에 의해 결정되는 것으로 설명하였으나, 이에 한정하는 것은 아니며, 제1 음향 장치(235) 및 제2 음향 장치(240)가 독립적으로 동작하는 경우 제1 음향 장치(235) 또는 제2 음향 장치(240)에 의해 오디오 신호를 처리할 음향 장치가 결정될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트 폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B, 또는 C", "A, B, 및 C 중 적어도 하나”, 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    무선 통신 회로; 및
    상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하고,
    상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하고,
    상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고,
    상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및
    상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 폐색 효과(occlusion effect)의 정도와 누설(leakage) 크기를 확인하고, 상기 폐색 효과의 정도 및 상기 누설의 크기에 기반하여 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 상기 밀착 정도를 확인하도록 설정된 전자 장치.
  3. 제 2 항에 있어서,
    상기 오브젝트는 사용자 귀를 포함하며,
    상기 프로세서는,
    상기 사용자 귀의 내부에 상기 제1 음향 장치 및 상기 제2 음향 장치의 핏(fit) 상태 또는 언핏(unfit) 상태를 결정하도록 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 제1 특성 정보와 상기 제2 특성 정보는, 사용자 발화의 레벨, 에코(echo) 레벨, 상기 적어도 하나의 마이크의 토널리티(tonality) 성분, 상기 적어도 하나의 마이크의 입력 신호, 또는 잡음 억제 게인(noise suppression gain) 중 적어도 하나를 포함하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호 및 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호를 잡음 억제 처리하고, 상기 잡음 억제 처리 결과, 잡음이 발생하지 않은 신호의 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하도록 설정된 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    특정 대역에서 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값과 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값 중 지정된 값 미만인 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하거나, 또는
    상기 특정 대역에서 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값과 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값이 상기 지정된 값 미만이거나 또는 이상이면, 상기 제1 음향 장치의 코히런스(coherence)와 제2 음향 장치의 코히런스(coherence) 중 작은 코히런스 값을 가지는 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하도록 설정된 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 결정된 제1 음향 장치 또는 제2 음향 장치의 연결이 해제되면, 상기 연결이 유지되는 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하거나, 또는
    상기 결정된 제1 음향 장치 또는 제2 음향 장치가 상기 오브젝트 상에 착용된 상태에서 미착용 상태로 전환되면, 상기 미착용 상태로 전환된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 오프시키고, 상기 착용된 상태의 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 지정된 시간이 경과하면, 상기 제1 특성 정보와 상기 제2 특성 정보를 확인하고, 상기 확인 결과에 기반하여, 상기 수신되는 신호를 처리하도록 상기 결정된 음향 장치를 유지하거나, 상기 제1 음향 장치 또는 상기 제2 음향 장치 중 상기 결정된 음향 장치가 아닌 다른 음향 장치를 이용하여 상기 수신되는 신호를 처리하도록 스위칭 하도록 설정된 전자 장치.
  9. 전자 장치의 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법은,
    무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하는 동작;
    상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작;
    상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하는 동작;
    상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하는 동작; 및
    상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 밀착 정도를 확인하는 동작은,
    상기 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 폐색 효과(occlusion effect)의 정도와 누설(leakage) 크기를 확인하는 동작; 및
    상기 폐색 효과의 정도 및 상기 누설의 크기에 기반하여 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 상기 밀착 정도를 확인하는 동작을 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 오브젝트는 사용자 귀를 포함하며,
    상기 밀착 정도를 확인하는 동작은,
    상기 사용자 귀의 내부에 상기 제1 음향 장치 및 상기 제2 음향 장치의 핏(fit) 상태 및 언핏(unfit) 상태를 결정하는 동작을 포함하는 방법.
  12. 제 9 항에 있어서,
    상기 결정된 제1 음향 장치 또는 제2 음향 장치의 연결이 해제되면, 상기 연결이 유지되는 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 더 포함하는 방법.
  13. 제 9 항에 있어서,
    상기 결정된 제1 음향 장치 또는 제2 음향 장치가 상기 오브젝트에 착용된 상태에서 미착용 상태로 전환되면, 상기 미착용 상태로 전환된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 오프시키고, 상기 착용된 상태의 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 더 포함하는 방법.
  14. 제 9 항에 있어서,
    상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리한 후, 지정된 시간이 경과하면, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작을 더 포함하는 방법.
  15. 제 14 항에 있어서,
    상기 확인 결과에 기반하여, 상기 수신되는 신호를 처리하도록 결정된 음향 장치를 유지하는 동작; 또는
    상기 제1 음향 장치 또는 상기 제2 음향 장치 중 상기 결정된 음향 장치가 아닌 다른 음향 장치를 이용하여 상기 수신되는 신호를 처리하도록 스위칭하는 동작을 더 포함하는 방법.
PCT/KR2020/007125 2019-06-28 2020-06-02 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법 WO2020262835A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0078032 2019-06-28
KR1020190078032A KR20210001646A (ko) 2019-06-28 2019-06-28 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법

Publications (1)

Publication Number Publication Date
WO2020262835A1 true WO2020262835A1 (ko) 2020-12-30

Family

ID=74061016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/007125 WO2020262835A1 (ko) 2019-06-28 2020-06-02 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법

Country Status (2)

Country Link
KR (1) KR20210001646A (ko)
WO (1) WO2020262835A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220118224A (ko) * 2021-02-18 2022-08-25 삼성전자주식회사 오디오 데이터 처리 방법 및 이를 지원하는 전자 장치
KR20230019533A (ko) * 2021-08-02 2023-02-09 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120051548A1 (en) * 2010-02-18 2012-03-01 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
KR101330476B1 (ko) * 2012-03-29 2013-11-15 신두식 귓속 삽입형 마이크를 사용하는 유무선 이어폰 장치
KR101475265B1 (ko) * 2013-07-09 2014-12-22 오성훈 기능성 이어폰 장치 및 그 운용방법
KR101803306B1 (ko) * 2016-08-11 2017-11-30 주식회사 오르페오사운드웍스 이어폰 착용상태 모니터링 장치 및 방법
KR20180095343A (ko) * 2017-02-17 2018-08-27 유한회사 청텍 피팅이 용이하고 체온 모니터링 기능을 가진 보청 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120051548A1 (en) * 2010-02-18 2012-03-01 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
KR101330476B1 (ko) * 2012-03-29 2013-11-15 신두식 귓속 삽입형 마이크를 사용하는 유무선 이어폰 장치
KR101475265B1 (ko) * 2013-07-09 2014-12-22 오성훈 기능성 이어폰 장치 및 그 운용방법
KR101803306B1 (ko) * 2016-08-11 2017-11-30 주식회사 오르페오사운드웍스 이어폰 착용상태 모니터링 장치 및 방법
KR20180095343A (ko) * 2017-02-17 2018-08-27 유한회사 청텍 피팅이 용이하고 체온 모니터링 기능을 가진 보청 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20210001646A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
WO2020204611A1 (en) Method for detecting wearing of acoustic device and acoustic device supporting the same
WO2019045394A1 (ko) 지정된 주파수 대역의 신호를 이용하여 외부 객체의 근접을 확인하는 전자 장치 및 전자 장치 제어 방법
WO2014133314A1 (en) Application control method and apparatus for mobile terminal, earphone device and application control system
WO2020166944A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
WO2019093856A1 (en) Device and method for controlling microphone according to connection of external accessory
WO2019245328A1 (ko) 유선 또는 무선으로 수신되는 디지털 오디오 신호를 아날로그 오디오 신호로 변환하는 전자 장치, 방법 및 시스템
WO2019216579A1 (ko) 스피커 모듈을 이용한 발수 구조를 가진 웨어러블 전자 장치 및 그의 수분 침투 감지 방법
WO2019112357A1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 전자 장치
WO2019156338A1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
WO2020262835A1 (ko) 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
WO2019231296A1 (en) An electronic device and method for preventing corrosion of an audio jack
WO2021020686A1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
WO2021132852A1 (ko) 오디오 데이터의 출력 방법 및 이를 지원하는 전자 장치
WO2020256318A1 (ko) 이어 잭 내 삽입된 객체를 확인할 수 있는 전자 장치 및 방법
WO2019074238A1 (ko) 마이크로폰, 마이크로폰을 포함하는 전자 장치 및 전자 장치의 제어 방법
WO2019083192A1 (ko) 네트워크 연결 정보에 기반하여 잡음 제어 파라미터를 결정하는 전자 장치 및 그의 동작 방법
WO2020032363A1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
WO2021162337A1 (ko) 음질 개선 방법 및 이어 웨어러블 장치
WO2019107973A1 (ko) 오디오 신호의 음량에 따라 설정된 해상도에 기반하여, 오디오 신호를 처리하는 방법 및 그 전자 장치
WO2021172893A1 (ko) 에코 캔슬링을 위한 방법 및 그 장치
WO2019078501A1 (ko) 마이크를 통해 획득한 오디오 신호의 크기에 기반하여 마이크의 오류 발생 여부를 결정하기 위한 방법 및 그 전자 장치
WO2021162403A1 (en) Method for improving sound quality and electronic device using same
WO2020235818A1 (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치의 착용상태를 식별하는 방법
WO2020111554A1 (ko) 안테나에 의하여 측정되는 값을 보상하는 전자 장치 및 그 작동 방법
WO2020213845A1 (ko) 액세서리를 인식하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832894

Country of ref document: EP

Kind code of ref document: A1