WO2023013841A1 - 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 - Google Patents

웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2023013841A1
WO2023013841A1 PCT/KR2022/004932 KR2022004932W WO2023013841A1 WO 2023013841 A1 WO2023013841 A1 WO 2023013841A1 KR 2022004932 W KR2022004932 W KR 2022004932W WO 2023013841 A1 WO2023013841 A1 WO 2023013841A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
wearable electronic
difference value
reproduced sound
signal
Prior art date
Application number
PCT/KR2022/004932
Other languages
English (en)
French (fr)
Inventor
방경호
문한길
이재성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22754759.3A priority Critical patent/EP4152767A4/en
Priority to CN202280054379.7A priority patent/CN117837168A/zh
Priority to US17/861,444 priority patent/US20230033379A1/en
Publication of WO2023013841A1 publication Critical patent/WO2023013841A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15—Determination of the acoustic seal of ear moulds or ear tips of hearing devices

Definitions

  • the disclosure below relates to a wearable electronic device and a method of operating the wearable electronic device.
  • a wearable electronic device may be worn on a user's body (eg, an ear, neck, head, or wrist). A user may perform various tasks such as listening to music or making a call with a counterpart through a wearable electronic device.
  • a wearable electronic device may be wired or wirelessly connected to a user terminal and/or an external electronic device.
  • a method of operating a wearable electronic device 400 including a speaker 420 and a microphone 430 detects whether sound leakage of the wearable electronic device 400 occurs.
  • the wearable electronic device 400 includes a sound generator 410 including a circuit for generating a detection signal for detecting whether a sound leak has occurred, a speaker 420 for outputting the detection signal to a user's ear canal, the A microphone 430 that picks up the signal output through the speaker 420 and a difference value between the feedback signal collected through the microphone 430 and the detection signal are calculated, and based on the difference value, the wearable electronic device It may include a processor 440 that corrects the reproduced sound output by .
  • the wearable electronic device may correct sound by compensating for leakage.
  • the wearable electronic device can improve the usability of the wearable electronic device by determining whether to compensate for sound or guide the user according to the degree of leakage.
  • a wearable electronic device may compensate for a sound leakage deviation that cannot be provided by an ear tip through correction within a certain level.
  • the wearable electronic device may compensate for leakage of a specific signal due to at least one of a different ear shape, ear size, and/or an attribution state for each user.
  • a wearable electronic device may induce a user to properly wear the wearable electronic device and reduce a failure probability by providing guidance related to use of the wearable electronic device.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a diagram for explaining an electronic device and a wearable electronic device according to an exemplary embodiment.
  • 3A and 3B are diagrams illustrating examples of wearing a wearable electronic device according to an exemplary embodiment.
  • FIG. 4 is a block diagram of a wearable electronic device according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a sound transmission path in a wearable electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of operating a wearable electronic device according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of a range in which a wearable electronic device classifies a difference value according to a leak detection result according to an embodiment.
  • FIG. 8 is a diagram for explaining a method of calculating a difference value between a detection signal and a feedback signal when a wearable electronic device is normally worn, according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining a method of compensating for leakage when a difference value satisfies a specific compensation condition according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an operating method of a wearable electronic device according to another embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or fingerprint sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • the external electronic device 102 may be, for example, the first wearable electronic device 220 - 1 and/or the second wearable electronic device 220 - 2 of FIG. 2 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • an electronic device 210 (eg, the electronic device 101 of FIG. 1 ) may be wirelessly connected to a first electronic device 220-1 and a second wearable electronic device 220-2.
  • the electronic device 210 performs short-range wireless communication (eg, Bluetooth, Wi-Fi) with at least one of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2. can be connected Without being limited thereto, at least one of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 may be connected to the electronic device 210 by wire.
  • short-range wireless communication eg, Bluetooth, Wi-Fi
  • the first wearable electronic device 220-1 may operate as a master, and the second wearable electronic device 220-2 may operate as a slave (or vice versa).
  • the first wearable electronic device 220-1 operating as a master according to a sniffing method is connected to the electronic device 210 through short-range wireless communication, receives audio data from the electronic device 210, and outputs the audio data. can do.
  • the second wearable electronic device 220-2 operating as a slave according to the sniffing method is connected to the first wearable electronic device 220-1 through short-range wireless communication and receives audio from the first wearable electronic device 220-1. Data can be received and output.
  • the first wearable electronic device 220-1 transmits sync information together with the audio data to the second wearable electronic device 220 to synchronize audio output timing with the second wearable electronic device 220-2. -2) can be sent.
  • the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 may correspond to devices that can be worn on a part of the body (eg, the ear).
  • each of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 may be a wireless earphone or a true wireless stereo (tws) that can be worn on the ear.
  • the first wearable electronic device 220-1 may be worn on one ear of the user and the second wearable electronic device 220-2 may be worn on the other ear of the user.
  • the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 may receive an audio signal from the electronic device 210 and transmit the received audio signal to the first wearable electronic device 220. -1) and/or at least one or more speakers included in the second wearable electronic device 220-2 (eg, the speaker 420 of FIG. 4 or the speaker 510 of FIG. 5).
  • the audio signal may include, for example, a voice signal of a call party, a music signal, or a sound signal output when playing multimedia content, but is not limited thereto.
  • the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 includes at least one microphone (eg, the microphone 430 of FIG. 4, the error microphone 520 of FIG. 5, and a reference microphone). (540)), the user's voice may be received, the received voice may be processed to generate voice data, and the generated voice data may be transmitted to the electronic device 210.
  • the microphone 430 of FIG. 4, the error microphone 520 of FIG. 5, and a reference microphone e.g., the microphone 430 of FIG. 4, the error microphone 520 of FIG. 5, and a reference microphone.
  • Sound leakage may occur in the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 according to the user's wearing example.
  • a wearing example of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 will be described in more detail with reference to FIG. 3 below.
  • the ear shape, ear size, and attachment state may be different for each user, and thus leakage may occur unintentionally.
  • At least one of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 generates a detection signal for detecting whether a sound leak has occurred through, for example, a speaker can do.
  • the 'detection signal' may be, for example, a sound signal corresponding to all pre-set frequency bands or low-frequency bands for leak detection, but is not limited to a specific frequency band.
  • At least one of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 outputs the generated detection signal into the user's ear canal through a speaker, and the signal is transmitted through a microphone.
  • the collected feedback signal may be received, and the reproduced sound may be corrected based on the feedback signal.
  • At least one of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 may calculate a difference value between the feedback signal and the detection signal, and correct the reproduced sound based on the difference value. there is.
  • first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 according to an embodiment will be described in more detail with reference to FIGS. 4 and 5 below.
  • the operation method of the first wearable electronic device 220-1 and/or the second wearable electronic device 220-2 will be described in more detail with reference to FIGS. 6 to 10 below.
  • 3A and 3B are diagrams illustrating examples of wearing a wearable electronic device according to an exemplary embodiment.
  • FIG. 3A an example of a case where a wearable electronic device 301 (eg, a first wearable electronic device 220-1 or a second wearable electronic device 220-2) is incorrectly worn on the user's ear is illustrated.
  • An illustrated diagram 310 is shown.
  • the wearable electronic device 301 is worn loosely or upside down so that it does not fit the user's ear canal 305, or the size of the ear tip (not shown) of the wearable electronic device 301 does not fit the user's ear.
  • sound may leak out of the user's ears.
  • the sound leaking out of the user's ears can be called 'sound leakage'.
  • a part of low and mid-range sounds leaks out, so the reproduced sound may not be properly delivered to the user.
  • a part of the user's voice picked up by the ear microphone eg, the microphone 430 of FIG. 4
  • leaks out of the ear and much distortion may occur in the voice received by the ear microphone 430 .
  • the wearable electronic device 301 when the wearable electronic device 301 is worn incorrectly, even if the active noise cancelation (ANC) function is used, the sound collected by the in-ear microphone 430 of the wearable electronic device 301 is not normally collected. Attenuation may not occur.
  • the ear speaker of the wearable electronic device 301 eg, the speaker 420 of FIG. 4 or the speaker 420 of FIG. 5 Sound output through the speaker 510) leaks out of the ear and is input back to the microphone (eg, the microphone 520 of FIG. 5) to form a feedback loop, so howling may occur.
  • FIG. 3B a diagram 330 illustrating a case where the wearable electronic device 301 is normally worn on the user's ear is shown.
  • the wearable electronic device 301 when the wearable electronic device 301 is worn in the user's ear canal, sound leaks out of the user's ear, or external noise is transmitted through the ear microphone of the wearable electronic device 301 (eg, the ear canal).
  • the wearable electronic device 301 may transmit undistorted sound or sound with reduced distortion to the user.
  • the wearable electronic device 301 determines whether the user wears the wearable electronic device 301 normally, and induces the user to re-wear the wearable electronic device 301 or replace the ear tip. .
  • leakage may occur exceptionally due to at least one of the size of the user's ear, the shape of the inside of the ear, and/or a foreign object inside the ear.
  • the wearable electronic device 301 may correct the reproduced sound by compensating for leakage in a situation where leakage occurs.
  • the wearable electronic device 400 may include a sound generator 410 , a speaker 420 , a microphone 430 , and a processor 440 .
  • the sound generator 410 includes various sound generating circuits and may include a circuit generating a detection signal Tone for detecting whether or not leakage occurs.
  • the detection signal may be, for example, a sound signal corresponding to all frequency bands or a sound signal corresponding to a low frequency band, but is not limited to a specific frequency band.
  • the wearable electronic device 400 may store media data related to the detection signal and/or data (eg, frequency band information) of the detection signal in a memory (not shown).
  • the sound generator 410 is a functional block that generates a detection signal (Tone), for example, a H / W block (Hardwired Logic), a separate logic inside a DSP (digital signal processor), or software (S / W) can be implemented as Depending on the embodiment, the implementation form of the sound generator 410 may vary, but the sound generator 410 may exist independently.
  • a detection signal for example, a H / W block (Hardwired Logic), a separate logic inside a DSP (digital signal processor), or software (S / W)
  • S / W software
  • the speaker 420 may output the detection signal generated by the sound generator 410 in a specific direction.
  • the output direction of the detection signal may be set according to the arrangement direction and/or shape of the diaphragm included in the speaker 420 .
  • the speaker 420 may be designed so that a detection signal is output in the direction of the user's ear canal when the user wears the wearable electronic device 400 normally.
  • At least a portion of the speaker 420 may be included inside a protrusion (not shown) of the housing of the wearable electronic device 400 .
  • the protrusion may be formed in a shape and size to be inserted into the user's ear canal.
  • the speaker 420 may be, for example, an in-ear speaker or a closed speaker, but is not necessarily limited thereto.
  • the speaker 420 may be included in the protrusion.
  • at least a portion of the microphone 430 may be included in the protrusion, but is not necessarily limited thereto.
  • the microphone 430 may pick up a signal output through the speaker 420 .
  • the microphone 430 may be, for example, an in-ear microphone, but is not necessarily limited thereto.
  • the processor 440 calculates a difference value between the feedback signal collected through the microphone 430 and the detection signal generated by the sound generator 410, and corrects the reproduced sound output by the wearable electronic device based on the difference value.
  • a detection signal transmission path in a wearable electronic device according to an embodiment will be described in more detail with reference to FIG. 5 below.
  • the processor 440 may include, for example, a micro control unit (MCU) 441 , a controller 443 , and a codec 445 .
  • the controller 443 and/or the codec 445 may be, for example, software modules executed in the processor 440, but are not necessarily limited thereto.
  • the MCU 441 may communicate with an external electronic device (eg, the electronic device 101 of FIG. 1 ) and operate the control unit 443 .
  • the controller 443 compares the detection signal of the wearable electronic device 400 with the feedback signal currently collected to correct the reproduced sound, or to provide a user with a guide for re-wearing the wearable electronic device 400 or replacing an ear tip.
  • the wearable electronic device 400 may be controlled.
  • the control unit 443 may exist in the form of software in a DSP, for example, but is not necessarily limited thereto.
  • the codec 445 may drive the speaker 420 and/or the microphone 430 .
  • the codec 445 may be, for example, a hardware codec chip, but is not necessarily limited thereto.
  • the DSP may be included in the hardware codec 445 .
  • the MCU 441 and the hardware codec 445 are formed as a single chip, the DSP may be included in the MCU 441.
  • the processor 440 may correct the reproduced sound based on whether the difference between the feedback signal and the detection signal corresponds to an allowable compensation range for leakage (eg, the allowable compensation range 710 of FIG. 7 ).
  • an allowable compensation range for leakage eg, the allowable compensation range 710 of FIG. 7
  • a range in which the wearable electronic device 400 distinguishes a difference value according to a leak detection result will be described in more detail with reference to FIG. 7 below.
  • the processor 440 may, for example, calculate a first value obtained by frequency-converting the reference signal, calculate a second value obtained by frequency-converting the feedback signal, and calculate a difference value between the first value and the second value. .
  • the processor 440 may correct the reproduced sound to provide an intended sound without an effect due to leakage by compensating for a difference value in the reproduced sound.
  • the processor 440 may correct the reproduced sound based on whether the difference value satisfies a specific compensation condition.
  • the specific compensation condition may include, for example, a condition in which the magnitude of difference values corresponding to a specific signal among the feedback signals is greater than the sum of magnitudes of difference values corresponding to other signals. According to an embodiment, a specific compensation condition will be described in more detail with reference to FIG. 9 below.
  • the processor 440 may correct the reproduced sound by adjusting a weight value corresponding to a specific signal in the reproduced sound.
  • the processor 440 may compensate for the reproduced sound when the difference value is within the allowable compensation range 710 .
  • the processor 440 may guide replacement of the wearable electronic device 400 or replacement of an ear tip when the difference value is out of the allowable compensation range 710 .
  • the processor 440 for example, when the difference value is greater than the compensation tolerance (eg, the compensation tolerance 703 of FIG. 7) and less than or equal to the leakage tolerance (eg, the leakage tolerance 705 of FIG. 7), the eartip replacement can be provided.
  • the processor 400 may guide re-wearing of the wearable electronic device 400 when the difference value is greater than the leak tolerance value 705 .
  • the wearable electronic device 400 may be an electronic device external to the wearable electronic device 400 (eg, the electronic device 101 of FIG. 1) and/or another wearable electronic device (eg, the first wearable electronic device of FIG. 2 ( 220-1) or the second wearable electronic device 220-2) and may further include a communication interface (not shown) for exchanging signals.
  • the communication interface may support short-range wireless communication. Short-range wireless communication may include, for example, Bluetooth and/or Wi-Fi, but is not necessarily limited thereto.
  • the communication interface may support wired communication.
  • FIG. 5 is a diagram illustrating a detection signal transfer path in a wearable electronic device according to an exemplary embodiment. Referring to FIG. 5 , a path through which a detection signal is transmitted through a speaker 510 and a microphone 520 in a wearable electronic device 500 (eg, the wearable electronic device 400 of FIG. 4 ) according to an embodiment is shown. do.
  • an audio signal (eg, playback sound) 505 to be reproduced by the wearable electronic device 500 is transmitted.
  • the wearable electronic device 500 may generate the detection signal S(z).
  • the detection signal S(z) is amplified by the amplifier 540, and the amplified detection signal S(z) may be output through the speaker 510 (eg, the speaker 420 of FIG. 4).
  • the detection signal S(z) output through the speaker 510 may be received as a feedback signal P(z) through the microphone 520 (eg, the microphone 430 of FIG. 4 ).
  • the microphone 520 may be, for example, an in-ear microphone, but is not necessarily limited thereto.
  • the wearable electronic device 500 may calculate a difference between the detection signal S(z) and the feedback signal P(z). there is.
  • the wearable electronic device 500 may correct the audio signal 505 based on, for example, a difference between the detection signal S(z) and the feedback signal P(z).
  • the difference value corresponds to a range in which leakage compensation is possible (eg, the compensation allowable range 710 of FIG. 7 )
  • the wearable electronic device 500 compensates for the difference value corresponding to the leakage, thereby providing an audio signal 505.
  • the wearable electronic device 500 may correct the audio signal 505 based on whether the difference value satisfies a specific compensation condition.
  • the specific compensation condition may include, for example, a condition in which a difference value corresponding to a specific signal among feedback signals is greater than a sum of difference values corresponding to other signals.
  • the wearable electronic device 500 may correct the audio signal 505 by adjusting the weight value W1 530 corresponding to a specific signal in the audio signal 505 .
  • the difference value when the difference value is out of a range in which leakage compensation is possible, that is, the difference value corresponds to the leakage tolerance range (eg, the leakage tolerance range 730 of FIG. 7), or the leakage tolerance range If it is out of step 730, the user may be guided to re-wear the wearable electronic device 500 or to replace the eartip without correcting the audio signal 505.
  • the leakage tolerance range eg, the leakage tolerance range 730 of FIG. 7
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • a wearable electronic device 400 including a speaker and a microphone according to an embodiment (eg, the external electronic device 102 of FIG. 1 , the first electronic device 220-1 of FIG. 2 , At least one component (e.g., the processor 440 of FIG. 4) of the second wearable electronic device 220-2, the wearable electronic device 301 of FIG. 3, and the wearable electronic device 500 of FIG. Through operations 610 to 640, the reproduced sound may be corrected.
  • the wearable electronic device 400 may generate a detection signal for detecting whether or not leakage of the wearable electronic device 400 has occurred.
  • the detection signal generated by the wearable electronic device 400 is a specific signal for detecting leakage, and may be, for example, a detection signal corresponding to all frequency bands or a detection signal signal corresponding to a low frequency band. It is not limited to a frequency band. Also, the detection signal generated by the wearable electronic device 400 may be a single tone or a multi-tone.
  • the wearable electronic device 400 outputs the detection signal generated in operation 610 through a speaker (eg, the speaker 420 of FIG. 4 or the speaker 510 of FIG. 5) and transmits the signal to a microphone (eg, FIG.
  • the feedback signal collected through the microphone 430 of FIG. 4 and the error microphone 520 of FIG. 5 may be received.
  • the feedback signal may correspond to a signal input to the microphone 430 .
  • the wearable electronic device 400 may calculate a difference value between the feedback signal received in operation 620 and the detection signal. can be
  • the wearable electronic device 400 may correct the reproduced sound based on the difference value calculated in operation 630.
  • the wearable electronic device 400 may correct the reproduced sound based on whether the difference value corresponds to the allowable compensation range for leakage (eg, the allowable compensation range 710 of FIG. 7).
  • the wearable electronic device ( 400 may correct the reproduced sound by compensating the reproduced sound with a difference value
  • the wearable electronic device 400 may correct the reproduced sound based on whether the difference value satisfies a specific compensation condition.
  • the condition may include a condition in which a magnitude of a difference value corresponding to a specific signal among feedback signals is greater than a sum of magnitudes of difference values corresponding to other signals.
  • the playback sound can be corrected by adjusting the weight value corresponding to the signal.
  • a method of correcting reproduced sound by the wearable electronic device 400 will be described in more detail with reference to FIGS. 8 to 9 below.
  • the wearable electronic device 400 may guide replacement of the wearable electronic device 400 or replacement of an ear tip when the difference value is out of the allowable compensation range.
  • FIG. 7 is a diagram illustrating an example of a range in which a wearable electronic device classifies a difference value according to a leak detection result according to an embodiment.
  • an allowable compensation range 710 and an allowable leakage range 730 divided by thresholds are illustrated according to an exemplary embodiment.
  • the allowable compensation range 710 may correspond to a range in which reproduction sound can be corrected through compensation for the aforementioned difference value, that is, leakage.
  • the wearable electronic device 400 eg, the external electronic device 102 of FIG. 1, the first electronic device 220-1 of FIG. 2, and the second wearable The electronic device 220 - 2 , the wearable electronic device 301 of FIG. 3 , and the wearable electronic device 500 of FIG. 5 may compensate the reproduced sound based on the difference value.
  • the allowable compensation range 710 may correspond to, for example, a value between the first threshold 701 and the allowable compensation value 703 .
  • the first threshold value 701 may correspond to a difference value, that is, a lower limit value of an allowable compensation range 710 corresponding to a state in which there is almost no leakage (min. Difference).
  • the compensation tolerance 703 may correspond to an upper limit value of the compensation tolerance 710 in which leak compensation is possible, for example, a compensation limit.
  • the allowable compensation range 710 may correspond to, for example, a range of 0 to 15%, a range of 0 to 20%, a range of 0 to 25%, or a range of 0 to 30%.
  • the leakage tolerance range 730 may correspond to a section greater than the compensation tolerance 703 , which is a compensation limit, and smaller than or equal to the leakage tolerance 705 .
  • the leak tolerance range 730 may also be referred to as an 'ear tip replacement range 730' in that leakage can be improved by replacing ear tips.
  • the leakage allowance range 730 is, for example, in the interval of the difference value from the lower limit greater than the compensation tolerance 703, which is the upper limit of the compensation tolerance 710, to the upper limit of 40%, 45%, 50%, or 60%. may apply.
  • the wearable electronic device 400 may provide a guide such as “Replace eartip with new one”.
  • the guidance may be provided in the form of voice through a speaker of the wearable electronic device 400 .
  • the guidance may be provided in the form of text on the screen of the display module 160 of the electronic device 101 communicating with the wearable electronic device 400, or in the form of sound through the sound output module 155, and must It is not limited to this.
  • the wearable electronic device 400 may guide re-wearing.
  • the re-wearing range 750 may correspond to a section in which the difference value is greater than the leakage allowable value 705 and less than or equal to the second threshold value 707 corresponding to a state in which leakage is very severe (Max. Difference).
  • the re-wear range 750 corresponds to, for example, an interval of difference values from a lower limit greater than the leak tolerance value 705, which is the upper limit of the leak tolerance range 730, to an upper limit of 70%, 80%, 90%, or 95% can do.
  • the second threshold 707 corresponds to a difference value, that is, a state in which leakage occupies most (max. Difference), and may correspond to an upper limit value of leakage.
  • the wearable electronic devices 400 and 500 may provide guidance such as, for example, "Put earbud on in a good position". can At this time, the guidance is provided in the form of voice through the speaker of the wearable electronic device 400, similar to the guidance on the ear tip replacement range 730, or provided in the form of text on the screen of the display module 160 of the electronic device 101. , or may be provided in the form of sound through the sound output module 155.
  • FIG. 8 is a diagram for explaining a method of calculating a difference value between a reference signal and a feedback signal when a wearable electronic device is normally worn, according to an exemplary embodiment.
  • a wearable electronic device 400 eg, the external electronic device 102 of FIG. 1 , the first electronic device 220-1 of FIG. 2 , the second wearable electronic device 220-2, The wearable electronic device 301 of FIG. 3 and the wearable electronic device 500 of FIG.
  • a graph 810 obtained by frequency-converting a test signal for detecting whether or not sound leakage has occurred and a graph 810 of the wearable electronic device 400
  • a graph 830 in which the feedback signal is frequency-converted and a graph 850 showing a difference value between the test signal and the feedback signal are shown.
  • the test signal may correspond to the aforementioned reference signal.
  • the wearable electronic device 400 determines between the test signal shown in graph 810 and the feedback signal shown in graph 830. A difference value can be calculated. The wearable electronic device 400 may perform correction in a manner of compensating the calculated difference value to the original reproduced sound. The wearable electronic device 400 may correct the reproduced sound by calculating a difference value by, for example, Equation 1 below.
  • the frequency index may represent the number of tones.
  • the weight of the kth signal may represent a frequency-converted value of the k-th signal.
  • the wearable electronic device 400 is a frequency-converted value of four multi-tones as shown in the graph 850 ( ) Weighted on the difference value corresponding to each ( The reproduced sound can be corrected by compensating the result of reflecting ) to the original reproduced sound, that is, the test signal shown in the graph 810. At this time, may be '1', for example. In contrast, when using a single tone, the wearable electronic device 400 may calculate a difference value by cross-correlation between the test signal and the feedback signal.
  • FIG. 9 is a diagram for explaining a method of compensating for leakage when a difference value satisfies a specific compensation condition according to an exemplary embodiment. Referring to FIG. 9 , a graph illustrating a case in which a difference value satisfies a specific compensation condition according to an exemplary embodiment is shown.
  • the ear tip when the ear tip is damaged, the ear tip does not match the shape of the user's ear, resonance occurs due to a foreign object (eg, earwax) in the user's ear, or eardrum perforation occurs.
  • the user may use the wearable electronic device 400 (eg, the external electronic device 102 in FIG. 1 , the first electronic device 220-1 in FIG. 2 , the second wearable electronic device 220-2 in FIG. 2 , Even if the wearable electronic device 301 of FIG. 3 and the wearable electronic device 500 of FIG. 5 are worn accurately, leakage may occur exceptionally.
  • the magnitude of the difference value obtained by frequency-converting a specific signal (eg, p signal) 910 is frequency-converting other signals as shown in Equation 2 below.
  • a specific compensation condition that is greater than the sum of the magnitudes of the difference values may be satisfied.
  • the magnitude of the difference value(s) may also be referred to as 'energy'.
  • Represents the frequency position of a signal that satisfies a specific compensation condition Represents a frequency-converted value of a specific signal (p) 910 that satisfies a specific compensation condition, may correspond to a weight of a specific signal (p) 910 that satisfies a specific compensation condition.
  • the wearable electronic device 400 determines a weight value corresponding to the specific signal (p) 910 in a reproduced sound. ), the playback sound can be corrected. At this time, the weight value corresponding to the specific signal (p) 910 can be
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • a wearable electronic device 400 may detect leakage through operations 1010 to 1090 and compensate for a difference value corresponding to the leakage. there is.
  • the wearable electronic device 400 performs, for example, operations for detecting whether or not leakage occurs as the user selects a menu item set to detect whether leakage occurs or whether or not the wearable electronic device 400 is correctly worn. can be done
  • the wearable electronic device 400 may perform operations for detecting leakage of sound according to a predetermined user's behavior pattern.
  • the 'predetermined behavioral pattern of the user' may correspond to a combination of actions that the user can perform when the wearable electronic device 400 is not correctly worn.
  • the predetermined behavior pattern of the user is, for example, a combination of various actions such as adjusting the sound of the wearable electronic device 400, adjusting the wearing position of the wearable electronic device 400, and/or putting the wearable electronic device 400 back on. may correspond to
  • the wearable electronic device 400 may generate a detection signal.
  • the detection signal may correspond to, for example, a signal for detecting whether or not leakage occurs, that is, a signal for detecting whether the wearable electronic device is worn to the user's ear.
  • the wearable electronic device 400 may output the detection signal generated in operation 1010 into the user's ear canal through a speaker (eg, the speaker 420 of FIG. 4 or the speaker 510 of FIG. 5).
  • a speaker eg, the speaker 420 of FIG. 4 or the speaker 510 of FIG. 5.
  • the wearable electronic device 400 may receive a feedback signal collected through a microphone (eg, the microphone 430 of FIG. 4 or the microphone 520 of FIG. 5).
  • a microphone eg, the microphone 430 of FIG. 4 or the microphone 520 of FIG. 5.
  • the wearable electronic device 400 may calculate a difference between the feedback signal received in operation 1030 and the detection signal generated in operation 1010.
  • the wearable electronic device 400 may determine whether the difference value calculated in operation 1040 is greater than the leakage tolerance value (eg, the leakage tolerance value 705 of FIG. 7). In operation 1050, when it is determined that the difference value is greater than the leak tolerance value 705, the wearable electronic device 400 may guide re-wearing of the wearable electronic device in operation 1060.
  • the leakage tolerance value eg, the leakage tolerance value 705 of FIG. 7
  • the wearable electronic device 400 determines whether the difference value is greater than the compensation tolerance value (eg, the compensation tolerance value 703 of FIG. 7). can decide In operation 1070, when it is determined that the difference value is greater than the compensation allowance value 703, the wearable electronic device 400 may guide replacement of the ear tip in operation 1080.
  • the compensation tolerance value eg, the compensation tolerance value 703 of FIG. 7
  • the wearable electronic device 400 may compensate the difference value to the playback sound output by the wearable electronic device 400.
  • a method of operating a wearable electronic device 400 including speakers 420 and 510 and microphones 430 and 520 includes sound leakage of the wearable electronic device 400.
  • operation 610 of generating a detection signal for detecting whether or not it has occurred
  • Operation 620 of receiving a feedback signal in which the signal outputted through the speaker 420 or 510 into the user's ear canal is collected through the microphone 430 or 520
  • Operation 630 of calculating a difference between the feedback signal and the detection signal
  • an operation 640 of correcting a reproduced sound output from the wearable electronic device based on the difference value is a method of operating a wearable electronic device 400 including speakers 420 and 510 and microphones 430 and 520.
  • the operation 640 of correcting the reproduced sound may include an operation of correcting the reproduced sound based on whether the difference value corresponds to an allowable compensation range 710 for leakage.
  • the correcting operation 640 of the reproduced sound may include correcting the reproduced sound by compensating for the difference value in the detection signal.
  • the operation 640 of correcting the reproduced sound may include an operation of correcting the reproduced sound based on whether the difference value satisfies the specific compensation condition.
  • the specific compensation condition may include a condition in which a magnitude of the difference value corresponding to a specific signal among the feedback signals is greater than a sum of magnitudes of difference values corresponding to other signals.
  • operation 640 of correcting the reproduced sound may include adjusting a weight value corresponding to the specific signal in the reproduced sound. It may include an operation to calibrate the sound.
  • the operating method of the wearable electronic device 400 includes, when the difference value is out of the allowable compensation range 710, an operation of guiding replacement of the wearable electronic device 400 or replacement of an ear tip. can include more.
  • the guiding operation may be performed when the difference value is greater than the compensation allowance value 703 of the compensation allowance range 710 and smaller than or equal to the leakage allowance value 705 of the leakage allowance range 730.
  • An operation of guiding replacement of an ear tip may be included.
  • the operation of guiding may include an operation of guiding re-wearing of the wearable electronic device 400 when the difference value is greater than the leakage allowance value 705 of the leakage tolerance range 730. .
  • the calculating of the difference value may include calculating a first value obtained by frequency-converting the detection signal; calculating a second value obtained by frequency-converting the feedback signal; and calculating the difference between the first value and the second value.
  • the wearable electronic device 400 includes a sound generator 410 including a circuit for generating a detection signal for detecting whether a leak occurs; Speakers (420, 510) outputting the detection signal to the user's ear canal; microphones 430 and 520 that pick up signals output through the speakers 420 and 510; and a processor 440 calculating a difference between the detection signal and the feedback signal collected through the microphones 430 and 520 and correcting the reproduced sound based on the difference.
  • the processor 440 may correct the reproduced sound based on whether the difference value corresponds to the allowable compensation range 710 for leakage.
  • the processor 440 may correct the reproduced sound by compensating for the difference value in the detection signal.
  • the processor 440 may correct the reproduced sound based on whether the difference value satisfies the specific compensation condition.
  • the specific compensation condition may include a condition in which the difference value corresponding to a specific signal among the feedback signals is greater than the sum of difference values corresponding to other signals.
  • the processor 440 may correct the reproduced sound by adjusting a weight value corresponding to the specific signal in the reproduced sound.
  • the processor 440 may guide replacement of the wearable electronic device 400 or replacement of an ear tip when the difference value is out of the allowable compensation range 710 .
  • the processor 440 determines that the difference value is greater than the compensation tolerance 703 of the compensation tolerance 710 and less than or equal to the leakage tolerance 705 of the leakage tolerance 730, Replacement of the ear tip may be guided.
  • the processor 440 may guide re-wearing of the wearable electronic device 400 when the difference value is greater than the leak allowance value 705 of the leak allowance range 730 .
  • the processor 440 calculates a first value obtained by frequency-converting the detection signal, calculates a second value obtained by frequency-converting the feedback signal, and calculates a difference between the first value and the second value.
  • the difference value can be calculated.
  • the processor 440 may include a codec 445 for driving the speakers 420 and 510 and the microphones 430 and 520 .
  • the wearable electronic device 400 communicates with an external electronic device (eg, the electronic device 101 of FIG. 1 ) of the wearable electronic device 400 and uses a communication interface (not shown) for exchanging signals. ) may further include.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에 따른 스피커와 마이크를 포함하는 웨어러블 전자 장치는 누음 발생 여부를 검출하기 위한 검출 신호를 생성할 수 있다. 웨어러블 전자 장치는 검출 신호를 스피커를 통해 사용자의 외이도 내로 출력한 신호가 마이크를 통해 수음된 피드백 신호를 수신할 수 있다. 웨어러블 전자 장치는 피드백 신호와 검출 신호 간의 차이값을 산출할 수 있다. 웨어러블 전자 장치는 차이값을 기초로, 웨어러블 전자 장치가 출력하는 재생 사운드를 보정할 수 있다.

Description

웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
아래의 개시는 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법에 관한 것이다.
웨어러블 전자 장치는 사용자의 신체(예: 귀, 목, 머리, 또는 손목)에 착용될 수 있다. 사용자는 웨어러블 전자 장치를 통해 음악을 듣거나 상대방과 통화하는 등의 다양한 작업을 수행할 수 있다. 웨어러블 전자 장치는 사용자 단말 및/또는 외부 전자 장치와 유선 또는 무선으로 연결될 수 있다.
일 실시예에 따른 스피커(speaker)(420)와 마이크(mic)(430)를 포함하는 웨어러블 전자 장치(400)의 동작 방법은 상기 웨어러블 전자 장치(400)의 누음(sound leakage) 발생 여부를 검출하기 위한 검출 신호를 생성하는 동작, 상기 검출 신호를 상기 스피커(420)를 통해 사용자의 외이도(ear canal) 내로 출력한 신호가 상기 마이크(430)를 통해 수음된 피드백 신호를 수신하는 동작, 상기 피드백 신호와 상기 검출 신호 간의 차이값을 산출하는 동작, 및 상기 차이값을 기초로, 상기 웨어러블 전자 장치가 출력하는 재생 사운드를 보정하는 동작을 포함할 수 있다.
일 실시예에 따른 웨어러블 전자 장치(400)는 누음 발생 여부를 검출하기 위한 검출 신호를 생성하는 회로를 포함하는 사운드 생성기(410), 상기 검출 신호를 사용자의 외이도로 출력하는 스피커(420), 상기 스피커(420)를 통해 출력된 신호를 수음하는 마이크(430) 및 상기 마이크(430)를 통해 수음된 피드백 신호와 상기 검출 신호 간의 차이값을 산출하고, 상기 차이값을 기초로, 상기 웨어러블 전자 장치가 출력하는 재생 사운드를 보정하는 프로세서(440)를 포함할 수 있다.
일 실시예에 따른 웨어러블 전자 장치는 누음을 보상하여 사운드를 보정할 수 있다.
일 실시예에 따른 웨어러블 전자 장치는 누음의 정도에 따라 사운드의 보상 여부 또는 사용자에 대한 안내 여부를 결정함으로써 웨어러블 전자 장치 사용성을 개선시킬 수 있다.
일 실시예에 따른 웨어러블 전자 장치는 일정 수준 이내의 보정을 통하여, 이어팁(ear tip)으로 제공할 수 없는 음향 누설 편차를 보완할 수 있다.
일 실시예에 따른 웨어러블 전자 장치는 사용자마다 상이한 귀 모양, 귀 크기 및/또는 귀속 상태 중 적어도 하나로 인해 특정 신호에 대한 누음이 발생하더라도 이를 보상할 수 있다.
일 실시예에 따른 웨어러블 전자 장치는 웨어러블 전자 장치의 사용과 관련된 안내를 제공함으로써 사용자로 하여금 웨어러블 전자 장치에 대한 올바른 착용을 유도하고, 고장 발생 확률을 감소시킬 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다 다.
도 2는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치를 설명하기 위한 도면이다.
도 3a 및 도 3b는 일 실시예에 따른 웨어러블 전자 장치의 착용 예를 도시한 도면이다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서의 사운드 전달 경로를 도시한 도면이다.
도 6은 일 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 7은 일 실시예에 따른 웨어러블 전자 장치가 누음 검출 결과에 따른 차이값을 구분하는 범위의 일 예시를 도시한 도면이다.
도 8은 일 실시예에 따른 웨어러블 전자 장치의 정상 착용 시의 검출 신호와 피드백 신호 간의 차이값을 산출하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 차이 값이 특정 보상 조건을 만족하는 경우에 누음을 보상하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 도면이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 지문 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 외부의 전자 장치(102)는 예를 들어, 도 2의 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)일 수 있다.
일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치를 설명하기 위한 도면이다. 도 2를 참조하면, 전자 장치(210)(예: 도 1의 전자 장치(101))는 제1 전자 장치(220-1) 및 제2 웨어러블 전자 장치(220-2)와 무선으로 연결될 수 있다. 일례로, 전자 장치(210)는 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 중 적어도 하나와 근거리 무선 통신(예: 블루투스, 와이 파이(wifi)) 연결될 수 있다. 이에 제한되지 않고, 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 중 적어도 하나는 유선으로 전자 장치(210)와 연결될 수도 있다.
일 실시예에 따르면, 제1 웨어러블 전자 장치(220-1)는 마스터(master)로 동작하고, 제2 웨어러블 전자 장치(220-2)는 슬레이브(slave)로(또는, 반대로) 동작할 수 있다. 예를 들어, 스니핑(sniffing) 방식에 따라 마스터로 동작하는 제1 웨어러블 전자 장치(220-1)는 전자 장치(210)와 근거리 무선 통신 연결되고, 전자 장치(210)로부터 오디오 데이터를 수신하여 출력할 수 있다. 또한, 스니핑 방식에 따라 슬레이브로 동작하는 제2 웨어러블 전자 장치(220-2)는 제1 웨어러블 전자 장치(220-1)와 근거리 무선 통신으로 연결되어 제1 웨어러블 전자 장치(220-1)로부터 오디오 데이터를 수신하여 출력할 수 있다. 이 때, 제1 웨어러블 전자 장치(220-1)는 제2 웨어러블 전자 장치(220-2)와 오디오 출력 타이밍을 동기화 하기 위해, 오디오 데이터와 함께 동기화(sync) 정보를 제2 웨어러블 전자 장치(220-2)에게 전송할 수 있다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)는 신체의 일부(예: 귀)에 착용 가능한 장치에 해당할 수 있다. 일례로, 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 각각은 귀에 착용될 수 있는 무선 이어폰 또는 완전 무선 이어폰(true wireless stereo; tws)일 수 있다. 제1 웨어러블 전자 장치(220-1)는 사용자의 어느 한쪽 귀에 착용될 수 있고 제2 웨어러블 전자 장치(220-2)는 사용자의 다른 한쪽 귀에 착용될 수 있다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)는 전자 장치(210)로부터 오디오 신호를 수신할 수 있고, 수신된 오디오 신호를 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)에 포함된 적어도 하나 이상의 스피커(예: 도 4의 스피커(420), 도 5의 스피커(510))를 통하여 출력할 수 있다. 오디오 신호는, 예를 들어, 통화 상대방의 음성 신호, 음악 신호, 또는 멀티미디어 컨텐츠의 재생 시에 출력되는 소리 신호를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)은 적어도 하나 이상의 마이크(예: 도 4의 마이크(430), 도 5의 에러 마이크(520), 레퍼런스 마이크(540))를 통하여 사용자의 음성을 수신할 수 있고, 수신된 음성을 처리하여 음성 데이터를 생성할 수 있으며, 생성된 음성 데이터를 전자 장치(210)로 전송할 수 있다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)에서는 사용자의 착용 예에 따라 누음(sound leakage)이 발생할 수 있다. 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)의 착용예는 아래의 도 3을 참조하여 보다 구체적으로 설명한다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)이 정상적으로 착용되더라도 사용자마다 귀 모양, 귀 크기 및 귀속 상태가 다를 수 있어 의도하지 않게 누음이 발생할 수 있다.
일 실시예에 따른 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 중 적어도 하나는 예를 들어, 스피커를 통해 누음 발생 여부를 검출하기 위한 검출 신호를 생성할 수 있다. 여기서, '검출 신호'는 예를 들어, 누음 검출을 위한 미리 설정된 전 주파수 대역 또는 저주파 대역에 해당하는 사운드 신호일 수도 있으며, 특정 주파수 대역에 한정되지는 않는다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 중 적어도 하나는 생성한 검출 신호를 스피커를 통해 사용자의 외이도(ear canal) 내로 출력한 신호가 마이크를 통해 수음된 피드백 신호를 수신하고, 피드백 신호를 기초로 재생 사운드를 보정할 수 있다.
제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2) 중 적어도 하나는 피드백 신호와 검출 신호 간의 차이값을 산출하고, 차이값을 기초로 재생 사운드를 보정할 수 있다.
일 실시예에 따른 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)의 구조 및 동작은 아래의 도 4 및 도 5를 참조하여 보다 구체적으로 설명한다. 제1 웨어러블 전자 장치(220-1) 및/또는 제2 웨어러블 전자 장치(220-2)의 동작 방법은 아래의 도 6 내지 도 10을 참조하여 보다 구체적으로 설명한다.
도 3a 및 도 3b는 일 실시예에 따른 웨어러블 전자 장치의 착용 예를 도시한 도면이다.
도 3a를 참조하면, 웨어러블 전자 장치(301)(예: 제1 웨어러블 전자 장치(220-1) 또는 제2 웨어러블 전자 장치(220-2)))가 사용자의 귀에 잘못 착용된 경우의 일 예시를 나타낸 도면(310)이 도시된다. 웨어러블 전자 장치(301)가 도면(310)과 같이, 사용자의 외이도(305)에 맞지 않게 헐겁게 또는 위 아래가 바뀌어 착용되거나 웨어러블 전자 장치(301)의 이어팁(미도시)이 사용자의 귀에 맞지 않는 크기인 경우, 사용자의 귀 밖으로 사운드가 새어 나올 수 있다. 이렇게 사용자의 귀 밖으로 새어 나오는 사운드를 '누음(sound leakage)'이라 부를 수 있다.
예를 들어, 웨어러블 전자 장치(301)를 통한 재생 사운드(playback sound) 출력 시에 누음이 발생하는 경우, 저음과 중음의 일부가 새어 나가게 되어서 재생되는 사운드가 사용자에게 제대로 전달되지 않을 수 있다. 또한, 통화 시에, 귓속 마이크(예: 도 4의 마이크(430))로 집음되는 사용자의 목소리 중 일부가 귀 밖으로 새어 나가서 귓속 마이크(430)로 수신되는 음성에 많은 왜곡이 발생할 수 있다.
또는, 웨어러블 전자 장치(301)가 잘못 착용된 경우, 주변음 감쇄(active noise cancelation; ANC) 기능이 사용되더라도 웨어러블 전자 장치(301)의 귓속 마이크(430)로 집음되는 사운드가 정상적으로 집음 되지 않으므로 정상적인 감쇄가 일어나지 않을 수 있다. 이 밖에도, 웨어러블 전자 장치(301)가 잘못 착용된 경우, 주변음 허용(ambient sound) 기능이 사용되면, 웨어러블 전자 장치(301)의 귓속 스피커(예: 도 4의 스피커(420), 도 5의 스피커(510))로 출력된 사운드가 귀 밖으로 새어 나가서, 다시 마이크(예: 도 5의 마이크(520))로 입력되는 피드백 루프(Feedback Loop)가 형성되어 하울링(howling)이 발생할 수 있다.
사용자가 웨어러블 전자 장치(301)를 잘못 착용한 경우, 웨어러블 전자 장치(301)의 다양한 기능들이 정상적으로 동작하지 않을 뿐만 아니라, 웨어러블 전자 장치(301)의 성능이 훼손될 수도 있다.
도 3b를 참조하면, 웨어러블 전자 장치(301)가 사용자의 귀에 정상적으로 착용된 경우를 나타낸 도면(330)이 도시된다. 도면(330)과 같이, 웨어러블 전자 장치(301)가 사용자의 외이도에 맞게 착용되는 경우, 사용자의 귀 밖으로 사운드가 새어 나오거나, 외부의 소음이 웨어러블 전자 장치(301)의 귓속 마이크(예: 도 4의 마이크(430))로 집음되지 않아 웨어러블 전자 장치(301)가 왜곡되지 않은 음향 또는 왜곡이 감소한 음향을 사용자에게 전달할 수 있다.
일 실시예에 따른 웨어러블 전자 장치(301)는 사용자가 웨어러블 전자 장치(301)를 정상적으로 착용했는지를 판단하여 사용자에게 웨어러블 전자 장치(301)의 재착용을 유도하거나, 이어팁을 교체하도록 유도할 수 있다.
웨어러블 전자 장치(301)가 도면(330)과 같이 정상적으로 착용된 경우라도 사용자의 귀 크기, 귀 내부의 형상, 및/또는 귀 내부의 이물 중 적어도 하나에 의해 예외적으로 누음이 발생할 수도 있다. 웨어러블 전자 장치(301)는 누음이 발생하는 상황에서 누음을 보상함으로써 재생 사운드를 보정할 수 있다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 블록도이다. 도 4를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(400)(예: 도 2의 제1 웨어러블 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301))는 사운드 생성기(410), 스피커(420), 마이크(430), 및 프로세서(440)를 포함할 수 있다.
사운드 생성기(410)는 다양한 사운드 생성 회로를 포함하며, 누음 발생 여부를 검출하기 위한 검출 신호(Tone)를 생성하는 회로를 포함할 수 있다. 전술한 것과 같이, 검출 신호는 예를 들어, 전 주파수 대역에 해당하는 사운드 신호일 수 있고, 또는 저주파 대역에 해당하는 사운드 신호일 수도 있으며, 특정 주파수 대역에 한정되지는 않는다. 예를 들어, 웨어러블 전자 장치(400)는 메모리(미도시)에 검출 신호와 관련된 미디어 데이터 및/또는 검출 신호의 데이터(예: 주파수 대역 정보)를 저장할 수 있다.
사운드 생성기(410)는 검출 신호(Tone)을 생성하는 기능 블록으로서, 예를 들어, H/W 블록(Hardwired Logic), DSP(digital signal processor) 내부의 별도의 로직, 또는 소프트웨어(S/W)로 구현될 수 있다. 실시예에 따라서, 사운드 생성기(410)의 구현 형태는 달라질 수 있으나, 사운드 생성기(410)는 독립적으로 존재할 수 있다.
스피커(420)는 사운드 생성기(410)가 생성한 검출 신호를 특정 방향으로 출력할 수 있다. 예를 들어, 스피커(420)에 포함된 진동판의 배치 방향 및/또는 모양에 따라 검출 신호의 출력 방향이 설정될 수 있다. 예를 들어, 스피커(420)는 사용자가 웨어러블 전자 장치(400)를 정상적으로 착용했을 때 검출 신호가 사용자의 외이도 방향으로 출력되도록 설계될 수 있다.
스피커(420)의 적어도 일부는 웨어러블 전자 장치(400)의 하우징 중 돌출부(미도시) 내부에 포함될 수 있다. 돌출부는 사용자의 외이도에 삽입가능한 형태 및 크기로 형성될 수 있다. 스피커(420)는 예를 들어, 인-이어 스피커 또는 밀폐형 스피커일 수 있으며, 반드시 이에 한정되지는 않는다. 예를 들어, 스피커(420)는 돌출부에 포함될 수 있다. 일 실시예에 따르면, 마이크(430)의 적어도 일부가 돌출부에 포함될 수도 있으나, 반드시 이에 한정되지는 않는다.
마이크(430)는 스피커(420)를 통해 출력된 신호를 수음할 수 있다. 마이크(430)는 예를 들어, 인-이어 마이크(in-ear mic)일 수 있으며, 반드시 이에 한정되지는 않는다.
프로세서(440)는 마이크(430)를 통해 수음된 피드백 신호와 사운드 생성기(410)에서 생성된 검출 신호 간의 차이값을 산출하고, 차이값을 기초로, 웨어러블 전자 장치가 출력하는 재생 사운드를 보정할 수 있다. 일 실시예에 따른 웨어러블 전자 장치에서의 검출 신호 전달 경로는 아래의 도 5를 참조하여 보다 구체적으로 설명한다.
프로세서(440)는 예를 들어, MCU(micro control unit)(441), 제어부(controller)(443), 및 코덱(codec)(445)을 포함할 수 있다. 제어부(controller)(443) 및/또는 코덱(codec)(445)은 예를 들어, 프로세서(440)에서 실행되는 소프트웨어 모듈일 수 있으나, 반드시 이에 한정되지는 않는다.
MCU(441)는 외부 전자 장치(예: 도 1의 전자 장치(101))와 통신하고, 제어부(443)를 동작시킬 수 있다. 제어부(443)는 웨어러블 전자 장치(400)의 검출 신호와 현재 수음된 피드백 신호를 비교하여 재생 사운드를 보정하거나, 또는 사용자에게 웨어러블 전자 장치(400)의 재착용 또는 이어팁 교체에 대한 안내를 제공하도록 웨어러블 전자 장치(400)를 제어할 수 있다. 제어부(443)는 예를 들어, DSP 내에 소프트웨어 형태로 존재할 수 있으며, 반드시 이에 한정되지는 않는다.
코덱(445)은 스피커(420) 및/또는 마이크(430)를 구동할 수 있다. 코덱(445)은 예를 들어, 하드웨어 코덱 칩일 수 있으며, 반드시 이에 한정되지는 않는다.
예를 들어, MCU(441)와 하드웨어 코덱(445)이 두 개의 칩으로 형성된 경우, DSP는 하드웨어 코덱(445) 내에 포함될 수 있다. 또는 MCU(441)와 하드웨어 코덱(445)이 하나의 칩으로 형성된 경우, DSP는 MCU(441) 내에 포함될 수 있다.
프로세서(440)는 피드백 신호와 검출 신호 간의 차이값이 누음에 대한 보상 허용 범위(예: 도 7의 보상 허용 범위(710))에 해당하는지 여부에 기초하여, 재생 사운드를 보정할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(400)가 누음 검출 결과에 따른 차이값을 구분하는 범위는 아래의 도 7을 참조하여 보다 구체적으로 설명한다.
프로세서(440)는 예를 들어, 기준 신호를 주파수 변환한 제1 값을 산출하고, 피드백 신호를 주파수 변환한 제2 값을 산출하며, 제1 값과 제2 값 간의 차이값을 산출할 수 있다. 프로세서(440)는 재생 사운드에 차이값을 보상함으로써 누음으로 인한 영향없이 의도한 음향을 제공하도록 재생 사운드를 보정할 수 있다.
프로세서(440)는 차이값이 특정 보상 조건을 만족하는지 여부에 기초하여, 재생 사운드를 보정할 수 있다. 이때, 특정 보상 조건은 예를 들어, 피드백 신호 중 특정 시그널에 대응하는 차이값의 크기가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함할 수 있다. 일 실시예에 따라, 특정 보상 조건에 대하여는 아래의 도 9를 참조하여 보다 구체적으로 설명한다.
프로세서(440)는 재생 사운드에서 특정 시그널에 대응하는 가중치 값을 조정함으로써 재생 사운드를 보정할 수 있다. 프로세서(440)는 차이값이 보상 허용 범위(710) 내인 경우, 재생 사운드를 보상할 수 있다. 프로세서(440)는 차이값이 보상 허용 범위(710)를 벗어나는 경우, 웨어러블 전자 장치(400)의 재착용 또는 이어팁의 교체를 안내할 수 있다. 프로세서(440)는 예를 들어, 차이값이 보상 허용치(예: 도 7의 보상 허용치(703)) 보다 크고, 누음 허용치(예: 도 7의 누음 허용치(705)) 보다 작거나 같은 경우, 이어팁의 교체를 안내할 수 있다. 또는 프로세서(400)는 차이값이 누음 허용치(705)보다 큰 경우, 웨어러블 전자 장치(400)의 재착용을 안내할 수 있다.
또한, 웨어러블 전자 장치(400)는 웨어러블 전자 장치(400) 외부의 전자 장치(예: 도 1의 전자 장치(101)) 및/또는 다른 웨어러블 전자 장치(예: 도 2의 제1 웨어러블 전자 장치(220-1) 또는 제2 웨어러블 전자 장치(220-2))와 통신하며, 신호를 주고받는 통신 인터페이스(미도시)를 더 포함할 수 있다. 통신 인터페이스는 근거리 무선 통신을 지원할 수 있다. 근거리 무선 통신은 예를 들어, 블루투스 및/또는 와이파이(wifi)를 포함할 수 있으나 반드시 이에 한정되지는 않는다. 통신 인터페이스는 유선 통신을 지원할 수도 있다.
도 5는 일 실시예에 따른 웨어러블 전자 장치에서의 검출 신호 전달 경로를 도시한 도면이다. 도 5를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(500)(예: 도 4의 웨어러블 전자 장치(400))에서 스피커(510) 및 마이크(520)을 통해 검출 신호가 전달되는 경로가 도시된다.
예를 들어, 웨어러블 전자 장치(500)로 재생할 오디오 신호(예: 재생 사운드)(505)가 전달되었다고 하자.
이 경우, 웨어러블 전자 장치(500)는 검출 신호 S(z)를 생성할 수 있다. 검출 신호 S(z)는 증폭기(540)에 의해 증폭되고, 증폭된 검출 신호 S(z)는 스피커(510)(예: 도 4의 스피커(420))를 통해 출력될 수 있다.
스피커(510)를 통해 출력된 검출 신호 S(z)는 마이크(520)(예: 도 4의 마이크(430))를 통해 피드백 신호 P(z)로 수음될 수 있다. 마이크(520)는 예를 들어, 인-이어 마이크일 수 있으며, 반드시 이에 한정되지는 않는다.
마이크(mic)(520)를 거친 신호가 피드백되어 피드백 신호 P(z)로 수음되면, 웨어러블 전자 장치(500)는 검출 신호 S(z)와 피드백 신호 P(z) 간의 차이값을 산출할 수 있다.
웨어러블 전자 장치(500)는 예를 들어, 검출 신호 S(z)와 피드백 신호 P(z) 간의 차이값을 기초로, 오디오 신호(505)를 보정할 수 있다. 웨어러블 전자 장치(500)는 차이값이 누음에 대한 보상이 가능한 범위(예: 도 7의 보상 허용 범위(710))에 해당하는 경우, 누음에 해당하는 차이값을 보상함으로써 오디오 신호(505)를 보정할 수 있다. 웨어러블 전자 장치(500)는 예를 들어, 차이값이 특정 보상 조건을 만족하는지 여부에 기초하여, 오디오 신호(505)를 보정할 수 있다. 특정 보상 조건은 예를 들어, 피드백 신호 중 특정 시그널에 대응하는 차이값의 크기가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함할 수 있다. 웨어러블 전자 장치(500)는 오디오 신호(505)에서 특정 시그널에 대응하는 가중치 값(W1)(530)을 조정함으로써 오디오 신호(505)를 보정할 수 있다.
웨어러블 전자 장치(500)는 차이값이 누음에 대한 보상이 가능한 범위를 벗어나는 경우, 다시 말해 차이 값이 누음 허용 범위(예: 도 7의 누음 허용 범위(730))에 해당하거나, 또는 누음 허용 범위(730)를 벗어나는 경우, 오디오 신호(505)를 보정하지 않고 사용자에게 웨어러블 전자 장치(500)의 재착용 또는 이어팁의 교체를 안내할 수 있다.
도 6은 일 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시예에 따른 스피커(speaker)와 마이크(mic)를 포함하는 웨어러블 전자 장치(400)(예: 도 1의 외부의 전자 장치(102), 도 2의 제1 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301), 도 5의 웨어러블 전자 장치(500))의 적어도 하나의 구성요소(예: 도 4의 프로세서(440))는 동작 610 내지 동작 640을 통해 재생 사운드를 보정할 수 있다.
동작 610에서, 웨어러블 전자 장치(400)는 웨어러블 전자 장치(400)의 누음 발생 여부를 검출하기 위한 검출 신호를 생성할 수 있다. 웨어러블 전자 장치(400)가 생성하는 검출 신호는 누음 검출을 위한 특정 신호로서, 예를 들어, 전 주파수 대역에 해당하는 검출 신호 신호일 수 있고, 또는 저주파 대역에 해당하는 검출 신호 신호일 수도 있으며, 반드시 특정 주파수 대역에 한정되지는 않는다. 또한, 웨어러블 전자 장치(400)가 생성하는 검출 신호는 싱글 톤(single tone)일 수도 있고, 멀티-톤(multi-tone)일 수도 있다.
동작 620에서, 웨어러블 전자 장치(400)는 동작 610에서 생성한 검출 신호를 스피커(예: 도 4의 스피커(420), 도 5의 스피커(510))를 통해 출력한 신호가 마이크(예: 도 4의 마이크(430), 도 5의 에러 마이크(520))를 통해 수음된 피드백 신호를 수신할 수 있다. 피드백 신호는 마이크(430)에 입력된 신호에 해당할 수 있다.
동작 630에서, 웨어러블 전자 장치(400)는 동작 620에서 수신한 피드백 신호와 검출 신호 간의 차이값을 산출할 수 있다. 일 수 있다.
동작 640에서, 웨어러블 전자 장치(400)는 동작 630에서 산출한 차이값을 기초로, 재생 사운드를 보정할 수 있다. 웨어러블 전자 장치(400)는 차이값이 누음에 대한 보상 허용 범위(예: 도 7의 보상 허용 범위(710))(에 해당하는지 여부에 기초하여, 재생 사운드를 보정할 수 있다. 웨어러블 전자 장치(400)는 재생 사운드에 차이값을 보상함으로써 재생 사운드를 보정할 수 있다. 웨어러블 전자 장치(400)는 차이값이 특정 보상 조건을 만족하는지 여부에 기초하여, 재생 사운드를 보정할 수 있다. 특정 보상 조건은 피드백 신호 중 특정 시그널에 대응하는 차이값의 크기(magnitude)가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함할 수 있다. 웨어러블 전자 장치(400)는 재생 사운드에서 특정 시그널에 대응하는 가중치 값을 조정함으로써 재생 사운드를 보정할 수 있다.
웨어러블 전자 장치(400)가 재생 사운드를 보정하는 방법은 아래의 도 8 내지 도 9를 참조하여 보다 구체적으로 설명한다.
웨어러블 전자 장치(400)는 차이값이 보상 허용 범위를 벗어나는 경우, 웨어러블 전자 장치(400)의 재착용 또는 이어팁의 교체를 안내할 수 있다.
도 7은 일 실시예에 따른 웨어러블 전자 장치가 누음 검출 결과에 따른 차이값을 구분하는 범위의 일 예시를 도시한 도면이다. 도 7을 참조하면, 일 실시예에 따라 임계치들에 의해 구분되는 보상 허용 범위(710), 및 누음 허용 범위(730)가 도시된다.
보상 허용 범위(710)는 전술한 차이값, 다시 말해 누음에 대한 보상을 통해 재생 사운드의 보정이 가능한 범위에 해당할 수 있다. 차이값이 보상 허용 범위(710)에 해당하는 경우, 웨어러블 전자 장치(400)(예: 도 1의 외부의 전자 장치(102), 도 2의 제1 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301), 도 5의 웨어러블 전자 장치(500))는 차이값에 의해 재생 사운드를 보상할 수 있다. 보상 허용 범위(710)는 예를 들어, 제1 임계치(701)와 보상 허용치(703) 사이의 값에 해당할 수 있다. 제1 임계치(701)는 차이 값, 다시 말해 누음이 거의 없는 상태(min. Difference)에 대응하는 보상 허용 범위(710)의 하한 값에 해당할 수 있다. 또한, 보상 허용치(703)는 누음에 대한 보상이 가능한 보상 허용 범위(710)의 상한 값, 예를 들어, 보상 한계치(compensation limit)에 해당할 수 있다. 보상 허용 범위(710)는 예를 들어, 차이값이 0 ~ 15% 인 구간, 0 ~ 20%인 구간, 0 ~ 25% 인 구간, 또는 0 ~ 30% 인 구간에 해당할 수 있다.
누음 허용 범위(730)는 보상 한계치인 보상 허용치(703)보다 크고, 누음 허용치(705) 보다 작거나 같은 구간에 해당할 수 있다. 누음 허용 범위(730)는 이어팁 교체를 통해 누음을 개선할 수 있다는 점에서 '이어팁 교체 범위(730)'라고도 부를 수 있다. 누음 허용 범위(730)는 예를 들어, 보상 허용 범위(710)의 상한 값인 보상 허용치(703) 보다 큰 하한에서 40%, 45%, 50%, 또는 60%의 상한까지의 차이 값의 간격에 해당할 수 있다. 차이값이 이어팁 교체 범위(730)에 해당하는 경우, 웨어러블 전자 장치(400)는 예를 들어, "이어팁을 새로 교체하세요(Replace eartip with new one)"와 같은 안내를 제공할 수 있다. 이때, 안내는 웨어러블 전자 장치(400)의 스피커를 통해 음성 형태로 제공될 수도 있다. 또는 안내는 웨어러블 전자 장치(400)와 통신하는 전자 장치(101)의 디스플레이 모듈(160)의 화면에 텍스트 형태로 제공되거나, 또는 음향 출력 모듈(155)을 통해 사운드 형태로 제공될 수 있으며, 반드시 이에 한정되지는 않는다.
차이값이 누음 허용 범위(730)를 벗어나는 재착용 범위(750)에 해당하는 경우, 웨어러블 전자 장치(400)는 재착용을 안내할 수 있다. 재착용 범위(750)는 차이값이 누음 허용치(705)보다 크고, 누음이 아주 심한 상태(Max. Difference)에 대응하는 제2 임계치(707)보다 작거나 같은 구간에 해당할 수 있다. 재착용 범위(750)는 예를 들어, 누음 허용 범위(730)의 상한 값인 누음 허용치(705)보다 큰 하한에서 상한 70%, 80%, 90%, 또는 95% 까지의 차이 값의 간격에 해당할 수 있다.
제2 임계치(707)는 차이 값, 다시 말해 누음이 대부분을 차지하는 상태(max. Difference)에 해당하며, 누음의 상한 값에 해당할 수 있다.
차이값이 재착용 범위(750)에 해당하는 경우, 웨어러블 전자 장치(400, 500)는 예를 들어, "이어버드를 재착용하세요(Put earbud on in a good position)"와 같은 안내를 제공할 수 있다. 이때, 안내는 이어팁 교체 범위(730)에 대한 안내와 마찬가지로 웨어러블 전자 장치(400)의 스피커를 통해 음성 형태로 제공되거나, 전자 장치(101)의 디스플레이 모듈(160)의 화면에 텍스트 형태로 제공되거나, 또는 음향 출력 모듈(155)을 통해 사운드 형태로 제공될 수 있다.
도 8은 일 실시예에 따른 웨어러블 전자 장치의 정상 착용 시의 기준 신호와 피드백 신호 간의 차이값을 산출하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 웨어러블 전자 장치(400)(예: 도 1의 외부의 전자 장치(102), 도 2의 제1 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301), 도 5의 웨어러블 전자 장치(500))의 누음(sound leakage) 발생 여부를 검출하기 위한 테스트 신호를 주파수 변환한 그래프(810), 웨어러블 전자 장치(400)의 피드백 신호를 주파수 변환한 그래프(830), 및 테스트 신호와 피드백 신호 간의 차이값을 나타낸 그래프(850)가 도시된다. 여기서, 테스트 신호는 전술한 기준 신호에 해당할 수 있다.
예를 들어, 도 8에 도시된 것과 같이 멀티-톤(multi tone)을 사용하는 경우, 웨어러블 전자 장치(400)는 그래프(810)에 도시된 테스트 신호와 그래프(830)에 도시된 피드백 신호 간의 차이 값을 산출할 수 있다. 웨어러블 전자 장치(400)는 산출된 차이 값을 원래의 재생 사운드에 보상해 주는 방식으로 보정을 수행할 수 있다. 웨어러블 전자 장치(400)는 예를 들어, 아래의 수학식 1에 의해 차이값을 산출하여 재생 사운드를 보정할 수 있다.
Figure PCTKR2022004932-appb-img-000001
여기서,
Figure PCTKR2022004932-appb-img-000002
는 주파수 인덱스를 나타내고,
Figure PCTKR2022004932-appb-img-000003
는 톤의 개수를 나타낼 수 있다. 또한,
Figure PCTKR2022004932-appb-img-000004
는 k번째 시그널의 가중치를 나타내고,
Figure PCTKR2022004932-appb-img-000005
는 k 번째 시그널의 주파수 변환된 값을 나타낼 수 있다.
웨어러블 전자 장치(400)는 그래프(850)과 같이 4개의 멀티 톤들의 주파수 변환된 값(
Figure PCTKR2022004932-appb-img-000006
) 각각에 대응하는 차이값에 가중치(
Figure PCTKR2022004932-appb-img-000007
)를 반영한 결과를 원래의 재생 사운드, 다시 말해 그래프(810)에 도시된 테스트 신호에 보상함으로써 재생 사운드를 보정할 수 있다. 이때,
Figure PCTKR2022004932-appb-img-000008
는 예를 들어, '1'일 수 있다. 이와 달리, 싱글 톤(single tone)을 사용하는 경우, 웨어러블 전자 장치(400)는 테스트 신호와 피드백 신호 간의 상호 상관(cross correlation)에 의해 차이값을 산출할 수 있다.
도 9는 일 실시예에 따른 차이 값이 특정 보상 조건을 만족하는 경우에 누음을 보상하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 차이값이 특정 보상 조건을 만족하는 경우를 나타낸 그래프가 도시된다.
예를 들어, 이어팁이 훼손되거나, 사용자의 귀 내부의 형상에 이어팁과 매칭이 안되거나, 사용자의 귀에 있는 이물(예: 귀지 등)에 의해 공명이 발생하거나, 또는 고막 천공 등이 발생한 경우와 같은 예외적인 상황에서는 사용자가 웨어러블 전자 장치(400)(예: 도 1의 외부의 전자 장치(102), 도 2의 제1 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301), 도 5의 웨어러블 전자 장치(500))를 정확하게 착용했더라도 예외적으로 누음이 발생할 수 있다.
전술한 예외적인 상황에서는 도 9에 도시된 그래프와 같이 특정 시그널(예: p 시그널)(910)을 주파수 변환한 차이값의 크기(magnitude)가, 아래의 수학식 2와 같이 다른 시그널들을 주파수 변환한 차이값들의 크기의 합보다 커지는 특정 보상 조건이 만족될 수 있다. 여기서, 차이값(들)의 크기는 '에너지(energy)'라고도 부를 수 있다.
Figure PCTKR2022004932-appb-img-000009
여기서,
Figure PCTKR2022004932-appb-img-000010
는 특정 보상 조건을 만족하는 시그널의 주파수 위치를 나타내고,
Figure PCTKR2022004932-appb-img-000011
는 특정 보상 조건을 만족하는 특정 시그널(p)(910)의 주파수 변환된 값을 나타내며,
Figure PCTKR2022004932-appb-img-000012
는 특정 보상 조건을 만족하는 특정 시그널(p)(910)의 가중치에 해당할 수 있다.
예를 들어, 특정 시그널(p)(910)이 전술한 특정 보상 조건을 만족하는 경우, 웨어러블 전자 장치(400)는 재생 사운드에서 특정 시그널(p)(910)에 대응하는 가중치 값(
Figure PCTKR2022004932-appb-img-000013
)을 조정함으로써 재생 사운드를 보정할 수 있다. 이때, 특정 시그널(p)(910)에 대응하는 가중치 값
Figure PCTKR2022004932-appb-img-000014
일 수 있다.
도 10은 다른 실시예에 따른 웨어러블 전자 장치의 동작 방법을 나타낸 도면이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 10을 참조하면, 일 실시예에 따른 웨어러블 전자 장치(400)(예: 도 1의 외부의 전자 장치(102), 도 2의 제1 전자 장치(220-1), 제2 웨어러블 전자 장치(220-2), 도 3의 웨어러블 전자 장치(301), 도 5의 웨어러블 전자 장치(500))는 동작 1010 내지 동작 1090을 통해 누음 발생 여부를 검출하고, 누음에 해당하는 차이값을 보상할 수 있다.
웨어러블 전자 장치(400)는 예를 들어, 사용자가 누음 발생 여부를 검출하거나, 또는 웨어러블 전자 장치(400)의 정확한 착용 여부를 확인할 수 있도록 설정된 메뉴 항목을 선택함에 따라 누음 발생 여부를 검출하는 동작들을 수행할 수 있다.
또는 웨어러블 전자 장치(400)는 미리 정해진 사용자의 행동 패턴에 의해 누음 발생 여부를 검출하는 동작들을 수행할 수도 있다. 여기서, '미리 정해진 사용자의 행동 패턴'은 웨어러블 전자 장치(400)가 정확하게 착용되지 않은 경우에 사용자가 수행할 수 있는 동작들의 조합에 해당할 수 있다. 미리 정해진 사용자의 행동 패턴은 예를 들어, 웨어러블 전자 장치(400)의 음향 조정, 웨어러블 전자 장치(400)의 착용 위치 조절, 및/또는 웨어러블 전자 장치(400) 재착용 등과 같은 다양한 동작들의 조합들에 해당할 수 있다.
동작 1010에서, 웨어러블 전자 장치(400)는 검출 신호를 생성할 수 있다. 검출 신호는 예를 들어, 누음 발생 여부를 검출하기 위한 신호, 다시 말해, 웨어러블 전자 장치가 사용자에 귀에 맞게 착용되었는지를 검출하기 위한 신호에 해당할 수 있다.
동작 1020에서, 웨어러블 전자 장치(400)는 스피커(예: 도 4의 스피커(420), 도 5의 스피커(510))를 통해 사용자의 외이도 내로 동작 1010에서 생성한 검출 신호를 출력할 수 있다.
동작 1030에서, 웨어러블 전자 장치(400)는 마이크(예: 도 4의 마이크(430), 도 5의 마이크(520))를 통해 수음된 피드백 신호를 수신할 수 있다.
동작 1040에서, 웨어러블 전자 장치(400)는 동작 1030에서 수신한 피드백 신호와 동작 1010에서 생성한 검출 신호 간의 차이값을 산출할 수 있다.
동작 1050에서, 웨어러블 전자 장치(400)는 동작 1040에서 산출한 차이값이 누음 허용치(예: 도 7의 누음 허용치(705))보다 큰 지 여부를 결정할 수 있다. 동작 1050에서, 차이값이 누음 허용치(705)보다 크다고 결정된 경우, 동작 1060에서 웨어러블 전자 장치(400)는 웨어러블 전자 장치의 재착용을 안내할 수 있다.
동작 1050에서, 차이값이 누음 허용치(705)보다 작거나 같다고 결정된 경우, 동작 1070에서 웨어러블 전자 장치(400)는 차이값이 보상 허용치(예: 도 7의 보상 허용치(703))보다 큰지 여부를 결정할 수 있다. 동작 1070에서, 차이 값이 보상 허용치(703)보다 크다고 결정된 경우, 동작 1080에서 웨어러블 전자 장치(400)는 이어팁 교체를 안내할 수 있다.
이와 달리, 동작 1070에서 차이 값이 보상 허용치(703)보다 작거나 같다고 결정된 경우, 동작 1090에서 웨어러블 전자 장치(400)는 차이값을 웨어러블 전자 장치(400)가 출력하는 재생 사운드에 보상할 수 있다.
일 실시예에 따르면, 스피커(speaker)(420, 510)와 마이크(mic)(430, 520)를 포함하는 웨어러블 전자 장치(400)의 동작 방법은 상기 웨어러블 전자 장치(400)의 누음(sound leakage) 발생 여부를 검출하기 위한 검출 신호를 생성하는 동작 610; 상기 검출 신호를 상기 스피커(420, 510)를 통해 사용자의 외이도(ear canal) 내로 출력한 신호가 상기 마이크(430, 520)를 통해 수음된 피드백 신호를 수신하는 동작 620; 상기 피드백 신호와 상기 검출 신호 간의 차이값을 산출하는 동작 630; 및 상기 차이값을 기초로, 상기 웨어러블 전자 장치가 출력하는 재생 사운드를 보정하는 동작 640을 포함할 수 있다.
일 실시예에 따르면, 상기 재생 사운드를 보정하는 동작 640은 상기 차이값이 상기 누음에 대한 보상 허용 범위(710)에 해당하는지 여부에 기초하여, 상기 재생 사운드를 보정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 재생 사운드를 보정하는 동작 640은 상기 검출 신호에 상기 차이값을 보상함으로써 상기 재생 사운드를 보정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 재생 사운드를 보정하는 동작 640은 상기 차이값이 상기 특정 보상 조건을 만족하는지 여부에 기초하여, 상기 재생 사운드를 보정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 특정 보상 조건은 상기 피드백 신호 중 특정 시그널에 대응하는 상기 차이값의 크기(magnitude)가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함할 수 있다.
일 실시예에 따르면, 상기 특정 시그널에 대응하는 차이값이 상기 특정 보상 조건을 만족하는 경우, 상기 재생 사운드를 보정하는 동작 640은 상기 재생 사운드에서 상기 특정 시그널에 대응하는 가중치 값을 조정함으로써 상기 재생 사운드를 보정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)의 동작 방법은 상기 차이값이 상기 보상 허용 범위(710)를 벗어나는 경우, 상기 웨어러블 전자 장치(400)의 재착용 또는 이어팁의 교체를 안내하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 상기 안내하는 동작은 상기 차이값이 상기 보상 허용 범위(710)의 보상 허용치(703) 보다 크고, 누음 허용 범위(730)의 누음 허용치(705)보다 작거나 같은 경우, 상기 이어팁의 교체를 안내하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 안내하는 동작은 상기 차이값이 누음 허용 범위(730)의 누음 허용치(705)보다 큰 경우, 상기 웨어러블 전자 장치(400)의 재착용을 안내하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 차이값을 산출하는 동작은 상기 검출 신호를 주파수 변환한 제1 값을 산출하는 동작; 상기 피드백 신호를 주파수 변환한 제2 값을 산출하는 동작; 및 상기 제1 값과 상기 제2 값 간의 상기 차이값을 산출하는 동작을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 누음 발생 여부를 검출하기 위한 검출 신호를 생성하는 회로를 포함하는 사운드 생성기(410); 상기 검출 신호를 사용자의 외이도로 출력하는 스피커(420, 510); 상기 스피커(420, 510)를 통해 출력된 신호를 수음하는 마이크(430, 520); 및 상기 마이크(430, 520)를 통해 수음된 피드백 신호와 상기 검출 신호 간의 차이값을 산출하고, 상기 차이값을 기초로, 상기 재생 사운드를 보정하는 프로세서(440)를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 차이값이 상기 누음에 대한 보상 허용 범위(710)에 해당하는지 여부에 기초하여, 상기 재생 사운드를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 검출 신호에 상기 차이값을 보상함으로써 상기 재생 사운드를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 차이값이 상기 특정 보상 조건을 만족하는지 여부에 기초하여, 상기 재생 사운드를 보정할 수 있다.
일 실시예에 따르면, 상기 특정 보상 조건은 상기 피드백 신호 중 특정 시그널에 대응하는 상기 차이값의 크기가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 재생 사운드에서 상기 특정 시그널에 대응하는 가중치 값을 조정함으로써 상기 재생 사운드를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 차이값이 상기 보상 허용 범위(710)를 벗어나는 경우, 상기 웨어러블 전자 장치(400)의 재착용 또는 이어팁의 교체를 안내할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 차이값이 상기 보상 허용 범위(710)의 보상 허용치(703) 보다 크고, 누음 허용 범위(730)의 누음 허용치(705)보다 작거나 같은 경우, 상기 이어팁의 교체를 안내할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 차이값이 누음 허용 범위(730)의 누음 허용치(705)보다 큰 경우, 상기 웨어러블 전자 장치(400)의 재착용을 안내할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 검출 신호를 주파수 변환한 제1 값을 산출하고, 상기 피드백 신호를 주파수 변환한 제2 값을 산출하며, 상기 제1 값과 상기 제2 값 간의 상기 차이값을 산출할 수 있다.
일 실시예에 따르면, 상기 프로세서(440)는 상기 스피커(420, 510)와 상기 마이크(430, 520)를 구동하기 위한 코덱(Codec)(445)을 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치(400)는 상기 웨어러블 전자 장치(400) 외부의 전자 장치(예: 도 1의 전자 장치(101))와 통신하며, 신호를 주고받는 통신 인터페이스(미도시)를 더 포함할 수 있다.

Claims (15)

  1. 스피커(speaker)와 마이크(mic)를 포함하는 웨어러블 전자 장치의 동작 방법에 있어서,
    상기 웨어러블 전자 장치의 누음(sound leakage) 발생 여부를 검출하기 위한 검출 신호를 생성하는 동작;
    상기 검출 신호를 상기 스피커를 통해 사용자의 외이도(ear canal) 내로 출력한 신호가 상기 마이크를 통해 수음된 피드백 신호를 수신하는 동작;
    상기 피드백 신호와 상기 검출 신호 간의 차이값을 산출하는 동작; 및
    상기 차이값을 기초로, 상기 웨어러블 전자 장치가 출력하는 재생 사운드를 보정하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 재생 사운드를 보정하는 동작은
    상기 차이값이 상기 누음에 대한 보상 허용 범위에 해당하는지 여부에 기초하여, 상기 재생 사운드를 보정하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 재생 사운드를 보정하는 동작은
    상기 재생 사운드에 상기 차이값을 보상함으로써 상기 재생 사운드를 보정하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 재생 사운드를 보정하는 동작은
    상기 차이값이 특정 보상 조건을 만족하는지 여부에 기초하여, 상기 재생 사운드를 보정하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  5. 제4항에 있어서,
    상기 특정 보상 조건은
    상기 피드백 신호 중 특정 시그널에 대응하는 상기 차이값의 크기(magnitude)가 다른 시그널들에 대응하는 차이값들의 크기의 합보다 큰 조건을 포함하는, 웨어러블 전자 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 특정 시그널에 대응하는 차이값이 상기 특정 보상 조건을 만족하는 경우, 상기 재생 사운드를 보정하는 동작은
    상기 재생 사운드에서 상기 특정 시그널에 대응하는 가중치 값을 조정함으로써 상기 재생 사운드를 보정하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  7. 제2항에 있어서,
    상기 차이값이 상기 보상 허용 범위를 벗어나는 경우, 상기 웨어러블 전자 장치의 재착용 또는 이어팁의 교체를 안내하는 동작
    을 더 포함하는, 웨어러블 전자 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 안내하는 동작은
    상기 차이값이 상기 보상 허용 범위의 보상 허용치 보다 크고, 누음 허용 범위의 누음 허용치보다 작거나 같은 경우, 이어팁의 교체를 안내하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  9. 제7항에 있어서,
    상기 안내하는 동작은
    상기 차이값이 누음 허용 범위의 누음 허용치보다 큰 경우, 상기 웨어러블 전자 장치의 재착용을 안내하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 차이값을 산출하는 동작은
    상기 검출 신호를 주파수 변환한 제1 값을 산출하는 동작;
    상기 피드백 신호를 주파수 변환한 제2 값을 산출하는 동작; 및
    상기 제1 값과 상기 제2 값 간의 상기 차이값을 산출하는 동작
    을 포함하는, 웨어러블 전자 장치의 동작 방법.
  11. 하드웨어와 결합되어 제1항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  12. 웨어러블 전자 장치에 있어서,
    누음 발생 여부를 검출하기 위한 검출 신호를 생성하는 회로를 포함하는 사운드 생성기;
    상기 검출 신호를 사용자의 외이도로 출력하는 스피커;
    상기 스피커를 통해 출력된 신호를 수음하는 마이크;
    상기 마이크를 통해 수음된 피드백 신호와 상기 검출 신호 간의 차이값을 산출하고, 상기 차이값을 기초로, 상기 웨어러블 전자 장치가 출력하는 재생 사운드를 보정하는 프로세서
    를 포함하는, 웨어러블 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는
    상기 차이값이 상기 누음에 대한 보상 허용 범위에 해당하는지 여부에 기초하여, 상기 재생 사운드에 상기 차이값을 보상함으로써 상기 재생 사운드를 보정하는, 웨어러블 전자 장치.
  14. 제12항에 있어서,
    상기 프로세서는
    상기 스피커와 상기 마이크를 구동하기 위한 코덱(Codec)
    을 포함하는, 웨어러블 전자 장치.
  15. 제12항에 있어서,
    상기 웨어러블 전자 장치 외부의 전자 장치와 통신하며, 신호를 주고받는 통신 인터페이스
    를 더 포함하는, 웨어러블 전자 장치.
PCT/KR2022/004932 2021-08-02 2022-04-06 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법 WO2023013841A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22754759.3A EP4152767A4 (en) 2021-08-02 2022-04-06 PORTABLE ELECTRONIC DEVICE AND METHOD FOR OPERATING A PORTABLE ELECTRONIC DEVICE
CN202280054379.7A CN117837168A (zh) 2021-08-02 2022-04-06 可穿戴电子装置及其操作方法
US17/861,444 US20230033379A1 (en) 2021-08-02 2022-07-11 Wearable electronic device and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0101149 2021-08-02
KR1020210101149A KR20230019533A (ko) 2021-08-02 2021-08-02 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/861,444 Continuation US20230033379A1 (en) 2021-08-02 2022-07-11 Wearable electronic device and operation method thereof

Publications (1)

Publication Number Publication Date
WO2023013841A1 true WO2023013841A1 (ko) 2023-02-09

Family

ID=83689027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004932 WO2023013841A1 (ko) 2021-08-02 2022-04-06 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Country Status (2)

Country Link
KR (1) KR20230019533A (ko)
WO (1) WO2023013841A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039117A (ko) * 2004-11-02 2006-05-08 삼성전자주식회사 이어폰 주파수 특성 보정 방법 및 장치
JP2009284097A (ja) * 2008-05-20 2009-12-03 Toshiba Corp カナル型イヤホンおよびその使用方法ならびに共鳴周波数算出装置
US20160277860A1 (en) * 2015-03-18 2016-09-22 Nokia Technologies Oy Apparatus, Method and Computer Program for Providing an Audio Signal
KR20210001646A (ko) * 2019-06-28 2021-01-06 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
KR20210006303A (ko) * 2019-07-08 2021-01-18 애플 인크. 인-이어 헤드폰 피팅의 음향 검출

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060039117A (ko) * 2004-11-02 2006-05-08 삼성전자주식회사 이어폰 주파수 특성 보정 방법 및 장치
JP2009284097A (ja) * 2008-05-20 2009-12-03 Toshiba Corp カナル型イヤホンおよびその使用方法ならびに共鳴周波数算出装置
US20160277860A1 (en) * 2015-03-18 2016-09-22 Nokia Technologies Oy Apparatus, Method and Computer Program for Providing an Audio Signal
KR20210001646A (ko) * 2019-06-28 2021-01-06 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법
KR20210006303A (ko) * 2019-07-08 2021-01-18 애플 인크. 인-이어 헤드폰 피팅의 음향 검출

Also Published As

Publication number Publication date
KR20230019533A (ko) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2022030868A1 (ko) 음 방사부를 포함하는 전자 장치
WO2022158735A1 (ko) 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
WO2023013841A1 (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
WO2022191537A1 (ko) 캘리브레이션 포인트를 제공하는 전자 장치 및 이의 동작 방법
WO2022025452A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023128623A1 (ko) 웨어러블 장치
WO2023229246A1 (ko) 웨어러블 전자 장치
WO2022260242A1 (ko) 마이크 모듈을 포함하는 전자 장치
WO2023106670A1 (ko) 마이크 모듈을 포함하는 전자 장치
WO2024043646A1 (ko) 마이크 모듈을 포함하는 웨어러블 전자 장치
WO2023080401A1 (ko) 이어폰을 이용한 전자 장치의 사운드 레코딩 방법 및 장치
WO2023085872A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023149772A1 (ko) 변색 부재를 포함하는 전자 장치
WO2023149720A1 (ko) 센서 모듈을 포함하는 전자 장치
WO2022154257A1 (ko) 오디오 데이터를 처리하는 전자 장치와 이의 동작 방법
WO2023075252A1 (ko) 전자 장치 및 그의 동작 방법
EP4152767A1 (en) Wearable electronic device, and method for operating wearable electronic device
WO2023167445A1 (ko) 접속 부재를 포함하는 전자 장치
WO2023277494A1 (ko) 전자 장치
WO2024106730A1 (ko) 전자 장치 및 상기 전자 장치를 이용하여 사운드 신호를 제어하는 방법
WO2023068741A1 (ko) 웨어러블 장치 장착 가이드 방법
WO2023085642A1 (ko) 동작 제어 방법 및 그 전자 장치
WO2023191294A1 (ko) 안테나 구조 및 이를 포함하는 전자 장치
WO2023287023A1 (ko) 음향 신호를 생성하는 전자 장치 및 방법
WO2022154306A1 (ko) 연결 단자 및 센서를 포함하는 오디오 전자 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022754759

Country of ref document: EP

Effective date: 20220825

WWE Wipo information: entry into national phase

Ref document number: 202280054379.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE