WO2024072136A1 - 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법 - Google Patents

오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2024072136A1
WO2024072136A1 PCT/KR2023/015095 KR2023015095W WO2024072136A1 WO 2024072136 A1 WO2024072136 A1 WO 2024072136A1 KR 2023015095 W KR2023015095 W KR 2023015095W WO 2024072136 A1 WO2024072136 A1 WO 2024072136A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
input channel
preprocessed
microphone
electronic device
Prior art date
Application number
PCT/KR2023/015095
Other languages
English (en)
French (fr)
Inventor
양재모
김선미
문한길
방경호
이상훈
황호철
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220148103A external-priority patent/KR20240043633A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024072136A1 publication Critical patent/WO2024072136A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • Embodiments disclosed in this document relate to an electronic device that processes audio and a method of operating the electronic device.
  • AR glasses are the next-generation personal devices, and various functions that can be applied to AR glasses are being developed.
  • AR glasses which are HMD devices similar to glasses, can be worn with both glasses temples positioned on the user's ears and the nose pad positioned on the top of the user's nose, just as the user wears glasses.
  • processing by location of the target sound source, sound source separation, beamforming, and/or immersive 3D audio processing can be performed using a plurality of microphones.
  • An embodiment disclosed in this document may include a plurality of microphones in AR glasses and provide various types of sound-receiving functions.
  • the electronic device of the present invention can perform various types of audio signal processing using multiple microphones according to various configurations and arrangements.
  • the electronic device of the present invention can further use a vibration sensor to detect vibration when a user speaks and perform various types of audio signal processing.
  • An electronic device includes a first microphone disposed on the front left side of the electronic device to collect the sound of the first input channel, and a first microphone disposed on the rear left side of the electronic device to collect the sound of the second input channel. a second microphone that collects sound, a third microphone that is disposed on the front right side of the electronic device and collects the sound of a third input channel, and a fourth microphone that is disposed on the right rear side of the electronic device that collects the sound of the fourth input channel. and a processor, wherein the processor preprocesses the sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel, and outputs the preprocessed first input.
  • a method of operating an electronic device includes a first microphone disposed on the front left side of the electronic device to collect sound from a first input channel, and a second microphone disposed on the rear left side of the electronic device to collect sound from the first input channel.
  • a second microphone that collects the sound of the channel
  • a third microphone that is placed on the front right side of the electronic device and collects the sound of a third input channel
  • a third microphone that is placed on the rear right side of the electronic device that collects the sound of the fourth input channel.
  • a fourth microphone preprocesses the sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel, and preprocesses the sound of the first input channel operating in a first mode to record immersive audio based on sound, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel, or the preprocessed sound of the first input channel , Operating in a second mode that collects sound in a specified direction using beamforming based on the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel. can do.
  • an electronic device can provide an immersive recording function using a plurality of microphones.
  • an electronic device can track the location of a target sound using a plurality of microphones.
  • an electronic device may form a low-band beam using a plurality of microphones.
  • an electronic device can collect and amplify sound from a specific direction using a plurality of microphones.
  • an electronic device may use a plurality of microphones to pick up sounds with reduced noise other than the target sound.
  • an electronic device may use a sensor and a plurality of microphones to detect the user's voice when the user speaks.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • FIG. 2 is a block diagram of an audio module, according to one embodiment.
  • 3A is an overall configuration diagram of an electronic device according to an embodiment.
  • Figure 3b is a block diagram of an electronic device according to one embodiment.
  • 3C to 3E are diagrams showing different arrangements of a plurality of microphones and sensors in an electronic device according to an embodiment.
  • FIG. 4 is a flowchart illustrating how a processor operates in a sound pickup mode according to an embodiment.
  • FIGS. 5A, 5B, 5C, and 5D are block diagrams of a processor when operating in a first mode, according to an embodiment.
  • 6A and 6B are block diagrams when a processor operates in a second mode, according to an embodiment.
  • Figure 7 is a block diagram when a processor operates in a third mode, according to an embodiment.
  • FIG. 8 is a diagram illustrating an example of arranging at least one microphone in an electronic device according to an embodiment.
  • Figure 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • coprocessor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Figure 2 is a block diagram 200 of the audio module 170, according to one embodiment.
  • the audio module 170 includes, for example, an audio input interface 210, an audio input mixer 220, an analog to digital converter (ADC) 230, an audio signal processor 240, and a DAC. (digital to analog converter) 250, an audio output mixer 260, or an audio output interface 270.
  • ADC analog to digital converter
  • ADC analog to digital converter
  • DAC digital to analog converter
  • the audio input interface 210 is a part of the input module 150 or is configured separately from the electronic device 101 to obtain audio from the outside of the electronic device 101 through a microphone (e.g., dynamic microphone, condenser microphone, or piezo microphone).
  • a microphone e.g., dynamic microphone, condenser microphone, or piezo microphone.
  • An audio signal corresponding to sound can be received.
  • the audio input interface 210 is directly connected to the external electronic device 102 through the connection terminal 178.
  • the audio signal can be received by connecting wirelessly (e.g., Bluetooth communication) through the wireless communication module 192.
  • the audio input interface 210 may receive a control signal (eg, a volume adjustment signal received through an input button) related to the audio signal obtained from the external electronic device 102.
  • the audio input interface 210 includes a plurality of audio input channels and can receive different audio signals for each corresponding audio input channel among the plurality of audio input channels.
  • the audio input interface 210 may receive an audio signal from another component of the electronic device 101 (eg, the processor 120 or the memory 130).
  • the audio input mixer 220 may synthesize a plurality of input audio signals into at least one audio signal. According to one embodiment, the audio input mixer 220 may synthesize a plurality of analog audio signals input through the audio input interface 210 into at least one analog audio signal.
  • the ADC 230 can convert analog audio signals into digital audio signals.
  • the ADC 230 converts an analog audio signal received through the audio input interface 210, or additionally or alternatively, an analog audio signal synthesized through the audio input mixer 220 into a digital audio signal. It can be converted into a signal.
  • the audio signal processor 240 may perform various processing on a digital audio signal input through the ADC 230 or a digital audio signal received from another component of the electronic device 101. For example, according to one embodiment, the audio signal processor 240 changes the sampling rate of one or more digital audio signals, applies one or more filters, performs interpolation, amplifies or attenuates all or part of the frequency band, You can perform noise processing (e.g., noise or echo attenuation), change channels (e.g., switch between mono and stereo), mix, or extract specified signals. According to one embodiment, one or more functions of the audio signal processor 240 may be implemented in the form of an equalizer.
  • the DAC 250 can convert digital audio signals into analog audio signals.
  • the DAC 250 may process a digital audio signal processed by the audio signal processor 240, or another component of the electronic device 101 (e.g., the processor 120 or the memory 130).
  • the digital audio signal obtained from )) can be converted to an analog audio signal.
  • the audio output mixer 260 may synthesize a plurality of audio signals to be output into at least one audio signal. According to one embodiment, the audio output mixer 260 outputs at least one audio signal converted to analog through the DAC 250 and another analog audio signal (e.g., an analog audio signal received through the audio input interface 210). It can be synthesized as an analog audio signal.
  • the audio output interface 270 transmits the analog audio signal converted through the DAC 250, or additionally or alternatively, the analog audio signal synthesized by the audio output mixer 260 to the electronic device 101 through the audio output module 155. ) can be output outside of.
  • the sound output module 155 may include, for example, a speaker such as a dynamic driver or balanced armature driver, or a receiver.
  • the sound output module 155 may include a plurality of speakers.
  • the audio output interface 270 may output audio signals having a plurality of different channels (eg, stereo or 5.1 channels) through at least some of the speakers.
  • the audio output interface 270 is connected to the external electronic device 102 (e.g., external speaker or headset) directly through the connection terminal 178 or wirelessly through the wireless communication module 192. and can output audio signals.
  • the audio module 170 does not have a separate audio input mixer 220 or an audio output mixer 260, but uses at least one function of the audio signal processor 240 to generate a plurality of digital audio signals. At least one digital audio signal can be generated by synthesizing them.
  • the audio module 170 is an audio amplifier (not shown) capable of amplifying an analog audio signal input through the audio input interface 210 or an audio signal to be output through the audio output interface 270. (e.g., speaker amplification circuit) may be included.
  • the audio amplifier may be implemented as a module separate from the audio module 170.
  • FIG. 3A is an overall configuration diagram of the electronic device 300 according to one embodiment.
  • the electronic device 300 may be manufactured to be worn on the user's head.
  • the electronic device 300 may be implemented in the form of at least one of glasses, goggles, a helmet, or a hat, but is not limited thereto.
  • the electronic device 300 includes both eyes of the user (e.g., left eye and/or right eye), and a plurality of transparent members corresponding to each (e.g., first transparent member 320 and/or second transparent member). (330)).
  • the electronic device 300 may provide images related to an augmented reality (AR) service to the user.
  • AR augmented reality
  • the electronic device 300 projects or displays a virtual object on the first transparent member 320 and/or the second transparent member 330, so that the user can use the first transparent member 320 of the electronic device.
  • at least one virtual object may be visible overlapping the reality perceived through the second transparent member 330.
  • the electronic device 300 includes a main body portion 323, a support portion (e.g., a first support portion 321, a second support portion 322), and a hinge portion (e.g., a first support portion 322). It may include a hinge portion 340-1 and a second hinge portion 340-2.
  • the main body portion 323 and the support portions 321 and 322 may be operatively connected through hinge portions 340-1 and 340-2.
  • the main body 323 may include a portion formed to be at least partially placed on the user's nose.
  • the support parts 321 and 322 may include a support member that can be worn over the user's ears.
  • the support units 321 and 322 may include a first support unit 321 mounted on the left ear and/or a second support unit 322 mounted on the right ear.
  • the first hinge part 340-1 may connect the first support part 321 and the main body part 323 so that the first support part 321 can rotate with respect to the main body part 323.
  • the second hinge portion 340-2 may connect the second support portion 322 and the main body portion 323 so that the second support portion 322 can rotate with respect to the main body portion 323.
  • the hinge portions 340-1 and 340-2 of the electronic device 300 may be omitted.
  • the main body 323 and the support parts 321 and 322 may be directly connected.
  • the main body 323 includes at least one transparent member (e.g., a first transparent member 320, a second transparent member 330), and at least one display module (e.g., a first display module ( 314-1), a second display module 314-2), at least one camera module (e.g., a front camera module 313), a gaze tracking camera module (e.g., a first gaze tracking camera module 312-1) , a second eye tracking camera module 312-2), a recognition camera module (e.g., a first recognition camera module 311-1, a second recognition camera module 311-2), and at least one microphone. (not shown) may be included.
  • a transparent member e.g., a first transparent member 320, a second transparent member 330
  • at least one display module e.g., a first display module ( 314-1), a second display module 314-2
  • at least one camera module e.g., a front camera module 313
  • a gaze tracking camera module e.g.,
  • light generated by the display modules 314-1 and 314-2 may be projected onto the transparent members 320 and 330 to display information.
  • light generated in the first display module 314-1 may be projected on the first transparent member 320
  • light generated in the second display module 314-2 may be projected on the second transparent member ( 330).
  • Light capable of displaying a virtual object is projected onto the transparent members 320 and 330, at least partially formed of a transparent material, so that the user can perceive the reality in which the virtual object overlaps.
  • the display module 160 described in FIG. 1 can be understood as including the display modules 314-1 and 214-2 and transparent members 320 and 230 in the electronic device 300 shown in FIG. 3A. there is.
  • the electronic device 300 described in the present invention is not limited to displaying information through the method described above.
  • a display module that can be included in the electronic device 300 can be changed to a display module that includes various information display methods.
  • a separate display module e.g., a first display module 314-1, a second display module ( Information can be displayed without 314-2)
  • the display module 160 described in FIG. 1 may mean the transparent members 320 and 330 and the display panel included in the transparent members 320 and 330.
  • the virtual object output through the display modules 314-1 and 314-2 contains information related to an application program running on the electronic device 300 and/or the user uses the transparent members 320 and 330. It may contain information related to external objects located in the actual space perceived through the object. External objects may include objects that exist in real space.
  • the actual space perceived by the user through the transparent members 320 and 330 will hereinafter be referred to as the user's field of view (FoV) area.
  • the electronic device 300 may select an area determined to be the user's field of view (FoV) from image information related to the actual space acquired through a camera module (e.g., a shooting camera module 313) of the electronic device 300. At least some of the external objects included can be checked.
  • the electronic device 300 may output a virtual object related to the identified external object through the display modules 314-1 and 314-2.
  • the electronic device 300 may display virtual objects related to the augmented reality service based on image information related to the real space acquired through the photography camera module 313 of the electronic device 300.
  • the electronic device 300 includes a display module disposed corresponding to both eyes of the user (e.g., a first display module 314-1 corresponding to the left eye, and/or a second display module corresponding to the right eye).
  • a virtual object can be displayed based on (314-2)).
  • the electronic device 300 may display a virtual object based on preset setting information (eg, resolution, frame rate, brightness, and/or display area).
  • the transparent members 320 and 330 may include a converging lens (not shown) and/or a waveguide (e.g., a first waveguide 320-1 and/or a second waveguide 330-1). You can.
  • the first waveguide 320-1 may be partially located on the first transparent member 320
  • the second waveguide 330-1 may be partially located on the second transparent member 330. there is.
  • Light emitted from the display modules 314-1 and 214-2 may be incident on one side of the transparent members 320 and 330.
  • Light incident on one side of the transparent members 320 and 330 may be transmitted to the user through waveguides 320-1 and 330-1 located within the transparent members 320 and 330.
  • the waveguides 320-1 and 330-1 may be made of glass, plastic, or polymer, and may include a nanopattern formed on one of the inner or outer surfaces.
  • the nanopattern may include a polygonal or curved lattice structure.
  • light incident on one surface of the transparent members 320 and 330 may be propagated or reflected inside the waveguides 320-1 and 330-1 by nano-patterns and transmitted to the user.
  • the waveguides 320-1 and 330-1 include at least one diffractive element (e.g., a diffractive optical element (DOE), or a holographic optical element (HOE)) or a reflective element (e.g., a reflective mirror). It can contain at least one.
  • DOE diffractive optical element
  • HOE holographic optical element
  • the waveguides 320-1 and 330-1 guide the light emitted from the display modules 314-1 and 314-2 to the user's eyes using at least one diffractive element or reflective element. You can.
  • the electronic device 300 includes a shooting camera module 313 (e.g., RGB) for capturing an image corresponding to the user's field of view (FoV) and/or measuring the distance to an object.
  • Camera module e.g., RGB
  • an eye tracking camera module 312-1, 312-2
  • a recognition camera module to recognize a certain space camera module
  • the photographing camera module 313 may photograph the front direction of the electronic device 300, and the eye-tracking camera modules 312-1 and 312-2 may film in a direction opposite to the photographing direction of the photographing camera module 313. You can take pictures in any direction.
  • the first eye tracking camera module 312-1 may partially photograph the user's left eye
  • the second eye tracking camera module 312-2 may partially photograph the user's right eye.
  • the photographing camera module 313 may include a high resolution camera module such as a high resolution (HR) camera module and/or a photo video (PV) camera module.
  • the gaze tracking camera modules 312-1 and 312-2 may detect the user's pupils and track the gaze direction. The tracked gaze direction can be used to move the center of a virtual image including a virtual object in response to the gaze direction.
  • the recognition camera modules 311-1 and 311-2 may detect a user gesture and/or a certain space within a set distance (eg, a certain space).
  • the recognition camera modules 311-1 and 311-2 may include a camera module including a global shutter (GS).
  • the recognition camera modules 311-1 and 311-2 include GS in which the rolling shutter (RS) phenomenon can be reduced in order to detect and track fast hand movements and/or fine movements such as fingers. It could be a camera module.
  • the electronic device 300 uses at least one camera module 311-1, 311-2, 312-1, 312-2, and 313 to select the main eye and/or the left eye and/or the right eye.
  • the eye corresponding to the secondary eye can be detected.
  • the electronic device 300 may detect the eye corresponding to the primary eye and/or the secondary eye based on the user's gaze direction with respect to an external object or virtual object.
  • At least one camera module included in the electronic device 300 shown in FIG. 3A may not be limited.
  • at least one camera module e.g., a photographing camera module 313, an eye-tracking camera module 312-1, 312-2, and/or the number and location of the recognition camera modules (311-1, 311-2) can be changed in various ways.
  • the electronic device 300 includes at least one camera module (e.g., a camera module 313 for photography, a camera module for eye tracking 312-1, 312-2, and/or a camera module 311 for recognition).
  • 1, 311-2) may include at least one light emitting device (illumination LED) (eg, a first light emitting device 342-1 and a second light emitting device 342-2) to increase the accuracy.
  • the first light-emitting device 342-1 may be placed in a portion corresponding to the user's left eye
  • the second light-emitting device 342-2 may be disposed in a portion corresponding to the user's right eye.
  • the light emitting devices 342-1 and 342-2 may be used as an auxiliary means to increase accuracy when photographing the user's eyes with the eye tracking camera modules 312-1 and 312-2, and may be used as an auxiliary means to increase accuracy by using infrared rays. It may include an IR LED that generates light of a certain wavelength.
  • the light emitting devices 342-1 and 342-2 detect the subject to be photographed due to a dark environment or mixing and reflected light of various light sources when photographing the user's gesture with the recognition camera modules 311-1 and 311-2. It can be used as an auxiliary method when this is not easy.
  • the electronic device 300 may include a microphone (not shown) for receiving the user's voice and surrounding sounds.
  • a microphone may be a component included in the audio module 170 of FIG. 1 .
  • the positions of the microphones are the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 in FIGS. 3C, 3D, and/or 3E. may include.
  • the first support portion 321 and/or the second support portion 322 is a printed circuit board (PCB) (e.g., the first printed circuit board 331-1, or the second printed circuit board 331-1).
  • PCB printed circuit board
  • Circuit board 331-2 includes speaker (e.g., first speaker 332-1, or second speaker 332-2), and/or battery (e.g., first battery 333-1 ), or a second battery 333-2).
  • the speakers 332-1 and 332-2 include a first speaker 332-1 for transmitting an audio signal to the user's left ear and a second speaker for transmitting an audio signal to the user's right ear ( 332-2) may be included.
  • Speakers 332-1 and 332-2 may be components included in the audio module 170 of FIG. 1.
  • the electronic device 300 may be equipped with a plurality of batteries 333-1 and 333-2, and may perform printing through a power management module (e.g., the power management module 188 of FIG. 1). Power can be supplied to the circuit boards 331-1 and 331-2.
  • the plurality of batteries 333-1 and 333-2 may be electrically connected to a power management module (eg, the power management module 188 of FIG. 1).
  • the electronic device 300 was described as a device that displays augmented reality, but the electronic device 300 may be a device that displays virtual reality (VR).
  • the transparent members 320 and 330 may be made of an opaque material so that the user cannot perceive the actual space through the transparent members 320 and 330.
  • the transparent members 320 and 330 may function as the display module 160.
  • the transparent members 320 and 330 may include a display panel that displays information.
  • the first recognition camera module 311-1 and the second recognition camera module 311-2 may generate an image by photographing the front.
  • the first recognition camera module 311-1 and the second recognition camera module 311-2 may each have a field of view (FOV) of ⁇ .
  • FOV field of view
  • the first recognition camera module 311-1 in response to the first recognition camera module 311-1 and the second recognition camera module 311-2 photographing the same subject, the first recognition camera module 311-1
  • the captured image and the image captured by the second recognition camera module 311-2 have a parallax corresponding to the distance between the first recognition camera module 311-1 and the second recognition camera module 311-2. There may be (disparity).
  • the electronic device 300 may include a distance sensor (not shown).
  • a distance sensor can measure the distance to a subject using a time of flight (TOF) method.
  • the distance sensor may include a light emitter (emitter) that outputs light particles and a light receiver (sensor) that acquires light particles that are output from the light emitter and then reflected on the subject.
  • a distance sensor may measure the distance based on the flight time it takes for light or radio waves output from the distance sensor to reflect and return to another subject.
  • a distance sensor can determine the distance to the subject by multiplying the flight time by the speed of light and dividing it in half.
  • a distance sensor can measure the distance based on the amount of light flowing into the light receiver.
  • the distance sensor may determine that the smaller the amount of light received by the light receiver, the longer the distance, and the greater the amount of light received by the distance sensor, the shorter the distance.
  • a distance sensor can measure distance based on a change in the phase of light obtained from a light receiver.
  • Figure 3b is a block diagram of an electronic device according to one embodiment.
  • the electronic device 300 (e.g., the electronic device 101 of FIG. 1, the electronic device 200 of FIG. 2, and/or the electronic device 300 of FIG. 3A) includes a microphone 341 and a codec. It may include 350, processor 360, and/or sensor 380.
  • the components included in FIG. 3B are some of the components included in the electronic device 300, and the electronic device 300 also includes various components as shown in FIGS. 1, 2, and/or 3A. can do.
  • the microphone 341 includes a first microphone 341-1, a second microphone 341-2, a third microphone 341-3, and/or a fourth microphone 341-4. can do.
  • the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 are connected to each other around the electronic device. It can be placed in an electronic device so that it is symmetrical. Details regarding the arrangement of the microphone 341 will be described later in the description related to FIGS. 3C to 3E.
  • the first microphone 341-1 may correspond to a first input channel
  • the second microphone 341-2 may correspond to a second input channel
  • the third microphone 341- 3) may correspond to the third input channel
  • the fourth microphone 341-4 may correspond to the fourth input channel.
  • the codec 350 may change the analog sound signal received from the microphone 341 into a digital sound signal and transmit it to the processor 360.
  • the senor 380 may be a sensor that detects vibration.
  • the sensor 380 may detect vibration of a designated pattern at the moment a user wearing an electronic device speaks.
  • the processor 360 may process the input sound acquired by the microphone 341 to generate an output sound.
  • the processor 360 may include a mixer 361, a beamformer 362, a voice detector 363, and/or an output audio controller 364.
  • the mixer 361 may preprocess the input sound. For example, the mixer 361 may amplify the input sound and/or perform equalization (EQ) processing to change the frequency characteristics of the input sound.
  • EQ equalization
  • the beamformer 362 can amplify sound in a designated direction.
  • the beamformer 362 may amplify sound received from a specified direction based on the beamforming filter parameter corresponding to the specified direction.
  • the voice detector 363 may track the location of the target object that generates the sound based on the cross-spectral phase difference of each sound generated according to the arrangement of the microphone 341.
  • the voice detector 363 may track the location of the target object that generates the sound using the generalized cross correlation phase transform (GCC-PHAT) algorithm.
  • GCC-PHAT generalized cross correlation phase transform
  • the voice detector 363 may detect voice in response to the sensor 380 detecting vibration.
  • the output audio controller 364 may generate output sounds by adding and/or dividing sounds.
  • FIGS. 3C to 3E are diagrams showing different arrangements of a plurality of microphones 341 and sensors 380 in the electronic device 300 according to an embodiment.
  • the number and location of at least one microphone 341 and/or sensor 380 included in the electronic device 300 shown in FIGS. 3C to 3E may not be limited.
  • the electronic device 300 may include four microphones 341-1, 341-2, 341-3, and 341-4 and one sensor 380. .
  • the electronic device 300 uses a first microphone 341-1, a second microphone 341-2, a third microphone 341-3, and/or a fourth microphone 341-4. It can be included.
  • the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 of the electronic device 300 can be arranged to be left and right symmetrical with respect to the central axis 1000.
  • the first microphone 341-1 is placed on the left front side of the electronic device 300 (e.g., the first hinge portion 340-1)
  • the third microphone 341-3 is located on the electronic device 300 (e.g., the first hinge portion 340-1). It may be disposed on the right front side (e.g., the second hinge portion 340-2) of the electronic device 300 and symmetrically left and right with respect to the central axis 1000 of the electronic device 300.
  • the second microphone 341-2 is placed on the left rear side of the electronic device 300 (e.g., the first support part 321), and the fourth microphone 341-4 is located on the left rear side of the electronic device 300. It may be placed on the right rear side (e.g., the second support part 322) and arranged to be left-right symmetrical with respect to the central axis 1000 of the electronic device 300.
  • the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 are arranged to be separated by a specified distance. It can be.
  • the first microphone 341-1 and the third microphone 341-3 may be arranged to be separated by a specified distance (eg, 0.12 m to 0.16 m).
  • the first microphone 341-1 and the second microphone 341-2 may be arranged to be separated by a specified distance (eg, about 0.08 m to about 0.12 m).
  • the third microphone 341-3 and the fourth microphone 341-4 may be arranged to be separated by a specified distance (eg, about 0.08 m to about 0.12 m).
  • the second microphone 341-2 and the fourth microphone 341-4 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.16 m).
  • the electronic device 300 can capture sound separately from the left side and the right side, and the front side and the back side.
  • the electronic device 300 can form a beam in a designated band (e.g., approximately 1.0 kHz to approximately 2.1 kHz) and perform a beamforming operation in a designated direction.
  • a designated band e.g., approximately 1.0 kHz to approximately 2.1 kHz
  • the electronic device 300 may include a sensor 380.
  • the senor 380 may be placed at the front center of the electronic device 300 (e.g., the main body 323).
  • the sensor 380 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the nose pad of the main body 323.
  • the electronic device 300 may include five microphones and three sensors 380.
  • the electronic device 300 includes a first microphone 341-1, a second microphone 341-2, a third microphone 341-3, a fourth microphone 341-4, and/or It may include a fifth microphone 341-5.
  • the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 of the electronic device 300 can be arranged to be left and right symmetrical with respect to the central axis 1000.
  • the first microphone 341-1 is placed on the left front side of the electronic device 300 (e.g., the first hinge portion 340-1)
  • the third microphone 341-3 is located on the electronic device 300 (e.g., the first hinge portion 340-1). It may be disposed on the right front side (e.g., the second hinge portion 340-2) of the electronic device 300 and symmetrically left and right with respect to the central axis 1000 of the electronic device 300.
  • the second microphone 341-2 is placed on the left rear side of the electronic device 300 (e.g., the first support part 321), and the fourth microphone 341-4 is located on the left rear side of the electronic device 300. It may be placed on the right rear side (e.g., the second support part 322) and arranged to be left-right symmetrical with respect to the central axis 1000 of the electronic device 300.
  • the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4 are arranged to be separated by a specified distance. It can be.
  • the first microphone 341-1 and the third microphone 341-3 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.16 m).
  • the first microphone 341-1 and the second microphone 341-2 may be arranged to be separated by a specified distance (eg, about 0.08 m to about 0.12 m).
  • the third microphone 341-3 and the fourth microphone 341-4 may be arranged to be separated by a specified distance (eg, about 0.08 m to about 0.12 m).
  • the second microphone 341-2 and the fourth microphone 341-4 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.16 m).
  • the fifth microphone may be placed at the front center of the electronic device 300 (eg, main body 323).
  • the electronic device 300 can perform a sound pickup operation capable of distinguishing between left and right sides and front and back sides.
  • the electronic device 300 can perform a beamforming operation by forming a beam in a designated band (eg, about 1.0 kHz to about 2.1 kHz).
  • a designated band eg, about 1.0 kHz to about 2.1 kHz.
  • the electronic device 300 may include a first sensor 380-1, a second sensor 380-2, and/or a third sensor 380-3.
  • the first sensor 380-1 may be disposed at the front center of the electronic device 300 (eg, main body 323).
  • the first sensor 380-1 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the nose pad of the main body 323.
  • the second sensor 380-2 may be disposed on the left rear side (eg, first support part 321) of the electronic device 300.
  • the second sensor 380-2 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the temple of the first supporter 321.
  • the third sensor 380-3 may be disposed on the right rear side (eg, second support unit 322) of the electronic device 300.
  • the third sensor 380-3 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the temple of the second supporter 322.
  • the electronic device 300 may include three microphones and two sensors 380.
  • the electronic device 300 may include a second microphone 341-2, a fourth microphone 341-4, and/or a fifth microphone 341-5.
  • the second microphone 341-2 and/or the fourth microphone 341-4 may be arranged to be left and right symmetrical with respect to the central axis 1000 of the electronic device 300.
  • the second microphone 341-2 is placed on the left rear side of the electronic device 300 (e.g., the first support part 321), and the fourth microphone 341-4 is located on the left rear side of the electronic device 300. It may be placed on the right rear side (e.g., the second support part 322) and arranged to be left-right symmetrical with respect to the central axis 1000 of the electronic device 300.
  • the second microphone 341-2, the fourth microphone 341-4, and/or the fifth microphone 341-5 may be arranged to be separated by a specified distance.
  • the second microphone 341-2 and the fourth microphone 341-4 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.16 m).
  • the second microphone 341-2 and the fifth microphone 341-5 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.18 m).
  • the fourth microphone 341-4 and the fifth microphone 341-5 may be arranged to be separated by a specified distance (eg, about 0.12 m to about 0.18 m).
  • the fifth microphone 341-5 may be placed at the front center of the electronic device 300 (eg, main body 323).
  • the electronic device 300 can perform a sound pickup operation capable of distinguishing between left and right sides and front and back sides.
  • the electronic device 300 can perform a beamforming operation by forming a beam in a designated band (e.g., about 1.0 kHz to about 2.1 kHz).
  • a designated band e.g., about 1.0 kHz to about 2.1 kHz.
  • the electronic device 300 may include a first sensor 380-1 and/or a second sensor 380-2.
  • the first sensor 380-1 may be disposed at the front center of the electronic device 300 (eg, main body 323).
  • the first sensor 380-1 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the nose pad of the main body 323.
  • the second sensor 380-2 may be disposed on the left rear side (eg, first support part 321) of the electronic device 300.
  • the second sensor 380-2 may be placed at a location where the vibration of the user's vocal cords is physically transmitted, such as near the temple of the first supporter 321.
  • FIG. 4 is a flowchart illustrating how the processor 360 operates in a sound mode according to an embodiment.
  • the processor 360 performs a process corresponding to a user input or an executed application in operation 410. You can check the masturbation mode.
  • the user may select a sound mode through the electronic device 300 and/or an external electronic device.
  • User input may include running a designated application, calling, recording, and/or voice recognition.
  • the sound absorption mode may include a first mode, a second mode, and/or a third mode.
  • the first mode may be an immersive audio recording mode.
  • the second mode may be a directional beamforming mode.
  • the third mode may be a user voice enhancement mode.
  • the processor 360 may acquire and preprocess sound using the microphone 341 and/or sensor 380 depending on the sound pickup mode.
  • the sound acquired using the microphone 341 and/or the sensor 380 may include ambient sound, the user's sound, and/or the sound of the speaker in front of the user.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. You can preprocess the sound acquired through the input channel. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (e.g., front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • EQ the sound of the first input channel corresponding to the first microphone 341-1
  • the processor 360 may amplify and/or equalize (EQ) the sound of the
  • the processor 360 may detect sound using the sensor 380. For example, the processor 360 may determine that the user is speaking and detect the user's sound in response to the sensor 380 detecting vibration of a specified pattern.
  • the processor 360 may process the preprocessed sound to correspond to the confirmed sound pickup mode in operation 430.
  • the processor 360 may generate a stereo channel sound and/or a 5.1 channel sound based on the preprocessed sound in the first mode. Details regarding the operation of the first mode will be described later in the description related to FIGS. 5A to 5D.
  • the processor 360 may amplify and collect sound in a specified direction using beamforming, based on the preprocessed sound. Detailed information regarding the operation of the second mode will be described later in the description related to FIGS. 6A and 6B.
  • the processor 360 may amplify and capture the user's sound using the sensor 380 and beamforming, based on the preprocessed sound. Detailed information regarding the operation of the third mode will be described later in the description related to FIG. 7.
  • the processor 360 may operate in a first mode, a second mode, and/or a third mode and output the collected sound through a speaker.
  • the processor 360 may process and store ambient sounds, user sounds, or the sound of a speaker in front of the user during recording.
  • the processor 360 can receive sound, process the sound, and output it through a speaker.
  • the processor 360 can acquire a sound generated by an external object in the direction of beamforming among ambient sounds, amplify the sound, and output it through a speaker. there is.
  • the processor 360 in the second mode, uses a gaze tracking camera module (e.g., the first gaze tracking camera module 312-1 and the second gaze tracking camera module 312-2 in FIG. 3A). ) can be used to determine the beamforming direction.
  • a gaze tracking camera module e.g., the first gaze tracking camera module 312-1 and the second gaze tracking camera module 312-2 in FIG. 3A.
  • the processor 360 may collect sound and simultaneously determine the beamforming direction at a designated period to collect sound in the determined direction.
  • FIGS 5A to 5D are block diagrams when the processor 360 operates in the first mode, according to one embodiment.
  • the first mode may be an immersive audio recording mode.
  • FIG. 5A may be a block diagram related to processing by the processor 360 according to an embodiment to generate sound of a stereo channel in a first mode.
  • the processor 360 may generate the sound of the first output channel based on the sound of the input channel corresponding to the first microphone 341-1 and/or the second microphone 341-2. there is.
  • the processor 360 may preprocess the sound of the input channel corresponding to the first microphone 341-1 and/or the second microphone 341-2. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone).
  • the processor 360 may generate the sound of the first output channel using preprocessed sound.
  • the processor 360 may generate the sound of the first output channel by adding the sound of the pre-processed first input channel and the sound of the pre-processed second input channel and dividing the sound by a specified value (e.g., 2).
  • the processor 360 may generate the sound of the second output channel based on the sound of the input channel corresponding to the third microphone 341-3 and/or the fourth microphone 341-4. there is.
  • the processor 360 may preprocess the sound of the input channel corresponding to the third microphone 341-3 and/or the fourth microphone 341-4. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (eg, front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • the processor 360 may generate the sound of the second output channel using the preprocessed sound. For example, the processor 360 may add the sound of the pre-processed third input channel and the sound of the pre-processed fourth input channel and divide the sound by a specified value (Example 2) to generate the sound of the second output channel.
  • a specified value Example 2
  • FIG. 5B may be a block diagram related to signal processing by the processor 360 according to an embodiment to generate 5.1 channel sound in the first mode.
  • the processor 360 may generate the sound of the first output channel based on the sound of the first input channel corresponding to the first microphone 341-1.
  • the processor 360 may preprocess the sound of the first input channel corresponding to the first microphone 341-1 and generate the sound of the first output channel using the preprocessed signal. For example, the processor 360 amplifies and/or equalizes the sound of the first input channel corresponding to the first microphone 341-1 (e.g., left front microphone) to produce a first output. You can create sound in a channel.
  • the processor 360 amplifies and/or equalizes the sound of the first input channel corresponding to the first microphone 341-1 (e.g., left front microphone) to produce a first output. You can create sound in a channel.
  • the processor 360 may generate the sound of the second output channel based on the sound of the second input channel corresponding to the second microphone 341-2.
  • the processor 360 may preprocess the sound of the second input channel corresponding to the second microphone 341-2 and generate the sound of the second output channel using the preprocessed sound. For example, the processor 360 amplifies and/or equalizes the signal of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone) to produce a second output. You can create sound in a channel.
  • the processor 360 amplifies and/or equalizes the signal of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone) to produce a second output. You can create sound in a channel.
  • the processor 360 may generate the sound of the third output channel based on the sound of the third input channel corresponding to the third microphone 341-3.
  • the processor 360 may preprocess the sound of the third input channel corresponding to the third microphone 341-3 and generate the sound of the third output channel using the preprocessed sound. For example, the processor 360 amplifies and/or equalizes the sound of the third input channel corresponding to the third microphone 341-3 (e.g., right front microphone) to produce a third output. You can create sound in a channel.
  • the processor 360 amplifies and/or equalizes the sound of the third input channel corresponding to the third microphone 341-3 (e.g., right front microphone) to produce a third output. You can create sound in a channel.
  • the processor 360 may generate the sound of the fourth output channel based on the sound of the fourth input channel corresponding to the fourth microphone 341-4. According to one embodiment, the processor 360 may preprocess the sound of the fourth input channel corresponding to the fourth microphone 341-4 and generate the sound of the fourth output channel using the preprocessed sound. For example, the processor 360 amplifies and/or equalizes the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone) to produce a fourth output. You can create sound in a channel.
  • the fourth microphone 341-4 e.g., right rear microphone
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4.
  • the sound of the fifth output channel can be generated based on the sound of the input channel.
  • the processor 360 includes a first input channel corresponding to the first microphone 341-1, a second input channel corresponding to the second microphone 341-2, and a third microphone 341-3. ), the sound of the third input channel corresponding to the third input channel and/or the fourth input channel corresponding to the fourth microphone 341-4 may be preprocessed, and the sound of the fifth output channel may be generated using the preprocessed sound.
  • the processor 360 adds the sound of the preprocessed first input channel, the sound of the second preprocessed input channel, the sound of the third preprocessed input channel, and the sound of the fourth preprocessed input channel and adds a specified value (e.g. : The sound of the 5th output channel can be generated by dividing into 4).
  • FIG. 5C may be a block diagram related to signal processing by the processor 360 according to an embodiment to generate 5.1-channel sound directed in two specified directions using beamforming in the first mode.
  • the processor 360 generates the sound of the first output channel based on the sound of the first input channel corresponding to the first microphone 341-1, and transmits the sound to the second microphone 341-2.
  • the sound of the second output channel may be generated based on the sound of the corresponding second input channel.
  • the processor 360 may preprocess the sound of the input channel corresponding to the first microphone 341-1 and/or the second microphone 341-2. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone).
  • the processor 360 may beamform the preprocessed sound in a set direction (e.g., left direction) to generate the sound of the first output channel and/or the second output channel oriented in the designated direction. there is.
  • the processor 360 beamforms the sound of the pre-processed first input channel and the sound of the pre-processed second input channel to point in the first direction (e.g., left direction) to produce the sound of the first output channel and The sound of the second output channel can be generated.
  • the processor 360 generates the sound of the third output channel based on the sound of the third input channel corresponding to the third microphone 341-3, and transmits the sound to the fourth microphone 341-4.
  • the sound of the fourth output channel can be generated based on the sound of the corresponding fourth input channel.
  • the processor 360 may preprocess the sound of the input channel corresponding to the third microphone 341-3 and/or the fourth microphone 341-4. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (eg, front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • the processor 360 may process the pre-processed sound by beamforming in a set direction (e.g., right direction) to generate the sound of the third and/or fourth output channel oriented in the specified direction.
  • the processor 360 beamforms the sound of the pre-processed third input channel and the sound of the pre-processed fourth input channel to point in the second direction (e.g., right direction) to produce the sound of the third output channel and The sound of the fourth output channel can be generated.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4.
  • the sound of the fifth output channel can be generated based on the sound of the input channel.
  • the processor 360 uses the sound of the pre-processed first input channel, the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and/or the sound of the pre-processed fourth input channel.
  • the sound of the fifth output channel can be generated.
  • the processor 360 adds the sound of the preprocessed first input channel, the sound of the second preprocessed input channel, the sound of the third preprocessed input channel, and the sound of the fourth preprocessed input channel and adds a specified value (e.g. : The sound of the 5th output channel can be generated by dividing into 4).
  • FIG. 5D may be a block diagram related to signal processing by the processor 360 according to an embodiment to generate 5.1-channel sound directed in four designated directions using beamforming in the first mode.
  • the processor 360 generates the sound of the first output channel based on the sound of the first input channel corresponding to the first microphone 341-1, and transmits the sound to the second microphone 341-2. Generate the sound of the second output channel based on the sound of the corresponding second input channel, and generate the sound of the third output channel based on the sound of the third input channel corresponding to the third microphone 341-3. , the sound of the fourth output channel can be generated based on the sound of the fourth input channel corresponding to the fourth microphone 341-4.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. You can preprocess the sound of the input channel. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (e.g., front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • EQ the sound of the first input channel corresponding to the first microphone 341-1
  • the processor 360 may amplify and/or equalize (EQ) the sound of the second
  • the processor 360 performs beamforming processing on the preprocessed sound to generate sounds of the first output channel, second output channel, third output channel, and/or fourth output channel oriented in a specified direction.
  • the processor 360 may generate the sound of the first output channel by beamforming the preprocessed sound of the first input channel to be directed in a first direction (eg, front left direction).
  • the processor 360 may generate the sound of the second output channel by beamforming the preprocessed sound of the second input channel to be directed in a second direction (eg, left rear direction).
  • the processor 360 may generate the sound of the third output channel by beamforming the preprocessed sound of the third input channel to be directed in a third direction (eg, front right direction).
  • the processor 360 may generate the sound of the fourth output channel by beamforming the preprocessed sound of the fourth input channel to be directed in a fourth direction (eg, rear right direction).
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4.
  • the sound of the fifth output channel can be generated based on the sound of the input channel.
  • the processor 360 includes a first input channel corresponding to the first microphone 341-1, a second input channel corresponding to the second microphone 341-2, and a third microphone 341-3. ), the sound of the third input channel corresponding to the third input channel and/or the fourth input channel corresponding to the fourth microphone 341-4 may be preprocessed, and the sound of the fifth output channel may be generated using the preprocessed sound.
  • the processor 360 adds the sound of the preprocessed first input channel, the sound of the second preprocessed input channel, the sound of the third preprocessed input channel, and the sound of the fourth preprocessed input channel and adds a specified value (e.g. : The sound of the 5th output channel can be generated by dividing into 4).
  • 6A and 6B are block diagrams when the processor 360 operates in the second mode according to one embodiment.
  • the second mode may be a directional beamforming sound collection mode.
  • FIG. 6A may be a block diagram related to signal processing by the processor 360 according to an embodiment to collect sound from a specified direction using beamforming in the second mode.
  • the processor 360 processes the sound of the first input channel corresponding to the first microphone 341-1, the sound of the second input channel corresponding to the second microphone 341-2, and the third microphone. Based on the sound of the third input channel corresponding to 341-3 and/or the sound of the fourth input channel corresponding to the fourth microphone 341-4, sound from a specified direction can be received.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. You can preprocess the sound of the input channel. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (e.g., front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • EQ the sound of the first input channel corresponding to the first microphone 341-1
  • the processor 360 may amplify and/or equalize (EQ) the sound of the second
  • the processor 360 may detect sound based on preprocessed sound.
  • the processor 360 is configured to arrange the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. Based on the cross-spectral phase difference of each sound generated, the location of the target object generating the sound can be tracked. For example, the processor 360 may track the location of a target object that generates a sound using a generalized cross correlation phase transform (GCC-PHAT) algorithm.
  • GCC-PHAT generalized cross correlation phase transform
  • processor 360 may determine a designated direction for beamforming based on the location of the tracked target object. For example, the processor 360 may determine parameters of a beamforming filter corresponding to a specified direction.
  • the processor 360 may collect sound from a designated direction using beamforming, based on the preprocessed sound.
  • the processor 360 uses a beamforming filter based on the preprocessed sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and/or the sound of the fourth input channel. This allows you to amplify and capture sound received from a designated direction.
  • FIG. 6B may be a block diagram related to signal processing in which the processor 360 according to an embodiment collects sound from a specified direction using beamforming in the second mode and outputs the collected voice sound.
  • the processor 360 processes the sound of the first input channel corresponding to the first microphone 341-1, the sound of the second input channel corresponding to the second microphone 341-2, and the third microphone. Based on the sound of the third input channel corresponding to 341-3 and/or the sound of the fourth input channel corresponding to the fourth microphone 341-4, sound from a specified direction can be received.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. You can preprocess the sound of the input channel. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (e.g., front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • EQ the sound of the first input channel corresponding to the first microphone 341-1
  • the processor 360 may amplify and/or equalize (EQ) the sound of the second
  • the processor 360 may detect sound based on preprocessed sound.
  • the processor 360 is configured to arrange the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. Based on the cross-spectral phase difference of each sound generated, the location of the target object generating the sound can be tracked. For example, the processor 360 may track the location of a target object that generates a sound using a generalized cross correlation phase transform (GCC-PHAT) algorithm.
  • GCC-PHAT generalized cross correlation phase transform
  • processor 360 may determine a designated direction for beamforming based on the location of the tracked target object. For example, the processor 360 may determine parameters of a beamforming filter corresponding to a specified direction.
  • the processor 360 may collect sound from a designated direction using beamforming, based on the preprocessed sound.
  • the processor 360 uses a beamforming filter based on the preprocessed sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and/or the sound of the fourth input channel. By doing so, the target sound received in the designated direction can be amplified and collected.
  • the processor 360 may output the collected target sound through the speaker 332.
  • the processor 360 collects the sound (e.g., voice) of the target object by beamforming and outputs it through a speaker in real time, so when the user talks to the speaker in front in an environment with noisy surrounding noise, The speaker's voice can be heard clearly.
  • the sound e.g., voice
  • FIG. 7 may be a block diagram related to signal processing for the processor 360 according to an embodiment to collect sound from a specified direction using the sensor 380 and beamforming in the third mode.
  • the third mode may be a user voice enhancement mode.
  • the processor 360 processes the sound of the first input channel corresponding to the first microphone 341-1, the sound of the second input channel corresponding to the second microphone 341-2, and the third microphone. Based on the sound of the third input channel corresponding to 341-3 and/or the sound of the fourth input channel corresponding to the fourth microphone 341-4, sound from a specified direction can be received.
  • the processor 360 corresponds to the first microphone 341-1, the second microphone 341-2, the third microphone 341-3, and/or the fourth microphone 341-4. You can preprocess the sound of the input channel. For example, the processor 360 may amplify and/or equalize (EQ) the sound of the first input channel corresponding to the first microphone 341-1 (eg, front left microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the second input channel corresponding to the second microphone 341-2 (e.g., left rear microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the third input channel corresponding to the third microphone 341-3 (e.g., front right microphone). The processor 360 may amplify and/or equalize (EQ) the sound of the fourth input channel corresponding to the fourth microphone 341-4 (e.g., right rear microphone).
  • EQ the sound of the first input channel corresponding to the first microphone 341-1
  • the processor 360 may amplify and/or equalize (EQ) the sound of the second
  • the processor 360 may detect sound using the sensor 380. For example, the processor 360 may determine that the user is speaking and detect the user's sound in response to the sensor 380 detecting vibration of a specified pattern.
  • the processor 360 may collect sound in a specified direction using beamforming based on the preprocessed sound.
  • the processor 360 uses a beamforming filter based on the preprocessed sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and/or the sound of the fourth input channel. This allows the target sound received from a designated direction to be amplified and detected.
  • the designated direction may be a direction corresponding to the user's mouth
  • the beamforming parameter may be a value corresponding to the direction in which the user's mouth is located.
  • FIG. 8 is a diagram illustrating an example of arranging at least one microphone in the electronic device 300 according to an embodiment.
  • the microphone 341 may be placed on the inner surface of the front center of the electronic device 300 (e.g., the main body 323 in FIG. 3A). Accordingly, the main body portion 323 can protect the microphone 341 from the external environment (e.g., wind) and includes a transparent member (e.g., the first transparent member 320 and/or the second transparent member of FIG. 3A (e.g., The sound reflected by 320)) can be picked up by the microphone 341.
  • a transparent member e.g., the first transparent member 320 and/or the second transparent member of FIG. 3A (e.g., The sound reflected by 320)
  • the first microphone 341-1 is disposed on the inner surface of the left front (e.g., first hinge portion 340-1) of the electronic device 300, and the second microphone 341 -2) is placed on the inner surface of the left rear side (e.g., first support part 321) of the electronic device 300, and the third microphone 341-3 is placed on the right front side of the electronic device 300 (e.g., the first support part 321).
  • 2 is disposed on the inner surface of the hinge portion 340-2), and the fourth microphone 341-4 may be disposed on the inner surface of the right rear side of the electronic device 300 (e.g., the second support portion 322). there is.
  • the first hinge portion 340-1, the first support portion 321, the second hinge portion 340-2, and the second support portion 322 are connected to the first microphone 341 from the external environment (e.g., wind). -1), may protect the second microphone 341-2, third microphone 341-3, and/or fourth microphone 341-4, and may protect the transparent member (e.g., the first transparent member in FIG. 3A)
  • the sound reflected by the (320) and/or the second transparent member (320) is transmitted to the first microphone (341-1), the second microphone (341-2), the third microphone (341-3), and/or the third microphone (341-3). 4 You can listen to the microphone (341-4).
  • the hole of the microphone 341 is configured to point toward the bottom, and the outside of the microphone hole is implemented like a dish antenna, so that the user's voice can be picked up.
  • An electronic device includes a first microphone disposed on the front left side of the electronic device to collect sound from a first input channel, and a second microphone disposed on the rear left side of the electronic device to collect sound from a second input channel. 2 microphones, a third microphone disposed on the front right side of the electronic device to collect the sound of the third input channel, a fourth microphone disposed on the rear right side of the electronic device to collect the sound of the fourth input channel, and a processor.
  • the processor preprocesses the sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel, and the preprocessed sound of the first input channel, operating in a first mode for recording immersive audio based on the sound of the preprocessed second input channel, the sound of the preprocessed third input channel, and the sound of the preprocessed fourth input channel, or It can operate in a second mode that collects sound in a specified direction using beamforming based on the sound of the input channel, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel. there is.
  • the first microphone and the third microphone are arranged to be symmetrical about the electronic device while being spaced apart by a first distance, and the second microphone and the fourth microphone are spaced apart by a first distance.
  • the electronic device may be placed symmetrically at a distance, the first microphone and the second microphone may be placed apart from each other by a second distance, and the third microphone and the fourth microphone may be placed apart from the second distance. there is.
  • the processor in the first mode, the processor generates the sound of the first output channel by adding the sound of the pre-processed first input channel and the sound of the pre-processed second input channel and dividing the sound by a specified value.
  • the sound of the second output channel can be generated by adding the sound of the pre-processed third input channel and the sound of the pre-processed fourth input channel and dividing it by a designated value.
  • the processor in the first mode, the processor generates a sound of a first output channel based on the sound of the preprocessed first input channel, and generates a sound of the first output channel based on the sound of the preprocessed second input channel.
  • Generating a sound of a second output channel based on the sound of the preprocessed third input channel, Generating a sound of a third output channel based on the sound of the preprocessed fourth input channel, and Generating a sound of a fourth output channel based on the sound of the preprocessed fourth input channel Generating a sound, summing the sound of the preprocessed first input channel, the sound of the preprocessed second input channel, the sound of the preprocessed third input channel, and the sound of the preprocessed fourth input channel to a specified value.
  • the sound of the fifth output channel can be generated by dividing.
  • the processor in the first mode, the processor generates the sound of the first output channel by beamforming the sound of the preprocessed first input channel in a first direction, and generates the sound of the first output channel in the first mode. 2
  • the sound of the input channel is beamformed in the first direction to generate the sound of the second output channel
  • the preprocessed sound of the third input channel is beamformed in the second direction to generate the sound of the third output channel.
  • the sound of the fourth output channel is generated based on the sound of the pre-processed fourth input channel by beamforming in a second direction, and the sound of the pre-processed first input channel and the sound of the pre-processed second input channel are generated.
  • the sound of the fifth output channel can be generated by adding the sound, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel and dividing it by a designated value.
  • the processor in the first mode, the processor generates the sound of the first output channel by beamforming the sound of the preprocessed first input channel in a first direction, and generates the sound of the first output channel in the first mode. 2
  • the sound of the input channel is beamformed in a second direction to generate the sound of the second output channel
  • the preprocessed sound of the third input channel is beamformed in the third direction to generate the sound of the third output channel.
  • the sound of the fourth output channel is generated based on the sound of the pre-processed fourth input channel by beamforming in the fourth direction, and the sound of the pre-processed first input channel and the sound of the pre-processed second input channel are generated.
  • the sound of the fifth output channel can be generated by adding the sound, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel and dividing it by a designated value.
  • the processor processes the sound of the preprocessed first input channel, the sound of the preprocessed second input channel, the sound of the preprocessed third input channel, and the preprocessing.
  • the location of the target sound is tracked, a designated direction to collect the sound is determined based on the location of the target sound, and the preprocessed first sound is processed based on the location of the target sound.
  • the target sound can be amplified and received by beamforming the sound of the input channel, the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel in a designated direction. there is.
  • the electronic device further includes a speaker, and the processor may output the amplified and collected target sound to the speaker.
  • the electronic device further includes a camera that tracks the user's gaze, and the processor may determine a designated direction to collect sound based on the user's gaze tracked by the camera.
  • the electronic device further includes a sensor that detects vibration
  • the processor detects the preprocessed sound of the first input channel, the sound of the second input channel, and the third input channel. It may operate in a third mode that strengthens and picks up the user's voice based on the sound and the sound of the fourth input channel, and in the third mode, in response to the sensor detecting vibration of a specified pattern, the preprocessing Target sound is generated by beamforming the sound of the first input channel, the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel in a preset specified direction. It can be amplified and masturbated.
  • a method of operating an electronic device includes a first microphone disposed on the front left side of the electronic device to collect sound from a first input channel, and a first microphone disposed on the rear left side of the electronic device to collect sound from a second input channel. a second microphone that collects sound, a third microphone that is placed on the front right side of the electronic device and collects the sound of a third input channel, and a fourth microphone that is placed on the rear right side of the electronic device that collects the sound of the fourth input channel. Preprocessing the sound of the first input channel, the sound of the second input channel, the sound of the third input channel, and the sound of the fourth input channel, and preprocessing the sound of the first input channel and the fourth input channel.
  • the first microphone and the third microphone are arranged to be symmetrical about the electronic device while being separated by a first distance, and the second microphone and the fourth microphone are connected to the first microphone. They are arranged to be symmetrical about the electronic device while being separated by 1 distance, the first microphone and the second microphone are arranged to be separated by a second distance, and the third microphone and the fourth microphone are separated by the second distance. can be placed.
  • the operation in the first mode is performed by adding the sound of the pre-processed first input channel and the sound of the pre-processed second input channel and dividing the sound by a specified value (e.g., 2). It may include an operation of generating a sound of an output channel, an operation of generating a sound of a second output channel by adding the sound of the pre-processed third input channel and the sound of the pre-processed fourth input channel and dividing it by a specified value. there is.
  • the operation in the first mode includes generating a sound of a first output channel based on the sound of the preprocessed first input channel, and generating a sound of a first output channel based on the sound of the preprocessed second input channel.
  • An operation of generating a sound of a second output channel based on a sound, an operation of generating a sound of a third output channel based on the sound of the preprocessed third input channel, based on the sound of the preprocessed fourth input channel An operation of generating a sound of a fourth output channel and the sound of the preprocessed first input channel, the sound of the preprocessed second input channel, the sound of the preprocessed third input channel, and the sound of the preprocessed fourth input channel It may include an operation of generating the sound of the fifth output channel by adding and dividing by a specified value.
  • the operation in the first mode includes generating the sound of the first output channel by beamforming the preprocessed sound of the first input channel in a first direction, the preprocessing An operation of generating a sound of a second output channel by beamforming the sound of the preprocessed second input channel in a first direction, and beamforming the sound of the preprocessed third input channel in a second direction to generate a sound of a third output channel An operation of generating a sound, an operation of generating a sound of a fourth output channel based on beamforming the sound of the preprocessed fourth input channel in a second direction, and the sound of the preprocessed first input channel, the preprocessed sound. It may include an operation of adding the sound of the second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel and dividing them by a specified value to generate the sound of the fifth output channel.
  • the operation of generating the sound of a first output channel by beamforming the sound of the pre-processed first input channel in a first direction, the sound of the pre-processed second input channel An operation of generating a sound of a second output channel by beamforming the sound of the preprocessed third input channel in a third direction, an operation of generating a sound of a third output channel by beamforming the preprocessed sound of the third input channel in a third direction, An operation of generating the sound of a fourth output channel based on the sound of the pre-processed fourth input channel by beamforming in a fourth direction, the sound of the pre-processed first input channel, the sound of the pre-processed second input channel, It may include an operation of generating the sound of the fifth output channel by adding the sound of the pre-processed third input channel and the sound of the pre-processed fourth input channel and dividing them by a specified value.
  • the operation in the second mode includes the sound of the pre-processed first input channel, the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed third input channel.
  • the preprocessed sound of the fourth input channel Based on the preprocessed sound of the fourth input channel, tracking the location of the target sound, determining a designated direction to receive the sound based on the location of the target sound, and preprocessing based on the location of the target sound.
  • the target sound is amplified. It may include the act of masturbating.
  • the method of operating an electronic device may further include outputting the amplified and collected target sound to a speaker.
  • a method of operating an electronic device may further include tracking the user's gaze using a camera and determining a designated direction to collect sound based on the user's gaze tracked by the camera. there is.
  • an operation of detecting vibration using a sensor in a third mode, in response to the sensor detecting vibration of a specified pattern, sound of the preprocessed first input channel, Further comprising beamforming the sound of the pre-processed second input channel, the sound of the pre-processed third input channel, and the sound of the pre-processed fourth input channel in a preset designated direction to amplify and receive the target sound. can do.
  • Electronic devices may be of various types. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. can be used
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • One embodiment of the present document is one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • the method according to the embodiments disclosed in this document may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately placed in other components.
  • one or more of the above-mentioned components or operations may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

일 실시 예에 따른 전자 장치에서, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크, 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크 및 프로세서를 포함하고, 상기 프로세서는 상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나, 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작할 수 있다. 이 밖에 일 실시 예들이 가능하다.

Description

오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법
본 문서에 개시된 일 실시 예들은, 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법 에 관한 것이다.
AR 글래스는 차세대 퍼스널 디바이스로, AR 글래스에서 적용될 수 있는 다양한 기능에 대하여 개발되고 있다.
안경과 유사한 형태의 HMD 장치인 AR 글래스(augmented reality glass)는 사용자가 안경을 착용하는 것과 같이 양 쪽 안경 다리가 사용자의 귀에 위치하고, 코받침이 사용자의 코 상단에 위치하게 착용될 수 있다.
한편, 멀티-마이크로폰 어레이(multi-microphone array)를 포함하는 전자 장치의 경우, 복수의 마이크를 이용하여 타겟 음원의 위치별 프로세싱, 음원 분리, 빔포밍 및/또는 몰입형 3D 오디오 처리를 수행할 수 있다.
단채널 마이크를 포함하는 AR 글래스의 경우, 사용자 목소리를 수음할 때에 잡음에 취약한 한계가 있고, 음성 인식률이 낮아질 수 있다. 또한, 단채널 마이크로 주변 오디오를 녹음하는 경우, 몰입형 3D 오디오 처리가 어려울 수 있다.
본 문서에 개시된 일 실시 예는, AR 글래스에 복수의 마이크를 포함하여, 다양한 방식의 수음 기능을 제공할 수 있다.
예를 들어, 본 발명의 전자 장치는 다양한 구성과 배치에 따른 멀티 마이크를 이용하여, 다양한 형태의 오디오 신호처리를 수행할 수 있다.
예를 들어, 본 발명의 전자 장치는 진동 센서를 더 이용하여, 사용자 발화 시의 진동을 감지하여 다양한 형태의 오디오 신호 처리를 수행할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시된 일 실시 예에 따른 전자 장치는, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크, 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크 및 프로세서를 포함하고, 상기 프로세서는 상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나, 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작할 수 있다.
본 문서에 개시된 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크 및 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크를 포함하고, 상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작할 수 있다.
예를 들어, 전자 장치는 복수의 마이크를 이용하여 몰입형 녹음 기능을 제공할 수 있다.
예를 들어, 전자 장치는 복수의 마이크를 이용하여 타겟 소리의 위치를 추적할 수 있다.
예를 들어, 전자 장치는 복수의 마이크를 이용하여 저대역의 빔을 형성할 수 있다.
예를 들어, 전자 장치는 복수의 마이크를 이용하여 특정 방향의 소리를 수음하여 증폭할 수 있다.
예를 들어, 전자 장치는 복수의 마이크를 이용하여 타겟 소리 외의 노이즈가 감소된 소리을 수음할 수 있다.
예를 들어, 전자 장치는 센서 및 복수의 마이크를 이용하여, 사용자 발화 시 사용자의 음성을 검출할 수 있다.
본 개시에서 얻을 수 있는 효과를 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상적인 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 일 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 일 실시 예에 따른, 오디오 모듈의 블록도이다.
도 3a는 일 실시 예에 따른 전자 장치의 전체 구성도이다.
도 3b는 일 실시 예에 따른 전자 장치의 블록도이다.
도 3c 내지 도 3e는 일 실시 예에 따른 전자 장치에서, 복수의 마이크 및 센서의 배치를 달리한 도면이다.
도 4는 일 실시 예에 따른 프로세서가 수음 모드에서 동작하는 방법을 도시한 흐름도이다.
도 5a, 도 5b, 도 5c 및 도 5d는 일 실시 예에 따른 프로세서가, 제 1 모드로 동작할 때의 블록도이다.
도 6a 및 도 6b는 일 실시 예에 따른 프로세서가 제 2 모드로 동작할 때의 블록도이다.
도 7은 일 실시 예에 따른 프로세서가 제 3 모드로 동작할 때의 블록도이다.
도 8은 일 실시 예에 따른 전자 장치에서, 적어도 하나의 마이크를 배치하는 예시를 도시한 도면이다.
도면 전체에 걸쳐, 동일한 참조 번호가 동일하거나 유사한 요소, 특징 및 구조를 묘사하는 데 사용된다는 점에 유의해야 한다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 개시 내용의 다양한 실시 예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시 내용의 범위 및 사상을 벗어나지 않고 본 명세서에 기재된 다양한 실시 예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
하기 설명 및 청구범위에 사용된 용어 및 단어들은 문헌상의 의미에 한정되지 않으며, 본 문서의 명확하고 일관된 이해를 가능하게 하기 위해 출원인이 사용한 것에 불과하다. 따라서, 본 문서의 다양한 실시 예에 대한 다음 설명은 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 문서를 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 당업자에게 명백해야 한다.
단수 형태는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함할 수 있다.
도 1은 일 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시 예에 따른, 오디오 모듈(170)의 블록도(200)이다.
도 2를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.
오디오 입력 인터페이스(210)는 입력 모듈(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 오디오 신호가 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 획득되는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일 실시 예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 통해 수신된 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 상기 복수의 오디오 입력 채널들 중 대응하는 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일 실시 예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일 실시 예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시 예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)를 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(240)는 ADC(230)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일 실시 예에 따르면, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일 실시 예에 따르면, 오디오 신호 처리기(240)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 예를 들어, 일 실시 예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일 실시 예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)를 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 모듈(155) 를 통해 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들어, dynamic driver 또는 balanced armature driver 같은 스피커, 또는 리시버를 포함할 수 있다. 일 실시 예에 따르면, 음향 출력 모듈(155)은 복수의 스피커들을 포함할 수 있다. 이런 경우, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일 실시 예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 직접, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일 실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 구비하지 않고, 오디오 신호 처리기(240)의 적어도 하나의 기능을 이용하여 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일 실시 예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일 실시 예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구현될 수 있다.
도 3a는 일 실시 예에 따른 전자 장치(300)의 전체 구성도이다.
일 실시 예에 따르면, 전자 장치(300)는 사용자의 머리 부분에 착용되는 형태로 제작된 전자 장치(300)일 수 있다. 예를 들어, 전자 장치(300)는 안경(glass), 고글(goggles), 헬멧 또는 모자 중 적어도 하나의 형태로 구현될 수 있으나, 이에 한정되지 않는다. 일 실시 예에 따르면, 전자 장치(300)는 사용자의 양안(예: 좌안 및/또는 우안), 각각에 대응하는 복수 개의 투명 부재(예: 제 1 투명 부재(320) 및/또는 제 2 투명 부재(330))를 포함할 수 있다.
전자 장치(300)는 사용자에게 증강 현실(augumented reality; AR) 서비스와 관련된 영상을 제공할 수 있다. 일 실시 예에 따르면, 전자 장치(300)는 제1 투명 부재(320) 및/또는 제2 투명 부재(330)에 가상 객체를 투영하거나, 표시함으로써, 사용자가 전자 장치의 제1 투명 부재(320) 및/또는 제2 투명 부재(330)를 통해 인지하는 현실에 적어도 하나의 가상 객체가 겹쳐 보이도록 할 수 있다.
도 3a를 참조하면, 일 실시 예에 따른 전자 장치(300)는 본체부(323), 지지부(예: 제 1 지지부(321), 제 2 지지부(322)), 및 힌지부(예: 제1 힌지부(340-1), 제2 힌지부(340-2))를 포함할 수 있다.
일 실시 예에 따르면, 본체부(323)와 지지부(321, 322)는 힌지부(340-1, 340-2)를 통해 작동적으로 연결될 수 있다. 본체부(323)는 사용자의 코에 적어도 부분적으로 거치될 수 있도록 형성된 부분을 포함할 수 있다.
일 실시 예에 따르면, 지지부(321, 322)는 사용자의 귀에 걸쳐질 수 있는 형태의 지지 부재를 포함할 수 있다. 지지부(321, 322)는 왼쪽 귀에 거치되는 제 1 지지부(321) 및/또는 오른쪽 귀에 거치되는 제 2 지지부(322)를 포함할 수 있다.
일 실시 예에 따르면, 제1 힌지부(340-1)는 제1 지지부(321)가 본체부(323)에 대해 회전 가능하도록 제1 지지부(321)와 본체부(323)를 연결할 수 있다. 제2 힌지부(340-2)는 제2 지지부(322)가 본체부(323)에 대해 회전 가능하도록 제2 지지부(322)와 본체부(323)를 연결할 수 있다. 다른 실시예에 따르면, 전자 장치(300)의 힌지부(340-1, 340-2)는 생략될 수 있다. 예를 들어, 본체부(323)와 지지부(321, 322)는 바로 연결될 수 있다.
일 실시 예에 따르면, 본체부(323)는 적어도 하나의 투명 부재(예: 제1 투명 부재(320), 제2 투명 부재(330)), 적어도 하나의 디스플레이 모듈(예: 제1 디스플레이 모듈(314-1), 제2 디스플레이 모듈(314-2)), 적어도 하나의 카메라 모듈(예: 전방 촬영 카메라 모듈(313), 시선 추적 카메라 모듈(예: 제1 시선 추적 카메라 모듈(312-1), 제2 시선 추적 카메라 모듈(312-2)), 인식용 카메라 모듈(예: 제1 인식용 카메라 모듈(311-1), 제2 인식용 카메라 모듈(311-2)) 및 적어도 하나의 마이크(미도시)를 포함할 수 있다.
도 3a에서 설명되는 전자 장치(300)의 경우, 디스플레이 모듈(314-1, 314-2)에서 생성된 광이 투명 부재(320, 330)에 투영되어 정보를 표시할 수 있다. 예를 들어, 제1 디스플레이 모듈(314-1)에서 생성된 광은 제1 투명 부재(320)에 투영될 수 있고, 제2 디스플레이 모듈(314-2)에서 생성된 광은 제2 투명 부재(330)에 투영될 수 있다. 적어도 일부가 투명한 소재로 형성된 투명 부재(320, 330)에 가상 객체를 표시할 수 있는 광이 투영됨으로써, 사용자는 가상 객체가 중첩된 현실을 인지할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 도 3a 에 도시된 전자 장치(300)에서 디스플레이 모듈(314-1, 214-2) 및 투명 부재(320, 230)를 포함하는 것으로 이해될 수 있다.
다만, 본 발명에서 설명되는 전자 장치(300)가 앞서 설명한 방식을 통해 정보를 표시하는 것으로 한정되는 것은 아니다. 전자 장치(300)에 포함될 수 있는 디스플레이 모듈은 다양한 방식의 정보 표시 방법을 포함하는 디스플레이 모듈로 변경될 수 있다. 예를 들어, 투명 부재(320, 330) 자체에 투명 소재의 발광 소자를 포함하는 디스플레이 패널이 내장된 경우에는 별도의 디스플레이 모듈(예: 제1 디스플레이 모듈(314-1), 제2 디스플레이 모듈(314-2))없이 정보를 표시할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 투명 부재(320, 330)와 투명 부재(320, 330)에 포함되는 디스플레이 패널을 의미할 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(314-1, 314-2)을 통해 출력되는 가상 객체는 전자 장치(300)에서 실행되는 어플리케이션 프로그램과 관련된 정보 및/또는 사용자가 투명 부재(320, 330)를 통해 인지하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 사용자가 투명 부재(320, 330)를 통해 인지하는 실제 공간을 이하에서는 사용자의 시야각(field of view; FoV) 영역으로 호칭하기로 한다. 예를 들어, 전자 장치(300)는 전자 장치(300)의 카메라 모듈(예: 촬영용 카메라 모듈(313))을 통해 획득한 실제 공간과 관련된 영상 정보에서 사용자의 시야각(FoV)으로 판단되는 영역의 적어도 일부에 포함된 외부 객체를 확인할 수 있다. 전자 장치(300)는 확인한 외부 객체와 관련된 가상 객체를 디스플레이 모듈(314-1, 314-2)을 통해 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 전자 장치(300)의 촬영용 카메라 모듈(313)을 통해 획득한 실제 공간과 관련된 영상 정보에 기반하여 증강 현실 서비스와 관련된 가상 객체를 함께 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(300)는 사용자의 양안에 대응하여 배치된 디스플레이 모듈(예: 좌안에 대응되는 제1 디스플레이 모듈(314-1), 및/또는 우안에 대응되는 제2 디스플레이 모듈(314-2))을 기반으로 가상 객체를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(300)는 미리 설정된 설정 정보(예: 해상도(resolution), 프레임 레이트(frame rate), 밝기, 및/또는 표시 영역)를 기반으로 가상 객체를 표시할 수 있다.
일 실시 예에 따르면, 투명 부재(320, 330)는 집광 렌즈(미도시) 및/또는 도파관(예: 제1 도파관(320-1) 및/또는 제2 도파관(330-1))을 포함할 수 있다. 예를 들어, 제1 도파관(320-1)은 제1 투명 부재(320)에 부분적으로 위치할 수 있고, 제2 도파관(330-1)은 제2 투명 부재(330)에 부분적으로 위치할 수 있다. 디스플레이 모듈(314-1, 214-2)에서 방출된 광은 투명 부재(320, 330)의 일면으로 입사될 수 있다. 투명 부재(320, 330)의 일면으로 입사된 광은 투명 부재(320, 330) 내에 위치한 도파관(320-1, 330-1)을 통해 사용자에게 전달될 수 있다. 도파관(320-1, 330-1)은 글래스, 플라스틱, 또는 폴리머로 제작될 수 있고, 내부 또는 외부의 일표면에 형성된 나노 패턴을 포함할 수 있다.
예를 들어, 나노 패턴은 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시 예에 따르면, 투명 부재(320, 330)의 일면으로 입사된 광은 나노 패턴에 의해 도파관(320-1, 330-1) 내부에서 전파 또는 반사되어 사용자에게 전달될 수 있다. 일 실시 예에 따르면, 도파관(320-1, 330-1)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), 또는 HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 도파관(320-1, 330-1)은 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 모듈(314-1, 314-2)로부터 방출된 광을 사용자의 눈으로 유도할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영하거나 및/또는 객체와의 거리를 측정하기 위한 촬영용 카메라 모듈(313)(예: RGB 카메라 모듈), 사용자가 바라보는 시선의 방향을 확인하기 위한 시선 추적 카메라 모듈(eye tracking camera module)(312-1, 312-2), 및/또는 일정 공간을 인식하기 위한 인식용 카메라 모듈(gesture camera module)(311-1, 311-2)을 포함할 수 있다.
예를 들어, 촬영용 카메라 모듈(313)은 전자 장치(300)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라 모듈(312-1, 312-2)은 상기 촬영용 카메라 모듈(313)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. 예를 들어, 제1 시선 추적 카메라 모듈(312-1)은 사용자의 좌안을 부분적으로 촬영하고, 제2 시선 추적 카메라 모듈(312-2)은 사용자의 우안을 부분적으로 촬영할 수 있다.
일 실시 예에 따르면, 촬영용 카메라 모듈(313)은 HR(high resolution) 카메라 모듈 및/또는 PV(photo video) 카메라 모듈과 같은 고해상도의 카메라 모듈을 포함할 수 있다. 일 실시 예에 따르면, 시선 추적 카메라 모듈(312-1, 312-2)은 사용자의 눈동자를 검출하여, 시선 방향을 추적할 수 있다. 추적된 시선 방향은 가상 객체를 포함하는 가상 영상의 중심이 상기 시선 방향에 대응하여 이동되는데 활용될 수 있다.
일 실시 예에 따르면, 인식용 카메라 모듈(311-1, 311-2)은 설정된 거리 이내(예: 일정 공간)에서의 사용자 제스처 및/또는 일정 공간을 감지할 수 있다. 인식용 카메라 모듈(311-1, 311-2)은 GS(global shutter)를 포함하는 카메라 모듈을 포함할 수 있다. 예를 들어, 인식용 카메라 모듈(311-1, 311-2)은 빠른 손동작 및/또는 손가락과 같은 미세한 움직임을 검출 및 추적하기 위해, RS(rolling shutter) 현상이 감소될 수 있는 GS를 포함하는 카메라 모듈일 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 적어도 하나의 카메라 모듈(311-1, 311-2, 312-1, 312-2, 313)을 사용하여, 좌안 및/또는 우안 중에서 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다. 예를 들어, 전자 장치(300)는 외부 객체 또는 가상 객체에 대한 사용자의 시선 방향에 기반하여, 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다.
도 3a에 도시된 전자 장치(300)에 포함되는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(313), 시선 추적 카메라 모듈(312-1, 312-2) 및/또는 인식용 카메라 모듈(311-1, 311-2))의 개수 및 위치는 한정되지 않을 수 있다. 예를 들어, 전자 장치(300)의 형태(예: 모양 또는 크기)에 기반하여 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(313), 시선 추적 카메라 모듈(312-1, 312-2) 및/또는 인식용 카메라 모듈(311-1, 311-2))의 개수 및 위치는 다양하게 변경될 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(313), 시선 추적 카메라 모듈(312-1, 312-2) 및/또는 인식용 카메라 모듈(311-1, 311-2))의 정확도를 높이기 위한 적어도 하나의 발광 장치(illumination LED)(예: 제1 발광 장치(342-1), 제2 발광 장치(342-2))를 포함할 수 있다. 예를 들어, 제1 발광 장치(342-1)는 사용자의 좌안에 대응하는 부분에 배치될 수 있고, 제2 발광 장치(342-2)는 사용자의 우안에 대응하는 부분에 배치될 수 있다.
일 실시 예에 따르면, 발광 장치(342-1, 342-2)는 시선 추적 카메라 모듈(312-1, 312-2)로 사용자의 눈동자를 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 적외선 파장의 광을 발생시키는 IR LED를 포함할 수 있다. 또한, 발광 장치(342-1, 342-2)는 인식용 카메라 모듈(311-1, 311-2)로 사용자의 제스처를 촬영할 때 어두운 환경이나 여러 광원의 혼입 및 반사 빛 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(미도시)를 포함할 수 있다. 예를 들어, 마이크는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다. 마이크의 위치는 도 3c, 3d 및/또는 3e의 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)를 포함할 수 있다.
일 실시 예에 따르면, 제 1 지지부(321) 및/또는 제 2 지지부(322)는 인쇄 회로 기판(PCB, printed circuit board)(예: 제1 인쇄 회로 기판(331-1), 또는 제2 인쇄 회로 기판(331-2)), 스피커(speaker)(예: 제1 스피커(332-1), 또는 제2 스피커(332-2)), 및/또는 배터리(예: 제1 배터리(333-1), 또는 제2 배터리(333-2))를 포함할 수 있다.
일 실시 예에 따르면, 스피커(332-1, 332-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제 1 스피커(332-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제 2 스피커(332-2)를 포함할 수 있다. 스피커(332-1, 332-2)는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 복수 개의 배터리(333-1, 333-2)가 구비될 수 있고, 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))을 통해, 인쇄 회로 기판(331-1, 331-2)에 전력을 공급할 수 있다. 예를 들어, 복수 개의 배터리(333-1, 333-2)는 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))과 전기적으로 연결될 수 있다.
앞에서는, 전자 장치(300)가 증강 현실을 표시하는 장치인 것으로 설명하였으나, 전자 장치(300)는 가상 현실(virtual reality; VR)을 표시하는 장치일 수 있다. 이 경우, 사용자가 투명 부재(320, 330)를 통해 실제 공간을 인식할 수 없도록 투명 부재(320, 330)는 불투명한 소재로 형성될 수 있다. 또한, 투명 부재(320, 330)는 디스플레이 모듈(160)로써 기능할 수 있다. 예를 들어, 투명 부재(320, 330)는 정보를 표시하는 디스플레이 패널을 포함할 수 있다.
일 실시 에에 따르면, 제 1 인식용 카메라 모듈(311-1) 및 제 2 인식용 카메라 모듈(311-2)은 전방을 촬영하여 이미지를 생성할 수 있다. 일 실시 예에 따르면, 제 1 인식용 카메라 모듈(311-1) 및 제 2 인식용 카메라 모듈(311-2)은 각각 θ의 화각(FOV, field of view)을 가질 수 있다. 일 실시 예에 따르면, 제 1 인식용 카메라 모듈(311-1) 및 제 2 인식용 카메라 모듈(311-2)이 동일한 피사체를 촬영함에 대응하여, 제 1 인식용 카메라 모듈(311-1)이 촬영한 이미지와 제 2 인식용 카메라 모듈(311-2)이 촬영한 이미지는 제 1 인식용 카메라 모듈(311-1)과 제 2 인식용 카메라 모듈(311-2) 사이의 거리에 대응하는 시차(disparity)가 있을 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 거리 센서(미도시)를 포함할 수 있다. 예를 들어, 거리 센서는 TOF(time of flight) 방식으로 피사체와의 거리를 측정할 수 있다. 일 실시 예에 따르면, 거리 센서는 광입자를 출력하는 발광부(emitter)와 발광부에서 출력된 후 피사체에 반사된 광입자를 획득하는 수광부(sensor)를 포함할 수 있다. 예를 들어, 거리 센서는 거리 센서에서 출력된 빛 또는 전파가 다른 피사체에 반사되어 되돌아오는데 소요되는 비행 시간에 기반하여 거리를 측정할 수 있다. 예를 들어, 거리 센서는 비행 시간에 광속을 곱하고, 이를 반으로 나눈 값을 피사체와의 거리로 결정할 수 있다. 예를 들어, 거리 센서는 수광부에 유입된 광량에 기반하여 거리를 측정할 수 있다. 거리 센서는 수광부가 수신한 광량이 적을수록 거리가 길고, 거리 센서가 수신한 광량이 많을수록 거리가 짧은 것으로 판정할 수 있다. 예를 들어, 거리 센서는 수광부에서 획득한 빛의 위상 변화에 기반하여 거리를 측정할 수 있다.
도 3b는 일 실시 예에 따른 전자 장치의 블록도이다.
도 3b를 참조하면, 전자 장치(300)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200) 및/또는 도 3a의 전자 장치(300))는 마이크(341), 코덱(350), 프로세서(360) 및/또는 센서(380)를 포함할 수 있다.
도 3b에 포함된 구성 요소는 전자 장치(300)에 포함된 구성들의 일부에 대한 것이며 전자 장치(300)는 이 밖에도 도 1, 도 2 및/또는 도 3a에 도시된 것과 같이 다양한 구성요소를 포함할 수 있다.
일 실시 예에 따른 마이크(341)는, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)를 포함할 수 있다. 일 실시 예에 따르면, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)는 전자 장치를 중심으로 서로 대칭되도록 전자 장치에 배치될 수 있다. 마이크(341)의 배치와 관련된 자세한 내용은 도 3c 내지 도 3e와 관련된 설명에서 후술한다.
일 실시 예에 따르면, 제 1 마이크(341-1)는 제 1 입력 채널에 대응될 수 있고, 제 2 마이크(341-2)는 제 2 입력 채널에 대응될 수 있고, 제 3 마이크(341-3)는 제 3 입력 채널에 대응될 수 있고, 제 4 마이크(341-4)는 제 4 입력 채널에 대응될 수 있다.
일 실시 예에 따르면, 코덱(350)은, 마이크(341)로부터 수신한 아날로그 소리 신호를 디지털 소리 신호로 변경하여, 프로세서(360)에 전달할 수 있다.
일 실시 예에 따르면, 센서(380)는, 진동을 감지하는 센서일 수 있다. 예를 들어, 센서(380)는, 전자 장치를 착용한 사용자가 발화하는 순간에, 지정된 패턴의 진동을 감지할 수 있다.
센서(380)의 배치와 관련된 자세한 내용은 도 3c 내지 도 3e와 관련된 설명에서 후술한다.
일 실시 예에 따르면, 프로세서(360)는, 마이크(341)가 획득한 입력 소리를 처리하여, 출력 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 믹서(361), 빔포머(362), 음성 검출기(363) 및/또는 출력 오디오 제어기(364)를 포함할 수 있다.
일 실시 예에 따르면, 믹서(361)는, 입력 소리를 전처리할 수 있다. 예를 들어, 믹서(361)는 입력 소리를 증폭(amplify) 및/또는 입력 소리의 주파수 특성을 변경하는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 빔포머(362)는, 지정된 방향의 소리를 증폭할 수 있다. 예를 들어, 빔포머(362)는, 지정된 방향에 대응하는 빔포밍 필터 파라미터에 기반하여, 지정된 방향으로부터 수음되는 소리를 증폭할 수 있다.
일 실시 예에 따르면, 음성 검출기(363)는, 마이크(341)의 배치 구성에 따라 발생하는 각 소리의 교차 스펙트럼 위상차에 기반하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다. 예를 들어, 음성 검출기(363)는 GCC-PHAT(generalized cross correlation phase transform) 알고리즘을 이용하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다.
일 실시 예에 따르면, 음성 검출기(363)는, 센서(380)가 진동을 감지함에 대응하여, 음성을 검출할 수 있다.
일 실시 예에 따르면, 출력 오디오 제어기(364)는, 소리들을 더하거나 및/또는 나누어 출력 소리를 생성할 수 있다.
도 3c 내지 도 3e는 일 실시 예에 따른 전자 장치(300)에서, 복수의 마이크(341) 및 센서(380)의 배치를 달리한 도면이다.
도 3c 내지 도 3e에 도시된 전자 장치(300)에 포함되는 적어도 하나의 마이크(341) 및/또는 센서(380)의 개수 및 위치는 한정되지 않을 수 있다.
도 3c를 참조하면, 일 실시 예에 따른 전자 장치(300)는 4개의 마이크(341-1, 341-2, 341-3, 341-4)와, 1개의 센서(380)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)를 포함할 수 있다.
일 실시 예에 따르면, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)는 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭이 되도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)는 전자 장치(300)의 좌측 전면(예: 제 1 힌지부(340-1))에 배치되고, 제 3 마이크(341-3)는 전자 장치(300)의 우측 전면(예: 제 2 힌지부(340-2))에 배치되어 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭하도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))에 배치되고, 제 4 마이크(341-4)는 전자 장치(300)의 우측 후면(예: 제 2 지지부(322))에 배치되어 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭하도록 배치될 수 있다.
일 실시 예에 따르면, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)는 지정된 거리만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)와 제 3 마이크(341-3)는 지정된 거리(예: 0.12m ~ 0.16m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)와 제 2 마이크(341-2)는 지정된 거리(예: 약 0.08m ~ 약 0.12m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 3 마이크(341-3)와 제 4 마이크(341-4)는 지정된 거리(예: 약 0.08m ~ 약 0.12m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)와 제 4 마이크(341-4)는 지정된 거리(예: 약 0.12m ~ 약 0.16m)만큼 떨어지도록 배치될 수 있다.
상기와 같은 복수의 마이크의 배치에 의하여, 전자 장치(300)는 좌측과 우측, 전면과 후면을 구분하여 수음할 수 있다.
또한, 상기와 같은 복수의 마이크 배치에 의하여, 전자 장치(300)는 지정된 대역(예: 약 1.0kHz ~ 약 2.1kHz)의 빔을 형성하여 지정된 방향에 대한 빔포밍 동작을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 센서(380)를 포함할 수 있다.
일 실시 예에 따르면, 센서(380)는 전자 장치(300)의 전면 중심(예: 본체부(323))에 배치될 수 있다. 예를 들어, 센서(380)는 본체부(323)의 코받침 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
도 3d를 참조하면, 일 실시 예에 따른 전자 장치(300)는 5개의 마이크와, 3개의 센서(380)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3), 제 4 마이크(341-4) 및/또는 제 5 마이크(341-5)를 포함할 수 있다.
일 실시 예에 따르면, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)는 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭이 되도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)는 전자 장치(300)의 좌측 전면(예: 제 1 힌지부(340-1))에 배치되고, 제 3 마이크(341-3)는 전자 장치(300)의 우측 전면(예: 제 2 힌지부(340-2))에 배치되어 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭하도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))에 배치되고, 제 4 마이크(341-4)는 전자 장치(300)의 우측 후면(예: 제 2 지지부(322))에 배치되어 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭하도록 배치될 수 있다.
일 실시 예에 따르면, 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)는 지정된 거리만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)와 제 3 마이크(341-3)는 지정된 거리(예: 약 0.12m ~ 약 0.16m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 1 마이크(341-1)와 제 2 마이크(341-2)는 지정된 거리(예: 약 0.08m ~ 약 0.12m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 3 마이크(341-3)와 제 4 마이크(341-4)는 지정된 거리(예: 약 0.08m ~ 약 0.12m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)와 제 4 마이크(341-4)는 지정된 거리(예: 약 0.12m ~ 약 0.16m)만큼 떨어지도록 배치될 수 있다.
일 실시 예에 따르면, 제 5 마이크는 전자 장치(300)의 전면 중심(예: 본체부(323))에 배치될 수 있다.
상기와 같은 복수의 마이크 배치에 의하여, 전자 장치(300)는 좌측과 우측, 전면과 후면의 구분이 가능한 수음 동작을 수행할 수 있다.
또한, 상기와 같은 복수의 마이크 배치에 의하여, 전자 장치(300)는 지정된 대역(예: 약 1.0kHz ~ 약 2.1kHz)의 빔을 형성하여 빔포밍 동작을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 제 1 센서(380-1), 제 2 센서(380-2) 및/또는 제 3 센서(380-3)를 포함할 수 있다.
일 실시 예에 따르면, 제 1 센서(380-1)는 전자 장치(300)의 전면 중심(예: 본체부(323))에 배치될 수 있다. 예를 들어, 제 1 센서(380-1)는 본체부(323)의 코받침 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
일 실시 예에 따르면, 제 2 센서(380-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))에 배치될 수 있다. 예를 들어, 제 2 센서(380-2)는 제 1 지지부(321)의 안경 다리 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
일 실시 예에 따르면, 제 3 센서(380-3)는 전자 장치(300)의 우측 후면(예: 제 2 지지부(322))에 배치될 수 있다. 예를 들어, 제 3 센서(380-3)는 제 2 지지부(322)의 안경 다리 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
도 3e를 참조하면, 일 실시 예에 따른 전자 장치(300)는 3개의 마이크와, 2개의 센서(380)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 제 2 마이크(341-2), 제 4 마이크(341-4) 및/또는 제 5 마이크(341-5)를 포함할 수 있다.
일 실시 예에 따르면, 제 2 마이크(341-2) 및/또는 제 4 마이크(341-4)는 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭이 되도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))에 배치되고, 제 4 마이크(341-4)는 전자 장치(300)의 우측 후면(예: 제 2 지지부(322))에 배치되어 전자 장치(300)의 중심 축(1000)을 기준으로 좌우 대칭하도록 배치될 수 있다.
일 실시 예에 따르면, 제 2 마이크(341-2), 제 4 마이크(341-4) 및/또는 제 5 마이크(341-5)는 지정된 거리만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)와 제 4 마이크(341-4)는 지정된 거리(예: 약 0.12m ~ 약 0.16m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 2 마이크(341-2)와 제 5 마이크(341-5)는 지정된 거리(예: 약 0.12m ~ 약 0.18m)만큼 떨어지도록 배치될 수 있다. 예를 들어, 제 4 마이크(341-4)와 제 5 마이크(341-5)는 지정된 거리(예: 약 0.12m ~ 약 0.18m)만큼 떨어지도록 배치될 수 있다.
일 실시 예에 따르면, 제 5 마이크(341-5)는 전자 장치(300)의 전면 중심(예: 본체부(323))에 배치될 수 있다.
상기와 같은 복수의 마이크(341) 배치에 의하여, 전자 장치(300)는 좌측과 우측, 전면과 후면의 구분이 가능한 수음 동작을 수행할 수 있다.
또한, 상기와 같은 복수의 마이크(341) 배치에 의하여, 전자 장치(300)는 지정된 대역(예: 약 1.0kHz ~ 약 2.1kHz)의 빔을 형성하여 빔포밍 동작을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(300)는 제 1 센서(380-1) 및/또는 제 2 센서(380-2)를 포함할 수 있다.
일 실시 예에 따르면, 제 1 센서(380-1)는 전자 장치(300)의 전면 중심(예: 본체부(323))에 배치될 수 있다. 예를 들어, 제 1 센서(380-1)는 본체부(323)의 코받침 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
일 실시 예에 따르면, 제 2 센서(380-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))에 배치될 수 있다. 예를 들어, 제 2 센서(380-2)는 제 1 지지부(321)의 안경 다리 근처와 같이 사용자의 성대 진동이 물리적으로 전달되는 위치에 배치될 수 있다.
도 4는 일 실시 예에 따른 프로세서(360)가 수음 모드에서 동작하는 방법을 도시한 흐름도이다.일 실시 예에 따르면, 프로세서(360)는, 동작 410에서, 사용자 입력 또는실행된 어플리케이션에 대응하는 수음 모드를 확인할 수 있다.
예를 들어, 사용자는 전자 장치(300) 및/또는 외부 전자 장치를 통하여 수음 모드를 선택할 수 있다. 사용자 입력은 지정된 어플리케이션 실행, 통화, 녹음 및/또는 음성 인식을 포함할 수 있다.
일 실시 예에 따르면, 수음 모드는 제 1 모드, 제 2 모드 및/또는 제 3 모드를 포함할 수 있다. 예를 들어, 제 1 모드는 몰입형 오디오 녹음(immersive recording)모드일 수 있다. 예를 들어, 제 2 모드는 방향성 빔포밍(directive beamforming) 모드일 수 있다. 예를 들어, 제 3 모드는 사용자 음성 강화(user voice enhancement) 모드일 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 동작 420에서, 수음 모드에 따라 마이크(341) 및/또는 센서(380)를 이용하여 소리를 획득하고 전처리할 수 있다.
일 실시 예에 따르면, 마이크(341) 및/또는 센서(380)를 이용하여 획득하는 소리는 주변 소리, 사용자의 소리 및/또는 사용자 정면에 있는 화자의 소리를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널로 획득한 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 센서(380)를 이용하여 소리를 검출할 수 있다. 예를 들어, 프로세서(360)는 센서(380)가 지정된 패턴의 진동을 감지함에 대응하여, 사용자가 발화하고 있다고 결정하고, 사용자의 소리를 검출할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 동작 430에서, 전처리된 소리를 상기 확인된 수음 모드에 대응하도록 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 제 1 모드에서, 전처리된 소리에 기반하여, 스테레오 채널의 소리 및/또는 5.1 채널의 소리를 생성할 수 있다. 제 1 모드의 동작과 관련된 자세한 내용은 도 5a 내지 5d와 관련된 설명에서 후술한다.
일 실시 예에 따르면, 프로세서(360)는, 제 2 모드에서, 전처리된 소리에 기반하여, 빔포밍을 이용한 지정된 방향의 소리를 증폭하여 수음할 수 있다. 제 2 모드의 동작과 관련된 자세한 내용은 도 6a 내지 6b와 관련된 설명에서 후술한다.
일 실시 예에 따르면, 프로세서(360)는, 제 3 모드에서, 전처리된 소리에 기반하여, 센서(380) 및 빔포밍을 이용하여 사용자의 소리를 증폭하여 수음할 수 있다. 제 3 모드의 동작과 관련된 자세한 내용은 도 7과 관련된 설명에서 후술한다.
일 실시 예에 따르면, 프로세서(360)는, 제 1 모드, 제 2 모드 및/또는 제 3 모드로 동작하여 수음한 소리를 스피커를 통하여 출력할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 녹화 시에 주변 소리, 사용자 소리, 또는 사용자 정면에 있는 화자의 소리을 각각 처리하여 저장할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 소리를 수음함과 동시에, 소리를 처리하여 스피커를 통하여 출력할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 제 2 모드에서, 주변 소리 중 빔포밍이 향하는 방향에 있는 외부 객체에 의해 발생되는 소리를 획득하고, 상기 소리를 증폭하여, 스피커를 통하여 출력할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 제 2 모드에서, 시선 추적 카메라 모듈(예: 도 3a의 제1 시선 추적 카메라 모듈(312-1), 제2 시선 추적 카메라 모듈(312-2))을 이용하여, 빔포밍 방향을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 소리를 수음함과 동시에, 지정된 주기로 빔포밍 방향을 결정하여 결정된 방향의 소리를 수음할 수 있다.
도 5a 내지 도 5d는 일 실시 예에 따른 프로세서(360)가, 제 1 모드로 동작할 때의 블록도이다.
일 실시 예에 따르면, 제 1 모드는 몰입형 오디오 녹음(immersive recording)모드일 수 있다.
도 5a는, 일 실시 예에 따른 프로세서(360)가, 제 1 모드에서 스테레오 채널의 소리를 생성하기 위한 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1) 및/또는 제 2 마이크(341-2)에 대응되는 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1) 및/또는 제 2 마이크(341-2)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리를 이용하여 제 1 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리와 전처리된 제 2 입력 채널의 소리를 더하고 지정된 값(예: 2)로 나누어 제 1 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 전처리된 소리를 이용하여 제 2 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 3 입력 채널의 소리와 전처리된 제 4 입력 채널의 소리를 더하고 지정된 값(예 2)로 나누어 제 2 출력 채널의 소리를 생성할 수 있다.
도 5b는, 일 실시 예에 따른 프로세서(360)가, 제 1 모드에서 5.1 채널의 소리를 생성하기 위한 신호 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리를 전처리하고, 전처리된 신호를 이용하여 제 1 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리하여 제 1 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리를 전처리하고, 전처리된 소리를 이용하여 제 2 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 신호를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리하여 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리를 전처리하고, 전처리된 소리를 이용하여 제 3 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리하여 제 3 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성할 수 있다.일 실시 예에 따르면, 프로세서(360)는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리를 전처리하고, 전처리된 소리를 이용하여 제 4 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리하여 제 4 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3)및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리에 기반하여 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널 및/또는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리를 전처리하고, 전처리된 소리를 이용하여 제 5 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 전처리된 제 2 입력 채널의 소리, 전처리된 제 3 입력 채널의 소리와 전처리된 제 4 입력 채널의 소리를 더하고 지정된 값(예: 4)로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
도 5c는 일 실시 예에 따른 프로세서(360)가, 제 1 모드에서 빔포밍을 이용하여 지정된 두 방향을 지향하는 5.1 채널의 소리를 생성하기 위한 신호 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하고, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1) 및/또는 제 2 마이크(341-2)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리를 설정된 방향(예: 좌측 방향)으로 빔포밍 처리하여 지정된 방향을 지향하는 제 1 출력 채널 및/또는 제 2 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리와 전처리된 제 2 입력 채널의 소리를 제 1 방향(예: 좌측 방향)을 지향하도록 빔포밍 처리하여 제 1 출력 채널의 소리 및 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하고, 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리를 설정된 방향(예: 우측 방향)으로 빔포밍 처리하여 지정된 방향을 지향하는 제 3 출력 채널 및/또는 제 4 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 3 입력 채널의 소리와 전처리된 제 4 입력 채널의 소리를 제 2 방향(예: 우측 방향)을 지향하도록 빔포밍 처리하여 제 3 출력 채널의 소리 및 제 4 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3)및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리에 기반하여 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 전처리된 제 2 입력 채널의 소리, 전처리된 제 3 입력 채널의 소리 및/또는 전처리된 제 4 입력 채널의 소리를 이용하여 제 5 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 전처리된 제 2 입력 채널의 소리, 전처리된 제 3 입력 채널의 소리와 전처리된 제 4 입력 채널의 소리를 더하고 지정된 값(예: 4)로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
도 5d는 일 실시 예에 따른 프로세서(360)가, 제 1 모드에서 빔포밍을 이용하여 지정된 네 방향을 지향하는 5.1 채널의 소리를 생성하기 위한 신호 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하고, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성하고, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하고, 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리를 빔포밍 처리하여 지정된 방향을 지향하는 제 1 출력 채널, 제 2 출력 채널, 제 3 출력 채널 및/또는 제 4 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리를 제 1 방향(예: 좌측 전면 방향)을 지향하도록 빔포밍 처리하여 제 1 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 2 입력 채널의 소리를 제 2 방향(예: 좌측 후면 방향)을 지향하도록 빔포밍 처리하여 제 2 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 3 입력 채널의 소리를 제 3 방향(예: 우측 전면 방향)을 지향하도록 빔포밍 처리하여 제 3 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 4 입력 채널의 소리를 제 4 방향(예: 우측 후면 방향)을 지향하도록 빔포밍 처리하여 제 4 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리에 기반하여 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널 및/또는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리를 전처리하고, 전처리된 소리를 이용하여 제 5 출력 채널의 소리를 생성할 수 있다. 예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 전처리된 제 2 입력 채널의 소리, 전처리된 제 3 입력 채널의 소리와 전처리된 제 4 입력 채널의 소리를 더하고 지정된 값(예: 4)로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
도 6a 및 6b는 일 실시 예에 따른 프로세서(360)가 제 2 모드로 동작할 때의 블록도이다.
일 실시 예에 따르면, 제 2 모드는 방향성 빔포밍(directive beamforming) 수음 모드일 수 있다.
도 6a는 일 실시 예에 따른 프로세서(360)가 제 2 모드에서 빔포밍을 이용하여 지정된 방향의 소리를 수음하기 위한 신호 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리 및/또는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 지정된 방향의 소리를 수음할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리에 기반하여 소리를 검출할 수 있다.
예를 들어, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)의 배치 구성에 따라 발생하는 각 소리의 교차 스펙트럼 위상차에 기반하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다. 예를 들어, 프로세서(360)는 GCC-PHAT(generalized cross correlation phase transform) 알고리즘을 이용하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다.
일 실시에에 따르면, 프로세서(360)는 추적된 타겟 객체의 위치에 기반하여, 빔포밍할 지정된 방향을 결정할 수 있다. 예를 들어, 프로세서(360)는 지정된 방향에 대응하는 빔포밍 필터의 파라미터를 결정할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리에 기반하여, 빔포밍을 이용하여 지정된 방향의 소리를 수음할 수 있다.
예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 제 2 입력 채널의 소리, 제 3 입력 채널의 소리, 및/또는 제 4 입력 채널의 소리에 기반하여, 빔포밍 필터를 이용하여 지정된 방향에서부터 수신되는 소리를 증폭하여 수음할 수 있다.
도 6b는 일 실시 예에 따른 프로세서(360)가 제 2 모드에서 빔포밍을 이용하여 지정된 방향의 소리를 수음하고, 수음한 음성 소리를 출력하기 위한 신호 처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리 및/또는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 지정된 방향의 소리를 수음할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리에 기반하여 소리를 검출할 수 있다.
예를 들어, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)의 배치 구성에 따라 발생하는 각 소리의 교차 스펙트럼 위상차에 기반하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다. 예를 들어, 프로세서(360)는 GCC-PHAT(generalized cross correlation phase transform) 알고리즘을 이용하여, 소리를 발생시키는 타겟 객체의 위치를 추적할 수 있다.
일 실시에에 따르면, 프로세서(360)는, 추적된 타겟 객체의 위치에 기반하여, 빔포밍할 지정된 방향을 결정할 수 있다. 예를 들어, 프로세서(360)는 지정된 방향에 대응하는 빔포밍 필터의 파라미터를 결정할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 전처리된 소리에 기반하여, 빔포밍을 이용하여 지정된 방향의 소리를 수음할 수 있다.
예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 제 2 입력 채널의 소리, 제 3 입력 채널의 소리, 및/또는 제 4 입력 채널의 소리에 기반하여, 빔포밍 필터를 이용하여 지정된 방향으로 수신되는 타겟 소리를 증폭하여 수음할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 수음한 타겟 소리를 스피커(332)를 통하여 출력할 수 있다.
예를 들어, 프로세서(360)는 타겟 객체의 소리(예: 음성)를 빔포밍하여 수음하여, 실시간으로 스피커를 통하여 출력함에 따라, 사용자가 주변 소음이 시끄러운 환경에서 정면의 화자와 대화할 때, 화자의 목소리를 또렷하게 들을 수 있다.
도 7은 일 실시 예에 따른 프로세서(360)가 제 3 모드에서 센서(380) 및 빔포밍을 이용하여 지정된 방향의 소리를 수음하기 위한 신호처리와 관련된 블록도일 수 있다.
일 실시 예에 따르면, 제 3 모드는 사용자 음성 강화(user voice enhancement) 모드일 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1)에 대응되는 제 1 입력 채널의 소리, 제 2 마이크(341-2)에 대응되는 제 2 입력 채널의 소리, 제 3 마이크(341-3)에 대응되는 제 3 입력 채널의 소리 및/또는 제 4 마이크(341-4)에 대응되는 제 4 입력 채널의 소리에 기반하여 지정된 방향의 소리를 수음할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에 대응되는 입력 채널의 소리를 전처리할 수 있다. 예를 들어, 프로세서(360)는 제 1 마이크(341-1)(예: 좌측 전면 마이크)에 대응되는 제 1 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 2 마이크(341-2)(예: 좌측 후면 마이크)에 대응되는 제 2 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 3 마이크(341-3)(예: 우측 전면 마이크)에 대응되는 제 3 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다. 프로세서(360)는 제 4 마이크(341-4)(예: 우측 후면 마이크)에 대응되는 제 4 입력 채널의 소리를 증폭(amplify) 및/또는 이퀄라이징(EQ) 처리할 수 있다.
일 실시 예에 따르면, 프로세서(360)는 센서(380)를 이용하여 소리 검출할 수 있다. 예를 들어, 프로세서(360)는 센서(380)가 지정된 패턴의 진동을 감지함에 대응하여, 사용자가 발화하고 있다고 결정하고, 사용자의 소리를 검출할 수 있다.
일 실시 예에 따르면, 프로세서(360)는, 소리가 검출됨에 대응하여, 전처리된 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음할 수 있다.
예를 들어, 프로세서(360)는 전처리된 제 1 입력 채널의 소리, 제 2 입력 채널의 소리, 제 3 입력 채널의 소리, 및/또는 제 4 입력 채널의 소리에 기반하여, 빔포밍 필터를 이용하여 지정된 방향에서 수신되는 타겟 소리를 증폭하여 감지할 수 있다. 예를 들어, 지정된 방향은 사용자의 입에 대응하는 방향일 수 있고, 빔포밍 파라미터는 사용자의 입이 위치한 방향에 대응하는 값일 수 있다.
도 8은 일 실시 예에 따른 전자 장치(300)에서, 적어도 하나의 마이크를 배치하는 예시를 도시한 도면이다.
그림 (a)를 참조하면, 마이크(341)는 전자 장치(300)의 전면 중심(예: 도 3a의 본체부(323))의 안쪽 면에 배치될 수 있다. 이에 따라, 본체부(323)가 외부 환경(예: 바람)으로부터 마이크(341)를 보호할 수 있고, 투명 부재(예: 도 3a의 제 1 투명 부재(320) 및/또는 제 2 투명 부재(320))에 반사된 소리를 마이크(341)에서 수음할 수 있다.
그림 (b)를 참조하면, 제 1 마이크(341-1)는 전자 장치(300)의 좌측 전면(예: 제 1 힌지부(340-1))의 안쪽 면에 배치되고, 제 2 마이크(341-2)는 전자 장치(300)의 좌측 후면(예: 제 1 지지부(321))의 안쪽 면에 배치되고, 제 3 마이크(341-3)는 전자 장치(300)의 우측 전면(예: 제 2 힌지부(340-2))의 안쪽 면에 배치되고, 제 4 마이크(341-4)는 전자 장치(300)의 우측 후면(예: 제 2 지지부(322)) 의 안쪽 면에 배치될 수 있다. 이에 따라, 제 1 힌지부(340-1), 제 1 지지부(321), 제 2 힌지부(340-2), 제 2 지지부(322)가 외부 환경(예: 바람)으로부터 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)를 보호할 수 있고, 투명 부재(예 : 도 3a의 제 1 투명 부재(320) 및/또는 제 2 투명 부재(320))에 의하여 반사된 소리를 제 1 마이크(341-1), 제 2 마이크(341-2), 제 3 마이크(341-3) 및/또는 제 4 마이크(341-4)에서 수음할 수 있다.
그림 (c)를 참조하면, 마이크(341)의 홀은 하단 방향을 지향하도록 구성하고, 마이크의 홀 외부를 접시형 안테나와 같이 구현하여, 사용자의 음성을 수음할 수 있다.
일 실시 예에 따른 전자 장치는, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크, 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크 및 프로세서를 포함하고, 상기 프로세서는 상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나, 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 제 1 마이크와 상기 제 3 마이크는 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고, 상기 제 2 마이크로 상기 제 4 마이크는 상기 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고, 상기 제 1 마이크와 상기 제 2 마이크는 제 2 거리만큼 떨어지게 배치되고, 상기 제 3 마이크와 상기 제 4 마이크는 상기 제 2 거리만큼 떨어지게 배치될 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 모드에서, 상기 전처리된 제 1 입력 채널의 소리와 상기 전처리된 제 2 입력 채널의 소리를 합하고 지정된 값로 나누어 제 1 출력 채널의 소리를 생성하고, 상기 전처리된 제 3 입력 채널의 소리와 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 2 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 모드에서, 상기 전처리된 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하고, 상기 전처리된 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성하고, 상기 전처리된 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하고, 상기 전처리된 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 모드에서, 상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하고, 상기 전처리된 제 2 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하고, 상기 전처리된 제 3 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하고, 상기 전처리된 제 4 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 프로세서는 상기 제 1 모드에서, 상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하고, 상기 전처리된 제 2 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하고, 상기 전처리된 제 3 입력 채널의 소리를 제 3 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하고, 상기 전처리된 제 4 입력 채널의 소리를 제 4 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 프로세서는 상기 제 2 모드에서, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여, 타겟 소리의 위치를 추적하고, 상기 타겟 소리의 위치에 기반하여 소리를 수음할 지정된 방향을 결정하고, 상기 타겟 소리의 위치에 기반하여 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 전자 장치는 스피커를 더 포함하고, 상기 프로세서는 상기 증폭하여 수음된 타겟 소리를 상기 스피커로 출력 할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 전자 장치는 사용자의 시선을 추적하는 카메라를 더 포함하고, 상기 프로세서는 상기 카메라가 추적한 사용자의 시선에 기반하여 소리를 수음할 지정된 방향을 결정할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 전자 장치는 진동을 감지하는 센서를 더 포함하고, 상기 프로세서는 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 사용자의 음성을 강화하여 수음하는 제 3 모드로 동작할 수 있고, 상기 제 3 모드에서, 상기 센서가 지정된 패턴의 진동을 감지함에 대응하여, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 미리 설정된 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크 및 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크를 포함하고, 상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고, 상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 제 1 마이크와 상기 제 3 마이크는 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고, 상기 제 2 마이크로 상기 제 4 마이크는 상기 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고, 상기 제 1 마이크와 상기 제 2 마이크는 제 2 거리만큼 떨어지게 배치되고, 상기 제 3 마이크와 상기 제 4 마이크는 상기 제 2 거리만큼 떨어지게 배치될 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 제 1 모드의 동작은 상기 전처리된 제 1 입력 채널의 소리와 상기 전처리된 제 2 입력 채널의 소리를 합하고 지정된 값(예 : 2)로 나누어 제 1 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 3 입력 채널의 소리와 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 2 출력 채널의 소리를 생성하는 동작,을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 제 1 모드의 동작은 상기 전처리된 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성하는 동작 및 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 제 1 모드의 동작은 상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 2 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 3 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 4 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하는 동작 및 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 2 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 3 입력 채널의 소리를 제 3 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 4 입력 채널의 소리를 제 4 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하는 동작, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 제 2 모드의 동작은 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여, 타겟 소리의 위치를 추적하는 동작, 상기 타겟 소리의 위치에 기반하여 소리를 수음할 지정된 방향을 결정하는 동작 및 상기 타겟 소리의 위치에 기반하여 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 상기 증폭하여 수음된 타겟 소리를 스피커로 출력하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 카메라를 이용하여 사용자의 시선을 추적하는 동작, 상기 카메라가 추적한 사용자의 시선에 기반하여 소리를 수음할 지정된 방향을 결정하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법에서, 센서를 이용하여 진동을 감지하는 동작, 제 3 모드에서, 상기 센서가 지정된 패턴의 진동을 감지함에 대응하여, 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 미리 설정된 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음하는 동작을 더 포함할 수 있다.
본 문서에 개시된 일 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 일 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 일 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 일 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 일 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크;
    상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크;
    상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크;
    상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나,
    상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작하는,
    전자 장치.
  2. 제 1 항에 있어서,
    상기 제 1 마이크와 상기 제 3 마이크는 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고,
    상기 제 2 마이크로 상기 제 4 마이크는 상기 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고,
    상기 제 1 마이크와 상기 제 2 마이크는 제 2 거리만큼 떨어지게 배치되고,
    상기 제 3 마이크와 상기 제 4 마이크는 상기 제 2 거리만큼 떨어지게 배치되는,
    전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 모드에서,
    상기 전처리된 제 1 입력 채널의 소리와 상기 전처리된 제 2 입력 채널의 소리를 합하고 지정된 값로 나누어 제 1 출력 채널의 소리를 생성하고,
    상기 전처리된 제 3 입력 채널의 소리와 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 2 출력 채널의 소리를 생성하는,
    전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 모드에서,
    상기 전처리된 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하고,
    상기 전처리된 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성하고,
    상기 전처리된 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하고,
    상기 전처리된 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성하고,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는,
    전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 모드에서,
    상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하고,
    상기 전처리된 제 2 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하고,
    상기 전처리된 제 3 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하고,
    상기 전처리된 제 4 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하고,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는,
    전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 모드에서,
    상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하고,
    상기 전처리된 제 2 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하고,
    상기 전처리된 제 3 입력 채널의 소리를 제 3 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하고,
    상기 전처리된 제 4 입력 채널의 소리를 제 4 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하고,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는,
    전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드에서,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여, 타겟 소리의 위치를 추적하고,
    상기 타겟 소리의 위치에 기반하여 소리를 수음할 지정된 방향을 결정하고,
    상기 타겟 소리의 위치에 기반하여 상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음하는,
    전자 장치.
  8. 제 7 항에 있어서,
    상기 전자 장치는,
    스피커;를 더 포함하고,
    상기 프로세서는,
    상기 증폭하여 수음된 타겟 소리를 상기 스피커로 출력하는,
    전자 장치.
  9. 제 7 항에 있어서,
    상기 전자 장치는,
    사용자의 시선을 추적하는 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 카메라가 추적한 사용자의 시선에 기반하여 소리를 수음할 지정된 방향을 결정하는,
    전자 장치.
  10. 제 1 항에 있어서,
    상기 전자 장치는,
    진동을 감지하는 센서;를 더 포함하고,
    상기 프로세서는,
    상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 사용자의 음성을 강화하여 수음하는 제 3 모드로 동작할 수 있고,
    상기 제 3 모드에서,
    상기 센서가 지정된 패턴의 진동을 감지함에 대응하여,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 미리 설정된 지정된 방향으로 빔포밍 처리하여 타겟 소리를 증폭하여 수음하는,
    전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치는, 상기 전자 장치의 좌측 정면에 배치되어 제 1 입력 채널의 소리를 수음하는 제 1 마이크, 상기 전자 장치의 좌측 후면에 배치되어 제 2 입력 채널의 소리를 수음하는 제 2 마이크, 상기 전자 장치의 우측 전면에 배치되어 제 3 입력 채널의 소리를 수음하는 제 3 마이크 및 상기 전자 장치의 우측 후면에 배치되어 제 4 입력 채널의 소리를 수음하는 제 4 마이크를 포함하고,
    상기 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리를 전처리하고,
    상기 전처리된 제 1 입력 채널의 소리, 상기 제 2 입력 채널의 소리, 상기 제 3 입력 채널의 소리 및 상기 제 4 입력 채널의 소리에 기반하여 몰입형 오디오를 녹음하는 제 1 모드로 동작하거나,
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리에 기반하여 빔포밍을 이용하여 지정된 방향의 소리를 수음하는 제 2 모드로 동작하는,
    전자 장치의 동작 방법.
  12. 제 11 항에 있어서,
    상기 제 1 마이크와 상기 제 3 마이크는 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고,
    상기 제 2 마이크로 상기 제 4 마이크는 상기 제 1 거리만큼 떨어진 채로 상기 전자 장치를 중심으로 대칭되도록 배치되고,
    상기 제 1 마이크와 상기 제 2 마이크는 제 2 거리만큼 떨어지게 배치되고,
    상기 제 3 마이크와 상기 제 4 마이크는 상기 제 2 거리만큼 떨어지게 배치되는,
    전자 장치의 동작 방법.
  13. 제 11 항에 있어서,
    상기 제 1 모드의 동작은,
    상기 전처리된 제 1 입력 채널의 소리와 상기 전처리된 제 2 입력 채널의 소리를 합하고 지정된 값(예 : 2)로 나누어 제 1 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 3 입력 채널의 소리와 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 2 출력 채널의 소리를 생성하는 동작;을 포함하는,
    전자 장치의 동작 방법.
  14. 제 11 항에 있어서,
    상기 제 1 모드의 동작은,
    상기 전처리된 제 1 입력 채널의 소리에 기반하여 제 1 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 2 입력 채널의 소리에 기반하여 제 2 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 3 입력 채널의 소리에 기반하여 제 3 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 4 입력 채널의 소리에 기반하여 제 4 출력 채널의 소리를 생성하는 동작; 및
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는 동작;을 포함하는,
    전자 장치의 동작 방법.
  15. 제 11 항에 있어서,
    상기 제 1 모드의 동작은,
    상기 전처리된 제 1 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 1 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 2 입력 채널의 소리를 제 1 방향으로 빔포밍 처리하여 제 2 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 3 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 제 3 출력 채널의 소리를 생성하는 동작;
    상기 전처리된 제 4 입력 채널의 소리를 제 2 방향으로 빔포밍 처리하여 기반하여 제 4 출력 채널의 소리를 생성하는 동작; 및
    상기 전처리된 제 1 입력 채널의 소리, 상기 전처리된 제 2 입력 채널의 소리, 상기 전처리된 제 3 입력 채널의 소리 및 상기 전처리된 제 4 입력 채널의 소리를 합하고 지정된 값으로 나누어 제 5 출력 채널의 소리를 생성하는 동작을 포함하는,
    전자 장치의 동작 방법.
PCT/KR2023/015095 2022-09-27 2023-09-27 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법 WO2024072136A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220122710 2022-09-27
KR10-2022-0122710 2022-09-27
KR1020220148103A KR20240043633A (ko) 2022-09-27 2022-11-08 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법
KR10-2022-0148103 2022-11-08

Publications (1)

Publication Number Publication Date
WO2024072136A1 true WO2024072136A1 (ko) 2024-04-04

Family

ID=90478808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015095 WO2024072136A1 (ko) 2022-09-27 2023-09-27 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법

Country Status (1)

Country Link
WO (1) WO2024072136A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160254A1 (en) * 2004-03-31 2007-07-12 Swisscom Mobile Ag Glasses frame comprising an integrated acoustic communication system for communication with a mobile radio appliance, and corresponding method
KR20190096855A (ko) * 2019-07-30 2019-08-20 엘지전자 주식회사 사운드 처리 방법 및 장치
KR20210017229A (ko) * 2019-08-07 2021-02-17 삼성전자주식회사 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
KR20220047257A (ko) * 2019-08-09 2022-04-15 페이스북 테크놀로지스, 엘엘씨 히어쓰루 오디오 시스템용 귀마개 조립체
KR20220106643A (ko) * 2021-01-22 2022-07-29 삼성전자주식회사 소리 데이터에 기초하여 제어되는 전자 장치 및 소리 데이터에 기초하여 전자 장치를 제어하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160254A1 (en) * 2004-03-31 2007-07-12 Swisscom Mobile Ag Glasses frame comprising an integrated acoustic communication system for communication with a mobile radio appliance, and corresponding method
KR20190096855A (ko) * 2019-07-30 2019-08-20 엘지전자 주식회사 사운드 처리 방법 및 장치
KR20210017229A (ko) * 2019-08-07 2021-02-17 삼성전자주식회사 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
KR20220047257A (ko) * 2019-08-09 2022-04-15 페이스북 테크놀로지스, 엘엘씨 히어쓰루 오디오 시스템용 귀마개 조립체
KR20220106643A (ko) * 2021-01-22 2022-07-29 삼성전자주식회사 소리 데이터에 기초하여 제어되는 전자 장치 및 소리 데이터에 기초하여 전자 장치를 제어하는 방법

Similar Documents

Publication Publication Date Title
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2024072136A1 (ko) 오디오를 처리하는 전자 장치 및 전자 장치의 동작 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022186454A1 (ko) 가요성 인쇄 회로 기판을 포함하는 전자 장치
WO2022154440A1 (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
WO2022149737A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024058436A1 (ko) 영상을 표시하는 전자 장치 및 이의 제어 방법
WO2023229199A1 (ko) 전자 장치의 화면 표시 모드를 결정하는 동작 방법 및 전자 장치
WO2024101683A1 (ko) 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
WO2024029779A1 (ko) 열 전달 부재를 포함하는 웨어러블 전자 장치
WO2023003330A1 (ko) 외부 전자 장치를 제어하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2024071694A1 (ko) 위험을 감지하는 전자 장치, 그의 동작 방법 및 프로그램을 저장하는 저장 매체
WO2024029699A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024043550A1 (ko) 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치
WO2024063353A1 (ko) 시각적 객체와 관련된 정보에 기반하여 오디오 신호를 변경하는 전자 장치 및 그 방법
WO2023101194A1 (ko) 운송 수단 내 증강 현실 콘텐츠 제공 방법, 이를 수행하는 웨어러블 장치 및 전자 장치
WO2024071718A1 (ko) 증강현실 기능을 지원하는 전자 장치 및 이의 동작 방법
WO2022211514A1 (ko) 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 헤드 마운티드 디스플레이 장치
WO2023191314A1 (ko) 정보를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024019283A1 (ko) 카메라 및 이를 포함하는 전자 장치